1. TransGNNTransGNN 提出了一种 Transformer 与图神经网络协同工作的新型架构。在该模型中，Transformer 用于扩展 GNN 的感受野，而 GNN 则负责捕捉图结构信息以增强 Transformer 的表示能力。

为应对计算复杂度的挑战，作者提出了一种采样策略及两种高效的样本更新方法，显著提升了训练与推理效率。

理论分析表明，TransGNN 在表达能力上显著优于传统 GNN，同时仅引入轻微的计算开销，展现出良好的扩展潜力。

 

2. GraphFormers

GraphFormers 是一种将图神经网络与语言模型深度融合的架构。其核心设计是在 GNN 组件旁并行部署 Transformer 层，实现图结构聚合与文本编码的联合建模，从而从全局视角精确理解节点语义，生成高质量的图-文本联合表示。

为增强模型对图信息的整合能力，作者提出一种两阶段渐进学习策略：第一阶段在经随机污染处理的节点数据上训练，迫使模型充分利用全部上下文；第二阶段在原始数据上微调，以适配目标数据分布。该策略显著提升了表示质量。

此外，GraphFormers 引入单向图注意力机制，仅允许中心节点参考其邻居，而邻居节点保持独立编码。该设计支持编码缓存与复用，有效降低了计算负担。

 

3. Exphormer

Exphormer 是一种兼具可扩展性与竞争力的稀疏图 Transformer 架构。其核心机制包括虚拟全局节点与扩展图构建，共同支撑高效的稀疏注意力计算。

该架构具备谱扩展性、伪随机性与稀疏性等优良数学特性，使其在图规模上实现线性复杂度，并具备理想的理论保障。

在 GraphGPS 框架中集成 Exphormer 后，模型在多个图数据集上表现出强劲性能，其中在三个数据集上取得了当前最优结果。此外，Exphormer 能够扩展到比以往图 Transformer 更大的图结构，展现出优异的可扩展性。

另外，我给大家整理了十篇GNN+transformer的最新论文及代码，方便大家参考