专栏名称: AI算法科研paper
每日更新人工智能行业技术干货、论文推荐、动态资讯、职场指南等AI知识。关注AI算法科研paper更深入了解人工智能。
目录
相关文章推荐
猫笔刀  ·  按兵 ·  18 小时前  
天玑-无极领域  ·  AI语音输入工具CapsWriter-Off ... ·  2 天前  
幸福成长札记  ·  第104天在闲鱼上卖货,看到我向往的生活,你 ... ·  2 天前  
梅特涅的信徒  ·  西方学者认为乌克兰生存的关键 ·  2 天前  
51好读  ›  专栏  ›  AI算法科研paper

2025年Transformer超强创新思路!结合GCN太好发论文了!

AI算法科研paper  · 公众号  ·  · 2025-03-15 19:08

正文

讲个 T ransformer比较热门的创新思路:+GCN。 这种结合充分利用了GCN对图结构数据的处理能力以及Transformer在处理序列数据方面的优势,能非常有效地提升模型在多种任务上的表现。

因此它在很多实际应用场景中都非常好用,比如交通流量预测(MAGCN与MALTFormer模型)、3D目标跟踪(3DMOTFormer)、医学图像分析等,是个拥有显著学术价值和实际应用潜力的研究方向。

目前, T ransformer+GCN 仍处于快速发展期,未来可能会在动态图与时空建模、多模态融合、轻量化与效率优化等方面有所突破。 我这次就挑选了 9篇 前沿成果 供大家学习,帮助各位快速了解这个GNN领域的重要研究方向。

扫码 添加小享, 回复“ GCN结合

免费获取 全部 文+代码合集

Enhancing App Usage Prediction Accuracy With GCN-Transformer Model and Meta-Path Context

方法: 论文提出了一种名为MP-GT的新型模型,通过在GCN-Transformer框架中引入元路径引导优化,提高了应用使用预测的准确性。该方法通过采用GCN和Transformer方法提取局部子图结构和全局图结构,解决了悬停问题和过度平滑问题。此外,作者通过引入元路径引导的目标函数,增强了语义信息和应用使用模式的提取能力。

实验证明,MP-GT在准确率方面比语义感知的图卷积网络(SA-GCN)基线模型提高了13.33%。此外,MP-GT在相同指标上比基线模型CAP提高了74.02%。此外,与SA-GCN相比,MP-GT的训练时间缩短了79.47%。

创新点:

  • MP-GT将GCN和Transformer两种架构相结合,通过在GCN层后面引入Transformer子网络,捕捉节点的长距离依赖关系,解决了GCN中的过度平滑和过度压缩问题,使得模型更具表达力和综合性。
  • MP-GT通过引入meta-path引导的优化函数,实现对观察到的共现关系的捕捉,从而获得更丰富和有意义的上下文关系,提高了预测性能。此外,该方法还具有快速收敛的特点,减少了训练时间。

MotionAGFormer: Enhancing 3D Human Pose Estimation With a Transformer-GCNFormer Network

方法: 论文介绍了一种新颖的用于3D人体姿势估计的模型MotionAGFormer。该模型结合了Transformer和图卷积网络(GCNs)的优势,通过自适应融合从Transformer和图卷积网络中提取的特征,实现了对人体运动的全面和平衡的表示,从而提高了3D姿势估计的准确性。

实验证明,MotionAGForme在Human3.6M数据集和MPI-INF-3DHP数据集上使用的参数是之前领先模型的四分之一,计算效率是其三倍。

创新点:

  • 引入了Attention-GCNFormer (AGFormer)模块,通过使用两个并行的Transformer和GCNFormer流,将通道数量分割。GCNFormer模块利用相邻关节之间的局部关系,输出与Transformer输出互补的新表示。
  • 通过堆叠多个AGFormer模块,提出了四个不同的MotionAGFormer变体,可以根据速度和准确性的权衡进行选择。

扫码







请到「今天看啥」查看全文