专栏名称: 学姐带你玩AI
这里有人工智能前沿信息、算法技术交流、机器学习/深度学习经验分享、AI大赛解析、大厂大咖算法面试分享、人工智能论文技巧、AI环境工具库教程等……学姐带你玩转AI!
目录
相关文章推荐
康石石  ·  我在金匠找到了自己! ·  16 小时前  
康石石  ·  设计毕业证保值的院校,是港理 ·  昨天  
康石石  ·  25年国家级A类竞赛变化一览! ·  2 天前  
51好读  ›  专栏  ›  学姐带你玩AI

能发顶会!图神经网络GNN3大创新思路推荐(附可复现代码)

学姐带你玩AI  · 公众号  ·  · 2025-01-17 18:28

正文

针对传统的图神经网络在处理非结构化数据、捕捉高阶关系等方面的局限性,研究者们提出了众多优化方案。

这其中, 超图神经网络、几何图神经网络、动态图神经网络 作为GNN发展的前沿方向,不仅提供了更加丰富和灵活的方法来处理各种复杂的图数据,提高模型在特定领域的性能和应用范围,同时也在交叉领域有广泛的多元化应用。是我们做创新发论文的好方向。

本文介绍 图神经网络这3大创新方向 ,每个方向都附有 代表论文以及相应代码(共 15篇 ,方便同学们理解学习以及复现。

扫码添加小享, 回复“ 百变GNN

免费获取 全部论文+开源代码

动态图神经网络

一种专门设计来处理随时间变化的图数据的深度学习模型。能够捕捉和分析图结构中的时间序列信息,对于理解和预测图的动态行为特别有用。在社交网络分析、交通预测、金融市场分析等多个领域都有广泛的应用。

代表论文1

FREEDYG: FREQUENCY ENHANCED CONTINUOUSTIME DYNAMIC GRAPH MODEL FOR LINK PREDICTION

方法: 本文提出了一种名为FreeDyG的频率增强连续时间动态图模型,专为链接预测而设计。该方法包括一个新颖的频率增强MLP-Mixer层,能够有效捕捉频域中观察到的周期性时间模式和“shift”现象。同时,作者还引入了一个节点交互频率编码器,同时提取节点对之间的交互频率信息和共同邻居的比例信息。

创新点:

  • 频率增强的MLP-Mixer层:这是一种新颖的频率增强多层感知器混合(MLP-Mixer)层,能有效捕捉频域中观察到的周期性时间模式和“移位”现象。
  • 节点交互频率编码器:引入了一种节点交互频率编码器,可以同时提取节点对之间的交互频率信息和共同邻居比例的信息。通过在频域中进行更深入、更细致的交互模式提取,揭示了周期性和“移位”行为。

几何图神经网络

一类特殊的图神经网络,专门设计用于处理具有几何特性的图数据。其中群论、对称性和最小作用量原理是亮点。

这类网络能够捕捉到图结构中的几何和拓扑属性,在处理具有物理对称性的数据时更为有效,例如在平移、旋转和反射不变性方面的表现。

不变模型

代表论文1

ComENet: Towards Complete and Efficient Message Passing for 3D Molecular Graphs

方法: 论文提出一种完整且高效的图神经网络ComENet来学习三维分子图。该方法通过全局和局部完整性实现了对三维信息的完整性保证,并且比现有方法快几个数量级。通过引入重要的旋转角度来实现全局完整性,并且提供了该方法完整性的严格证明。

创新点:

  • 提出了一种新的消息传递方案,用于在1-hop邻居内进行操作,以实现完全的3D信息。这种方法通过实现全局和局部的完整性来保证3D图形的完整性,尤其是通过引入重要的旋转角度来实现全局的完整性。
  • 设计了一种新的策略,以保证局部完整性,并且计算成本为O(nk)。通过将旋转角度整合到消息传递方案中,该方法可以在构象器级别上实现严格的完整性,并能够区分所有构象器。

等变模型

代表论文2

Learning Local Equivariant Representations for Large-Scale Atomistic Dynamics

方法: 论文介绍了一种称为Allegro的新型深度学习相互作用势模型,它具有高精度、可扩展性和泛化能力。该模型结合了神经网络的高精度和局部描述符的可扩展性,能够适用于大型体系。Allegro模型使用严格局部的描述符和多层的深度神经网络,通过结合等变操作和严格局部描述符的优势,实现了高精度的能量和力的预测。

创新点:

  • Allegro是一种新型的深度学习原子间势能模型,通过学习等变表示的张量积来描述原子的能量和力,具有高度准确性和可扩展性。
  • Allegro可以准确地预测复杂系统的结构和动力学性质,并且在大规模并行计算中具有很高的效率。
  • Allegro的设计结合了张量积运算、等变神经网络和局部描述符等创新思想,突破了传统消息传递方法的局限性,展示出了高度准确和可扩展的潜力。

扫码添加小享, 回复“ 百变GNN

免费获取 全部论文+开源代码

几何图transformer

代表论文3

Equivariant Pretrained Transformer for Unified Geometric Learning on Multi-Domain 3D Molecules

方法: 使用等变Transformer模型EPT进行预训练,在多个领域的三维分子结构上进行统一的几何学建模,设计了适用于大规模系统的等变Transformer和针对多领域数据集的块级去噪策略。

创新点:







请到「今天看啥」查看全文