专栏名称: 学姐带你玩AI
这里有人工智能前沿信息、算法技术交流、机器学习/深度学习经验分享、AI大赛解析、大厂大咖算法面试分享、人工智能论文技巧、AI环境工具库教程等……学姐带你玩转AI!
目录
相关文章推荐
白话区块链  ·  突发:Bybit平台15亿美金资产被盗,7大 ... ·  昨天  
白话区块链  ·  Meme退潮、大额解锁,祸不单行的Solan ... ·  3 天前  
51好读  ›  专栏  ›  学姐带你玩AI

动态图学习新突破!最新SOTA实现性能全面升级,效率与精度兼得

学姐带你玩AI  · 公众号  ·  · 2024-05-04 18:10

正文

现实世界中的许多图数据是动态变化的,比如社交网络、交通流量等。而传统的图学习方法通常处理的是静态图,这就导致它缺乏处理动态变化的能力,在适应性方面存在局限性。

相较之下, 动态图学习 能够捕捉到图数据的动态变化,更适应需要实时更新或反馈的应用场景。这种更具灵活性的方法不仅 提升了模型的精度和计算效率,增强了模型的适应性和易用性 ,也为处理更复杂的现实问题提供了新的思路, 是我们做创新发论文的好方向

本文介绍 动态图学习 9个 最新的创新成果 ,包含了动态图神经网络、动态图表示学习等热门主题,相应论文以及开源代码已附上,方便各位学习。

扫码 添加小享,回复“ 动态图学习
免费获取 全部 文+开源代码

On the Feasibility of Simple Transformer for Dynamic Graph Modeling(动态图建模)

方法: 论文提出了一种称为SimpleDyG的简单Transformer模型,利用Transformer的自注意机制来处理序列建模中的长程依赖。该方法将动态图重新概念化为序列建模的挑战,并引入了一种新颖的时间对齐技术。

创新点:

  • SimpleDyG是一种新颖的动态图建模方法,通过将动态图重新构建为序列建模的问题来解决。它通过使用Transformer的自注意机制来捕捉长期依赖性,从而不仅优于离散时间方法,还优于连续时间方法。
  • SimpleDyG设计了特殊的时间标记来实现全局时间对齐,并保留了本地序列中交互的时间顺序,从而在全局和本地层面上捕捉动态图中的信息。这种时间对齐机制在全局对齐的同时,保留了本地序列的时间信息,与传统的离散时间方法不同。
  • SimpleDyG使用原始的Transformer架构,不需要复杂的修改,将动态图映射为一组序列进行建模,并通过修改输入序列来实现时间对齐。尽管设计简单,但SimpleDyG在各种动态图中表现出了出色的性能。

Environment-Aware Dynamic Graph Learning for Out-of-Distribution Generalization(动态图神经网络)

方法: 论文研究了动态图上的分布偏移下的OOD泛化问题,并提出了一种名为EAGLE的新框架来解决这一问题。EAGLE通过建模复杂的潜在环境并利用时空不变模式来实现OOD泛化。首先通过多通道环境分解的环境感知EA-DGNN来建模环境,然后利用推断的环境分布进行环境实例化以实现环境多样化,最后通过不变模式识别机制学习OOD泛化的时空不变模式,并通过混合观测到的和生成的环境实例进行细粒度的因果干预。

创新点:

  • EAGLE是一种针对动态图的out-of-distribution(OOD)泛化问题的创新框架。
  • EAGLE通过建模复杂的环境和利用时空不变模式来处理OOD泛化问题。
  • EAGLE设计了环境感知的EA-DGNN来建模环境,并通过多通道环境解缠机制实现环境的多样性。
  • EAGLE通过时空不变模式识别机制识别出时空不变模式,并通过节点精细因果干预实现精细的因果干预。

扫码 添加小享,回复“ 动态图学习
免费获取 全部 文+开源代码

Towards Better Dynamic Graph Learning: New Architecture and Unified Librar

方法: 论文提出了一种基于Transformer的动态图学习架构(DyGFormer)和一个统一的库(DyGLib),以促进动态图学习的发展。DyGFormer通过邻居共现编码方案和补丁技术来捕捉节点之间的关联和长期时序依赖。DyGLib作为一个工具包,提供了可复现、可扩展的连续时间动态图学习的训练流程、编程接口和评估协议。

创新点:

  • DyGFormer架构:通过邻居共现编码方案和拼接技术,与以往方法不同,该架构在每次交互中利用节点之间的相关性,并帮助模型捕捉长期的时间依赖关系。
  • DyGLib库:作为一个统一的工具库,用于可重现、可扩展和可靠的连续时间动态图学习,具有标准的训练流程、易于扩展的编码接口和全面的评估协议。这个库为研究人员提供了设计新的动态图学习框架的新视角,并鼓励更多的研究人员深入研究这一领域。

Scaling Up Dynamic Graph Representation Learning via Spiking Neural Networks(动态图表示学习)







请到「今天看啥」查看全文