ICLR 2024 杰出论文荣誉提名奖专场直播 | 6月27日15:00

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

北京大学博士

报告主题：

图同态——评估图神经网络表达能力的定量框架

报告简介：

设计具有强大表达能力 (expressive power) 的图神经网络 (GNN) 是图学习领域的一个核心问题。到目前为止，GNN表达能力的评估主要通过Weisfeiler-Lehman (WL) 层次结构进行。然而，这种表达性度量方法存在明显的局限性：它本质上是粗糙的、定性的，且无法很好地反映实际需求(例如编码子结构的能力)。本次报告将提出一个新的框架，能够定量研究图神经网络的表达能力，并克服上述所有局限性。具体来言，我们将引入一种基本的表达能力度量，称为同态表达能力，它量化了GNN模型在同态下对图进行计数的能力。同态表达能力提供了一种完整且实用的评估工具：其完整性能够直接比较不同GNN模型的表达能力差异，而其实用性则有助于理解具体的GNN能力，例如子图计数。通过对四类代表性的GNN进行研究，本次报告推导了这些架构在不变 (invariant) 和等变 (equivariant) 情形的同态表达能力，给出了简单、统一且优雅的描述。这些结果为一系列先前的工作提供了新的见解，统一了不同子领域的研究范式，并解决了一些开放性问题。

香港城市大学博士

报告主题：

元持续学习：基于二阶优化信息视角的理解与探索

报告简介：

持续学习旨在缓解模型在流式任务训练过程中所导致的灾难性遗忘问题。其中基于元学习的持续学习方法，希望通过双边优化的策略来缓解模型的遗忘现象。我们首次从二阶优化信息的角度出发，将元持续学习方法与基于正则的持续学习方法统一归纳到了一个模型更新框架，并从理论视角下分析了当前持续学习方法仍存在的问题——二阶优化信息不够准确。为了进一步解决这个问题，我们将元持续学习方法与方差减少技术相结合，并对所提方法进行了理论角度的分析与解释。