专栏名称: 深度学习与图网络
关注图网络、图表示学习,最近顶会顶刊动态以及机器学习基本方法,包括无监督学习、半监督学习、弱监督学习、元学习等
目录
相关文章推荐
要资讯  ·  周度研究精汇 | 洞见趋势 周周更新 ·  22 小时前  
51好读  ›  专栏  ›  深度学习与图网络

ICLR 2024 五篇图神经网络的可扩展性研究相关内容(1)

深度学习与图网络  · 公众号  ·  · 2024-02-23 11:20

正文



  1. Neural Snowflakes: Universal Latent Graph Inference via Trainable Latent Geometries
  • Neural Snowflakes: Universal Latent Graph Inference via Trainable Latent Geometries

  • 这篇论文提出了一种名为"神经雪花"的深度学习模型,它可以自动地在一个多维空间中创建类似于分形的结构。 这个模型可以通过一个常见的深度学习模型(MLP编码器)将任何给定的图形等距地嵌入到这个空间中

  • 当这个潜在的图形可以在一个规则的核特征空间中表示时,作者展示了神经雪花和MLP编码器的结合不会受到所谓的"维数灾难"的影响,而且只需要使用与节点数量成低阶多项式关系的参数数量。

  • 通过实验,作者发现与更常见的空间(如欧几里得空间)相比,神经雪花在学习度量(即,学习如何测量和比较事物)方面表现得更好。在对图形进行推理的实验中,神经雪花模型的预测性能达到或超过了当前最先进的潜在图推理模型。值得注意的是,这种性能的提升是通过可微分的方式实现的,而不需要进行随机搜索以找到最优的潜在几何形状。这意味着模型可以通过常规的深度学习训练方法进行优化,而不需要额外的复杂步骤。这使得神经雪花模型在处理图形数据时具有很大的潜力。

  1. HiGen:分层图生成网络
  • HiGen: Hierarchical Graph Generative Networks

  • 本文提出了一种新的图生成网络HiGen,它能够有效地生成具有层次结构特征的图。HiGen的核心思想是,将图的生成过程分解为两个阶段:首先,在层次结构的每一层并行生成社区,即图的子结构;然后,在社区之间生成交叉边,即连接不同社区的边。这种模块化的方法使得HiGen能够处理大型和复杂的图,并保持图的结构信息。此外,HiGen还能够生成具有整数边权重的社区图,通过使用多项式分布来建模边的输出分布,并利用其递归因式分解来实现自回归生成。实验结果表明,HiGen在多个基准数据集上均优于现有的图生成方法,无论是在图质量还是在图多样性方面。

  1. 可扩展模块化网络:一种基于协议路由的自适应学习框架
  • Scalable Modular Network: A Framework for Adaptive Learning via Agreement Routing

  • 可扩展模块化网络(SMN)是一种新的模块化网络框架,它通过一种创新的路由机制——协议路由,实现了自适应学习的能力,并支持在预训练之后集成新的模块来适应新的任务。协议路由通过迭代的消息传递过程,选择和组合不同的专家模块,同时考虑了模块与输入之间的局部交互和模块之间的全局交互,从而优化了模块选择的过程。实验结果表明,SMN能够在新的数据分布上泛化,并在新的任务上表现出高效的样本适应能力,当在预训练之后添加新的模块时,SMN能够提高适应性。

  1. 从潜在图到潜在拓扑推断:可微分细胞复合模块

From Latent Graph to Latent Topology Inference: Differentiable Cell Complex Module

  • 这篇论文提出了一种新的可学习函数,叫做可Differentiable Cell Complex Module(DCM),它可以让图神经网络(GNNs)不再局限于 给定的图拓扑,而是能够根据数据动态地学习图的结构 。DCM的目的是学习一种高阶的细胞复合体,它可以描述数据点之间的多种关系,而不仅仅是简单的边。细胞复合体是一种具有稀疏和不规则拓扑的数学对象,它可以由点、线、面等组成。DCM通过两个步骤来推断细胞复合体的结构:第一步是从数据中学习细胞复合体的潜在表示,第二步是从潜在表示中恢复细胞复合体的拓扑。DCM还可以与细胞复合体消息传递网络层(CCMPN)结合,实现对细胞复合体的特征提取和分类。DCM在多个不同类型的图数据集上进行了测试,结果显示它比现有的方法更优,特别是在没有给定输入图的情况下,它可以自动地发现图的结构。

  1. LogicMP: A Neuro-symbolic Approach for Encoding First-order Logic Constraints






请到「今天看啥」查看全文