LOGS第2024/06/29期 || 复旦大学张晟中：基于结构化压缩的图对比学习训练框架(ICLR'24)

深度学习与图网络 · 公众号 · · 2024-06-27 21:38

正文

独行速，众行远。图学习研讨会（LOGS）公众号不定期地举行图学习，大语言模型LLM以及机器学习相关的研讨会，邀请相关领域的专家，一线科研人员和顶会论文作者进行分享，希望能够给大家提供一个相互交流，研讨，和学习的平台。如果您有相关的研究，想要研讨与分享，或者有感兴趣的topic和论文也欢迎给我们微信公众号留言，我们会尽快与你取得联系.

	图学习研讨会
报告时间	2024年06月29日（周六） 10:00 am（北京时间）
报告主题	基于结构化压缩的图对比学习训练框架
报告嘉宾	张晟中

报告主题

图神经网络的可扩展性阻碍了它们在工业界的广泛应用，这一问题在无监督图对比学习领域尤为突出。为了解决图对比学习的可扩展性问题，我们提出了一个简单但有效的训练框架，称为结构压缩（Structural Compression，StructComp）。受稀疏低秩近似扩散矩阵的启发，StructComp 用压缩节点训练编码器。这使得编码器在训练阶段不需要执行任何消息传递，并显著减少对比损失中的样本对数量。我们从理论上证明了原始 GCL 损失可以用由 StructComp 计算的对比损失来近似。此外，StructComp 可以被视为 GCL 模型的一个额外正则化项，从而使编码器更加鲁棒。对各种数据集的实证研究表明，该框架在降低各种图对比学习模型时间和内存消耗的同时，也提升了模型的性能，相较于原始图对比学习模型和其他可扩展训练方法，具有显著优势。