GNN有个很重要的创新思路：结合多模态。加上近两年多模态爆火，
GNN+多模态
自然也成为了研究和实践的热门方向。
这种结合能够整合多种数据，通过GNN提取信息、捕捉模态关系，提升性能。另外GNN在多模态融合（包括早期、中期和晚期融合）中可以平衡特征交互，动态优化效果，
实现模型性能和预测准确性的全面提升。
因此，GNN+多模态的应用场景非常广泛，研究成果颇多，顶会顶刊占比较大，比如上海交大发表在《cell》子刊上的一篇，讲的是一种基于局部到全局多模态融合GNN的方法，用于抑郁症的诊断。再比如Neurips上的MuSe-GNN、AAAI上DDI预测新方法MKG-FENN...还有一些《Nature》子刊成果。
本文从中挑选了
12篇
GNN+多模态新成果，
方便感兴趣的同学了解这方向的研究进度，代码开源的都附上了，有问题欢迎友好交流。
扫码添加小享，
回复“
多模态GNN
”
免费获取
全部论文+开源代码
MuSe-GNN: Learning Unified Gene Representation From Multimodal Biological Graph Data
方法：
作者利用多模态相似性学习图神经网络（MuSe-GNN）结合深度图神经网络和多模态机器学习，以解决基因表示学习中的数据异质性问题，通过单细胞测序和空间转录组数据创建信息丰富的图结构，显著提升了基因功能预测的准确性，并揭示了疾病相关基因的潜在机制和调控网络。
创新点：
-
首次将多模态机器学习与深度图神经网络（GNN）结合，用于大规模多模态生物数据的联合分析。
-
MuSe-GNN 通过利用多模态生物数据构建信息丰富的图结构，并采用权重共享网络架构，以生成基因表示。
-
MuSe-GNN 引入了一种受图自编码器启发的边重构损失函数。
Multimodal Graph Neural Architecture Search under Distribution Shifts
方法：
本文提出了一种新颖的OMG-NAS方法，通过解耦多模态特征和使用随机傅里叶特征重加权样本，提升了MGNAS的OOD泛化能力，并通过引入三个新的多模态图-OOD数据集验证其有效性，解决了过拟合问题和伪相关性，显著贡献于多模态图神经架构搜索领域的泛化挑战。
创新点：
-
首次将跨分布（OOD）场景中的图神经网络架构搜索问题从多模态角度进行公式化，提出了三个新的多模态图OOD数据集，这为评估方法的泛化能力提供了新的基准。
-
引入了一种新的方法OMG-NAS，通过自动探索架构和多模态权重来提升MGNN模型的OOD泛化能力。
-
开发了一种重新加权的方法，能够有效去相关从训练集中获得的多模态图信息，提升了模型识别真实特征与标签关系的能力，并在不平衡数据设置中依然保持优异的表现。
扫码添加小享，
回复“
