大家好，今天给大家介绍一篇最新Graph LLM相关的研究论文，这篇论文提出了一种名为LLMExplainer的新方法，用于
解决图神经网络(GNN)解释中的学习偏差问题
。该方法地将大语言模型(LLM)作为贝叶斯推理模块嵌入到GNN解释器中，显著提高了解释的准确性和鲁棒性。这项工作为GNN可解释性研究提供了新的视角。
1. 基本信息
LLMExplainer: Large Language Model based Bayesian Inference for Graph Explanation Generation
LLMExplainer：基于大语言模型的图解释生成贝叶斯推理
作者及其研究机构：Jiaxing Zhang (New Jersey Institute of Technology),
Jiayi Liu (Purdue University),
Dongsheng Luo (Florida International University),
Jennifer Neville (Purdue University, Microsoft Research),
Hua Wei (Arizona State University)
arXiv链接：
https://arxiv.org/abs/2407.15351v2
2. 研究背景
提高GNN的可解释性不仅有助于增强模型的透明度和用户信任，尤其是在
高风险场景
中，还能促进复杂领域如医疗保健和药物发现的发展。
近期的GNN解释方法主要集中在
图信息瓶颈(GIB)
技术上，从图中提取关键信息
来解释模型决策
。
然而，这些方法高度依赖于
高质量的数据集
，而这类数据集通常
稀缺
，主要是由于标注需要大量专家努力，有时也受限于图数据本身的复杂性。
这种数据稀缺性导致了一个严重的挑战：
学习偏差
。当模型过度依赖有限的可用数据时，可能会导致不正确或过拟合的解释。
现有模型通常通过提前停止训练来缓解这个问题，但这种方法本质上存在缺陷，特别是在缺乏全面验证数据集的实际应用中，可能导致欠拟合和模型泛化能力不足。
本研究的动机是
解决GNN解释中由于稀疏的真实标注导致的学习偏差问题
，目标是提出一种创新的方法来改进模型训练和解释，能够在稀缺数据的情况下仍然提供准确和可靠的GNN解释。
3. 方法
为了解决GNN解释中的学习偏差问题，作者提出了
LLMExplainer
，这是一个GNN解释框架，将大语言模型(LLM)整合到各种GNN解释模型中，
涵盖从实例级到模型级的解释模型
。LLMExplainer的核心思想是将LLM作为
评分器
，并将LLM的评估结合到模型中，以指导加权梯度下降过程。
具体来说，LLMExplainer的方法包括以下几个关键步骤：
贝叶斯变分推理的嵌入：为了确保满意的解释性能，作者将贝叶斯变分推理嵌入到原始GNN解释器中，并使用LLM作为贝叶斯变分推理中的先验知识。
LLM作为评分器：LLM充当"评分器"角色，为生成的
解释子图
提供评分。这个评分反映了解释的质量和准确性。
加权梯度下降：LLM的评估被整合到模型中，用于指导加权梯度下降过程。这有助于优化解释的生成。
解释生成过程：LLMExplainer首先通过原始生成器
生成初始解释子图
。然后，它使用LLM评分
和高斯噪声
嵌入拟合分数，得到最终的解释子图：
其中
是LLM对
的评分，
是高斯噪声。
目标函数优化：LLMExplainer优化了以下目标函数：
其中
是大小约束项，
是标签互信息项，
是平衡两项的超参数。
贝叶斯推理的理论保证：作者证明了当达到最优子图
时，梯度
