我们的模型的目标是揭示这些交互背后的潜在原因，并阐明影响用户行为的因素。通过统一图形协同过滤和大型语言模型，我们的XRec旨在提供深刻的解释，帮助用户理解为什么某些交互会发生，并提高推荐过程的透明度。
协作关系标记器
为了有效地捕获大量用户和物品之间的协作关系并反映它们的交互模式，自然语言是不够的，但是表示提供了一个强大的替代方案。在我们的XRec中，我们利用图神经网络的功能作为标记器，将高阶协作关系信息编码到潜在嵌入空间中，从而实现复杂用户偏好的有效建模。
基于图的消息传递。我们方法中的协作图标记器利用消息传递机制在用户-物品交互图中传播和聚合信息，促进用户和项目节点表示的学习。我们使用LightGCN作为有效协作信息聚合的骨干。
用户和物品的最终嵌入是通过平均所有层嵌入来计算的。
基于CF信号的优化标记器。为了使用来自用户交互的隐式反馈信号来优化我们的协作图标记器，我们利用贝叶斯个性化排名(BPR)损失作为监督信号来指导用户和项目嵌入的生成，其定义为：
此外，我们还包括一个正则化损失来维持嵌入的范数：
结合这些项，我们的联合优化损失函数表示为：
大型语言模型(LLMs)的协同指令调优
为了使LLM能够理解用户和项目之间的协作信息，我们引入了一个协作指令调优范例。这种方法将行为级信息与语言级语义结合起来，从而将用户偏好整合到LLM中的知识中。
协同信息适配器
考虑到行为级协作信息和与用户和项目相关的文本语义之间潜在的不同语义表示空间，我们的XRec配备了一个轻量级但有效的适配器。该适配器用于对齐这些不同的模式，使我们的模型能够有效地利用协作信号和文本语义。
为了弥合LLM输入与我们的行为感知协作关系令牌之间的语义差距，并增强模型的泛化能力，我们应用混合专家(MoE)方法来嵌入空间自适应。在这种混合专家体系结构中，每个专家由捕获不同语义维度的线性层表示，然后使用可学习的门控路由器机制集成这些专家。这使得模型能够自适应地组合由不同专家编码的不同语义表示，有效地弥合了行为感知的协作关系标记和文本语言标记之间的差距。
使用LLM统一CF
我们在输入提示符中引入特殊的标记来预留空间，将提示符转换为标记嵌入后，将适应的嵌入注入这些预留位置。我们将自适应嵌入的注入扩展到初始输入提示之外，我们将llm中每一层的键、查询和值投影函数修改如下：
通过将基于图的知识注入到LLM的所有层，我们不仅保持了协作上下文的鲁棒表示，而且还使更有效的梯度流直接返回到混合专家(MoE)模块。
结构化提示嵌入。我们使用结构化提示符，为了确保提示符中的特殊令牌被识别为唯一实体，我们将它们合并到LLM的令牌器中。然后，这些专门化的标记被转换后的标记嵌入中相应的适应嵌入所替换。
我们将输入提示符定义为P = [P1，……，p1]，其中每个元素p代表一个输入令牌。令牌pu、pi、pe分别表示、、。经过位置嵌入层处理后，我们将输出表示为E = [ε1，……，ε1]。随后，λu和λi被适配的嵌入向量au和ai替换，形成最终的嵌入层E'，用作LLM的输入。
为了提高LLM生成上下文和语法上一致的解释的能力，我们的目标是最小化序列中下一个标记的预测概率与实际下一个标记之间的损失。我们使用负对数似然(NLL)作为我们的训练损失：
为了降低训练复杂性，我们冻结了LLM中的所有参数，不包括与GNN训练过程的任何交互。唯一可训练的参数是专家混合(MoE)模型中的参数。
解释生成
先前的研究直接使用用户评论作为推荐系统的解释。然而，这些评论往往是主观的，可能只是含蓄地传达了用户的意图或情绪。为了解决这一限制并提高基础真理解释的质量，已经提出应用LLM从原始评论中提取明确的用户意图。
实验设置
数据集。本文使用Amazon、Yelp、Google三个数据集进行评估。
评价指标。我们采用了包含语义理解的高级指标GPTScore、BERTScore、BLEURT、USR进行评估。为了进一步评估质量稳定性，我们分析了这些分数的标准差，值越低表明性能越一致。
基线。我们将模型与Att2Seq、NRT、PETER、PEPLER进行评估。
结果
为了证明我们的模型在可解释性和稳定性方面的优势，我们在三个数据集上对四种基线方法进行了比较分析。
我们的模型始终优于基线。即使在删除用户和物品配置文件后，我们的模型仍然显示出显著的优势。主要可以归因于两个关键因素：1）我们的模型有效地捕获协作信息，增强了来自用户交互行为的丰富语义的表示。2）该模型实现了行为级协作信息和文本级语义之间的高度一致性。
我们模型的一个突出特征是它的唯一句子比(USR)，接近1。这表明XRec为每个不同的用户-项交互生成真正唯一的解释。
我们的模型通过战略性地利用跨领域的协同优势来提高学习效率和整体效果。
消融分析
我们探索了模型中两个关键组成部分的影响：用户/项目概况和协作信息的注入。我们比较了四种模型变体：
1）我们的完整模型与所有特征(我们的)
2）我们的(无配置文件)，其中省略了用户和项目配置文件
3）我们的(w/o注入)在提示符中保留对齐的嵌入，但不将其注入LLM层
4）我们的(w/o剖面和注入)既缺乏剖面又缺乏嵌入注入。
结果显示，我们的完整模型在可解释性和稳定性方面优于其他变体，突出了其优越的能力。这两个关键组成部分在推动我们完整模型的卓越能力方面的互补和协同贡献。
在数据稀疏情况下的模型鲁棒性
我们在不同数据稀疏度的数据集上进行了实验。结果发现：
这些发现强调了我们的模型在传统上挑战推荐系统的场景中的有效性。该模型在零样本学习中的成功证实了其强大的泛化能力，并突出了其缓解冷启动问题的潜力，即新用户或项目缺乏历史交互数据。通过在不同的场景中保持高水平的可解释性和稳定性，该模型证明了它在用户行为和项目目录经常变化的动态环境中部署的适用性。
XRec无缝地将基于图的协同过滤范例与大型语言模型(LLM)的功能集成在一起，为推荐输出生成全面而深刻的解释。通过利用用户-项目交互图中编码的固有协作关系，XRec能够有效地捕获隐藏在用户偏好和项目关联之下的高阶依赖关系。XRec引入了一个专门的协作信息适配器，它作为在协作信号和LLM中编码的丰富文本语义之间建立强连接的关键桥梁。通过大量的实验，该研究的发现强调了XRec框架的显著优势。它不仅增强了推荐过程的可解释性，而且还确保了鲁棒性，特别是在具有挑战性的零概率场景中，框架在未见过的用户和项目中展示了强大的泛化能力。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
