WWW 2025 | 中南、微软提出端到端双重动态推荐模型，释放LLM在序列推荐中的潜力

©PaperWeekly 原创 · 作者 | 殷珺

单位 | 中南大学硕士研究生

研究方向 | 大语言模型、推荐系统

论文题目：

Unleash LLMs Potential for Sequential Recommendation by Coordinating Dual Dynamic Index Mechanism

论文链接：

https://openreview.net/pdf?id=GE71TxvTH3

代码链接：

https://github.com/Esperanto-mega/ED2

论文录用：

The ACM Web Conference Research Track 2025 (Oral)

摘要

由于大型语言模型（Large Language Models，LLMs）在语义理解和逻辑推理方面表现出前所未有的能力，它们在下一代序列推荐系统（Recommender Systems，RSs）的开发中展现出了巨大的潜力。

然而，现有的基于 LLM 的序列推荐系统大多将索引生成与序列推荐分离，这导致语义信息与协同信息的融合不够充分。此外，对用户相关信息的忽视限制了基于 LLM 的序列推荐系统对高阶用户-物品交互模式的挖掘。

为了解决上述问题，我们提出了端到端双重动态（End-to-End Dual Dynamic, ED ² ）推荐模型，这是首个采用双重动态索引机制的基于 LLM 的序列推荐系统。该机制不仅能够将索引生成和序列推荐整合到统一的 LLM 主干流程中，还使得基于 LLM 的序列推荐系统能够有效利用用户相关信息。

具体而言，为了提升 LLM 对双重动态索引的理解能力，我们提出了一种多粒度 Token 调节器，该调节器基于 LLMs 的语义知识，在多个表示粒度上构建对齐监督。此外，我们特别设计了用户集合数据及一系列新颖的指令微调任务，以捕捉高阶用户-物品交互模式。

在三个公开数据集上的广泛实验表明，ED ² 的性能优越，在命中率（Hit-Rate）上平均提升 19.62%，在归一化折损累计增益（NDCG）上平均提升 21.11%。

动机

尽管取得了显著成就，当前基于 LLM 的序列推荐系统仍然面临以下局限：

（i）静态索引机制限制了 LLM 对语义信息和协同信息的融合。如图 1b 所示，现有的基于 LLM 的序列推荐系统大多采用静态索引机制，将索引生成过程与序列推荐过程分离。

在推荐系统优化过程中，静态索引保持不变，因此无法考虑物品之间的协同相似性。例如，电影《变形金刚》（2007年7月3日）与教学视频《Transformer详细讲解》（2021年10月28日）在文本内容上高度相似，但在用户交互记录中的重叠度却极低。

（ii）忽视用户相关信息，限制了 LLM 对高阶用户-物品交互模式的挖掘。如图 1b 所示，大多数主流的基于 LLM 的序列推荐系统（如 FDSA、TIGER 和 LC-Rec）仅依赖物品相关信息（即物品文本内容和交互物品序列）进行下一个物品的预测，而不考虑用户相关信息。这使得基于 LLM 的序列推荐系统难以捕捉和利用高阶用户-物品交互模式。

在传统的序列推荐系统中，高阶用户-物品交互模式至关重要，并对推荐结果有着巨大贡献。例如，用户共同购买模式（co-purchase pattern）能够识别出具有相似兴趣的用户，而用户偏好模式（user preference pattern）则反映了用户在长时间跨度上的一致性喜好。

方法

3.1 端到端双重动态语义推荐系统

端到端双重动态（ED ² ）推荐模型由共享的 LLM 主干网络和双重动态索引生成器组成。共享的 LLM 主干网络负责理解用户/物品的文本特征，并推理序列推荐结果。双重动态索引生成器能够将 LLM 主干网络提供的用户/物品表示量化为离散索引。

具体而言，语义信息首先在 LLM 主干网络的帮助下从文本内容中提取，然后通过双重动态索引生成器压缩为紧凑的索引，最终通过面向序列推荐的微调与协同信息融合。

3.1.1 语义信息提取

为了充分利用与用户和物品相关的语义信息，我们基于它们的文本特征初始化用户/物品表示。

对于每个用户 及其交互序列 ，我们查找并组织对应的文本特征，形成集合 。在 LLM 主干网络的文本编码器 中，LLM 的分词器（Tokenizer）首先将文本内容转换为标记索引（token indices），然后标记嵌入层（token embedding layer）将标记索引投影为标记嵌入（token embeddings）。

最终，LLM 基于其内在的语义知识，将标记嵌入转换为语义表示。语义信息提取过程可以表示为：

其中，d 表示 LLM 的隐藏层特征维度。

3.1.2 双重动态语义索引生成

基于 LLM 主干网络文本编码器提取的语义表示，双重动态索引生成器将其中的语义信息压缩为离散索引。由于双重动态索引的离散性，下游的 LLM 主干推荐器能够直接生成推荐结果的索引，从而充分激发 LLM 主干的自然语言生成能力。

通常，每个用户/物品都与一个唯一标识符（如 、 ）相关联。一种朴素的策略是将所有唯一标识符直接添加到 LLM 词表中，但这种方法会导致词表大小随用户和物品数量线性增长。

借鉴序列量化（sequential quantization）技术，我们在设计双重动态索引生成器式采用了分层架构，通过 M 个索引标记（每个标记有 N 种可能取值）的组合来表示每个用户、物品。

例如，如图 2 中双重动态索引生成阶段所示，物品 可表示为 = ，其中 M=4，N=8。在该分层索引机制下，表达空间随索引长度 M 指数级增长。

一个长度为 M 基数为 N 的分层索引理论上可以表示 个不同的对象，而新引入的索引标记总数仅为 N×M。以物品 为例，量化过程将以残差方式执行 M 次，其数学表达如下：

最终，物品 的语义索引可表示为： .

3.1.3 生成式序列推荐

为了让 LLM 主干网络理解序列推荐任务，我们通过自然语言指令将双重动态索引与用户交互序列进行聚合。具体而言，交互序列中的原始用户索引 和物品索引 被替换为相应的双重动态索引。由此，交互记录被重组为一个由自然语言 Token 和双重动态索引 Token 组成的异构序列。在我们的实现中，一条异构自然语言指令的示例如下：

“You are an expert in sequential recommendation. Based on the historical interaction sequence: , could you please predict the most suitable item for user ?”

记异构自然语言指令为 ，LLM 主干网络首先将自然语言指令 转换为隐藏表示 。然后，在 LLM 主干网络的基础上附加一个扩展的语言模型头，用于将隐藏状态 投影到索引标记词表，表示如下，

其中， 是推荐结果的索引表示。若有需要，可以通过逆查找操作（inverse look-up）将索引转换回原始物品 ID。基于异构指令提示的序列推荐任务可以自然地转化为语言生成任务，其优化目标定义为负对数似然（Negative Log-Likelihood, NLL），具体如下：

其中，F 是由 LLM 主干网络与扩展的语言模型头组成的整体模型，B 表示批量大小（batch size）， 和 分别为第 个样本的真实索引与自然语言指令。

3.2 多粒度 Token 调节器

给定动态索引 和对应的文本特征 ，值得注意的是， 和 从两个不同的角度描述了同一实体。因此，LLM 对动态索引 的理解应当与对文本特征 的理解相似。

如图 3 所示，多粒度 Token 调节器模块在索引层和标记层构建了对齐监督。我们提出的基于索引层对齐监督优化目标公式如下，

其中， 为批量大小， 和 分别为动态索引 和文本特征 的 LLM 表示。具有相似表示的用户/物品往往会分配相似的索引，这些索引共享一部分相同的标记。因此，我们提出了基于标记层对齐监督的优化目标，公式如下，

其中 是第 个量化器的输入， 是与索引标记 对应的码字。

3.3 高阶交互模式挖掘

我们设计了高阶用户-物品交互模式的挖掘方法，使得 LLM 能够捕捉这些隐式模式。具体而言，我们首先根据历史行为构建相关的用户集合数据。对于每个物品 ，与之有过历史交互的用户被记录为一个关联集合