对话推荐、视频理解、视觉指令生成 | 本周大模型论文推荐

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

在对话推荐系统（Conversational Recommender Systems, CRSs）中，对话通常涉及一组物品以及与物品相关的实体或属性，例如，导演是电影的关联实体。这些物品和相关实体通常会在对话的发展过程中被提及，从而导致它们之间存在潜在的顺序依赖关系。然而，大多数现有的CRS忽略了这些潜在的顺序依赖性。

本文首先提出了一种基于Transformer的顺序对话推荐方法，命名为TSCR，用于模拟对话中的顺序依赖性，以改进CRS。在TSCR中，对话通过物品及其相关实体来表示，并通过考虑提及的物品和相关实体来构建用户序列，以发现用户偏好。基于构建的序列，本文部署了一个Cloze任务，用于沿着序列预测推荐物品。与此同时，在某些领域中，物品及其相关实体形成的知识图谱是现成可用的，它们提供了这些实体之间的各种不同关联。鉴于TSCR无法从这些知识图谱中受益，本文进一步提出了一种增强版的TSCR，称为TSCRKG。具体而言，本文利用知识图谱离线初始化模型TSCRKG，并通过在知识图谱中添加多跳路径来增强对话中的用户序列（即对话中提及的物品和相关实体的序列）。实验结果表明，TSCR模型显著优于现有的最先进基线模型，而增强版TSCRKG在TSCR的基础上进一步提升了推荐性能。

文章链接：

https://arxiv.org/pdf/2412.02415

从人类反馈中进行强化学习（Reinforcement Learning from Human Feedback, RLHF）在使大型语言模型（Large Language Models, LLMs）与人类价值观对齐方面发挥了关键作用。传统上，RLHF涉及对查询生成响应，并使用奖励模型为整个响应分配奖励。然而，这种方法由于依赖单一的稀疏奖励，使得模型难以识别序列中哪些部分对最终奖励的贡献最大，从而面临挑战。近期的方法试图通过引入逐标记（token-level）奖励来解决这一限制。然而，这些方法往往依赖于训练有素的归因模型或人工智能标注者，引发了对奖励质量和可靠性的担忧。

本文提出了一种名为逐标记奖励正则化（Token-level Reward Regularization, T-REG）的新方法，该方法结合了序列级和逐标记级奖励，用于优化偏好。利用LLMs的自我优化能力，本文的方法通过对比提示（contrastive prompting）使LLMs能够自动生成逐标记奖励。这些自动生成的奖励随后作为奖励正则化，引导模型更有效地将序列级奖励分配到各个标记上。这有助于实现更好的逐标记归因，并提升对齐性能。在指令遵循基准测试（包括Alpaca Eval 2和Arena-Hard）上的实验表明，本文提出的方法在性能上一致优于基线方法，分别提升了3.8%和4.4%。

文章链接：

https://arxiv.org/pdf/2412.02685

https://arxiv.org/pdf/2412.02186

重建具有大规模和复杂运动的动态场景仍然是一个重大挑战。近年来，诸如神经辐射场（Neural Radiance Fields）和三维高斯绘制（3D Gaussian Splatting, 3DGS）等技术虽然展现出一定的潜力，但在处理涉及显著运动的场景时仍面临困难。本文提出了一种基于3DGS的新型方法RelayGS，专门用于表示和重建高度动态的场景。RelayGS通过规范化的三维高斯分布和紧凑的运动场学习完整的四维表示，包含三个阶段。

首先，从所有帧中学习一个基础的3DGS，忽略场景的时序变化，并使用可学习的掩码将高度动态的前景与几乎静止的背景分离。其次，从第一阶段分离出的前景高斯分布复制多个副本，每个副本对应一个时间片段，并利用每个片段内多帧构建的伪视图对它们进行优化。这些高斯分布被称为中继高斯（Relay Gaussians），它们作为显式的中继节点，将大规模运动轨迹简化并分解为更小、更易于管理的片段。最后，联合学习场景的时间运动，并优化前两个阶段中学习到的规范化高斯分布。

本文在两个具有大规模和复杂运动的动态场景数据集上进行了广泛的实验，结果表明，RelayGS在峰值信噪比（PSNR）上比现有最先进的方法高出1分贝以上，并且能够以更完整、更连贯的方式成功重建真实世界的篮球比赛场景，而以往的方法通常难以捕捉球员的复杂运动。

文章链接：

https://arxiv.org/pdf/2412.02493

本研究的目标是根据输入图像（提供场景上下文）和文本指令序列，生成以图像序列形式呈现的逐步视觉指导。这是一个具有挑战性的问题，因为它需要在特定环境中生成多步骤的图像序列以实现复杂目标。部分挑战源于缺乏大规模的训练数据。因此，本研究的贡献体现在三个方面。首先，本文提出了一种从教学视频中自动收集大规模逐步视觉指导训练数据的方法。该方法应用于100万段视频，创建了一个包含60万对图像-文本序列的高质量大规模数据集。其次，本文开发并训练了一个名为ShowHowTo的视频扩散模型，该模型能够生成与输入图像一致的逐步视觉指导。最后，本文从准确性（步骤、场景和任务）三个维度对生成的图像序列进行了评估，并展示了该模型在所有维度上均达到了最先进的水平。本文的代码、数据集和训练模型均已公开。

文章链接：

https://arxiv.org/pdf/2412.01987

逆向思维在人类推理中起着至关重要的作用。人类不仅可以从问题推理到解决方案，还可以反过来，即从解决方案出发推理回问题。这种思维方式通常能够提升整体推理性能，因为它允许在正向和逆向思维之间进行一致性检查。为了使大型语言模型（LLMs）具备逆向思维能力，本文提出了一个名为“逆向增强思维（Reverse-Enhanced Thinking, REVTHINK）”的框架，该框架由数据增强和学习目标组成。

在REVTHINK中，通过从教师模型收集结构化的正向-逆向推理来增强数据集，具体包括：（1）原始问题，（2）正向推理，（3）逆向问题，以及（4）逆向推理。随后，本文采用三个目标以多任务学习的方式训练一个较小的学生模型：（a）从问题生成正向推理，（b）从问题生成逆向问题，以及（c）从逆向问题生成逆向推理。

在涵盖常识、数学和逻辑推理的12个数据集上的实验表明，与学生模型的零样本性能相比，平均提升了13.53%，与最强的知识蒸馏基线相比，提升了6.84%。此外，该方法还表现出样本效率——仅使用训练数据中10%的正确正向推理，就能超越在10倍正向推理数据上进行标准微调的方法。REVTHINK还展现出对分布外保留数据集的强大泛化能力。

文章链接：

https://arxiv.org/pdf/2411.19865

文章链接：

https://arxiv.org/pdf/2411.19459