随着语言大模型的成功，视觉 - 语言多模态大模型 (Vision-Language Multimodal Models, 简写为 VLMs) 发展迅速，但在长上下文场景下表现却不尽如人意，这一问题严重制约了多模态模型在实际应用中的潜力。
为解决这一问题，清华大学，香港大学和上海 AI Lab 联合提出了一种新的用于多模态大模型的位置编码方法 ——Variable Vision Position Embedding (V2PE) ，取得多模态大模型在长上下文场景下的新突破。
V2PE: Improving Multimodal Long-Context Capability of Vision-Language Models with Variable Visual Position Encoding论文作者：
葛俊岐 (清华大学本科生)，陈子熠 (清华大学本科生)，林锦涛 (香港大学博士生)，祝金国 (上海 AI Lab 青年研究员)，朱锡洲 (通讯作者)论文链接：
https://arxiv.org/abs/2412.09616项目主页：
https://zzdhybthu.github.io/V2PE.github.io/代码链接：
https://github.com/OpenGVLab/V2PE
位置编码是多模态大模型中的关键技术，用于让模型理解输入序列的相对位置关系。它使得 VLMs 能够理解词语在句子中的位置，并识别图像块在原图中的二维位置。然而，现有的多模态模型通常在图像 token 上沿用文本模型的位置编码方式，这并非最优方案。V2PE 提出了一种为视觉 token 分配可变位置增量的新方法，有效解决了传统位置编码在处理超长上下文任务时的性能瓶颈问题。通过避免位置编码超出模型训练上下文窗口的限制，V2PE 显著提升了模型在 32K 至 1M 长度超长上下文任务中的表现。相比传统位置编码的模型，采用 V2PE 的模型在这些任务中实现了突破性改进，甚至超越了最先进的闭源大模型。- 构建了一个用于 VLMs 长上下文训练和评估的混合数据集。研究团队通过这一数据集发现，直接将 LLM 的位置编码机制应用于视觉 token 是次优选择。
- 提出了可变视觉位置信息编码 (V2PE)，一种创新的位置编码策略，通过为视觉 token 分配可变且较小的增量，大幅提升了 VLMs 对长多模态上下文的理解和推理能力。
- 将 V2PE 方法和扩展训练数据应用于开源视觉模型 InternVL2-2B, 微调后的模型在统一多模态基准测试和长上下文多模态任务中表现优异，成功处理长达 1M token 的序列，展现了卓越的长上下文处理能力。
可变视觉位置编码
在人工智能领域，视觉 - 语言模型 因其在多模态任务中的出色表现而备受关注。然而，在处理视频、高分辨率图像或长篇图文文档等长上下文场景时，其泛化能力却显著下降，这限制了它们在实际应用中的潜力，并影响了用户体验的进一步提升。V2PE 旨在解决的核心问题在于：为什么 VLMs 在长上下文场景下表现不佳，以及如何提升它们在长序列多模态理解与推理上的能力？为了研究 VLMs 为什么在长上下文场景表现不佳，研究团队通过构建大规模的长上下文多模态数据集，系统地评估和分析 VLMs 的能力，在这一过程中，他们意识到位置编码策略在 VLMs 的性能中起着至关重要的作用。传统的 VLMs 位置编码通常不区分文本 token 和图像 token，并在训练中使用固定的编码规则。然而，文本 token 属于一维数据，位置编码仅需传达先后顺序；图像 token 则为二维数据，位置编码需传递图像块的空间位置信息，还要考虑多分辨率下缩略图与子图像块的对应关系。此外，当模型处理超出训练上下文窗口的长序列时，固定位置编码会超出模型已知范围，导致推理能力受限。因此，作者提出了 Variable Visual Position Encoding (V2PE)，这是一种新颖的位置编码方法，专门针对视觉 - 语言模型（VLMs）中的长上下文场景。V2PE 通过为视觉 token 分配更小的、可变的位置增量，有效地管理长多模态序列。
作者引入了两个增强的长上下文多模态数据集：Long Visual Question Answering (Long-VQA) 和 Long Multimodal Retrieval (Long-MR)。旨在提升 VLMs 的长上下文能力并建立评估框架。
位置编码是 Transformer 架构中的基本组成部分，它通过为 token 提供位置信息来捕获序列关系。位置编码通常涉及两个步骤：位置索引推导 和位置嵌入计算 。位置索引推导：为每个 token 分配位置索引 。位置嵌入计算：将这些索引转换为影响注意力机制的位置嵌入。
作者提出了一种针对模态特定的递归函数，为文本和视觉 token 分配不同的位置索引：
其中 是一个小于 1 的增量，用于减少视觉 token 的位置索引增加速率。在训练过程中， 可以从一组分数值中动态选择，以适应不同的输入长度和复杂性。1. V2PE 保留了 VLMs 中的所有视觉 token，保留了视觉内容的丰富性和细节；2. V2PE 允许 VLMs 通过在训练期间动态选择 来适应任意间隔的位置索引，避免了位置编码外推引起的不准确。
长上下文能力显著提升
经过一系列的实验和分析，研究团队取得了显著的成果。通过引入 Variable Visual Position Encoding (V2PE) 和增强的长上下文多模态数据集，研究团队得到了以下几个重要的发现：
在上下文长度 32k 以内的数据上训练模型，在 64k 以内，多种长度的基准测试上进行测试。实验的结果表明，在测试长度超出训练的上下文长度时，模型效果会显著下降，但选用更小的增量 可以有效缓解这一现象。
作者分别在 32k 和 256k 的训练数据上微调模型，并在长达 1M 的多种上下文长度上进行测试。实验结果表明，V2PE 在长上下文场景下的表现明显优于不加 V2PE 的模型，也优于使用插值方法的模型，甚至能超越先进的闭源大模型。
此外，作者将训练好的 V2PE 模型与其他视觉 - 语言模型在多种基准测试进行了对比，结果表明，V2PE 在长上下文多模态任务上的表现优于其他模型，证明了 V2PE 的有效性。
消融实验中，作者将 V2PE 方法与 token 压缩的方法以及在训练时固定视觉 token 的位置编码增量的方法进行了对比，证明了 V2PE 的优势。在对注意力图的分析中，作者关注注意力图的尾部，即对应序列末端的问题部分的注意力图。作者发现，随着 的减小，模型能更好地把注意力集中在问题对应的答案附近，证明了 V2PE 能够有效地提升模型将注意力对齐到输入序列中的关键部分的能力。V2PE 的提出，为视觉 - 语言模型在长上下文场景下的表现提供了新的思路。通过为视觉 token 分配可变的位置增量，V2PE 有效地解决了位置编码超出模型训练上下文窗口的问题，提升了模型在长上下文场景下的表现。作者相信，V2PE 的提出将为视觉 - 语言模型的发展带来新的机遇，为模型在长上下文多模态任务中的应用提供更多可能性。
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：[email protected]
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
