SA2VA：将SAM2与llava嫁给图像和视频的密集理解

3.1 统一多任务表示

由于这些任务的格式不同，开发一个用于解决不同图像和视频理解任务的统一模型具有挑战性。 为克服这一问题，我们首先重新审视任务公式，并提出了一种统一的表示方法，为Sa2VA的开发奠定了基础。

基于图像/视频对象的分割。 对于图像参照分割，给定输入文本符元 T i ∈ ℝ N × D ，模型接收输入图像 I i ∈ ℝ H × W × 3 并输出与文本描述一致的相应二元掩码 M o ∈ ℝ H × W 。 N 和 D 分别代表文本符元的数量和维度。 对于视频对象参照分割，模型接收输入视频 V i ∈ ℝ T × H × W × 3 并输出二元时空掩码（masklets） M o ∈ ℝ T × H × W 。 T 、 H 和 W 分别代表视频帧数、高度和宽度。

图像/视频聊天和基于图像的字幕生成。 对于图像和视频聊天任务，给定输入文本符元 T i 和对应的图像 I i 或视频 V i ，模型输出答案文本 T o 。 对于基于图像的字幕生成任务，模型联合输出对应的掩码 M o 和对齐的文本 T o 。

视觉提示理解任务。 对于视觉提示理解任务，除了文本符元 T i 和图像 I i 之外，模型还将额外的视觉提示符元 V ⁢ P i （图像上的框或点）作为输入，并输出对应的掩码 M o 和对齐的文本答案 T o 。

统一的任务表示。 现有工作通过特定设计的模型或部分统一模型（不同的任务具有不同的模型权重）来解决上述任务。 在这项工作中，我们指出，所有上述任务都可以统一为一个单次指令调优过程，因为我们可以利用大语言模型的灵活性来处理各种视觉符元。 整个过程可以表述如下：

对于仅聊天的任务，模型只输出文本符元 T o 。 对于参考分割任务，模型输出掩码（图像）或掩码片段（视频） M o 。 对于基于图像的字幕生成任务，模型同时输出文本和掩码。 对于不同的任务，输入的视觉符元会根据具体任务而变化。 由于 M o （无论是图像掩码还是掩码片段）可以用SEG符元控制，一个SEG符元代表SAM-2解码器的一个提示输入。 因此，将所有这些任务放入一个共享的编码器-解码器框架中并共同训练一个大型语言模型并微调SAM解码器是很自然的。

3.2 Sa2VA 框架

Sa2VA 的整体架构如图 2 所示。 它包含两个部分：类似 LLaVA 的模型和 SAM-2。

预训练的 MLLM。 我们采用预训练的类似 LLaVA 的模型作为 MLLM。 它包含一个视觉编码器、一个视觉投影层和一个大型语言模型 (LLM)。 视觉编码器以图像、视频和子图像作为输入。 视觉投影层将输入映射到视觉符元。 这些符元与输入文本符元结合，构成 LLMs 的输入，并进行输出文本符元预测。 请注意，我们采用预训练的 MLLM，这遵循了之前的研究工作 [99, 66, 40, 85] 。 对于图像和视频聊天数据集，我们遵循相同的流程 [9, 2] ，无需进一步修改。

解耦设计。 我们将SAM-2与预训练的LLaVA模型一起添加。 我们没有将SAM-2的输出符元（视觉特征或解码器输出）输入到LLM中。 有三个原因。 首先，我们希望使组合尽可能简单，而不会增加额外的计算成本。 其次，添加额外的符元需要额外的对齐过程。 第三，通过这种设计，我们可以充分将我们的工作作为一个即插即用的框架来利用预训练的MLLM，因为MLLM社区发展迅速。 因此，我们采用了一种解耦设计，避免了LLaVA和SAM-2之间进一步的通信。

通过SEG符元微调SAM-2解码器。 我们通过特殊符元“[SEG]”连接SAM-2和MLLM。 “[SEG]”符元的隐藏状态被用作一种新型提示，并馈入SAM-2的解码器，其中它们被解码成分割掩码。 “[SEG]”的隐藏状态可以被看作是SAM-2的一种新的时空提示。 SAM-2根据时空提示分割图像和视频中相应的目标掩码。 在训练期间，可以微调SAM-2解码器以理解时空提示，并且可以将梯度反向传播到“[SEG]”符元到MLLM，从而使其能够更好地输出时空提示。

利用SAM-2知识进行掩码跟踪。 对于Ref-VOS任务，我们设计了一个简单的框架，在公共基准测试中取得了显著的成果。 特别是，对于给定的输入视频，我们采用“[SEG]”符元来生成关键帧的掩码。 然后，我们使用关键帧特征编码的记忆来生成剩余帧的掩码。 我们在附录中详细介绍了这个过程。

3.3 Ref-SAV数据集和基准

数据标注流程。 我们精心设计了一个自动标注流程，为SA-V数据集 [67] 生成参照对象文本表达式。 如图 3 所示，该流程包含3个阶段：

1. 1.

   对象/部件级标注 。 我们首先从视频中选择对象区域最大的帧，并屏蔽掉非对象像素。 然后将裁剪后的图像和完整图像分别送入InternVL2-76B [9] 生成详细描述。 这些描述由Qwen2-72B [86] 进行一致性检查，并将冲突的描述丢弃。

2. 2.

   场景级标注 。 使用黄色轮廓突出显示图像中的对象。 图像和上一阶段的对象/部件级描述都送入InternVL2-76B [9] 以生成详细的对象描述，其中包括与场景和周围对象的关系。

3. 3.

   视频级标注 。 我们从视频中均匀采样8帧，使用黄色边框突出显示每一帧中的对象。 这些帧以及场景级描述由InternVL2-76B处理以生成视频级描述，捕捉对象的运动和动作。

Ref-SAV训练数据集。 使用上述流程，我们已自动为SA-V数据集标注了详细的对象表达，从而创建了Ref-SAV数据集。 该数据集包含37,311个视频和72,509个对象表达。 值得注意的是，我们避免了对对象表达进行增强，确保每个对象只有一个对应的表达。

Ref-SAV评估基准。 我们从SA-V数据集的训练集中选择一部分视频来构建Ref-SAV评估基准，因为验证集和测试集只包含有限数量的视频。 这些视频与Ref-SAV的训练数据集严格正交。 评估基准包括两部分：1) 长表达集 ，使用上述自动标注流程生成，并由人工标注者仔细筛选。 2) 短表达集 ，完全由人工标注。 评估基准包含1,147个视频和1,945个对象表达，其中1,694个是长表达，251个是短表达。 有关训练和测试参考示例，请参阅附录。

3.4 Sa2VA训练和测试。

一对多协同训练。 Sa2VA是多数据集协同训练的。 对于视觉问答 (VQA) 任务，我们采用文本回归损失 L t ⁢ e ⁢ x ⁢ t ，如同常用的多模态大语言模型 (MLLM)。 对于分割任务 L m ⁢ a ⁢ s ⁢ k ，我们应用像素级的交叉熵损失 L C ⁢ E 和Dice损失 L D ⁢ I ⁢ C ⁢ E 。 需要注意的是，与之前的工作 [53] 不同，我们没有预训练阶段，而是在单次训练中进行监督式微调。

在第 4 节中，除了对一个模型进行协同训练外，我们还根据 [66, 99] 报告了针对单一任务的特定微调模型，以进行公平比较。

一对所有测试。 所有任务都可以包含在公式 1 的范式中。 在推理阶段，我们将必要的任务需求，例如文本提示、视觉提示、图像和视频特征，编码成符元，然后输入到大型语言模型 (LLM) 中。 然后，根据任务定义，将LLM的输出符元解码为文本响应（LLM预测头）、分割掩码（SAM-2解码器）和SAM-2掩码跟踪模块响应。 我们强烈建议读者查看附录中的详细模型推理表。

4.1 主要结果

与最先进的多模态大语言模型的比较。 如表 2 所示，Sa2V-8B在RefCOCO、RefCOCO+和RefCOCOg上分别实现了81.6、76.2和78.9 cIoU，超过GLaMM-7B 2.1、3.6和4.5 cIoU。毫无疑问，Sa2VA在RefCOCO+和RefCOCOg上取得了新的最先进的结果，显著优于之前的基于 grounding 的多模态大语言模型，包括LISA、GLaMM、PixelLLM、PSALM和OMG-LLaVA。同时，Sa2VA还在对话方面展现出强大的能力，在MME、MMbench和SEED-Bench上分别取得了2128、81.6和75.1的分数，而现有的基于grounding的多模态大语言模型在对话方面表现不佳。Sa2VA在图像问答基准测试中取得了与InternVL2相当的性能，这表明Sa2VA在很大程度上保留了基础多模态大语言模型InternVL2的图像聊天性能。