OMG-LLaVA：桥接图像级、对象级、像素级推理和理解

3.1 任务统一

动机和我们的目标。 大语言模型将大多数NLP任务统一为词符生成任务，并表现出强大的推理和指令跟踪能力。 如图 2 (a) 所示，LLaVA 类模型 [69; 68; 67; 108; 63; 129; 24; 25; 18; 62] 将视觉符元引入 LLMs，使 LLMs 能够理解视觉信息并执行基于视觉的推理。 然而，它们无法完成细粒度的视觉任务，例如对象级和像素级的理解和推理。 如图 2 (b) 所示， [124; 131; 11; 80; 13; 117] 引入区域级视觉嵌入，使 LLMs 能够实现对象级理解和推理任务。 然而，这些模型依赖于复杂的区域嵌入提取设计。 此外，大多数无法执行像素级的理解任务。 因此，如图 2 (c) 所示， [47; 86; 33] 引入分割符元，使 LLMs 能够输出分割掩码，从而处理像素级理解和推理任务。 然而，它们需要一个大型分割模块，例如 SAM [45] ，这使得系统高度冗余。 如图 2 (d) 所示，GLAMM [85] 将上述流水线结合起来处理对象级和像素级任务。 然而，这显着增加了系统的 复杂性 和 冗余 。 此外，GLAMM 依赖于用户的显式指令， 失去 处理基本像素级理解任务（例如实例分割、语义分割、全景分割和交互式分割）的感知能力。

在本文中，我们专注于以更简单而优雅的方式解决上述所有挑战。 我们的 OMG-LLaVA 统一了图像级（例如图像标题和基于图像的对话）、对象级（例如区域标题和基于视觉提示的对话）和像素级（例如通用分割、引用分割、推理）分割和基础对话生成）视觉理解和推理任务转化为 Token 到 Token 的生成。 该框架遵循简洁优雅的系统设计，仅包含一个视觉感知模块和一个大型语言模型。

不同任务的统一视图。 我们将各种任务建模为 Token 到 Token 的生成，以弥合图像级、对象级和像素级理解和推理之间的差距。 为了支持这些任务，我们定义了三种类型的标记：文本标记 T t 、以像素为中心的视觉标记 T p ⁢ v 和以对象为中心的视觉标记 T o ⁢ v 。 文本标记对文本信息进行编码。 以像素为中心的视觉标记代表密集的图像特征，为大语言模型提供全面的图像信息。 以对象为中心的视觉标记对指定对象的特征进行编码，提供大语言模型以对象为中心的信息，并且可以轻松解码为分割掩模。

那么，所有的任务可以统一为：

例如，在经典的图像级理解任务中，即图像标题，基于文本指令 T t i ⁢ n 和图像特征 T p ⁢ v i ⁢ n 生成文本响应 T t o ⁢ u ⁢ t 。 在对象级理解任务中，区域字幕，根据文本指令 T t i ⁢ n 、图像特征 T p ⁢ v i ⁢ n 和指定的以对象为中心生成文本响应 T t o ⁢ u ⁢ t 视觉标记 T o ⁢ v i ⁢ n 。 像素级推理任务，即指分割，涉及基于文本指令 T t i ⁢ n 和图像特征 T p ⁢ v i ⁢ n 生成以对象为中心的视觉标记 T o ⁢ v o ⁢ u ⁢ t 。 此外，OMG-LLaVA 可以支持各种混合级别的任务，例如提供围绕指定对象的基础描述。

可以通过使用 CLIP 主干作为标记器对图像进行标记来获得以像素为中心的视觉标记。 然而，以对象为中心的视觉标记需要对对象信息进行编码，以便能够轻松地将其解码为分段掩码。 因此，Osprey [124] 中的掩码池化和 GLaMM [85] 中的 ROI 池化等方法无法满足这些要求。 我们发现通用感知解码器可以满足所有要求。 因此，由于其全面的功能，我们选择 OMG-Seg 解码器 [56] 作为以对象为中心的标记器。

3.2 OMG-LLaVA框架

OMG-LLaVA 的框架如图 2 (e) 所示。 OMG-LLaVA包括一个大语言模型（大语言模型）和一个 冻结 通用感知模块。 通用感知模块将用户的图像和视觉提示编码为以像素为中心和以对象为中心的视觉标记。 它将大语言模型输出的以对象为中心的视觉标记转换为显式分段掩码响应。 大语言模型接受来自通用感知模块的文本指令标记以及以像素为中心和以对象为中心的视觉标记作为输入，然后输出文本响应以及以对象为中心的视觉标记。 OMG-LLaVA 的详细架构如图 3 所示。 通用感知模块包含图像编码器、OMG 解码器 [56] 和一个不可训练的感知先验嵌入组件。

图像编码器。 为了最大限度地发挥通用感知模块的感知能力，我们使用基于 ConvNeXt-L [73] 的 CLIP [84] 模型作为图像编码器，并采用高图像分辨率 (1024 × 1024)。 然而，大图像分辨率会导致向大语言模型输入过多的视觉标记，从而导致计算成本明显高于使用较低分辨率图像（例如 224 × 224 或 336 × ) >336）。 我们通过利用最低分辨率图像特征（32 × 下采样）来解决这个问题。 此外，我们使用像素洗牌算子来进一步降低图像特征的分辨率。 最终，用于生成视觉标记的图像特征的下采样因子为 64，这意味着 1024 × 1024 图像会生成 256 个视觉标记。

天啊解码器。 我们利用 OMG 解码器 [56] 生成以对象为中心的视觉标记，为 LLM 提供有关图像中主要对象的信息以及用户输入视觉提示中提到的对象信息。 如图 4 左侧所示，OMG 解码器包括掩蔽交叉注意力 [19] 和自注意力层。 OMG 解码器的输入包括一组可学习的对象查询 [20; 19; 10] ，用于自动捕获所有感兴趣的对象，以及从编码的输入视觉提示 [45] 中派生的视觉提示查询。 视觉提示查询和可学习对象查询统称为对象查询。 OMG 解码器通过采用屏蔽交叉注意力从图像特征中探测对象查询的特征，并通过自注意力对对象之间的关系进行建模。 对象查询可以通过简单的 FFN 层解码为分段掩码和对象类别。 借助 OMG 解码器，OMG-LLaVA 可以有效地将对象信息标记为以对象为中心的视觉标记，从而为大语言模型配备有关图像中的对象和用户引用的对象的信息。

OMG解码器可以接受点提示作为输入。 虽然框提示和遮罩提示可以轻松转换为点提示，但这种粗略的转换会显着丢失提示信息，从而使用户意图的显式编码变得复杂。 为了解决这个问题，我们可以根据视觉提示对屏蔽交叉注意层的注意掩模施加约束，以精确编码提示引用的对象信息。 如图 4 右侧所示，我们利用框坐标为框提示之外的所有像素特征定义注意力掩码。 类似地，我们直接使用提供的对象掩码来生成掩码提示的注意掩码。 通过这种简单的注意力掩模修改策略，OMG-LLaVA 可以准确捕获用户的视觉提示，包括点、框和掩模提示。

感知先嵌入。 我们发现，直接将冻结的感知模块与 LLM 相结合效果不佳，LISA [47] 中也观察到了这一点。 为了保留通用感知模块的全部功能，OMG-LLaVA 没有对感知模块进行调整以适应大语言模型的输出。 相反，我们提出了一种感知优先嵌入策略来应对这一挑战。 图 5 说明了感知先验嵌入策略。

首先，我们将图像编码器输出的图像特征 ℱ ∈ ℝ H ⁢ W × C 与OMG解码器 𝒟 输出的对象查询 𝒬 ∈ ℝ N q × C 融合。 具体来说，我们利用从对象查询获得的分割掩码 ℳ ∈ ℝ N q × H ⁢ W 和相应的置信度得分 𝒮 ∈ ℝ 1 × N q 来为对象查询的每个像素导出掩码得分 M ⁢ S ∈ ℝ H ⁢ W × N q ：

然后，我们根据掩码分数 M ⁢ S 计算对象查询 𝒬 的加权平均值，并获得每个像素对应的加权对象查询。 以像素为中心的视觉标记 T p ⁢ v 是通过将加权对象查询添加到图像特征 ℱ 来获得的：

此外，我们将前景对象查询视为以对象为中心的视觉标记 T o ⁢ v 。 以对象为中心的视觉标记 T o ⁢ v 与以像素为中心的视觉标记 T p ⁢ v 连接形成视觉标记 T v = ( T p ⁢ v , T o ⁢ v ) ，这些视觉标记被输入到大语言模型提供丰富的感知先验信息。

视觉投影仪和文本投影仪。 遵循 [69] ，我们使用 MLP 作为视觉投影器，它负责将视觉标记映射到 LLM 的文本嵌入空间。 由于我们的视觉 Token 由以像素为中心和以对象为中心的 Token 组成，因此视觉投影仪包含两个 MLP，每个 MLP 分别处理一种类型的视觉词符。 受 [47; 85] 的启发，我们还使用一个简单的 MLP 将 LLM 输出的 [SEG] 标记的隐藏状态映射到视觉空间。

指令制定。 OMG-LLaVA可以接受 视觉 输入、 文本 输入和 视觉提示 输入和输出文本响应以及分段词符、分段掩码和标签。 因此，它可以处理图像字幕、基于图像的对话、区域字幕、基于视觉提示的对话、指称分割、推理分割、扎根对话等任务。我们使用统一的指令公式来支持这些功能。 如图 3 所示，有三个特殊标记： 、 和 [SEG] 。 在输入大语言模型之前， 词符被视觉词符 T v 所取代，而 词符可以被视觉提示编码的任何以对象为中心的视觉词符所取代。 大语言模型输出中的 [SEG] 词符被发送到冻结的OMG解码器，以解码为分段掩码。

3.3 训练和测试设置

训练。 遵循 LLaVA [69] ，我们的 OMG-LLaVA 执行两阶段训练：预训练和指令微调。 预训练阶段，感知模型和大语言模型被冻结，只能调整视觉和文本投影仪。 除了文本回归损失之外，我们还对视觉投影仪 𝒫 v 和文本投影仪 𝒫 t 应用正则化惩罚，以尽可能保留以对象为中心的信息。

在指令微调期间，除了对视觉投影器和文本投影器进行微调外，我们还使用 LoRA [35] 对 LLM 进行微调。 遵循 [85; 56] ，除了文本回归损失外，我们还应用交叉熵损失和骰子损失 [78] 来监督由[SEG]符元解码的分割掩码。

测试。 图像级、对象级和像素级理解和推理任务都可以包含在等式 1 范式中。 在推理阶段，我们将必要的任务要求（例如文本提示、视觉提示和图像特征）编码为标记以输入到大语言模型中。 然后根据任务定义将大语言模型的输出标记解码为文本响应和分段掩码响应。 我们建议读者查看附录中的更多详细信息。