用于统一目标定位和检测的开放且全面的管道

2.1 模型

正如我们在第 An Open and Comprehensive Pipeline for Unified Object Grounding and Detection 节中提到的那样，我们的模型基于Grounding-DINO [20] ，并且几乎保持不变。 我们的框架如图 3 所示。 给定具有形状 [ B ⁢ a ⁢ t ⁢ c ⁢ h ⁢ s ⁢ i ⁢ z ⁢ e , 3 , H , W ] 的图像和文本描述，我们的模型可以将描述与生成的相应边界框对齐。 我们模型的组件包括：用于提取文本特征的文本主干网络，用于提取图像特征的图像主干网络，用于深度融合图像和文本特征的特征增强器，用于查询初始化的语言引导查询选择模块，以及用于边界框细化的跨模态解码器。 更多结构细节请参见 [20] 。

特征提取与融合 。 给定一个图像-文本对，我们采用图像主干网络来提取多尺度的图像特征，同时，利用文本主干网络提取文本特征。 然后我们将这两个特征输入到特征增强模块进行跨模态融合。 在特征增强模块中，文本特征和图像特征首先通过一个双注意力块进行融合，该双注意力块包含文本到图像的交叉注意力层和图像到文本的交叉注意力层。 然后，融合后的文本特征和图像特征分别使用普通的自注意力层和可变形自注意力层以及随后的FFN层进行进一步增强，如算法 1 所示。

语言引导的查询选择 。 为了优化文本在引导目标检测中的利用率，Grounding-DINO设计了一个语言引导的查询选择模块。 语言引导的查询选择模块基于与输入文本特征（作为解码器查询）的余弦相似度来选择 n ⁢ u ⁢ m ⁢ _ ⁢ q ⁢ u ⁢ e ⁢ r ⁢ y 个候选框。 参数 n ⁢ u ⁢ m ⁢ _ ⁢ q ⁢ u ⁢ e ⁢ r ⁢ y 表示馈送到解码器的查询数量，在我们的实现中，它已根据DINO [34] 配置为900。 解码器的输入查询由两个部分组成：内容部分和位置部分。 位置部分表示动态锚框，并基于语言引导的查询选择模块的输出进行初始化，而内容部分则初始化为全零可学习查询。

跨模态解码器 。 Grounding-DINO中的跨模态解码器层旨在进一步结合文本和图像特征进行跨模态学习。 在自注意力之后，该架构包含一个图像交叉注意力层，随后是一个文本交叉注意力层，最终是一个FFN层。 与DINO解码器层相比，每个解码器层都多了一个文本交叉注意力层。 这种增强是由于需要将文本信息注入查询中，从而提高模型性能的需要。

训练损失 。 对于边界框回归分支，实现了L1损失和GIOU [26] 损失。 遵循 GLIP [16] ，我们利用 focal loss [18] 作为预测框和用于分类的语言符元之间的对比损失。 每个预测框都将与所有语言符元相乘以计算它们之间的相似度。 框回归和分类损失被联合用于计算二分匹配损失 [3] 。 与 Grounding-DINO 保持一致，我们也为每个解码器层以及编码器输出加入辅助损失。”

区别 。 MM-G 和 G-DINO 之间的主要区别在于 对比嵌入模块 。 受 CLIP [25] 的启发，我们在初始化对比嵌入模块时添加了偏差。 这可以显著降低初始损失值并加速模型的收敛。

实现代码如算法 2 所示。

2.2 数据集准备

我们的数据格式受 Open Grounding-DINO [35] 中的格式启发，并根据 MMDetection 中的格式进行了修改。 由于MM-Grounding-DINO旨在处理三种不同标注类型数据集的任务，我们将使用的15个数据集分别划分为三组。 数据集的详细信息如表 2 所示。 值得注意的是，在训练过程中，GRIT中的全部数据（超过1300万）并非每个纪元都得到充分利用。 相反，它被分成每个纪元500,000个片段。

OVD数据集 。 我们用于训练的数据集包括 COCO [17] ， Objects365V1 [27] ， Objects365V2 [27] ， V3Det [28] ， Open-Images ，而评估数据集包含 COCO ， LVIS [8] ， ODinW12/35 [15] 。

PG数据集 。 训练数据集包括 GQA [11] ， GRIT [23] ， Flickr30K Entities [24] ，而 Flickr30K Entities 数据集也用于评估。

REC数据集 训练数据集包括 RefCOCO [13] ， RefCOCO+ [33] ， RefCOCOg [22] 。 为了评估，我们使用了更广泛的数据集，其中包含 RefCOCO ， RefCOCO+ ， RefCOCOg ， gRefCOCO [19] 和 Description Detection Dataset( D 3 ) [30] 。

2.3 训练设置

文本输入规则。 对于OVD训练，我们将检测数据集中的所有类别连接成一个长字符串，例如“ 人。球。球拍。猫。 ”。 对于PG和REC任务，遵循M-DETR [12] ，在预训练阶段，我们对文本中提到的每个对象进行标注，这导致该任务中模型应用的细微修改。 例如，在预训练期间，给定标题“穿着蓝色连衣裙的女人站在玫瑰花丛旁”，MM-Grounding-DINO将被训练以预测所有被提及对象的边界框，例如 那位女士 ， 那件蓝色的连衣裙 和 那丛玫瑰 。

模型变体。 与Grounding-DINO类似，我们选择一个经过良好预训练的基于BERT的未区分大小写模型 [6] 作为我们的语言编码器，并选择Swin Transformer [21] 作为图像主干。 我们比较了MM-G-tiny和G-DINO-Tiny中不同数据集的组合。 如表 1 所示，训练数据集的选择取决于图像主干的规模。

数据增强 。 除了随机调整大小、随机裁剪和随机翻转外，我们还在数据增强中引入了随机负样本。 我们将从其他图像中随机采样的类别或文本描述（作为负样本）与作为正样本的地面实况描述连接起来。 这可以有效地抑制模型生成的幻觉现象，从而使模型不会预测图像中不存在的对象。

计算资源 。 我们在32个NVIDIA 3090 GPU上训练了我们的MM-G-Tiny，总批量大小为128，训练了30个epoch。 由于MM-G-Large的计算成本极高，MM-G-Large模型仍在训练中。

3.1 零样本迁移

在零样本设置中，MM-G 模型最初在基础数据集上进行训练，随后在新的数据集上进行评估。 此外，我们还提供了一组通过微调获得的结果，以便对我们的模型与 Grounding-DINO 进行全面的比较。 这种方法确保了对模型性能及其在该领域相对地位的可靠评估。

COCO 基准测试 . 我们对在 O365 数据集和其他 PG/REC 数据集上预训练的 MM-Grounding-DINO 进行了评估。 遵循 Grounding-DINO，COCO 数据集用于建立零样本学习基线。 我们在表 3 中比较了 MM-Grounding-DINO-Tiny 与 Grounding-DINO-Tiny。 结果表明，即使仅用 O365 训练的 MM-G(a) (mAP 48.5) 也能优于用 O365、Gold-G 和 Cap4M 训练的 G-DINO(c) (mAP 48.4)，这证明了我们模型的效率。 使用 objects365、Gold-G 和 GRIT 训练的 MM-G-T(c) 表现为 50.5 mAP ，在 COCO 基准测试上比 G-DINO(c) 提高了 2.1 AP。 这在训练过程中无需模型接触任何 COCO 图像即可实现，我们使用的 GRIT 数据甚至少于 Cap4M (4M)。 这可能有两种解释：

• •

  我们的训练策略，特别是初始化期间的额外偏差，有助于模型的收敛。

• •

  O365 数据集包含 COCO 数据集的类别。 因此，我们的模型已在 O365 数据集上进行了广泛的训练，并在 COCO 数据集上自然地表现出更高的精度。 当模型在其他数据集上进行评估时，观察到的性能相对较低，间接验证了这一说法。

还观察到，加入 V3Det 数据集并没有对 COCO 零样本评估产生积极的贡献，甚至可能产生不利影响。

LVIS 基准测试 。 LVIS 数据集构成一个长尾检测数据集，包含超过 1000 个不同的评估类别。 遵循 Grounding-DINO，LVIS 也用于零样本 OVD 评估。 我们在表 4 中将 MM-Grounding-DINO-Tiny 与 Grounding-DINO-Tiny 进行比较。 我们观察到，尽管 MM-G(a) 在没有 Cap4M 的情况下由 O365 和 GoldG 训练，但它仍然在 LVIS MiniVal 和 Val 上都超过了 G-DINO(c) +6.9AP。 加入 V3Det 后，MM-G(c1) 在 MiniVal 上超过 G-DINO(c) +7.7AP，在 Val 上超过 +7.0AP；MM-G(c3) 实现了近 5 AP 的大幅改进，在 MiniVal 上达到 41.4 mAP ，在 Val 上达到 31.9 mAP ，这在 MiniVal 上比 G-DINO(c) 高出显著的 +12.6 AP ，在 Val 上高出 +11.8 AP ！ 可能的原因可以分为两个方面：

• •

  模型在 LVIS 类别词汇表上进行了更全面的训练。

• •

  V3Det 包含超过 13k 个类别，可能涵盖了 LVIS 类别的大部分，在 [31] 中也得到了类似的结论。
  

ODinW 基准测试 . ODinW（野外目标检测）基准测试代表一个更严格的基准测试，旨在评估模型在现实世界环境中的性能。 它包含 35 个目标检测数据集，每个数据集都增加了外部知识。 我们利用 ODinW13/35 来评估我们模型的可迁移性，汇总结果如表 6 所示。 我们的 MM-G-T(c3) 表现优于 G-DINO-T(c)，在 ODinW13 和 ODinW35 上分别取得了 53.3 mAP 和 28.4 mAP 的分数，这证明了我们模型强大的可迁移性。 很明显，广泛的词汇量对于 ODinW 数据集具有重要意义。 集成 V3Det 后，模型的性能得到了大幅提升。 这种改进的主要原因是 V3Det 包含了 ODinW 中更广泛的类别。 各个子数据集的详细结果见附录 A.3 。

RefCOCO/+/g 和 gRefCOCO 基准测试 。 我们还在 REC 任务上评估了 MM-G 的零样本能力。 RefCOCO、RefCOCO+ 和 RefCOCOg 用于 REC 评估，结果如表 5 所示。 与 RefCOCO 相比，gRefCOCO 将其范围扩展到包含多目标表达式，这需要通过单个表达式指定多个目标对象。 此外，gRefCOCO 容纳了不指向图像中任何对象的无目标表达式。 此增强功能显著提高了输入表达式的多功能性，从而增强了 REC 在实际应用中的实用性和稳健性。 我们还在 gRefCOCO 基准测试上进行了评估，以评估 REC 的零样本能力，结果如表 7 所示。 我们的模型能够在 RefCOCO 上超越所有零样本评估指标的基线，并且在 gRefCOCO 上能够超越或大致等于 G-DINO。 从结果可以推断，V3Det 数据集无法为 REC 任务提供任何好处。

描述检测数据集( 𝐃 𝟑 ) 基准测试 。 D 3 的特点在于其灵活的语言表达，从简洁的类别名称到详尽的描述，它确保了所有图像中所有被描述对象的全面标注，无遗漏。 D 3 中的句子略长于普通单词，因此它不需要模型具有很高的理解能力。 事实上，它更倾向于 OVD 任务。 此外， D 3 中包含 24,282 个正对象-文本对和 7,788,626 个负对象对，这对模型区分负对象的能力提出了严格的要求。 我们在表 8 中报告了我们的结果。 从结果来看，我们观察到使用Cap4M训练的带有GRIT的MM-G-T(c1)和G-DINO-T(c)表现出了相当的性能。 特别是，MM-G-T(c1)在长句中表现出改进，而G-DINO-T(c)在处理短句时显示出进步。 这将在第 3.2 节中详细阐述。 在加入包含大量精确标注的V3Det之后，MM-G-T(c3)在短句上的性能超过了G-DINO-T(c)，而长句上的性能却变差了。 这主要是因为V3Det中的大部分文本标注都是短句。