ReferDINO：基于视觉基础模型的视频对象指称分割

4.1 对象一致性时间增强器

尽管GroundingDINO能够从单幅图像中检测参考对象，但这对于RVOS来说还不够可靠。 首先，它缺乏捕捉视频中时间动态的能力，使其无法处理与运动相关的描述，例如“猫摇尾巴”。 其次，视频帧经常包含相机运动模糊和受限的视角，这极大地削弱了GroundingDINO的时间一致性。 为了克服这些限制，我们针对GroundingDINO提出了 对象一致性时间增强器 。 此模块在文本指导下执行帧间对象交互，使我们的ReferDINO能够捕获视觉对象和文本描述之间有效的时间关联。

如图 3 所示，所提出的对象一致性时间增强器由一个记忆增强跟踪器和一个跨模态时间解码器组成。 它接收两个输入：所有对象嵌入 { 𝒪 t } t = 1 T 和所有跨模态句子特征 { 𝒇 cls t } t = 1 T ，其中 𝒇 cls t 对应于文本特征 𝑭 text t 中的 [CLS] 符元。

记忆增强跟踪器。 在时间交互之前，我们需要使用跟踪器模块来对不同帧中的对象进行对齐。 与以往工作 [5, 8] 中使用的仅考虑相邻帧之间对齐的跟踪器不同，我们集成了一个记忆机制来实现稳定的长期跟踪。 令 ℳ t 表示第 t 帧的记忆，以及 ℳ 1 = 𝒪 1 。 我们的记忆增强跟踪器包括两个步骤： 对象对齐 和 记忆更新 。 在第一步中，我们将 ℳ t − 1 和 𝒪 t 之间的余弦相似度计算为分配成本，并应用匈牙利算法 [17] 来将对象与记忆对齐：

其中 𝒪 ^ t 表示对齐的对象嵌入。 在第二步中，这些嵌入向量将以基于动量的方式更新记忆。 同时，我们将文本相关性融入其中，以自适应地防止不可见目标的帧干扰长期记忆。 形式上，记忆更新如下：

其中 α 是动量系数，而 𝒄 ∈ ℝ N s 是 𝒪 ^ t ∈ ℝ N s × d 及其句子嵌入 𝒇 cls t ∈ ℝ d 之间的余弦相似度。

交模态时间增强器。 此模块将帧级句子嵌入作为帧代理，以执行帧间交互和视频级目标增强。 具体来说，此模块包含 L t 个块。 在每个块中，给定对齐的目标嵌入 { 𝒪 ^ t } t = 1 T 和句子嵌入 { 𝒇 cls t } t = 1 T ，我们沿时间维度采用自注意力机制来实现帧间交互。 接下来，我们使用交叉注意力模块提取视频级目标信息，该模块将句子嵌入作为 查询 ，将目标嵌入作为 键 和 值 ，从而得出视频级目标表示 { 𝒪 v t } t = 1 T 。 这些包含有效时间信息的表示用于增强帧级目标嵌入，如下所示：

4.2 基于定位的可变形掩码解码器

为了充分利用GroundingDINO的预训练能力进行目标分割，我们定制了一个新颖的 基于定位的可变形掩码解码器 。 该解码器整合了来自GroundingDINO的预训练表示和定位预测，以迭代地细化掩码嵌入，从而实现整个视频中准确一致的目标分割。

为简便起见，我们使用 𝒐 ~ 来表示 𝒪 ~ t 中的任意目标。 在掩码解码器之前，我们将 𝒐 ~ 输入边界框以预测其边界框 𝒃 ∈ ℝ 4 ，其中 𝒃 = { b x , b y , b w , b h } 编码归一化的边界框中心坐标、框高和框宽。 同时，我们在跨模态图像特征 𝑭 img 上采用特征金字塔网络（FPN），生成高分辨率特征图 𝑭 seg ∈ ℝ H 4 × W 4 × d ，其中 H 和 W 分别表示原始视频帧的高度和宽度。

然后，我们将这些特征和边界框预测输入到 基于定位的可变形掩码解码器 中，用于对象细化和掩码生成。 此掩码解码器由 L m 个块组成，每个块包含两个组件：可变形交叉注意力 [39] 和普通交叉注意力。 可变形交叉注意力通过将 𝒐 ~ 作为 查询 ， 𝑭 seg 作为 记忆 ，以及边界框中心 { b x , b y } 作为 参考点 来整合预训练的定位知识。 这种机制有效地聚合了预测位置周围的空间信息，用于对象细化。 普通交叉注意力用于整合文本条件，通过将 𝒐 ~ 作为 查询 ， 𝑭 text 作为 键 和 值 。 这两个组件协同工作，以确保对象分割与文本提示和视觉定位紧密结合。 最后，对于每个对象查询，我们获得一个细化的掩码嵌入 𝒐 m ∈ ℝ d ，然后将其与高分辨率特征图 𝑭 seg 进行点积运算，以生成实例掩码 𝒎 。

4.3 置信度感知查询剪枝

基础视觉定位模型通常利用大量查询嵌入来存储广泛的对象信息，例如，GroundingDINO在跨模态解码器中使用 N q = 900 个查询。 迭代处理如此大量的查询会显著限制效率，尤其是在视频处理中。 然而，直接减少这些查询可能会影响经过良好预训练的对象知识。 为了解决这个难题，我们提出了一种 置信度感知查询剪枝 策略，以迭代地拒绝每一解码器层中的低置信度查询，仅为后续计算导出重要的紧凑查询集，如图 4 所示。

具体来说，跨模态解码器由6层堆叠而成，每一层由一个自注意力、一个与图像特征的交叉注意力和一个与文本特征的交叉注意力组成。 令 𝑸 l ∈ ℝ N l × d 表示第 l 个解码器层的输出查询嵌入，其中 N 0 = N q 。 我们重用解码器层中的注意力权重来计算每个查询的置信度分数，方法如下：

其中 s j 是第 j 个查询的置信度， 𝑨 s ∈ ℝ N l × N l 表示自注意力权重， 𝑨 c ∈ ℝ L × N l 表示与 L 个文本符元对应的转置交叉注意力权重。 前一项表示第 j 个查询从其他查询接收到的平均注意力。 从其他查询接收高注意力的查询通常表示它是不可替代的。 后一项最大值项衡量的是第 j 个查询（即对象）在文本中被提及的概率。 这两项的组合表示查询的重要性以及与文本描述的相关性。 基于此分数，我们在每一层过滤掉 p % 的低置信度对象查询，最终得到一组紧凑的 N s 个对象嵌入，其中 N s ≪ N q 。 此策略显著降低了计算成本，同时不会影响性能，使我们的 ReferDINO 能够满足视频处理的效率需求。

4.4 训练和推理

ReferDINO 最终为视频-文本对生成 N s 个对象预测序列 𝒑 = { 𝒑 i } i = 1 N s ，每个序列由 𝒑 i = { 𝒄 i t , 𝒃 i t , 𝒎 i t } t = 1 T 表示，它表示第 t 帧上第 i 个对象查询的二元分类概率、边界框和掩码。 请注意，只有一个对象序列正确地对应于文本描述。

训练。 假设地面实况对象序列为 𝒚 = { 𝒄 t , 𝒃 t , 𝒎 t } t = 1 T 。 在训练过程中，我们选择匹配成本最低的序列作为正样本，并将其余序列分配为负样本。 匹配成本定义如下：

匹配成本是在单个帧上计算的，并按帧数进行归一化。 这里， ℒ cls 是监督二元分类预测的焦点损失。 ℒ box 对L1损失和GIoU损失进行了累加。 ℒ mask 是DICE损失、二元掩码焦点损失和投影损失 [31] 的组合。 λ cls 、 λ box 和 λ mask 是各个损失的标量权重。 通过最小化正序列的总损失 ℒ total 以及负序列的仅分类损失 ℒ cls 来对模型进行端到端优化。

推理。 在推理过程中，我们选择平均分类分数最高的最佳序列，其索引表示如下：

最终，输出掩码序列形成为 { 𝒎 σ t } t = 1 T 。

5.1 实验设置

数据集。 我们在五个公共基准数据集上评估了ReferDINO：Ref-YouTube-VOS [30] 、Ref-DAVIS17 [15] 、A2D-Sentences、JHMDB-Sentences [6] 和MeViS [5] 。 Ref-YouTube-VOS是一个大型数据集，涵盖3978个视频和1.5万个文本描述。 Ref-DAVIS17、A2D-Sentences和JHMDB-Sentences分别通过在原始DAVIS17 [26] 、A2D [13] 和JHMDB数据集上添加文本描述标注而创建。 Ref-DAVIS17包含90个视频和1.5千个文本描述。 A2D-Sentences包含3.7千个视频和6.6千个文本描述。 JHMDB-Sentences 提供 928 个视频，每个视频都带有描述。 MeViS 是一个最近建立的基准，它在跨模态运动理解方面提出了新的挑战，包括 2000 个视频和 28000 个文本描述。

指标。 沿袭以往的工作，我们在 MeViS、Ref-YouTube-VOS 和 Ref-DAVIS17 上使用区域相似度 𝒥 （平均 IoU）、轮廓精度 ℱ （平均边界相似度）及其平均值 𝒥 & ℱ 。 对于 A2D-Sentences 和 JHMDB-Sentences，我们采用 mAP、整体 IoU (oIoU) 和平均 IoU (mIoU) 指标。 所有评估均使用官方代码或在线平台进行。

协议。 我们遵循先前工作中建立的实验协议。 具体来说，在 Ref-YouTube-VOS 的训练集上训练的模型直接在 Ref-YouTube-VOS 和 Ref-DAVIS17 的验证集上进行评估。 同样，在 A2D-Sentences 上训练的模型直接在 A2D-Sentences 和 JHMDB-Sentences 上进行评估。 该模型首先在参考图像分割数据集 RefCOCO/+/g 上进行预训练 [14, 23] ，然后在 RVOS 数据集上进行训练，MeViS 除外，MeViS 中的模型是直接训练的，遵循 [5, 8] 。

实现细节。 我们的模型建立在预训练的 GroundingDINO 之上，它使用 Swin Transformer 作为图像主干和 BERT 作为文本主干。 官方资源发布了两个GroundingDINO检查点：Swin-T和Swin-B，我们的实验都涵盖了这两个检查点。 我们冻结了GroundingDINO的主干网络，并使用LoRA技术 [10] 微调跨模态Transformer，其中秩设置为 32 。 我们设置了 α = 0.1 、 L t = 3 和 L m = 3 。 在查询剪枝中，我们将丢弃率设置为 50 % 。 对于涉及多个目标对象的MeViS数据集，我们遵循 [5, 8] 中的做法，选择分类分数高于阈值 σ = 0.2 的多个目标轨迹。 对于其他数据集，我们根据公式 6 选择最佳目标轨迹。

5.2 主要结果

与SOTA方法的比较。 如表 1 和 2 所示，我们的ReferDINO在所有五个RVOS数据集上都显著且一致地优于SOTA方法。 具体来说，使用Swin-T主干网络，我们的ReferDINO在具有挑战性的MeViS数据集上达到了48.0% 𝒥 & ℱ ，比现有的SOTA提高了1.6%。 在具有竞争力的Ref-YouTube-VOS数据集上，我们的ReferDINO达到了66.4% 𝒥 & ℱ ，将SOTA性能提高了2.8%。 当应用更大的Swin-B主干网络时，ReferDINO在Ref-YouTube-VOS数据集上进一步将 𝒥 & ℱ 提高到69.3%，超过SOTA超过2.2%。 在其他数据集上也观察到一致的性能改进，这证明了我们ReferDINO模型的优越性。

与GroundingDINO+SAM2的比较。 为了证明我们的模块设计在GroundingDINO上的有效性，我们将其与最近的基线Grounded-SAM2 [1] 进行了比较，该基线使用GroundingDINO识别单帧中的对象，然后将边界框输出馈送到SAM2 [27] 以分割整个视频。 我们使用官方代码并采用SAM2的 sam2_hiera_large 版本。 如表 1 和 2 所示，Grounded-SAM2的性能很大程度上取决于GroundingDINO的检测质量。 例如，将GroundingDINO中的主干网络从Swin-B切换到Swin-T会导致Ref-YouTube-VOS上的性能下降 𝒥 & ℱ 10.4%。 此外，这种简单的模型集成无法有效解决RVOS任务。 在各种数据集和主干网络上，我们的ReferDINO始终以显著优势优于Grounded-SAM2。 这证明了我们的方法在将GroundingDINO应用于RVOS任务中的有效性。