具有条件匹配的开放词汇 DETR

3.1 重新审视 DETR 中的闭集匹配

对于输入图像 𝐱 ，标准 DETR 推断 N 对象预测 𝐲 ^ ，其中 N 由对象查询的固定大小确定 𝐪 用作可学习的位置编码。 DETR 管道的一次传递由两个主要步骤组成：(i) 集合预测，以及 (ii) 最佳二分匹配。

设置预测。 给定输入图像 𝐱 ，全局上下文表示 𝐜 首先由 CNN 主干 f ϕ 提取，然后由 Transformer 编码器 h ψ 提取：

其中输出 𝐜 表示 𝐪 的特征嵌入序列。 将上下文特征 𝐜 和对象查询 𝐪 作为输入，Transformer 解码器 h θ （带有预测头）然后生成集合预测 𝐲 ^ = { 𝐲 ^ i } i = 1 N ：

其中 𝐲 ^ 包含训练类封闭集的边界框预测 𝐛 ^ 和类预测 𝐩 ^ 。

最优二分匹配 是找到 N 预测集 𝐲 ^ 和地面真实对象集 𝐲 = { 𝐲 i } i = 1 M 之间的最佳匹配（不包括对象 ∅ )。 具体来说，需要搜索具有最低匹配成本的 N 元素 σ ∈ 𝔖 N 的排列：

其中 ℒ c o s t ( 𝐲 i , 𝐲 ^ σ ( i ) ) 是真实值 𝐲 i 与索引 σ ( i ) 的预测 𝐲 ^ σ ( i ) 之间的成对 匹配成本 >。 注意 ℒ c o s t 由类预测 ℒ cls ( 𝐩 ^ , 𝐩 ) 和边界框定位 ℒ box ( 𝐛 ^ , 𝐛 ) 的损失组成。 整个二分匹配过程产生 一对一 标签分配，其中每个预测 𝐲 ^ i 被分配给一个真实注释 𝐲 j 或 ∅ （无对象）。 匈牙利算法 [18] 可以有效地找到最优分配。

挑战。 如上所述，二分匹配方法不能直接应用于同时包含 base 和 novel 类的开放词汇设置。 原因是计算等式中的匹配成本。 ( 3 ) 需要访问标签信息，这对于 novel 类不可用。 我们可以按照之前的工作 [13,35,7] 来生成可能覆盖 新颖 类的与类无关的对象建议，但我们不知道真实分类这些提案的标签。 因此，由于缺乏训练标签， N 对象查询的预测无法推广到新类。 如图 3 （a）所示，只能对具有可用训练标签的基类进行二分匹配。

3.2 开放词汇检测的条件匹配

为了使 DETR 能够超越闭集分类并执行开放词汇检测，我们为 Transformer 解码器配备了条件输入，并将学习目标重新表述为二进制匹配问题。

条件输入。 给定一个包含所有训练 ( base ) 类的标准注释的对象检测数据集，我们需要将这些注释转换为条件输入，以促进我们的新训练范例。 具体来说，对于每个具有边界框 𝐛 i 和类标签名称 𝐲 i class 的真实注释，我们使用 CLIP 模型 [27] 生成其相应的图像嵌入 𝐳 i image 和文本嵌入 𝐳 i text ：

这种图像和文本嵌入已经通过 CLIP 模型很好地对齐了。 因此，我们可以选择其中任何一个作为输入查询来调节 DETR 的解码器并训练以匹配相应的对象。 训练完成后，我们可以在测试期间采用任意输入查询来执行开放词汇检测。 为了确保图像和文本查询的训练条件相同，我们以 ξ = 0.5 的概率随机选择 𝐳 i text 或 𝐳 i image 作为条件输入。 此外，我们遵循之前的工作 [13,35,7] 为 novel 类生成额外的对象建议，以丰富我们的训练数据。 我们只为此类新颖类提案提取图像嵌入 𝐳 i image 作为条件输入，因为它们的类名无法提取文本嵌入。 请参阅补充材料了解更多详情。

条件匹配。 我们的核心训练目标是测量条件输入嵌入和检测结果之间的匹配性。 为了执行此类条件匹配，我们从全连接层 𝔽 proj 开始，将条件输入嵌入( 𝐳 i t e x t 或 𝐳 i i m a g e )投影为具有相同的值维度为 𝐪 。 那么 DETR 解码器 𝐪 ′ 的输入由下式给出：

我们使用简单的加法操作 ⊕ 将 类无关 对象查询 𝐪 转换为 类特定 𝐪 ′ 由 𝔽 proj ( 𝐳 i mod ) 通知。

实际上，仅将条件输入嵌入 𝐳 添加到一个对象查询中将导致对可能在图像中多次出现的目标对象的覆盖范围非常有限。 事实上，在现有的对象检测数据集中，每个图像中通常存在来自相同或不同类别的多个对象实例。 为了丰富条件匹配的训练信号，我们将对象查询 𝐪 复制 R 次，并复制条件输入( 𝐳 i text 或 𝐳 i image ) N 次，然后执行方程式中的调节。 ( 5 )。 结果，我们在每次前向传递过程中总共获得了 N × R 个用于匹配的查询，如图 4 （b）所示。 补充材料中的实验将验证这种“特征克隆”的重要性，并展示我们如何根据性能与内存的权衡来确定 N 和 R 。 请注意，对于最终的调节过程，我们进一步添加了注意掩码以确保不同查询副本之间的独立性，如 [4] 中的类似操作。

给定条件查询特征 𝐪 ′ ，标签分配的二进制匹配损失如下：

其中 ℒ match ( 𝐩 , 𝐩 ^ σ ) 表示新的匹配损失，它取代了等式中的分类损失 ℒ cls ( 𝐩 , 𝐩 ^ σ ) 。 ( 3 )。 在我们的例子中， 𝐩 是一个 1 维 sigmoid 概率向量，用于表征匹配性（“匹配”与“不匹配”），而 ℒ match 则简单地由 Focal 实现预测 𝐩 ^ σ 和真实值 𝐩 之间的损失 [21] ℒ Focal 。 例如，以“鸟”查询作为输入，我们的匹配损失应该允许我们匹配一张图像中的所有鸟实例，同时将其他类的实例标记为“不匹配”。

3.3 优化

优化方程后( 6 )，我们获得针对不同对象查询的优化标签分配 σ 。 此过程会生成一组检测到的对象，这些对象具有指定的框坐标 𝐛 ^ 和 2-dim 匹配概率 𝐩 ^ ，我们将使用它们来计算用于建模训练的最终损失函数。 我们进一步将嵌入重建头附加到模型，该模型学习预测嵌入 𝐞 以便能够重建每个条件输入嵌入 𝐳 text 或 𝐳 image ：

补充材料验证了 ℒ embed 的有效性。

我们模型训练的最终损失再次将 ℒ embed 与边界框损失 ℒ match ( 𝐩 , 𝐩 ^ ) 和 ℒ box ( 𝐛 , 𝐛 ^ ) 结合起来：

其中 ℒ box 由L1损失和广义IoU（GIoU） [30] 损失组成，而 λ L Focal , λ L L1 、 λ L Giou 和 λ L embed 是权重参数。

3.4 推断

在测试过程中，对于每个图像，我们将所有 base + novel 类的文本嵌入 𝐳 text 发送到模型，并通过选择合并结果具有最高预测分数的前 k 预测。 我们遵循之前的工作 [13] ，将 k = 100 用于COCO数据集，使用 k = 300 用于LVIS数据集。 获取等式中的上下文表示 𝐜 。 ( 1 )，我们通过CNN主干 f ϕ 和Transformer编码器 h ψ 转发输入图像。 注意 𝐜 仅计算一次并为所有条件输入共享以提高效率。 然后来自不同类的条件对象查询被并行发送到 Transformer 解码器。 在实践中，我们复制对象查询 R 次，如图 4 （b）所示。

4.1 消融研究

我们对 OV-LVIS 进行消融研究，以评估我们方法的主要组成部分。

架构差异。 之前的工作如 ViLD [13] 是基于基于 RPN 的 Mask R-CNN [15] ，而我们的工作是基于基于 Transformer 的检测器 Deformable DETR [41] 。 我们首先研究这两个检测器在仅使用 base 类训练的开放词汇设置上的差异。 如表 1 行( 1 - 2 )所示，我们观察到Mask R-CNN的表现略优于Deformable DETR [41] 。 这个差距很小，表明与 ViLD [13] 相比，我们有一个公平的起点。

对象提案。 然后，我们将 Deformable DETR 的分类器层替换为 CLIP 提供的文本嵌入，并仅使用 base 类进行训练。 此步骤与之前的 ViLD-text [13] 方法类似。 结果显示在表 2 行 1 中。 我们观察到 AP novel m 指标从 0.0 改进到 9.5 。 为了进一步改进 AP novel m 指标，我们将可能包含 新颖 类区域的对象建议添加到训练阶段。 因为我们不知道这些对象提案的类别 ID，所以我们观察到这些对象提案的标签分配不准确，并且会将 AP novel m 性能从 9.5 降低到 6.3 .

条件二进制匹配。 现在我们将 DETR 的默认闭集标签分配替换为我们提出的条件二元匹配。 表 2 行 2-3 之间的比较结果表明，我们的二元匹配策略可以更好地利用对象提案中的知识，并将 AP novel m 从 9.5 至 17.4 。 如此大的改进表明，在将 DETR 系列检测器应用于开放词汇设置时，所提出的条件匹配至关重要。

4.2 开放词汇基准测试结果