Ref-NMS：打破两阶段指称表达定位中的提案瓶颈

重新审视两阶段 REG 框架

两阶段框架是 REG 最普遍的流程。 如图 3 所示，它由两个独立的阶段组成：第一阶段的候选区域生成和第二阶段的参照物定位。

候选区域生成。 给定一张图像，当前的两阶段方法总是求助于一个经过良好预训练的检测器来获得一组最初检测到的边界框，并利用 NMS 来去除重复的边界框。 然而，即使在 NMS 操作之后，仍然剩下数千个 bbox( e . g .，RefCOCO 中的每个图像平均有 3,500 个检测）。 为了减轻后续参照物定位步骤的负担，所有现有工作都基于它们的检测置信度进一步过滤这些边界框。 尽管这种启发式过滤规则可以减少候选区域的数量，但它也导致参照物和上下文对象的召回率急剧下降（详细结果见表 1 ）。 ).

指代定位。 在训练阶段，两阶段的方法通常使用可可中的地面区域作为建议，而且数字很小( e 。 g 。 Refcoco平均有9.84个地面区域）。 对于可解释的接地，最新的两阶段方法总是将这些建议构成图形 （Yang，Li，and Yu 2019;Wang等人2019） 或Tree （liu等人2019a; hong 2019） 结构， i 。 e 。 因此，在测试阶段，必须对它们进行第一阶段的检测过滤。

相关性模块

Ref-NMS模型的概述如图 4 所示。 Ref-NMS的核心是相关性模块。 给定一张图像和一个预训练的检测器，我们可以得到数千个初始边界框。 为了减少相关性模块的计算量，我们首先使用阈值 δ 根据分类置信度过滤边界框，并获得一个过滤后的边界框集合 ℬ 。 对于每个 bbox 𝒃 i ∈ ℬ ，我们使用一个区域视觉编码器 e v ( i . e .、一个 RoI Pooling 层和一个卷积头网络）提取bbox特征 𝒗 i ∈ ℝ v 。 同时，对于引用表达式 Q ，我们使用表达式编码器 e q ( i . e .，一个Bi-GRU ）输出一组单词特征 { 𝒘 1 , … , 𝒘 | Q | } ，其中 𝒘 j ∈ ℝ q 是第 j 个单词特征。 对于每个边界框 𝒃 i ，我们使用软注意力机制 (Chen et al. 2017) 来计算唯一的表达特征 𝒒 i ，方法如下：

其中 MLP a 是一个将 𝒗 i ∈ ℝ v 映射到 𝒗 i a ∈ ℝ q 的两层MLP， FC s 是一个全连接层，用于计算边界框特征 𝒗 i a 和词特征 𝒘 j 之间的相似度，而 [ ; ] 是一个连接操作。 然后，我们将这两种模态特征结合起来，预测相关性得分 r i ：

其中 MLP b 是一个将 𝒗 i ∈ ℝ v 映射到 𝒗 i b ∈ ℝ q 的两层MLP， ⊙ 是逐元素乘法，L2Norm表示 l 2 归一化， FC r 是一个将 𝒎 i ∈ ℝ q 映射到 r ^ i ∈ ℝ 的全连接层。

分数融合。 获得边界框 𝒃 i 的相关性得分 r i 后，我们将 r i 与原始检测器中边界框 𝒃 i 的分类置信度 c i 相乘，并将两个分数 s i 的乘积作为NMS操作的抑制标准， i . e .， s i = r i × c i 。

Ref-NMS的训练目标

为了学习每个边界框的相关性得分，我们需要表达中所有提及实例（ i . e .，指称对象和上下文对象）的地面实况标注。 但是，目前的REG数据集只有关于指称对象的标注。 因此，我们需要为上下文对象生成伪地面实况。 具体来说，我们首先使用spaCy POS标记器为表达中的每个词分配POS标签，并提取表达中的所有名词。 然后，我们计算提取的名词的GloVe嵌入与COCO中地面实况区域的类别的余弦相似度。 ² . 最后，我们使用阈值 γ 过滤区域作为伪地面实况。

在训练阶段，我们将所有伪地面实况边界框和标注的指称边界框视为前景边界框。 我们使用两种类型的训练目标：

二元交叉熵损失 (Binary XE Loss)。 For each bbox 𝒃 i ∈ ℬ , if it has a high overlap ( i . e ., IoU > 0.5) with any foreground bbox, its ground-truth relatedness score r ∗ is set to 1, otherwise r ∗ = 0 . 然后，相关性分数预测成为一个二元分类问题。 我们可以使用二元交叉熵 (XE) 损失作为训练目标：

排序损失 (Ranking Loss)。 一般来说，如果一个bbox与前景bbox的IoU较高，则该bbox与表达式之间的相关性应该较高， i . e 。，我们可以将排名损失用作培训目标：

其中 ρ i 表示边界框 𝒃 i 与前景边界框之间的最大IoU值， N 是正负训练对的总数， α 是一个控制排序裕度的常数，设置为0.1。 为了选择正负对 ( 𝒃 i , 𝒃 j ) ，我们遵循分割后采样策略 (Tan et al. 2019) 。 具体来说，我们首先根据量化 q 值将bbox集合 ℬ 分为6个子集： q i = ⌈ max ( 0 , ρ i − 0.5 ) / 0.1 ⌉ , i 。 e .，IoU值较高的bbox具有较大的 q 值。 然后，所有具有 ρ > 0.5 的边界框都被选为正样本。 对于每个正样本，我们根据来自具有较小 q 值子集的并集的预测相关性分数，将前 h 个边界框排为负样本。

实验设置和细节

数据集。 我们在三个具有挑战性的 REG 基准上评估 Ref-NMS：1) RefCOCO (Yu et al. 2016) ：它包含 19,994 张图像中 50,000 个对象的 142,210 个指称表达式。 这些表达式是在交互式游戏界面中收集的 (Kazemzadeh et al. 2014) ，每个表达式的平均长度为 3.5 个单词。 所有表达式-指称对都被分成训练集、验证集、测试集 A 和测试集 B。 测试集 A 包含有多个人的图像，测试集 B 包含有多个对象的图像。 2) RefCOCO+ (Yu et al. 2016) ：它包含 19,992 张图像中 49,856 个对象的 141,564 个指称表达式。 与RefCOCO类似，这些表达是从相同的游戏界面收集的，并具有训练集、验证集、测试集A和测试集B。 3) RefCOCOg (Mao et al. 2016) ：它包含26711张图像中54822个对象的104560个指称表达。 这些表达是非交互式收集的，每个表达的平均长度为8.4个单词。 我们遵循与 (Nagaraja, Morariu, and Davis 2016) 相同的分割方式。

评估指标。 对于REC任务，我们使用top-1准确率作为评估指标。 当边界框和真实值之间的IoU大于0.5时，预测结果正确。 对于RES任务，我们使用整体IoU和Pr@X（IoU高于X的样本百分比） ³ 作为指标。

实现细节。 我们通过过滤出现次数少于2次的单词为每个数据集构建词汇表，并利用300维的GloVe嵌入作为词嵌入的初始化。 我们使用“unk”符号替换词汇表外的所有单词。 RefCOCO和RefCOCO+的句子最大长度设置为10，RefCOCOg的句子最大长度设置为20。 编码器的隐藏层大小 e q 设置为256。 对于编码器 e v ，我们使用与Mask R-CNN具有ResNet-101主干网络 ⁴ 相同的头部网络，如同先前的工作 (Yu et al. 2018a) ，并利用预训练权重进行初始化。 在训练过程中，原始检测器的权重（ 即 例如 ，图 4 中的灰色部分）保持不变。 整个模型使用Adam优化器进行训练。 头部网络和其余网络的学习率分别初始化为4e-4和5e-3。 我们将批量大小设置为8。 阈值 δ 和 γ 分别设置为0.05和0.4。 对于排序损失，top-h设置为100。