ProtoCLIP：原型对比语言图像预训练

二-A 视觉语言预训练。

最近的研究利用从大规模网络爬取的图像-文本数据中学习多模态表示，并显示出令人鼓舞的结果。 训练数据的数量可以扩展到数亿甚至数十亿个样本，这提供了强大的正则化作用，可以防止过拟合，并使模型能够学习开放词汇的视觉概念。 VLP模型可以分为单流和双流：

单流模型 [21, 22, 23, 24, 25] 基于注意力机制的优势 [26] 融合图像和文本，擅长多模态融合和理解，在视觉问答(VQA)和图像字幕等多模态高级任务中取得了令人印象深刻的性能。 不幸的是，单流模型的可迁移性较弱，因为它们没有可以迁移到单模态任务的独立编码器。

双流模型 建立了两个独立的编码器来对齐视觉和文本表示。 尽管该方法非常简单，但开创性工作 [1] 在结合海量训练数据和大型视觉Transformer [27] 时，取得了显著的成功。 一些后续工作从表示对齐的角度改进了CLIP。 例如，FILIP [28] 引入了更细粒度的表示对齐来增强多模态交互。 CLOOB [29] 引入了Hopfield网络来改进特征关联和共现的学习。 最近的研究重点是提高学习效率，因为CLIP训练成本很高。 为了提高学习效率，EfficientCLIP [30] 和SLIP [31] 分别将BERT [32] 风格和SimCLR [5] 风格的单模态自监督与CLIP结合。 DeCLIP [33] 进一步整合了多视图监督和最近邻监督。 RemoteCLIP [34] 将CLIP应用于遥感领域。

II-B 自监督视觉表示学习。

自监督学习(SSL) [35] 旨在无需人工监督的情况下学习有意义的表示。 早期SSL工作重点是探索预训练任务 [36] 。 在SimCLR [5] 证明了实例判别任务的有效性之后，对比学习成为主流。 SimCLR对齐不同数据增强的表示，这会创建 [4] 中所述的增强重叠，从而将类内样本分组在一起。 不幸的是，SimCLR依赖于极大的批量大小才能获得足够的负样本。 为解决这个问题，MoCo [37] 引入了动量对比，而BYOL [38] 和SimSiam [39] 则表明，无需负样本即可学习表示。 尽管这些工作有效地改进了自监督学习（SSL）学习的表示，但它们都存在一个根本性的弱点，即模型仅被鼓励学习增强不变的表示，而忽略了更高层次的语义关系。 基于最近邻的方法，例如NNCLR [40] 和MYOL [41] ，引入了更丰富的监督信号，但正样本对的方差仍然有限。

II-C 基于聚类的自监督学习。

自监督学习中一个很有前景的研究方向是基于聚类的方法。 DeepCluster [11] 和SeLa [13] 使用 K -Means或Sinkhorn Knopp算法分配伪标签，然后使用这些标签来监督模型训练。 SwAv [12] 对比了同一图像不同增强之间的聚类分配。 SwAV的聚类以在线方式进行，但它强制要求每个聚类的尺寸相等。 PCL [14] 和SCCL [20] 将聚类级对比与实例级对比相结合，并分别证明了其在图像SSL和文本SSL中的有效性。 在原型图对比学习(PGCL) [42] 中，引入了原型级对比学习用于图数据的SSL。 在 [43] 中，提出了元原型学习以改进少样本图像识别。

基于聚类的多模态数据学习是一个新兴课题。 XDC [15] 和SeLaVi [16] 分别将DeepCluster [11] 和SeLa扩展到音频-视觉预训练 [13] 。 XDC [15] 还对不同类型的监督（即单模态与多模态融合与跨模态）进行了广泛的比较。 他们发现所有这些方法都是有效的，并且当模型纯粹由相反的模态监督时，学习效果最佳。 受XDC启发，ProtoCLIP也以跨模态的方式创建跨模态监督。 我们通过实验证明，基于多模态融合的监督（即CDC [15] ）会导致VLP性能显著下降。 初始随机文本表示的密度远高于图像表示的密度，这使得它主导伪标签生成，并且无法从图像表示中学习有用的知识。

ProtoCLIP与XDC [15] 有一些相似之处，因为它们都利用相反模态中的聚类作为监督。 然而，ProtoCLIP的目标是VLP，而不是仅需要表示分组的音频-视觉预训练——在VLP场景中，对于零样本分类和跨模态检索，也应该考虑表示对齐。 此外，与XDC的纯VLP版本相比，ProtoCLIP包含几个新颖的设计，包括PBT、情景训练、可学习温度和软目标的使用。

III-A 原型对比语言图像预训练

让我们首先回顾一下原始CLIP [1] 使用的InfoNCE目标。 CLIP使用一个大型图像文本数据集 𝒟 = { ( x i I , x i T ) } i = 1 M 进行训练，该数据集包含总共 M 个训练样本。 目标是学习一个图像编码器 f I 和一个文本编码器 f T ，它们分别将 x i I 和 x i T 编码到它们的潜在表示，即 f I ( x i I ) = z i I ∈ ℝ d z × 1 和 f T ( x i T ) = z i T ∈ ℝ d z × 1 。 学习到的表示应满足两个要求：表示对齐和表示分组：

表示对齐 是指成对图像和文本样本 z i I ⋅ z i T 的高相似度 x i I , x i T ，以及不成对样本 z i I ⋅ z j T ( i ≠ j ) 之间的低相似度 x i I , x j T 。 通常，完美的表示对齐会在跨模态检索任务上产生强大的下游性能。

表示分组 意味着语义相似的样本的表示被分组在一起，而不相似的样本的表示应该被分开。 完美的表示分组产生了强大的线性分类性能。

在同时满足完美的表示对齐和表示分组的同时，结合包含足够开放集概念的大型数据集，模型可以实现强大的零样本分类性能。 为实现此目标，CLIP 在每个批次中创建一个实例判别任务，并优化以下双向 InfoNCE 目标 [2] 以最大化配对图像和文本之间的互信息 [44] 。

其中， N 是批次大小， τ CLIP 是温度参数。 遵循 CLIP 论文，我们将其设置为可学习参数。 如第 I 节所示，表示分组是通过 InfoNCE 目标 间接 完成的。 在这里，我们希望通过 直接 进行表示分组来提高效率。 我们通过构建和更新原型将实例级判别提升到原型级判别。 原型是一组语义相似实例的表示 [14] 。 我们通过提出的原型损失 ℒ Proto 直接推动原型的表示进行分组。

ProtoCLIP 架构的示意图如图 3 所示。 为了获取原型，我们分别在 z i I 和 z i T 之上应用 MLP 投影头 g I 和 g T ，然后我们得到投影表示 g I ( z i I ) = h i I ∈ ℝ d h × 1 和 g T ( z i T ) = h i T ∈ ℝ d h × 1 。 原型是在投影表示空间（ h i I 和 h i T ）中构建的，而不是在原始表示空间（ z i I 和 z i T ）中构建的。 这样做有两个原因。 First, we want ProtoCLIP to hold the instance-level discrimination ability of CLIP by keeping the ℒ CLIP , so prototypical-level discrimination should be done elsewhere otherwise it will cause conflicts between ℒ CLIP and ℒ Proto . 其次，MLP 投影头 g I 和 g T 可以将表示投影到低维空间（即 d h < d z ），从而可以显著降低构建原型的成本。

我们采用 K 均值聚类，因为它简单且可扩展。 此处也可以使用其他聚类方法。 具体来说，我们找到最小化以下 K 均值目标的原型 C I ∈ ℝ K × d h = [ c 1 I , c 2 I , … , c K I ] 和 C T ∈ ℝ K × d h = [ c 1 T , c 2 T , … , c K T ] ：

S i T ∈ ℝ k × 1 和 S i I ∈ ℝ k × 1 ，然后通过softmax将分数归一化为概率：

其中 τ Proto 是温度超参数。 与DeepCluster-v2 [12] 中设置固定温度不同，我们将其设置为可学习参数，如 ℒ CLIP 所示，因为它产生了改进的结果。 现在，我们可以通过应用交叉熵损失函数得到 ℒ Proto ：

III-B 从软目标学习

在公式 4 中， y i T ∈ ℝ k × 1 和 y i I ∈ ℝ k × 1 是k路伪目标分数。 以前的基于聚类的方法 [11, 13, 14, 15, 16] 将类索引转换为作为目标的独热向量。 这种独热目标创建了一个一对多学习任务：表示 仅 被推向其分配的原型，并 同样 被推离其他原型。 为了学习更结构化的知识，我们使用基于概率的软目标来替换硬独热分配：

公式 5 中的分数是通过测量“真实”原型 c k I , c k T 和所有原型 C I , C T 之间的点积相似度来计算的。 “真实”原型与其自身具有最高的相似度（例如，“猫”和“猫”），与其相邻原型具有相对较高的相似度（例如，“猫”和“老虎”），并且与较远原型具有较低的相似度（例如，“猫”和“汽车”）。 当这种关系知识嵌入到目标 y k I , y k T 中时，ProtoCLIP可以学习更结构化的知识。 最后，ProtoCLIP被训练以联合最小化 ℒ Proto 和 ℒ CLIP ：

III-C 从未对齐空间学习表示分组

我们在图 4 (a)和(b)中比较了 ℒ CLIP 和 ℒ Proto 之间的差异。 虽然 ℒ Proto 提高了表示分组效率，但它仍然存在 模态差异 问题。 在图 4 (b)中，为了将学生空间中的所有三个数据点与教师空间中的原型对齐，这三个数据点将被推到右侧。

III-D 集成训练

以前基于聚类的 [11, 13, 14, 15, 16, 17] 方法在整个训练 epoch 之后更新聚类。 这种方法在中等规模的 ImageNet [18] 数据集上效果很好，因为模型可以训练数百个 epoch，从而导致数百次聚类更新。 但是，CLIP 通常训练的 epoch 数量要少得多（例如，32 [47] ），这使得 epoch 级的更新频率不足。 我们提出了一种 集成训练 策略。 集成 是通过从整个数据集中随机选择 m ≪ M 个样本构建的。 然后，依次执行 1）特征提取、2）原型更新和 3）模型训练，然后构建一个新的集成。 集成训练使原型更新频率与数据集大小 M 无关，从而使 ProtoCLIP 能够扩展到无限量的训练数据。 为了使用传统训练的其他模型对基于集成训练的 ProtoCLIP 进行基准测试，集成的总数 n episode 定义为 n episode = n epoch × M m 。 集成大小 m 是一个重要的超参数。 更小的 m 会导致更高的原型更新频率，但太小的 m 会增加一个集成内表示的稀疏性。 在这种情况下，分配给相同原型的样本可能具有不同的语义，这会降低原型的可靠性。

IV-A 实现细节

IV-B 预训练数据

IV-C 评估指标

IV-D ProtoCLIP超参数消融研究

本节验证了ProtoCLIP超参数的影响。 使用了Conceptual Captions (CC) [58] 数据集的百万级子集。 为了避免测试集超参数微调，这里采用CIFAR10、CIFAR100和STL10数据集进行验证。 其他下游数据集的基准测试将在 IV-E 节和 IV-F 节中报告。这里的总训练量（episode size × n episode ）设置为相当于20个epochs。 ProtoCLIP的默认设置包括episode size m = 0.2 M，无软目标，每个原型10张图像，无外部教师，无数据增强。 K -Means使用最大迭代次数限制为20步，我们发现这足以收敛。

IV-D 4 外部教师

最后，我们比较了不同的外部教师。 我们考虑预训练CLIP (ViT/B-32) [1] 的文本编码器和预训练的RoBERTa [10] 。 图 6 (d)显示，这两个外部教师都有益于ProtoCLIP，而RoBERTa带来了更大的改进。

IV-E Conceptual Captions预训练

使用选择的超参数，我们现在在完整的 CC 数据集上训练 ProtoCLIP。 原始的 CC 数据集 [58] （收集于 2018 年）包含超过 330 万个样本。 不幸的是，由于链接中断，越来越多的图像变得无法访问。 为了便于未来的基准测试，我们使用 CC 中的 2,500,000 个样本 (CC2.5M) 来训练我们的模型。 此规模远小于原始 CLIP [1] 的规模。 但是，如图 7 所示，我们使用不同大小的数据集训练 CLIP，并发现 CLIP 模型（蓝色）的下游性能随着数据集大小稳定地（接近对数地，如红色虚线所示）稳步提高。 Ilharco 等人 [51] 也证明了这一点。 因此，CC2.5M 的数据集大小已经能够准确地反映 VLP 模型的有效性。 我们继续采用 ResNet-50 [48] 和 Transformer [26] 作为图像和文本编码器。 使用单节点 4 × 2080Ti 机器，在完整的 CC2.5M 上训练 ProtoCLIP 32 个 epochs 大约需要 64 个小时。

IV-F YFCC预训练

我们在YFCC-100M [19] 子集YFCC-15M（由OpenAI [1] 过滤）上训练ProtoCLIP，该子集包含约1500万个图像-文本对。 我们使用了ResNet-50 [48] 以及更大的ResNet-101主干网络。 OpenCLIP [51] 发布的CLIP检查点（YFCC-15M，32个epoch）被用作基线。

下游性能总结在表 V 中。令人印象深刻的是，ProtoCLIP的性能与CLIP相当，预训练时间成本约为其1/3，这表明ProtoCLIP显著提高了表示学习效率。 各个数据集的零样本准确率见表 VI ，该表显示ProtoCLIP在14个数据集中的9个数据集上优于CLIP。 与线性探测相比，ProtoCLIP在K-NN分类中具有更多优势。 线性探测测量图像表示的线性可分性，而K-NN测量语义上相似的样本是否被正确聚类。 我们认为ProtoCLIP在K-NN分类中的优势源于原型对比和高效的表示分组。 第 IV-G 3 节中的聚类评估进一步证明了这一特性。 ProtoCLIP图像表示的质量通过目标检测的迁移学习得到证实：8个epoch（10.8 Rel.）。 ProtoCLIP 的结果与 32 个 epoch 的结果匹配（相对值 32.0） CLIP。 有趣的是，我们发现 ProtoCLIP 在检索方面取得了显著的改进，这似乎与 Conceptual Captions 预训练的观察结果相矛盾。 我们将把对这种现象的研究留待未来的工作。

我们在此还展示了零样本分类（表 VI ）、线性探测和 K-NN 分类（表 VII ）、零样本图像文本检索（表 VIII ）以及 MS-COCO 目标检测（表 IX ）的完整结果。 这些结果是表 VI 中的详细结果。