聚合和适应自然语言提示用于 CLIP 的下游泛化

提示工程。

对于基于 CLIP 的图像分类，标准方法需要一组手写的提示， 例如 ，“视频游戏中一个 { } ”和“一张 { } 的黑暗照片”，这些提示用类别名称补充完整。 然而，这代价高昂，因为需要为每个数据集手工构建不同的提示模板（ 例如 ， [40] 中 ImageNet 的 80 个），这需要对目标领域过多的预备知识。 此外，此类提示模板缺乏区分细粒度类别的描述性细节。

大语言模型 (LLM) 生成的提示。

对于图像分类，我们利用大语言模型中的丰富知识来为给定类别生成自然语言提示。 使用大语言模型的一个好处是能够生成任意数量的提示，而无需依赖任何领域知识。 特别地，我们遵循 CuPL 方法 [39] 并以可扩展的方式查询 GPT-3 [5] 以获得提示集。 具体来说，使用一些 大语言模型提示 查询 GPT-3，例如“描述一个 { } 的样子”和“如何识别一个 { } ？”。 然后，对于每个大语言模型提示，GPT-3 使用 0.99 的高温生成 10 个参考提示，以提高多样性。 图 1 (a) 显示了特定车型“2012 款 Jeep Compass SUV”的一些示例提示。 请注意，参考提示如何指定汽车在其时尚外观中的区分特征。 在我们研究中考虑的11个分类数据集上，我们遵循 [39] 中的完整生成设置：对于每个数据集，我们使用一组不同的LLM提示（2到9个之间），从而为每个类别生成20到90个参考提示。

人工生成的图像标题。

如图 2 所示，LLM生成的逐类提示主要适用于分类任务，其中通常包含背景干净的以物体为中心的图像。 对于更复杂的视觉语言任务（如VQA），需要更深入地理解具有不同物体交互和杂乱背景的多物体场景。 为了捕捉描述多物体图像的文本知识，我们使用来自图像文本数据集的图像标题作为自然语言提示的来源。 在这里，我们使用包含每张图像5个手工标注标题的COCO数据集 [31] 。 结果将表明，我们基于COCO学习到的提示嵌入足以推广到三个困难的视觉语言任务（图像到文本检索、图像字幕和VQA），这些任务具有不同的数据分布。

蒸馏损失

简单地定义为 h ( 𝒙 ) 和 𝒑 a 之间的欧几里德距离：

任务损失——图像分类。

除了从 𝒑 a 中提取文本知识外， h ( 𝒙 ) 也应该适应下游任务。 在这里，我们首先从将 h ( 𝒙 ) 适应到最常研究的图像分类任务的实例化开始。

请注意，现有的用于分类的提示学习器（ 例如 ， [67, 68] ）学习提示中的 单个词符 { 𝒗 l } l = 1 L ，然后将学习到的词符与类别名称嵌入 𝒄 i ∈ [ 1 , … , C ] 组合以获得完整的提示。 相比之下，我们直接生成完整的提示嵌入 h ( 𝒙 ) ，无需逐词符预测。 对于分类，我们只需将 h ( 𝒙 ) 和提示模板“一张{ 类别 }的照片”的嵌入组合起来，作为分类器权重（与图像特征 𝒙 匹配）。

图 3 (b) 显示了整体提示学习框架。 对于用第 i 个类别名称填充的提示模板，我们使用CLIP的文本编码器来获得模板嵌入 𝒘 i ∈ ℝ d 。 接下来，我们将 𝒘 i 和我们的 h ( 𝒙 ) ∈ ℝ d 连接起来，然后进行投影 g ，得到 𝒘 i ( 𝒙 ) = g ( [ 𝒘 i ⊤ , h ( 𝒙 ) ⊤ ] ⊤ ) 。 注意 𝒘 i ( 𝒙 ) 不涉及任何提示工程工作。 我们依靠 𝒘 i 主要编码类别名称，而 h ( 𝒙 ) 则在潜在空间中用输入自适应的类别描述来丰富它。

我们用一个具有ReLU非线性的全连接层来参数化 g : ℝ 2 d → ℝ d 。 非线性非常重要，因为它确保 𝒘 i ( 𝒙 ) 不与 𝒘 i 和 h ( 𝒙 ) 的线性组合等效，如果我们将线性组合与 𝒙 匹配进行分类，则会忽略 h ( 𝒙 ) 。 分类概率给出如下：

其中 C 是类的总数， τ 和 cos ⁡ ( ⋅ , ⋅ ) 表示温度和余弦相似度。 附录 B.2 （表 5 ）与仅使用 h ( 𝒙 ) 的分类基线进行了比较，不结合 𝒘 i 或使用投影 g 。结果表明，我们的默认分类框架比仅使用 h ( 𝒙 ) 的基线取得了显著的改进。

最后，我们得到用于训练提示生成器 h 以及用于图像分类的投影 g 的整体损失函数：

其中 λ = 5 是一个加权参数。 附录 C 中的表 6 提供了 λ 的灵敏度分析，结果表明性能在较宽的范围内对 λ 值相当稳健。

请注意，在测试期间，我们只使用提示生成器 h ，不再查询LLM或使用提示聚合器。 这消除了 [56, 48, 34, 55, 39] 中所需的LLM引起的推理成本，并将此成本转移到我们的学习阶段。

任务损失——超越分类。

h ( 𝒙 ) 或AAPE中的文本知识能否使其他视觉语言任务受益？ 我们考虑了三个超越分类的任务： 图像到文本检索 、 图像字幕 和 VQA 。 请注意，这些任务涉及第 3.1 节中提到的多对象图像。 因此，我们使用包含对象关系文本描述的COCO图像字幕。 对于所有三个任务，我们都在每张图像的5个COCO字幕上训练提示聚合器和提示生成器 h 。 使用公式（ 2 ）中的相同 ℒ distill ，而 ℒ task 是CLIP损失。

对于图像文本检索，我们简单地使用 AAPE 作为查询，并在 Flickr30k 数据集 [60] 上评估其零样本文本检索性能。 当提示生成器 h 使用 ℒ distill 和相应的检索损失 ℒ task 进行微调时，我们还评估其在 Flickr30k 上的微调性能。

对于图像字幕和 VQA 任务，我们推测 AAPE 中编码的文本知识在视觉线索模糊或缺失时将特别有用。 为了验证这一假设，我们直接使用了在 COCO 上训练的 AAPE。 具体来说，我们遵循 [35] 中的 LiMBeR 基线，该基线将 CLIP 图像表示线性转换为大语言模型 (LLM) 可以处理的一系列提示嵌入。 然后将 AAPE 作为“前缀”附加到提示序列中，以提供丰富的语言先验知识。 我们同样评估了零样本或微调的提示生成器 h 在下游数据集上的性能。 对于微调， h 使用 ℒ distill 和相应的任务损失 ℒ task （字幕或 VQA）进行优化。

数据集。

我们使用了 11 个数据集：ImageNet [10] 、Caltech101 [12] 、OxfordPets [38] 、StanfordCars [23] 、Flowers102 [37] 、Food101 [4] 、FGVC-Aircraft [32] 、SUN397 [54] 、UCF101 [47] 、DTD [9] 和 EuroSAT [14] 。 这些数据集涵盖了各种通用对象和场景、细粒度对象类别以及具有纹理和卫星图像的特殊领域。 这些数据集中不同的视觉概念非常适合测试大语言模型中的文本知识是否以及何时会有所帮助。 我们进一步评估了在 ImageNetV2 [42] 、ImageNet-Sketch [51] 、ImageNet-A [16] 和 ImageNet-R [15] 上的领域泛化能力，这些数据集与 ImageNet 相比具有不同类型的领域偏移。

实现。

我们遵循 [67] 中的提示学习细节，包括CLIP视觉主干网络(ViT-B/16)、学习率调度和每个数据集的迭代次数。 附录 C (表 7 )提供了在Nvidia V100 GPU上测量的计算成本的详细分析，其中所有提示学习器都进行了评估以进行公平的效率比较。

评估。

我们遵循 [40] 中的少样本评估协议，每个类别使用1、2、4、8和16个样本进行训练（默认16个），并使用完整的测试集进行评估。 考虑了两种如 [67] 中所示的OOD泛化设置。 1) 从一个数据集中的基础类别到新类别的泛化， 即 在基础类别分割上训练，但在基础类别和新类别分割上进行测试。 这有助于评估在类别增量域转移下的ID和OOD性能。 我们遵循 [53] 也测量基础类别和新类别的精度调和平均值，以量化ID和OOD性能的权衡。 2) 域泛化，其中在一个数据集上训练(使用16个样本)，并在四个ImageNet变体上进行评估。 对于所有实验，我们报告的结果是三个随机种子上的平均值。

从基础类别到新类别的泛化。

表格 2 将AAAPE与两类提示学习方法进行了比较：1) CoOp [67] ，CoCoOp [68] ，MaPLe [20] ，CLIPood [45] ，PromptSRC [21] 和OGEN [65] 。 这些方法学习提示向量时不使用任何基于文本的知识，而是严重依赖于高级优化和正则化策略来改进泛化能力。 另一方面，我们的AAAPE通过从大型语言模型中提取文本知识而超越了它们。 值得注意的是，平均而言（跨11个数据集），对于基础类别和新类别，AAAPE都实现了比之前的SOTA方法OGEN更好的分类精度，设定了一个新的SOTA平均精度80.97%（对比80.34%）。 2) ProGrad [69] ，KgCoOp [58] 和LASP-V [7] 。 这些方法选择将学习到的提示与手工编写的提示对齐，例如“一张 { class } 的黑暗照片”，因此仅从基本、非描述性模板中提取知识。 这被证明不如我们从大型语言模型中获得的自然语言先验知识有效。