利用合成提示改进CLIP的零样本泛化能力

3.1 背景

对比语言图像预训练，称为CLIP [33] ，是一种用于对齐图像及其对应标题的表示的方法，近年来受到了广泛关注。 CLIP包含两个编码器模块：一个视觉编码器 ℐ ( 𝒙 ) 和一个语言编码器 𝒯 ( t ) ，它们分别将图像和文本描述编码到一个共享的 d 维空间中。 视觉编码器可以是ViT [10] 或ResNet [15] ，而语言编码器是Transformer [38] 。 使用应用于大型配对图像和标题数据集的对比损失，这两个编码器联合训练。 训练完成后，CLIP可用于下游任务的零样本分类。 要执行 C 类图像分类，类别描述 { t c } c = 1 C 是通过提示生成的，例如“一张{class}的照片”。 然后，输入图像 𝒙 的分类概率计算如下：

其中 τ 表示温度， cos ⁡ ( ⋅ , ⋅ ) 是余弦相似度函数， y 是目标类别。

3.2 合成提示

在本文中，我们的目标是在保持数据效率与先前方法相同的同时，提高CLIP在基础类别和新类别（即，有和无可用数据类别）上的性能。 为实现此目标，提出了一种名为 S ynt H es I zed P rompts ( SHIP )的新型生成方法，该方法包含三个阶段。 首先，我们遵循变分自动编码器引入一个生成器，该生成器通过将合成的提示和相应的类别名称输入到CLIP的语言编码器来重建视觉特征。 随后，我们通过提供类别名称来获得新类别的合成特征。 最后，我们将标记的基础类特征与合成的新的类特征相结合，并采用现有的微调方法，例如CoOp [50] 和Tip-Adapter [48] ，来微调CLIP，从而增强其在基础类和新类上的性能。

生成模型的架构如图 1 所示。 为了保持数据效率，我们选择使用变分自动编码器（VAE） [21] 来训练我们的生成器，而不是生成对抗网络（GAN） [14] 。 原因是使用有限的标记数据很难训练有效的GAN判别器 [19] 。 如图 1 所示，VAE架构包含一个编码器 E ( x ) 和一个生成器 G ( z , c ) 。 首先，我们利用固定的CLIP视觉编码器提取输入图像的特征，即 x = ℐ ( i m g ) 。 随后，VAE编码器 E ( x ) 将特征 x 编码成潜在代码 z ，生成器 G ( z , c ) 使用潜在代码 z 和相应的类别名称 c 重建特征 x 。 E 和 G 的优化是通过如下等式给出的证据下界实现的：

其中 K L 表示Kullback-Leibler散度， p ( z | c ) 是假设为 𝒩 ( 0 , 1 ) 的先验分布， − log ⁡ G ( z , c ) 表示重建损失。

为了进一步利用CLIP的预训练知识，我们提出了一种基于CLIP的生成器。 值得注意的是，预训练的CLIP已经学习了对齐的视觉和语言表示，允许我们从语言编码器 𝒯 重建输入特征。 由于已经在大型数据集上进行了训练，因此从预训练语言模型 𝒯 获得的重建特征预计比从少样本基础数据集上从头训练的新生成器生成的特征质量更高。 受先前提示学习方法 [50, 49, 27] 的启发，我们生成特定实例的提示，而不是直接生成特征。 具体来说，给定潜在代码 z ，我们生成特定实例的提示如下：

其中局部偏差 𝒓 通过一个两层全连接网络（即 𝒓 = M L P ( z ) ）获得，该网络将潜在代码 z 嵌入到符元嵌入空间中，而 L 是提示的长度。 如公式( 3 )所示，我们的提示由两部分组成：一组全局固定的可学习提示 { 𝒑 i , i = 1 , 2 , … , L } （随机初始化），捕捉输入特征的全局信息；以及一个局部偏差 𝒓 ，它将输入特征的特定实例信息编码到提示中。 通过组合提示和对应类名对应的符元嵌入，我们获得重建特征如下：

其中 𝒯 是冻结的语言编码器， 𝒆 𝒄 是对应类名的符元嵌入。

在训练阶段，我们保持CLIP冻结，只优化编码器 E 、轻量级网络 M L P 和全局提示 𝒑 = [ 𝒑 𝟏 , 𝒑 𝟐 , … , 𝒑 𝑳 ] 。

3.3 微调CLIP

训练阶段结束后，生成器用于为新类别合成特征。 具体来说，给定新类别的类名 c 和从先验分布中采样的噪声 z ，利用生成器 G ( z , c ) 生成相应的特征。 对每个新类别重复此过程，从而产生一个新的合成数据集。 与标记的基本数据集结合后，即可获得所有类别的完整数据集。 因此，可以使用现成的CLIP微调方法 [50, 13, 48, 4] ，与之前的对应方法相比，这有望在新的类别上取得更好的性能。

4.1 设置

我们针对三个不同的任务评估了我们的方法：从基础到新颖的泛化、跨数据集迁移和广义零样本分类。 对于从基础到新颖的泛化和跨数据集迁移任务，我们遵循与CoCoOp [49] 相同的实验设置。 它使用了总共11个不同的图像分类数据集，即：用于通用目标识别的ImageNet [8] 和Caltech101 [11] ；用于细粒度图像识别的OxfordPets [32] 、StanfordCars [22] 、Flowers102 [31] 、Food101 [3] 和FGVCAircraft [28] ；用于卫星图像分类的EuroSAT [16] ；用于动作分类的UCF101 [35] ；用于纹理分类的DTD [7] ；以及用于场景识别的SUN397 [44] 。 对于广义零样本分类任务，我们遵循与 [41] 相同的设置，并在三个标准的零样本识别数据集上进行实验：Caltech-UCSD-Birds [40] (CUB)、Oxford Flowers [31] (FLO)和Animals with Attributes2 [41] (AWA2)，分别包含200、102和50个类别。 为确保公平比较，我们使用与 [41] 中提出的相同的数据分割和评估协议。
实现细节。 我们提出的方法包含三个子网络：一个VAE编码器、一个轻量级MLP和一个预训练的CLIP。 VAE编码器和MLP实现为具有4096个隐藏单元和ReLU激活函数的两层全连接网络。 我们采用ViT-B/16 [10] 和Transformer [38] 作为CLIP的视觉和语言编码器，它们使用CLIP的预训练权重进行初始化，并在训练过程中保持冻结状态。 潜在代码 z 的维度设置为等于符元嵌入的维度。 我们将可学习的全局上下文向量的长度固定为4，并用高斯噪声对其进行初始化。 特征被归一化到单位球面上，正如CLIP [33] 中提出的那样。 我们使用MSE作为VAE的重建损失。 所有网络都使用AdamW优化器进行训练，学习率为0.001。 在CLIP的微调过程中，由于我们使用了现成的方案，我们遵循其论文中提出的相同设置 [49, 50, 48, 13] 。 我们随机合成一批新的类别特征，并将它们与原始批次组合以形成新的批次进行训练。 我们在单个NVIDIA GeForce RTX 3090上进行所有实验，但ImageNet数据集的实验是在NVIDIA A100上进行的。

4.2 结果