TinyCLIP：基于亲和力模拟和权重继承的CLIP蒸馏

3.1 与亲和力蒸馏模仿

语言图像预训练模型通常由两个分支组成，一个图像编码器以提取视觉表示形式和一个文本编码器来提取文本表示。 视觉和文本表示形式通过最小化对比损失 ℒ 0 线性地投影到跨模式的共同空间中。 可以将监督信号视为一个身份矩阵，其中对角度值设置为1的正面图像纹理对，而所有其他矩阵的对角值则将负值设置为0的负值。 该信号忽略了负对之间的相似性，这阻止了模型对负面对之间复杂关系的细微理解。 因此，我们介绍 模仿 的亲和力使学生模型能够从教师模型中学习负面对之间的相似之处。

更具体地说，如图 2 所示，我们考虑了两种类型的亲和力蒸馏损失：图像到语言损失 ℒ I 2 T 和语言对图像损失 ℒ T 2 I 。 前者根据图像到语言亲和力 A I 2 T 了解教师和学生模型之间的对齐方式，该>代表图像的亲和力得分，其中所有文本说明都在批处理中（突出显示了黄色行图。 2 )。 The latter refers to the alignment of language-to-image affinity A T 2 I , which compares a text description with all the images to obtain a matching score (the blue column in Fig. 2 ). 这两种损失的结合表达了我们的亲和力模仿蒸馏，这表示为：

在这里， C E 表示跨熵损失。 Superscripts s 和 t 分别表示学生和教师模型。 A I 2 T 和 A T 2 I 中的元素定义为：

where τ is a temperature parameter, I i is the feature embedding of i -th image in the batch ℬ , T j is the feature of j -th text description in ℬ . Affinity mimicking allows student models to imitate the behavior of the large model in learning visual-linguistic alignment. 与以前依赖图像或文本特征进行蒸馏的方法相反，我们表明在此图像文本亲和力空间中蒸馏知识更有效。

3.2 用重量继承蒸馏

原始的夹型模型在4亿张图像文本对上进行了32个时期的预训练，花费了数千个GPU天。 这给蒸馏带来了重大的成本挑战。 为了提高训练效率，我们引入了体重继承，这种技术从训练有素的大型教师模型到较小的学生模型都继承了重要权重。 继承权重的主要挑战是从老师的大量权重中确定重要的权重。 我们提出了两种选择重要权重的方法：手动重量继承和自动权重继承。

手动继承 。 对于手动重量继承，我们首先分析现有剪辑预训练模型的冗余。 图。 4 表明，文本编码器在深度（层）上显示出更多的冗余，而图像编码器则在宽度上显示出更多的冗余（通道）。 基于这一发现，我们采用了均匀选择 k 层的方法，并直接采用图像分支的前 k 频道来从大师模型中选择重要权重。 这些权重将作为蒸馏过程中小型模型的初始化。 我们出乎意料地发现，如此简单的手动选择权重可以在很大程度上加速夹蒸馏。

自动继承 。 尽管手动继承可以被认为是模型压缩的一种有效方法，但它确实存在一个缺点，即需要预先了解哪些权重需要继承。 这一限制可能会使该技术难以应用于不同的模型。 为了解决这个问题，我们提出了一种自动权重继承方案。 受大型语言模型中结构化剪枝的启发 [65] ，我们引入可学习掩码来识别权重的重要性。 考虑到不同模态之间的差异，可学习掩码分别施加在视觉和语言分支上，如图 3 所示。 引入一个整体稀疏性约束，以保证选定的重要权重数量满足我们的压缩要求。 为不失一般性，这里我们以Transformer架构为例介绍权重继承的详细过程。 特别地，一个标准的Transformer块包含一个多头注意力（MHA）层和一个前馈网络（FFN）。 为了细粒度地捕获权重的重要性，我们引入了两个掩码变量 𝐦 head 𝐦 int ∈ { 0 , 1 } ，分别用于识别MHA中冗余的注意力头和FFN中冗余的神经元，同时保留重要的部分。 这两种掩码分别施加在注意力头的激活和FFN的中间层上，其公式为

其中 𝐗 是层输入， 𝐖 Q h , 𝐖 K h , 𝐖 V h , 𝐖 O h ∈ ℝ d × d h 分别表示MHA中的查询、键、值和输出矩阵， 𝐖 U ∈ ℝ d × d f 和 𝐖 D ∈ ℝ d f × d 表示FFN层的参数。 这里， d 表示隐藏维度（ e.g. ，768）， d h = d / N H 表示每个头的输出维度（ e.g. ，64），其中 N H 是头的总数。 可训练掩码 𝐦 head 和 𝐦 int 作为MHA和FFN层重要性的指示器。 此外，为了进一步学习Transformer中嵌入维度的重要性，我们引入了一个额外的掩码 𝐦 embed ∈ { 0 , 1 } 。 此掩码在所有层之间共享，因为隐藏表示中的每个维度都通过残差连接连接到后续层中的对应维度。

在自动继承过程中，使用了两个损失函数来联合优化掩码和模型， i.e. ，方程( 1 )中定义的稀疏性损失和蒸馏损失。

其中 λ , β 是可学习的乘数，保证 p = q [60, 65] 。 这里， q 是目标压缩率， p 是模型可学习掩码的整体压缩率，包括图像编码器和文本编码器：

其中 M i 和 M t 分别表示图像编码器和文本编码器的完整模型大小， L 是 Transformer 层的总数。

3.3 渐进式多阶段蒸馏

当试图达到较高的目标稀疏性， 即 >70% 时，单阶段压缩模型会导致精度显著下降，甚至导致收敛失败。 这是因为大型模型的大部分权重都被直接丢弃，包括那些对确保模型质量和收敛至关重要的权重。 作为解决方案，我们提出了一种多阶段渐进式蒸馏方法，以在不严重牺牲精度的情况下实现高压缩率。 在每个阶段，我们使用适度的压缩程度， 例如 25%，以避免性能大幅下降并使训练稳定。

具体来说，每个阶段都包括权重继承和亲和力模拟，如算法 1 中所述。 在权重继承阶段，大型模型的权重逐渐减少，直到保留目标稀疏性和关键权重用于小型模型。 之后，小型模型通过模仿亲和力提炼，这涉及将视觉语言的亲和力知识从老师转移到学生。 重复此过程，直到达到目标稀疏度。

4.1 实现详细信息

架构。 The original CLIP employs a transformer-based model as its text encoder, while its image encoder has two variations, i.e. , ViT [9] and modified ResNet [19] , covering both transformer-based and CNN-based architectures. 为了继承权重，我们从两个模型变体中继承了权重： openclip vit-b/32或vit-b/16 [21] 和 clip Resnet-50 [46] ，在Laion-2B [49] 和WIT-400M [46] 上进行了预训练 ¹ . 为了进行蒸馏，我们使用 openclip vit-b/32 [21] 在laion-2b [49] 上预先训练作为教师模型，由于ImageNet [7] 的高零射精准确度具有65.6％的高度，并且具有较高的推理吞吐量。 此外，我们还将方法扩展到davit [8] ，这是一种混合体系结构。 我们在Laion-400m上重新生产了佛罗伦萨-Davit-5m [72，8] 。 然后，我们使用亲和力模仿和权重继承来提炼相同的模型。 教师模型是Florence-Davit-D3，它在FLD-900M [72] 上进行了预先培训，并在Imagenet [7] 上实现了78.0％的顶部1精度为78.0％。 >具有128m参数。

亲和力模仿。 如选项卡中所定义。 2 ，我们探索了跨模式之间教师和学生模型之间的不同互动方案。 The contrastive loss ℒ 0 and affinity mimicking ℒ 1 ( i.e. , ℒ d i s t i l l ) serve as the basic ones, which can be combined with other losses. 合并时，每个损失的重量设置为1。 等式中的温度参数 τ 。 ( 3 )设置为 1 50 默认情况下。 τ 的灵敏度分析在 补充材料 中提供。

重量继承。 我们使用建议的多阶段渐进式蒸馏来压缩Openclip vit-b [21] 和夹子Resnet-50 [46] 。 在每个阶段，我们都采用手动或自动重量继承。 在手动继承中，我们通过减少图像编码器的宽度和文本编码深度来分别压缩图像编码器和文本编码器。 在自动继承中，我们为整个模型设置了目标稀疏性。 在每个阶段，可训练的面罩初始化为1，并在前3,000个训练迭代中进行了更新，其中优化器为ADAMW [36，25] ，恒定学习率为0.01且无重量衰减。 在等式中定义的可学习乘数 λ , β 。 ( 7 )均初始化为0.01。

训练设置。 我们在两个公共数据集上训练我们的模型，即 LAION-400M [50] 和 YFCC-15M [53] 。 在 LAION-400M 上，模型压缩分为三个阶段，包括：参数从 100% 压缩到 75% 训练 6 个 epoch；参数从 75% 压缩到 50% 训练 16 个 epoch；参数从 50% 压缩到 25% 训练 16 个 epoch。 在 YFCC-15M 上，包含两个压缩阶段，其中训练 epoch 数均为 25，参数从 100% 压缩到 50%，然后从 50% 压缩到 10%。 我们遵循 CLIP [46] 的超参数，除了在使用权重继承时学习率设置为 10 − 4 。 详细信息见 补充材料 。 除非另有说明，我们的消融研究使用相同的设置，除了仅训练模型 1 个 epoch，学习率为 5 × 10 − 4 。 所有模型都在 32 个 Nvidia V100 或 A100 上训练，并使用 PyTorch [40] 、OpenCLIP [21] 、梯度缓存 [14] 和 Timm 库 [63] 实现。

评估设置。 模型在多个基准测试上进行评估。 在零样本迁移评估和鲁棒性评估中，我们遵循 CLIP [46] 中相同的提示工程，其中每个类别使用 80 个文本模板用于 ImageNet [7] 。 在线性探测中，我们使用 Elevater 工具包 [27] 进行评估，其中使用搜索到的超参数训练分类头 50 个 epoch。 请注意，我们没有计算文本嵌入层中的参数数量。 它是一个查找表，其参数大小与具有相同隐藏维度和词汇量大小的模型相同。 推理吞吐量在配备 CUDA 11 和 PyTorch v1.12 [40] 的 Nvidia V100 上测量，其中批大小为 1024。

4.2 与最先进的模型进行比较

我们将TinyClip与TAB中的最新模型进行比较。 1 。 报告了对Imagenet-1K [7] ，Flickr30k [44] 和MSCOCO检索 [34] 的零射门评估。

When performing training on YFCC-15M [53] , we use affinity mimicking and manual weight inheritance to distill OpenCLIP ViT-B/16 [21] , whose zero-shot performance ImageNet上为70.2％。 通过遗传一半的参数，我们的TinyClip VIT-39M/16可以在Imagenet上获得63.5％的零光精度，超过原始的夹子VIT-B/16 [46] 25.9％。 此外，当将图像编码器压缩到具有256个尺寸的10层和具有256个尺寸的3层的文本编码时，TinyClip vit-8m/16仍然超过夹子vit-b/16 [46] 。 ％使用 11.3 × 更少的参数，并且运行 5.1 × 更快。

When conducting training on LAION-400M [50] , we distill three different models, i.e. , Florence DaViT [72, 8] , CLIP ResNet [46] , and OpenCLIP ViT-B/32 [21] . 结果选项卡。 1 演示了我们方法的功效。 更具体地说，我们的TinyClip davit-5M可在ImageNet上的原始模型和5.0/4.5％的图像到文本检索中的闪烁和MSCOCO分别提高5.0％。 值得注意的是，这是一个仅使用10M参数来实现Imagenet上50.0％精度的微小语言图像预训练的模型。

对于剪辑重新系统，TinyClip-30M仅在第一阶段接受4个时期的训练，从原始模型继承了75％的参数。 结果表明，ImageNet上TOP-1精度的略有降低，但是 ∼ 在检索任务中的提高了2％。 TinyClip Resnet-19m继承了30m型号的权重，并经过12个时期的训练。 它将参数减少了50%，同时获得了 2 × 推理速度提升。 但是，由于参数的大幅减少，它在ImageNet上的性能下降了2.7%。

对于OpenCLIP ViT-B/32，我们使用我们的亲和力模拟方法，结合手动或自动权重继承对其进行蒸馏。 我们设计了一个三阶段渐进式蒸馏，其中每个阶段将模型压缩25%。 这三个阶段分别训练了6、16和16个epochs。 在手动继承中，TinyCLIP ViT-61M/32获得了与OpenCLIP ViT-B/32 [21] 相当的性能，同时将参数减少了29%。 另一方面，自动继承获得了比手动继承更好的结果。 例如，TinyCLIP ViT-63M/32在分类和检索任务上的性能都比手动继承的ViT-61M/32模型高出 ∼ 1%以上。 当自动压缩模型到 3.9 × 时，TinyCLIP ViT-22M/32获得了5,504的最高推理吞吐量，并达到了53.7%的top-1精度。 由于YFCC-15M包含高质量的图像-文本对，如果用它来替换部分LAION数据，我们的方法可以获得额外的改进，尤其是在检索任务上。

4.3 消融研究

亲和力模拟的影响。 如表 2 所示，我们提出了四种不同的交互模式。 亲和力模拟 ℒ 1 （ 即 ， ℒ d i s t i l l ）在ImageNet [7] 上top-1精度方面比对比损失 ℒ 0 高出2.1%。 在视觉-语言亲和力空间中的对齐带来了更多相似性信息。 交叉模态交互的精度比亲和力模拟低0.2%。 在这种模式下，学生图像和文本的嵌入功能没有任何互动，但是它们与老师的嵌入空间保持一致。 由于缺少使学生的形象和常见嵌入空间中的文本特征损失的损失，因此单态互动的精度较低。

体重遗传的影响。 我们验证了TAB中提出的两种重量继承的功效。 3 。 与不使用权重继承的模型相比，手动继承带来了 16.2 % Imagenet [7] 的精度提高。 自动重量遗传可以进一步提高准确性0.9％。 在图像文本检索上，自动继承的改进相对较高， 即。

语言图像模型的冗余。 我们通过删除层来分析图像编码器和文本编码器的冗余和文本编码器的冗余 [6，2，26] ，并通过删除层来分析零摄像机的精度。 如图 4 所示，我们观察到余弦相似性和准确性之间的高相关性。 与图像编码器相比，文本编码器具有较高的余弦相似性。 它显示文本编码器的冗余比图像编码器的冗余高。 因此，可以在没有明显的性能下降的情况下实现沿深度维度的文本编码器。

我们进一步探讨了提议的自动重量遗传的冗余。 As shown in Fig. 5 , for width analysis, it is observed that the embedding channels of the text encoder experience only a marginal reduction ( e.g. , 512 → 511), whereas the embedding channels of the image encoder are reduced to a greater extent (e.g., 768 → 526). 关于深度分析，观察到可以从文本编码器中删除大部分MHA层和FFN通道，表明其中的冗余。 这一发现表明，可以沿宽度维度压缩图像编码器，而文本编码器可以沿深度维度压缩。

教师模型的影响。 我们研究了哪种模型更适合权重继承。 如表 4 所分析，强大的教师模型并不一定能保证权重继承获得更好的结果。 相反，架构相似且性能更高的教师模型是更好的选择。 例如，虽然 ViT-H/14 的性能排名最高，但在权重继承方面却落后于其他模型。