通过持续语言学习拥抱CLIP中的语言包容性和多样性

架构

如图 2 (a)所示，我们的模型基于CLIP构建，避免了从头开始训练，并包含一个由 𝜽 t 参数化的可扩展符元嵌入层来将多语言文本向量化。 特别地，CLIP由一个视觉编码器、一个文本编码器和一个主要用于英语的符元嵌入层组成。 ¹ . 分别将它们的参数表示为 𝛀 v ⁢ e 、 𝛀 t ⁢ e 和 𝛀 e ⁢ m ⁢ b 。 那么，我们在第 t 个任务时的模型参数为 ϕ t = { 𝛀 v ⁢ e , 𝛀 t ⁢ e , 𝛀 e ⁢ m ⁢ b , 𝜽 t } ，其中在推理过程中可以丢弃 𝛀 e ⁢ m ⁢ b 。 我们保持所有CLIP参数 𝛀 * 不变，只训练 𝜽 t 。 这种选择与高效VL预训练的研究结果一致 (Zhai et al. 2022; Zhang, Hu, and Jin 2022) ，也有利于在持续学习过程中保留先前获得的知识 (Wang et al. 2022b; Smith et al. 2023) 。

词汇替换

将对应于 𝜽 t 的词汇表示为 𝒱 t 。 训练前， 𝒱 0 与CLIP的词汇相同， 𝜽 0 = 𝛀 e ⁢ m ⁢ b 。 对于 t ∈ [ 1 , T ] ，需要动态更新 𝒱 t 以适应新语言的词汇。 因此，我们首先采用与CLIP相同的BPE过程 (Sennrich, Haddow, and Birch 2016) 从 D t 构建词汇 𝒱 ^ t ，然后按照 (Garcia et al. 2021) 通过合并 𝒱 t − 1 和 𝒱 ^ t 来获得 𝒱 t ，即 𝒱 t = 𝒱 t − 1 ∪ 𝒱 ^ t 。 需要注意两个问题：（1） 𝒱 ^ t ∖ 𝒱 t − 1 （仅存在于 𝒱 ^ t 中的新符元）的嵌入初始化，以及（2）由于缺乏全面的文本统计数据而导致 𝒱 t 次优的特性。 我们将在TEIR中解决（1），并在后续实验中讨论（2）。

训练目标

我们CLL-CLIP的每个训练样本都是一个三元组 x = ( x I , x E , x F ) ，其中包括一个图像 x I 、一段 母语 x E （即 英语 文本）文本和一段 外语 文本 x F 。 在第 t 个任务中，我们如下获得三元组 x 的全局表示：

其中 g ⁢ ( ⋅ ) 表示前馈变换。 我们建议使用跨模态和跨语言目标训练CLL-CLIP，即 ℒ cm 和 ℒ cl ，以便CLL-CLIP可以基于已获得的知识（即 𝒓 I 和 𝒓 E 之间的对齐）将 𝒓 I 与 𝒓 F 关联起来。 遵循CLIP，我们将 ℒ cm 实现为基于InfoNCE的图像-文本对比 (van den Oord, Li, and Vinyals 2018) ：

其中 K 表示批大小， ⟨ ⋅ , ⋅ ⟩ 表示余弦相似度， τ 表示温度超参数。 受 (Reimers and Gurevych 2020) 的启发，我们将 ℒ cl 实现为配对文本特征之间的均方误差：

其中 | | ⋅ | | 2 表示L2范数。 CLL-CLIP的整体训练目标可以表述如下：

其中 γ * 是平衡两个损失的超参数。

初始化

基于Transformer (Vaswani et al. 2017) 构建的语言模型通常使用均值为零( μ = 0 )和预定义方差 σ 2 的高斯分布 𝒩 ⁢ ( μ , σ 2 ) 来初始化符元嵌入。 令在 D t 上训练后CLL-CLIP的符元嵌入表示为 𝜽 t * 。 假设 𝜽 t − 1 * ∼ 𝒩 ⁢ ( μ t − 1 , σ t − 1 2 ) ，现在的重点是如何正确初始化 𝜽 t 。 遵循 (Garcia et al. 2021) ， 𝜽 t 继承自 𝜽 t − 1 * 中 𝒱 t − 1 的预训练嵌入，以保留先前获得的语言知识。 我们建议不要使用固定的分布 𝒩 ⁢ ( μ , σ 2 ) 初始化 𝒱 t , n ⁢ e ⁢ w 的嵌入，而是建议 μ = μ t − 1 和 σ = σ t − 1 以确保新的和之前的符元嵌入具有 相同的分布 。 通过这样做，我们的方法减轻了特征漂移（又名协变量偏移）问题，这是导致概念漂移的一个潜在因素 (Ramasesh, Dyer, and Raghu 2021) 。

正则化

尽管 词汇重叠 有利于迁移学习 (Pfeiffer et al. 2021) ，但在没有约束的情况下学习 𝒱 t , ∩ 的嵌入会对包含词汇重叠符元的先前任务的性能造成干扰。 令表示直到第 t 个任务的符元统计量为 𝒄 t ∈ ℝ | 𝒱 t | ，其中 c t , j 是第 j 个符元在先前 t − 1 个任务中出现的次数， c 1 , j 初始化为1。 为了克服词汇重叠引起的CF，我们根据符元嵌入 𝜽 t 重新缩放L2权重衰减 β 和梯度 ∇ ℒ ⁢ ( 𝜽 t ) 的速率，如下所示，以标准的具有L2权重衰减的随机梯度下降法(SGD)为例：

其中 α 是学习率， λ t , j 定义为：

对于具有动量的复杂优化器，缩放操作仍然直接应用于 β 和 ∇ ℒ ⁢ ( 𝜽 t ) 。 正如公式( 5 )和( 6 )所示，我们保持与第 t 个任务无关的符元嵌入不变，惩罚 𝒱 t , ∩ 的嵌入学习，同时像往常一样更新 𝒱 t , n ⁢ e ⁢ w 的嵌入。 此方法避免了任务干扰，并确保了文本特征( 𝒓 F )的有效学习，从而在记忆稳定性和学习可塑性之间取得了更好的平衡。

基准

我们基于 MSCOCO (Chen et al. 2015) 和 XM3600 (Thapliyal et al. 2022) 构建了一个CLL基准，以评估我们提出的方法的有效性。 原因如下：(1) MSCOCO是一个流行的视觉语言基准，包含高质量的图像-英语标题对。 (2) XM3600包含36种语言的图像-标题对， ² 这些语言由地理位置多样的人们使用。 据我们所知，这个数据集涵盖了最多样的语言。 (3) 多语言视觉语言基准IGLUE (Bugliarello et al. 2022) 在任务类型和语言方面都存在差异，因此很难证明语言差异的影响。 如表 1 所示，我们使用Google翻译 ³ 进行数据增强，从而获得一个名为MSCOCO 36 的多语言数据集。 我们基于Karpathy分割 (Karpathy and Fei-Fei 2015) 在MSCOCO 36 上训练模型。 然后，我们分别报告在MSCOCO 36 和XM3600上的 领域内 和 领域外 结果。

任务和任务顺序

我们将每种语言视为一项任务，因此得到 T = 36 项任务。 模型首先在英语任务上进行训练，然后以随机顺序训练其余35项任务。

指标

令 a j , i （ j ≥ i ）表示在第 j 个任务上训练后，第 i 个任务上的Recall@1（信息检索中一个常用的指标）。 与持续学习研究 (Wang et al. 2023) 一致，我们计算两个指标：

• •

  平均召回率： 𝐀𝐑 j = 1 j ⁢ ∑ i = 1 j a j , i ，衡量模型学习能力和记忆稳定性的综合指标。

• •

  遗忘率： 𝐅 j = 1 j − 1 ⁢ ∑ i = 1 j − 1 max k ∈ [ 1 , j − 1 ] ( a k , i − a j , i ) ，其值越低表示灾难性遗忘越少。

除非另有说明，我们报告最终 𝐀𝐑 T 和 𝐅 T 性能的 百分位数 ，并省略下标。

实现细节

我们遵循 (Zhang, Hu, and Jin 2022; Yang et al. 2023) ，采用CLIP的ViT-B/16变体作为主干网络。 我们遵循OpenCLIP (Ilharco et al. 2021) 并将 ℒ cm 的初始温度设置为0.07。 我们在公式（ 4 ）中搜索超参数 γ 1 和 γ 2 ，取值范围为 { 1 , 0.1 , 0.01 } ，并根据验证集上的AR指标设置 γ 1 = 0.01 和 γ 2 = 1 。 对于没有TEIR的模型，我们使用 𝒩 ⁢ ( 0 , 0.02 2 ) 初始化新的符元嵌入，遵循OpenCLIP并设置 ∀ t , ∀ j , λ t , j = 1 （公式（ 6 ））。 对于每个任务，我们将词汇量大小设置为10K。 我们使用128个样本的批次和具有0.05 L2权重衰减的AdamW (Loshchilov and Hutter 2019) 来训练模型3个epoch。 我们将学习率在预热10%迭代后固定设置为5e-5。 选择在当前任务验证集上Recall@{1, 5, 10}总和最高的模型用于下一个任务的训练。 我们在单张NVIDIA V100显卡上使用PyTorch进行实验，每个实验运行时间少于20小时。

方法比较

我们复现了以下最先进的持续学习(CL)和参数高效微调(PEFT)方法进行比较：(1) 基于正则化的在线弹性权重整合( oEWC ) (Schwarz et al. 2018) ，它惩罚模型参数的变化；(2) 基于重演的 ER (Chaudhry et al. 2019) ，它存储历史训练样本用于当前任务学习；(3) 基于重演和正则化的 DER (Buzzega et al. 2020) ，它存储先前学习样本的特征用于知识蒸馏；(4) 基于架构的 MLA (Zhang, Hu, and Jin 2022) ， P-Tuning (Liu et al. 2022) 和 LoRA (Hu et al. 2022) ，它们分别将特定任务的适配器 (Houlsby et al. 2019) 、可学习的提示符元和分解矩阵插入到冻结的预训练模型中。 (5) 基于提示的 DualPrompt (Wang et al. 2022a) 和 CodaPrompt (Smith et al. 2023) ，它们依赖于键-查询机制为冻结的预训练模型生成合适的提示。 我们使用上述实现细节在CLL-CLIP的文本分支中复现了所有上述方法。