M2-CLIP：用于视频动作识别的多模态、多任务适应框架

全微调视频动作识别

早期的动作识别算法主要依赖于在ImageNet (Deng et al. 2009) 上预训练的模型使用2D CNNs (Wang et al. 2016; Lin, Gan, and Han 2019; Jiang et al. 2019) 、3D CNNs (Feichtenhofer et al. 2019; Feichtenhofer 2020) 和Transformers (Arnab et al. 2021; Li et al. 2022b; Liu et al. 2022; Bertasius, Wang, and Torresani 2021) 进行端到端的微调。 ImageNet 预训练模型主要用于初始化这些网络的主干，并进行扩展以初始化一些 3D 卷积 （Li 等人 2022a；Carreira 和 Zisserman 2017） 。 最近，像CLIP这样的大规模图像-语言预训练模型的出现带来了重大变化。 鉴于CLIP在图像相关任务上的强大性能和显著的泛化能力，研究人员开始基于CLIP从图像到视频进行全微调。 ActionCLIP (Wang等人，2023) 是一项早期工作，它通过向CLIP的图像分支添加一个时间建模模块将CLIP迁移到视频动作识别，在保持视频泛化能力的同时实现了具有竞争力的性能。 X-CLIP (Ni等人，2022) 提出了帧级时间注意力机制以减少计算量。 这些方法取得了令人印象深刻的结果，但所有方法都需要在视频数据上进行全量微调，这使得训练成本对于大多数研究人员和实践者来说都难以承受。

视频动作识别中的高效参数微调 (PEFT)

PEFT技术最初出现在自然语言处理领域 (Houlsby等人，2019) ，旨在解决大规模语言模型全量微调的挑战。 近年来，这项技术在视频动作识别领域也成为研究热点 (Ju等人，2022；Lin等人，2022b；Yang等人，2023；Xing等人，2023；Liu等人，2023) 。 EVL (Lin等人，2022b) 首先提出利用冻结的CLIP图像特征和轻量级时空Transformer解码器来增强视频识别任务。 ST-Adapter (Pan等人，2022) 引入了一个参数高效的时空适配器，有效地利用了CLIP图像模型在视频理解方面的能力。 AIM (Yang 等人 2023) 提出了空间、时间和联合适应来微调预训练的图像变换器模型。 这些经济高效的方法已经达到了最先进的性能，但它们都是单模态迁移，忽略了文本分支，从而失去了CLIP的泛化能力。 Vita-CLIP (Wasim等人，2023) 试图通过向两个分支添加提示来解决这个问题。 然而，我们观察到它在时间上强相关的dataset上的性能欠佳，并且其视觉分支中引入的额外摘要注意力层增加了可学习参数的数量。 在这项工作中，我们的目标是将PEFT应用于多模态框架，以确保在可学习参数的增加最小的情况下获得具有竞争力的监督性能，同时保持强大的泛化能力。

架构概述

如图 3 a所示，我们的框架包含三个关键组件：视频编码器、文本编码器和多任务解码器。 在本节中，我们将介绍整个架构的概述，并将提出的多模态适配器和多任务解码器的细节留给接下来的两节。

形式上，框架的输入给定为空间大小为 H × W 、包含 T 个采样帧的视频 𝐕 ∈ ℝ T × H × W × 3 ，以及来自预定义标签集 𝒴 的文本标签 y 。

视频编码器： 𝐄 v 由 L v 个Transformer层 { ℰ v ( i ) } i = 1 L v 和相应的提出的视觉TED-Adapters { 𝒜 v ( j ) } j = 1 L A v 组成。 输入的第 t 帧被划分为不重叠的patches { 𝐏 t , i } i = 1 M ∈ ℝ P 2 × 3 ， M = H ⁢ W / P 2 。 然后，它们被投影到patch嵌入 𝐗 v , t ∈ ℝ M × d v 中，前面添加一个可学习的类别符元 𝐂 t ，并添加位置编码 𝐞 v 。 在数学上，帧级输入构建如下：

如果我们将视觉适配器放在每个Transformer层之前，输入将按顺序处理为：

为了获得最终的视频表示 v ，最后一层Transformer层的类别符元 c t ( L v ) 通过 𝐯 t = 𝐡 v ⁢ ( c t ( L v ) ) 投影到一个共同的视频-语言(VL)空间，并在时间维度上取平均值，

语言编码器： 同样， 𝐄 l 由 L l 个Transformer层 { ℰ l ( i ) } i = 1 L l 及其对应的文本适配器 { 𝒜 l ( j ) } j = 1 L A l 组成。 输入词被标记化并投影到词嵌入 𝐗 l ∈ ℝ N × d l 中，其中 N 是文本长度。 编码器的输入构造如下：

以在每个Transformer层之前插入文本适配器为例，每一层的特征获取方式如下：

标签 y 的最终视觉语言空间文本表示 𝐰 ∈ ℝ d v ⁢ l 通过 𝐰 = 𝐡 l ⁢ ( 𝐳 l , N ( L l ) ) 获得，其中 𝐳 l , N ( L l ) 是 𝐳 l ( L l ) 的最后一个符元， 𝐡 l 是一个投影层。

解码器： 一旦获得来自两个编码器的输出特征，它们就会被送入我们专门设计的多任务解码器。 在训练过程中，解码器的作用是对编码器生成的特征表示施加约束，促进两种模态之间的语义对齐，并能够区分不同类别特征。 模型完成训练后，解码器用途广泛，能够生成用于监督学习的分类分数并进行零样本分类。 解码器结构的详细设计将在下一节中详细阐述。

视觉和文本适配器

为了更好地将CLIP迁移到这项任务并增强标签中动作动词的语义表示，我们为视觉和文本分支都引入了适配器，以提高它们各自的表示能力。

视频TED适配器： 将CLIP的图像分支适配到视频分支需要额外的时空建模模块，这可以从两个角度入手：全局时间增强和局部时间差异建模。 前者是直观的全局时间聚合，称为时空特征 (Lin, Gan, and Han 2019; Feichtenhofer et al. 2019) ，其中时间注意力或时间卷积应用于多个帧的特征以聚合相似的动作主体。 这在CLIP的迁移中已被广泛探索 (Pan et al. 2022; Yang et al. 2023; Liu et al. 2023) 。 后者是短期逐帧特征差异学习，旨在捕捉相邻帧之间的局部运动模式和动态。 这种特征在早期的计算高效卷积算法中已被提及 (Jiang et al. 2019; Wang et al. 2022; Li et al. 2020) ，但在CLIP迁移的背景下仍未被探索。 为了在一个统一的结构中探索这两种时间建模方法，我们设计了一种新颖的TED-Adapter，它同时学习 T emporal E nhancements（时间增强）和时间 D ifferences（时间差异）。

如图 3 b所示，我们首先采用一维时间卷积进行时间特征增强。 对于包含类别符元和块符元 𝐙 = { [ 𝐜 t , 𝐳 v , t ] } t = 1 T ∈ ℝ T × ( 1 + M ) × d v 的TED-Adapter层的输入，我们执行以下操作：

其中 𝐖 d ⁢ n 和 𝐖 u ⁢ p 是降维和升维权重。 Conv1D 表示用于时空建模的一维卷积，它作用于时间维度。 请注意，为简便起见，本节省略了重塑操作，但如图 3 b所示。

接下来，对于时间差异建模，我们从当前帧中减去前一帧的特征，然后采用二维空间卷积来自动学习相邻特征差异的有用信息。 形式上，给定第 t 帧的输入块符元 𝐳 v , t ，

其中 Conv2D 表示二维空间卷积。 对于第一帧，我们将它的特征差异设置为零。

最后，可以通过将两种时间特征融合在一起获得TED-Adapter的输出。 此外，应用残差求和以保留输入中的信息：

其中 𝐙 D = { [ 𝐎 , 𝐳 D , t ] } t = 1 T ，而 O 是一个与 𝐜 t 形状相同的零矩阵。

除非另有说明，否则TED-Adapter默认放置在多头自注意力机制 (MHSA) 之前。 通过结合时间增强和时间差异操作，所提出的TED-Adapter可以捕获时空特征和局部精细运动模式，这两者对于这项任务都至关重要。

文本适配器： 在动作识别中，描述动作的文本标签通常简短而简洁，强调动作本身，例如“展开某物”和“跨栏”。 然而，我们观察到，正如图 2 所示，仅使用CLIP的文本编码器可能无法有效地区分这种标签文本特征。 为解决这个问题，我们在文本分支中引入了适配器，以学习动作标签更好的语义表示。 我们直接使用了基本的适配器 (Houlsby et al. 2019) 结构，如图 3 b所示。 具体来说，给定文本适配器层 𝐳 l 的输入文本符元，我们执行文本适配器，如下所示：

其中 Act 表示非线性激活函数，这里我们使用GeLU。

默认情况下，文本适配器插入到Transformer层的Feed-Forward Networks (FFN)之前。 通过结合文本适配器，模型可以增强其对动作标签的理解，捕捉更多具有区分性的语义信息。 这使得文本和视觉表示之间的对齐得到改进，从而实现更准确和有效的视频动作识别。

多任务解码器

如前所述，我们观察到，当使用CLIP的多模态框架时，仅仅依靠对比学习的性能不如配置等效的单模态框架。 为了解决这个问题，我们提出一个配备四个不同学习任务的多任务解码器，每个任务对应一个单独的头，如图 3 a的右侧所示。 这种方法旨在利用多个任务约束来提高多模态框架的联合表示能力。

多模态对比学习头 (对比学习)。 这是CLIP最初的训练目标。 为了将成对的视频表示 v 和标签表示 w 彼此拉近，在两种模态之间定义了对称相似性：

其中 cos 表示余弦相似度， τ 是温度参数， B 是训练对的数量。 真实值对于负样本对定义为 0，对于正样本对定义为 1。 我们使用 Kullback-Leibler 散度作为视频文本对比损失来优化这个头，作为 ActionCLIP。

当模型训练完毕后，它将准备好进行零样本分类。 在实践中，文本输入可以提示为“ 一个关于 < 𝐲 ^ > 的视频 ”，其中 𝐲 ^ 是 C 类的类别名称。 预测特定视频 V 的 𝐲 ^ 的过程是找到通过以下公式计算的最高相似度分数：

交模态分类头 (CMC)。 由于动作标签是在给定集合 ( C 类) 中预定义的，我们可以计算每次迭代的完整标签特征集，使我们能够进行跨模态特征分类。 在这项工作中，我们采用了一种直接的无参数跨模态融合方法，它直接使用公式 ( 11 ) 计算余弦相似度。 请注意，它与等式不同。 ( 10 )，它考虑训练批次内的视频文本匹配，并且不能覆盖所有动作标签的表示。 获得这些相似度后，目标是确保视频的表示与其对应标签的文本表示相似，而不是与其他类别的文本表示相似。 为此，我们巧妙地将问题转化为一个 1-in- C 分类任务，并使用交叉熵损失向跨模态相似度分数添加分类约束。

跨模态掩码语言建模头 (CMLM)。 与主要处理图像文本配对数据的原始 CLIP 不同，我们的动作标签主要关注动词。 为了增强 CLIP 的文本分支以更好地表示与动作相关的词语并帮助学习文本适配器，我们引入了一个额外的 CMLM 头，它促使文本分支预测来自其他文本和视频符元的掩码词语。 具体来说，给定逐帧视频特征 [ 𝐯 1 , ⋯ , 𝐯 T ] 和文本特征 𝐳 l ( L l ) ，我们执行交叉注意操作以获得跨模态特征。 由于文本数据量有限，直接学习该注意力层的参数可能具有挑战性。 我们解决这个问题的方法是使用文本分支中最终Transformer层的参数来初始化该注意力层的参数，然后冻结这些参数，并在Transformer层的FFN之前添加公式( 9 )所示的文本适配器。 然后我们只学习这个文本适配器的参数。 此过程可以表示为：

其中 CA 、 LN 和 MLP 分别表示交叉注意力层、层归一化和多层感知器层。 然后，我们附加一个BERT MLM head (Devlin et al. 2018) 来预测掩码词，使用交叉熵损失，如图 3 a所示。

视频分类头 (VC)。 此外，我们在视频分支中引入了一个简单的分类头，以增强视频特征中不同类别之间的区分度。 给定视频特征 v ，我们直接附加一个线性层进行分类，并使用交叉熵损失进行训练。 重要的是，通过包含这个分类头，我们可以直接使用它的输出进行监督分类任务。 对于零样本实验，我们仍然采用公式( 11 )。 添加此分类头使模型能够更有效地学习区分不同动作类别之间的视频特征。

总之，通过引入这四个学习任务，我们利用了更丰富的监督信号，引导模型更好地对齐视觉和文本模态，同时捕捉语义信息的各个方面。 这种多任务方法不仅减轻了监督学习的性能差异，而且保留了CLIP卓越的泛化能力。

实验设置

我们评估我们的M 2 -CLIP在两个主要数据集中的监督学习：Kinetics-400 (K400) (Kay et al. 2017) 和Something-Something-V2 (SSv2) (Goyal et al. 2017) 。 对于泛化评估，我们在UCF101 (Soomro, Zamir, and Shah 2012) 和HMDB51 (Kuehne et al. 2011) 上测试我们的模型。 我们采用基于ViT-B/16的CLIP作为我们的骨干网络，并在训练和推理过程中使用具有8、16或32帧的稀疏帧采样策略。

完全监督实验

我们分别在表 1 和表 2 中展示了我们在K400和SSV2上的结果，并将我们的方法与在各种迁移方法下训练的SOTA进行了比较，包括完全微调、来自冻结CLIP的单模态和多模态PEFT。

在K400上，我们的8帧M 2 -CLIP-B/16模型超过了由ImageNet (Deng et al. 2009) 预训练的模型，在可学习参数和计算需求更少的情况下实现了更高的性能。 与具有相同ViT-B/16骨干网络的端到端微调CLIP模型相比，我们的方法展示了可比的结果。 仅用11%的可调整参数，我们就超过了ActionCLIP (Wang et al. 2023) 的结果（84.1%对83.8%）。 此外，我们的方法与最新的方法（如X-CLIP (Ni et al. 2022) 和S-ViT (Zhao et al. 2023) ）具有竞争力，但可学习参数要少得多。 此外，虽然我们的结果与BIKE (Wu et al. 2023) 和ILA (Tu et al. 2023) 取得的领先性能相比略逊一筹，但重要的是要注意，它们采用了更大的网络架构（ViT-L），并且可调参数数量是我们模型的14倍。 与单模态PEFT方法相比，我们的方法取得了相当甚至更好的结果。 例如，我们的8帧M 2 -CLIP-B/16模型比8帧ST-Adapter-B/16 (Pan et al. 2022) 提高了1.4%。 值得注意的是，虽然单模态方法在监督环境下表现出高性能，但它们缺乏对零样本泛化的支持。 相反，我们的方法在与它们进行比较时取得了具有竞争力的结果，并展现出强大的泛化能力。 最后，与多模态PEFT方法相比，我们的方法取得了更好的结果。 请注意，Vita-CLIP (Wasim et al. 2023) 是一种基于多模态提示的方法，而我们使用的是适配器。 很明显，我们只用41%的可训练参数就取得了更高的性能。