FocusLLaVA：一种从粗到精的高效视觉标记压缩方法

3.1 总体结构

所提出模型的整体结构如图 图 1 所示。 我们基于 LLaVA-Next [30] 构建模型，具有两个核心模块，分别插入投影仪和 LLM 中的视觉引导采样器和文本引导采样器。 视觉引导采样器根据图像信息本身选择视觉标记，而后者结合文本信息提供更强的语义指导，过滤与用户指令相关的视觉标记。

对于给定的高分辨率图像 𝐈 ∈ ℝ H × W × 3 ，我们按照LLaVA-Next首先将图像分割成多个局部子图像。 分割后的子图像与原始图像一起被调整为统一大小，形成图像序列 [ 𝐈 g , 𝐈 0 , 𝐈 1 , 𝐈 2 , … , 𝐈 N − 1 ] ，其中 𝐈 g 是原始图像调整大小后的图像块， N 是局部子图像的总数。 序列中的每个图像均由 ViT 独立编码。 然后结果通过投影仪，产生一组与 LLM 嵌入空间对齐的图像嵌入。 每个图像嵌入也称为视觉标记。 然后，我们连接并重塑所有子图像中的所有视觉标记以形成全局特征图，称为 𝐗 ∈ ℝ H x × W x × C 。 随后，视觉引导采样器对特征图进行视觉标记缩减，并将剩余标记输入到 LLM 中。 在 LLM 中，第二轮选择由文本引导采样器执行，从而产生一组与文本指令精确相关的视觉标记。

3.2 视觉引导采样器

对于全局特征图 𝐗 ，首先按区域进行划分，形成一组局部特征块 𝐗 0 , 𝐗 1 , … , 𝐗 M − 1 ，其中 M 是局部特征块的数量。 我们将该区域的窗口大小表示为 w 。每个特征块 𝐗 i ∈ ℝ w × w × C 作为视觉引导采样器的基本单元。 请注意，视觉尺度的选择是针对每个局部区域而不是整个特征图进行的。 这种设计允许对高分辨率图像的每个局部区域进行自适应比例选择。 视觉引导采样器分两步处理特征块。 首先，它将每个特征块下采样到多个不同的尺度。 然后，它根据局部信息和全局信息动态选择视觉尺度之一。

多尺度下采样。 对于每个特征块 𝐗 i ∈ ℝ w × w × C ，我们使用一组最大池化操作将其下采样为几个不同的尺度。 在我们的工作中，我们使用窗口大小 4 来划分特征图，得到 𝐗 i ∈ ℝ 4 × 4 × C 。 我们使用三个最大池操作，每个操作的大小为 4 × 4 、 2 × 2 和 1 × 1 来处理特征块，从而产生三种类型的 Token 集功能块： DS ⁢ [ 0 ] ⁢ ( 𝐗 i ) ∈ ℝ 1 × 1 × C 、 DS ⁢ [ 1 ] ⁢ ( 𝐗 i ) ∈ ℝ 2 × 2 × C 和 DS ⁢ [ 2 ] ⁢ ( 𝐗 i ) ∈ ℝ 4 × 4 × C ，其中 DS ⁢ [ i ] 表示第 i 次下采样类型。 最大池化操作的设计可以更加灵活。 例如，我们可以使用比例为2或 1 2 的非对称池化来获得更多种类的token集合。 我们将在实验中讨论这个设计。

多尺度选择。 我们采用混合专家（MoE）的设计理念，将多个尺度的下采样视为专家。 目标是为每个局部特征块选择一名专家。 为了实现这一目标，我们通过对每个局部特征块和全局上下文之间的相关性进行建模来设计一个多尺度选择器。 具体来说，我们使用缩放后的原始图像作为 𝐈 g ，并将其编码特征作为 𝐗 g 。 我们压平 𝐗 g 来制作 𝐗 g ∈ ℝ H x ⁢ W x × C 。 然后，每个基本特征块 X i 被池化到 1 × 1 × C ，用于计算与 𝐗 g 的内积为 𝐒𝐜𝐨𝐫𝐞 i = p ⁢ o ⁢ o ⁢ l ⁢ ( 𝐗 i ) T ⁢ 𝐗 g ，其中 𝐒𝐜𝐨𝐫𝐞 i ∈ ℝ 1 × H x ⁢ W x 。 随后，将全连接层应用于 𝐒𝐜𝐨𝐫𝐞 i 来预测每个特征块的尺度，产生用于视觉尺度选择的逻辑 𝐙 ∈ ℝ 1 × S 。 最后，我们应用softmax函数来计算每个视觉尺度的概率。 然后将与概率最高的视觉尺度对应的标记输入到LLM。

目标。 由于下采样路径中选择操作的不可微性质，选择器的参数无法被有效地训练。 为了解决这个问题，我们引入了一些技术。 给定一个局部基本特征块 𝐗 r ，我们使用 DS ⁢ [ i ] 来表示第 i 下采样路径。 最终选择并输入LLM的与 𝐗 r 对应的最终视觉标记是

其中 𝐙 是对应于 𝐗 r 的预测 logits。 在推理过程中，我们使用上述公式应用多尺度选择。 在训练过程中，我们将计算出的概率与标记相乘，以使整个过程可微分。 具体来说：

这样，sidetrack中计算的概率就被纳入到token中，让选择器的参数通过LLM的优化损失继续接收梯度反馈。 此外，我们观察到选择器往往很容易退化为一种微不足道的状态，在训练过程中不断选择一个特定的分支。 为了抵消网络优化的惰性，我们按照 switch-transformer [16] 引入平衡损失来强制网络选择不同的分支。 余额损失的形式如下：

其中 α 是平衡损失的权重， t ⁢ e ⁢ x ⁢ t ⁢ b ⁢ f ⁢ 1 表示指标函数， N 表示一批内基本特征块的总数。

3.3 文本引导采样器

在文本引导采样器中，我们利用LLM的文本理解能力作为视觉标记选择的基础。 为了实现这一目标，选择来自 LLM 中间层的文本嵌入作为视觉标记过滤的指导。 我们认为LLM中间层的文本嵌入已经与视觉信号交互，包含足够的语义信息并具有选择重要视觉标记的能力。 这一想法得到了进一步分析的支持。 如图 图 5 所示，我们可视化了多个层中每个视觉标记收到的注意力分数。 我们观察到，在 LLM 的浅层中，视觉标记的重要性模式不稳定并发生显着变化。 而且，重要性图很难聚焦于最相关的区域。 相比之下，在 LLM 的中层和深层，视觉标记的重要性模式往往变得一致和准确。 因此，我们认为文本引导采样器应该放置在LLM的中间层，而不是浅层或LLM之外。

对于 LLM 的第 i 层，我们首先计算文本提示的嵌入 𝐡 i t 和视觉标记的嵌入 𝐡 i v 之间的相似度矩阵 𝐀 i ∈ ℝ h × N × T ，其中 h 表示多头注意力中头的数量， N 表示视觉标记的数量， T 表示文本提示的数量 Token ：

为了确定每个视觉标记的重要性得分 𝐒 i ，我们首先采用reduce-max操作来识别所有注意力头的最高得分。 随后，我们对所有文本标记的重要性得分进行平均。 获得重要性得分 𝐒 i 后，我们选择重要性得分最高的前 k 个视觉标记进行保留。 从数学上来说，这个过程可以表示为：

其中 𝐀 i 表示所有注意力头和文本标记中第 i 个视觉标记的注意力分数， T 是文本标记的总数， N 是视觉标记的总数。 在选择重要视觉标记时，我们首先对 𝐒 i 进行降序排序，得到 { s 0 , s 1 , … , s N − 1 } 。 然后，我们选择累积重要性超过给定阈值的视觉标记，

其中 γ 是重要性阈值。 最后，选择按重要性排名的顶部 k 视觉标记。

在 LLM 中，根据重要性过滤视觉标记通常会导致模型性能下降。 我们认为，在 LLM 中丢弃一些标记会导致训练和测试之间的不一致。 为了弥补性能下降，我们在训练过程中引入随机性以增强模型的适应性。 具体来说，在训练过程中，对于每个图像文本对，我们可以随机选择一个解码器层和一个重要性阈值 γ ，然后根据重要性公式选择视觉标记。 该模型经过这种随机性增强方法的训练后，在测试中表现出更强的鲁棒性。

4.1 实现细节

我们使用 CLIP [42] ViT-L/14 作为视觉编码器（默认分辨率 336 × 336），使用 LLama3-8B 作为 LLM，使用 2 层 MLP 作为连接器。 我们保留 LLaVA-Next [30] 中使用的自适应图像切片技术，每个子图像的大小都调整为 336 × 336 。 对于视觉引导采样器，我们将局部特征块的窗口大小设置为4。 使用三个尺度 4 × 4 、 2 × 2 和 1 × 1 进行多尺度选择。 对于文本引导采样器，我们将其插入到 LLM 的第 8 层。 γ 默认设置为 0.85。 在训练过程中，它被随机插入到第 8 到 24 层之间。 继 LLaVA-Next 之后，我们使用类似的训练设置进行视觉指令微调。 使用余弦学习率调度器将学习率设置为 1e-5，批量大小为 128。 使用 AdamW 优化器进行一次训练。 使用 Deepspeed Zero2 作为训练框架。 我们在配备 8 个 Nvidia A100 GPU（每个具有 80GB VRAM）的服务器上进行了实验。

4.2 数据集和基准

训练数据集。 我们仅使用开源数据对所提出的模型进行预训练和微调。 对于预训练，我们遵循流行的 llava 系列使用 llava-pretrain-558k。 为了进行微调，我们已尽一切努力使我们的训练数据与 LLaVA-NeXT [35] 保持一致。 但由于LLaVA-NeXT使用的数万条真实用户数据并未公开，我们按照Open-LLaVA-NeXT [11] 使用200K ALLaVA-Instruct-VFLAN-4V [8] 数据作为替代。 此外，由于 TextVQA [44] 已包含在大多数现有 LMM 的训练数据中，因此我们保留它以便与其他 LMM 进行公平比较。 结果，微调数据包括1M样本，涵盖sharegpt4v-mix665k [12] 、ALLaVA-Instruct-VFLAN-4V、DocVQA [41] 、SynDog- EN [23] 、ChartQA [40] 、DVQA [21] 、AI2D [22] 和 GeoQA+ [9] 。 具体数据配置见补充。

基准。 我们使用 10 个流行的基准来评估我们的方法，包括（1）通用问答基准，例如 GQA [20] 和 ScienceQA [38] ； （2）基于光学字符的视觉问答基准，例如TextVQA [44] ； (3) 针对特定能力的 MLLM 基准，例如 POPE [26] 、MM-Vet [50] 和 LLaVA-in-the-wild [33] ; （4）综合MLLM基准，例如MME [17] （感知和认知）、MMBench [36] 和MMBench-CN。

4.3 性能

我们选择了三种方法进行比较参考，其结果呈现在 Tab. 1 中，并按不同类别进行划分。 第一类由各种主流MLLM组成。 第二种类型包括采用高分辨率输入的 MLLM。 第三类侧重于致力于压缩视觉标记的作品，我们为此选择了它们的最佳结果。 最后一部分介绍了我们的基线和方法。 鉴于当前 MLLM 研究中使用的基础 LLM、训练数据集和训练配置各不相同， Tab. 1 中的大多数结果都不是可以直接比较。 然而，这些结果可以作为说明我们实施的基线和方法的大致性能水平的参考。 在第三部分中，特别是对于我们自行实现的 LLaVA-Next 和 FocusLLaVA ，我们确保了基础大型模型、训练数据集和训练设置的严格对齐，使它们具有相当的可比性。 我们的研究结果表明，与主流和高分辨率 MLLM 相比，我们实施的基线极具竞争力。 此外，我们提出的 FocusLLaVA 展示了在此基准基础上的明显改进。

4.4 分析

为了方便起见，这部分的实验使用了较小的训练集（200K）。 它是从默认训练集中随机采样的。

视觉和文字指导的消融。 我们通过实验探索视觉引导采样器和文本引导采样器的各自贡献。 结果显示在 选项卡 2 中。 研究结果表明，视觉引导采样器和文本引导采样器都有助于模型提高多个评估基准的性能。 结合起来，它们可以进一步提高这些基准测试的性能。 此外，效率进一步提高。 请注意，由于文本引导采样器删除的视觉标记仍然经过多层计算，因此剩余标记的数量是通过转换计算出来的。 假设有 m 个视觉标记，并且文本引导采样器删除了第 i 层中的 n 个标记，则通过 m − n + i ∗ n / 32 ，其中32是总层数。