MLNLP
社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景
是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。
大模型的全参数微调对资源要求非常高，当前业界更倾向于采用LoRA，Parallel Adapter等参数高效微调（PEFT）方法，通过添加只占用LLMs全部参数很小部分（例如，0.1%）的可训练模块，损失小部分精度以换取低资源高效率的微调。
但对于问答（QA）等知识密集型任务来说，当可训练参数受限时，性能下降较为显著。如下图所示，相比全参数微调，其他PEFT方法下降10%左右。
但我们也从中发现，在Parallel Adapter中随着适配器参数数量的增加，答案准确率呈现出明显的上升趋势。大约需要更新10%的参数，可以达到全量微调的性能。但这一方案需要远超24G的GPU内存支持，这在实际应用中仍然面临较高的资源成本。
今天我们介绍一篇来自山东大学的研究，在可训练参数增加的同时显著降低了GPU内存使用，可实现仅需1块3090（24G）训练7B大模型。并且在保持相近性能的同时，相比其他PEFT方法，内存占用率下降了50%。
论文标题:
MEFT: Memory-Efficient Fine-Tuning through Sparse Adapter
论文链接：
https://arxiv.org/pdf/2406.04984
前置知识：Parallel Adapter
本文是在Parallel Adapter基础上开展的研究，因此需要先简单了解一下该方法。
在Transformer中，FFN（前馈神经网络）起着关键值记忆的作用，其中每个键对应一种文本模式，每个值则指导输出词汇的分布。基于这一发现，Parallel Adapter通过为下游任务定制特定的知识记忆来扩展原始FFN。Parallel Adapter将adapter与FFN并行放置，adapter由两个线性变换矩阵
和
以及ReLU非线性激活函数组成。其计算过程可以表述为：
Parallel Adapter中并不是每一个神经元都有作用，即存在稀疏性。作者在Natural Questions数据集上训练了一个瓶颈大小为4096的并行适配器模型。然后在测试集（包含4000个tokens）上提取了适配器的FFNs层的激活，并计算了平均激活值与累积激活值。如下图所示：
可以看到，适配器中的激活非常稀疏，即只有部分神经元对模型预测有重大贡献，而大部分神经元未被激活。根据这一观察，本文考虑在训练时仅复制这些重要参数，从而减少CPU-GPU通信量和内存使用。
方法
总的来说，本文提出的MEFT方法如上图所示。虚线将参数分成两部分，左侧为GPU，右侧为CPU。大多数可训练的参数将分配给CPU。在前向传播阶段，注意力块的输出将被高效地传递给CPU，使用类似于moe的结构来检索与当前环境高度相关的神经元，将激活神经元将传输到GPU。在反向传播期间，将梯度传输到CPU并更新设置CPU参数。
1. 稀疏激活
FFN块内因ReLU或GELU激活函数存在上下文稀疏性，进一步导致了稀疏梯度。因此本文探索了稀疏Adapter训练，仅更新高激活神经元。在前向计算中，FFN层基于h与W_A中K
个最相似键进行激活:
然后在CPU上使用相关的索引构建W_A^K和W_B^K。W[·]表示从矩阵W中提取相应值的索引操作。目标是从W_A和W_B中分别提取相关的键和值。接着将W_A^K和W_B^K移动到GPU作为复制适配器，然后作为加宽的FFNs进行计算。
在反向传播中，仅更新激活神经元的梯度，因为未激活神经元不参与FFNPA的计算。通过保留大部分Parallel Adapter参数在CPU内存中，并在每次FFN计算前仅将激活神经元临时复制到GPU内存。由于K远小于总神经元数r，且激活比例通常低于5%，这一策略非常高效,可以显著节省GPU资源。
2. Key-Experts机制
在稀疏激活中，检索最相似权重的TopK操作在CPU上。考虑到当r较大时，给CPU较低的TFLOPs可能成为计算速度的瓶颈。作者进一步提出Key-Experts机制，提高计算效率。
该机制基于MoE的思想，权重
和
被划分为
个专家，并使用一个路由器
将输入导向特定的专家。每个专家
是一个包含
和
的FFN。对于输入的token
，路由器
计算每个专家被选中的分数：
然后选择得分最高的K位专家,将这些选定专家的权重连接到W_A和W_B
上：
选取前k个键值对，得到W_A,W_B
,按照下列算法所示计算FFNPA(h)。
3. 效率分析
虽然该方法通过仅将激活的神经元部分放置在GPU上，可以减少GPU内存使用，但CPU与GPU之间的通信以及CPU计算可能会导致GPU等待。作者分析了该方法的通信量和计算复杂度。
通信量
CPU与GPU之间的参数通信分为前向传播和反向传播两部分。
-
前向传播。对于每一层，隐藏状态h需要从GPU传输到CPU，这导致了B×l×d的通信开销。在参数选择后，大小为2×d×β×K的激活参数会从CPU传输到GPU。这里，B表示批次大小，l表示批次中序列的长度，β是一个与l相关的稀疏因子。
-
反向传播。对于每一层，GPU上计算得到的激活参数的梯度被移动到CPU，用于更新CPU端的对应参数。因此，通信量大小等于激活参数的大小，即 2 × d × β ×K。
计算复杂度
在CPU上的额外计算包括路由器上的计算和TopK操作。根据提出的Key-Experts机制，CPU上的复杂度为
。因此，当 N 接近
时，能达到最优计算复杂度
, 显著降低了计算量，非常适合在CPU上执行。
