ReFT: 微调表征而不是微调权重代替LoRA

深度图学习与大模型LLM(小编):

今天给大家介绍一篇来自斯坦福大学的最新论文，题为《ReFT: Representation Finetuning for Language Models》。这篇论文提出了一种新的语言模型微调方法 Representation Finetuning (ReFT)，可以通过修改语言模型隐层表征来适应下游任务，相比现有的参数高效微调方法，ReFT 可以用更少的参数实现更好的性能。下面我将详细介绍这篇论文的内容。

1. 基本信息

• 论文题目：ReFT: Representation Finetuning for Language Models
• 作者：Zhengxuan Wu, Aryaman Arora, Zheng Wang, Atticus Geiger, Dan Jurafsky, Christopher D. Manning, Christopher Potts
• 作者研究单位：斯坦福大学
• 代码地址： https://github.com/stanfordnlp/pyreft

2. 介绍

现有的参数高效微调方法主要通过修改模型权重来适应下游任务，然而之前的可解释性研究表明， 语言模型的隐层表征包含丰富的语义信息 。受此启发，这篇论文提出了一种新的微调方法 ReFT，通过直接修改语言模型的隐层表征来适应下游任务。与修改模型权重的方法不同，ReFT 在固定预训练语言模型的基础上，学习任务特定的隐层表征修改。

这篇论文的主要贡献包括：

1. 提出了 ReFT 微调框架，通过修改语言模型隐层表征来适应下游任务。
2. 在 ReFT 框架下，提出了一种强有力的方法 Low-rank Linear Subspace ReFT (LoReFT)，可以替代现有的参数高效微调方法。
3. 在常识推理、算术推理、指令遵循和自然语言理解等多个任务上，LoReFT 相比现有的参数高效微调方法可以用更少的参数（10-50倍）实现更好的性能。

3. 方法

ReFT 的核心思想是学习如何修改语言模型的隐层表征，使其能够正确预测任务标签 。形式化地，给定一个预训练语言模型 ，ReFT 定义了一个隐层表征修改函数 如下：

其中 是语言模型的隐层表征， 是一个低秩矩阵， 和 分别是一个线性投影矩阵和偏置向量。 的可学习参数为 ，语言模型的参数是固定的。

直观地理解，LoReFT 在 张成的 维子空间中修改隐层表征 ，使其等于从线性投影 得到的值。LoReFT 可以用于生成任务和分类任务：

• 对于生成任务，训练目标是最小化交叉熵损失；
• 对于分类任务，在 LoReFT 修改后的隐层表征上添加一个分类头，同时优化分类头和