论文解读 | ACL 2024：自我蒸馏在语言模型微调中架起分布差异的桥梁

杨兆瑞

浙江大学CAD&CG全国重点实验室博士生

导师为陈为教授

大型语言模型（LLMs）的兴起彻底改变了自然语言处理领域，但对它们进行特定任务的微调常常面临在平衡性能和保持一般指令遵循能力方面的挑战。在本文中，我们认为任务数据集与LLMs之间的分布差距是问题的主要根本原因。为解决这一问题，我们引入了自蒸馏微调（Self-Distillation Fine-Tuning，SDFT）方法。它引导模型对任务数据集进行改写，并在蒸馏生成的数据集上进行微调，从而弥合分布差距，并匹配模型的原始分布。我们使用Llama-2-chat模型在各种基准数据集上进行了实验，证明了SDFT能有效减轻灾难性遗忘，且在与普通微调相比时，在下游任务上实现了相当或更佳的性能。此外，SDFT表现出维持LLMs的有用性和安全对齐的潜力。

论文地址 ： https://arxiv.org/abs/2402.13669

代码地址 ： https://github.com/sail-sg/sdft

在Hugging Face平台上，每天都有众多微调模型涌现，既有社区爱好者的贡献，也有大型研究机构的成果。例如，搜索基于Llama3的模型，便能找到超过9000个结果。

尽管微调模型以提升特定任务性能看似简单，但实际操作却面临挑战。以Meta发布的Llama3为例，其训练数据细节未公开，且模型已使用超过1000万个未公开标注示例。因此，收集模型未见过的私有数据并进行有效微调并非易事。

微调大型语言模型可能削弱其安全性。根据ICLR 24的一篇文章，微调后的模型安全性可能大幅降低。尽管模型在通过RLHF对齐后与人类价值观一致，微调仍可能破坏这一安全保障。实验显示，即使是使用良性数据集进行微调，模型的安全性也会降低。

前面提到了微调面临的两个挑战：性能和安全性。本文探讨是否存在一种更优的方法来进行微调，以便在提升下游任务能力的同时，仍能保持模型原有的安全性能。这涉及到对模型进行定制化与保持其通用性的平衡。

本文实验表明，微调的主要挑战在于原始模型数据分布与微调数据分布之间的差异。左图显示了Lama-3-Instruct模型的广泛能力，如代码生成、故事讲述和文本摘要，这些能力与人类价值观对齐，确保了模型的安全性。然而，微调特定任务时，所用数据往往来自狭窄分布，可能影响模型性能。

基于上述发现，本研究提出了一种新的微调策略，名为自蒸馏微调（Self-Distillation Fine-Tuning，简称SDFT）。该方法旨在对齐任务数据集与语言模型的原始数据集，以减少两者之间的分布差异，同时保留数据集中的监督信息。SDFT通过语言模型对目标标签进行重写，实现新知识与模型原有知识体系的整合。

本文进一步提供了一个示意图，清晰展示了两种微调方法的差异。图的上半部分展示了传统微调（Vanilla Fine-Tuning），即直接在特定数据集上对语言模型进行微调，以增强其在特定任务上的表现。然而，此方法可能导致模型在其他能力上的损失，形成所谓的折衷语言模型。相对而言，图的下半部分介绍了SDFT方法。该方法首先通过蒸馏技术生成精炼数据集，随后在该数据集上执行微调，旨在提升模型在特定任务上的性能，同时避免对原始能力的损害。