专栏名称: 吃果冻不吐果冻皮

专注于AI工程化（LLM、MLOps、LLMOps、RAG、Agent）落地。

RAG还是微调，怎么选？

吃果冻不吐果冻皮 · 公众号 · · 2024-11-30 11:01

正文

要想提高大模型在特定行业与场景中输出的适应性与准确性，除了使用RAG，还可以使用自己的数据对大模型进行微调。那么这两种方案的区别及选择的标准是什么呢？

我们首先简单了解一下大模型微调。以OpenAI公司的GPT大模型为例，一个GPT架构的大模型的训练通常需要经过以下几个阶段。

1．预训练阶段

这是整个过程中最复杂的阶段，像GPT-4这样的模型在预训练阶段通常需要成千上万个GPU，在海量的无标记的数据上训练数月。这个阶段其实占用了全部阶段的大部分时间。预训练阶段的输出模型一般叫基座模型，有的基座模型会被发布（比如开源的Llama），而有的基座模型不会被发布（比如GPT-4）。

基座模型本身是可以直接使用的，但通常不是一个“回答问题”的模型，而是一个“补全文档”的模型。如果你想让基座模型来回答问题，就必须假装输出一个文档，然后让它来“补全”。比如，你必须提示“下面是一首赞美祖国的诗歌：”，然后让模型来补全，而不能直接要求它“写一首赞美祖国的诗歌”。如何让基座模型变成一个交互式的AI助手呢？那就需要进入后面的阶段：微调。

2．微调阶段

在宏观上可以把后面的阶段都归到微调，即受监督微调、奖励模型+基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF）阶段。简单地说，这个阶段就是对基座模型在少量（相对于预训练的数据量来说）的、已标注的数据上进行再次训练与强化学习，以使得模型更好地适应特定的场景与下游任务。比如：

（1）强化某个方面的应用能力（比如利用大模型进行情感检测）。

（2）适应特定的使用场景（比如针对人类对话，输出无害、安全的内容）。

（3）适应特定的知识领域（比如医疗或法律行业的特定术语或语义）。

（4）适应某些可标注数据相对稀缺的任务。

（5）适应特定的语言输出要求（比如适应某个场景的语言风格）。

与预训练相比， 微调对算力的要求与成本都大大降低 ，这使得微调对于很多企业来说，在成本与技术上是相对可行的（当然，与RAG范式相比，成本仍然较高）。

大模型微调是一个相对专业的技术任务，涉及较多底层的深度学习的架构、参数及算法知识，以及多种技术（比如全量微调、Prompt Tuning，Prefix Tuning，P-tuning等）。不同的方法对资源与成本、指令数据等有不同的要求，当然达到的效果也不一样。另外，为了简化微调工作，也有一系列用于微调的工具、框架甚至平台可以使用，比如OpenAI针对GPT模型提供的在线微调API、重量级的大模型并行训练框架DeepSpeed等。

实施微调除了需要算力与算法、成熟的平台与工具，还需要生成与标注具有一定规模的高质量数据集，这通常由大量的指令与输出的样本来组成。对于一些行业特征特别突出的垂直领域， 数据集的准备是最大的挑战。 这些挑战如下。

数据从哪里采集，如何确保专业性与有效性。
对多形态的数据如何清洗与归一。
怎么标注数据的提示、输入、输出等。
处理老化数据，即知识过期后如何反馈到大模型。

继续以前面的例子来说明微调和RAG的区别。如果大模型是一个优秀学生，正在参加一门考试，那么RAG和微调的区别如下。

RAG： 在考试时给他提供某个领域的参考书，要求他现学现用，并给出答案。

微调： 在考试前一天对他进行辅导，使他成为某个领域的专家，然后让他参加考试。

如何在RAG与微调之间选择适合自己的增强生成方案呢？ 在实际应用中，需要根据自身的环境（应用场景、行业特征、性能要求等）、条件（数据能力、技术能力、预计成本等）、测试结果（指令理解、输出准确性、输出稳定性等）等来选择（见图1-15）。

与大部分的IT技术一样，无论是微调还是RAG，都有优点，也都有缺点。下面简单地做一下对比供参考（随着两种技术的发展，总结的一些优点和缺点可能会发生变化）。

RAG

微调

优点

1 ．使用更灵活，可根据需要随时调整 Prompt 以获得期望输出。

2 ．技术上更简单。

3 ．可以输入知识增强的 Prompt 让大模型立即适应领域知识。

4 ．无额外的训练成本

1 ．大模型自身拥有特定知识的输出能力，或适应特定的输出格式。

2 ．对下游应用更友好，在特定的任务中使用更简单。

3 ．可以节约推理阶段使用的 token ，推理成本更低

缺点

1 ．容易受限于上下文窗口的大小。

2 ．输入本地知识增强的 Prompt 在实现上下文连续对话时较困难。

3 ．大模型输出的不确定性在高准确性的场景中会增加失败概率。

4 ．输入带有上下文的、较长的 Prompt 会带来较高的推理成本。

5 ．随着模型的迭代，可能需要重新调整 Prompt

1 ．非开箱即用。

2 ．需要额外的数据准备、标注、清洗成本，以及必要的算力与训练成本。

3 ．需要足够的技术专家，特别是机器学习（ Machine Learning ， ML ）专家、数据专家。

4 ．微调无法阻止出现“ 幻觉 ”问题，过度微调甚至可能导致某些能力下降。

5 ．模型迭代周期长，对实时性要求高的知识并不适用

无法确切地说在什么场景中必须使用RAG、在什么场景中必须使用微调。结合当前的一些研究及普遍的测试结果，可以认为在以下场景中更适合考虑微调的方案（在不考虑成本的前提下）。

（1）需要注入较大数据量且相对稳定、迭代周期较长的领域知识；需要形成一个相对通用的领域大模型用于对外服务或者运营。

（2）执行需要极高准确率的部分关键任务，且其他手段无法满足要求，此时需要通过高效微调甚至全量微调来提高对这些任务的输出精度，比如医疗诊断。

（3）在采用提示工程、RAG等技术后，无法达到需要的指令理解准确、输出稳定或其他业务目标。

在除此之外的很多场景中，可以优先考虑使用RAG来增强大模型生成。当然，在实际条件允许的前提下，两者的融合应用或许是未来更佳的选择。

为了帮助LLM开发人员更好的、更系统性的学习RAG应用，特别是企业级的RAG应用场景下，当前主流的优化方法与技术实现，

RAG还是微调，怎么选？

正文

请到「今天看啥」查看全文