专栏名称: 机器学习研究组订阅
连接人工智能技术人才和产业人才的交流平台
目录
相关文章推荐
爱可可-爱生活  ·  【[52星]N8loom：基于树结构的前缀缓 ... ·  21 小时前  
爱可可-爱生活  ·  【The End of Search, ... ·  昨天  
量子位  ·  谁还没发现微信好友里的“卧底AI”：你以为它 ... ·  昨天  
宝玉xp  ·  转发微博-20250204101947 ·  2 天前  
黄建同学  ·  强化学习RL在DeepSeek的训练过程中非 ... ·  3 天前  
51好读  ›  专栏  ›  机器学习研究组订阅

OpenAI直播第二弹！奥特曼2024年最大惊喜竟来自字节？强化微调让o1-mini逆袭o1

机器学习研究组订阅  · 公众号  · AI  · 2024-12-07 18:22

正文

OpenAI 12天连播的第二弹，用短短三个单词体现了什么叫「字少事大」——强化微调（Reinforcement Fine-Tuning）。
首先，这是OpenAI第一次将之前仅限自家模型（如GPT-4o和o1系列）使用的强化学习技术，开放给外部开发者。
其次，开发者只需提供最低「几十个」高质量任务，就能通过强化微调实现领域专家模型的定制！并且，还能根据提供的参考答案对模型的回应进行评分。
最后，强化微调加强了模型在处理领域问题时的推理能力，并提升了在特定任务上的准确性。对于那些要求高精确性和专业知识的领域，强化微调将会发挥至关重要的作用。
从OpenAI的官方演示中不难看出，强化微调的效果可谓是相当显著——经过强化微调的o1 mini，竟然全面超越了当今最强的基础模型o1。
其中，强化微调版的o1 mini，在Top-1准确率上直接跃升180%达到了31%，远超o1的25%。

对此，奥特曼激动地表示：「这项工作效果出奇得好，是我2024年最大的惊喜之一！非常期待大家会用它去构建什么。」
目前，强化微调研究计划已进入Alpha阶段，并将于2025年第一季度公开发布。
为了搞清楚「强化微调」到底是个啥，我们便去问了问OpenAI自家的AI搜索。
没想到，结果却出人意料——这个技术思路，在一篇被ACL 2024录用为Oral的论文中，就已经提出了。
而更喜人的是，团队的成员全部来自字节跳动！
在这项工作中，研究人员提出了一种简单而有效的方法，来自增强LLM推理时的泛化能力——强化微调（Reinforced Fine-Tuning，ReFT）。

论文地址：https://arxiv.org/abs/2401.08967
简单来说，ReFT首先会使用SFT对模型进行预热，然后采用在线强化学习（PPO算法）进行优化。
也就是，对给定的问题自动采样大量的推理路径，并根据真实答案来获取奖励，从而进一步对模型进行微调。
在GSM8K、MathQA和SVAMP数据集上的大量实验表明，ReFT显著优于SFT，并且通过结合多数投票和重新排序等策略，可以进一步提升模型性能。
不仅如此，ReFT还有着卓越的泛化能力——在训练中仅需使用与SFT相同的问题集，而无需依赖额外或增强的训练数据。

强化微调，不是传统微调

这次上阵直播的四人，是OpenAI的研究员Mark Chen、John Allard、Julie Wang，以及伯克利实验室计算生物学家Justin Reese。
他们介绍说，这项功能已允许用户在自己的数据集上微调o1。
不过要强调的是，并不是传统的微调，而是强化微调。它真正利用了强化学习算法，把模型从高级中学水平提升到专家博士级别。
这个功能，能够帮助把自己的优质数据集转化为独一无二的用品，带来「魔力」。
强化微调（RFT），能让开发者、研究人员和机器学习工程师首次有机会使用强化学习来创建专家级模型，在特定领域的任务中有卓越表现。
对于法律、金融、工程、保险等领域，这项技术简直是量身打造的。
举例来说，OpenAI最近和汤森路透合作，利用强化微调对o1 Mini进行了微调，使其成为了一名法律助手，帮法律专业人士完成了一些复杂、需要深入分析的工作流程 。

史上首次，OpenAI微调支持强化学习

去年年初，OpenAI就推出了监督微调API。这项技术非常强大，核心目标是让模型复制在输入文本或图像中发现的特征。
在强化微调中，它不仅是教模型模仿输入，而是去学习在自定义域上以全新的方式进行推理。
当模型看到一个问题，研究者会给它空间来思考问题，然后给它的最终答案进行评分。
然后，利用强化学习的强大能力，他们会强化那些导致正确答案的思维路径，同时抑制那些导致错误答案的思维路径。
只需要数十到数千个高质量示例，模型就能学会以新的、有效的方式在定制领域中进行推理了！
用OpenAI研究者的话说，这实在太疯狂了，令人难以置信——仅用12个例子就能做到，这是传统微调难以实现的。
这也是史上首次，OpenAI的模型定制平台可以支持强化学习。
研究者强调说，OpenAI内部用来训练GPT-4o和o1系列等顶尖模型，就是用的同样技术。

强化微调的o1，诊断罕见病

伯克利实验室的Justin，就介绍了强化微调给他的研究带来的巨大帮助。
他研究的是，使用计算方法来理解罕见疾病背后的遗传原因。
然而，现在评估罕见疾病并不容易，首先要对医学有专业领域知识，还要对生物医学数据进行系统化推理。
而这，o1模型可以凭借其高级推理能力提供帮助。
在这个项目中，Justin和同事们从数百篇关于罕见疾病的科学病例报告中提取了疾病信息，包括患者的体征和症状。
他们希望能根据患者的症状，找出可能发生突变、导致这些症状的基因。
为此，他们和OpenAI团队一起训练了o1模型，让它更高效地推理疾病的成因。
而在「根据一系列症状预测可能引发遗传疾病的基因」这一任务上，o1-mini的表现超越了o1!
这非常重要，因为o1-mini比o1更小、更快、成本更低。
在OpenAI的开发平台上，他们已经对一个模型进行监督微调一年多了。
他们上传了一个训练数据集，包含1100个示例。
以下是一个单独的数据点，包括病例报告、指令、正确答案三个部分。
病例报告显示，这是一名51岁的女性，有眼距增宽、甲状旁腺功能亢进等症状。在指令部分，研究者会提示模型，希望它做什么。最后就是正确答案。
注意，训练过程中，并不会向模型展示这个答案，否则就是作弊了。
但是，研究者以这训练过程中用这个答案来评估模型。
可以看出，这个任务的难度，已经远远超越了「Strawberry中有几个r」的级别。
接下来，他们上传了一些验证数据，它的格式与训练数据完全相同，但验证数据集和训练数据集之间的正确基因没有重叠。
这就意味着，模型不能作弊，不能只是简单地记住症状列表并将其与基因匹配。
它必须真正从训练数据集泛化到验证数据集。
强化学习的部分，是这样体现的——
他们引入评分器的概念，将模型输出与正确答案比较，返回0到1之间的一个分数。0表示模型完全错误，1表示模型完全正确。
在这个例子中，模型得到了0.7的分数，因为FOXE 3是正确答案，在基因列表中排第二位。
它在列表中越往后，分数会越接近0。
最终，研究者提供了一套评分器合集，能有效覆盖在强化微调时可能会有的各种意图空间。
接下来，可以快速地复制一下评分器，然后就启动了一个训练任务。
厉害的地方在于，只需要提供数据集和评分器（体现领域专业知识），就可以利用OpenAI强化学习算法的全部能力，以及完整的分布式模型训练技术栈，来为自己的使用场景定制一个前沿模型了。
一句话就是：拿上你的数据集和评分器，OpenAI就会给你一个微调模型。

强化学习微调任务可能需要几个小时到几天的时间来运行
可以看到，验证集的奖励分数呈上升趋势。
由于训练数据集和验证数据集之间的基因没有重叠，这意味着：模型确实学会了这项任务中进行泛化！






请到「今天看啥」查看全文

推荐文章
爱可可-爱生活  ·  【[52星]N8loom：基于树结构的前缀缓存库，为LLM生成的-20250205212326
21 小时前
爱可可-爱生活  ·  【The End of Search, The Beginnin-20250205110002
昨天
量子位  ·  谁还没发现微信好友里的“卧底AI”：你以为它只会做红包封面？
昨天
宝玉xp  ·  转发微博-20250204101947
2 天前
黄建同学  ·  强化学习RL在DeepSeek的训练过程中非常重要（网页链接），-20250203112623
3 天前
THLDL领导力  ·  唯有读书和修养不能辜负
8 年前
枕边阅读  ·  当我妈发现垃圾桶里的套套后......
7 年前
美女帮  ·  【美女帮私房照】娇艳性感温香尤物
7 年前
汽车点评  ·  全新丰田卡罗拉VS马自达昂克赛拉，性价比才是关键！
7 年前
日记本  ·  暗恋一个人，真的太累了。
7 年前
Sov5搜索   ·   小百科   ·   今天看啥   ·   移动版
51好读 - 好文章就要读起来!