强化学习成为OpenAI o1灵魂，速来学习下Self-play增强大模型

机器之心 · 公众号 · AI · 2024-09-18 19:52

正文

在机器学习尤其是强化学习领域，自我博弈（Self-play）是一种非常重要的学习策略。即使 AI 或者智能体没有明确的对手或者没有外部环境提供额外信息，也能通过自己与自己的博弈来学习并获得提升，这常见于游戏场景。AlphaGo 就是采用自我博弈策略的典型代表，通过自己与自己对战，持续掌握和积累围棋知识和比赛经验，最终击败顶级人类棋手。

随着大语言模型的发展，自我博弈因其能够充分利用计算资源和合成数据成为提升模型性能的方法之一。

最近发布的 OpenAI 发布的 o1 模型再次震撼了科技圈，o1 能像人类一样「思考」复杂问题，拥有真正的通用推理能力。不专门训练，o1 可以直接拿下数学奥赛金牌，甚至能在博士级别的科学问答环节上超越人类专家。

这些突破性的进展是如何达成的呢？在研发团队发布的庆功视频里，OpenAI 的研究人员透露，关键在于他们采用了强化学习技术进行模型训练。这也让大家重新开始关注自我博弈策略。

其实 2024 年以来，加州大学洛杉矶分校（UCLA）计算机系教授顾全全团队连续发表两篇基于自我博弈的大语言模型增强论文，分别是自我博弈微调（Self-Play Fine-Tuning, SPIN）和自我博弈偏好优化（Self-Play Preference Optimization, SPPO）。

其中 SPIN 通过让模型与自身的历史版本对抗来迭代改进，无需额外的人工标注数据即可通过自我博弈提升性能，从而充分利用高质量数据和合成数据。SPPO 则将对齐问题建模为了双人零和博弈，通过指数权重更新算法和合成数据来逼近纳什均衡。这两种方法均显著提高了模型在多个基准测试上的性能。

为了更好地帮助大家了解这两项研究，机器之心最新一期线上分享邀请到了顾全全教授以及 SPIN 第一作者陈子翔、SPPO 第一作者吴越，为大家详细解读如何通过自我博弈来为大语言模型提能增效。

分享时间：9 月 19 日上午 10:30 - 12:00

分享主题：通过自我博弈增强大语言模型（Making Large Language Model Stronger via Self-Play）

分享摘要：本次分享介绍两种基于自我博弈的大语言模型增强方法：自我博弈微调（SPIN）和自我博弈偏好优化（SPPO）。这些方法通过让模型与自身历史版本对抗来迭代改进，无需额外人工或昂贵的强模型（如 GPT-4）标注数据。实验表明，这些方法能显著提高模型在多个基准测试上的表现，为增强大模型的能力提供了新的思路。

分享嘉宾 1：顾全全，加州大学洛杉矶分校（UCLA）计算机系教授，主要研究方向包括生成式 AI，如大语言模型、扩散模型，和强化学习、深度学习理论等，曾发表 200 余篇顶级会议和期刊论文，并获得多个重要奖项，包括Alfred P. Sloan Research Fellowship、 NSF CAREER Award” 等。

分享嘉宾 2：陈子翔，现为 UCLA 计算机系博士生。SPIN 第一作者。

分享嘉宾 3：吴越，博士毕业于 UCLA 计算机系，现为普林斯顿大学 AI Lab 博士后研究员。SPPO 第一作者。

项目链接

SPIN 主页：https://uclaml.github.io/SPIN/
SPPO 主页：https://uclaml.github.io/SPPO/

论文链接

SPIN：https://arxiv.org/abs/2401.01335
SPPO：https://arxiv.org/abs/2405.00675

直播间：关注机器之心机动组视频号，立即预约直播！

本次直播设有 QA 环节，欢迎加入本次直播交流群探讨交流。

机器之心 · 机动组

机动组聚焦于学术研究、工程实践与产业应用，筛选前沿、专业、实用内容，不定期组织学术研讨、技术交流与实战分享等。欢迎所有 AI 领域技术从业者关注。

点击阅读原文，直达机动组官网，查看往期回顾。