权小军教授：弱模型偏好对齐研究 | ICLR 2025 特邀报告与团队专场

AITIME

🌟 Spotlight

Advantage-Guided Distillation for Preference Alignment in Small Language Models

讲者： 高世平 ，中山大学计算机学院研究生，方向为模型蒸馏和偏好优化

时间：3月12日10:15-10:30

简介：

针对小语言模型难以与人类偏好对齐的问题，本文提出了双重约束知识蒸馏（DCKD）和优势引导蒸馏（ADPA）两种创新方法，通过利用大型已对齐模型的知识增强小型语言模型与人类偏好的对齐效果，被ICLR 2025接收，列为 Spotlight 。

论文地址：

https://openreview.net/forum?id=xsx3Fpo3UD

代码地址：

https://github.com/SLIT-AI/ADPA

中山大学语言智能技术实验室依托中山大学计算机学院，专注于人机对话系统和预训练语言模型等自然语言处理研究方向，在知识驱动的任务型对话系统、预训练语言模型、知识蒸馏和模型压缩、中文信息处理等相关方向开展了一系列研究实践。负责人权小军现任中山大学计算机学院教授，博士生导师；中国计算机学会杰出会员、自然语言处理专委会委员、大模型论坛执委，中国中文信息学会大模型与生成专委会委员、情感计算专委会委员。长期担任ACL、EMNLP、NeurIPS、ICLR、AAAI、IJCAI等国际会议领域主席或程序委员；在ACL、WWW、NeurIPS、ICLR、EMNLP、AAAI、PAMI、TKDE等国际知名会议和期刊发表100多项高水平研究成果，获得广东省计算机学会优秀论文一等奖。发表在ACL 2020 上的论文《Relational Graph Attention Network for Aspect-based Sentiment Analysis》单篇引用量超过600。他领导的项目组首次提出了异构大模型融合研究问题，目标是整合各个模型的优势、减少重复预训练的昂贵开销，为下游任务提供更强的基础模型，研究成果被ICLR 2024、ICLR 2025接收；基于模型融合思想开发了FuseChat 1.0/2.0/3.0系列模型，在MT-Bench、AlpacaEval、Arena-Hard等权威榜单取得了优异的表现。

进入Bilibili直播间观看，

提问有可能会被选中由讲者回答！

欢迎关注AITIME论道 Bilibili 观看更多讲者回放！

添加"AI TIME小助手"，发送“ICLR”，

将拉您进“AI TIME 交流群”！