Talk预告｜香港大学吴太强：知识蒸馏该用前向KL还是后向KL？

长按识别二维码，一键预约TALK！

2. 动机：之前工作提出 RKL 比 FKL 更适合 LLM 的蒸馏，因为 FKL 是 mean-seeking，而 RKL 是 mode-seeking

3. 贡献：本 talk 从理论和实验两个角度来证明这两种 seeking 的现象并不成立。与此同时。拟合初期，FKL 侧重拟合分布的头部，RKL 侧重拟合分布的尾部。

4. 总结：基于发现的特性，介绍了被 COLING2025 接受的 Adaptive KL (AKL)方法，并给出未来可行的研究方向。

Talk·预习资料

▼

论文链接：

https://arxiv.org/abs/2404.02657

代码链接：

https://github.com/wutaiqiang/LLM_KD_AKL

博客：

https://zhuanlan.zhihu.com/p/690748958

在Talk界面下的 【交流区】 参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

▼

吴太强 ‍‍‍‍‍‍‍‍‍

香港大学 · 博士生

个人主页:

https://www.techbeat.net/grzytrkj?id=9169

长按识别二维码，一键预约TALK！