专栏名称: 将门创投

将门是一家专注于发掘及加速技术创新激活商业价值的创业公司的创投机构。将门旗下设有将门创新服务、将门技术社群以及将门投资基金。关注领域包括机器智能、物联网、自然人机交互、企业计算。

Talk预告｜CMU LTI 于子淳：MATES - 基于模型感知数据选择的高效预训练

将门创投 · 公众号 · 科技创业 · 2025-02-11 08:39

正文

本期为 TechBeat人工智能社区 第 660 期线上Talk。

北京时间 2 月12日 (周三)20:00， CMU LTI博士生 于子淳 的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是: “MATES - 基于模型感知数据选择的高效预训练” ，届时他将介绍基于模型感知的数据选择方法MATES。

Talk·信息

▼

主题：MATES - 基于模型感知数据选择的高效预训练

嘉宾：CMU LTI · 博士生 - 于子淳

时间：北京时间 2 月12日(周三)20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

长按识别二维码，一键预约TALK！

Talk·介绍

▼

有效的数据选择能显著提升模型的预训练效率。在本次Talk中，我会介绍基于模型感知的数据选择方法MATES，即基于影响函数来动态追踪模型的数据偏好，并训练一个小的数据影响模型来高效地为预训练模型选择其最需要的数据。MATES将预训练效率提升了超过两倍，并在公开的数据选择评测榜单DCLM上取得了第一的位置。

Talk大纲

1. 背景 - 预训练数据选择的重要性和意义

2. 动机与问题 - 比较当前数据选择方法的优劣势，引出我们需要基于模型感知的数据选择方法

3. 解决方案 - MATES的主要贡献，更准确的影响函数计算以及如何用小的数据影响模型来拟合影响函数

4. 实验结果和分析 - DCLM榜单以及可视化结果

5. 结论和未来展望 - 总结MATES的主要发现和未来的拓展工作

Talk·预习资料

▼