肖朝军@清华大学：高效稀疏注意力机制研究

MLNLP学术Talk 是 MLNLP社区 举办的学术交流活动，旨在邀请一线青年学者分享最前沿的技术，期待最精彩的思想火花碰撞。

本期MLNLP学术Talk邀请了清华大学 肖朝军 在2025年3月1日10:00-11:00为我们带来 “ 高效稀疏注意力机制研究 ” 的主题报告。详细信息 如下：

个人介绍：

肖 朝军，清华大学计算机系博士生，导师为刘知远老师。研究方向为大语言模型、高效大模型架构，在人工智能国际顶级会议及期刊发表论文十余篇，曾获钱伟长中文信息处理科学技术奖一等奖（排名第4），腾讯犀牛鸟精英人才计划一等奖学金，CIKM最佳资源论文提名奖，全国社会媒体处理大会最佳论文奖等荣誉。

随着以大模型长文本理解与生成为核心的实际应用蓬勃发展，如何降低自注意力机制的高昂计算开销、提升大模型处理长文本序列的能力，已成为当前研究的热点问题。 本报告旨在系统介绍以稀疏注意力机制为核心的长文本处理相关研究，包括稀疏注意力规则设计、缓存压缩技术、分布式计算优化等内容，探索为长文本计算提供高效解决方案的方法与路径。