大模型知识密度定律｜SPP第110期

中国计算机学会 · 公众号 · · 2024-10-29 17:46

正文

2018年以来大模型规模不断增大、产生智能涌现，验证了OpenAI提出的模型规模法则（Scaling Law），特别是ChatGPT的推出引发全世界对大模型技术的关注。面向未来，大模型的发展趋势是什么，是不断增加模型参数规模以追求更多能力涌现吗？本报告发现，过去大模型在印证规模法则的同时还呈现知识密度持续增强的规律，可称为大模型知识密度定律。我们认为面向未来，我们更应从模型架构、成长算法和数据治理等方面不断改进模型制造工艺，提升模型制程，保证大模型知识密度定律的可持续，这将为我们揭示端侧智能的巨大潜力。欢迎参与本期 SPP：10月30日（本周三）19:30—21:00。

本期直播你将收获哪些

1、了解大模型技术在人工智能发展史上的重要意义；

2、理解大模型技术未来的重要发展趋势。

演讲嘉宾

刘知远

CCF高级会员，清华大学长聘副教授

刘知远，清华大学计算机系副教授、博士生导师。主要研究方向为自然语言处理、基础模型。2011年获得清华大学博士学位，已在ACL、EMNLP、IJCAI、AAAI 等人工智能领域的著名国际期刊和会议发表相关论文200余篇，Google Scholar统计引用超过4.6万次。曾获教育部自然科学一等奖（第2完成人）、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖（第2完成人）、中国中文信息学会汉王青年创新奖，入选国家青年人才项目、北京智源研究院青年科学家、2020-2022连续三年Elsevier中国高被引学者、《麻省理工科技评论》中国区35岁以下科技创新35人榜单、中国科协青年人才托举工程。担任中文信息学会理事、社会媒体处理专委会副主任，期刊AI Open副主编，ACL、EMNLP、WWW、CIKM、COLING等国际著名会议领域主席。