中国中文信息学会2024学术年会暨第三届全国大模型智能生成大会（CIPS-LMG 2024）将于2024年11月28日-12月1日于浙江嘉兴召开。讲习班将于2024年12月1日召开。本次讲习班邀请到了四位专家，分别是清华大学长聘副教授王宏宁博士、中国人民大学高瓴人工智能学院教授窦志成
博士
、上海交通大学约翰·霍普克罗夫特计算机科学中心副教授林洲汉博士和复旦大学大数据学院副教授魏忠钰
博士
。这次系列讲习班涵盖了大模型时代的人类反馈强化学习、生成式信息检索、大语言模型的计算优化和大模型驱动的社会行为模拟，探索了从大模型到社会科学各领域的前沿技术与挑战。
王宏宁（
清
华大学
）
摘要：基于人类
反馈的强化学习已成为当下实现预训练大模型与人类偏好对齐、安全对齐、以及提高逻辑推理等下游任务性能的重要手段，并获得学术界和工业界的广泛关注和极大投入。一系列算法和框架被相继提出，从奖励模型建模、生成策略优化、最优性条件等多方面对这一问题进行深入探索。本次报告将从强化学习方法出发，从离线强化学习的角度探讨基于人类反馈的强化学习问题，并结合产业界大规模实践经验，讨论这一研究问题的内涵与外延。
讲者介绍：王宏宁，2014年在伊利诺伊大学-香槟分校获得计算机科学博士学位，现为清华大学计算机科学与技术系长聘副教授，博士生导师，国家高层次人才，曾任美国弗吉尼亚大学计算机科学系Copenhaver副教授。他的研究主要集中在机器学习和信息检索的交叉领域，着眼于创立具有完备理论性质与高效实用性能的强化学习方法以解决个性化决策问题。
窦志成（
中国人民大学
）
摘要：
上世纪
90年代开始，以“搜索引擎”为代表的信息检索技术极大地提升了人类从海量互联网数据中获取信息的效率，成为日常生活中不可或缺的工具。而近期出现的以ChatGPT为代表的生成式大语言模型则有望深刻改变人们获取信息的方式，促进信息获取技术的更新升级，进而可能会改变或者替代掉传统搜索引擎。但生成式大模型在应对信息获取任务时仍面临诸多挑战，如幻觉问题严重、无法处理新知识、答案不可追溯等。在此背景下，以结合检索和生成为目标的生成式信息检索（Generative Information Retrieval， GenIR）得到了学术界和工业界的广泛关注。本报告将介绍我们在生成式信息检索领域开展的部分工作，包括
大模型赋能的检索、
检索增强的生成及生成式文档检索。
讲者介绍：
窦志成，教授，博导，中国人民大学高瓴人工智能学院副院长，中国计算机学会大数据专家委员会秘书长，中国中文信息学会理事、信息检索专委会副主任。主要研究方向为智能信息检索、大模型以及二者的融合，曾获教育部自然科学奖一等奖、国际信息检索大会
(SIGIR 2013)最佳论文提名奖，WWW 2023亮点论文奖，亚洲信息检索大会(AIRS 2012)最佳论文奖，全国信息检索学术会议（CCIR 2018、CCIR 2021）最佳论文奖。担任SIGIR 2019的程序委员会主席（短文），信息检索评测会议NTCIR-16程序委员会主席等职务。
林洲汉（
上海交通大学
）
摘要：广泛存在于
LLM隐层表征和自注意力机制中的信息冗余是许多方法加速LLM计算的关键，例如KV缓存压缩或注意力值修剪。在本次演讲中，我们将首先回顾LLM出现之前的诸多加速算法和模型，并从基于变换的方法的角度，展示LLM隐层表征中的信息冗余。接着，我们将介绍现在流行的纯解码器LLM架构中发展出来的算法级KV缓存压缩方法及相关研究工作。
讲者介绍
：林洲汉博士目前是上海交通大学约翰
·霍普克罗夫特计算机科学中心的副教授和副主任。在加入上海交大之前，他曾在Facebook AI Research（FAIR）担任访问科学家。林博士于2019年在蒙特利尔大学的Mila实验室获得计算机科学博士学位，导师为Yoshua Bengio博士。他的核心研究兴趣是探索和开发能够从海量数据中获取、形成、推理和交互抽象概念的机器智能。林博士提出了自注意力机制的早期版本，该机制后来被集成到著名的Transformer和图注意力网络中。据Google Scholar统计，他的论文被引用超过9000次，其中两篇论文的引用次数均超过2000次，另有10篇论文的引用次数超过100次。林博士曾在多个顶级会议中担任领域主席，如EMNLP、AAAI、COLING和AACL等。
魏忠钰（
复旦大学
）
摘要：
传统的社会科学研究依赖于人类参与，通过问卷调查和心理实验等方法来研究社会现象。然而，这些方法在可扩展性、成本和伦理风险方面存在一定局限性。大模型的发展使得模拟复杂的人类行为成为可能，为社会模拟带来了新的机遇。随着对个体建模的多样化和规模化逐渐增加，大模型智能体驱动的社会行为模拟可以分为三个层级：（
