AI青年科学家分论坛共话大模型 | CCF程序员大会

本论坛整体日程如下：

时间：12月22日13:40-17:15

论坛主席

王光宇

北京邮电大学教授

王光宇，北京邮电大学教授，网络与交换技术全国重点实验室主任助理。主要从事智能信息处理、生物医学计算等相关研究。获第四届“科学探索奖”、北京青年五四奖章等荣誉，入选麻省理工科技评论“35岁以下科技创新35人”（亚太地区），入选中国科协 青年 人才托举工程。主持多项国家级项目，包括国家重点研发计划、国家自然科学基金等；在Cell、Nature、Nature Biomedical Engineering、Nature Medicine等国际期刊 或顶会发表学术论文多篇，研究代码及模型在全球累计下载逾百万余次。兼任国家卫生健康委党校客座教授，Nature、Cell子刊等期刊常驻审稿人。

报告题目：《生物医学计算与基础大模型》

当今的科学发展和重大科技成就越来越依赖于跨学科的交叉融合。在复杂开放的生物医学场景下，多模态人工智能有哪些前沿科学探索，又面临哪些挑战？报告人将从目前大家比较关注的基础大模型和AI for Science谈起，围绕这些前沿问题及课题组的研究工作进行展开。

演讲嘉宾

王啸

北京航空航天大学教授

王啸，北京航空航天大学教授，博士生导师。研究方向为数据挖掘与机器学习，主持国家自然科学优秀青年基金等项目。共发表论文100余篇，谷歌学术引用13000余次，7篇入选最有影响力论文榜单，3次获得(提名)CCF A/B类等国际会议论文奖，成果多次被写入业界图学习标准库PyG和DGL等。曾获得国家自然科学二等奖，教育部自然科学一等奖，中国电子学会科技进步一等奖，中国人工智能学会吴文俊人工智能优秀青年奖，ACM中国新星提名奖，连续入选全球Top 2%顶尖科学家榜单并获 得AI2000最具影响力学者Honorable mention。担任WWW/AAAI高级程序委员会委员，IEEE TAI期刊编委。担任CCF青工委主任助理，CCF大数据专委会执行委员，CCF TCAIPR专委会执行委员，中文信息学会SM P专委会委员等。

报告题目：《图自监督学习》

图自监督学习旨在在无标签场景下学习图数据的表征，已成为目前学术界与工业界处理图数据的重要手段之一，其关键技术包括图数据增广、增广图学习、对比损失优化等。然而深究其背后的机理，若干基本问题尚未得到完全解答：到底什么才是好的增广图？不同的图增广策略背后，是否有同样的“游戏规则”？图对比学习最后学到了图中的什么信息？Graph Transformer作为一种典型的图学习模型，全局注意力机制真的就是最优的吗？本次报告将围绕以上问题展开初步思考与反思，为我们审视与改进现有图学习技术带来新的视角。

仉尚航

北京大学研究员

仉尚航，北京大学计算机学院研究员、博士生导师、博雅青年学者、智源学者。致力于开放环境泛化机器学习理论与系统研究，在人工智能顶级期刊和会议上发表论文100余篇，Google Scholar引用1.2万次。荣获世界人工智能顶级会议AAAI’2021 最佳论文奖。作为编辑和作者由Springer Nature出版英文书籍《Deep Reinforcement Learning》，至今电子版全球下载量超二十万次，入选中国作者年度高影响力研究精选。2018年入选美国“EECS Rising Star”，2023年入选“全球AI华人女性青年学者榜”、“中国科协青年百人会”。曾获国际人脑多模态计算模型响应预测竞赛第一名，ICCV持续泛化学习竞赛第一名。多次在国际顶级会议NeurIPS、ICML上组织Workshop，担任AAAI 2022&2023&2024 高级程序委员。仉尚航2018年博士毕业于美国卡内基梅隆大学，并在加州大学伯克利分校从事博士后研究。

报告题目：《迈向开放世界多模态具身智能》

近年来，大模型和具身智能的研究取得一系列进展，但已有具身智能往往针对封闭环境，存在闭集假设和大样本假设等局限。而现实世界中的具身智能体往往面对开放环境，存在以下关键挑战：1）开放环境中存在大量数据域偏移，已有方案难以适应新数据域、对新场景进行准确理解；2）开放环境中新的类别动态出现，无法及时获得标注，已有方案难以在少量标注下准确识别新事物。本次分享将针对上述挑战，介绍一系列增强开放世界多模态具身智能的泛化能力，使其自动适应新环境、识别新事物的研究工作。针对Corner Case等问题提出新型持续泛化学习范式，并重点介绍近期关于具身智能多模态大模型的研究工作。

李镇

香港中文大学（深圳）助理教授

李镇，现任香港中文大学 (深圳)理工学院助理教授， 未来智联网络研究院助理院长，校长青年学者。李镇博士获得香港大学计算机科学博士学位 (2014-2018年)，并于2018年在芝加哥大学担任访问学者。李镇博士荣获2023年吴文俊人工智能优秀青年，2021年中国科协第七届青年托举人才，2023CVPR HOI4D竞赛第一名，2022年SemanticKITTI语义分割竞赛第一名，2023年IROS 最佳论文Finalist，ICCV2021 Urban3D竞赛第二名，CASP12接触图预测全球冠军等。李镇博士还获得了来自于国家、省市级以及工业界的科研项目。李镇博士领导了港中深的Deep Bit Lab（https://mypage.cuhk.edu.cn/academics/lizhen/），其主要的研究方向是3D视觉解析及应用 (包括但不限于点云解析，多模态联合解析)，深度学习等基础理论算法研究，并致力于将2D/ 3D人工智能算法推广应用于交叉学科，自动驾驶，工业视觉等场景中，在该方向著名国际期刊和会议发表论文60余篇，包括 顶级期刊Cell Systems, Nature Communications, T-PAMI, IJCV, TMI, TVCG, TNNLS等，以及顶级会议CVPR, ICCV, ECCV, NeurIPS, ICLR, IROS, ACM MM, AAAI, IJCAI, MICCAI等。李镇博士担任IEEE Transactions on Mobile Computing、IROS副编、IC LR2024 AC以及众多顶刊顶会的审稿人，李镇博士还是广东院士联合会脑科学与类脑智能专委委员，VALSE、MICS、中国图象图形学学会机器视觉专委会，3DV专委会等学术组织的委员。

报告题目：《多模态点云增强解析及多模态大模型增强的开放场景感知》

在自动驾驶应用中，准确识别车道线及占据预测是实现高级驾驶辅助系统(ADAS)和全自动驾驶的关键基础任务。由于相机价格低廉且能采集密集视觉信息等优势，基于视觉的3D车道线感知成为了研究的热点课题。我们首先介绍借助Transformer中的注意力机制及动态路面更新的创新LATR模型，取得了最优的单目3D车道线检测性能。另一方面，尽管激光雷达的应用成本较高，但它能够提供准确的3D位置结构信息，也在逐步被一些车企采用且在未来随着成本的降低也将会更广泛地部署到车端。为了探究拥有互补信息的点云数据与图像信息，我们设计了多模态车道线检测方案，即DV-3DLane模型，其通过在透视和俯视空间分别融合图像和激光雷达点云特征，大幅提升了3D车道线检测的定位精度，验证了端到端多模态模型设计在3D车道线检测下的可行性与有效性。进一步，我们介绍基于实际模型的3D及4D占据增强预测。同样地，我们进一步介绍多模态点云增强解析，并将其应用到室外自动驾驶的占据预测及开放场景的室内视觉定位任务。

朱庆福

哈尔滨工业大学计算学部助理教授

朱庆福，哈尔滨工业大学助理教授，美国加州大学圣塔芭芭拉分校联合培养博士。主要研究方向为自然语言处理和代码生成。在自然语言处理领域发表论文多篇，包括国际顶级会议ACL、AAAI、EMNLP等。主持及参与国家自然科学基金项目、科技创新2030-“新一代人工智能”重大项目多项。

报告题目：《语言与代码的良性循环：代码大模型》

代码大模型与语言大模型密切关联又有所差异。关联性主要体现在前者由后者演化而来，理解这些联系有助于快速建立起对代码大模型的初步认识。差异性主要体现在代码大模型为充分利用代码独有的一些特性，发展出了一些定制化的技术路线，掌握这些差异有助于深入洞察代码大模型背后的设计动机。本报告介绍了代码大模型相关工作，旨在分析代码大模型从语言大模型中诞生、面向代码特性演化、最终又服务于通用语言任务的正向反馈流程。

聂晓伟

中国科学院青藏高原研究所研究员

聂晓伟，男，1979年生，中国科学院青藏高原研究所研究员，西藏大学教授、博士生导师，国家青藏高原科学数据中心西藏分中心主任。主要研究方向为：数据驱动下的SDG生态系统服务实现。承担国家和省部级各类项目10余项，近五年出版专著3部、发表SCI论文20余篇，围绕“一带一路”科技合作、青藏高原生态保护、疫情预测、冰冻圈生态保护等方面，作为主笔撰写政策研究报告20余篇，近10次获得领导批示、产出生态环境监测、极端环境数据监测等专利。

报告题目：《空天地一体化仿生视觉监测技术研究》

针对传统监测设备监控对象和要素单一化、依赖进口的问题，根据空天地一体化监测综合了遥感、无人机、地表的各自优势，采取仿生眼技术，实现综合、高精度监测，能够“看的清”、“看的远”、更能“看的准”。该技术在以青藏高原极端条件下得到应用，在拉萨河流域、国家级自然保护区拉鲁湿地、雅江流域开展生态和生物多样性监测和评估，依托国家青藏高原科学数据中心生成数据产品。为重大工程、生态旅游、应急监测提供支撑。