CNCC | 具身智能与通用操作：人造人还有多远？

孙富春

清华大学计算机科学与技术系教授、博士生导师

简介：IEEE/CAAI/CAA Fellow，国家杰出青年基金获得者；兼任清华大学校学术委员会委员，算机科学与技术系长聘教授委员会副主任，清华大学人工智能研究院智能机器人中心主任。兼任中国人工智能学会副理事长，中国自动化学会监事和中国认知科学学会常务理事，中国教育发展战略学会人工智能与机器人教育专委会理事长。

孙富春

清华大学计算机科学与技术系教授、博士生导师

简介：清华大学计算机科学与技术系教授，博士生导师，IEEE/CAAI/CAA Fellow，国家杰出青年基金获得者；兼任清华大学校学术委员会委员，算机科学与技术系长聘教授委员会副主任，清华大学人工智能研究院智能机器人中心主任。兼任中国人工智能学会副理事长，中国自动化学会监事和中国认知科学学会常务理事，中国教育发展战略学会人工智能与机器人教育专委会理事长。兼任国际刊物《Cognitive Computation and Systems》，《AI and Autonomous Systems》主编，《CAAI Artificial Intelligence》执行主编，国际刊物《IEEE Trans. on Fuzzy Systems》和《International Journal of Control, Automation, and Systems (IJCAS)》副主编或领域主编，刊物《Robots and Autonomous Systems》和《International Journal of Social Robots》编委。

报告题目：具身智能与康复假肢的研究进展

摘要 ：如何使断肢残疾人拥有与人手一样的感知和行为能力一直是学术界和工业界探讨的热点问题。本报告首先以“假肢如何获得像人一样感知能力”为题，研究了康复假肢的具身感知问题，讨论了如何构建虚实一体数字孪生环境，实现多模态的场景迁移。其次以“触觉传感器如何提高假肢的认知能力和精准操作能力”为题，讨论了康复假肢的具身认知和行为操作问题，包括触觉表征、视触觉联合表征与融合实现操作目标物体特性、形态识别，以及操作技能的学习问题。接着，介绍了假肢的人机共融交互操作、多类触觉刺激方法以及假肢在断肢患者中的应用在残疾人康复中的应用。最后展望了康复假肢的未来发展。

卢策吾

上海交通大学教授

简介：长江学者特聘教授，科学探索奖获得者。2016年获海外高层次青年引进人才，2018年被《麻省理工科技评论》评为35位35岁以下中国科技精英（MIT TR35），2019年获求是杰出青年学者，2020年获上海市科技进步特等奖（第三完成人），2022年获教育部青年科学奖，2024年获国际机器人顶会IROS最佳论文之一（6/3579），同年获国际机器人顶会ICRA最佳论文（Open X Embodiment）。2023年获机器人顶会RSS最佳系统论文提名奖（共四项），并获得科学探索奖。以通讯作者或第一作者在《自然》、《自然·机器智能》、TPAMI、T-RO等高水平期刊和会议发表论文100多篇；担任《Science》正刊、Nature子刊、Cell子刊等期刊审稿人，以及NeurIPS、CVPR、ICCV、ECCV、IROS、ICRA等领域会议的主席。研究兴趣包括具身智能、计算机视觉。

报告题目：具身智能操作Scaling Law与解决方案探讨

摘要 ：该讲座围绕具身操作的Scaling Law展开，介绍当前具身操作Scaling Law遇到的瓶颈与思考。从空间不确定性与数据稀缺的矛盾出发，提出物理操作大模型与力-位混合大模型的两级联合训练以降低空间不确定性（对应PIE方案）的可能解决方案。在物理操作大模型上（对应P与I模块），阐述手操作的空间语义解析如何获取海量物体操作知识数据，并介绍自研仿真系统RFuniverse如何在虚拟与真实孪生学习中提高整体世界理解性能。在力-位混合操作模型上（对应E模块），介绍力-位混合模型的设计思路与应用，以及数据采集系统（力反馈遥操作系统，外骨骼数据收集系统），和数据集RH20T。

王鹤

北京大学前沿计算研究中心助理教授

简介：他创立并领导了北大具身感知与交互实验室(EPIC Lab，主页：https://hughw19.github.io)，研究目标是通过研发具身泛化技能及具身多模态大模型推进通用机器人的发展。他担任北大-银河通用具身智能联合实验室主任，智源学者。他已在计算机视觉、机器人学和人工智能的顶级会议和期刊 （CVPR/ICCV/ECCV/TRO/RAL/ICRA/NeurIPS/ICLR/AAAI等）上发表五十余篇工作，其论文获得ICCV2023最佳论文候选，ICRA2023最佳操纵论文候选，2022年世界人工智能大会青年优秀论文（WAICYOP）奖，Eurographics 2019最佳论文提名奖。他获得英特尔中国学术英才计划荣誉学者称号。他担任CVPR和WACV的领域主席，Image and Vision Computing的副主编和诸多顶会的审稿人、程序委员。在加入北京大学之前，他于2021年从斯坦福大学获得博士学位，师从美国三院院士Leonidas. J Guibas教授，于2014年从清华大学获得学士学位。

报告题目：面向通用机器人的具身多模态大模型系统

摘要 ：通用机器人是具有任务和环境通用属性和革命性意义的下一代机器人。本报告将讨论通过具身多模态大模型系统融合视觉语言等模态可以直接对高度泛化通用的物理任务输出动作的解决方案。报告将介绍由本体和数据构成基石层、大脑和小脑构成能力层的具身多模态大模型系统方案。对于本体和数据，我们将对人形机器人的形态进行探讨，提供硬件的发展思路和基于合成大数据的泛化训练数据获取途径。对于能力层，我们完全通过合成数据和Sim2Real实现了多个泛化的移动和操作技能，包括二指和灵巧抓取、铰接类物体操作、柔性物体操作、端到端视觉语言导航大模型等等，这些构成了小脑。而对于大脑，我们将展示GPT-4V为代表的非具身多模态大模型进行视觉感知、任务规划和调用中层的三维视觉技能，实现从家用电器泛化操作到开放指令物体摆放的能力。最后，报告将展望通用机器人的未来，讨论其中的机会和挑战。

弋力

清华大学交叉信息研究院助理教授

简介：他在斯坦福大学取得博士学位，导师为美国三院院士Leonidas J. Guibas教授，毕业后在谷歌研究院任研究科学家。他近期的研究聚焦于三维视觉与具身智能，他的研究目标是赋予机器人理解并与三维世界交互的能力。他在计算机顶级会议期刊上已发表论文六十余篇，引用数两万余次，代表作品包括ShapeNet Part，SyncSpecCNN，PointNet++等，大大影响了三维深度学习这一领域的出现与发展。此外他还曾担任CVPR、IJCAI、NeurIPS等顶会的领域主席与SIGGRAPH TPC等。

报告题目：基于人类行为仿真的可泛化人机协作