专栏名称: 机器人大讲堂
机器人大讲堂是立德共创服务平台旗下引领行业发展的新媒体平台,已举办多种形式系列活动近百场,行业媒体矩阵垂直粉丝20万余人;立德研究院承接智库咨询和科研项目;立德孵化基于顶尖专家优势形成早期高技术成果产业化。
51好读  ›  专栏  ›  机器人大讲堂

科比、C罗、詹姆斯附体!宇树G1模仿,英伟达等全开源,四华人共同一作

机器人大讲堂  · 公众号  ·  · 2025-02-07 17:23

正文

宇树人形机器人的"运动细胞"也太丰富了!前脚H1还在春晚上扭得风生水起:



后脚G1就上演了一出“体坛巨星模仿秀”。 科比附体: 后仰跳投时,机器人精准控制重心,起跳、投篮一气呵成,落地平稳:



C罗招牌: 进球后腾空半转身:



双臂张开完成标志性“siu”庆祝动作,关节协调性堪比真人:


詹姆斯霸王步: 胯下运球后迈出霸气步伐,动作连贯无卡顿;



甚至能完成1.5米立定跳远、侧边跳跃、踢腿等高难度动作。



更让人惊艳的是,视频里这些动作都不是加速播放的效果。英伟达高级研究科学家Jim Fan 还特意把视频放慢 ,就是要让大家看清楚每个动作有多流畅自然。


这波操作的背后,是 英伟达和CMU(卡内基梅隆大学) 研究团队最新发布的 ASAP框架 。它 让宇树G1机器人一举突破了困扰业界多年的"模拟到现实"鸿沟,实现了前所未有的运动控制效果。


而且ASAP的 论文和代码都开源了 。网友连夜送上表情包套餐:

@洛杉矶四点半:“现在机器人能一周7天/每天25小时训练,人类的黑曼巴精神算什么?“


@帅罗忠实铁粉:“能不能过几年来个机器人版 梅罗合体5v5足球赛,或者詹杜库组一队来一把3v3篮球赛,等他们退役以后还可以看到机器人版对决。”

@帅清风盘点:“机器人上场了打架能拉开吗?”

给物理引擎打补丁:ASAP如何跨越“模拟现实”鸿沟


让机器人模仿人类动作,说起来容易做起来难。


最大的挑战在于,在电脑里训练得再好的机器人,到了真实世界往往就"水土不服"了。业内把这个问题称为" sim2real gap "(模拟到现实的差距)。


简单说,就是电脑里模拟的物理环境再精细,也很难完美复制现实世界的复杂动力学特性。这就像你在游戏里练得再溜,到了真实赛场上还是要重新适应。



传统解决方案,比如系统辨识(SysID)和域随机化(DR),要么需要耗费大量人力调参,要么会让机器人动作变得过于保守。


ASAP(Aligning Simulation and Real Physics)框架提供了一个巧妙的解决方案。它采用" real2sim2real "(真实-仿真-真实)方法:


首先把训练好的策略部署到真实机器人上收集数据,然后在仿真环境中重放这些动作。虽然重放时会有偏差,但这些偏差恰恰反映出了仿真与现实的差异。


关键的是,研究团队用 神经网络 学习这些差异,本质上是给传统物理引擎打了个" 现实补丁 ",让仿真环境更贴近真实世界。


两阶段四步流程:从视频到真实动作的迁移


ASAP框架分为两大阶段。 第一阶段 是在模拟环境中,利用调整过的人类运动数据预训练运动跟踪策略。



进入 第二阶段 ,这些策略被移至真实世界应用,同时收集真实数据来训练一个“残差”动作模型,旨在缩小模拟与真实物理动态间的差距。随后,ASAP将预训练策略与残差动作模型结合,并在模拟器中进一步微调,以确保与真实物理动态的更好对齐。


具体流程包含四步:首先,进行运动跟踪预训练与真实轨迹收集 ,即将人类视频中的运动数据转化为类人机器人动作,在模拟环境中预训练多个跟踪策略,并生成真实世界的运动轨迹。


其次,训练差异动作模型 ,基于真实数据,通过最小化模拟状态与真实状态间的差距进行优化。



接着,进行策略微调 ,固定差异动作模型并将其融入模拟器,调整模拟与真实物理的匹配度,随后微调先前训练的跟踪策略。


最后,将微调后的策略直接部署到真实世界 ,此时无需差异动作模型。


三重考验:从简单到困难的真实性测试


为了验证ASAP的有效性,研究团队设计了 三个难度递增的测试场景。


第一个是从IsaacGym到IsaacSim的迁移 。这两个都是NVIDIA的物理模拟器,使用相似的物理引擎。这就像在"同一个考场"换道题,主要用来验证ASAP的基础可靠性。


实验数据显示,ASAP在所有动作长度上都优于基线方法。特别是在长时间动作序列中,它保持了稳定的表现,而传统方法则会出现累积误差。具体来说,ASAP实现了更低的Eg-mpjpe和Empjpe值。


第二个考验是从IsaacGym到Genesis的迁移 。Genesis使用不同的物理引擎,这就像是换了一个"考试系统"。在这个更具挑战性的场景中,ASAP依然表现出色。在Genesis中,它实现了Eg-mpjpe=129和Empjpe=77.0的优秀成绩,大幅领先于其他方法。



下图的可视化比较显示,ASAP相比未经微调的强化学习策略,更能适应新动力学环境并保持稳定跟踪,而基线方法则累积误差导致跟踪下降。这突显了ASAP在解决仿真到现实差距上的鲁棒性和适应性,验证了其作为提高闭环性能和确保现实场景可靠部署的有效范式。



最后是最难的考验:从模拟环境到真实的宇树G1机器人 。这里面临着传感器噪声、建模误差、执行器差异等多重挑战。即便如此,ASAP仍然成功让机器人完成了包括科比后仰跳投、C罗庆祝动作在内的多个高难度动作。


ASAP在两个运动跟踪任务(踢腿和「Silencer」)中与Vanilla基线比较,结果显示ASAP在缩小仿真到现实差距上表现更佳,特别是在关键指标上显著降低了跟踪误差,证明了其在提升人形机器人运动跟踪迁移能力上的有效性。



华人团队在世界舞台大放异彩


让人眼前一亮的是,这项突破性研究背后站着一支年轻的华人团队。 18位作者中绝大多数都是华人面孔。


论文共同一作有四位:何泰然、高嘉伟、Wenli Xiao和张远航。


何泰然是上海交大计算机系校友,现为卡内基梅隆大学机器人研究所二年级博士生,同时也是英伟达GEAR团队成员。在加入这个项目前,他在微软亚洲研究院工作过一段时间。


高嘉伟目前就读于CMU,曾获得清华大学学士学位。他曾与Gao Huang教授、Jiangmiao Pang博士、Guanya Shi教授合作,参与强化学习算法及其在机器人领域应用的相关项目。

Wenli Xiao是卡内基梅隆大学机器人研究所(MSR)的硕士生,毕业于香港中文大学(深圳),目前在英伟达GEAR实验室实习,参与人形机器人基础模型研究。


张远航毕业于上海交大,担任过SJTU VEX机器人俱乐部的编程组负责人。现在在CMU机器人研究所攻读硕士学位,专注于人形机器人和空中操控研究。

未来已来:人形机器人奥运会还有多远?


"2030年的人形机器人奥运会一定会是一场盛宴!"Jim Fan对未来充满期待。



通过开源的HumanoidVerse框架,研究团队为整个领域提供了一个 模块化的多仿真器人形机器人学习平台 。它能将仿真器、任务和算法分离模块化,大大降低了不同仿真器和任务之间切换的工作量。


更重要的是,ASAP不仅让机器人能模仿人类动作,更让这些动作变得自然流畅,具有运动员般的美感。


从技术角度看, ASAP还有很大的提升空间 。研究显示,通过优化数据集大小、训练时域和动作范数权重等参数,可以进一步提升开环和闭环性能。特别是在强化学习微调阶段,选择合适的参数能显著降低全局跟踪误差。



这次的研究成果,不仅展示了机器人技术的惊人进展,更让我们看到了中国年轻一代科研工作者在国际舞台上的实力。


Jim Fan说得对:未来属于混合仿真时代。通过将经典物理引擎的精确性与现代神经网络的适应性相结合,我们正在见证人形机器人运动能力的快速发展。而这个未来,正在被一群充满创造力的年轻人一步步带到我们面前。


项目主页:

https://agile.human2humanoid.com/


论文地址:

https://arxiv.org/abs/2502.01143

开源项目:

https://github.com/LeCAR-Lab/ASAP


如需咨询企业合作事宜,欢迎联系堂博士(13810423387,手机与微信同号)进行对接。


----------------END----------------



工业机器人企业

埃斯顿自动化 | 埃夫特机器人 | 节卡机器人 | 珞石机器人 | 法奥机器人 | 非夕科技 | CGXi长广溪智造 | 大族机器人 | 越疆机器人 | 优艾智合机器人 | 阿童木机器人 | 盈连科技 | 松灵机器人

服务与特种机器人企业

亿嘉和 | 晶品特装 | 九号机器人 | 普渡机器人 | 机器姬 | 猎户星空 | 七腾机器人

医疗机器人企业

元化智能 | 天智航 | 思哲睿智能医疗 | 精锋医疗 | 佗道医疗 | 真易达 | 术锐®机器人 | 罗森博特 | 磅客策 | 柏惠维康 | 迪视医疗

人形机器人企业

优必选科技 | 宇树 | 达闼机器人 | 云深处 | 理工华汇 | 傅利叶智能 | 逐际动力 | 乐聚机器人 | 星动纪元 | 天链机器人 | 中科深谷 | 大象机器人 | 伟景机器人 | 众擎机器人 | 开普勒人形机器人 | 数字华夏 | 帕西尼感知

具身智能企业

跨维智能 | 银河通用 | 千寻智能 | 灵心巧手 | 方舟无限 | 微亿智造 | 睿尔曼智能 | 灵巧智能







请到「今天看啥」查看全文