刚刚，AI颠覆物理模拟：一句话精准仿真，学术圈半壁江山联手耗时24个月研究成果

来源：量子位 | 公众号 QbitAI

梦晨 克雷西 发自 凹非寺

AI视频生成这就过时了吗？

刚刚，最先进的 生成式物理引擎Genesis 发布，一句话就可以生成完整精确的模拟物理世界。

一滴水滴落到一个啤酒瓶上，然后沿着瓶子表面慢慢滑落

生成结果可不仅是一个视频，其中还包含物体运动的各种参数。

接下来可以分为三个视角，同时追踪模拟水滴的运动……

对于人物动作，也可以遵循提示词精确模拟。

一个手里拿着棍子的微型悟空在桌子表面冲刺3秒钟，然后跳到空中，并在着陆时向下摆动右臂。
摄像机从他的面部特写开始，然后稳步跟随角色，同时逐渐缩小。

当猴子跳到空中时，在跳跃的最高点，动作会暂停几秒钟……摄像机围绕角色旋转 360 度，然后缓慢上升，然后动作继续。

这是一项涉及20多个组织，为期24个月的大规模合作研究：

学术界， 有清华、北大、港大、CMU、马里兰、哥伦比亚、斯坦福、MIT……说是学术圈半壁江山都参与了也不为过。

产业界， 也有英伟达、太极图形，以及MIT-IBM Watson AI Lab这样的联合实验室助阵。

OpenAI在2月初次演示Sora时，曾称它是“世界的模拟器”。

相比之下，Genesis不仅物理模拟更精确，还同时有更多能力：

• 它是一个从头开始重建的通用物理引擎，能够模拟各种材料和物理现象。

• 它是一个轻量级、超快速、Python化和用户友好的机器人仿真平台。

• 它是一个强大而快速的照片级写实渲染系统。

• 它是一个生成式数据引擎，可将用户提示的自然语言描述转换为各种数据模式。

一句话总结：Genesis是一个全面的物理模拟平台，专为通用机器人、具身AI和物理AI应用而设计。

共同一作、CMU博士生周衔详细介绍了Genesis的各种能力，迅速引起业界轰动。

其中大家格外关注的一点是生成速度。

它提供的模拟速度 比现实世界快约430000倍， 并且只需 26秒 即可在单个RTX4090上训练能转移到真实机器人的运动策略。

据周衔介绍，Genesis的物理引擎用纯Python代码开发，同时比现有的GPU加速堆栈（如英伟达Isaac Gym和开源的MJX）快10-80倍。

同时，速度的提高不会影响仿真精度。

目前，团队正在开源底层物理引擎和模拟平台，对生成式框架的访问将在不久的将来逐步推出。

不得不说，从一句话生成视频到一句话生成物理世界，2024年的进展实在是太快了。

生成4D物理世界

Genesis由从头开始的通用物理引擎提供支持，将各种物理求解器及其耦合集成到统一的框架中。该核心物理引擎通过上层运行的生成Agent框架进一步增强，旨在为机器人及其他领域实现完全自动化的数据生成，包括以下模态：

• 物理准确且空间一致的视频

• 摄像机运动和参数

• 人类和动物角色的动作

• 机器人操作和运动策略，可部署到现实世界

• 完全交互式 3D 场景

• 开放世界铰接式物体生成

• 语音音频、面部动作和表情

  ‍
  

角色运动

关于角色运动，除了开头展示的猴子，作者还一口气放出了三个不同风格角色的运动场景。

一位日本武士正在表演拳击。
一名罗马士兵像僵尸一样向前走。
一名中国风的战士表演江南Style舞蹈。

机器人策略

除了角色的运动，Genesis还可以自主提出机器人任务、设计环境、编写奖励函数，并最终自动生成机器人策略。

移动式franka机械臂将地板上的所有物品都扔进篮子里。

同时支持Sim2Real，把在模拟环境训练好的策略转移到真实硬件机器人中。

一个宇树H1-2人形机器人向前走。

四足机器狗双重后空翻

很可惜还有一个人形机器人单脚跳跃只有模拟演示，因为团队的机器人坏掉了……

宇树H1人形机器人执行单脚跳跃。

另外除了机器人，无人机编队也可以模拟，并呈现出正确的数量关系。

由24（4x6）架无人机组成的机队一起从地面起飞并一起进行翻转。

3D & 全互动场景生成

一个带有客厅（包括用餐空间）、洗手间、书房和卧室的家居室内场景。

互动实体俄罗斯方块游戏。

开放世界铰接式物体

生成开放世界铰接式物体的mesh资产，质量超越了人工注释，更多详细信息将随之后的论文一起公开。

软体机器人

不只是各种刚性物体，Genesis针对软性的机器人也能够实现逼真的模拟。

蠕虫。

柔软的抓手操纵盒子并拿起笔帽。

面部动画和语音

Genesis还能够处理面部动作和表情的生成：

同时还能向其中添加语音，并在面部表情不断变化的同时，保持口型与说话内容的匹配：

文本“ Genesis是一个为通用机器人/嵌入式人工智能/物理人工智能应用而设计的物理平台。” 对应的面部运动和语音，表情从中性过渡到愤怒，再到开心。

代码已开源，pip install

目前Genesis代码已开源，可以直接 pip install genesis-world 安装。

开源代码发布仅几个小时，也迅速在GitHub上揽获1.6k star。

当前版本具体特性如下

• 可在不同的系统（Linux、MacOS、Windows）和不同的计算后端（CPU、Nvidia GPU、AMD GPU、Apple Metal）上原生运行。

• 统一的仿真框架中集成了各种物理求解器：刚体、MPM、SPH、FEM、PBD、稳定流体。

• 支持刚性和铰接体、各种类型的液体、气体现象、可变形对象、薄壳对象和颗粒材料的仿真（和耦合）

• 支持多种机器人：机械臂、腿式机器人、无人机、软体机器人等，并广泛支持加载不同的文件类型：MJCF （.xml）、URDF、.obj、.glb、.ply、.stl 等

• 支持基于原生光线追踪的渲染

• Genesis旨在与可微仿真完全兼容。目前，MPM求解器和Tool求解器是可微的，并且很快将添加其他求解器的可微性（从刚体仿真开始）

• Genesis包含一个基于物理且可微分的触觉传感器仿真模块，将很快集成到公开版本中（预计在 0.2.0 版本）

另外GitHub项目页面介绍，Genesis的目标是构建一个完全透明、用户友好的生态系统，来自机器人和计算机图形学的贡献者可以聚集在一起，共同创建一个高效、逼真（物理和视觉）的虚拟世界，用于机器人研究及其他领域。

此外，Genesis相关论文已进入提交阶段，将于稍后公开。

目前更多细节可参考官方文档。

GitHub：
https://github.com/Genesis-Embodied-AI/Genesis

项目主页：
https://genesis-embodied-ai.github.io

文档：
https://genesis-world.readthedocs.io

参考链接：

[1]https://x.com/zhou_xian_/status/1869511650782658846

阅读报告全文，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库 是“ 欧米伽 未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。 目前拥有超过8000 篇重要资料。 每周更新不少于100篇世界范围最新研究 资料 。 欢迎扫描二维码或访问 https://wx.zsxq.com/group/454854145828 进入。

截止到11月25日 ”未来知识库”精选的100部前沿科技趋势报告

1. Air Street Capital《2024 年人工智能现状报告》

2. 未来今日研究所：2024 技术趋势报告 - 广义计算篇

3. 科睿唯安中国科学院 2024 研究前沿热度指数报告

4. 文本到图像合成：十年回顾

5. 《以人为中心的大型语言模型（LLM）研究综述》

6. 经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版

7. 波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告

8. 理解世界还是预测未来？世界模型的综合综述

9. Google Cloud CSA2024 AI 与安全状况调研报告

10. 英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施

11. 花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告

12. 国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景

13. 国际可再生能源署 IRENA2024 年全球气候行动报告

14. Cell: 物理学和化学 、人工智能知识领域的融合

15. 智次方 2025 中国 5G 产业全景图谱报告

16. 未来今日研究所：2024 技术趋势报告 - 移动性，机器人与无人机篇

17. Deepmind：AI 加速科学创新发现的黄金时代报告

18. PitchBookNVCA2024 年第三季度全球风险投资监测报告

19. 德科 2024 年未来全球劳动力报告

20. 高工咨询 2024 年协作机器人产业发展蓝皮书

21. 国际能源署 IEA2024 年全球能源效率报告

22. 基因慧基因行业蓝皮书 2024 - 2025

23. 普华永道 PwC2024 全球经济犯罪调查英国报告 - 智对风险直面挑战

24. 中国互联网协会 2024 面向未来网络的数字孪生城市场景应用白皮书

25. 中移智库 2024 先进感知新技术及新应用白皮书

26. 智次方研究院 2025 中国 AIoT 产业全景图谱报告

27. 未来今日研究所：2024 技术趋势报告 - 人工智能篇

28. 国际电联：迈向衡量数字经济的通用框架的路线图

29. 联合国粮食与农业组织：2024 年世界粮食安全和营养状况

30. 大语言模型综述

31. 李飞飞等，AI 智能体：探索多模式交互的前景综述

32. 哈尔滨工业大学 - ChatGPT 调研报告

33. 2024《美国核部署战略报告》最新文件

34. 清华大学：AIGC 发展研究 3.0 发布版 b 版

35. OpenAI：2024 年 OpenAI o1 大模型技术报告

36. Verizon2024 年世界支付安全报告

37. 皇家学会哲学学报 从复杂系统角度评估人工智能风险

38. 复旦大学 大模型 AI 代理的兴起和潜力：综述

39. 经合组织 OECD2024 年气候行动监测报告

40. Wevolver2024 年边缘人工智能现状报告 - 探索各行业边缘 AI 应用动态

41. 2024 全球人形机器人产品数据库报告 - 人形机器人洞察研究 BTIResearch

42. 《全球金融稳定报告》 把舵定航 不确定性、人工智能与金融稳定

43. 瑞士洛桑联邦理工学院 《人工智能中的 - 创造力：进展与挑战》

44. 《你所需要知道的理 - 论：人工智能、人类认知与决策》牛津大学最新 53 页报告

45. 世界经济论坛 新兴技术时代的网络弹性导航：应对复杂挑战的协作解决方案 2024