点击上方蓝字
CG世界
关注我们
再点右上角···设为
星标★
当你以为Houdini依然走在最前沿,还原真实物理世界还得
Houdini的时候,殊不知已经悄悄的变天啦!
最近
由学术界的半壁江山:清华、北大、港大、CMU、马里兰、哥伦比亚、斯坦福、MIT
以及产业界
英伟达、太极图形,MIT-IBM Watson AI Lab的联合助阵打造了一款生成式物理引擎
Genes
is!
Genes
is
它可
以一句话生成完整精确的模拟物理世界,
而且开源!
Genesis是一个全面的物理模拟平台,专为通用机器人、具身AI和物理AI应用而设计。它同时具有多
种属性:
-
它是一个从头开始重建的通用物理引擎,能够模拟各种材料和物理现象。
-
它是一个轻量级、超快速、Python化和用户友好的机器人仿真平台。
-
它是一个强大而快速的照片级写实渲染系统。
-
它是一个生成式数据
引擎,可将用
户提示的自然语言描述转换为各种数据模式
。
↓推广↓
它的的物理引擎用纯Python代码开发,同时比现有的GPU加速堆栈(如英伟达Isaac Gym和开源的MJX)快10-80倍。它提供的模拟速度比现实世界快约43万倍,这意味着开发者可以加速进行物理模拟,大大的缩短开发周期。
Genesis与常用的基于CPU和GPU的机器人模拟器的速度比较。
除此之外,它还有强大的训练能力,只需26秒即可在单个RTX4090上训练能转移到真实机器人的运动策略。重要的是,提高的速度并不会影响仿真精度!
Genesis从头开始实现了一个统一的模拟框架,
集成了大量最先进的物理求解器,允许在虚拟领域中以最高的真实感模拟整个物理世界
。
Genesis支持模拟各种物理现象,包括但不限于刚体、关节体、布料、液体、烟雾、可变形体、以及机器人肌肉等。
接下来,我们就一块看看示例!别可着小编一个人目瞪口呆!
Genesis的物理引擎基于VLM的生成式智能体提供支持,此智能体使用模拟基础设施提供的API作为工具来创建4D动态世界,然后将其用作提取各种模式数据的基础数据源。
结合生成相机和物体运动的模块,Genesis能够生成物理上精确且视图一致的视频和其他形式的数据。
模拟一层巧克力酱
模拟绞碎泡沫
如图所示,许多复杂的动作和效果都可以通过提示词来快速生成,从示例中看的出来Genesis将物理世界的规则理解的很好!
提示:手持棍棒的迷你版悟空在桌面上飞奔3秒,然后跳到空中,落地时右臂向下摆动。镜头从他的脸部特写开始,然后稳定地跟随角色,同时逐渐缩小。当猴子跳到空中时,在跳跃的最高点,动作暂停几秒钟。镜头围绕角色360度旋转,然后缓慢上升,继续动作。
Genesis使用智能机器人和模拟物理环境来自动创造各种情境下机器人的操作方法和动作例子。这样,科学家们可以在一个仿真的世界里迅速得到遵循真实物理规则的机器人活动模式,并且这些模式可以有效地应用到实际的机器人身上。
下面展示了一些不同形态的机器人执行不同任务的示例。
一个移动的Franka机械臂使用碗和微波炉做爆米花
移动式franka机械臂将地板上的所有物品都扔进篮子里
由24(4x6)架无人机组成的机队一起从地面起飞并一起进行翻转
Unitree Go2 四足机器人在雨中奔跑 (模拟)
Unitree H1人形机器人单脚跳跃
Unitree H1-2人形机器人向前行走
四足机器狗双重后空翻
四足机器人用前两条腿做倒立 (Sim2Real)
家庭室内场景,有客厅(包括用餐区)、卫生间、书房和卧室
餐厅内部
生成开放世界中铰接物体的mesh资产,已经超过了人工标注的结果,更多的细节将在后续的论文发布时一并公开。
Genesis还是首个为软肌肉和软机器人及其与刚性机器人的交互提供全面支持的平台。不光可以模拟各种刚性物体,针对软性的机器人也能够实现逼真的模拟。
蠕虫
柔软的抓手操纵盒子并拿起笔帽
软皮肤和刚性骨骼的混合机器人
Genesis 还支持生成带有语音同时还能在面部表情不断变化的同时,保持口型与说话内容的匹配,实现更丰富的仿真体验。