LLM比机器人要好的地方在于网络上有很多文本图像视频的数据,但是机器人训练需要物理世界的数据就很难轻松获取很多。
Nividia上个月还发布了一个系统DexMimicGen( 网页链接),就是用来生成机器人的训练数据的,DexMimicGen 所做的就是用 GPU 计算时间换取人类时间。
它从人类那里获取一个运动轨迹,并将其乘以 1000 个新轨迹。在这个增强数据集上训练的机器人大脑将在现实世界中更好地概括。
可以将 DexMimicGen 视为学习信号放大器。它使用物理模拟将小数据集映射到大数据集(事实上是无限的)。
Nividia上个月还发布了一个系统DexMimicGen( 网页链接),就是用来生成机器人的训练数据的,DexMimicGen 所做的就是用 GPU 计算时间换取人类时间。
它从人类那里获取一个运动轨迹,并将其乘以 1000 个新轨迹。在这个增强数据集上训练的机器人大脑将在现实世界中更好地概括。
可以将 DexMimicGen 视为学习信号放大器。它使用物理模拟将小数据集映射到大数据集(事实上是无限的)。
也许不久的将来,就会有一个3D数字世界。能完全复刻我们的物理世界!
Jim Fan:东京市发布了整个城市的高分辨率点云 3D 数字孪生模型,可供免费下载。以后越来越多的城市、房屋和工厂将被转移到模拟中,这是一个必然趋势。#ai创造营##ai#
机器人不会单独进行训练。它们将被模拟为“铁舰队”(iron fleet),部署在实时图形引擎中,并扩展到庞大的集群中,以产生下数万亿个高质量的训练令牌。大多数具身智能体将在模拟中诞生,并在准备就绪时将零样本转移到我们的现实世界。它们将共享一个“蜂巢思维”(hive mind),来回发送潜空间嵌入以协调多智能体物理世界任务。
有趣的事实:NVIDIA 的圣克拉拉总部大楼是在 Omniverse(一个 GPU 加速图形平台)中设计和渲染的,然后以原子形式实现。
访问:info.tokyo-digitaltwin.metro.tokyo.lg.jp/3dmodel/
ChatGPT 黄建同学的微博视频
Jim Fan:东京市发布了整个城市的高分辨率点云 3D 数字孪生模型,可供免费下载。以后越来越多的城市、房屋和工厂将被转移到模拟中,这是一个必然趋势。#ai创造营##ai#
机器人不会单独进行训练。它们将被模拟为“铁舰队”(iron fleet),部署在实时图形引擎中,并扩展到庞大的集群中,以产生下数万亿个高质量的训练令牌。大多数具身智能体将在模拟中诞生,并在准备就绪时将零样本转移到我们的现实世界。它们将共享一个“蜂巢思维”(hive mind),来回发送潜空间嵌入以协调多智能体物理世界任务。
有趣的事实:NVIDIA 的圣克拉拉总部大楼是在 Omniverse(一个 GPU 加速图形平台)中设计和渲染的,然后以原子形式实现。
访问:info.tokyo-digitaltwin.metro.tokyo.lg.jp/3dmodel/
ChatGPT 黄建同学的微博视频