Jim Fan对如下机器人视频的技术拆解↓
——
让我们对这个演示进行逆向工程。你需要 3 样东西：(1) 将模拟作为强大硬件和电机设计的一部分；(2) 人体运动捕捉(" mocap”) 数据集，例如电影和游戏角色的数据集；(3) 在 GPU 加速模拟中进行大规模并行 RL 训练。
去年 10 月，我们的团队训练了一个 1.5M 参数基础模型，称为 HOVER，用于实现这种敏捷电机控制。大致来说，它遵循以下点：
（1）模拟曾经是事后才想到的。现在，它必须成为硬件设计过程的一部分。如果你的机器人模拟得不好，你就得和强化学习说再见了。硬件模拟协同设计是一个非常有趣的新兴话题，只有在当今的计算能力下才有意义。
(2) 人类动作捕捉数据集可生成自然的步行和跑步步态。这是使用人形机器人的一大优势 - 你可以模仿最初为电影或 AAA 游戏捕捉的大量人类动作。至少有 3 种使用数据的方法：
- 初始化：预先训练神经网络来模仿人类，然后在开启物理原理的情况下对其进行微调以适应机器人的形态；
- 对于奖励函数：惩罚任何偏离目标姿势的行为；
- 对于表征学习：将人体姿势视为“动作先验”来约束机器人行为的空间。
（3）将上述内容放入 Isaac sim，添加大量随机化，通过 PPO 进行泵送，投入大量 GPU，然后观看 Netflix 直到损失收敛。
如果你想评论这是 CGI，那就让我帮你省点力气吧——许多学术实验室现在都拥有真正的 G1 机器人。
#ai创造营##机器人#
ChatGPT 
黄建同学的微博视频
——
让我们对这个演示进行逆向工程。你需要 3 样东西：(1) 将模拟作为强大硬件和电机设计的一部分；(2) 人体运动捕捉(" mocap”) 数据集，例如电影和游戏角色的数据集；(3) 在 GPU 加速模拟中进行大规模并行 RL 训练。
去年 10 月，我们的团队训练了一个 1.5M 参数基础模型，称为 HOVER，用于实现这种敏捷电机控制。大致来说，它遵循以下点：
（1）模拟曾经是事后才想到的。现在，它必须成为硬件设计过程的一部分。如果你的机器人模拟得不好，你就得和强化学习说再见了。硬件模拟协同设计是一个非常有趣的新兴话题，只有在当今的计算能力下才有意义。
(2) 人类动作捕捉数据集可生成自然的步行和跑步步态。这是使用人形机器人的一大优势 - 你可以模仿最初为电影或 AAA 游戏捕捉的大量人类动作。至少有 3 种使用数据的方法：
- 初始化：预先训练神经网络来模仿人类，然后在开启物理原理的情况下对其进行微调以适应机器人的形态；
- 对于奖励函数：惩罚任何偏离目标姿势的行为；
- 对于表征学习：将人体姿势视为“动作先验”来约束机器人行为的空间。
（3）将上述内容放入 Isaac sim，添加大量随机化，通过 PPO 进行泵送，投入大量 GPU，然后观看 Netflix 直到损失收敛。
如果你想评论这是 CGI，那就让我帮你省点力气吧——许多学术实验室现在都拥有真正的 G1 机器人。
#ai创造营##机器人#
ChatGPT 黄建同学的微博视频
