3月19日，英伟达CEO黄仁勋在GTC 2024的主题演讲《见证AI的变革时刻》中，发布一系列突破性的重磅技术，其中包括
最强AI芯片Blackwell构架的B200 GPU，“Project GR00T”全球首款人形机器人通用模型，人形机器人Jetson Thor计算平台以及用于端到端部署机器人的NVIDIA Isaac平台
等。
GTC 2024黄仁勋演讲16分钟熟肉版
两个小时的演讲，让我们似乎看到了通往AGI的大门正在开启，人形机器人智能化“奇点”已经到来。
▍
全新Blackwell GPU构架 较上一代提升2.5倍
Nvidia全新Blackwell GPU以数学家David Blackwell命名，接替了两年前发布的Hopper。Blackwell GPU平台包含两个芯片，通过每秒10 TB的芯片到芯片链路连接成单个统一的GPU，这意味着每一方都可以像 "两个芯片认为是一个芯片 "一样工作。它
拥有 2080亿个晶体管，超过Hopper晶体管数量的2.5倍
，采用
台积电定制的4NP工艺制造，它拥有8TB/S的内存带宽和20 pentaFLOPS 的人工智能性能
。
左侧新一代Blackwell GPU 右侧上一代Hopper GPU
全新的BlackwellGPU，
支持第二代Transformer引擎、第五代NVLink等六项革命性技术，可提供多达10万亿个参数的模型进行人工智能训练和LLM推断
。亚马逊、谷歌、Meta、微软和OpenAI正在计划采用 Blackwell。
▍
当GR00T接入大语言模型 人形机器人有了语言理解和思考能力
黄仁勋表示：“机器人的 ChatGPT 时刻可能即将到来。”
人形机器人将不再受限于预编程的命令，而是能够通过自主学习来理解和响应人类的需求。而这项技能的雏形，我们已在Figure 01身上得到验证。通过观察理解人类行为，进行几个小时的模型训练，人形机器人便能掌握新技能。
GR00T模型训练流程
GR00T项目是人形机器人的通用多模态基础模型，可充当机器人的大脑，使人形机器人能够接收并处理文本、语音、视频乃至现场演示等多种形式的输入，包括理解自然语言、模拟人类行为、在现实世界中导航和交互。
Isaac Lab训练与OSMO调试参与
机器人学习与拓展开发流程
GR00T模型使机器人能够通过观察少量的人类动作示范来学习，从而在日常任务中提供帮助，甚至可以通过观察我们来模仿人类的动作。这得益于NVIDIA的技术，它可以从视频中解析人类的行为，在模拟环境中训练模型，并最终将这些模型直接部署到真实的机器人中。
此前Figure 01语音交互新技能就来源于Open AI提供的大语言模型嵌入技术
如果将GR00T接入大语言模型，开发人员甚至可以让它根据自然语言指令生成相应动作
，最近更新的Figure 01灵巧手操作视频就是GR00T接入大语言模型的成果。通过自然语言进行指令生成
的方式极大降低人形机器人部署难度。
这套智能化设备由人形机器人Jetson Thor计算平台进行驱动，借助Isaac实验室、Osmo 和GR00T，NVIDIA构建了用于下一代 AI 驱动机器人的底层设施。
现场黄仁勋展示多台以GR00T驱动的人形机器人
现场，黄仁勋展示了多台以GR00T驱动的人形机器人，包括Boston Dynamics Atlas V6、Agility Robot Digit、Figure AI 01、Apptronik Apollo、1X Technologies NEO robot、傅利叶智能GR-1、宇树Unitree H1 3.0、小鹏鹏行-PX5等。
▍
人形机器人Jetson Thor计算平台曝光
Jetson Thor是Nvidia为人形机器人打造的全新计算平台，它能够执行复杂的计算任务，并提供安全且自然的人机交互状态
。其采用模块化架构设计，并在整体性能、功耗以及尺寸方面进行了全面优化。
Jetson Thor计算平台提供800 teraflops的人工智能性能
Jetson Thor运行基于Blackwell的GPU，可在8位数据处理中提供800 teraflops的人工智能性能，用于运行GR00T 等多模态生成式人工智能模型。
它集成了功能安全处理器、高性能CPU集群和100GB以太网带宽，大大简化了设计和集成工作。
▍
NVIDIA Isaac平台更新
NVIDIA Isaac是此前发布专为开发人员打造功能强大的端到端平台，用于开发、模拟和部署人工智能驱动的机器人。
借助基于Isaac Sim的Isaac Lab平台，开发者能够在GPU加速的虚拟环境中并行进行仿真测试与模型训练。同时，通过OSMO计算协调服务在Nvidia DGX和Nvidia OVX上有效管理训练和仿真工作负载，从而确保整体流程的高效与稳定。
此外，Isaac 机器人平台还推出了两款针对具体应用的产品--Isaac Manipulator 和 Isaac Perceptor。
Isaac Manipulator 简化了端到端工作流程
Isaac Manipulator提供了GPU加速库和专用基础模型，帮助机械臂制造商利用最先进的运动和灵巧性改进其产品。
它包括用于检测物体、预估物体的 6D 姿态、跟踪物体，甚至进行抓取物体的密集预测的模型。
NVIDIA Isaac Perceptor
3D
环绕感知视觉系统
另一方面，
Perceptor通过基于人工智能的3D感知和环绕视觉加速算法，利用多摄像头、360度视觉功能，承担起引导机器人穿越非结构化环境的任务。
Nvidia 通过其 Nova Orin DevKit 提供该技术，并已与包括 ArcBest、比亚迪和 KION Group 在内的多家合作伙伴合作，帮助他们推进自主移动机器人在制造和履行方面的功能。
全新的Isaac平台预计2024年第二季度正式开放，而GR00T项目处于早期阶段，Nvidia 正在接受申请
，以便让更多的人形机器人开发者获得这项技术，NVIDIA并未公布具体发布时间。
彩蛋：
本次2024 NVIDIA GTC现场黄仁勋在舞台上与瓦力机器人展开互动。
瓦力机器人通过Isaac Sim机器人仿真器学习走路
据了解，
这是迪士尼研究中心搭载英伟达Jetson嵌入式系统的机器人，该机器人使用英伟达的Isaac Sim机器人仿真器学习走路。
看到它惟妙惟肖表情的时候，你是否认为AGI机器人时代是否真的到来了呢？
来源 | AI机器人时代
