NVIDIA 在 ROSCon 上发布更新,旨在加速 AI 驱动的机械臂和自主移动机器人的开发。
在丹麦最古老的城市之一、自动化中心欧登塞举行的 ROSCon 上,
NVIDIA 及其机器人生态合作伙伴发布了适用于机器人操作系统(ROS)开发者的生成式 AI 工具、仿真和感知工作流。
其中包括供 ROS 开发者部署到
NVIDIA Jetson
边缘 AI 和机器人平台的全新生成式 AI 节点和工作流。借助生成式 AI,机器人能够感知并理解周围环境、与人类自然交流,并自主做出适应性决策。
基于 ROS 2 构建的 ReMEmbR 使用生成式 AI 来增强机器人的推理和行动能力。它将大语言模型(LLM)、视觉语言模型(VLM)和检索增强生成相结合,使机器人能够建立并查询长期语义记忆,并提高其导航和与环境交互的能力。
语音识别功能由 WhisperTRT ROS 2 节点提供支持。
该节点使用
NVIDIA TensorRT
对 OpenAI 的 Whisper 模型进行优化,在 NVIDIA Jetson 上实现了低延迟推理,从而实现反应灵敏的人机交互。
具有语音控制功能的 ROS 2 机器人项目使用
NVIDIA Riva ASR-TTS
服务,使机器人能够理解和响应语音命令。NASA 喷气推进实验室单独演示了一个适用于 ROS 的 AI 智能体 ROSA,可在其 Nebula-SPOT 机器人和
NVIDIA Isaac Sim
中的
NVIDIA Nova Carter
机器人上运行。
Canonical 在 ROSCon 上展示了 NanoOWL。通过这个在
NVIDIA Jetson Orin Nano
系统模块上运行的零样本物体检测模型,机器人无需依赖预定义类别,就能实时识别各种物体。
开发者现在就可以开始使用 ROS 2 生成式 AI 节点,它带来了经 NVIDIA Jetson 优化的 LLM 和 VLM,以增强机器人的能力。
在部署 AI 机器人之前,仿真对于安全测试和验证 AI 机器人至关重要。
NVIDIA Isaac Sim 是一个基于 OpenUSD 构建的机器人仿真平台,它为 ROS 开发者提供了一个虚拟环境,使开发者可以轻松地将机器人连接到他们的 ROS 软件包来测试机器人。关于使用 Isaac Sim 的 ROS 2 工作流的新版入门指南现已发布,该指南详细讲解了现已可用的机器人仿真和测试的端到端工作流。
作为 NVIDIA 初创加速计划的会员,
Foxglove 展示了一个集成,可以帮助开发者使用基于 Isaac Sim 构建的
Foxglove 自定义
扩展程序,实现仿真数据的实时可视化和调试。
NVIDIA Isaac ROS 基于开源 ROS 2 软件框架构建而成,是一套用于机器人开发的加速计算软件包和 AI 模型。即将发布的 3.2 版本增强了机器人的感知、操作和环境映射能力。
NVIDIA Isaac Manipulator
的主要改进包括集成了 FoundationPose 和 cuMotion 的新参考工作流,可加速机器人拾放和对象追踪管线的开发。
NVIDIA Isaac Perceptor
也经过了改进,加入了全新的视觉 SLAM 参考工作流、增强型多摄像头检测和 3D 重建功能,可提高自主移动机器人(AMR)在仓库等动态环境中的环境感知能力与性能。
机器人公司正在将 NVIDIA Isaac 加速库和 AI 模型集成到他们的平台中。
-
优傲机器人
(泰瑞达的子公司)
推出了一个新的 AI 加速器工具包,以开发 AI 驱动的协作机器人应用。
-
Miso Robotics
正在使用 Isaac ROS 加快其 AI 机器人薯条制作机 Flippy Fry Station 的速度,并提高餐饮服务自动化的效率与准确性。
-
Wheel.me
正在与 RGo Robotics 和 NVIDIA 合作,使用 Isaac Perceptor
创建一个
生产就绪型自主移动机器人(AMR)。
-
Main Street Autonomy
正在使用 Isaac Perceptor 来简化传感器校准。
-
奥比中光
发布了其
Perceptor 开发者套件,这是一个
适用于 Isaac Perceptor 的开箱即用型 AMR 解决方案。
-
立普思
推出了一款用于改进 AMR 导航能力的多摄像头感知开发套件。
-
Canonical
强调了经过全面认证的 Ubuntu ROS 开发者环境,为 ROS 开发者提供了开箱即用的长期支持。
ROS 社区成员与合作伙伴(包括 Canonical、Ekumen、Foxglove、Intrinsic、Open Navigation、西门子和泰瑞达)在丹麦举办多场研讨会、讲座、展台演示和会议。重点活动包括:
-
BoF 会议“
Nav2 用户见面会”
,主持人:
Steve Mace
nski,
O
pen Navigation LLC
-
ROS 在大规模工厂自动化中的应用
,主持人:
Michael Gentner,宝马公司;
Carsten Braunr
oth,西门子公司
-
BoF 会议
“
在机器人操纵工作流中集成 AI
”
,主持人:
Kalyan Vadrevu,NVIDIA
-
BoF 会议
“
在仿真中加速大规模机器人学习
”
,主持人:
Markus Wuensch,NVIDIA