专栏名称: NVIDIA企业开发者社区
NVIDIA 英伟达开发者社区是NVIDIA GPU开发者交流平台,通过此平台可第一时间获取NVIDIA GPU 开发相关的新产品、新工具、线上/线下活动的资讯。
目录
相关文章推荐
野球帝  ·  自家长袖T恤!原价69元,福利价49元! ·  20 小时前  
野球帝  ·  清仓价,19元!运动必备发带! ·  昨天  
苏群  ·  国民品牌 "雅鹿" ... ·  2 天前  
野球帝  ·  詹姆斯,你到底还能做到什么? ·  2 天前  
51好读  ›  专栏  ›  NVIDIA企业开发者社区

NVIDIA 将生成式 AI 工具、仿真和感知工作流引入 ROS 开发者生态系统

NVIDIA企业开发者社区  · 公众号  ·  · 2024-10-30 18:38

正文

NVIDIA 在 ROSCon 上发布更新,旨在加速 AI 驱动的机械臂和自主移动机器人的开发。



在丹麦最古老的城市之一、自动化中心欧登塞举行的 ROSCon 上, NVIDIA 及其机器人生态合作伙伴发布了适用于机器人操作系统(ROS)开发者的生成式 AI 工具、仿真和感知工作流。


其中包括供 ROS 开发者部署到 NVIDIA Jetson 边缘 AI 和机器人平台的全新生成式 AI 节点和工作流。借助生成式 AI,机器人能够感知并理解周围环境、与人类自然交流,并自主做出适应性决策。


生成式 AI 进入 ROS 社区


基于 ROS 2 构建的 ReMEmbR 使用生成式 AI 来增强机器人的推理和行动能力。它将大语言模型(LLM)、视觉语言模型(VLM)和检索增强生成相结合,使机器人能够建立并查询长期语义记忆,并提高其导航和与环境交互的能力。


语音识别功能由 WhisperTRT ROS 2 节点提供支持。 该节点使用 NVIDIA TensorRT 对 OpenAI 的 Whisper 模型进行优化,在 NVIDIA Jetson 上实现了低延迟推理,从而实现反应灵敏的人机交互。


具有语音控制功能的 ROS 2 机器人项目使用 NVIDIA Riva ASR-TTS 服务,使机器人能够理解和响应语音命令。NASA 喷气推进实验室单独演示了一个适用于 ROS 的 AI 智能体 ROSA,可在其 Nebula-SPOT 机器人和 NVIDIA Isaac Sim 中的 NVIDIA Nova Carter 机器人上运行。


Canonical 在 ROSCon 上展示了 NanoOWL。通过这个在 NVIDIA Jetson Orin Nano 系统模块上运行的零样本物体检测模型,机器人无需依赖预定义类别,就能实时识别各种物体。


开发者现在就可以开始使用 ROS 2 生成式 AI 节点,它带来了经 NVIDIA Jetson 优化的 LLM 和 VLM,以增强机器人的能力。


通过“以仿真为中心”的方法

改进 ROS 工作流



在部署 AI 机器人之前,仿真对于安全测试和验证 AI 机器人至关重要。 NVIDIA Isaac Sim 是一个基于 OpenUSD 构建的机器人仿真平台,它为 ROS 开发者提供了一个虚拟环境,使开发者可以轻松地将机器人连接到他们的 ROS 软件包来测试机器人。关于使用 Isaac Sim 的 ROS 2 工作流的新版入门指南现已发布,该指南详细讲解了现已可用的机器人仿真和测试的端到端工作流。


作为 NVIDIA 初创加速计划的会员, Foxglove 展示了一个集成,可以帮助开发者使用基于 Isaac Sim 构建的 Foxglove 自定义 扩展程序,实现仿真数据的实时可视化和调试。


Isaac ROS 3.2 的新功能


NVIDIA Isaac ROS 基于开源 ROS 2 软件框架构建而成,是一套用于机器人开发的加速计算软件包和 AI 模型。即将发布的 3.2 版本增强了机器人的感知、操作和环境映射能力。


NVIDIA Isaac Manipulator 的主要改进包括集成了 FoundationPose 和 cuMotion 的新参考工作流,可加速机器人拾放和对象追踪管线的开发。


NVIDIA Isaac Perceptor 也经过了改进,加入了全新的视觉 SLAM 参考工作流、增强型多摄像头检测和 3D 重建功能,可提高自主移动机器人(AMR)在仓库等动态环境中的环境感知能力与性能。


使用 NVIDIA Issac 的合作伙伴



机器人公司正在将 NVIDIA Isaac 加速库和 AI 模型集成到他们的平台中。


  • 优傲机器人 (泰瑞达的子公司) 推出了一个新的 AI 加速器工具包,以开发 AI 驱动的协作机器人应用。

  • Miso Robotics 正在使用 Isaac ROS 加快其 AI 机器人薯条制作机 Flippy Fry Station 的速度,并提高餐饮服务自动化的效率与准确性。

  • Wheel.me 正在与 RGo Robotics 和 NVIDIA 合作,使用 Isaac Perceptor 创建一个 生产就绪型自主移动机器人(AMR)。

  • Main Street Autonomy 正在使用 Isaac Perceptor 来简化传感器校准。

  • 奥比中光 发布了其 Perceptor 开发者套件,这是一个 适用于 Isaac Perceptor 的开箱即用型 AMR 解决方案。

  • 立普思 推出了一款用于改进 AMR 导航能力的多摄像头感知开发套件。

  • Canonical 强调了经过全面认证的 Ubuntu ROS 开发者环境,为 ROS 开发者提供了开箱即用的长期支持。


在 ROSCon 上与合作伙伴交流


ROS 社区成员与合作伙伴(包括 Canonical、Ekumen、Foxglove、Intrinsic、Open Navigation、西门子和泰瑞达)在丹麦举办多场研讨会、讲座、展台演示和会议。重点活动包括:


  • BoF 会议“ Nav2 用户见面会” ,主持人: Steve Mace nski, O pen Navigation LLC

  • ROS 在大规模工厂自动化中的应用 ,主持人: Michael Gentner,宝马公司; Carsten Braunr oth,西门子公司

  • BoF 会议 在机器人操纵工作流中集成 AI ,主持人: Kalyan Vadrevu,NVIDIA

  • BoF 会议 在仿真中加速大规模机器人学习 ,主持人: Markus Wuensch,NVIDIA







请到「今天看啥」查看全文