点击下方
卡片
,关注
「3D视觉工坊」
公众号
选择
星标
,干货第一时间送达
来源:具身智能之心
添加小助理:cv3d001,备注:方向+学校/公司+昵称,拉你入群。文末附3D视觉行业细分群。
扫描下方二维码,加入「
3D视觉从入门到精通
」知识星球
,星球内凝聚了众多3D视觉实战问题,以及各个模块的学习资料:
近20门秘制视频课程
、
最新顶会论文
、计算机视觉书籍
、
优质3D视觉算法源码
等。想要入门3D视觉、做项目、搞科研,欢迎扫码加入!
在具身智能(Embodied AI)领域,机器人不仅需要“看得见、听得到”,还必须具备理解复杂任务的能力,并能在现实世界中执行精准且高效的操作。为实现这一目标,具身智能平台至关重要,它提供了集成感知、决策和执行的统一框架,结合高质量的仿真与真实设备的无缝衔接,加速了机器人研究从开发测试到实际部署的全过程。
近年来,具身智能领域发展迅猛,出现了许多高质量的平台。然而,当前的仿真平台在多层次技术集成、模块化与即插即用性、仿真到现实的高效迁移,以及硬件扩展的灵活性方面仍面临诸多挑战。为应对这些挑战,来自重庆大学、上海人工智能实验室和西交利物浦大学的学者们发布了基于 PyBullet 的具身智能软硬件平台 BestMan。该平台专为移动机械臂设计,集成了感知、规划、控制等关键技术层次,并通过统一的API接口有效打通仿真与硬件的障碍,使算法开发者能够高效地将算法从虚拟仿真迁移到真实环境,增强了算法在异构真实设备间的高效迁移能力。
BestMan平台有四大核心特点:
01 多层次技术集成
BestMan平台采用集成的技能架构,涵盖从环境感知、任务规划到运动规划与控制执行的全流程技术。该架构的优势在于将复杂的多层次技术问题整合在一个平台中,减少了开发人员在不同层次之间切换和协调的困难。例如,移动机械臂在厨房环境中执行自然语言指令任务时,可以通过感知模块识别交互对象和操作位置,在任务规划模块中自动生成行动步骤,并最终通过运动规划和控制模块完成整个动作过程。
图1:BestMan架构图
02 模块化设计,灵活扩展能力
BestMan平台采用模块化设计,使每个功能组件独立且易于替换或扩展。例如,导航模块支持从本地规划(如DWA算法)到全局规划(如A*算法)的多种实现,确保机器人能够在不同的家庭环境中进行路径规划和避障,无论是处理静态还是动态场景,都可以通过其模块化设计灵活调整应对策略。此外,平台中的“抓取姿态估计”模块默认采用高效的AnyGrasp算法,开发者可以根据具体的机器人任务场景轻松替换成其他算法,甚至开发全新的算法。
同时,每个模块的实现都提供了模板,不同算法实现以独立的Python类形式封装。这种灵活的模块化结构减少了修改或扩展功能时的耦合问题,确保开发者能够根据具体的研究需求,快速熟悉并定制和调整平台功能。同时,平台对规划(Planning)和学习(Learning)方法具有良好的扩展性,便于用户在基础版本上轻松开发特定模块。
03 统一的仿真与硬件接口,打通现实与虚拟的屏障
在机器人开发过程中,算法从仿真环境迁移到真实硬件时,往往面临巨大的兼容性和复杂性问题,例如硬件接口和设备驱动的差异。BestMan平台通过提供统一的API接口,在很大程度上降低了迁移难度。无论是在PyBullet仿真环境中,还是在真实机器人硬件上,开发者都可以使用一致的高层次指令来控制机器人。
例如,命令“move_forward()”在仿真环境中可能使用PID控制器,而在真实机器人上则调用硬件厂商提供的电机控制接口。这种抽象化的API设计,不仅减少了算法从仿真到硬件的迁移工作量,还大大降低了硬件开发的复杂度,使BestMan成为研究仿真到现实无缝对接的高效工具。
图2:BestMan平台实现了仿真与硬件接口的统一
04 软硬件解耦,灵活适应多种配置
为应对硬件多样性问题,平台对软硬件进行了深度解耦,硬件层次不与软件层次紧密绑定。无论是在仿真环境还是在真实硬件上,平台都支持移动底座、机械臂和末端执行器等组件的模块化配置,支持多种组合方式,并且允许轻松扩展。无论是多自由度机械臂,还是轮式或足式机器人,BestMan都提供了便于扩展的接口,实现跨平台的广泛应用。
图3:BestMan平台支持软硬件解耦,灵活适应多种配置
我们还为初次使用者提供了大量代码示例,方便上手。除了以上四大特点,我们对平台进行了多处精心设计。例如,Pybullet引擎在渲染效果方面一直备受诟病,因此我们的平台支持后续通过Blender一键渲染。尽管我们已经提供了丰富的资产库,用户仍可以根据现实场景创建相应的资产,这种操作非常有利于规划(planning)和学习(learning)算法的开发。我们还提供了URDFormer和ACDC等前沿数字孪生算法,使用户能够轻松创建数字资产并将其集成到BestMan平台。
图4:BestMan平台提供丰富的数字资产
我们还提供了一些相关的Demo片段。
对于机器人研究者和开发人员来说,BestMan极大降低了开发门槛,使复杂的多层次技术系统能够在一个统一的平台上得到协调与实现。BestMan项目的命名源自英文中的“伴郎”,象征着我们希望机器人能成为人类最佳助手的愿景,始终陪伴和支持人类。对于希望将研究应用于真实场景的开发者,BestMan提供了仿真与硬件的快速对接能力,为高效开发、验证和部署机器人系统提供了全面支持。值得注意的是,BestMan平台已被中美多所高校团队使用。我们欢迎对具身智能技术感兴趣的研究者与开发人员使用BestMan平台,共同推动平台的优质发展。
参考文献:
Yang, Kui, et al. "BestMan: A Modular Mobile Manipulator Platform for Embodied AI with Unified Simulation-Hardware APIs." arXiv preprint arXiv:2410.13407 (2024).