专栏名称: 计算机视觉深度学习和自动驾驶
讨论计算机视觉、深度学习和自动驾驶的技术发展和挑战
目录
相关文章推荐
疯狂区块链  ·  你还没理解“钱的重要性” ·  18 小时前  
疯狂区块链  ·  特斯拉股票还能不能买? ·  昨天  
疯狂区块链  ·  财务自由后你想干什么? ·  2 天前  
白话区块链  ·  以太坊现货ETF持续流入,为何ETH价格却毫 ... ·  2 天前  
51好读  ›  专栏  ›  计算机视觉深度学习和自动驾驶

iGibson 2.0:以目标为中心的模拟,用于机器人学习日常家务

计算机视觉深度学习和自动驾驶  · 公众号  ·  · 2024-10-09 00:41

正文

21年11月来自斯坦福的论文“iGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks”。

通过使用模拟环境来开发和训练机器人学习方法,具身智能的最新研究得到了推动。然而,使用模拟将注意力转移到只需要机器人模拟器可以模拟的任务上:运动和物理接触。iGibson 2.0,是一个开源模拟环境,通过三项关键创新支持模拟更多样化的家务任务。首先,iGibson 2.0 支持目标状态,包括温度、湿度、清洁度以及切换和分片状态,这些状态对于涵盖更广泛的任务必不可少。其次,iGibson 2.0 实现了一组谓词逻辑函数,将模拟器状态映射到逻辑状态,如煮熟或浸泡。此外,给定一个逻辑状态,iGibson 2.0 可以对满足该逻辑状态的有效物理状态进行采样。此功能可以以最小的努力生成潜在的无限任务实例。采样机制使场景能够在语义上有意义的位置更密集地填充小目标。第三,iGibson 2.0 包含一个虚拟现实 (VR) 界面,可让人类沉浸在其场景中以收集演示。因此,可以收集人类对这些新类型任务的演示,并将其用于模仿学习。评估 iGibson 2.0 的新功能,使得机器人能够学习新任务。


如图所示:iGibson 2.0 模拟扩展的状态,研究和开发新任务,比如做饭。状态映射为符号表征,其支持任务新实例的采样。通过一个策略学习的VR接口,开源提供任务的演示。


为了执行家务,智体需要改变物体的状态,而不仅仅是改变其姿势。 iGibson 2.0 扩展了物体的五个附加状态: 温度 T、湿度 w、清洁度(灰尘度 d 或污渍度 s)、切换状态 TS 和分片状态 SS。 虽然这些状态中的一些可能因物体的不同部分而不同,但在 iGibson 2.0 中,简化它们的模拟并采用以物体为中心的表示: 模拟器为每个模拟物体(刚性、柔性或铰接式)维护每个扩展状态的单个值。 这种简化足以模拟真实的家务,例如烹饪或清洁。 假设扩展属性是潜在的: 智体无法直接观察到它们。 因此,iGibson 2.0 实现了一种机制,可以根据物体的潜扩展状态改变其外观(如图所示),以便视觉引导的智体可以从传感器信号中推断出潜状态。

温度

湿度

进一步在 iGibson 2.0 中规定,每个模拟对象都应该是 WordNet 中现有对象类别的实例 [35]。这种语义结构能够将特征与同一类别的所有实例关联起来 [36, 37]。例如,通过注释每个类别需要哪些扩展状态来进一步简化扩展状态的模拟。并非所有对象类别都需要所有五个扩展状态(例如,对于大多数感兴趣的任务,温度对于非食品类别来说不是必需的/相关的)。每个对象类别所需的扩展状态由 WordNet 层次结构中的众包标注程序确定。

清洁度

转换状态







请到「今天看啥」查看全文