生成式人工智能在机器人操作中的应用：综述

I. 引言

机器人操作在赋予机器与周围环境进行物理交互和修改的能力方面至关重要，这是实现智能自主性的基础步骤。从工厂中组装精密的电子设备到家庭中的辅助护理，机器人操作在显著影响社会的应用中发挥着关键作用[1, 2]。作为机器人学中最重要的问题之一，操作在复杂环境中长期面临重大挑战，尤其是在涉及非平凡交互和复杂长时程决策与规划的场景中[1, 3]。这些挑战阻碍了机器人系统在不同场景中执行可靠且鲁棒的操作任务，留下了巨大的空白。

近年来，数据驱动方法在机器人操作中日益受到重视，这些方法利用大规模数据和机器学习技术，使机器人能够更好地感知、适应和与多样化环境交互。得益于这些爆炸性进展，上述空白已大幅缩小。特别是通过利用生成式学习模型在场景理解、推理、任务规划和策略合成方面的卓越能力，包括操作可变形材料和执行长时程任务序列在内的操作技能已得到展示，而这些技能在之前被认为极其困难。

生成式学习模型作为现代人工智能中最重要的学习模型类别之一，解决了机器人操作中一些先前未解决的挑战，尤其是在抓取任务中。首先，它们生成多样化和高质量数据的能力显著减少了对大量真实世界数据的依赖。通过生成合成的抓取场景和物体变体，这些模型使机器人能够在数据稀缺的环境中高效训练并处理更广泛的物体[4, 5]。其次，它们对高维动作和物体空间的建模能力使机器人能够预测复杂或未见物体的可行抓取配置和轨迹[6, 7, 8]，从而提高了机器人适应新任务和环境的能力，增强了抓取规划的鲁棒性。第三，它们在捕捉物体结构和交互动态的潜在表示学习方面的优势使机器人能够泛化到不同形状、纹理和物理属性的物体[9, 10]，从而在需要精确操作的任务中实现更可靠的性能，即使在非结构化或动态环境中也是如此。这些突破凸显了生成式模型在推动机器人抓取和操作方面的变革潜力。

在本综述中，我们重点关注生成式模型，因为它们有潜力解决操作中长期存在的挑战。生成式模型提供了有前景的解决方案，例如改进场景理解、推理和任务规划，从而有效缓解这些问题。在以下段落中，我们列举了操作中的关键挑战，并讨论了生成式模型克服这些障碍的潜在机制。

A. 现代操作中的主要挑战

首先，数据不足和数据获取效率低下仍然是关键瓶颈。数据驱动方法逐渐成为解决操作问题的主导方法之一。众所周知，诸如强化学习（RL）和模仿学习（IL）等数据驱动方法对数据需求极高，需要大量高质量数据来训练有效模型[11, 12]。收集高质量数据通常需要人工干预或大量的真实世界机器人实验，这些过程耗时且难以大规模扩展[13]。为简化数据生成问题，一些研究者探索了从其他任务或领域迁移学习[14, 15, 16]，以及领域随机化等技术以缓解数据稀缺问题[4]。然而，对高质量、任务特定数据的依赖仍然阻碍了性能和可扩展性。解决这些问题对于释放数据驱动机器人操作的全部潜力至关重要。

生成式模型如Stable Diffusion[17]和大规模预训练语言模型[18]在生成高质量合成图像、视频、注释和奖励信号方面展示了显著能力。这些模型能够创建丰富且多样化的数据集，通过提供可扩展且高效的数据生成管道，显著缓解数据不足问题。合成数据可用于训练和验证机器人操作模型，提升其性能和泛化能力。此外，生成丰富奖励函数的能力通过提供详细反馈并支持复杂环境中的探索，促进了更有效的强化学习。这种对数据和奖励生成的关注为克服数据稀缺和低效数据获取问题奠定了基础，从而推动了机器人操作领域的发展。

其次，长时程任务和复杂任务规划提出了重大挑战。复杂任务，如多步装配操作、杂乱环境中的物体重新排列以及与人类的协作任务[19]，要求机器人规划并执行一系列相互依赖的动作。有效的规划需要复杂的建模技术，并通常假设环境的完全可观测性[20]。然而，在现实场景中，完全观测很少可行，因此需要代理对任务有内在理解，包括因果关系及其动作对环境的影响[9, 21]。传统的确定性模型由于无法充分表示长时程任务中的不确定性和动态交互，难以捕捉这种复杂性[22]。

生成式模型通过将复杂任务分解为可管理的子目标（如链式思维推理[23]），在解决长时程任务规划方面做出了重要贡献。利用语言生成和代码生成的能力，大规模生成式模型帮助机器人通过将复杂动作序列分解为更简单的步骤来规划任务[24, 25]。这种方法使代理能够生成明确的思维链和动作计划，增强其对复杂任务的理解和执行能力。通过结合这些生成技术，机器人能够更好地处理长时程任务中的不确定性和动态交互，从而提高其在操作场景中的整体性能。

此外，生成式模型通过开发世界模型和促进动态学习，增强了机器人对物理世界的理解。通过生成中间状态（如显式的视觉表示[26, 27]或隐式的潜在状态[28]），这些模型使机器人能够预测和规划环境中的未来事件。生成潜在未来状态的视觉能力改进了操作任务中的规划和决策过程。状态生成捕捉了准确执行任务所需的基本动态，解决了复杂环境中的不确定性和变异性。这使机器人能够在操作任务中预测并适应变化，从而提升其在动态环境中的表现。

第三，策略学习需要多模态推理能力。在机器人操作中，当前状态可能对应多个有效动作和结果，这是由于任务复杂性和环境变异性所致。例如，杯子可以通过把手或杯身抓取，最佳选择取决于后续任务：为杯子加水时抓取把手更合适，而将杯子递给他人时抓取杯身更佳。确定性模型通常将输入观测映射到单一输出，无法捕捉许多操作任务中固有的多模态特性。这种限制降低了适应性，并阻碍了在多样化情境中的表现。通过依赖一对一的映射，这些模型难以表示全部可能的动作范围，从而阻碍了更灵活和可泛化的机器人系统的开发。

生成式模型在策略学习方面展示了显著潜力，特别是在机器人操作任务中的抓取生成和轨迹生成方面[6, 29, 30, 31]。通过对整个轨迹的动作序列建模，生成式模型实现了控制策略的联合优化。例如，扩散模型已被应用于策略学习，能够生成平滑且可行的运动轨迹[29]。这些模型可以结合机器人操作空间中的固有约束，如生成三维空间中有效抓取姿态的SE(3)约束[8]。这种能力通过生成高效且物理上可行的策略，增强了机器人执行精确和复杂操作任务的能力。此外，它们对多模态分布的建模能力使其能够捕捉复杂操作任务中所需的多样化抓取姿态和运动轨迹。

B. 综述的结构概述

总之，生成式模型在机器人操作的多个层次上提供了解决方案：从基础的数据和奖励生成到高级的任务规划和策略建模。通过解决数据不足、复杂任务规划、低级控制和表示学习等关键挑战，生成式模型为更自主、高效和强大的机器人系统铺平了道路。已有一些综述探讨了与机器人和生成式模型相关的主题[3, 32, 33]。这些工作研究了机器人中的基础模型以及向通用人工智能的进展。然而，尚未有综述专门关注生成式模型如何解决机器人操作中的关键挑战。本综述聚焦于生成式模型在操作任务中的应用，试图提供一个统一且具体的视角，阐明生成式模型在不同层次上对机器人操作的作用。通过强调生成式模型在这些特定领域中的优势，我们旨在填补现有文献中的空白。图1展示了本综述所探讨方法的整体结构。

为系统理解生成式模型在机器人操作中的作用，我们将其应用分为三个层次：基础层、中间层和策略层 。这一结构反映了从基础数据合成到高级决策再到低级控制的渐进流程。基础层专注于生成关键资源，如合成数据以扩充有限数据集和奖励信号以指导强化学习，构成模型训练和评估的支柱。在此基础上，中间层涵盖语言、代码、视觉和状态生成等任务，使机器人能够解释指令、处理感知数据并推理其环境，从而连接感知与动作。最后，策略层直接解决机器人操作的核心问题，包括抓取生成和轨迹规划，将较低层次的洞察转化为可操作的控制策略。这一分层框架突出了这些组件的相互依赖性，确保了机器人学习和控制的全面且可扩展的方法。

专知便捷查看，访问下面网址或 点击最底端“阅读原文”