解开具身智能之谜：从 RT-X 到自由能原理

投稿 | 中译出版社，摘自 《具身智能》

在 AI 的广阔领域中，具身智能的探索正逐渐成为研究的热点。随着技术的不断进步，我们开始触及这一领域的深层次问题。

谷歌 DeepMind 的 RT-X 项目，以其创新的视角和方法，为具身智能的研究开辟了新的路径。该项目通过引入先进的大语言模型，结合模仿学习策略，在多种具身任务中实现了性能的显著提升。尽管 RT-X 项目取得了令人瞩目的成就，但基于大模型的具身智能在实际应用中仍面临着诸多挑战，如模仿学习与强化学习的局限性，以及对机器人灵活性和环境认知能力的限制。

DeepMind 公开分享

RT-X 的架构革新在于其核心—— 一个强大的语言模型，它通过模仿学习来提升机器人在具身任务中的表现 。然而，这种模型的局限性也不容忽视。例如，RT-X 主要通过控制机器人的末端执行器（end-effector）来完成任务，这在一定程度上限制了机器人动作的灵活性，难以达到人类对自身肢体的自如操控。此外，模型对于自身身体和环境的认知能力不足，可能导致在处理第三视角视频输入时的性能下降。

当前具身 AI 的主流范式，如模仿学习和强化学习，虽然在数据驱动的学习方面取得了一定的成就，但在处理连续变量和数据量限制等核心问题上，仍显得力不从心。这些范式往往需要大量的数据输入，而在现实世界中，获取如此海量的数据往往是不现实的。同时，将连续变量离散化处理，也使得模型丧失了对这些变量连续性的精确把握，影响了模型的性能。

在 AI 的飞速发展中，具身智能作为关键的一个分支，正逐渐成为科技界的焦点。尽管当前的具身智能系统在模仿学习和强化学习等方面取得了显著的进展，但它们仍然缺乏对自身身体和周围世界的基本认识。这一问题在谷歌 DeepMind 的 RT-X 项目中体现得尤为突出。RT-X 项目虽然成功地将大语言模型应用于具身智能任务，但在处理第三视角视频输入时的性能仍然不尽如人意。此外，RT-X 项目在设计机器人行动时，只考虑了操作杆头部的控制，而忽视了机器人身体其他部分的控制，这无疑限制了机器人的灵活性和适应性。

同时，目前的具身智能范式在处理连续变量时，通常采取的是 离散化 的方法。这种方法虽然简单易行，却丧失了连续变量本身的度量空间性质，从而影响了模型的性能和效率。另一方面，这些范式对数据的需求量非常大，而在实际应用中，我们往往无法获取如此大量的数据，这无疑加大了模型训练的难度。因此，如果想要实现通用的具身 AI，我们就需要寻找新的解决方案。这包括让具身智能系统拥有对自身身体和周围世界的基本认知，这样才能让它更好地适应和应对各种任务。同时，我们也需要找到一种能够更好地利用数据的方法，以克服数据量问题带来的挑战。

通过上述讨论可知，在 AI 领域，具身智能已经引起广泛的关注和深入的研究。其中，如何提高具身智能的泛化能力成为一个重要的课题。大型模型如谷歌的 RT-X，由于对自身身体以及周围世界的认知不足，模型的泛化能力仍有待提高。一个有效的泛化模型需要具备对世界运作方式的深刻理解。然而，目前的模型在这一方面存在明显的缺陷。RT-X 等大型模型虽然能够通过模仿学习在多个具身任务上取得良好的表现，但 在面对更复杂、多变的真实世界环境时，模型的表现就变得相当有限 。例如，当模型面对特殊的背景时，其表现往往会大打折扣。这意味着，当前的模型并未真正理解世界的运作方式，而只是通过学习对输入数据进行了一种机械化的映射。

再者，当前的具身智能模型通常依赖人工设计的奖励函数来驱动学习。然而，这种方式不仅工作量大，效果也未必理想。国内的 AI 科学家团队就曾经在他们的机器人跑酷项目中遇到这样的问题：他们发现，虽然模型可以在模拟环境中完成跑酷任务，但在真实环境中，模型会一直向前冲，直到撞到墙壁。这是因为 模型并不能理解“前进”的真正含义，它只是根据奖励函数给出的指示机械地向前冲 。即使模型可以在模拟环境中完成任务，在真实环境中的表现却可能大打折扣。因此，如何设计出能够更好地指导模型学习的奖励函数，也成为一个重要的问题。

在信息科学领域，信息压缩的问题同样引人关注。以观看充满随机噪声的电视屏幕为例，这些噪声是无法预测和压缩的，因为它们缺乏可识别的模式或结构。这种现象在信息处理中构成了一个难题，因为它阻碍了系统从数据中学习和提取有用信息的能力。为了解决这一问题，谢恩·莱格（Shane Legg）和马库斯·胡特尔（Marcus Hutter）提出了 AIXI 智能代理 的概念。他们认为，智能的核心在于解决问题的能力，这种能力应在广泛的任务中得到体现。为此，他们定义了一个目标函数，该函数将任务的奖励与描述任务所需的比特数相结合。在这个框架下，任务的权重与其描述的简洁性成反比，即所需描述比特数越少的任务，其权重越大，这与奥卡姆剃刀原则相吻合。

然而，AIXI 模型也面临着一些挑战。首先，任务的来源和定义是一个问题。对于人类而言，我们的任务是在地球所在的宇宙中生存，这是自然而然的任务。但对于 AIXI 这样的智能代理，它需要完成的任务是什么？其次，任务奖励的来源和确定也是一个问题。如果每个任务都需要大量的人为指定信息，那么学习到的行为可能并不是我们所期望的。这些问题提示我们， 在设计智能系统时，需要更深入地考虑任务的来源、定义以及奖励机制的设计，以确保智能系统能够学习到真正有用和符合预期的行为 。

综上所述，无论是具身智能模型的自我与环境认知，还是信息科学中的信息压缩问题，以及 AIXI 智能代理的任务定义和奖励机制，这些都是当前AI领域亟待解决的关键问题。解决这些问题需要跨学科的合作，结合认知科学、计算机科学、信息论等领域的理论和方法，以推动 AI 技术的进一步发展。

自由能原理，起源于计算主义思想，提供了一个将感知、行动和学习统一起来的框架。它基于一个核心假设： 智能体通过最小化其内部状态与外部环境预测之间的差异来维持自身的稳定性 。在这一原理中，外部世界的状态被称为潜在状态，这些状态不仅受智能体行为的影响，而且这一过程是随机的，引入了环境噪声。自由能原理还考虑了如何将外部世界的状态与我们的感官信号相联系，例如通过光线反射形成的视觉感知。我们的感知状态变化和行为产生都是沿着自由能最小化的轨迹进行的，这里的自由能由两部分组成： 精度 和 复杂度 。精度反映了模型对感官信号的拟合程度，而复杂度则是对模型复杂性的一种惩罚，避免过拟合现象。

在智能体的学习过程中，先验概率起着至关重要的作用。我们追求的是一个既不过于简单也不过于复杂的模型，这也与奥卡姆剃刀原则相呼应。人类对世界的认知模型就是这种简洁性的体现，我们能够迅速地识别和理解复杂的场景而不需要复杂的推理。

自由能原理不仅为智能体提供了一个自动学习世界模型的机制，而且这一机制还不需要人为干预。它适用于多层次的系统，并已在多个研究领域得到应用。除了自由能原理，还有 RSTM 支付等框架，它们提出了自动获取信息和行为的博弈模型，通过世界模型网络和控制器网络的相互作用，优化信息的压缩和行为的产生。

然而，自由能原理和其他学习框架都面临着数据集和环境的挑战。一个关键问题是， 是否只要拥有足够大的数据集就能保证智能体展现出无限的智能行为 。这引出了对“大数据集”定义的思考，以及对通用人工智能的理解。如果通用人工智能指的是智能体能够解决所有未来可能出现的任务，那么我们必须认识到世界是不断变化的。未来可能出现的新机器和新任务是我们目前无法预见的。这要求我们的学习模型能够适应一个不断演化的世界，而不是仅仅局限于固定的数据集和环境。

在 AI 的探索之旅中，自由能原理提供了一个理解和构建具身智能模型的重要工具。然而，这一原理并非万能，它要求我们不断地探索和改进，以适应不断变化的世界和日益增长的智能体能力需求。通过深入研究和跨学科合作，我们有望逐步揭开具身智能的神秘面纱，推动 AI 向更深层次发展。

肯尼斯·斯坦利（Kenneth Stanley）和乔尔·雷曼（Joel Lehman）
在《为什么伟大不能被计划》（Why Greatness Cannot Be Planned）中提出了一些引人深思的观察和见解。