自主无人系统的具身认知智能框架

自主无人系统是一类具有自主认知、运动规划、自主决策和推理能力的智能系统，其目标是在有限甚至没有人工参与的情况下完成复杂开放动态场景中的通用任务。本文针对自主无人系统在跨域协同任务上往往面临协同感知效率低、自组网通信可靠性差、资源调度流程慢、任务分配易冲突等一系列问题，探讨了融合大模型和生成式人工智能技术，构建了“大模型+自主无人系统+人工智能生成内容”为一体的自主无人系统“算-控-测”具身认知智能架构，以推动自主无人系统具身认知智能应用落地。

具身智能的思想起源可以追溯到20世纪中期的行为主义人工智能研究，这一研究领域核心关注点是机器如何通过与环境的直接交互来获得和发展出智能。 该研究初期受到了心理学家如布鲁纳和斯金纳等人的行为主义理论的显著影响，其核心思想认为学习主要是通过行动和反馈的结果来进行，而非单纯的观察或指导。这一时期的行为主义人工智能研究强调“行为交互学习”的重要性，智能体必须通过实际操作来学习，而不能仅通过观察来获得技能，即真正的智能来自对物理世界的动态交互和持续的实践活动。在这种思想指导下，早期的机器人学家和人工智能研究者试图开发出能够自主探索其环境并通过试错方法学习的机器。其中最具代表性的是斯坦福研究院Nils Nilsson等在1966—1972年研制的Shakey自主式移动机器人。在该项目中，机器人需要通过多次尝试来学会寻找最短路径，而这种能力是无法通过被动观看视频或模仿其他行走者直接获得的。通过这种实践，机器人不仅学习到如何完成特定任务，还能够在过程中发展出解决新问题的策略，从而在更广泛的环境中有效应用其学到的技能。

与“行为主义”人工智能相比，“符号主义”人工智能强调信息的抽象和符号化处理，“连接主义”人工智能则侧重模仿大脑中神经元连接机制构造视听觉认知计算方法。 作为行为主义人工智能的延伸，具身智能更依赖于智能体在特定场景下的实际操作和行为交互，强调智能体必须有能力与物理世界进行直接互动，这不仅包括感知环境的能力，还包括在该环境中进行物理操作的能力。例如，一个具身智能的机器人能够感知周围的障碍物，并在物理空间中绕过它们执行任务，而非仅仅在计算模型中模拟这一行为。情境性则指智能体的行为操作离不开其所处的具体环境和上下文。这一行为智能超出了简单的环境感知和认知层面，扩展到了能够根据不同环境条件自适应调整智能体行为的能力。这要求智能体不只是在静态的或高度控制的环境中操作，而是能够在不断变化的真实世界情境中进行有效的决策和行动。生成性描述了智能体通过与环境的互动生成新知识和解决策略的能力。这种特性使具身智能在面对未知或未经编程的情况时，能够创造性地适应和解决问题。智能体通过实践和经验不断学习，从而能够在其知识库之外独立生成解决方案。

大模型（large models，LMs）、自主无人系统（UASs）以及人工智能内容生成技术（artificial intelligence generated contents，AIGC）有望共同塑造全新的具身认知智能架构（图2）。通过“（大模型）心智-（自主无人系统）身体-（人工智能生成）环境”三者的结合，可为自主无人系统接入开源知识持续学习和自适应环境变化的自主进化能力。大模型，如GPT和PaLM，通过处理大规模数据集学习语言和认知世界模型及其规律，为自主无人系统提供了类似人类“心智”的认知内核，使其能够自然地理解人类语言及情绪，从而提高通信效率协同完成社会交互和执行任务。自主无人系统硬件的快速发展，则为这些“心智模型”提供了“执行载体”。当各种类型的无人系统被装备以高级传感器和执行器时，它们不仅能实时收集环境数据，为其“心智/决策系统”提供实时环境输入；还能通过接入大模型增强对环境态势的分析和理解能力，以自然语言交互通信的方式高效协调及组织执行复杂的物理任务。人工智能内容生成技术则为自主无人系统的“心智”与“身体”协同认知能力提供了一个丰富的数字化“虚拟训练场”，使自主无人系统可以在虚拟场景中进行从未在物理环境中经历过的复杂社会交互和任务模拟训练。人工智能内容生成技术和工具不仅为自主无人系统提供了一个包含无限任务的虚拟训练测试场，还允许人类与机器人以自然语言的方式进行交互，从而在保持物理安全的同时测试并提升自主无人系统的环境认知和具身执行能力。因此，本文提出集成大模型-自主无人系统人工智能生成内容的“计算-控制-测试”具身认知智能框架，形成自主无人系统的“算-控-测”具身循环认知过程（图2）。这一架构不仅将加强自主无人系统对未知变化环境的特征学习和适应能力，还能够通过在虚拟训练场中的任务训练来扩展它们对物理世界的认知边界，使自主无人系统能够更好地理解和响应复杂的环境和任务要求。 同已有智能框架相比，本文提出的具身认知智能框架着重面向自主无人系统在跨域协同任务上面临诸多挑战， 通过融合大模型和人工智能生成技术，提高自主无人系统的跨域协同任务质量与效率，提升系统安全性能 。

图2 自主无人系统具身循环认知流程

自主无人系统通过融合社会-物理-信息域的各种传感器数据集成大模型，使自身具备感知物理环境和社会交互变化的能力，并结合自身任务需求对环境变化做出响应，即自适应地执行特定任务/行为。在实际应用中，具身智能与大模型、自主无人系统技术的结合正在极大地释放机器的巨大生产与劳动潜力。例如，谷歌的PaLM-E大模型，集成了参数量540B的PaLM和参数量22B的视觉Transformer（ViT），融合文本和来自机器人本身装载传感器的多模态数据，包括图像、机器人状态和工作场景数据等，使得机器人不仅能理解周围环境的具体布局，还能根据实时变化的人类需求和物理障碍进行自我调整，进而使机器能够灵活执行拣选和搬运任务。随着通用人工智能技术的进一步发展，具身智能将推动自主无人系统更好地适应人类的工作和生活环境，成为新型劳动者，实现与人类劳动力的协同工作。这一发展趋势将重塑社会、经济、产业等多方面的生产力生态。

在科技强国战略的推动下，自主无人系统智能化和网联化趋势明显且应用愈加广泛，跨“空-天地-海”域协同作业成为自主无人系统常态任务。 以俄乌冲突为例，双方投入了大量的新型空-海地自主无人设备，跨域协同执行复杂军事任务，极大地降低了人员损伤并缩短了军事决策链的时间周期。战争一开始，乌克兰率先使用了无人机来执行战场侦察和监视、实时情报收集、双方战力评估、炮兵火力引导等，进行近程到远程的火力打击；2022年10月，俄乌之间发生了首次无人艇作战，乌军使用7艘无人艇和9架无人机突袭塞瓦斯托波尔港，攻击了俄军驻守在塞瓦斯托波尔港的俄罗斯黑海舰队；俄罗斯则在此次战争中首次出动了自研的“标记”无人战车，可执行反装甲作战等在内的多种地面作战任务。然而，目前自主无人系统协同任务以空-海、空-地协同为主，跨多域协同作战能力依旧有待提升。

自主无人系统在执行跨多域协同任务时，面临一系列严峻挑战。 首先，全空间跨域自主无人系统往往规模庞大且高度异构，涉及多种不同类型的机器人和设备，每种设备都有其独特的运行机制和操作规范。这种异构性导致系统内多种运行规律的并存与交互，使整个系统的行为预测和控制复杂化。此外，这些系统常包含众多的参数和变量，这些参数之间普遍存在强耦合和非线性关系，加之环境的不确定性和多层次的决策需求，为这类系统建立一个通用的数学模型变得异常困难。同时，系统传感设备故障多发导致获取数据不连续，或是难以通过传统方法检测数据质量，增加了系统操作的不确定性和风险。在实际操作中，这种复杂性往往表现为对环境适应性和决策的高要求，因为系统需要在持续变化的甚至是恶劣的环境条件下保持高效运行。这些挑战也是目前限制自主无人系统应用发展的技术瓶颈。

协同感知是多源异构自主无人系统跨域协同任务的基础。 恶劣环境条件常常导致设备感知不稳定、数据及其模态缺失等问题，即在某些情况下，必要的感知信息（如视觉或声音数据）可能因为阻挡、遮蔽或其他环境因素而不完整或完全缺失。例如，在浓雾或烟雾中，视觉传感器的效能大打折扣，导致视觉信息的可用性急剧下降。其次，环境的动态变化，如季节更替、天气变化或场景中其他动态因素动力学变化也会导致感知数据的模态关联性发生变化。例如，在夏天进行的编组任务可能需要处理与冬天完全不同的光照和温度条件，这些变化可能影响感知设备的稳定性及其对作业环境的认知和数据处理效率。强烈的环境噪声也是一个重要问题。在有噪声的环境中，例如在高风速或机械振动的情况下，传感器收集的数据可能会受到干扰，影响数据的准确性和可靠性。这种情况在协同作业中尤为严重，因为不同设备或机器人可能依赖彼此的感知数据来进行精确的位置定位和任务协调。这些挑战要求跨域协同感知需要具备高度的适应性和鲁棒性，以确保自主无人系统即使在极端或不利条件下也能保持高效和精确的操作性能。

跨域组网通信是自主无人系统有效协同作业的关键，但在复杂强干扰的环境中工作性能表现有待提高。 特别是，目前大量无人装备系统以远程操控为主要方式，这就对组网通信提出了更高的要求。然而，军事作战地区往往处于强干扰环境，对通信链路的稳定性产生极大影响。在如山区、沙漠、城市建筑密集区或干扰多的工业环境，通信设备需要适应极端的温度变化、物理阻碍、电磁干扰等问题，以保持稳定的数据传输。其次，传播介质的物理特性极大影响信号的传输距离和信息的可靠性。例如，在厚重的墙壁或金属结构的干扰下，无线信号易发生衰减，导致通信范围和效率降低。水下或地下环境中的通信问题更为复杂，传统的无线电通信方式难以适用，需要使用声波或其他特殊技术以适应介质对信号传播特性的限制。此外，通信系统还需要应对不同通信标准和协议的兼容问题。在跨域协同的环境中，各种设备可能使用不同的通信技术和协议，这要求系统能够实现高效的互操作性和数据整合，以确保协同操作的顺畅。随着任务复杂性的增加，通信系统的带宽和数据处理能力需求也随之提高。大量数据的实时传输和处理，尤其是在使用高分辨率传感器和执行复杂决策算法的情况下，对通信带宽和延迟都提出了更高的要求。而目前各子系统之间复杂的耦合关系及相互影响未知且不可量化，对自主无人系统跨域协同作业带来巨大挑战。

资源高效调度、任务可靠分配以及冲突消解是自主无人系统跨域协同任务的难点。 首先，系统内部的多型异构感知单元对资源的利用率提出了巨大挑战。不同类型的感知单元——如雷达、激光扫描仪、摄像头等——对处理能力、电力和带宽的需求各不相同。在资源有限的环境中，如何优化这些异构单元的资源分配确保每个单元都能有效运行而不互相干扰是关键所在。在大规模协同操作中，任务必须迅速而准确地分配给适合的单元执行，任何延迟都可能导致整体操作效率的下降。这要求系统不仅要有高效的任务调度算法，还需要有能力处理大量信息并快速作出决策。任务的复杂度对调度系统的结果最优性提出了挑战。在多任务和多目标的操作环境中，如何确保分配的结果既满足各项任务的特定需求，又能达到整体的最优或近似最优，是一个高度复杂的问题。这包括如何平衡短期目标与长期目标的优先级，如何在紧急任务与常规任务之间调整资源，以及如何在系统内部进行有效的负载均衡。此外，冲突消解也是资源调度和任务分配中不可忽视的一个方面。 在多个任务或单元之间可能会发生资源竞争或目标冲突，如同一时间段内多个无人机竞争同一通信频道或同一地点的空域。有效的冲突消解策略需要实时识别这些潜在的冲突，并能够提出解决方案，以避免任务执行中的干扰和效率损失。

在多型异构自主无人系统的协同任务中，如何有效组合并集成各种感知信息以做出高效决策至关重要。 首先，各种感知设备如视觉传感器、雷达、红外传感器等来源众多，各自捕获的数据类型和格式差异大，如何从这些大量且多样的数据中提取对决策有用的信息，量化其效用，并评估其效果是实现有效协同任务的基础。这不仅要求高效的数据处理算法，还需要复杂的数据融合技术，以确保决策过程中的信息完整性和时效性。在实际应用中，由于通信中断、感知设备的局限性或外部环境的影响，收集到的数据可能出现时间上的间断或信息上的不完整，时序不连续性和碎片化问题进一步增加了协同决策的难度。决策者需要在不完整或间断的数据流基础上做出判断，增加了计算和分析的负担。同时，异构系统中不同单元可能采用不同的决策逻辑和处理算法，使决策的维度变得更加复杂。这需要高度优化的协同决策框架和算法，以适应各种不同类型和能力的系统单元。总结来说，多型异构自主无人系统的协同决策面临的挑战是多方面的，涉及数据处理、信息整合以及决策制定的复杂性。解决这些问题不仅需要先进的技术和算法，还依赖于系统设计的整体优化，确保在复杂多变的环境中做出快速而准确的决策。

人类通过对未知事物的探索来拓展自身认知的边界，其认知事物的能力受到自身经验知识、记忆和计算能力的限制。在有限理性约束下，人通过不断地试错、适当地容错和及时地纠错优化个体的行为决策，在特定工作空间内开展组织、协调或执行动作实现期望目标。作为行为主义人工智能的延伸，具身智能的研究目标是让机器能像人一样认知和行动。在“算-控-测”协同具身认知智能的框架中，任何一个可自主行动的智能主体，都至少由认知决策载体（心智）和动作执行载体（身体）两部分构成，并且在特定作业空间（环境）执行任务。

近年来，随着生成式人工智能技术的快速发展，各式各样的大模型工具如雨后春笋般问世并引发了全球前沿科技企业以及学术科研机构的普遍关注。 一方面，大模型为无人系统赋予了强大的单机决策能力，其本身具备的自然交互能力使无人系统内部成员之间可通过“对话式群聊”方式传递信息、协调资源和分享策略，更高效地协同执行任务；另一方面，无人系统自身装载的多源传感器采集的数据为大模型认知环境及执行任务构建了决策依据，为实时数据驱动的无人系统行为控制奠定了基础。

人工智能内容生成技术为自主无人系统的具身认知智能实现提供了充分的“训练数据”，使系统可以较低的成本探索认知的边界，并且允许系统在不受现实世界物理限制和风险的情况下优化自身行为表现。在虚拟测试环境中，自主无人系统的训练任务可通过一组语义定义进行描述，每个语义实体可通过在任务语义空间进行搜索、组合等操作创造新任务，而对语义对象数量、类型以及状态等属性的排列组合将使得所涉及的语义对象可在特定语义空间（由AIGC定向生成数据组成的虚拟环境）创造所有可能的训练任务，进而预先对语义对象（无人系统）进行训练，使其达到现实物理空间任务执行的能力水平。这种设置使自主无人系统能够在模拟环境中“经历”和“学习”多种情境、累积经验，并结合自身装载硬件来探索感知精度、算力资源、通信组网以及执行任务的限制，进而降低物理实验的成本，同时能够将这些通过生成式内容训练学习到的知识和规则限制应用到现实世界中的具体任务。