美军挑战单兵人工智能极限
本文转载自装备参考（ID：Armament999）
作者：远望智库特约研究员
军事科学院军事医学研究院 李长芹 楼铁柱
美陆军研究实验室下属士兵适应性技术中心（Center for Adaptive Soldier Technologies，CAST），重点关注采取以人为中心的方法将先进技术应用于士兵。该中心为虚拟中心，主要目的是推进陆军与科技界之间的开放性技术合作。中心首任主任麦克道威尔（Kaleb McDowell）博士介绍，中心的动态合作方式包括：（1）高层次的研究和验证；（2）包括个人和团队合作伙伴的利益共同体；（3）相关开放校园实验室和设施；（4）加强这一特定技术领域科技生态系统的活动和机会。
一、科技研究重点
士兵适应性技术中心的研究重点是了解将先进技术应用于士兵的基本原则，并通过技术转化和验证来实例化这些原则。
（一）重点验证领域：个性化乘员舱技术（Individualizing Crew StationTechnologies）
该领域重点研究乘员舱技术，使士兵能够与未来各种复杂作战系统高效整合，极大提高执行各类任务的效率与效能。特别关注可以适应不同操作人员个体及操作人员不同动态状态的人系统交互技术，适应的目的是优化士兵、系统内嵌智能机、物理自动化系统之间的人系统应急效能。
目前，该领域有两个主要项目：（1）双人乘员，（2）脑机交互技术。
1、双人乘员（Two-Soldier Crew）
美国陆军通过几十年的研究、开发、工程评估，以及一些系统（如，IVIS，FBCB2）的战场实用，已经在作战人员人机界面技术（Warfighter-Machine Interface，WMI）领域取得了相当大的进步，能够在各种动态、危险的复杂环境中开展基于车辆的军事行动。美国陆军研究实验室（ARL）、美国陆军坦克车辆工程研发中心（TARDEC），以及CAST的合作组织，仍在继续进行基础和应用研究，推进作战人员人机界面技术的最新进展，以解决车辆乘员可能面对的下一代任务、场景及环境。
车辆乘员未来可能面对高度复杂的、多种智能机混合的系统环境，并深受强大的社会文化因素和技术不断发展的影响。WMI技术未来发展的主要障碍可能是，WMI所提供的技术复杂性和信息负载程度超出了操作人员能够有效高效交互的能力。“双人乘员”项目试图通过研发个性化的WMI技术，使其适应具体操作人员的动态状态，以及与计算智能结构和智能机的混合交互，提高或补充士兵个人能力，从而克服上述障碍。项目总体目标是最大限度的提高人系统团队的应急效能，实现方式是设立两名车辆乘员，与智能软件系统或“虚拟”机、高度网络化的智能物理机“家族”高效合作，包括具备遥感和武器能力的有人、无人地面车辆和飞行器。
WMI的概念实例包括进行任务规划、路径规划、侦察、监视、目标识别和消防能力。 当前乘员舱解决方案的灵活性导致了非常庞大的功能性，包括图像功能要求相当大的突出屏幕空间（例如，车辆遥操作显示器、任务规划、车辆传感器控制、局部地形和三维态势感知监控、多车编队控制，机器控制清单等），以及可以缩小以保留屏幕空间的辅助功能（如资产图、路径规划图、警告、提示和警报）。未来的WMI概念有望支持一系列的功能，同时克服了关键的军事相关限制因素。相关实例包括：
（1）安全机动：军事车辆乘员，除了关注基本的驾驶和导航，还需要时刻对自己的车辆、班排、机器人或其职责范围内其他资产的安全保持态势感知。
（2）多样化行动：不同的作战行动节奏，以及某些情况下时间上相互重叠甚至竞争的任务，会使现代士兵面临极其多样化的军事作战环境。
（3）分布式团队合作：未来任务可能需要乘员与其他非现场的个人，以及物理机和虚拟机合作。这类团队需要有效地克服不同成员之间能力、知识、观点、问题环境参考系的差别，以及可能地通信流不完善的动态。
2、脑机交互技术（Brain Computer Interaction Technology）
脑机交互技术（BCIT）项目重点验证可以增强人系统团队合作的交互新形式。通过综合转化神经科学、控制论、数据科学等研究领域的进展，对利用神经信号和高级机器学习方法来提高人类与计算机、自治系统、环境、甚至他人交互的技术进行概念验证。该研究重点关注于研发非医学手段的人体效能增强技术，并提高人-技术与健康、高效能士兵交互的可靠性、鲁棒性和有效性。长期目标是研发人系统团队合作的新方法，有效利用人类的动态适应性和自治系统的处理能力。
该项目包括以下几个领域：
（1）人类-人工智能图片标识器（Human-AI Image Labeler，HAIL）
中心研究人员的一个战略目标是有效整合人类与智能机。HAIL系统是一个分析机集成网络，包括了使用快速连续视觉呈现（RSVP）BCI的人员、手工标识人员、自动化的计算机视觉（CV）机，对数据库图像进行分析，试图使其准确性达到人工标识，但所需时间更短。有关研究催生了“大脑皮层耦合计算”（Cortically Coupled Computing）这一协同式人机交互的新范式。
（2）BCI-宝石游戏（BCI-Gem Game）
CAST科学家特别感兴趣于克服BCIT一项最严峻的挑战：人类状态的多时间尺度动力学对系统效能的影响。为了克服这一挑战，BCI-宝石游戏旨在研究人体状态变化对BCIT效能的影响，以及人类如何适应BCIT的长期使用。BCI宝石游戏类似于宝石方块、糖果粉碎、益智之谜等三消类游戏，但在游戏中嵌入了BCI范式。
（3）人类兴趣探测器（Human Interest Detector，HID）
MINE实验室的CAST研究人员正在开发HID，一种被动式大脑监测系统，试图检测操作人员对视觉场景中的兴趣点。HID有三个用途：①基于士兵作为传感器的概念，提供来自操作人员的高带宽新型信息流，②深入了解操作人员使用机会型人体传感的效果，③对各种范式的新型闭环BCI技术开展即插即用测试。结合计算机视觉的眼动脑电图分析，HID可以捕获和确定操作人员对图像或视频片段的兴趣优先次序，而无需操作人员特意表明其兴趣水平。采用机会型方法，而不是专门开发一个需要操作人员表明其兴趣水平的系统，可能允许HID有效地用于与其他BCIT的多任务协作。
（二）重点研究领域：估计与预测人体状态与行为（Estimating and Predicting Human States and Behavior）
这项研究的重点是对现实世界中的人体状态和行为进行全面了解，集中在观察、表征并最终预测自然环境中的人体状态和行为，而这与基于实验室的研究存在显著差异。研究目标是开发可以捕捉和预测现实世界环境中人体新动态的新理论，以及对现实世界中人体动态的获取、分析并解释和预测的工具系统。我们希望这项研究能够形成提供有价值信息的工具，并了解如何以及何时使用不同类型的信息。
该领域目前有两个主要项目：（1）人类多样性差异项目，（2）现实世界神经成像。
1、人类多样性差异项目（The Human Variability Project）
虽然士兵之间存在着显著的行为和效能差异，但对于如何量化和预测这种差异的程度和动态，目前还有非常大的知识差距。我们认为，这一关键性科学差距，导致了系统设计僵化，通过简化系统操作和接口来弱化人类差异的影响，使得操作人员在低于平均水平的表现下即可使用系统。相反，通过了解和预测多时间尺度范围内的人类差异，我们将能够设计出动态性的自适应系统，可以诱发人类及其交互的全部潜力。
该项目的目标是解决人类多样性差异的知识差距，并将这方面的知识转化应用，从根本上改变弱化人类差异性的人系统设计，转变为利用这种差异性的设计。最终目标是发展出人类变异性和独特性的基本理论和模型。相关实验研究将关注于整合以下三个基本概念：
（1）解释不同“情境”中个体的多模式方法。要做到这一点，目标是分析和建模机构组织的综合方面，包括：有意和无意的行为、生理学、主观经验、社会交往、环境因素和任务。
（2）大时间尺度和高采样率的采样。需要进行长期的高分辨率采样，以调查时间尺度之间的相互作用，观察更长时间尺度上很少发生的现象（如季节性影响）。
（3）开发大规模人群的数据库，其中包括对士兵足够的子采样，既能够解释个体差异，又能更全面地阐述人类差异性现象。
为了实现上述目标，我们需要应用广泛的最先进的技术和工具，包括实时传感、计算和数据库需求、用户建模、人体效能预测。同时也将推动人体长期、连续、多模式评估工具的发展，弥合当前技术的差距。
来自UMBC移动式弥漫式传感器系统实验室（Mobile, Pervasive, and Sensor Systems Laboratory）和Covail：模拟和数字系统研究实验室（Covail: Analog & Digital Systems Research Laboratory）的教授正在开发新的传感器和虚拟现实环境，收集其中的人体行为和生理数据，研究沉浸式环境中人类状态的变化。
马萨诸塞州大学阿默斯特分校传感器研究团队的研究人员正在开发基础设施，能够对来自众多个体、众多传感器的实时人体数据，进行安全地传输、分析、存储和可视化。
THVP项目研究人员的兴趣是了解自然环境中的人类行为。人类在自然环境中表现出令人难以置信的多样性行为，其中一个关键性挑战是开发更好的方法来阐明现实世界的行为。下面这个例子中，在“创新共享”工作的Alfred Yu提出了一个概念用来描述个体的咖啡饮用情况。这一概念通过意式浓缩咖啡机上的生物检测器和增强现实显示，能够获得咖啡消费的实时数据。这一概念可以用来了解多重时间尺度下、不同个体的咖啡习惯，可能有助于个体了解并改变自己的特定习惯。
该项目旨在推进的工具实例还包括：
（1）获取和整合信息资源的信息架构和控制框架。
（2）新型电子封装技术，对于士兵携带组件具有灵活的电源管理和存储解决方案。
（3）评估和预测训练与作战环境下人类状态多时间尺度非线性变化的方法和算法。
（4）可以利用其他个人、亚群和群体的信息来提高对个体或群体预测的迁移学习、协同过滤等技术。
（5）解释和预测复杂、动态、人工环境下不稳定的人类行动与行为的技术和融合算法。
2、现实世界神经成像（Real World Neuroimaging）
迄今为止，我们所知道的关于大脑活动、功能以及生理和行为之间的联系，绝大多数来自于实验室和医学领域。控制环境变量、限制外源噪声与变量的做法，对于开发大脑活动阐释模型非常关键，但对自然环境下的神经动力学如何作用却所知甚少。虽然神经影像学发展迅速，在日常生活中得到广泛应用，但对于实验室神经科学如何转化为对现实世界行为烦人预测，我们仍缺乏很好的方法。现实世界神经成像项目旨在解决这一问题，长期目标是提高对现实世界、真实场景下功能行为关系的神经动力学了解，发展能够实时获取、分析、解释和预测现实世界大脑活动的工具，预测和调节人体生理与行为的动态关系，促进新型人机交互系统的设计与性能。
该项目目前有两个主要研究领域：（1）开发现实世界神经成像的新技术、新方法，（2）通过实验发展假说和理论，提高对现实世界条件下神经动力学的了解。
（1）现实世界神经成像技术（Real-world Neuroimaging Technologies）
该方向的工作旨在推进现实世界设置下大脑活动的最新评估技术和方法，现实世界的神经影像学条件一般不太理想，其目标认知状态往往难以捉摸，甚至完全不同于传统实验室情况。重点是开发新的技术和方法，加强人机交互系统的实验或实施。重点研究方向包括：
①开发测试新型神经成像硬件，如：干式、非金属、高度灵活的脑电图传感器，佩戴舒适而且压缩后导电性稳定；超低功耗和低用户影响的系统设计，允许用户透明性；用户特定头帽盖设计的快速原型方法。
②开发和使用新的方法和工具评估数据质量，如设计与构建脑电图“仿体”试验装置，新的分析比较技术，辨别真实数据中非大脑人工干扰源的方法，建立可普遍接受的信号可靠性与有效性标准。
③新的软件算法，可以降低非大脑人工干扰，提高数据信噪比，完善对非平稳噪声数据的解释，有效整合利用多传感器、多模态数据流。
（2）现实世界神经成像范式（Paradigms for Real-world Neuroimaging）
对于孤立任务和环境的大脑过程，科学界已经有了基本的了解，但很少掌握实验室规模任务与环境复杂性的知识。神经系统是人体中最复杂、最动态的系统，尽管先进成像技术已经广泛应用于实验室研究和医疗机构，但不可能将支撑人体效能的认知、情感和运动过程分离到可以彼此孤立地了解。这提出了一个根本性的挑战，如何将实验室得出的理论和人体实验研究拓展到现实世界条件。现实世界神经成像范式的目标是确定基本原则，将传统神经科学的观测、结果和理论转化到现实世界的日常情景。
为此，本研究开展了三个主要方向的努力：①开发新的、创造性的成像范式，解释现实世界任务效能的神经动力学，②扩大范式和模型，解释现实生活中外部因素的影响，如应激、疲劳、人格、社会文化情境等对神经行为动力学的影响态，③发展理论方法，促进对非传统、强现实性任务和场景的神经电生理活动的观察和解释。
重点研究内容包括：
①了解实际道路驾驶过程中大脑皮层和行为动力学，并利用多模态数据的分类方法，预测模拟和现实世界驾驶任务表现的关键决策。
②表征人际社会动力学之间的相互作用、个人驾驶行为、司机乘客二元体的个人偏好和倾向。
③基于高动态范围亮度视觉搜索的认知计算。
④利用扫视固定相关电位（S/FRP）研究传统固定约束范式中欠缺的知觉和认知过程，更全面地了解现实场景中的视觉搜索。具体领域包括：早期视觉感知的视网膜和视网膜外影响，外源性和内源性的注意力扫视前转移，视觉搜索中眼动和固定相关电位的自下而上（突显）和自上而下（觉醒、认知负荷）效应。
（三）重点研究领域：互适应系统的控制（Controlling Mutually Adaptive Systems）
这一领域关注人类科学研究的长期挑战，即如何集成动态应用的人类和智能系统。重点研究相互适应的因素，即人类和智能机都在多重时间尺度上适应对方的输出，首先是了解和模拟人类对技术、环境和其他人员的适应。长期目标是提高异构化的多智能机、人系统团队的整体性能，提高他们应对不断变化的环境及彼此适应的能力。
目前，该领域有一项主要项目：控制论（Cybernetics）
1、控制论（Cybernetics）
传统上，人类适应性研究主要关注于了解外部环境变化所导致的人类行为变化。这种模式所形成的技术解决方案，专注于通过改善技术提供信息的突显性来提高人类的适应性。但最近的研究表明，人类适应性受到人体内部状态的强烈影响，如觉醒、社会背景和目标等。研究考虑人体内部状态，将拓展我们对适应性行为的了解，同时也提出了重要的理论和技术挑战，因为人体内部状态发生于多重时间尺度（小时、周、日），受到各种各样的生理反馈机制如战斗或飞行的影响，并内嵌于大脑等高度动态的人体部位，且严重依赖于它们的当前状态以及以前的闭环状态。真正的互适应系统既需要考虑人体内部状态，也需要考虑人与技术环境之间的关系。为了克服这些技术挑战，陆军研究实验室的控制论研究项目，重点是发展高维闭环人类科学模型，描述人类适应性行为的固有状态和时间依赖性。
拥有多个子系统和多个反馈回路的复杂控制论系统，代表了一类至关重要且未能得到很好研究的人系统。但深入了解这类系统，人类科学面临着方法和理论的艰巨挑战。目前我们使用的是大尺度大脑皮层模型，由多个分层组织的脑区组成，用来测试特别假设，将不同的连接模式与闭环、多反馈回路控制论系统的整体和行为功能相联系。该项目的研究目标包括：
（1）确定不同的连接模式对多反馈回路控制论系统的整体动力学行为的约束。
（2）了解不同的连接模式如何影响群体动力学，如同步性、复杂性和无尺度行为。
（3）检查皮质-皮层和丘脑-皮层连接如何产生互频率耦合。
（4）测试皮层下系统在多感觉输入神经元整合中可能作用的假设。
（5）检查紧张性神经调节控制的基础活性及对感觉输入的反应。
（6）探讨相位神经调节在多感觉整合中的功能作用的新假说。
（7）测试基于群体和速率的神经元系统信息编码对系统连续性反应的影响。
（8）使用有代表性的相似性来驱动“泄露-整合-触发”（LIF）神经元模型的连续命令。
（9）开发基于连续命令LIF神经元模型实现的神经形态硬件。
二、科研设施
士兵适应性技术中心目前有两个实验室设施。
（一）创新共享（Innovation Commons）
与士兵适应性技术中心同时成立，位于马里兰州阿伯丁试验场，将公共创客空间与人类和环境跟踪分析空间相结合。公共创客空间旨在鼓励人系统、人环境交互技术的创新探索和快速原型制造，人类和环境跟踪分析空间旨在支持研究多时间尺度上人类状态和行为的变化。该实验室向所有感兴趣的用户开放，可以开展用户控制的环境与可穿戴传感器实验。
创新共享空间有两个设计目标：
1、作为人类交互新思想的孵化器、创新方法的验证基地，推动全球创客运动的大力发展。向用户提供工具、社会环境和设备，促进合作和知识发展，帮助将想法转化为新的研究项目和系统。
2、提供能够支持各种人类行为的普遍感知环境，支持人类多样性差异项目以及其他研究。创意共享的关键特征是具有高端计算与显示资源，能够分析人类神经、生理和行为数据以及环境数据。在这一空间，研究人员有机会开发数据分析方法原型，了解与改变人类行为，以及其他以人为中心的分析方法。嵌入式传感器和先进可穿戴技术将免费提供给感兴趣的用户，量化他们的活动和健康模式。
为了激发用户探索创造性的解决方案，创新共享空间提供了各种轻工机床、电子加工站、3D打印、高性能工作站、增强现实与虚拟现实头盔等。跟踪资源包括了基于RFID、光学、无线传感器的工具，可以表征身体的运动和姿态。创新空间还提供了专用分析工作站，可以连接到50 +节点（1000 +核心）的计算集群进行大数据分析，共同分析和可视化软件包（Matlab、R、ParaView等）也一应俱全。
（二）MIND实验室（MIND Laboratory）
“神经驱动设计的任务影响”（Mission Impact through Neuro-inspired Design，MIND）实验室位于阿伯丁试验场，设立于2001年。目的是开展基础研究和应用研究，将神经科学知识和方法从实验室转化到实际环境中应用。MIND设施包括两大核心组成：第一个是多腔室、可重配置的实验空间，能够提供最先进的电学和声学可控环境，专门设计用于最大限度地实现神经生理、生理和行为测量功能和数据采集。第二个核心组成是一个计算实验室，拥有20多个网络化、多核、大内存容量的Linux工作站，和一个专用的多核分布式计算服务器，能够开发、实施和应用先进计算算法。
MIND实验室的研究重点是基于神经科学的人系统概念和工具，研究内容包括但不限于：脑机交互技术、士兵效能预测、多感觉信息处理、应激原对认知任务效能的影响、认知功能的个体差异、视觉扫描行为、适应性信息显示、认知指标的开发和验证、新型成像技术的发展和测试、创建新的脑电图仿体设备。
