专栏名称: 战略前沿技术

“战略前沿技术”公众号为远望智库旗下前沿资讯媒体。“远望智库”聚焦前沿科技领域，围绕军民融合、科技创新、管理创新等主题，开展情报挖掘、战略研究、规划论证、评估评选等工作，为管理决策、产业规划、企业发展、机构投资提供情报、咨询等服务。

人工智能军事决策支持系统中的算法偏见问题

战略前沿技术 · 公众号 · 军事 · 2024-09-11 22:45

正文

电话 | 010-82030532 手机 | 18501361766

微信 | tech9999 邮箱 | [email protected]

来源：专知智能防务

作者：专知防务

长期以来，人们一直认为算法偏见是影响整合人工智能（AI）技术的决策过程的一个关键问题。越来越多地使用人工智能做出与使用武力相关的军事决策，使人们对这些技术中的偏见，以及人类用户如何基于等级化的社会文化规范、知识和关注模式对数据进行规划和依赖的问题持续产生疑问。

本文研究了人工智能决策支持系统四个生命周期阶段中的三类算法偏见--预先存在的偏见、技术偏见和新出现的偏见，得出结论认为，正在军事领域进行的关于人工智能的讨论中，利益相关者应更认真地考虑算法偏见对人工智能决策支持系统的影响。

随着国际上围绕军事领域人工智能技术的讨论日趋多样化，基于人工智能的决策支持系统（AI DSS）日益成为一个重要的焦点。根据 Klonowska 的定义，人工智能决策支持系统是 “利用人工智能技术分析数据、提供可行建议并协助指挥系统中不同级别的决策者解决半结构化和非结构化决策任务的工具”。这种将人工智能技术更广泛地融入军事决策的做法引起了人们的关注，从而增加了此类过程受到算法偏见影响的可能性--“算法的应用加剧了社会经济地位、种族、民族背景、宗教、性别、残疾或性取向方面现有的不平等”。

关于军事领域人工智能的国际辩论已涉及这一问题。例如，《2023 年军事领域负责任的人工智能（REAIM）行动呼吁》提请注意 “数据中的潜在偏见”，将其作为军事人员需要注意的一个问题。这是一个良好的开端，但偏见现象远不止存在于数据中。

此外，《特定常规武器公约》（CCW）政府专家组（GGE）的 2023 年报告虽然侧重于自主武器系统（AWS），但使用了 “无意偏见 ”而非 “算法偏见”。这种措辞可能有其技术原因，因为所有人工智能系统的工作都基于偏见，即对特定调制方式给予不同程度的重视/对一种调制方式的重视程度高于另一种调制方式。然而，这种纯技术性的理解低估了偏见作为一种政治和经验现象的重要意义，它对特定人群的影响比其他人更为不利，因此严重影响了整合人工智能技术的决策过程。

习惯国际人道主义法第 88 条（关于不歧视，第五部分，第 32 章）和《第一附加议定书》第 85 条第 4 款(c)项明确禁止在适用国际人道主义法时进行不利区分，即基于种族、肤色、性别、语言、宗教或信仰、政治或其他见解、国籍或社会出身、财富、出生或其他身份或任何其他类似标准的（军事）做法（如种族隔离和其他不人道或有辱人格的做法）。此类做法往往会界定算法偏见。因此，预先存在的偏见是人工智能系统所固有的，而且可能是系统性的。这是因为人工智能系统通过如何处理输入的数据，始终植根于社会机构和社会。因此，偏见不需要是有意的、明确的或有意识的，就会被视为非法的和道德上应受谴责的。

要开始全面了解这个问题，不妨考虑一下算法偏见是如何贯穿人工智能决策支持系统从开发前到重新使用/退休的整个生命周期的。将重点放在人工智能决策支持支持系统的四个生命周期阶段来说明偏见：(1) 数据集的策划，(2) 设计和开发，(3) 使用，以及 (4) 使用后的审查。首先描述在这四个阶段中出现偏见的基本情况，然后分析因偏见而产生的问题，特别是与军事力量使用决策有关的人工智能决策支持系统。例子来自作战和战术层面的武力使用决策，因为这是（当前）用例最多的地方。

偏见是一个宽泛的范畴，有些一般类型的偏见会出现在各种人工智能系统中，有些则是图像识别等系统特有的。为了更好地理解这些不同阶段的偏见，区分了预先存在的偏见、新出现的偏见和技术偏见，并将例子主要集中在具有图像识别功能的人工智能决策支持系统所表现出的偏见上。

(1) 数据集中的偏见

数据中的偏见也许是最有据可查的，多方面的研究确定了显性和隐性两种形式。这种预先存在的偏见是 “社会制度、惯例和态度 ”的一部分，因此也是数据集的一部分。提供给算法的训练数据是基于开发人员设定的某种统计标准（例如，假设人口中的某类/身份群体更有可能构成威胁），这在道德、伦理和法律上可能是不可接受的。然而，只有通过这种数据集整理过程，原始数据才能转化为可操作的信息。

这些数据集和其中包含的假设并不透明，尤其是在军事领域。显性偏见包括数据集中的直接刻板语言或图像。隐性形式通常更难处理和缓解，它以过多或过少反映特定数据点的形式引入偏见。这种形式的抽样偏见导致深肤色人相对于浅肤色人的错误识别率较高，这一点已得到充分报道。

此外，开发人员在选择、收集和准备数据时也会给系统带来偏见。这包括预处理，即为训练准备数据集，这一步骤包括删除被认为不重要的数据点。这样，预处理就容易在数据中引入偏见。一般来说，算法的好坏取决于所输入的数据，而数据的收集、存储和使用方法可能会导致歧视性的结果。

就人工智能决策支持系统而言，“杀人名单 ”的制定存在很大问题，因为这一过程已被证明依赖于符合预先存在的社会偏见的数据输入。这些数据将包含标签，例如识别恐怖主义嫌疑人的特定特征。这些特征很可能明示或暗示地包含种族和身份定型观念等预先存在的偏见。例如，在开发人工智能数据采集系统时，就有可能带有偏见地假设都是 “极端 ”的，因为整个反恐理念都离不开其种族和民族起源。

(2) 设计和开发中的偏见

设计和开发阶段的选择和做法会加剧数据中的偏见。在这一生命周期阶段，先前存在的各种偏见与 “因技术限制或技术考虑而产生 ”的技术偏见结合在一起。这类偏见既包括人类执行的数据工作，也包括神经网络等内部通常不透明的技术流程。

在整个训练过程中，反复进行的数据注释、标注、分类以及对所产生的输出结果进行评估的过程，就是以人为主导的过程的一个有用例子。在执行这些任务的过程中，人类往往会无意识地产生认知偏见。在更基本的层面上，构建人类和社会类别以便于计算机处理的过程本身也可能产生偏见。这样，人工智能算法也可能会强化偏见，例如，通过过度拟合过于 “粗糙 ”的类别，再加上数据集的高方差，可能会使人工智能模型无法识别相关趋势。

此外，神经网络处理数据的不透明功能很可能会插入自己的偏见--可能会放大数据集中已经存在的偏见。一个例子是类不平衡偏见，即人工智能算法对数据集中出现频率较低的数据点类的识别率较低。这种偏见的出现是众所周知的，但需要积极的缓解技术，例如用合成数据补充数据集。

上述两个偏见的具体例子，即过拟合和类失衡，都与用于军事决策的人工智能 DSS 有关。军事决策环境的特点是高度不确定性和混乱因素。在这种情况下，人工智能决策支持系统有可能因比较点太少而缺乏相关类别，或使用错误的类别来适当识别情况。在许多军事决策环境中，缺乏适当的定性和定量训练数据已被视为一个特殊问题。

人工智能决策支持系统有目的地识别某些人群，这意味着开发人员必须因此评估文化、宗教、种族和其他身份偏见，这些偏见不仅影响系统的决策，也影响他们自己的决策。例如，美国项目 “Maven ”的开发初衷是协助 “打败-ISIS ”运动的数据标签工作，这意味着它在开发时考虑到了某些群体或身份。该系统在识别正确目标方面的功效受到质疑，事实上，必须质疑这些不同来源的偏见如何影响这些系统的设计和开发，特别是在涉及人类目标时。

(3) 使用中的偏见

在使用过程中，已经嵌入 AI DSS 的预先存在和技术形式的偏见与新出现的偏见相结合。这产生于特定用户在特定使用环境中与 AI DSS 的交互方式。在 “部队使用 ”背景下，这意味着使用人工智能 DSS 涉及军事战略、作战和战术决策者之间基于价值的感知决策，他们都可能在与系统输出互动时注入自己的价值判断。

在这一使用阶段引入的一类众所周知的偏见是自动化偏见，它描述了人类用户对 AI DSS 产生的输出结果的不容置疑的信任。这种不容置疑的信任可能会在实践中助长算法偏见，使原本仅由人类做出的决策变得有问题，而这仅仅是因为机器被认为更可信、更可靠。

此外，人工智能 DSS 中的偏见可能会产生消极的自我强化作用，导致系统产生的偏见在未得到纠正的情况下循环增加。例如，如果一个 AI DSS 始终将来自某个社区、具有特定外貌特征的特定性别的人认定为可疑威胁，那么它就会认为来自该社区的所有符合这些特征的人都是 “威胁行为者”，从而强化其偏见。系统非但不能纠正偏见，反而会自我强化，尤其是在决策者不能及时发现偏见的情况下。

许多数据驱动型人工智能技术最独特的特点之一，就是能够不断从上下文以及与技术和社会环境的互动中 “学习”。以科技公司收集的营销数据为例。计算机系统根据识别模式、搜索和吸引用户注意力的内容来收集数据，用户与平台接触越多，推荐的频率和强度就越高。

虽然这种算法功能可能是营销背景下特有的，但在军事用兵决策背景下，AI DSS 可用于增加潜在目标的数量。因此，此类系统一开始可能会识别出数量不多的可疑威胁行为者，但其目的是通过关联和连接越来越多的人，从而增加目标数量。因此，即使在使用中和使用过程中，AI DSS 也可能继续学习并接受人类用户的培训。这一过程既可能导致旧的偏见被强化，也可能导致新的偏见被学习。当人类与最终输出进行交互、解释数据并向系统提供反馈时，偏见可能会重新进入系统。

谁参与这一过程、如何监控这一过程以及由谁来监控，这些都是需要提出的关键问题。持续学习算法的基本适应性使其成为军事决策中极具吸引力的选择，但从根本上说也很难预测。

(4) 使用后审查中的偏见

AI DSS 的使用后审查包括检查特定系统是否按照系统开发人员在设计阶段的意图和预期执行，以及包括前瞻性的改进建议。这既可以被视为一个独特的生命周期阶段，也可以被视为一项持续性活动，应在每个用例之后、每个用例之前进行，特别是在使用持续学习型 AI DSS 的情况下。

原则上，这一阶段对于识别和减少偏见导致的错误决策至关重要。然而，如果在这一阶段不这样做，人工智能 DSS 在整个生命周期中产生的有偏见的输出结果就会成为用来维持进一步决策过程的数据。重要的是，最近的研究发现有证据表明，人类可能会继承人工智能 DSS 所表现出的偏见。因此，即使在人类不再与 AI DSS 互动的情况下，他们也可能复制从 AI DSS 身上学到的偏见。

结论

总之，人工智能 DSS 有可能通过与使用武力有关的军事决策过程传播算法偏见的影响。先前存在的偏见和技术形式的偏见从生命周期的早期阶段就开始进入 AI DSS，并在整个生命周期中产生影响，而新出现的偏见则在使用时出现。要提高人们对 AI DSS 中的这些偏见、其潜在的灾难性影响以及缓解方法的认识，还有很多工作要做。例如，这可以包括在使用后对开发人工智能数据支持系统的方法进行标准化，并在其中实施偏见缓解策略。参考来源： Ingvild Bode、Ishmael Bhila。

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 国家重点研发计划 \| 装备采办 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 军工百强 \| 试验鉴定 \| 双一流 \| 净评估
前沿科技：颠覆性技术 \| 仿生 \| 脑科学 \| 精准医学 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 脑机接口 \| 传感器 \| 数字孪生
先进武器：无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 国家重点研发计划 \| 装备采办 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 军工百强 \| 试验鉴定 \| 双一流 \| 净评估
前沿科技：颠覆性技术 \| 仿生 \| 脑科学 \| 精准医学 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 脑机接口 \| 传感器 \| 数字孪生
先进武器：无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器

人工智能军事决策支持系统中的算法偏见问题

正文

请到「今天看啥」查看全文