专栏名称: 战略前沿技术

“战略前沿技术”公众号为远望智库旗下前沿资讯媒体。“远望智库”聚焦前沿科技领域，围绕军民融合、科技创新、管理创新等主题，开展情报挖掘、战略研究、规划论证、评估评选等工作，为管理决策、产业规划、企业发展、机构投资提供情报、咨询等服务。

人工智能系统在军事目标定位支持中的风险和低效性

战略前沿技术 · 公众号 · 军事 · 2024-09-09 21:48

正文

电话 | 010-82030532 手机 | 18501361766

微信 | tech9999 邮箱 | [email protected]

来源：专知智能防务

作者：专知防务

过去十年来，围绕军事领域人工智能（AI）的讨论主要集中在自主武器系统上。虽然自主武器系统确实是一个紧迫的问题，但关键的现实是，人工智能被匆忙部署来收集情报，更令人担忧的是，它被用来支持军队选择和攻击目标。

随着基于人工智能的决策支持系统（AI DSS）越来越多地应用于当代战场，联合国秘书长人工智能高级别咨询机构成员、REAIM专员和经合组织人工智能专家Jimena Sofía Viveros Álvarez主张反对依赖这些技术来支持目标识别、选择和交战周期，因为它们的风险和低效是不容忽视的永久事实，它们实际上有可能加剧平民的痛苦。

人工智能的军事用途超出了其在使用武力或赋予武器系统自主权方面的应用，例如将其纳入指挥与控制、信息管理、后勤和培训。尤其值得关注的是，人工智能的目标定位系统可以提出军事目标，并向（人类）操作员提供可操作的建议，这与自主武器系统不同，后者可以自行攻击目标。

事实上，美国、英国和北大西洋公约组织的政策制定者已经发布了国防战略，表明数据而非机器人或致命的自主系统将成为未来十年的关键推动因素。

他们认为，人工智能决策支持系统可以产生可操作的情报，从而 “改进 ”目标选择。然而，人工智能系统的有效性取决于其训练数据，因为数据提供了其基本规格。此外，人工智能固有的不可预测性会引发许多问题，对整个国际人道法（IHL）构成挑战，而且人工智能的黑盒问题使人类无法正确理解这些系统的决策过程。因此，当务之急是保持数据质量和出处，并在能够选择和攻击目标的系统中保留人类的判断力，而这在目前是非常困难的，甚至是无法实现的。

人工智能决策支持系统如何影响目标定位？

从广义上讲，目标定位是指交战各方对其控制之外的个人或物体使用武力。根据国际人道主义法，目标选择和交战必须遵循区分、相称、人道和采取一切可行预防措施的基本原则。

然而，在数字时代，由于信息作战越来越普遍，“战争迷雾”，即在战场上保持态势感知的困惑有所增加，非正规战争和城市地区的战斗也是如此。因此，为了保护平民，交战规则要求进行正面识别（合理确定拟议目标的合法性），作为任何攻击的必要预防措施的一部分。

人工智能系统在军事目标定位支持方面的推广者经常声称，这种技术将 “提高 ”军事精确度。尽管如此，必须对这种说法保持警惕，因为将人工智能纳入军事领域会给数据来源和系统所提供信息的可靠性带来不确定性。

训练数据的不足往往会导致偏差、脆性、幻觉、错位、隐私风险和失控，再加上技术的不可预测性，为其在目标识别、选择和交战中的使用带来了各种问题。

例如，数据集缺乏多样性可能导致人工智能系统将不同种族群体的成员作为目标，甚至由于编码的性别偏见而将所有男性平民视为战斗人员。

人工智能的脆性，即在遇到从未见过的数据时无法适应并正确执行，可能导致意想不到的结果，例如，敌方战斗人员非法使用一辆校车或救护车可能触发系统将所有校车和救护车视为合法目标。

“幻觉"是指当人工智能系统感知到不存在的模式或物体时，会产生无意义或不准确的输出。如果再加上战场上的任何意外变化，这可能会导致系统感知到根本不存在的模式，从而将无辜平民作为攻击目标。

此外，错位指的是人工智能将提示或命令的等级排在重要价值或限制之上，这可能会在整个瞄准过程中普遍存在，因为它可能会优先考虑消灭敌方战斗人员这一 “目标”，而不顾对平民造成的任何附带和/或不成比例的伤害。值得注意的是，人工智能的 “预测 ”是基于对过去行为的数据分析，因此缺乏背景和人类逻辑。这有可能使他们无法按照国际人道主义法的适当要求，根据特定时间的情况，正确审查拟议目标是否可以合法地成为攻击目标。

此外，据广泛报道，各国正在集中资源将人工智能应用于国防战略。因此，世界主要军事推动者正在投入大量资源，以在这一领域占据主导地位，从而引发一场事实上的军备竞赛。

大科技公司的领导者们也在积极向各国军队出售他们的技术。这引发了一些担忧，因为被出售的模型很可能已经用以前收集的个人身份信息（姓名、地址、电话或社会安全号码），或者更糟糕的生物识别信息（与个人独有的身体、生理和/或行为特征相关的数据）进行了训练，然后这些信息可能被（错误地）用作 “优化”人工智能军事系统目标定位功能的情报。这将给所有人群带来普遍风险，并大规模侵犯个人隐私。

虽然许多国家，如欧盟的《人工智能法》，对个人数据的处理和使用有严格的规定，禁止在公共场所为执法目的使用实时远程生物识别系统。然而，在武装冲突期间却没有这样的规定，因为 1949 年《日内瓦公约》在制定时并没有考虑到数据，更没有考虑到生物识别技术，这就造成了在武装冲突期间合法使用和处理数据方面的空白。尽管如此，军事人工智能--数据和安全局处理数据的上述风险不可避免地延伸到武装冲突之外，因为其生命周期很可能在武装冲突爆发之前就已开始，例如数据收集或系统训练，其后果甚至在武装冲突解决之后仍可能持续存在。因此，本文认为，在这方面，国际人权法和国际人道主义法并不是相互排斥的制度。

无论如何，军方可能会说，“受益于 ”实时生物识别技术，可以提高识别和瞄准敌方战斗人员的可靠性。然而，由于脆性、幻觉和错位，人工智能系统不可避免地存在缺陷，同样也容易受到黑客攻击和敌方攻击，即旨在诱使人工智能提交错误预测的输入，例如将民用基础设施错误地归类为合法的军事目标。

此外，人工智能系统往往使用合成数据（即计算机生成的数据）进行训练，而非真实数据，因此往往缺乏准确性，因为它只是模仿后者。与此同时，人工智能创建的合成数据集正逐渐被用于训练新模型。这就带来了新的、更加难以解释和难以预测的隐患，因为我们会忽略初始系统为后续系统提供了什么，从而导致黑盒中的黑盒，即 “黑盒2”。

人工智能支持的目标定位：提高精确度还是增加平民伤亡？

尽管存在上述各种风险，人工智能决策支持系统仍被部署在当今战场上，包括用于目标识别、选择和交战，这不可避免地有加剧平民痛苦的风险，特别是在没有必要的人为判断的情况下使用。

首先，在整个目标选择过程中使用人工智能依赖于通过对系统训练过程中使用的数据进行归纳，在模式识别和分类的基础上进行预测。因此，人工智能推荐目标的能力取决于其 “发现 ”人口的可用信息和环境信息与其训练数据之间相似性的能力。这引发了大量的法律问题，因为人工智能系统永远不会是完美的，总是容易 “失败”，尤其是在面对复杂的现实战场时。尽管开发人员尽了最大努力，但这根本无法在实验室中预先设计，因为在 “战争迷雾 ”中存在着无穷无尽的可能情况。

假想一下，人工智能决策支持系统可以通过训练和使用来识别和定位已知敌方指挥官的合作者，不仅通过军事情报监视和侦察，还通过社交媒体连接、照片、拦截通信，甚至经常光顾的网站来监控他们的活动。此后，系统还可以提供具体的可操作建议，例如轰炸目标居住的建筑物。

问题在于，如果人工智能系统认为个人与敌方战斗人员有联系，无论这种联系多么遥远或无关紧要，都可能将其错误地归类为 “目标”。例如，他们可能只是在同一所学校学习过，有共同的联系，或者更糟糕的是，编造出不存在的模式，从而将无辜平民作为攻击目标。

虽然使用武力的最终决定是由人类做出的，但这些人工智能决策支持系统的建议极有可能改变他们的决策过程，因为军事人员 “在时间敏感的人机配置中，通常会优先考虑行动而不是不行动”，而不会彻底核实系统的输出，这就是所谓的 “自动化偏差”。

此外，人工智能的扭曲速度和可扩展性实现了前所未有的 “批量生产目标”，增加了人类操作员出现自动化偏差的风险，将任何形式有意义的人类控制、人机协作或人类认知自主降低到仅仅按下一个按钮。

综上所述，在目标定位决策中使用人工智能对生命的影响可能远远超过自主武器系统，尤其是在城市地区。然而，军方常常把平民伤亡说成是附带损害，声称他们 “相信 ”系统是可靠的，从而逃避责任。

然而，任何自我标榜的 “成功或失败率 ”都可能具有欺骗性，因为一些人工智能系统根据动态数据流以指数级速度学习，不断改变这些波动的 “百分比”。

即使《第一附加议定书》第 36 条要求缔约国对新武器进行法律审查，也可能不足以防止这些错综复杂的技术违反国际人道主义法，因为这些技术并没有被设想用于验证此类支持性模拟，特别是事后验证，这些系统正在进行事前实地测试。无论如何，人工智能支持系统绝对应该像其他任何武器一样严格接受这些法律审查，特别是那些它们打算 “增强 ”的武器，因为将其纳入任何武器系统的核心目标是最终 “增强 ”其自主能力，以一种新颖的方式实现其瞄准目标的关键功能，并在各个层面上对使用武力的决策产生影响。

此外，武装部队经常以国家安全为由，不披露其系统的具体情况，包括用于微调和/或训练这些系统的数据，从而使任何监测或监督尝试徒劳无功。

即使有可能从可靠性和/或可预测性方面证实所谓的低误差率，人工智能以前所未有的速度提供目标的能力仍将导致成千上万的平民生命受到威胁。因此，必须扪心自问--能容忍这些杀戮是 “故障 ”或 “幻觉 ”的产物吗？

结论

作为一种本质上具有双重用途和可再利用性的技术，人工智能系统经常被不同的国家和非国家行为者所使用，这使人们更加关注其除了在军事领域的应用之外，在更广泛的和平与安全领域的影响。

人工智能改造后的目标定位能力是一片未知的水域，尽管有所谓的优势，但这些技术在部署前缺乏适当的测试和审查标准。此外，作为人类活动的结果，这些系统也是有缺陷的，因为它们本质上是不可预测和无法解释的，用于训练它们的数据永远不会是完美的，如果越来越多地使用人工智能决策支持系统会导致战场上的自动化偏差，那么它们固有的风险只会加剧。这就是为什么在任何军事行动之前和整个过程中，有效的人工判断必须是一项硬性要求。

因此，非法或不负责任地使用人工智能来支持军事目标的设定有可能导致毁灭性的结局，这促使联合国秘书长指出，“影响整个家庭的生死决定不应交由冷冰冰的算法来计算”。

正如教皇方济各在今年早些时候宣布的那样，“我们需要确保和维护人类对人工智能程序所做选择进行适当控制的空间：人类尊严本身就取决于此”。

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 国家重点研发计划 \| 装备采办 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 军工百强 \| 试验鉴定 \| 双一流 \| 净评估
前沿科技：颠覆性技术 \| 仿生 \| 脑科学 \| 精准医学 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 脑机接口 \| 传感器 \| 数字孪生
先进武器：无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器 \| 反无人机 \| 防空反导 \| 潜航器
未来战争：未来战争 \| 抵消战略 \| 水下战 \| 网络空间战 \| 分布式杀伤 \| 无人机蜂群 \| 太空战 \| 反卫星 \| 混合战 \| 电子战 \| 马赛克战
前沿机构：战略能力办公室 \| DARPA \| 快响小组 \| Gartner \| 硅谷 \| 谷歌 \| 华为 \| 阿里 \| 俄先期研究基金会 \| 军工百强
其他主题系列陆续整理中，敬请期待……

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 国家重点研发计划 \| 装备采办 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 军工百强 \| 试验鉴定 \| 双一流 \| 净评估
前沿科技：颠覆性技术 \| 仿生 \| 脑科学 \| 精准医学 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 脑机接口 \| 传感器 \| 数字孪生
先进武器：无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器 \| 反无人机 \| 防空反导 \| 潜航器
未来战争：未来战争 \| 抵消战略 \| 水下战 \| 网络空间战 \| 分布式杀伤 \| 无人机蜂群 \| 太空战 \| 反卫星 \| 混合战 \| 电子战 \| 马赛克战
前沿机构：战略能力办公室 \| DARPA \| 快响小组 \| Gartner \| 硅谷 \| 谷歌 \| 华为 \| 阿里 \| 俄先期研究基金会 \| 军工百强
其他主题系列陆续整理中，敬请期待……