━━━━━
捷克作家卡雷尔•恰佩克（Karel Čapek）在1920年创作了剧本《罗森的万能机器人》，其中首次提出了“robot”（机器人）一词，剧目开场就是人造人（即标题中的机器人）在工厂辛苦劳作，生产低成本商品。结局是这些机器人消灭了全人类，从而产生了经久不衰的科幻小说情节：机器人失控，变成不可阻挡的杀戮机器。20世纪的文学和电影描绘了机器人对世界造成严重破坏的多种场面，好莱坞还将这一主题拍成大片，例如《黑客帝国》《变形金刚》和《终结者》。 最近由于技术的发展，包括人工智能和机器人技术的重大进步以及无人战斗机和地面机器人在伊拉克和阿富汗的广泛使用，引发了对这些科幻内容转变为现实的恐慌。目前，世界最强大的军队正在开发更加智能的武器，且都具有不同程度的自主性和杀伤力。其中绝大多数会在短期内实现远程人工操控，由决策者控制扳机。但很有可能——也有人说是不可避免——未来的人工智能武器最终将实现全自主操作，形成战争史上的一个分水岭：第一次由芯片与软件的组合体来决定一个人的生死存亡。
━━━━━
毫不奇怪，“机器人杀手”的威胁引发了一场激烈的辩论。辩论的一方担心机器人武器可能会掀起一场世界大战，摧毁文明；另一方认为这些武器从根本上说就是一种新型的精密制导武器，会减少而不是增加伤亡。12月份，将有100多个国家的代表齐聚日内瓦参加联合国裁军会议，讨论这个问题。
去年，人工智能领域的一些主要研究人员联合呼吁禁止“超越人类实际控制的攻击性自主武器”，这一话题吸引了全世界的目光。这些研究者在一次重要的人工智能会议上提交了一封公开信，信中提出这些武器将导致“全球人工智能军备竞赛”，并会被用于“暗杀、破坏国家稳定、镇压平民和选择性屠杀特定族群”。
这封信有超过2万人签名，包括物理学家斯蒂芬•霍金和特斯拉首席执行官埃隆•马斯克等领军人物。去年马斯克向一家位于波士顿的机构捐赠了1000万美元，这家机构主要致力于“保护生命”免受可能出现的恶意人工智能的威胁。公开信的牵头学者包括加州大学伯克利分校的斯图尔特•罗素（Stuart Russell）、麻省理工学院的麦克斯•泰格马克（Max Tegmark）和澳大利亚新南威尔士大学的托比•沃尔什（Toby Walsh），他们在IEEE Spectrum网站上发表了一篇文章，详述了他们的论点，在一个场景中假设“黑市上出现了低成本的大规模杀伤性微型机器人，这些机器人可由某个人部署，按照行凶者指定的条件，匿名杀死成千上万的人”。
他们补充说：“自主化武器是潜在的大规模杀伤性武器。虽然有些国家可能不会选择将其用于上述目的，但一些其他国家和恐怖分子可能会觉得这是难以抗拒的诱惑。”
━━━━━
要说积极创建智能化、自主性和高机动性杀人机器的新型军备竞赛能够很好地符合人类的最佳利益，这未免太过牵强。然而，不管争辩的结果如何，人工智能军备竞赛都已在进行之中。
自主武器已经存在了几十年，虽然使用数量相对较少，且几乎完全用于防御目的。例如许多美国海军舰载的“密集近防御系统”（Phalanx），这是一种计算机控制的雷达制导火炮系统，可自动探测、跟踪、评估并向它判断会构成威胁的来袭导弹和飞机开火。开启全自主模式时，无须人工干预。
最近，军火商开发出了首个攻击性自主武器。以色列航空工业公司的“哈比和哈洛普”无人机可自动追踪敌方防空系统的无线电发射，并通过撞击摧毁目标。该公司表示，这款无人机“已卖给了世界上许多国家”。
在韩国，国防承包商DoDAAM Systems公司开发了一款哨兵机器人，称为超级盾二代（Super aEgis II）。这款机器人配有机枪，可利用计算机视觉自动检测并向3公里范围内的人类目标射击。据报道，韩国军方已在韩国与朝鲜接壤边境的非军事区对这些武装机器人进行了测试。DoDAAM声称已向其他国家政府出售了30多台，其中包括中东的几个国家。
如今，机器人武器（如无人机）的数量大大高于此类高自主性系统。机器人武器几乎始终在人类操控下，向目标射击时尤其如此。但一些分析师认为，随着未来战争的发展，武器的自主程度将会越来越高。
华盛顿的一家非党派研究机构New America的机器人战专家彼得•W•辛格（Peter W. Singer）说：“战争将会截然不同，当速度成为关键时，自动操作将发挥作用。”他预测，在未来的作战中，例如无人机空战或机器人船与敌方潜艇之间发生碰撞，具有瞬间快速反应优势的武器会让战事全然不同。“这也许是一场没有留给人类决策时间的高强度正面对抗，因为它将在几秒钟内就结束。”
美国军方在无人系统的路线图中详细介绍了针对这种新型战争的一些计划，但将此类系统武器化的意图很含糊。在今年3月的《华盛顿邮报》论坛上，美国国防部副部长罗伯特•沃克（Robert Work）强调了投资人工智能和机器人研究的必要性（他的工作在某种程度上就是确保五角大楼与时俱进，紧跟最新的技术）。他称，战场上越来越多地使用自主系统“是必然的”。
当被问及自主武器时，沃克坚称，美国军方“不会将决定生死的权力交给一台机器”。但被追问这个问题时，他补充说，如果遇到“更愿意把这种权力交给机器的对手……我们不得不作出对我们而言最有利的决定。我们还未完全考虑清楚，但已花了很多时间思考这个问题。”
俄罗斯和中国也采用了类似的策略，开发陆地、海洋和空中的无人作战武器系统，但是，至少在目前仍依靠人类操控。俄罗斯的Platform-M是一款小型遥控机器人，其配备了卡拉什尼科夫自动步枪和榴弹发射器，与美国的Talon SWORDS陆地机器人相似，Talon SWORDS携带一杆M16突击步枪和其他武器（美国陆军在伊拉克对其进行了测试）。俄罗斯还建造了一辆更大型的无人战车Uran-9，装配有30毫米机关炮和反坦克导弹。去年，俄罗斯总统普京观看了俄罗斯一款人形作战机器人的表演，表情看上去似乎有点困惑。（在展示后发布的视频中，机器人驾驶着一辆全地形车，速度只比孩子骑三轮车略快。）
中国不断研发的机器人武器包括大量的无人攻击机和侦察机。CH-4是一款长续航无人机，类似于美国军方使用的“捕食者”（Predator）无人机。神鹰是一款高空无人机，目标是猎捕隐形轰炸机。中国还在军用贸易展上公开展示了一些装配机枪的作战机器人，类似于Platform-M和Talon SWORDS。
这3个国家在机器人武器方面所采用的做法（即不断提高自动化程度，同时强调人类继续发挥作用）表明了禁止全自主武器面临的一个重大挑战：禁止全自主武器不一定适用于“近自主”武器。所以军队完全可以开发由人类操控并可随时通过软件实现全自主的机器人武器。耶鲁大学伦理和技术专家温德尔•瓦拉赫（Wendell Wallach）推断：“针对机器人武器来制定军备控制协议会非常难。”他在最近的一次会议上说：“自主武器系统与非自主武器系统之间的区别可能只是一行代码。”
━━━━━
在电影中，机器人往往会突然出现很高的自主性和感知力，让人类措手不及。但在现实世界中，虽然最近机器学习有了长足的进步，但机器人自主能力方面的进展却一直很缓慢。预计自主武器将会出现同样的情况。
位于华盛顿的政策研究机构——新美国安全中心的未来战争项目负责人保罗•斯查瑞（Paul Scharre）说：“很多时候，人们一听到‘自主武器’，都会想到《终结者》那样的场景，并会说‘我们究竟做了什么？’但这可能是军队在使用自主武器时的次选方案。”他补充说，机器人武器的目标更有可能会是雷达、坦克、舰船、潜艇或飞机等军事目标，而非人类。
目标识别（确定瞄准的是否为敌对目标）是人工智能武器面临的最严峻的挑战之一。飞机和导弹等移动目标具有一定的运动轨迹，可跟踪并有助于决定是否将其击落。这就是美国海军密阵式自主机关炮以及以色列“铁穹”（Iron Dome）反火箭炮拦截系统的运作方式。但是当瞄准的目标是人类时，识别标识会更加微妙和精细。即使在理想的条件下，对人类来讲常规的对象识别和场景识别任务，于对机器人而言都可能是极其困难的。
计算机很容易识别人类的外形，即使人类目标在悄悄地移动。但算法却很难理解人在做什么、他们的肢体语言以及面部表情所代表的意图。那个人举起了步枪还是耙子？那个人是携带了炸弹还是抱着婴儿？
斯查瑞指出，由于要面对太多的挑战，机器人武器可能无法自己锁定目标。他说，出于安全、法律和道德方面的考虑，制定人类与机器人合作的作战战术和技术仍将是最佳方案。他说：“军方可投资于先进的机器人及自动化技术，同时保证人类的目标决策权，以确保万无一失。因为人类能够更加灵活地适应计划外的新情况，尤其是实战中敌方试图击溃、欺骗和破解己方系统的情况。”
那么，韩国哨兵机器人制造商DoDAAM对这些机器人的致命自主权施加限制就不足为奇了。按照目前的配置，在人类确认目标并命令炮塔射击之前，机器人不会射击。去年DoDAAM的一位工程师告诉英国广播公司：“我们最初的设计中有一个自动射击系统。但是，所有客户都要求部署安全保障系统……他们担心机枪会犯错误。”
其他专家认为，确保自主武器不犯致命错误（尤其涉及到平民时）的唯一方法，就是对这些武器进行相应编程。佐治亚理工学院计算机科学家罗纳德•C•阿金（Ronald C. Arkin）说：“如果我们愚蠢到继续在战场上自相残杀，如果越来越多的权力会被交给这些机器，我们能否至少确保其行为方式符合伦理道德？”
阿金认为，自主武器就像人类士兵，应该遵循交战规则以及战争法，包括旨在保护平民以及限制武器类型和数量的国际人道主义法。这就是说我们应该秉持某种道德标准对自主武器进行编程，帮助其在不同的情况进行操作，并从根本上明辨是非。软件中需要有某种道德导向。
在过去的10年中，阿金一直在研究这种道德导向。他在机器道德领域应用数学和逻辑工具，将高度概念化的战争法则和交战规则转换为计算机能够理解的变量和操作。例如，一个变量说明了道德控制器能够确定目标是敌人的信心有多大；另一个是包含真假两个值（允许还是禁止使用致命武力）的布尔变量。最终，阿金设计了一套算法，能够利用计算机模拟和极其简化的作战场景（例如，旷野中无人机与一群人类士兵作战）来检验他的方法。
阿金确认，这个由美国军方资助的项目是对概念的验证，而不是对实际控制系统的实施。但他认为，结果表明，作战机器人不仅能够遵循人类必须遵循的规则，而且可以做得更好。例如，机器人在使用致命武力方面比人类更加克制，只有在被袭击时才会还击。或者，如果平民在附近，它们可以完全不采取行动，即使这意味着被毁灭。机器人也不会紧张、沮丧、愤怒或恐惧，而所有这些情绪都可能影响人类的判断力。所以至少在理论上，机器人士兵可能超越人类，因为激战中人类士兵常常——有时甚至是不可避免地犯错。
阿金说：“使用机器人的结果是可能挽救人类的生命，特别是被困战场的无辜民众。如果这些机器人能做到这一点，那么在我看来，从道德角度讲我们有必要使用这些机器人武器。”
━━━━━
无须多说，这种意见并没有达成共识。自主武器批评家坚持认为，鉴于这些武器正在悄然出现，必须抢先一步予以禁止。“人权观察”组织的宣传总监、阻止杀手机器人运动（各人道主义团体的联盟）的全球协调人玛丽•韦勒姆（Mary Wareham）说：“没有一种单一的武器系统是我们可以指着说‘啊哈，这是杀手机器人’的。因为我们谈的是多种武器系统，操作方式各不相同。但令我们担忧的是这些武器有一个共同点，即它们的瞄准和攻击功能缺乏人类控制。”
近5年来，联合国不断举行有关致命自主机器人的讨论，但各会员国一直无法达成一项协议。2013年，联合国人权特别报告员克里斯托夫•海恩斯（Christof Heyns）起草的一份报告颇具影响力，其中指出，在自主武器得到充分开发前，世界各国难得有机会讨论这种武器的风险。如今，在参加了联合国的几次会议后，海恩斯说：“如果回头看，在一定程度上我是颇受鼓舞的；但如果向前看，我认为如果不快点采取行动，就会遇到问题。”
今年12月将举行联合国《特定常规武器公约》五年期审查会议，致命自主机器人的议题将被列入议程，但会上是不太可能批准禁令的。这样的决定需要所有参会国家达成共识，但对如何应对将出现的大规模自主武器，各国还存在根本分歧。最后，“杀手机器人”的争论似乎更多地关注人类而非机器人。自主武器就像其他技术一样，至少一开始是这样：可以被精心、慎重地部署，也可能是混乱、灾难性的。人类或居功或承担责任。所以可能不该问“自主作战机器人是否是一个好主意？”而应该问：“我们是否足够自信，能信任参与到我们生活中的机器人？”
作者：Erico Guizzo，Evan Ackermanv
2030年的电网
脑机接口 心想事成
反思计算机科学入门课程
