来源：theguardian
作者：Philip Ball
编译：刘小芹
【新智元导读】马斯克等116名全球人工智能和机器人领域的专家近日在墨尔本举行的人工智能国际会议上发布联名公开信，呼吁联合国采取行动禁止“杀手机器人”，引发广泛热议。《卫报》发表评论文章，认为劝说国际武器贸易不要制造杀手机器人已经太晚，无异于劝说饮料制造商不要制造橙汁。
关于116名人工智能和机器人领域的专家发布公开信，要求禁止“杀手机器人”（killer robots），一个回应是：你们难道不应该早点想到吗？
特斯拉 CEO 马斯克（Elon Musk）是呼吁禁止杀手机器人的专家之一。“我们没有太多时间准备了”，公开信中说，“一旦这个潘多拉的魔盒被打开，就很难再次关上。”但是，这样的系统可以说早已存在了，例如BAE等开发的Taranis“无人作战飞机”（UAV, Unmanned Aerial Vehicle ），三星制造的 SGR-A1 哨戒炮,已经部署在韩国国界。无人坦克也已经正在研发中，而人类对致命性无人机的控制只是何种程度的问题。
Photograph: Allstar/Studio Canal/Sportsphoto Ltd./Allstar
然而，杀手机器人一直在精神上与我们同在，只不过是以机器人的形式。Karel Čapek 1920年在科幻舞台剧“RUR”（Rossum’s Universal Robots，罗梭的万能工人）中创造了“robot”这个词（在捷克语中的意思是“劳动者”）。他创造的类人机器人，由与剧名同名的一家工厂制造，他们反叛人类，并最终灭亡人类。从 Cybermen 到终结者（Terminator），此类的故事层出不穷。
没有机器人启示录正在逼近的背景，甚至很难去思考马斯克等人签署的公开信所提出的问题。即使人类的灭亡不是处在生死攸关，我们知道的是这些机器可能导致失控，其结果是《机械战警》中OCP公司的机器人警察。
这样的暗示似乎总是引出一些有关致命武器的严肃话题。好吧，所以一个机器人世界末日大决战可能并不完全是空想的，但这些故事，以及它们造成的深刻的人类的恐惧，最终都是娱乐性质的。尽管如此，类似这样的辩论，将科幻电影描述的技术的好和坏两极化，伴随带来的意义在于，只要我们避免真正坏的那些技术，剩下的都是好的。
法律专家对这个问题的认识无疑更加复杂。一方面，他们关心机器人伦理方面的更广泛、而且越来越紧迫的问题；另一方面，这些问题关乎现代战争的性质，以及其商品化。
我们可以怎样令自主技术系统更加安全，更符合道德规范？避免机器人对人类造成伤害是Isaac Asimov的《我，机器人》（I, Robot）这部作品所探讨的问题，这是一部短篇故事集。这部作品对后世造成如此深远的影响，其中提出的阿西莫夫“机器人三定律”现在仍经常被讨论，其认识度几乎像牛顿的运动三定律一般。具有讽刺意味的是，阿西莫夫写的故事主要是关于这么动机正确的定律如何被环境破坏。
无论如何，道德问题很难有一刀切的原则。 历史学家Yuval Noah Harari指出，自动驾驶汽车需要有一些原则来规定它们在面临不可避免、并且可能导致死亡的事故时应该怎样采取行动：机器应该试图保护什么？Harari 说，也许我们会被提供两种模式：利己主义（优先保护驾驶员）和利他主义（优先保护其他人）。
Photograph: Melinda Sue Gordon/Allstar/Paramount Pictures
在2012年人权观察组织一份有关杀人机器人（killer robots）的报告中，包含一些科幻小说般的预想。报告写道：“要区分恐惧的平民和具有威胁性的敌人，需要有一名士兵去了解人类行动背后的意图，这是机器人做不到的事情。”报告还写道：“机器人不会受到人类情感和人类同情心的约束，而这些是避免滥杀平民的重要制约因素。”但第一个论断不够令人信服——机器人可以使用生物识别技术，其判断力或许比用肉眼判断的战战兢兢的士兵更准确。对于第二个，或许某些时候是正确的。但其他时候呢，人类在战争中会强奸和屠杀平民。
我不是要反对这份报告中对自主机器人士兵的恐惧，因为我也是这样。相反，这使我们回到关键的问题，不是关乎技术，而是关乎战争。
我们对战争伦理问题的敏感是非常任意的。人权观察组织的报告说：“完全自主的武器的使用提出了有关责任的问题，这将削弱另一个已确立的保护平民的工具。”这是一个公平的观点，但不可能放到任何一个已达成一致的伦理框架内，核武器在国际上就是合法的。此外，无人机战争，士兵强化技术和法律之间是一个连续统一体，无法分解为“人和机器”。
自动化军事技术的问题与战争本身性质的不断变化密切相关，在恐怖主义和叛乱状态，战争并没有开始和结束的时间点，也没有战场或军队：美国战略分析师 Anthony Cordesman认为：“现代战争的教训之一是战争不再被称为战争。”不管我们怎么处理，都不会再有像诺曼底登陆那样的。
战争一直在使用最先进的技术；“杀手机器人”也同样是。潘多拉的魔盒在钢铁冶炼被发明时就已打开，如果不是更早的话（而且打开魔盒的从来不是女性）。你可以确定的是，肯定有人从中获利。
无论如何，让我们试着遏制住“化玉帛为干戈”的最糟糕的冲动，但劝说国际武器贸易不要制造杀人机器人，无异于劝说软饮料制造商不要生产橙汁。
原文：https://www.theguardian.com/commentisfree/2017/aug/22/killer-robots-international-arms-traders
【号外】新智元正在进行新一轮招聘，飞往智能宇宙的最美飞船，还有N个座位
点击阅读原文可查看职位详情，期待你的加入~
