AI失控！奇点来临？这些看上去就让人爆炸的字眼，在过去几天里，通过媒体和社交网站持续发酵。AI阴谋论甚嚣尘上。
有趣的是，人们对未来AI的担忧和恐慌，竟和100多年前中国的一段历史非常相似。
本文共计2223字，阅读时间4分钟。
本文授权转载自微信公众号创新工场（ID：chuangxin2009）
奇点来临，机器人大反派降生了？
事件起源于Facebook 6月发表的一篇论文。论文描述了他们进行的一项科学实验：训练两个人工智能机器人对话交流，提升谈判能力。
Facebook的研究人员希望通过训练聊天机器人，让它带着“目的”和人类对话。他们给机器人两本书、一顶帽子和三个篮球，让它们通过谈判拿到最多的物品。这个过程中，为了产生数据，机器人做了大量的自我练习，就像AlphaGo左右手互搏练习围棋一样。
这场实验的重点，在于如何使程序进行有效的谈判和沟通。研究人员完成了他们的实验，并且发现，人工智能甚至能够对不想要的东西伪装出兴趣。
论文发布后，实验的重点并没有得到媒体大面积的关注，相反，实验过程中的一个小瑕疵，引发了媒体和大众的狂欢。
聊天机器人Alice和Bob在实验中意外产生了让人看不懂的对话。它们使用的虽然是英语单词，但在语法上没有任何意义，看起来像是一堆乱码。
Bob:I can can I I everything else.
Alice:Balls have zero to me to me to me to me to me to me to me to me to.
翻译过来是：
Bob：我能能我我所有其他事。
Alice：球没有对我对我对我对我对我对我对我对我对。
The Atlantic《大西洋月刊》首先关注到这件事。在6月15日当天的报道中，使用了标题 “Artificial Intelligence Developed Its Own Non-Human Language”（人工智能发展出了自己的非人类语言）。
The Atlantic报道
之后，Fast Co. Design和Digital Journal发表文章，强调研究人员在发现AI机器人不再使用常规英语后，紧急“关停”了这一项目。
Digital Journal报道
随后一周里，这些报道在各个科技网站以及新闻网站上逐步扩散。英国媒体《每日电讯报》、《镜报》等新闻媒体也发布了诸多相关的夸大报道。《太阳报》则说，专家在Facebook的AI发展出自己的语言后发出警告，“机器人智能非常危险”。
这些报道在网络上引发了公众的兴趣。在Facebook主页的相关新闻下，留言中大量出现《终结者》、《复仇者联盟》中的“奥创”等人工智能机器人大反派的名字。大家都在猜测，传说中的奇点是不是已经到来了？
新闻引发网友热议
聊天机器人会“失控”？
埃隆·马斯克可不这么想
传言持续发酵，让几位参与项目的Facebook研究人员坐立难安，不得不出面澄清。
Dhruv Batra称这些断章取义的报道是“标题党并且不负责任”。他在Facebook上发文称：
虽然对外界人士来说，AI机器人发明了自己的语言这样的说法可能令人担忧并且意外，但其实这是AI研究中一个发展相对成熟的副领域，相关文献可以追溯到几十年以前。
简单来说，在尝试完成任务时，机器人经常会采用一种更为复杂曲折的方法以获得最大化的奖励。对奖励函数进行分析，更改试验参数，并不意味着“切断电源”或者“关停AI”。不然，每当AI研究人员在机器上终结一项任务时，都可以叫做“关停AI”。
Dhruv Batra在Facebook发表澄清
实验初期本来是允许机器修改语言的。研究人员为系统设置激励条件时，告诉它们“请用英文”，但并未告诉它们 “请用英文语法”。结果两台机器不管语法，将语言过分修改，产生了很多无意义的对话。发现后，研究人员便关掉了修改语言的选项，然而这并不是“关停AI”。
