七十年前，在美国麻省理工学院，有一场著名的对话兆示了我们当下的困境。当时人工智能研究的先驱马文·明斯克宣称：“我们要给机器赋予智慧，让他们有自我意识。”发明文字处理、鼠标的道格拉斯·恩格尔巴特回应道：“你要给机器做那么多好事？那你打算给人类做点什么呢？”
到今天，这似乎已经成了笼罩在所有人类头顶的乌云：从《终结者》到《黑客帝国》，再到《我，机器人》和《西部世界》，无数科幻电影中都描述了一个阴暗的未来——获得了自我意识的机器，将反过来接管人类乃至消灭人类。
近年来，人工智能（AI）的高歌猛进，更使这一幕前所未有地逼近现实，人类会被人工智能奴役吗？
《智人之上：从石器时代到AI时代的信息网络简史》
[以色列]尤瓦尔·赫拉利 著
中信出版社 / 2024-9
尤瓦尔·赫拉利的新著《智人之上》对此相当警惕，并坚信这是很有可能的：人类创造了自己根本不知道如何驾驭的力量，这些新事物一旦逃脱人类的掌控，将反过来奴役或消灭人类。
在他看来，计算机网络所催生的非人类智慧，带来了历史上第一个能够自行做决策、创造新想法的技术，这可能对当下人类社会的秩序和制度都产生颠覆性的影响。
桑斯坦在《网络共和国》一书中早就警告过，网络并不只是一种技术，它的特性会造成“协同过滤”和“群体极化”，让越来越多的人只听到自己的回音，久而久之会使社会运行陷入危机。我们在当下看到的“信息茧房”已经证实了这一点，我们都知道这很糟，但问题是这究竟有多糟？
在赫拉利看来，人工智能的挑战远不止这些，因为那并不只是“又一个工具”，而很有可能掌握人类交流的信息网络，过去的新工具无论多么强大，使用的决定权都握在人类手中，人工智能却首次改变了这一点。
这恰恰是人类文明致命的弱点：“虽然人类能建立大规模合作网络，以此获取巨大的力量，但这些网络的建构方式注定了人类对这些力量的运用常常并不明智。”其结果，一旦我们无法明智地掌控这样的网络，那就有可能会自取灭亡。
人类文明之所以能出现，依靠的就是合作，而合作必须依赖于信息交流，否则任何大型社会都不可能出现。
从这一角度来说，历史上的所有组织形态，从家族、公司到宗教、国家，都依赖于一套成员共同信守的话语——这些联结不同人的话语并不必然是真相，有时只是一个神话。这是一种“主体间现实”：只要成员都信其为“真”，那对他们来说就是真的，而合作和信任也都是在这一默认共识的基础上展开的。
现在问题就在这里：人工智能不但为信息的中央化管理提供了技术支撑，而且它还能自行创造新的想法，通过自主学习，算法能够学会没有写进程序里的东西，也能够自己决定人类高管并未预见的事情。
我们与计算机交谈得越多，透露的信息也越多，最终机器人程序就能不断“投喂”观点，动摇我们的看法，操纵人类社会，“计算机并不需要派出杀手机器人来射杀人类，只要操纵人类扣动扳机就行”（第182页）。
要想避免这样可怕的一幕，最关键之处，就是要具备强大的自我修正机制，不断发现问题解决问题。然而，就像计算机程序中常见的那样，修订bug常常又会带来新的bug：
自我修正机制虽然有利于追求真理，却会让维持秩序的成本大大升高。自我修正机制太过强大，往往会产生怀疑、分歧、冲突与裂痕，并破坏社会大团结的神话。（第104页）
人工智能或许没有改变社会演化的模式，却可能使这种演化朝向危险的方向直奔而去。
这乍看谈的是人工智能和信息网络，实际上忧虑的是现行的社会制度能否、又如何应对这样的冲击。赫拉利凸显了这种危机的紧迫性，却可能夸大了危险程度。
例如，他担忧人工智能赋予那些信息和权力中央化的体制“决定性的优势”，但既然人工智能有潜力奴役全人类，那为什么它只会削弱民主制度下人类的决策权，却会强化单一中心的决策权？他一方面强调人工智能是能够做出决策的自主行为者，但另一方面他似乎又觉得民主制度无法控制它，极权制度却可以很好地控制利用它。
他很担心“硅幕”会分裂人类的计算机网络，塑造出一个个难以互联沟通的信息茧房，但反过来说，在一个多元世界里，相信“世界是平的”不也是一种天真的信念吗？信息茧房固然带来封闭，但那也为多元文化提供了栖身之所，否则我们就可能见证大量小众文化的消失。
尽管那种信息和权力的集中乍看似乎获得了技术的加持，但假以时日来看，这种自我封闭真的能有更强大的内生动力，最终抵挡得过一个生机勃勃的开放网络吗？
不可否认，他的警示确有必要，尤其是技术往往走在社会意识前面，太多人都无法意识到人工智能究竟意味着什么。
三十年前，美国国会议员爱德华·马基就说过这么一句话：“来自华盛顿的好消息就是国会里每一个人都支持信息高速公路的提法，坏消息则是没有人知道它意味着什么。”
这像是在嘲讽政客们的愚蠢，但事实上，任何新生事物都有这样的特性，印刷术起初只是用来给信徒印佛经，根本想不到会催生无数书籍、档案，还发明了纸币；又有几个人能想到，社交软件的聊天工具演变至今，竟然具备了那么多功能，搞得我们生活都离不开它们了？
也就是说，新生事物所带来的影响，是逐步浮现的，没有人能一开始就猜到它最终产生什么样复杂深远的社会后果。
有一点赫拉利说得对：关键在于社会的自我修正机制，而不是出现一点问题就反应过度，恨不得把这危险的新发明扼杀在摇篮里，免得它造成更大的祸患。
不过，他看来非常担忧人工智能的自行演化脱离了人类的掌控，我们本来想得到A，结果得到了B——然而，“非意图后果”为什么不可能是好的呢？事实上，西欧现代化最成功的一点，就是一个开放的网络催生了无数意想不到的机会，哥伦布最初只是想去中国，结果却发现了新大陆。
担心人类的创造物最终反噬，这在西方文化里有着悠久的传统，源于主客体二元对立的逻辑，现代科幻小说的开山之作所描绘的“弗兰肯斯坦怪物”就是这样一个故事，这种忧虑固然有其必要，然而这种“受控的演化”，是否也意味着人类的智能上限会设定技术进步的天花板？
