专栏名称: 冯仑风马牛

“冯仑风马牛”是冯仑唯一官方公众号。首推全新公路脱口秀和独家专栏，冯仑用“浅入深出”、“似非而是”的方式，聊风马牛不相及之事，与你一起酒后听段子，行走看世界。

问题不在于它们特别邪恶，而在于它们特别强大

冯仑风马牛 · 公众号 · 房地产 · 2024-10-12 08:15

正文

封面图 |《鱿鱼游戏第一季》剧照

北京时间10月11日，特斯拉举办发布会，马斯克乘坐全球首辆无方向盘、无加速和制动踏板的CyberCab进场，这是发布会展示的产品之一，无人驾驶出租车。马斯克在演讲中透露，他期待明年就能在美国德州和加州实现完全无人监督的FSD（完全自动驾驶）。

特斯拉的自动驾驶解决方案基于人工智能和计算机视觉，一旦CyberCab开始大范围应用，这些车辆闲置时的算力又将加速人工智能进化。这意味着，我们离新型信息网络组成的人工智能时代又进一步。

你觉得，所谓的新型信息网络意味着什么？历史学家、《人类简史》作者尤瓦尔·赫拉利认为，这是一种从生物到非生物信息网络的转变，主宰非生物信息网络的硅基计算机能轻松摆脱人类所受的种种限制，这将创造出永远不用睡觉的间谍、永远不会遗忘的金融家和永远不会死去的暴君。目前我们已经深受其影响，但许多人仍未察觉。

获中信出版集团授权，今天我们和大家分享尤瓦尔·赫拉利的新书《智人之上》的部分内容。从中你能看到，为什么「算法官僚」拥有的权力越大，我们面临的问题就越可怕。

来源：《智人之上》

作者：[以] 尤瓦尔·赫拉利

出版方：中信出版集团

1.永远不要第一个停止鼓掌

亚历山大·索尔仁尼琴在《古拉格群岛》中记述的历史，除了涉及苏联劳改营本身，还涉及创建并维持这些劳改营的信息网络。这部作品部分源自他痛苦的个人经历。

第二次世界大战期间，索尔仁尼琴担任红军大尉。当时，他和以前的同学还有信件往来，他偶尔会在信里批判斯大林。为了安全起见，他并没有指名道姓，而是以「那个留着络腮胡子的人」指代。这没什么用。秘密警察拦截并读了他的信。1945 年 2 月，他在德国前线服役时被捕。接下来的 8 年，他是在劳改营里度过的。 索尔仁尼琴许多来之不易的见解与故事对于我们理解 21 世纪信息网络的发展仍然具有重要意义。

书中的一个故事发生在莫斯科省的一次地区党代表会议上，当时正值苏联肃反运动高峰（20 世纪 30 年代末）。会议结束时，代表们要向斯大林致敬，在场代表（当然清楚有人在密切监视他们）掌声雷动，但过了 5 分钟，「手都拍疼了，抬起的手臂也开始发酸，上了年纪的人开始喘不上来气……但谁敢第一个停下来呢？」

索尔仁尼琴解释说，「内务人民委员部的人也站在那里鼓掌，看谁会第一个停下来！」掌声持续不断，6 分钟，8 分钟，10 分钟。「他们在因心脏病发作而倒下之前都不能停手……区领导们强颜欢笑，绝望地面面相觑。他们肯定会一直鼓掌，直到倒地不起。」

终于在第 11 分钟的时候，一个造纸厂厂长豁出去了，停止了鼓掌，坐了下来。其他人立刻照着做。当晚，秘密警察逮捕了那位厂长，判他在古拉格劳改营服刑 10 年。「审讯他的人要他记住，永远不要第一个停止鼓掌！」

这个故事让我们看到一个关于信息网络（特别是关于监控系统）的重要且让人毛骨悚然的事实。 与天真的信息观相反，信息常常被用来创造秩序而非发现真相。 表面上，地区党代表会议上的秘密警察想通过这次「鼓掌测试」来揭示关于代表们的真相，其实就是个忠诚度测试——你鼓掌越久，就越爱斯大林。

在很多情况下，这种假设也不见得没道理，但如果在 20 世纪 30 年代末的莫斯科，鼓掌这件事的本质则变了。正因为代表们清楚有人在监视他们，也知道表露任何一丝不忠会有什么后果，所以他们鼓掌根本不是出于敬爱，而是出于恐惧。造纸厂厂长之所以停止鼓掌，很有可能不是因为他最不忠诚，而是因为他最诚实，或者只是因为他的手最疼。

虽然「鼓掌测试」并没有揭示关于这群人的真相，但很有效率地把一套秩序强加在这群人身上，逼他们一定要遵守某种行事方式。 时间慢慢过去，这套秩序会培养出奴性、虚伪、对他人的不信任与悲观。在量子力学中，光是观察亚原子粒子，就会让这些粒子的行为发生改变。观察人类的行为也是如此：我们的观察工具越强大，可能造成的影响越大。

苏联曾打造了强大的信息网络，收集并处理了大量关于公民的资料，还声称在领导人的正确领导下，对人性有深刻理解。事实上，苏联的信息网络忽略了人性的许多重要方面，并且认为这些政策不会给公民带来磨难。这套信息网络带来的智慧有限，更多的是服务于秩序的建立；它也没能揭示关于人类的普遍真理，反而提出了一个新概念，即苏维埃原人。

苏联哲学家、讽刺作家亚历山大·季诺维也夫定义的苏维埃原人是一群奴性、悲观、不信任他人的人类，无论多荒谬的指令，他们都会遵守，对自己行为造成的结果也漠不关心。苏联的信息网络正是通过监控、惩罚与奖励创造了苏维埃原人。举例来说，该网络把造纸厂厂长送进古拉格劳改营，等于告诉其他在场代表，乖乖跟大家一致是件好事，想当出头鸟则是不明智的。

虽然这套网络并未揭示关于人类的真理，但非常擅长创造秩序，这让它征服了世界的一大片地区。

2.「点赞」的独裁

类似的动态也可能影响 21 世纪的计算机网络，创造出新型人类或新型反乌托邦。一个典型的例子就是社交媒体算法正让民众走向偏激与极端。

当然，这些算法所用的方法完全不同于苏联内务人民委员部，也没有直接的胁迫或暴力。正如苏联秘密警察通过监控、奖励与惩罚创造了顺从的苏维埃原人，脸书与 YouTube 的算法也通过奖励人性里某些基本本能，同时惩罚人性里某些善良的部分，而创造出互联网喷子。

企业在要求算法提高用户参与度的时候，就开始了一个走向偏激与极端的过程，这种情况发生在全世界。

例如，2012 年，YouTube 在全球的总观看时长约为每天 1亿小时。但公司高层还不满足，于是给算法确立了一个充满野心的目标：到 2016 年，这一数据要达到每天 10 亿小时。经过对数百万人的实验，不断试错，YouTube 的算法发现了脸书的算法也掌握的那套模式：只要激起人们的怒火，就能提升参与度，而走中庸节制的路线则行不通。于是，YouTube 的算法开始向数百万观众推荐各种让人惊骇、愤慨的阴谋论，同时无视那些较为中庸、理性的内容。2016 年，YouTube 每天的总观看时长达到 10 亿小时。

那些想博人眼球的 YouTube 主播发现，如果发布满是谎言、让人愤慨的视频，会受到算法青睐，视频会被推荐给大量观众，于是自己的人气会飙升，收益也会增加。相较之下，如果不刺激人们愤怒的情绪，坚持只谈事实，算法常常对他们的作品视而不见。 经过几个月的强化学习，算法让许多 YouTube 主播都成了喷子。

这会造成深远的社会与政治影响。比如，记者马克斯·费希尔 2022年的著作《混沌机器》（The Chaos Machine）就提到，YouTube 的算法成了推动巴西极右翼势力崛起的重要引擎，也把雅伊尔·博索纳罗从边缘人物一路推上巴西总统宝座。虽然这场政治动荡不乏其他诱因，但值得一提的是，博索纳罗有许多主要支持者与助手最初都是 YouTube 主播，他们因为算法的恩赐而得到声誉和权力。

卡洛斯·若尔迪就是一个典型的例子。他在 2017 年还是尼泰罗伊这个小城市的议员。野心勃勃的他靠拍摄煽动性的 YouTube 视频得到国人关注，观看量高达数百万人次。比如，他的许多视频会警告巴西人，要小心老师搞阴谋，洗脑儿童，迫害保守派学生。若尔迪在 2018年以博索纳罗最忠实的支持者之姿，赢得巴西众议院（巴西国会的下议院）的席位。

接受费希尔采访的时候，若尔迪坦言： 「要是没有社交媒体，我不可能站在这里，博索纳罗也不可能当上总统。」 后半句可能有点夸张，但不可否认，社交媒体确实在博索纳罗的崛起过程中发挥了重要作用。

同样在 2018 年赢得巴西众议院席位的 YouTube 主播是基姆·卡塔吉里，他是「自由巴西运动」（Movimento Brasil Livre，MBL）的领导者之一。卡塔吉里一开始以脸书作为他的主要平台，但他的帖文连脸书也觉得过于极端，并将其部分帖文认定为不实信息而移除。于是卡塔吉里转向管制较为宽松的 YouTube。

在圣保罗的「自由巴西运动」总部接受采访时，卡塔吉里的助理与其他一些活动人士向费希尔解释说：「这里有一种我们所谓的『点赞的独裁』。」他们表示，You Tube 主播之所以越来越偏激，并发表一些虚假而不顾后果的内容，「正是因为那些东西能带来观看量和参与度……一旦那扇门打开了，你就永远无法回头，只能越来越夸张……地平论者、反疫苗者、政治阴谋论者在本质上是一样的，他们随处可见。」

当然，并不是 YouTube 的算法编造了谎言或阴谋论，或者创作了偏激、极端的内容。至少在 2017—2018 年，这些内容还是由人类创作的。然而算法所做的，是鼓励人类往这个方向走，并且不断推荐这些内容，以最大限度地提升用户参与度。

根据费希尔的调研，许多极右翼活动人士正是在看了 YouTube 的算法自动推送的视频，才首次对极端主义政治有了兴趣。尼泰罗伊的一位极右翼活动人士告诉费希尔，他本来对任何政治话题都没什么兴趣，直到有一天，YouTube 的算法自动给他推送了一部卡塔吉里发的政治视频。他说：「在那之前，我并没有什么特定的意识形态或政治背景。」 他认为这套算法为他提供了「政治启蒙」。

说到其他人是怎么加入这场运动的，他说：「每个人其实都是这样……大多数人都是因为 YouTube 和社交媒体才加入的。」

3.就把错推给人类吧

我们已经到了一个历史转折点：当下历史的重大进程，有一部分是由非人类智能的决定推动的。正因如此，计算机网络的易错性才变得如此危险。 计算机犯错原本不算什么，但当计算机成了历史推动者时，这些错误就可能带来灾难。

脸书、YouTube、TikTok 等平台的管理者为了找借口，常常会说这些问题不是算法带来的，而是源于人性。他们表示，人性是各个平台上一切仇恨与谎言的源头。这些科技巨头认为，因为他们信守言论自由的价值观，所以审查人们表达真情实感真的很难。

例如，YouTube 原首席执行官苏珊·沃西基在 2019 年解释说：「我们对这件事的思考方式是：『这个内容有没有违反我们的某项政策？是否违反了对于仇恨、骚扰等方面的规定？』如果它确实违反了，我们就会将其删除。其实我们的政策越来越严。当然，我们也会受到批评。言论自由的界限到底应该划在哪里？要是划得太严，是不是就会抹除社会应该听到的某些声音？」

脸书一位发言人在 2021 年 10 月表示：「正如所有其他平台，我们一直得在言论自由与有害言论、安全与其他议题之间做出艰难决定……但像这些社会界限，最好都交给民选的领导者来判断。」

于是，科技巨头不断转移讨论焦点，说自己只是在人类用户制作出内容之后，担任版主这样的角色，很辛苦，而且大多数时候发挥的是积极作用。这让人觉得似乎问题都是人类自己造成的，算法在尽力限制人性恶的一面。 他们却绝口不提自己的算法会主动助长某些人类情绪，同时抑制另一些人类情绪。 难道他们真的没看到这些情形吗？

当然不是。早在 2016 年，脸书的一份内部报告就发现「在加入极端组织的人当中，有 64% 是因为我们的推荐工具才加入极端组织的……我们的推荐系统助长了这个问题」。「吹哨人」脸书前员工弗朗西丝·豪根揭露了脸书在 2019 年 8 月的一份内部机密备忘录，里面提及：「我们有许多不同来源的证据显示，脸书及其『应用程序家族』上的仇恨言论，以及分裂性政治言论与错误信息，正在影响世界各地的社会。我们也有令人信服的证据指出，我们的核心产品机制，如病毒式传播、推荐与提升用户黏性，正是此类言论在脸书平台盛行的重要原因。」

2019 年 12 月流出的另一份文件则提及：「病毒式传播不同于我们和好友或家人的沟通，而是一种由我们带到许多生态系统之中的新事物……这种事之所以发生，是因为我们出于商业目的而刻意推动的。」文件指出： 「以参与度为标准对有较高风险的话题（如健康或政治）进行排序，会导致不正当激励与诚信问题。」

它还提及，或许最致命的一点在于「我们的排序系统包括各种具体的独立预测，不仅预测你可能参与哪些内容，还预测你可能传播哪些内容。遗憾的是，研究显示，让人感到愤慨的内容与错误信息更有可能像病毒那样传播」。这份文件提出一条重要建议：由于平台用户多达数百万人，脸书不可能删除所有有害内容，但至少应该「别再让有害内容得到非自然传播而得到放大」。

正如一些国家的领导人，科技企业正在做的并不是找出关于人类的真相，而是给人类强加一个扭曲的新秩序。人类是非常复杂的生物，良好社会秩序会培养人类的美德，同时减少人类的消极倾向。然而社交媒体算法只把人看成矿井，想要「开采」更多的注意力。人类有丰富的情感，如爱、恨、愤慨、喜悦、困惑，但算法把一切简化成一件事——参与度。

无论是 2016 年在缅甸、2018 年在巴西，还是在许多其他国家，算法在对所有视频、帖文或其他内容进行评分时，只看人们观看了几分钟、分享了几次。能够让人看一小时的谎言或仇恨内容的评分就是高于只让人看 10 分钟的有关真相或令人产生同情心的内容，前者甚至比睡一小时还重要。

即使事实摆在眼前，即谎言与仇恨常常会对心理与社会造成破坏，而真相、同情心与睡眠是人类幸福所不可或缺的，算法也完全不考量这一点。正因为对人类的理解如此狭隘，所以算法创造了一个新的社会系统，鼓励我们顺从人类最基本的本能，同时阻碍我们发挥人类完整的潜能。

随着各种不良影响的日益显现，科技巨头也不断被警告要注意这些影响，但因为它们坚信天真的信息观，所以未能进行干预。明明平台上充斥着各种谎言与骇人听闻的内容，但企业高层还是认为只要让更多的人自由表达想法，真理就会占据上风。

但事态并未如此发展。我们一次又一次看到，如果人们可以完全自由地表达自己，真理常常会败下阵来。想让天平往有利于真理的方向倾斜，网络就必须发展并维持强大的自我修正机制，让说真话的人得到奖励。自我修正机制需要付出相当大的代价，但要是真想得到真理，这是必要的代价。

硅谷以为自己不需要在意这条历史规律，而各个社交媒体平台也一直缺乏自我修正机制。

4.难以解决的一致性问题

我并不是暗示过去、现在和未来，所有假新闻与阴谋论的传播都该由计算机网络负责。YouTube、脸书与其他社交媒体平台都表示，它们从2018 年以来一直在调整算法，希望对社会负起更多责任。这究竟是否属实还很难说，特别是今天连「社会责任」一词都还没有一个清晰公认的定义。 然而肯定能解决的一个问题就是别再为了追求用户参与度而污染整个信息领域。 只要科技巨头真的想要设计出更好的算法，通常就能做到。

2005 年前后，垃圾邮件泛滥严重威胁到电子邮件的使用，当时就研发出强大的算法解决了这个问题。到 2015 年，谷歌声称旗下的网络邮件服务 Gmail 的算法能够成功拦截 99.9% 的垃圾邮件，正常邮件被误判的比例也只有 1%。

我们也不该无视 YouTube、脸书与其他社交媒体平台确实为社会带来的巨大效益。当然，大多数 YouTube 视频与脸书帖子都不是假新闻，也没有煽动种族灭绝。社交媒体确实扮演了重要角色，联结人民，让过去权利遭到剥夺的群体得以发声，组织重要的新运动与社群，也激励人类展现出一波前所未有的创意。

问题不在于它们特别邪恶，而在于它们特别强大

正文

来源：《智人之上》 作者：[以] 尤瓦尔·赫拉利 出版方：中信出版集团

请到「今天看啥」查看全文

来源：《智人之上》

作者：[以] 尤瓦尔·赫拉利

出版方：中信出版集团