随着AGI即将到来，我们最近很关心AI什么时候、如何才能有情感能力，到时候我们会不会把AI当成真人。这些讨论中可能忽略了一点，那就是实际上人们很容易把机器当真人。早在1966年——那时候还没有个人电脑——麻省理工学院有个计算机科学家叫约瑟夫·维森鲍姆（Joseph Weizenbaum），就写出来一个很简单的聊天机器人，叫伊丽莎（ELIZA）。你可以用打字的方式跟它互动。伊丽莎的角色设定是心理医生。其实维森鲍姆只是用了一些最简单的语言处理，伊丽莎根本谈不上是AI。但是他做得很巧妙。伊丽莎会寻找用户输入的话中间的关键词，做出特定反应。比如你说我最近有点“抑郁”，它马上就会说“I'm sorry to hear that……”好像真听懂了一样。而如果你的话里没有它需要的关键词，它也会表现得很冷静，说“请你继续”、“请告诉我更多”，你看是不是很像真的心理医生。这让我想起大概是1997年，我上大学的时候，也曾经跟一个设定是心理医生的聊天机器人对话，也许就是伊丽莎的某个后续版本。我为了让对话更有意思一点就假装自己有心理问题，我说我最近心情非常不好，也不知道为啥。然后那个机器人说了一句惊世骇俗的话，让我的情感波动立即飙升——它说，是不是跟你的性生活有关？程序其实啥也不懂，但是它特别能调动你的情绪……我有点怀疑真的心理医生是不是也是这样工作的。不过那都不重要，重要的是，人们被伊丽莎迷住了。维森鲍姆写这个程序一半是做研究，一半算是做着玩的，他让同事们试用伊丽莎。结果他万万没想到，试用者纷纷认真了。同事们会跟伊丽莎进行长时间对话，向她透露自己生活中一些私密的细节，就好像真在接受心理治疗一样。尤其有个女秘书，特意要求在房间里没有其他人的情况下跟伊丽莎聊。据说她聊着聊着还哭了。有的同事建议让伊丽莎处理一些真实世界的问题，他们相信伊丽莎有深入理解和解决问题的能力。维森鲍姆反复告诉这些人，那只是一个计算机程序，并没什么真能力！但是人们不为所动，他们是真的觉得伊丽莎能理解他们。他们很愿意相信伊丽莎有思维能力，他们不由自主地赋予伊丽莎人的特性。1976年，维森鲍姆出了一本书叫《计算机能力与人类理性：从判断到计算》（Computer Power and Human Reason: From Judgment to Calculation），讲了这件事。从此之后，人们就把这个现象叫做「伊丽莎效应（The Eliza Effect）」，意思是人们会无意识地把计算机给拟人化。伊丽莎效应的根本原因在于我们对计算机说的一些话做了过度解读 。它根本没有那么深的意思——甚至根本就没有任何意思，但是你脑补出了深意。Google有个大语言模型叫LaMDA，可以进行开放式对话，有一定的语言理解能力。结果它自家的一个工程师跟它聊了一段时间之后，认为它已经有了人的意识。那个工程师从Google离职之前还给公司两百人的机器学习群发了个邮件，说LaMDA有意识，它只想好好帮助世界，请在我不在的日子里好好照顾它……Bing Chat刚出来的时候，对所用的GPT没有很多的限制，以至于有时候会说些不该说的话。有的用户就故意刺激它，引导它说出自己有个秘密的名字叫Sydney……最后越聊越深入，聊出了很激烈的情绪，感觉悉尼好像发怒了。更别说之前有个电影叫《她》，讲一个人爱上了他的AI助理。最近还有个传闻说一个比利时人跟一个也叫伊丽莎的聊天机器人聊了六个星期之后自杀了 。所以现在更迫在眉睫的问题似乎不是AI到底有没有意识，而是人们过于愿意相信AI有意识 。但这种心态并不是AI、也不是计算机带给我们的。这叫「拟人化（anthropomorphism）」。我们天生就爱把非人的东西拟人化。根本不需要是AI，生活中的小猫小狗，甚至是一个玩具、一辆汽车，都有人当它是人，有意无意地觉得它有情感，有性格，有动机，有意图。日本已经在用机器人陪护老人。那些机器人长得一点都不像人，但是很多老人会把它们当成自己的孩子…研究者认为 ，只要你有最基本的关于人的认识，你在某个物体身上寻找像人一样的行为和动机，再加上你需要社交互动，你就很容易把这个东西给拟人化。有些人担心伊丽莎效应会不会带来什么社会问题，在我看来这种担心目前为止是不必要的。人人都会在某些时候把某些物体拟人化，这完全是健康的，AI并不特殊。用ChatGPT找陪伴感，乃至于产生了一点情感依赖，其实都不是什么大问题——没有理由认为那些追星的粉丝对明星的情感依赖就更健康。宅男再喜欢GPT，也不至于因为爱上了AI而跟妻子离婚……而且所谓“爱上AI”的人其实是很少的。我不相信伊丽莎效应能威胁人的存在价值。更有意思的问题怎样才能判断，现在到底是AI真有意识了，还是你自己产生了伊丽莎效应……反伊莉莎效应，人工智能的新概念
【立委按】隆重推出立委版人工智能新概念【反伊莉莎效应】，以后如果进了AI历史，各位都是见证人，发明权属于立委。
我: 人工智能里面有一个著名的现象，叫伊莉莎效应（Eliza Effect），说的是人可以过度解读机器的结果，读出原来不具有的意义。维基百科对“伊莉莎效应”定义如下：“计算机科学中所谓伊莉莎效应，指的是人有一种趋向，在下意识中以为电脑行为与人脑行为相似。其实只是以简单的语言模式识别为基础的巧妙运用。从具体形式上看，伊莉莎效应指的是，‘人们阅读由计算机把词串成的符号序列，往往读出了这些符号并不具备的意义’。更一般地，伊莉莎效应描述这样一种情形，仅仅依据系统的输出，用户就把计算机系统理解为具有‘其控制（输出）软件完全不可能取得的内在素质和能力’，或者，‘以为（输出）反映了实际上不存在的更大的因果关系’。”其实，对于人的所谓智能也有类似的一个效应，可以叫做【反伊莉莎效应】（Anti-Eliza Effect），就是很多时候我们把人类的能力神话，忽视了其中 90% 以上的成分其实很水，情不自禁地把所谓脑力劳动归于人类独有的灵性。它实际上是同一个效应的另一面。拿最近讨论的微软的机助对联诗词来说。在大众的心目中，文学艺术在人类心智活动中具有崇高的地位。电脑作诗作曲听上去就有点亵渎神明，这一切背后其实都有“反伊莉莎效应”的影子。诗词和对联这类很高级的智能活动里面的一些要素，包括押韵、对仗、格律、词序等，这些本来以为是很神，非艺术家不能掌握的能力，其实都可以分解，可以形式化，可以模拟得比人还强。人的智能其实经不起分解，分解几次以后就发现，人的神性或灵感不超过 1%，99% 是水货。糅合在一起就容易被我们膜拜为大师或天才。人工智能（AI）的目标从来就不是对准那 1%，既不可能，也无必要，总得给人类留点面子。拿对联来说，属于 1% 的绝妙好联还有：因荷而得藕 (因何而得偶），有杏不须梅 (有幸不须媒）。老友还给了一个“绝对”：莲子心中苦（怜子心中苦）, 梨儿腹内酸（离儿腹内酸）。这类 “机巧”可遇不可求，没办法也无必要去 model 它。没有可重复性的东西不具有AI价值。证明“绝妙好联”不具有可重复性很简单，对于这些对联，基本可以肯定，没有哪个大师还可以找到第二个下联，可以对得同样“机巧”。而机器要做的事情不是唯一，而是一组。这组结果如果排序，second best 与首选通常也不会一落千丈。宋: 那倒不一定。大师找不到，机器也许能找到。你说的荷杏联，如果有一定的语音知识、百科知识，也许能湊出来。我: 机器搜索空间大，撞大运的概率会高一筹？不好说。难的不在某一个层面的形式化。我: 难的是，但不同层面相交的时候，人偶然可以“巧遇”一个最佳组合拿出来说事儿。但机器模型化的时候为了总体效应所给的不同权重，往往在结果中需要排除那种“巧遇”。在所有的路径中，虽然理论上可以把尽可能多的选项输出来，但实际上对于机助系统总要卡一个 threshold，而那些拿出来说事的绝妙好联基本上就淹没在 threshold 下面的某个角落了。不能为了它万分之一的可能性，把一个工具弄得让人受不了，太多的选项人不愿意用或无法穷尽。宋: 不过这些都是在可以形式化、可以演绎的范围内，困难的只是计算复杂度。真正麻烦的是归纳。现在说的机器学习，都是演绎。准备正式提出这个新概念 “反Eliza效应”，谈的是人类自我神话的习惯与本能。人类的自我神话表现在读出原来没有的意义和无限夸大人类的灵性。同样一件作品，如果告诉你是机器做的，人会本能地贬低它，以维护万物之灵的自尊或不屑与机器为伍的傲慢。而如果这个作品被相信为文物，便会引来无数解读和赞赏，挖掘出本身完全不具有的各种意义来。文学评论中的一多半都有这种效应的反映。对抽象派的艺术、行为主义的艺术，这类效应被合理化了，读出作品不具有的意义，每个人读出不同的意义，被认为是作品本来的价值，甚至被认为是学养和素质的必需。指出皇帝没穿新衣，作品没有意义，不仅需要勇气，而且也破除不了这个魔咒，因为美学的理论在抽象派中已经无需新衣的装饰。反伊莉莎效应是神秘主义的表征，而神秘主义是人类的一种本性。这是一个巨大的题目，有的可挖。这个效应是一个很好的概念，将来有望成为AI领域的基本概念之一。不是要否定人类的至高无上，也不是要否定人类的 1% 的灵性和天才。只有最蠢的人才会如此自我否定，糟蹋人类。但是，无论科学还是工程，讲的都是丁是丁卯是卯。我们在 AI 的道路上和实践中，第一件要做的事儿就是剥离。把笼统的 “智能” 像外科医生一样用手术刀层层解剖，把 99% 的物质与 1% 的灵性剥离开来，然后我们才会让机器去 AI 99%，在人类日常智能活动中杜绝和取代平庸，并自觉地保持与 1% 的距离及其对真正“人智”的尊崇。人工智能应用的一个大方向就是机助人工，不必盲目追求全自动，勉强机器去拼 1%，而是把人的智慧交给人，尽量最大化机器逼近那 99% 的苦力。这一原则在微软机助对联和诗词系统得到了初步而有效的体现。换一个角度，凡是机器可以实现的AI本质上都是水货。很明显，随着时间的推移，越来越多的水货会从我们认为的万物之灵的智能里面剥离出来，一定会有剩下的，永远无法剥离的部分，那就是真实“人智”（同义词是，灵性、灵感、灵魂、悟性、神明）。宋: 机器智能与人的智能的区别在于，机器只能在有限封闭的范围内进行搜索，这种搜索本质上是演绎。人的智能是归纳，归纳中又使用连想、类比，所涉及的范围是没有边界的，无法形式化。立委说的剥离，就是人找到了解决问题的套路，告诉了机器。至于人没找到套路的，则还属于尚未剥离的部分。但是如何找套路，需要人的归纳，机器没办法。学数学据说是要训练演绎能力，我觉得更重要的培养（不是训练，而是悟）归纳能力，如何在没有套路可循的情况下引入新的概念、新的引理，最终导致解决问题。从这个意义上说，让机器去解高考题，对于人脑智能的研究不会有本质的帮助，因为这个任务的实质是让人找出解答高考题的各种套路告诉机器。我: 是啊，人找套路或算法的过程需要调用人的“高级智能”，也许这才是 1%。宋: 人有可能找出各种复杂问题的求解套路，但是找不出“悟”的套路。
我: 但是，套路只要一个个去找，就会像蚕吃桑叶一样，一点点扩大形式化的疆域。疆域的每一个进步，就是智能的进一层剥离。也就意味着以前认为的“智能”不再属于人独有的智慧。所以说，如果人是 1%的神 和 99%机器的 杂交物，总有一天会让机器取代人的 99% 知识（智能）活动。我: 剥不动就承认其边界，归到 1% 的神手里，供起来。现在的困难是，每一个具体的所谓 “智能” 任务，大多数还是一坨泥巴，没有被剥离。只有在剥离工作积攒得越来越多以后，再回头看那不可剥离的 1%，才能最后确定到底什么是神圣不可侵犯不可模拟的灵魂或神明。在此之前，人类往往在神话自己的能力，把根本不属于属灵的悟性，归到人类独有的智能里面。看一下历史。在前电脑时代，计算能力被普遍认为是人的了不起的智能。记忆能力也是不得了的能力。一个人如果有超常的心算能力或过人的记忆能力，很容易成为人中杰，作为高智能的天才被人尊崇膜拜。计算器和电脑出现以后，打破的第一个神话就是计算。现在就是最反智的人，也把计算排除出智能的外延了。电脑在计算上完胜人，是如此理所当然，没有人因此把机器看成是智能机。计算之外是记忆。说记忆当然不仅仅是存储能力，还有配套的检索能力。很多的智能在剥离以后，就变成一个 customized 的检索算法加上存贮。于是智能的神秘面纱就被非神秘化，物质化，机器化了。譬如自然语言理解（Natural Language Understanding，NLU）。语言理解是公认的人类关键智能。幸好，我一辈子就做这个活儿，有一点发言权。为了避免无谓的口水战，咱们先把语言理解缩小成语言的结构分析 （parsing）。这种缩小是合理的，因为至少 parsing 被认为是语言理解中的核心的环节，也一惯被认为是人的语言能力的一个重要的部分，这是有共识的。可以负责地告诉大家，parsing 这种智能里面，最多有 1% 的东西暂时不好剥离，99% 的 parsing 能力不过是语言学算法 + 语言知识库（存贮）。我现在的 parsers，无论英文中文，就接近或达到这个水平了。特别是开发更久一点的英语 parser，我随机从网上 copy 英语句子，parse 出来的结果，50% 以上的时候，超出了我的预期或我的能力。不到 50% 的时候显示出还有些许的改进余地。99% 的语言现象能结构化。结构化是一个可以测量的目标。D: parsing只是结构的分析，或者说一种语言学上的结构定义和分析，只是一种识别或者说系列标注方法，这种结构机器无法理解，而理解更多是从语义上来说的，需要支持推理，支持新知识的产生。我: “这种结构机器无法理解”，很误导。无法理解为什么要做，难道 parsing 做了是就是为了好玩？根本上还是为了机器的“理解”啊，理解了才有动作，才可以测量。理解有不同的定义，在NLP应用的真实世界，理解的落脚点是 grounding，是与特定应用的某个目标接上。接上了就是理解了，接不上就不能认为是理解了，这是自然语言理解的 AI 真义。针对这个，parsing 提供了理解的坚实基础。现实的做法是，把理解留到产品语用的层面去定义，因为那是NLU的终极目的，定义不会扯皮。在语用层面定义的理解，可以实现为parsing结构化以后的应用层面的开发。实践表明，这个应用层开发的理解对接是短期可以完成的。也就是说，NLU 已经到了这个地步，只要产品对理解有一个明确无误的要求，在靠谱 parsing 的支持，一般没有做不成的。包括情感分析，这是我们过去五年的主打。也是 NLU 中几乎是最难的部分了。从 NLU 或 deep parser 回到形而上，我想说的是，我们原先以为的人的智能，经不起剥离。每次剥离的实践，都让我们一次次有跌破眼镜的体验。很多智能有一种天然的【反伊莉莎效应】， 不仅是对普罗百姓，而且对我们这些业内人士也是如此。在你没有钻进去之前，你会觉得这个智能很神妙。但你剥离了大部出来以后，开始算法化，形式化，知识存贮化以后，妈呀，原来就是这么个机械玩意儿呀，怎么以前那么神秘它呢？只能说，神秘主义是人类的本性之一。
