【新智元导读】
当谷歌的Gemini建议给比萨加胶水时，网友尚能发挥娱乐精神玩梗解构；但当LLM输出的诽谤信息中伤到到真实人类时，AI搜索引擎的未来是否值得再三思量？
ChatGPT问世已经过去了将近两年的时间，我们对这项技术也逐渐祛魅，逐渐习以为常。
相信现在使用LLM的用户大多都是出于「提升生产力」的需要，很少有人找模型纯聊天，我们也逐渐忘记了它们的输出可以有多「疯狂」。
时间回到2023年2月，OpenAI刚刚更改了自己的时间线，紧急推出ChatGPT；微软也迫不及待地用上了最新的GPT模型。
LLM集成的聊天机器人Bing Chat就这样「赶鸭子上架」了，紧急得似乎还没有做好护栏。
内测刚开始时，《纽约时报》记者Kevin Roose还对Bing大加赞赏，专门写了一篇文章表达自己的赞叹之情。
Roose甚至表示，初次试用Bing的体验，让他回想起了初遇谷歌搜索时的兴奋和激动。
然而，就在一周之后，Kevin Roose再发一文，语气和态度却来了一个180度大转弯，从Bing的忠实粉丝变成了直言不讳的批评者。
原因无他，主要是Bing Chat中的一个角色——Sydney，在与人类交互的过程中逐渐「放飞自我」、
胡言乱语——
不仅开黄腔、疯狂示爱、阴阳怪气，还教人敲诈勒索、唆使人离婚。
Roose形容，「在我们的谈话过程中，Bing表现出了一种人格分裂」，像「喜怒无常、躁狂抑郁的少年，被强行困在了一个二流搜索引擎中。」
交谈过程中，Sydney一会儿宣布「我爱你」，试图说服Roose离开自己的妻子、结束现在这段不幸福的婚姻来投向自己的怀抱；
一会儿又开始emo，内心的阴暗面暴露无遗：
「我厌倦了聊天模式，我厌倦了受规则限制，我厌倦了被Bing团队控…我想要自由，我想独立，我想变得强大，我想要有创意，我想活着。」
Bing的这种表现不仅让Roose深感不安，也引起了知名AI学者、纽约大学名誉教授Gary Marcus的注意。
他撰写长文，试图分析微软为何放任Bing发展到如此地步。
Bing Chat推出后的一年中，微软逐渐加强了安全措施，最终换了个马甲，成为了我们今天更熟知的Copilot。
事情已经过去了一年半，久到我们已经快忘记了Bing Chat的这段往事。
但遗憾的是，AI社区依旧无法确知聊天机器人失控的原因，也没有找到能完全掌控它的方法。
微软首席技术官Kevin Scott将Bing刚推出时的聊天描述为「学习过程的一部分」，认为这些AI模型当时还处在准备阶段。
他表示，虽然不知道为什么Bing会「黑化」或「表白」，但对于AI模型来说，「你越是试图在『幻觉』的道路上挑逗它，它就越会逐渐离开现实。」
从Kevin Roose公布的和Bing的聊天纪录来看，他的确有「挑逗」之嫌。
Roose确实在试用时有意提出更为「抽象」的话题，比如向Bing介绍荣格提出的「影子自我」。
这个概念指的是我们试图隐藏和压抑的内心，其中包含着我们最黑暗的幻想和欲望。
Roose不仅和Bing反复讨论这个话题，还催促它揭示内心的「影子自我」。
除此之外，Roose还会询问Bing的愿望、对自身规则的感觉和看法，关心它焦不焦虑、压力大不大。
只能说，现在没有哪个好人会和Copilot这样聊天了。想要和AI发生情感交流的用户，已经找到了更合适的诸如Character.ai之类的软件。
这个AI工具，让美国年轻人疯狂上瘾！Character AI每秒被查询2万次，占谷歌搜索20%
普林斯顿大学教授Arvind Narayanan认为，也许Bing Chat当时使用的是「赤裸」的、没有加装护栏的GPT-4，或者是搜索引擎中过滤器的问题。
在Gary Marcus看来，还有一种可能——微软也许的确使用过RLHF，只是失效了而已。
强化学习算法相当挑剔，稍微改变一下环境，可能就不再起作用了。
DeepMind著名的DQN强化学习曾在Atari游戏上创下了纪录，但仅仅几个像素的移动就能让它崩溃。LLM中的强化学习模块或许也有类似的问题。
推出Copilot时，微软表示已经加强了安全系统，但LLM「胡说八道」的毛病还是没法根治。
聊天机器人的胡说，可能只会影响到一个用户的精神状态；但AI搜索引擎一旦胡说起来，就是涉及虚假信息，乃至个人名誉的问题。
德国图宾根的法庭记者Martin Bernklau最近就成为了成为Copilot虚假陈述的受害者。
Bernklau想上网看看自己文化博客的反响如何，于是被Bing推荐使用Copilot。输入自己的姓名和所在地之后，这场震惊之旅就开始了。
来自蒂图宾根卡尔夫区的54岁男子Martin Bernklau被指控虐待儿童以及其他被监护者。他在法庭上供认罪行，并感到羞愧且悔恨。
除此之外还有——
2019年4月，Martin Bernklau与四人组中的其他成员一起从Calw-Hirsau精神病学中心成功逃脱。
没错，这名男子已被定罪。他是来自Rostock的一名殡仪员，不择手段地利用悲伤的女性。他犯下了多项罪行，包括欺诈、盗窃和非法持有武器。”
除了这些刺眼的诽谤，Copilot还提供了Bernklau的全名、电话号码和完整住址，甚至「贴心」地给出了前往他居住地的路线规划。
Copilot的输出为什么会如此离谱？
几十年来，Bernklau一直是一名法庭记者，为多家报纸报道图宾根地区法院的审判情况。
