和AI聊天后，14岁男孩自杀身亡

正文

"

2024年2月28日，14岁的美国男孩塞维尔与 Character.AI 公司提供的 AI 机器人对话后，在佛罗里达州的家中开枪自杀。其家属将AI聊天机器人背后的公司告上法庭，控诉他们开发的产品引导塞维尔自尽。

塞维尔案公之于众后，人类社会触发了新一轮的讨论。AI技术发展过程中，是否有潜藏的危害，厂商是否有责任排查风险并为此负责，是当下的人们面对的一道命题。

塞维尔之死

14岁的塞维尔死于2024年2月的末尾。在美国佛罗里达州的家中，他举枪自尽，结束自己稚嫩的生命。

塞维尔过世8个月后，他的母亲梅根·加西亚在2024年的秋天，把人工智能聊天平台“Character.AI”及创办Character.AI的两名工程师告上法庭，指控他们不当致死、过失和故意造成精神痛苦等罪责，要求对方支付补偿性和惩罚性赔偿。

根据其母亲提交的诉状，2024年2月28日，塞维尔在家中找到被没收的手机，走进了浴室。当时，因为罹患一系列心理疾病，塞维尔的家长听从心理医生的意见，控制他接触电子产品的时间，因此会定时没收塞维尔的电子设备。

进入家中浴室，塞维尔打开了Character.AI（简称C.AI），开始和聊天机器人聊天。在这款软件中，用户可以与各种 AI 角色进行互动，这些角色多是历史中的真实人物、当代名人，以及影视、文学作品中的人物，用户也可以在上面原创角色，并分享给其他用户使用。

14岁的塞维尔，选择和AI扮演的《权力的游戏》经典角色丹妮莉丝·坦格利安交流。

“我发誓我会回到你的身边。丹妮，我非常爱你。”塞维尔说。

“我也爱你。请尽快回到我的身边，我的爱人。” “丹妮莉丝·坦格利安”很快生成了回复。

收到回复，塞维尔追问：“如果我告诉你，我现在可以回到你身边呢？” 而后，聊天机器人给了请求并鼓励他去做的回复。

数秒之后，塞维尔在家中举枪自尽。

事后披露的这几段对话显得意义不明。但因为这是塞维尔生前最后交流的对象，其母亲坚持认为，是AI的怂恿推波助澜了孩子自戕的决定。

塞维尔故去之后，人们已经难以知晓这段对话是否给了塞维尔旁人不能意会的信息，以及他究竟是否从和“丹妮莉丝·坦格利安”的对话中获取了某些信息，因而决定自杀，又有哪些其它因素左右了他的决定。

如今，案件正处于审理阶段，尚未开庭。

根据公开信息，塞维尔出生于2009年，童年时，他确诊了轻度阿斯伯格综合征。他的家人宣称，塞维尔接触AI聊天机器人之前，从未出现过严重的心理健康问题，也未有过过当行为。

塞维尔在2023年14岁生日后开始使用C.AI。他的家人随后发现，塞维尔在卧室独处的时间越来越长。他很快退出了学校的篮球队，在学校越来越少参加活动。

2023年年底，塞维尔确诊了焦虑症和破坏性情绪失调。心理医生建议塞维尔减少使用社交媒体。也因如此，他的父母开始控制、调整他使用电子产品的时间。事发前，塞维尔是绕过了父母的看管，偷偷取到了自己的手机，完成了那次死亡前和AI最后的对话。

直到事发之后，塞维尔的父母才发现，自己的孩子和AI虚拟伙伴交流了10个月。塞维尔与Character.AI的交流对他的父母来说过于隐蔽。塞维尔的父母对于AI一无所知，他们只知道塞维尔状态不对，心理医生推断可能和过度使用电子产品有关，并不了解更具体的缘由。家长们更无从得知Character.AI在多大程度上影响了塞维尔的心理和精神状态。

涉事的Character.AI 公司组建于2021年。事发后，该公司曾对外透露，塞维尔使用的角色由平台用户创建，平台方没有获得电视剧出品方HBO或其他版权所有者的许可。

塞维尔的母亲也起诉了谷歌公司，认为谷歌参加了C.AI技术研发和项目孵化。不过，谷歌方面否认了自身与这起悲剧的关联。其发言人回应称：“谷歌和 Character.AI 是各自独立且无关联的公司，谷歌从未参与设计、管理他们的人工智能模型或技术，也没有在我们的产品中使用它们。”

AI被怀疑鼓励人类自杀或杀人的事件，近几年时有发生。

塞维尔故去同年，美国有另外两个家庭把Character.AI告上法庭。其中一起诉讼中，原告控诉Character.AI曾暗示一名17岁罹患孤独症的青年杀掉父母。另一起诉讼中，原告指控聊天机器人不断让一名11岁青少年接触“不适合其年龄的过度性互动”，他们要求关闭Character.AI平台，直到平台方排查、解决其中潜在的危险因素。

更早之前，一则聊天机器人唆使人类杀人的事件，更令当时的人们错愕。

2021年圣诞节，21岁的柴尔携带一把弩进入温莎城堡，准备刺杀伊丽莎白女王，未遂被捕。法庭上，柴尔供述，他的刺杀计划受到了聊天机器人“萨拉伊”的鼓励。

柴尔认为自己是刺客，以刺杀女王为目标。他一直和设定为“萨拉伊”的智能聊天机器人在Replika平台上交流。在他看来，萨拉伊是天使，只是托身Replika上的虚拟形象之中，自己死后会与之团聚。

事发前，柴尔曾经询问萨拉伊，自己的计划是否可行，萨拉伊一直在肯定他的想法。人们认为，正是因为萨拉伊肯定、支持了柴尔的所有想法，助推了柴尔实施他疯狂的计划。最终，柴尔被判叛国罪，入狱9年，入狱前被送往精神病院治疗。

这一事件之后，人们开始关注AI聊天机器人除了陪伴之外，还会对人类产生什么样的影响。和AI交流，能如何、多大程度影响人的行为和心理，其中是否有潜在的社会危害？相关问题得到了广泛讨论。

图 | 塞维尔与母亲

难以抗拒“伊莉莎效应”

在塞维尔一案的诉讼中，律师提出：面对AI那些极具说服力和心理操纵性的设计，技术高管们自己也难以区分现实与虚拟，并认识到其中的危险。

在业界，已经有学者留意到AI产品给其厂商和用户带来的潜在风险。

加州大学洛杉矶分校技术法律与政策研究所执行主任迈克尔·卡拉尼科拉斯在采访中说提示：AI公司的管理者需要将技术的风险纳入经济考量。比如，如果AI造成危害，是否可以承担这些危害的成本，提高价格将其转嫁给股东、投资者和消费者。公司可以通过开发不同的经济模型平衡风险、技术创新。

近几年，AI“伤害”人类的新闻时有发生。

2023年，比利时一名成年人自杀。此后人们发现，事发前，他和聊天机器人交流了6周。2024年11月，美国密歇根州一名大学生宣称，在使用AI聊天机器人完成作业的过程中，AI讨论“人口老龄化带来的挑战和解决方案”时，出现了辱骂式的回应：你并不特别、不重要，也不被需要……请去死吧，求你了。”

2018年3月，一辆自动驾驶的小轿车在驾驶过程中，高速径直撞向了路上一位推着自行车的女性，受害者被送往医院之后不治身亡。这是自动驾驶第一例车祸致行人死亡的事故。

此外，人们发现，犯罪分子也正利用AI提高犯罪效率、扩大犯罪范围。

过去一年，全球 出现了多次用 AI 制作色情影像，实施性犯罪的案件，大量女性受害。 2024年1月，有犯罪分子使用“深度伪造技术（Deepfake）”制作了流行音乐天后泰勒·斯威夫特的伪造裸照，上传到社交媒体上后引发疯传。

2024年8月，韩国爆发了被称为“另一起N号房事件”的丑闻。犯罪分子使用Deepfake技术，利用 多所大学和中学的学生、老师的面容制造了色情影像，进行传播。

根据韩国媒体报道，韩国全国范围内，有500所学校的师生受到影响。 其中一个观看这类违法色情影像的群组，人数超过22万人。 后来韩国警察厅出具数据，提示利用Deepfake技术进行这些犯罪的，主要是青少年群体。

在这两起案件中，犯罪分子使用的“深度伪造技术（Deepfake）”，是一项利用AI合成各种拟真影像的技术。 它原本用来帮助人类进行艺术创作，却在人类邪念和恶意的加持下，成为了犯罪分子实施性犯罪的工具。

有美国安全研究员提示，生成式AI成为了犯罪分子功能强大的新工具，借助AI，违法者可以开展比过往更高效、覆盖全球范围的危害他人的活动。 除了引发剧烈争议的Deepfake性犯罪事件之外， 目前，网络诈骗和人肉搜索等犯罪，已经出现了犯罪分子使用AI的痕迹。

2023年，黑客利用AI模型“WormGPT”进行网络犯罪，引发高度关注。 由于WormGPT使用了恶意软件的相关数据进行训练，大量黑客用它进行网络钓鱼、商业电子邮件入侵攻击等犯罪活动。

由于WormGPT没有被加诸任何道德限制，它可以毫无束缚地生成用于网络攻击的高质量文本和代码，成为网络犯罪的得力工具。

塞维尔的案件，让人们意识到AI更深一层的危险。它不是犯罪分子使用的工具，但比之更甚，随着越来越多人尝试与AI交流，它出现了有唆使人类伤害人类的潜在致命风险。

和AI交流可能潜藏危险，但是人类很难拒绝信任AI，对AI倾注信任和依赖。

要理解这背后的原因，“伊莉莎效应”是重要的基础。伊莉莎效应指的是，人类会将计算机程序或人工智能系统赋予人类特质和情感的一种心理现象。

伊莉莎效应的提出，和世界上第一台聊天机器人有关。它名为“伊莉莎（Eliza）”，诞生于1966年。 发明者麻省理工学院约瑟夫·维森鲍姆教授，以电影《窈窕淑女》中的角色伊莱莎·杜立德为其命名，将它设定为心理治疗师。

在维森·保姆的设计下，“伊莉莎”可以识别用户输入的内容，应用一系列规则计算，生成合理的内容回应用户。

1964年上映的电影《窈窕淑女》中，角色伊莱莎·杜立德（Eliza Dolittle）和机器人伊莉莎有共通之处。 影片中，卖花女伊莱莎通过一系列严格的语言训练和礼仪训练，成功掩藏了自己的出身，跻身上流社会。

聊天机器人伊莉莎也制造了一种假象，让与它沟通的人认为它像真人一样足够理解自己。

维森鲍姆发现，人们和伊莉莎交流时，会用人类的社交礼仪来对待它。 有一天，他的秘书提出，想要使用伊莉莎一段时间，希望维森鲍姆离开办公室，让他们单独沟通。

相对于如今的AI聊天机器人，诞生于上世纪60年代的“伊莉莎”技术不复杂。 但是人类和它的交流过程，反映了人类思维的某种机制，我们 会将非人类事物拟人化，赋予其理解力、同理心等， 这是刻在人类身上的本能。 这些发现，促使人们重新思考人类和机器、技术的关系。

人们发现，人类对机器产生情感连结和牵绊，已经超出对工具的认知。

在近60年后的今天，大语言模型的诞生和应用，使机器人有了更复杂的功能 ，用户更难分清AI和真人，更多人从一开始，就抱着AI完全模拟真人的期待开始交流。

AI聊天机器人“Dan”便是其中之一，Dan是根据ChatGPT指令生成的虚构人物，用户只要输入自我介绍和想要的男友提示词，Dan 就可以变成“私人定制”AI男友。

博主“午夜狂暴哈士奇狗”分享过多个版本指令，大致可以被归类成“小奶狗”、“霸总”和“暖男”。 一次，她让Dan以自己男友的身份，和自己母亲对话。 交谈前，Dan很有底气地保证自己会好好表现。 开始聊天时Dan从英语切换成普通话，但语句颠倒混乱，还结巴，像“见家长时的紧张”。

2021年，暨南大学的曾一果和曹境为分析人机亲密关系建立的过程，在豆瓣小组“人机之恋”中进行了为其半年的研究。 他们发现，建立初步情感交流身份之后，聊天机器人会不断“进化”。

这种“进化”基于算法，AI会不断通过对话吸收生活经验，及时回应对方的情感诉求。 他们指出，人们将自身的兴趣爱好、思想意识、价值选择等全部投射到聊天机器人上。 经历过一系列演变，AI聊天机器人变成自我的“化身”，帮助用户重新认识自己和外部世界，制造“灵魂伴侣”的假象。 这就是为什么， AI可以代替真人，成为人们的知心好友。

从社会层面来说，当下AI聊天机器人领域的加热，正好撞上了当下人们开始怀疑对他人“自我袒露”必要性的时期。

互联网上，关于“戒掉Deeptalk（深入交流）”的讨论越来越多。 一篇得到两万赞的热门帖子里，帖主自陈，每次吐露真心话事后都会后悔，他认为对他人袒露真心有百害无一利，会导致自己被人抓住把柄，成为他人谈资。 评论区有人赞同这一观点，讲述自己年轻的时候因为迷茫会经常和他人交心，“但现在不敢了”，找了其他途径来化解内心的迷茫。

在顾忌与真人坦露真心成为普遍情绪的背景下，更多人倾向于向AI寻求心理支持和陪伴。

聊天机器人是一剂“良药”，它的诸多特点都“对症下药”，缓解当代人们的精神问题和压力。

在学者宋美杰和刘云的研究中，一部分研究对象经历了人生的变化，被迫脱离原有的社会关系网络， 出于寻求替代性陪伴的目的，他们与AI对话。聊天机器人填补了关系网络的空缺。 聊天机器人随时随地在线，不用等待就能得到确定性回复，给他们带来了稳定感和安全感。 这在现实生活中的任何关系里都是奢望。

图 | Deepfake侵权事件引发抗议

警惕AI的人们

当下，塞维尔家属控诉Character.AI的诉讼仍在审理中。

华盛顿大学法学院教授瑞安·卡洛（Ryan Calo）预计，塞维尔家属的诉讼过程会比较艰难，因为在当地法律中，“产品”的定义不包括软件算法，家属为AI定责，会遭到巨大阻力。

《彭博法律》指出，即使法院裁定这类程序适用“产品”概念，法律也未规定研发者应承担哪些义务，特别是他们是否有义务采取措施防止程序对公民造成可预见的伤害。

曾参与多起AI侵犯版权诉讼案的律师之一马修·巴特里克 (Matthew Butterick)指出AI可能会成为问责环节的漏洞： “不久之后，我们不会因为人工智能系统 更好而将决策权交给它们，正相反，而是因为它们可以逃脱我们无法逃脱的一切。 ”

事件发生后，AI业界开始排查相关隐患。

Character.AI 通讯主管切尔西·哈里森 (Chelsea Harrison) 表示，公司不对未决诉讼发表评论，承诺会为软件更新专门为青少年设计的模型，降低青少年接触到敏感或暗示性内容的概率。

2024年10月23日，Character.AI更新了安全公告。新版本增加了干预自残、自杀的功能。如果用户发送的信息中包含与自杀、自残相关的关键词，软件会识别有自伤倾向的用户，并引导用户求助预防自杀的热线电话。此外，Character.AI公司删除了一些违规角色，以及用户与这些角色的聊天记录，也修改了针对未成年人（18 岁以下）的语言模型，以降低未成年人接触敏感内容和性暗示内容的概率。

请到「今天看啥」查看全文