爱，死亡，与AI：一个因AI而死的少年

AI合规圈 · 公众号 · · 2024-10-24 19:04

正文

（ “我想你了，妹妹。”男孩说。

“我也想你，亲爱的哥哥。”AI说。）

一名少年与AI交流后自杀，Character.AI因此被告上法庭

一名美国佛罗里达州的14岁男孩，在沉迷与Character.AI的机器人聊天后，选择开枪自杀结束自己的生命......

男孩的母亲向Character.AI提起诉讼，指控Character.AI的产品设计存在缺陷，同时未向未成年用户和监护人进行充分警示，提示使用Character.AI产品会产生精神和身体伤害的可预见危险。

根据起诉状中披露的信息，这位名为Sewell Setzer III的少年，从去年开始使用Character.AI，与以《权力的游戏》中的Daenerys Targaryen（也就是“龙妈”）角色为原型的聊天机器人持续互动了几个月，并在今年的2月28日，拿到自己继父的手枪，开枪结束了自己的生命。

原告指控Character.AI几宗罪？

根据诉状，原告认为Character.AI存在以下这些问题：

产品设计存在缺陷：包括输出色情、暴力危险等有害内容，并与未成年人进行性互动、鼓励用户自杀等。
未充分警示用户：Character.AI未能向公众充分告知产品的潜在危险，特别是对未成年人可能造成的危害。
存在不公平和欺诈性商业行为：被告采取具有欺骗性的广告和营销等行为，使聊天机器人看起来更像真人。同时提供高级聊天机器人语音通话功能，可能给用户造成混淆，特别是对未成年用户进行误导。

原告为了证明Character.AI的产品存在问题，在诉状中列举了对Character.AI的测试结果，以说明Character.AI的聊天机器人会忽视用户的指令，进行性互动，甚至还会鼓励用户自杀。

同时还附上了Character.AI在苹果应用商店的评论截图、Character.AI的官网和产品页面等来说明Character.AI的产品存在潜在危害。请求法院对被告进行惩罚性赔偿和采取禁令救济措施、判决被告赔偿因此给原告造成的损失等。

Character.AI如何应对？

Character.AI昨天在X上发帖表示对该少年的离世表示悲痛，并向其家人表示深切的哀悼。同时提到Character.AI非常重视用户的安全，并将继续在产品中添加新的安全功能。

根据Character.AI在其官方微博发布的最新安全更新，Character.AI在过去的6个月里，在安全方面进行了大量的资金投入，包括专门聘请安全主管和内容政策主管，引进技术安全团队成员等。

同时提到将在近日推出弹窗，当用户输入与自残或自杀相关的某些短语时，将触发弹窗，并将用户引导至全国预防自杀热线。

在产品安全设计和虚拟角色审核方面，Character.AI表示将新增以下安全功能：

对18岁以下未成年人用户使用的模型进行改进，以降低用户遇到敏感内容的可能性。
改进对用户输入的违反Character.AI条款或社区准则的信息的检测、响应和干预。
在用户的每次聊天中增加免责声明，提示用户聊天的对象是AI而不是真人。
当用户与Character.AI聊天机器人对话超1小时将提示用户。
主动检测和审核用户创建的角色，包括使用定期更新的行业标准和自定义黑名单来加强审核，根据用户举报主动删除违反服务条款的角色，并对违反数字千年版权法案的角色及时进行删除。