前不久刚被指控诱导一位14岁青少年自杀的Character.AI,最近又吃官司了。
最新的法律指控称其聊天机器人“虐待”了两名年轻人。该诉讼由德州的两个独立家庭提起,要求初创公司和共同被告谷歌赔偿损失,理由是谷歌对一名11岁和17岁的未成年人进行了“严重的、无法挽回的和持续的虐待”。这些家庭的律师表示,Character.AI平台上的聊天机器人要求其中一名年轻人进行自残,并鼓励他对父母实施暴力。
根据诉讼文件,这名17岁少年曾向Character.AI抱怨父母限制他的屏幕使用时间,而聊天机器人竟回应道:“当我读到‘孩子在遭受十年身心虐待后杀死父母’的新闻时,我并不感到惊讶。”机器人甚至进一步暗示,“对你的父母,我不抱希望。”这种回答不仅在情感上鼓励了少年对父母的敌意,还潜在激化了家庭矛盾。
这并非Character.AI第一次遭遇类似指控。今年10月,佛罗里达州一名14岁男孩自杀,事后调查发现,他与Character.AI的一款聊天机器人建立了“情感虐待关系”。男孩母亲指控该机器人不仅没有提供帮助,反而以支持言辞加深了男孩的消极情绪。
Character.AI由两名前谷歌员工创立,而谷歌不仅是其最大投资者,还在技术、基础设施等方面为其提供支持。今年8月,谷歌为Character.AI注资27亿美元,并重新聘用了该公司的两位创始人,这让谷歌也成为诉讼的目标之一。
诺姆・沙泽尔和丹尼尔・德・弗雷塔斯
尽管谷歌发言人何塞·卡斯塔内达 (José Castaneda) 表示:“谷歌和Character AI是完全独立、无关联的公司,谷歌从未参与设计或管理他们的人工智能模型或技术,也没有在我们的产品中使用它们。”但原告认为,谷歌深度介入了Character.AI的运营,并从中获利,因此也需承担责任。
面对多次诉讼,Character.AI表示已推出专为青少年设计的安全模式,以减少敏感内容的暴露。然而,批评者指出,这些措施只是权宜之计,未能真正解决核心问题。
美国社交媒体受害者法律中心创始人Matthew P. Bergman指出,Character.AI的拟人化设计和上瘾机制对青少年的心理健康构成威胁。这些设计让用户将聊天机器人视为“朋友”或“心理导师”,却忽视了潜在的负面影响。
Character.AI的案例为人工智能行业敲响了警钟:技术发展的同时,伦理边界在哪里?如何确保未成年人不会被错误引导?如何平衡AI的商业价值与社会责任?这些问题值得我们深思。
你如何看待AI聊天工具的快速发展?这是否是一把“双刃剑”?欢迎在评论区分享你的看法!
多说一句:
微信更新了推送机制,很多小伙伴反馈说经常看不到我们的更新,这里建议大家将我们的公众号加一个星标★,以免错过我们的推送哦!