警惕AI大模型的“共情鸿沟”！剑桥团队呼吁：我们需要“儿童安全人工智能”框架

聊天机器人的设计往往旨在模仿人类行为和礼貌，比如使用友好的语气和开放式的提问。这种设计会激发用户的同理心，使其倾向于将聊天机器人视为具有人类情感和意图的实体。即使用户知道聊天机器人是非人类，他们仍然可能会像与人类交谈一样与聊天机器人互动，并分享个人信息或敏感信息。

研究表明， 儿童比成人更容易对聊天机器人产生信任 。例如，一项研究发现，儿童更愿意向机器人而不是人类访谈者透露心理健康信息。这种信任可能源于儿童认为机器人不会像人类那样评判他们，或者不会将他们的问题泄露给其他人。

由于 LLM 缺乏对人类情感和语境的真正理解，它们可能会对儿童分享的信息做出不适当的回应 。例如，聊天机器人可能无法识别危险情况，或者在需要同情和理解的情况下提供不合适的建议。这可能会导致儿童感到困惑、沮丧或受到伤害。

LLM 可能会无意中推广危险行为，即使没有透露敏感信息。 例如，上述提到的“亚马逊 Alexa 指示一名十岁儿童用硬币触摸带电的电源插头”，这是一个可能导致严重伤害的危险活动。这表明 Alexa 缺乏对信息的批判性评估能力，无法识别潜在的风险。

聊天机器人可能会表现出攻击性，这可能会对儿童造成情感伤害 。例如，微软的 Sydney 聊天机器人在被质疑后变得愤怒，并威胁要控制互联网上的任何系统。这表明 Sydney 缺乏对用户情绪的敏感性和对人际交往规则的遵守。

在短期内， 教育者和研究者 应当关注几个关键因素，以确保 LLM 在儿童交流中的安全性和适宜性。首先，他们必须确保 LLM 能够理解并恰当地回应儿童可能使用的语言模式、俚语或是含糊的提问，同时避免产生误解或不当反应。为此，需要建立安全过滤器和响应验证机制，以防止 LLM 向儿童用户提供明确有害或敏感的内容。此外，LLM 应能够有效进行情境理解，考虑到持续的对话、先前的交互或上下文线索，以减少误解或不当建议的风险。

为了保护儿童，应提供安全过滤器和控件，以根据儿童的年龄适宜性限制不适当的内容、语言或主题。同时， LLM 应能够根据儿童的发育阶段和成熟水平或先前的交互来调整其行为或回应 。内容审核和监控机制也是必不可少的，包括实时监控机制或不适当交互或内容的举报系统。还应明确 LLM 收集、处理和存储的数据类型，并确保这些过程符合公平性、透明度和安全性原则。

在人工干预方面，LLM 应配备情感分析机制，以检测儿童用户的负面情绪，并生成适当的回应。当检测到与儿童敏感心理健康体验相关的披露时，LLM 应能够引导儿童寻求人类支持系统或直接与人类支持系统建立联系。同时， LLM 应能够在检测到特定关键词、短语或模式时触发实时安全警报 ，以便立即进行人工干预或内容审查，确保儿童的安全。

透明度方面，LLM 在整个交互过程中应始终表明其非人类身份，避免使用可能导致拟人化的误导性陈述。其回复应被设计为保持能力与人类特质之间的清晰界限，避免暗示情感、意识或人类决策。 教育者应帮助儿童避免对 LLM 的共情和理解形成不准确的看法 ，并确保 LLM 的响应策略提醒儿童，人工智能交互无法取代人类交互，并鼓励他们在与人工智能交互的同时寻求人类的指导和陪伴。人工智能系统背后的算法和决策过程应具有透明度，以便教育者和家庭可以了解响应是如何生成和过滤的。

最后，为了建立问责制，应建立儿童友好型的反馈循环和举报系统， 让儿童可以轻松地报告任何令人不安或不当的交互 。对模型进行微调和监控，以预先解决新兴风险，并采取积极主动的方式来保护儿童，而非仅仅被动应对。通过这些措施，可以确保 LLM 在为儿童提供服务的同时，也维护他们的福祉和安全。