图灵奖得主Bengio亲自打分，首份《人工智能安全指数报告》发布，中国一家公司上榜

来源：学术头条

安全话题，在人工智能（AI）行业一向备受关注。

尤其是诸如 GPT-4 这样的大语言模型（LLM）出现后，有不少业内专家呼吁「 立即暂停训练比 GPT-4 更强大的人工智能模型 」，包括马斯克在内的数千人纷纷起身支持，联名签署了一封公开信。

这封公开信便来自生命未来研究所（Future of Life Institute）， 该机构由麻省理工学院教授、物理学家、人工智能科学家、《生命 3.0》作者 Max Tegmark 等人联合创立，是最早关注人工智能安全问题的机构之一，其使命为“引导变革性技术造福生活，避免极端的大规模风险”。

公开信息显示，生命未来研究所的顾问委员会成员阵容强大，包括理论物理学家霍金、企业家马斯克、哈佛大学遗传学教授 George Church、麻省理工学院物理学教授 Frank Wilczek 以及演员、科学传播者 Alan Alda、Morgan Freeman 等。

日前，生命未来研究所邀请 图灵奖得主 Yoshua Bengio、加州大学伯克利分校计算机科学教授 Stuart Russell 等 7 位人工智能专家和治理专家， 评估了 6 家人工智能公司（Anthropic、Google DeepMind、Meta 、OpenAI、x.AI、智谱 ）在 6 大关键领域的安全实践，并发布了他们的第一份《人工智能安全指数报告》（FLI AI Safety Index 2024）。

报告显示，尽管 Anthropic 获得了最高的安全性评级，但分数仅为“C”，包括 Anthropic 在内的 6 家公司在安全实践方面仍有提升空间。

报告链接：

https://futureoflife.org/document/fli-ai-safety-index-2024/

关于这份报告，Tegmark 在 X 上甚至一针见血地指出：Anthropic first and Meta last，即：Anthropic 的安全性最高，而坚持开源的 Meta 在这方面却垫底。但 Tegmark 也表示，“这样做的目的不是羞辱任何人，而是激励公司改进。”

值得一提的是，生命未来研究所在报告中写道，“入选公司的依据是其在 2025 年之前打造最强大模型的预期能力。此外，智谱的加入也反映了我们希望使该指数能够代表全球领先企业的意图。随着竞争格局的演变，未来的迭代可能会关注不同的公司。”

6 大维度评估 AI 安全

据介绍，评审专家从风险评估（Risk Assessment）、当前危害（Current Harms）、安全框架（Safety Frameworks）、生存性安全策略（Existential Safety Strategy）、治理和问责制（Governance & Accountability）以及透明度和沟通（Transparency & Communication）分别对每家公司进行评估，最后汇总得出安全指数总分。

维度 1：风险评估

在风险评估维度中，OpenAI、Google DeepMind 和 Anthropic 因在识别潜在危险能力（如网络攻击滥用或生物武器制造）方面实施更严格的测试而受到肯定。然而，报告也指出，这些努力仍存在显著局限，AGI 的相关风险尚未被充分理解。

OpenAI 的欺骗性能力评估和提升研究获得了评审专家的关注；Anthropic 则因与国家人工智能安全机构的深度合作被认为表现尤为突出。Google DeepMind 和 Anthropic 是仅有的两家维持针对模型漏洞的专项漏洞奖励计划的公司。Meta 尽管在模型部署前对危险能力进行了评估，但对自治、谋划和说服相关威胁模型的覆盖不足。智谱的风险评估相对不够全面，而 x.AI 在部署前的评估几乎缺失，大幅低于行业标准。

评审专家建议，行业应扩大研究的规模与范围，同时建立明确的可接受风险阈值标准，从而进一步提高人工智能模型的安全性和可靠性。

维度 2：当前危害

在当前危害维度中，Anthropic 的人工智能系统在安全性与信任度基准测试中得到了最高分，Google DeepMind 紧随其后，该公司的 Synth ID 水印系统被认可为减少人工智能生成内容滥用的最佳实践。

其他公司得分偏低，暴露出安全缓解措施的不足。例如，Meta 因公开前沿模型权重被批评，该做法可能被恶意行为者利用来移除安全防护。

此外，对抗性攻击仍是一个主要问题，多数模型易受越狱攻击，其中 OpenAI 的模型尤为脆弱，而 Google DeepMind 在此方面防御表现最佳。评审专家还指出，只有 Anthropic 和智谱在默认设置下避免将用户交互数据用于模型训练，这一实践值得其他公司借鉴。

维度 3：安全框架

在安全框架（Safety Frameworks）方面，所有 6 家公司均签署了《前沿人工智能安全承诺》，承诺制定安全框架，包括设置不可接受风险阈值、高风险场景下的高级防护措施，以及在风险不可控时暂停开发的条件。

然而，截至本报告发布，仅有 OpenAI、Anthropic 和 Google DeepMind 公布了相关框架，评审专家仅能对这三家公司进行评估。其中，Anthropic 因框架内容最为详尽而受到认可，其也发布了更多实施指导。

专家一致强调，安全框架必须通过强有力的外部审查和监督机制支持，才能真正实现对风险的准确评估和管理。

维度 4：生存性安全策略

在生存性安全策略维度，尽管所有公司均表示有意开发 AGI 或超级人工智能（ASI），并承认此类系统可能带来的生存性风险，但仅有 Google DeepMind、OpenAI 和 Anthropic 在控制与安全性方面开展了较为严肃的研究。

评审专家指出，目前没有公司提出官方策略以确保高级人工智能系统可控并符合人类价值观，现有的技术研究在控制性、对齐性和可解释性方面仍显稚嫩且不足。

Anthropic 凭借其详尽的“Core Views on AI Safety”博客文章获得最高分，但专家认为其策略难以有效防范超级人工智能的重大风险。OpenAI 的“Planning for AGI and beyond”博客文章则仅提供了高层次原则，虽被认为合理但缺乏实际计划，且其可扩展监督研究仍不成熟。Google DeepMind 的对齐团队分享的研究更新虽有用，但不足以确保安全性，博客内容也不能完全代表公司整体战略。

Meta、x.AI 和智谱尚未提出应对 AGI 风险的技术研究或计划。评审专家认为，Meta 的开源策略及 x.AI 的“democratized access to truth-seeking AI”愿景，可能在一定程度上缓解权力集中和价值固化的风险。

维度 5：治理和问责制

在治理和问责制维度，评审专家注意到，Anthropic 的创始人在建立负责任的治理结构方面投入了大量精力，这使其更有可能将安全放在首位。Anthropic 的其他积极努力，如负责任的扩展政策，也得到了积极评价。

OpenAI 最初的非营利结构也同样受到了称赞，但最近的变化，包括解散安全团队和转向营利模式，引起了人们对安全重要性下降的担忧。

Google DeepMind 在治理和问责方面迈出了重要一步，承诺实施安全框架，并公开表明其使命。然而，其隶属于 Alphabet 的盈利驱动企业结构，被认为在一定程度上限制了其在优先考虑安全性方面的自主性。

Meta 虽然在 CYBERSEC EVAL 和红队测试等领域有所行动，但其治理结构未能与安全优先级对齐。此外，开放源代码发布高级模型的做法，导致了滥用风险，进一步削弱了其问责制。

x.AI 虽然正式注册为一家公益公司，但与其竞争对手相比，在人工智能治理方面的积极性明显不足。专家们注意到，该公司在关键部署决策方面缺乏内部审查委员会，也没有公开报告任何实质性的风险评估。

智谱作为一家营利实体，在符合法律法规要求的前提下开展业务，但其治理机制的透明度仍然有限。

维度 6：透明度和沟通

在透明度和沟通维度，评审专家对 OpenAI、Google DeepMind 和 Meta 针对主要安全法规（包括 SB1047 和欧盟《人工智能法案》）所做的游说努力表示严重关切。与此形成鲜明对比的是，x.AI 因支持 SB1047 而受到表扬，表明了其积极支持旨在加强人工智能安全的监管措施的立场。

除 Meta 公司外，所有公司都因公开应对与先进人工智能相关的极端风险，以及努力向政策制定者和公众宣传这些问题而受到表扬。x.AI 和 Anthropic 在风险沟通方面表现突出。专家们还注意到，Anthropic 不断支持促进该行业透明度和问责制的治理举措。

Meta 公司的评级则受到其领导层一再忽视和轻视与极端人工智能风险有关的问题的显著影响，评审专家认为这是一个重大缺陷。

专家们强调，整个行业迫切需要提高透明度。x.AI 缺乏风险评估方面的信息共享被特别指出为透明度方面的不足。

Anthropic 允许英国和美国人工智能安全研究所对其模型进行第三方部署前评估，为行业最佳实践树立了标杆，因此获得了更多认可。

专家是如何打分的？

在指数设计上，6 大评估维度均包含多个关键指标，涵盖企业治理政策、外部模型评估实践以及安全性、公平性和鲁棒性的基准测试结果。这些指标的选择基于学术界和政策界的广泛认可，确保其在衡量公司安全实践上的相关性与可比性。

这些指标的主要纳入标准为：

• 相关性： 清单强调了学术界和政策界广泛认可的人工智能安全和负责任行为的各个方面。许多指标直接来自斯坦福大学基础模型研究中心等领先研究机构开展的相关项目。

• 可比较性： 选择的指标能够突出安全实践中的有意义的差异，这些差异可以根据现有的证据加以确定。因此，没有确凿差异证据的安全预防措施被省略了。

选择公司的依据是公司到 2025 年制造最强大模型的预期能力。此外，智谱的加入也反映了该指数希望能够代表全球领先公司的意图。随着竞争格局的演变，未来可能会关注不同的公司。

图｜评价指标概述。

此外，生命未来研究所在编制《AI 安全指数报告》时，构建了全面且透明的证据基础，确保评估结果科学可靠。研究团队根据 42 项关键指标，为每家公司制作了详细的评分表，并在附录中提供了所有原始数据的链接，供公众查阅与验证。证据来源包括：

• 公开信息： 主要来自研究论文、政策文件、新闻报道和行业报告等公开材料，增强透明度的同时，便于利益相关方追溯信息来源。

• 公司问卷调查： 针对被评估公司分发了问卷，补充公开数据未覆盖的安全结构、流程与策略等内部信息。

证据收集时间为 2024 年 5 月 14 日至 11 月 27 日，涵盖了最新的人工智能基准测试数据，并详细记录了数据提取时间以反映模型更新情况。生命未来研究所致力于以透明和问责为原则，将所有数据——无论来自公开渠道还是公司提供——完整记录并公开，供审查与研究使用。

评分流程方面，在 2024 年 11 月 27 日完成证据收集后，研究团队将汇总的评分表交由独立人工智能科学家和治理专家小组评审。评分表涵盖所有指标相关信息，并附有评分指引以确保一致性。

评审专家根据绝对标准为各公司打分，而非单纯进行横向比较。同时，专家需附上简短说明支持评分，并提供关键改进建议，以反映证据基础与其专业见解。生命未来研究所还邀请专家小组分工评估特定领域，如“生存性安全策略”和“当前危害”等，保证评分的专业性和深度。最终，每一领域的评分均由至少四位专家参与打分，并汇总为平均分后展示在评分卡中。

这一评分流程既注重结构化的标准化评估，又保留了灵活性，使专家的专业判断与实际数据充分结合。不仅展现当前安全实践的现状，还提出可行的改进方向，激励公司在未来达成更高的安全标准。

阅读报告全文，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库 是“ 欧米伽 未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。 目前拥有超过8000 篇重要资料。 每周更新不少于100篇世界范围最新研究 资料 。 欢迎扫描二维码或访问 https://wx.zsxq.com/group/454854145828 进入。

截止到11月25日 ”未来知识库”精选的100部前沿科技趋势报告

1. Air Street Capital《2024 年人工智能现状报告》

2. 未来今日研究所：2024 技术趋势报告 - 广义计算篇

3. 科睿唯安中国科学院 2024 研究前沿热度指数报告

4. 文本到图像合成：十年回顾

5. 《以人为中心的大型语言模型（LLM）研究综述》

6. 经合组织 2024 年数字经济展望报告加强连通性创新与信任第二版

7. 波士顿咨询 2024 全球经济体 AI 成熟度矩阵报告

8. 理解世界还是预测未来？世界模型的综合综述

9. Google Cloud CSA2024 AI 与安全状况调研报告

10. 英国制造商组织 MakeUK2024 英国工业战略愿景报告从概念到实施

11. 花旗银行 CitiGPS2024 自然环境可持续发展新前沿研究报告

12. 国际原子能机构 2024 聚变关键要素报告 - 聚变能发展的共同愿景

13. 国际可再生能源署 IRENA2024 年全球气候行动报告

14. Cell: 物理学和化学 、人工智能知识领域的融合

15. 智次方 2025 中国 5G 产业全景图谱报告

16. 未来今日研究所：2024 技术趋势报告 - 移动性，机器人与无人机篇

17. Deepmind：AI 加速科学创新发现的黄金时代报告

18. PitchBookNVCA2024 年第三季度全球风险投资监测报告

19. 德科 2024 年未来全球劳动力报告

20. 高工咨询 2024 年协作机器人产业发展蓝皮书

21. 国际能源署 IEA2024 年全球能源效率报告

22. 基因慧基因行业蓝皮书 2024 - 2025

23. 普华永道 PwC2024 全球经济犯罪调查英国报告 - 智对风险直面挑战

24. 中国互联网协会 2024 面向未来网络的数字孪生城市场景应用白皮书

25. 中移智库 2024 先进感知新技术及新应用白皮书

26. 智次方研究院 2025 中国 AIoT 产业全景图谱报告

27. 未来今日研究所：2024 技术趋势报告 - 人工智能篇

28. 国际电联：迈向衡量数字经济的通用框架的路线图

29. 联合国粮食与农业组织：2024 年世界粮食安全和营养状况

30. 大语言模型综述

31. 李飞飞等，AI 智能体：探索多模式交互的前景综述

32. 哈尔滨工业大学 - ChatGPT 调研报告

33. 2024《美国核部署战略报告》最新文件

34. 清华大学：AIGC 发展研究 3.0 发布版 b 版

35. OpenAI：2024 年 OpenAI o1 大模型技术报告

36. Verizon2024 年世界支付安全报告

37. 皇家学会哲学学报 从复杂系统角度评估人工智能风险

38. 复旦大学 大模型 AI 代理的兴起和潜力：综述

39. 经合组织 OECD2024 年气候行动监测报告

40. Wevolver2024 年边缘人工智能现状报告 - 探索各行业边缘 AI 应用动态

41. 2024 全球人形机器人产品数据库报告 - 人形机器人洞察研究 BTIResearch

42. 《全球金融稳定报告》 把舵定航 不确定性、人工智能与金融稳定

43. 瑞士洛桑联邦理工学院 《人工智能中的 - 创造力：进展与挑战》

44. 《你所需要知道的理 - 论：人工智能、人类认知与决策》牛津大学最新 53 页报告

45. 世界经济论坛 新兴技术时代的网络弹性导航：应对复杂挑战的协作解决方案 2024

46. ADL 理特咨询 2024 汽车出行未来展望报告

47. 2024 中国硬科技创新发展白皮书 - 开辟未来产业新赛道

48. 科学时代的大语言模型中的人工智能

49. Gartner2025 年重要战略技术趋势报告

50. CBInsights2024 年第三季度全球人工智能投融资状况报告

51. TrendHunter2025 年全球趋势报告 - 全行业顶级创新和变革趋势前瞻

52. 天津大学 2024 大模型轻量化技术研究报告