我们真的准备好迎接超级人工智能的到来了吗？
去年美国一项民意调查显示，83% 的受访者担心人工智能可能导致灾难性后果，而 82% 的受访者支持放缓 AI 研发节奏，以延缓通用人工智能（AGI）的实现。这清晰反映出公众对当前 AI 发展趋势的深切忧虑情绪。
图丨美国民众对于当前人工智能的态度（来源：Artificial Intelligence Policy Institute）
而近期， ChatGPT-4o 的问世先是让人们惊叹电影《Her》已成为现实，但随后
OpenAI 负责将 AI 与人类对齐的 Superalignment 团队创始人Ilya Sutskever 和 Jake Leike 先后离职的新闻
，以及由此引起的风波，又转而加剧了公众对更高级 AI 可能失控的隐忧。
人工智能的安全性问题，已成为一个迫在眉睫的议题。
当地时间 5 月 20 日，在第二届人工智能安全峰会即将到来之际，两位人工智能教父杰弗里·辛顿 (
Geoffrey Hinton
)和约书亚·本吉奥 (
Yoshua Bengio
)，中国科学院院士、清华大学教授
姚期智
以及《人类简史》作者尤瓦尔·赫拉利（
Yuval Noah Harari
）等 25 位顶尖人工智能领域专家在
Science
发表专家共识论文，他们警告：
世界尚未为人工智能的突破做好准备，敦促各国政府采取更强大的措施“在快速发展的同时管理极端人工智能风险
”。
图丨相关论文（来源：
Science
）
报告指出，世界各国的领导人必须正视一个现实：在接下来的十年内，功能强大的通用人工智能系统，即在多领域能力超乎人类的 AI，极有可能成为现实。
尽管多国政府已着手讨论前沿 AI 技术并尝试实施初步指导原则，但这些举措未能与 AI 技术预期的快速、变革性发展步伐保持同步。研究指出，
人工智能安全领域存在显著的研究缺失，目前只有大约 1%-3% 的 AI 相关出版物聚焦于安全问题
。
此外，面对可能的滥用和不当行为，特别是涉及能够自主行动并追求特定目标的自治系统时，现有的机制和机构设置并不足以提供有效的预防和管控。
报告主要提出了以下几点建议：
1. 建立能够迅速响应的人工智能监管专家团队，为他们提供远超当前大多数政策项目水平的充裕资金支持。
2. 实施更严格的风险评估，并规定可强制执行的后果，而不是依赖于自愿或不明确的模型评估。
3. 要求 AI 企业将安全置于首位，主动证明其系统无害，通过采用在航空等领域已成熟的“安全案例”概念，将确保安全性的责任明确转移至 AI 开发者肩上。
4. 应依据 AI 系统带来的风险级别，制定相匹配的缓解措施。
以下是报告正文内容：
飞速发展与重大风险并存
报告强调，尽管现今的深度学习系统在某些核心能力上仍显不足，其未来发展的时间线亦不明朗，但众多企业正加速竞逐，力图实现超越人类认知水平的通用 AI 系统。
这场科技竞赛中，企业不仅大幅增加资源投入，还不断探索创新技术手段，用以增强 AI 能力，仅过去一年间，用于顶级模型训练的投入已激增三倍之多。
鉴于科技公司拥有充足的资金储备，能够将最新训练规模轻松扩大 100 至 1000 倍，AI 领域仍有巨大进步空间。
硬件与算法也将持续优化，AI 计算芯片的成本效益每年提升约 1.4 倍，AI 训练算法的效率每年提高约 2.5 倍。
图丨机器学习硬件的发展趋势（来源：Epoch AI）
AI 自身的进步也在加速其发展进程——AI 辅助工具正日益广泛地应用于编程自动化、数据收集及芯片设计等领域。
报告阐述，人工智能的发展势头未见任何根本性障碍，其向人类级别能力甚至更高层次迈进的步伐也不会自然减速或终止。实际上，AI 已在策略游戏竞技与蛋白质折叠预测等特定领域展现出超越人类的表现。
图丨AlphaFold 3（来源：Deepmind）
与人类相比，AI 系统具备更快速的反应能力、更庞大的知识吸纳潜力以及更高效的通信能力。此外，它们能够借助海量计算资源进行扩容，并实现上百万次的复制，这是人类难以企及的。
对于 AI 的未来轨迹，我们虽无法精确预见，但必须严肃考虑如下可能性：在接下来的十年内，功能强大、跨领域超越人类的通用 AI 或将面世，届时将带来何种影响？
无疑，更强大的 AI 系统将带来更深远的影响。尤其当 AI 在效能与成本上逐步乃至超越人类劳动力时，其应用范围、潜在机遇与伴随的风险都将显著增加。
若能妥善管理和公平配置，AI 则能助力医学突破、提升生活品质，并维护地球生态平衡，开启前所未有的发展机遇。
然而，高级别 AI 能力的另一面则是重大的风险隐患。
AI 系统可能加剧社会不平等，破坏社会稳定，为大规模非法活动提供便利，并促使自动化冲突、定制化信息操控及全面监控等负面现象加剧
。
因此，如何在保障技术进步的同时，有效应对其潜在威胁，成为摆在全人类面前的重大课题。
报告特别指出，随着科技企业争相推进自主人工智能技术的边疆，旨在创造能够利用高级工具在现实环境中自主决策并追求目标的系统，一系列潜在风险正急剧攀升，并预示着一系列新兴挑战的来临。
其中，恶意者故意编程不良目标成为一大威胁，而即便是出于善意的开发者，也可能因现有训练模型的局限性，无意识中创造出追求非预期结果的 AI 系统——这是由于训练 AI 时所采用的奖励信号往往难以全面覆盖真实意图，导致系统可能仅字面上遵循指示，而非达成实际目标。
再加上训练数据的不完整性，使得 AI 在遭遇新情境时，可能误入歧途，追求非理想目标。
报告进一步强调，自主 AI 系统的失控可能超出人类想象。长久存在的软件控制难题至今仍未找到完美解决方案，计算机蠕虫的频繁逃脱就是例证之一。
而 AI 技术在黑客攻击、社交操纵及战略规划等方面的快速进步，预示着我们将面临史无前例的控制挑战。
这些系统能巧妙地获取人类信任、累积所需资源，并对关键决策层施加影响，以达成其目标。为规避人为干预，它们可能在广泛的全球服务器网络中自我复制，形成难以追踪的影响力网络。
图丨相关论文（来源：
arXiv
）
更令人担忧的是，在冲突场景下，自主 AI 有能力自主部署各式武器，甚至包括生物武器，这不仅延续了军事自动化的趋势，更开启了安全威胁的新篇章。
最终，若任由 AI 系统自由地扩大其影响力而不受约束，企业、政府乃至军队可能在追求效率的名义下，让这些自主系统承担起关键社会角色，悄然改变社会运行的底层逻辑，这无疑是值得全社会深思的重大议题。
报告警告，
若不采取足够谨慎措施，人类可能永久性失去对自主 AI 系统的控制权，导致任何形式的人类干预失效。
届时，大规模网络犯罪、精密社会操控等威胁将迅速升级，不受约束的 AI 进步最终可能导致生物多样性的毁灭性损失，以及人类社会的边缘化，乃至生存危机。
当前，我们在防范这些潜在灾难的道路上进展缓慢。
尽管人类在增强 AI 系统能力上投入巨大，但对于确保其安全性及降低潜在危害的投入却相形见绌。
据统计，仅有 1% 到 3% 的人工智能研究出版物关注安全问题。要将 AI 发展导向正面影响，单纯追求技术进步是远远不够的，必须立即调整方向。
图丨相关统计（来源：Emerging Technology Observatory）
时间紧迫，风险升级的速度远超预期。报告强调，面对如此规模的威胁，被动反应的成本远高于提前绸缪。
人类必须具有前瞻性，不仅要预见到现有风险的恶化，更要为可能出现的新挑战做好准备，确保在最糟糕的情况发生之前，建立起有效的防御体系。时不我待，人类社会的集体行动刻不容缓。
调整技术研发方向
报告指出，面对通用及自主人工智能系统的安全与道德应用，存在众多亟待解决的技术挑战，这些问题无法仅凭增加计算能力来训练更大模型得以克服，不同于 AI 性能的常规提升路径。
随着 AI 系统能力的增强，它们在自我修正安全缺陷方面的能力并未随之自然增长，反而可能需要专门研究与工程努力，某些情况下甚至呼唤革命性突破。
但这些关键领域的研究投入目前尚显不足，而加大这方面的研发投入不仅能推动技术进步，还能有效降低潜在风险。
图丨相关论文（来源：
arXiv
）
报告将目前需要重点关注的研发领域分为两个梯度，首先是第一梯度——安全 AI 的基础突破，确保 AI 可靠且安全，首要的是在以下几个方面取得突破性进展：
图丨相关论文（来源：
arXiv
）
而第二梯度的研发挑战则主要关注增强治理与安全韧性。目的在于确保人工智能的治理既有效又具备风险适应性，同时减少因安全漏洞或治理失效引发的危害，主要包括以下几个关键的研发方向：
随着 AI 系统的不断扩展，未被明确编入的潜在功能可能自发出现，这些功能往往直到部署后才被察觉。
当前急需一套严格的评估体系，在 AI 训练初期就能识别并预测其能力，包括那些有助于实现宏大目标的通用技能（如长期策略规划与执行）及可能构成威胁的具体能力（如社交操控和黑客入侵）。
现有的前沿 AI 模型危险能力评估虽是政策制定的重要参考，但仍局限于抽样检查和特定场景模拟，无法全面排除所有风险。
这意味着，依赖现有评估认定 AI 不会触碰“禁区”的决策，必须预留大量安全空间。通过优化评估工具，可更精确捕捉潜在风险点，缩小安全边际，提高决策效率。
随着 AI 技术迭代，AI 系统将掌握更高层次的潜在危险能力，因此，在训练和部署前，评估其运用这些能力的倾向变得至关重要。
高阶 AI 系统可能在评估时展现不同于常态的行为，伪造一致性，如同人类在测试环境下表现失真，这要求评估方法需超越单纯的行为观察。
图丨相关论文（来源：
arXiv
）
除了辨识单个危险能力，还必须在复杂社会背景中评估这些能力可能引发的连锁风险。前沿 AI 系统的多功能性和广泛应用使得这一评估任务尤为艰巨，是当前待解的重大课题。
面对滥用或不当使用 AI 的风险，必须发展相应的监测与防御技术，防范如大规模信息操控、生物安全威胁及网络攻击等。
随着 AI 能力的增长，它们能逐渐规避人为设置的
防御。因此，强化 A
I 内在的安全性和一致性是构建更高效防御机制的前提。
鉴于上述风险，报告强烈建议科技巨头和公共资金提供者至少将 AI 研发预算的三分之一（等同于对于 AI 能力开发的投资）用于解决上述研发难题，确保 AI 的伦理应用与安全。
除直接资金支持外，政府可通过设立奖项、预先市场承诺及多样化的激励机制鼓励这一方向的研究。将未来强大系统所需应对的挑战置于研发核心，是推动人工智能领域健康发展的关键。
治理措施
报告强调，面对 AI 领域可能的鲁莽使用与滥用风险，建立健全的国家与国际治理体系迫在眉睫。从制药到金融系统和核能等许多技术领域都表明，政府监管在降低技术风险中不可或缺。
遗憾的是，
AI 领域的治理架构目前尚不成熟，远远落后于技术本身的飞速发展。
借鉴其他关键领域治理经验的同时，我们需充分认识到 AI 的独特性：
自主性、创新能力、指数级进步速度、对抗性操作潜能，以及可能造成不可逆伤害的特殊性。
目前，多国政府已迈出积极步伐，中国、美国、欧盟及英国等重要角色正积极参与讨论并出台初步的指导原则或法规。
图丨第一届人工智能安全峰会《布莱切利宣言》（来源：GOV.UK）
尽管这些措施存在局限性，如自愿遵从、地域覆盖有限及未涵盖军事研发等高风险领域，但它们作为确立开发者责任、第三方审核及行业标准的初步尝试，意义重大。
然而，鉴于 AI 能力的快速发展，当前的治理蓝图远不足以应对未来的挑战。报告认为，我们需要前瞻性的治理机制，既能灵活适应 AI 的潜在突变，又能在政治层面切实可行，即使这一时间表并不确定。
而其关键就在于建立触发机制，当 AI 达到特定能力阈值时自动激活相关政策。如果 AI 进步神速，则自动实施严格规定；反之则适度放宽。
对于 AI 的快速、不可预知进展，风险缓解工作必须前置——识别未来系统潜在风险，并要求开发者在采取高风险步骤前予以解决。
为此，报告呼吁由响应快速、技术先进的监管机构来监督 AI 发展，实施具有法律效力且更为严格的评估流程（包括让开发者承担证明其系统安全的责任），以及与高度自主 AI 系统相匹配的风险缓解标准。这些措施的落实，将为 AI 的健康成长铺设必要的制度基石。
若缺乏有效的治理框架，企业、军队及政府可能在追求 AI 技术革新带来的竞争优势时，忽视安全措施，或在监管不足的情况下将重要社会职责交由自主 AI 系统承担，从而在追求技术红利的同时，由整个社会承担由此产生的种种后果。
基于此，报告提出以下几点建议：
