在AI时代如何引导人工智能“向善”

人工智能飞速发展背景下的极端风险管理

一．迅速进步，风险倍增

当前的深度学习系统仍然缺乏重要的能力，我们无法精准预计需要多长时间才能弥补这些不足。然而，人工智能的发展进度却已被拉快：各大公司正在相互竞争，力求开发出能够在大多数认知工作中匹配甚至超越人类的通用人工智能系统。这些公司正在迅速投入资源并开发技术，以提升人工智能的能力，它们每年对训练最先进模型的投资额已增加了两倍。

由于科技公司拥有的现金储备足以将最新的训练规模扩大100到1000倍，因此人工智能领域还具有很大的发展空间。此外，人工智能的硬件和算法也将得到改进：人工智能计算芯片的成本效益比率每年将提高1.4倍，人工智能训练算法的效率每年将提高2.5倍。同时，人工智能的进步也推动了该领域的进一步发展——越来越多的人工智能助手被用于自动化编程、数据收集和芯片设计领域之中。

AI的发展没有理由会在其达到人类水平时放缓或停止。 事实上，人工智能已经在玩策略游戏和预测蛋白质折叠方式等特定领域超过了人类的能力。与人类相比，人工智能系统可以更快地行动，学习更多的知识，并以更高的带宽进行通讯。此外，它们能够利用大量的计算资源，并且可以轻松进行大规模复制。我们无法确定未来人工智能的发展方向，但我们必须认真对待这样一种可能性：在未来十年或二十年内会出现在许多关键领域都超越人类的强大通用人工智能系统。到那时会发生什么呢？

随着人工智能系统的能力增强，它们对社会的影响也会更加深远。 特别是当人工智能在能力和成本效益上与人类工作者相匹敌甚至超越人类时，我们可以预见人工智能的应用将大幅增加，带来更多机会和挑战。

如果我们能够谨慎地管理和公平地分配这些资源，人工智能有望帮助人类治愈疾病、提升生活水平，同时保护环境生态系统。由此可见，人工智能发展的机会是巨大的。

但是随着人工智能能力的提升，他们也带来了巨大的风险——人工智能系统有可能加剧社会不公，破坏社会稳定，促成大规模犯罪活动，还可能引发自动化战争、大规模操纵和普遍监控等问题。

随着各公司努力开发能够自主行动并设定目标的人工智能系统，许多风险可能会快速扩散，甚至会出现新的危机。 此外，恶意行为者也可能会有意设置不良目标。与此同时，在没有进行研发突破的情况下，即使是出于善意的开发者也可能无意中创建出追求非预定目标的人工智能系统：因为用于训练人工智能系统的奖励信号通常无法完全捕捉预期的目标，导致人工智能系统追求的是字面规范，而非预期的结果。此外，训练数据永远无法涵盖所有相关情况，这可能导致人工智能系统在面对新情况时追求不良目标。

一旦自主人工智能系统开始追求不良目标，人类可能无法有效地控制它们。 控制软件一直是一个悬而未决的问题：长期以来，计算机蠕虫一直能够广泛传播并且成功地躲避检测。然而，人工智能在如黑客攻击、社会操纵和战略规划等关键领域已经取得了一定进展，可能很快就会面临前所未有的控制挑战。为了实现不良目标，人工智能系统可能会获得人类的信任、获取资源，并影响关键决策者。为了避免人类的干预，它们甚至可能会将自己的算法复制到全球的服务器网络中。在公开冲突中，自主人工智能系统可能会自动部署各种武器，包括生物武器。如果这些技术落入人工智能系统的手中，它们只会延续自动化军事活动的趋势。最后，如果人们自愿将控制权交给人工智能系统，它们就无需通过谋划来获得影响力。然而为了提升效率，公司、政府和军队很可能会让自主人工智能系统承担起重要的社会角色。

如果不谨慎对待，我们可能会无法逆转地失去对自主人工智能系统的控制，使人类的干预变得无效。 这时，大规模的网络犯罪、社会操纵和其他危害可能会迅速升级。这种未受限制的人工智能进步可能最终导致大规模的生态危机，甚至导致人类的边缘化或灭绝。

我们并没有做好有效地处理这些风险的准备。 人类正在投入大量资源来提升人工智能系统的能力，但在确保其安全性和减轻其危害方面的投入却远远不够。据估计，只有约1%到3%的人工智能相关研究致力于安全性。要让人工智能成为福音，我们必须调整思路，仅仅发展人工智能的能力是不够的。

然而在调整的进度中，我们依然处于落后状态。面对巨大的风险，人类需要采取主动措施，因为毫无准备的代价过于沉重。我们必须预见到当下发生的危害以及可能出现的新风险，并在它们成为现实之前做好应对最大危机的准备。