Anthropic 创始人 Dario Amodei 最新长文：《Machines of Loving Grace：How AI Could Transform the World for the Better》，文章太长了，只能摘一下：
【强大 AI（我讨厌AGI这个词）可能在 2026 年出现，但也有可能会花费更长的时间。
强大 AI，指的是一个 AI 模型——其形式可能类似于今天的LLM，尽管它可能基于不同的架构，可能涉及多个相互作用的模型，并且可能以不同的方式进行训练，具有以下特性：
-在纯粹的智力方面，它在大多数相关领域——生物学、编程、数学、工程学、写作等——比诺贝尔奖得主更聪明。这意味着它能够证明未解决的数学定理，写出非常优秀的小说，从头开始编写复杂的代码库等。
- 除了只是一个“可以与之对话的智能设备”之外，它还具备人类在虚拟环境中工作的所有“接口”，包括文本、音频、视频、鼠标和键盘控制，以及互联网访问。它可以通过这些接口执行任何操作、进行通信或远程操作，包括在互联网上采取行动、向人类发出或接收指令、订购材料、指导实验、观看视频、制作视频等等。它在所有这些任务中的技能水平再次超越了世界上最顶尖的人类。
- 它不只是被动回答问题，而是可以被赋予需要花费数小时、数天或数周才能完成的任务，然后自主地去完成这些任务，就像一个聪明的员工一样，必要时会寻求澄清。
- 它没有实际的物质形态（除了存在于计算机屏幕上），但可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上，它甚至可以为自己设计机器人或设备使用。
- 用于训练模型的资源可以重新分配，以运行该模型的数百万个实例（这一点符合预测到2027年左右的集群规模），而且该模型可以以大约10到100倍于人类的速度吸收信息并生成操作。不过，它可能会受到物理世界或与其交互的软件响应时间的限制。
- 每一个这样的百万个副本都可以在不相关的任务上独立运作，或者在需要时，像人类协作一样共同工作，也许会有经过微调的不同子群体在特定任务上特别擅长。
我们可以将其概括为“数据中心中的天才之国”。
显然，这样的实体将能够非常快速地解决非常困难的问题，但要弄清楚它到底有多快并非轻而易举。两种“极端”的观点对我来说都似乎是错误的。首先，你可能会认为世界会在几秒钟或几天的时间内瞬间发生转变（“奇点”），因为超级智能会自我增强，几乎立即解决所有可能的科学、工程和操作任务。这个问题在于，现实中存在物理和实际的限制，例如在构建硬件或进行生物实验时，即使是一个天才之国也会遇到这些限制。智能可能非常强大，但它并不是灵丹妙药。
其次，相反地，你可能会认为技术进步已经达到瓶颈，或受到现实世界数据或社会因素的速率限制，而超越人类的智能几乎不会带来什么增益。这对我来说同样不可信——我能想到成百上千个科学甚至社会问题，在这些问题上，一大群非常聪明的人可以极大地加速进展，尤其是当他们不仅仅局限于分析，而且能够在现实世界中推动事情发生时（就像我们假设的天才之国那样，包括通过指挥或协助人类团队）。
我认为，事实很可能是这两种极端观点的某种复杂的混合体，具体情况会因任务和领域的不同而变化，且在细节上非常微妙。我坚信，我们需要新的框架来以富有成效的方式思考这些细节。
智力的限制和互补因素包括：
- 外部世界的速度。智能体需要在世界中互动操作，以完成任务并学习。但世界只能移动得如此之快。细胞和动物以固定速度运行，因此对它们的实验需要一定时间，这可能是不可减少的。硬件、材料科学、与人交流涉及的一切，甚至我们现有的软件基础设施也是如此。此外，在科学中，许多实验往往需要按顺序进行，每个实验从上一个实验中学习或建立在上一个实验的基础上。所有这些都意味着，例如开发癌症治疗方法这样一个重大项目可能有一个不可减少的最低完成速度，即使智能继续增加也无法进一步减少。
- 数据的需求。有时缺乏原始数据，而在缺乏数据的情况下，再多的智能也无济于事。今天的粒子物理学家非常聪明，发展了一系列广泛理论，但缺乏数据来选择其中的理论，因为粒子加速器的数据非常有限。不清楚如果他们拥有超级智能，是否会做得大幅更好——除了可能加快建造更大加速器的进程。
- 内在复杂性。有些事物本质上是不可预测或混乱的，即使是最强大的 AI 也无法比人类或当今的计算机显著更好地预测或解开它们。例如，即使是极其强大的 AI 在混沌系统（如三体问题）的普遍情况下，也只能比今天的人类和计算机稍微预测得更远一点。
- 来自人类的约束。许多事情如果不违反法律、伤害人类或破坏社会是无法完成的。一个对齐的 AI 不会想做这些事情（如果我们讨论的是不对齐的 AI，那就回到了风险的讨论）。许多社会结构效率低下，甚至是有害的，但在尊重一些限制（例如临床试验中的法律要求、人们改变习惯的意愿或政府的行为）时，很难进行改变。技术上运行良好但由于法规或无端恐惧而大大减少其影响的例子包括核能、超音速飞行，甚至电梯。
- 物理定律。这是第一点的更鲜明版本。有一些物理定律似乎是不可打破的。不可能以超光速旅行。布丁不会自行搅拌。芯片在每平方厘米内只能有这么多的晶体管，否则它们就会变得不可靠。计算需要一定的最小能量来擦除每个位，限制了世界上的计算密度。
我们应该想象一幅画面，在这里，智能最初在生产其他要素中受到了严重的限制，但随着时间的推移，智能本身越来越多地绕过其他要素，即使其他要素从未完全消失（有些东西如物理定律是绝对的）。关键问题是如何快速发生这一切，以及发生的顺序是什么。】
然后，他就开始分别介绍感兴趣5个领域的问题：
生物和身体健康
神经科学与心理健康
经济发展与贫困
和平与治理
工作与意义
这部分实在太长，有兴趣自己去看吧。
链接：
网页链接
【强大 AI（我讨厌AGI这个词）可能在 2026 年出现，但也有可能会花费更长的时间。
强大 AI，指的是一个 AI 模型——其形式可能类似于今天的LLM，尽管它可能基于不同的架构，可能涉及多个相互作用的模型，并且可能以不同的方式进行训练，具有以下特性：
-在纯粹的智力方面，它在大多数相关领域——生物学、编程、数学、工程学、写作等——比诺贝尔奖得主更聪明。这意味着它能够证明未解决的数学定理，写出非常优秀的小说，从头开始编写复杂的代码库等。
- 除了只是一个“可以与之对话的智能设备”之外，它还具备人类在虚拟环境中工作的所有“接口”，包括文本、音频、视频、鼠标和键盘控制，以及互联网访问。它可以通过这些接口执行任何操作、进行通信或远程操作，包括在互联网上采取行动、向人类发出或接收指令、订购材料、指导实验、观看视频、制作视频等等。它在所有这些任务中的技能水平再次超越了世界上最顶尖的人类。
- 它不只是被动回答问题，而是可以被赋予需要花费数小时、数天或数周才能完成的任务，然后自主地去完成这些任务，就像一个聪明的员工一样，必要时会寻求澄清。
- 它没有实际的物质形态（除了存在于计算机屏幕上），但可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上，它甚至可以为自己设计机器人或设备使用。
- 用于训练模型的资源可以重新分配，以运行该模型的数百万个实例（这一点符合预测到2027年左右的集群规模），而且该模型可以以大约10到100倍于人类的速度吸收信息并生成操作。不过，它可能会受到物理世界或与其交互的软件响应时间的限制。
- 每一个这样的百万个副本都可以在不相关的任务上独立运作，或者在需要时，像人类协作一样共同工作，也许会有经过微调的不同子群体在特定任务上特别擅长。
我们可以将其概括为“数据中心中的天才之国”。
显然，这样的实体将能够非常快速地解决非常困难的问题，但要弄清楚它到底有多快并非轻而易举。两种“极端”的观点对我来说都似乎是错误的。首先，你可能会认为世界会在几秒钟或几天的时间内瞬间发生转变（“奇点”），因为超级智能会自我增强，几乎立即解决所有可能的科学、工程和操作任务。这个问题在于，现实中存在物理和实际的限制，例如在构建硬件或进行生物实验时，即使是一个天才之国也会遇到这些限制。智能可能非常强大，但它并不是灵丹妙药。
其次，相反地，你可能会认为技术进步已经达到瓶颈，或受到现实世界数据或社会因素的速率限制，而超越人类的智能几乎不会带来什么增益。这对我来说同样不可信——我能想到成百上千个科学甚至社会问题，在这些问题上，一大群非常聪明的人可以极大地加速进展，尤其是当他们不仅仅局限于分析，而且能够在现实世界中推动事情发生时（就像我们假设的天才之国那样，包括通过指挥或协助人类团队）。
我认为，事实很可能是这两种极端观点的某种复杂的混合体，具体情况会因任务和领域的不同而变化，且在细节上非常微妙。我坚信，我们需要新的框架来以富有成效的方式思考这些细节。
智力的限制和互补因素包括：
- 外部世界的速度。智能体需要在世界中互动操作，以完成任务并学习。但世界只能移动得如此之快。细胞和动物以固定速度运行，因此对它们的实验需要一定时间，这可能是不可减少的。硬件、材料科学、与人交流涉及的一切，甚至我们现有的软件基础设施也是如此。此外，在科学中，许多实验往往需要按顺序进行，每个实验从上一个实验中学习或建立在上一个实验的基础上。所有这些都意味着，例如开发癌症治疗方法这样一个重大项目可能有一个不可减少的最低完成速度，即使智能继续增加也无法进一步减少。
- 数据的需求。有时缺乏原始数据，而在缺乏数据的情况下，再多的智能也无济于事。今天的粒子物理学家非常聪明，发展了一系列广泛理论，但缺乏数据来选择其中的理论，因为粒子加速器的数据非常有限。不清楚如果他们拥有超级智能，是否会做得大幅更好——除了可能加快建造更大加速器的进程。
- 内在复杂性。有些事物本质上是不可预测或混乱的，即使是最强大的 AI 也无法比人类或当今的计算机显著更好地预测或解开它们。例如，即使是极其强大的 AI 在混沌系统（如三体问题）的普遍情况下，也只能比今天的人类和计算机稍微预测得更远一点。
- 来自人类的约束。许多事情如果不违反法律、伤害人类或破坏社会是无法完成的。一个对齐的 AI 不会想做这些事情（如果我们讨论的是不对齐的 AI，那就回到了风险的讨论）。许多社会结构效率低下，甚至是有害的，但在尊重一些限制（例如临床试验中的法律要求、人们改变习惯的意愿或政府的行为）时，很难进行改变。技术上运行良好但由于法规或无端恐惧而大大减少其影响的例子包括核能、超音速飞行，甚至电梯。
- 物理定律。这是第一点的更鲜明版本。有一些物理定律似乎是不可打破的。不可能以超光速旅行。布丁不会自行搅拌。芯片在每平方厘米内只能有这么多的晶体管，否则它们就会变得不可靠。计算需要一定的最小能量来擦除每个位，限制了世界上的计算密度。
我们应该想象一幅画面，在这里，智能最初在生产其他要素中受到了严重的限制，但随着时间的推移，智能本身越来越多地绕过其他要素，即使其他要素从未完全消失（有些东西如物理定律是绝对的）。关键问题是如何快速发生这一切，以及发生的顺序是什么。】
然后，他就开始分别介绍感兴趣5个领域的问题：
生物和身体健康
神经科学与心理健康
经济发展与贫困
和平与治理
工作与意义
这部分实在太长，有兴趣自己去看吧。
链接：
网页链接
