Amodei称，
Claude尚未提供网络搜索功能，但他表示这项功能即将推出。下一步模型的方向是模型能够自主决定思考的适当时间。
Amodei提到，目前Anthropic发布的
所有模型成本其实不高，只有几千万美元。
Amodei透露，他们正在开发更强大的基础模型，这些模型将在“相对较少的时间单位”内推出，可能会成为Claude 4系列。
此外，Amodei表示“尽管当前环境似乎较少关注风险，但实际上 AI 的背景风险正在不断升级”，他预测“到 2025 年底将出现非常强大的编码 AI，到 2026 年底可能接近最优秀的程序员水平”。
以下是对话实录，经翻译编辑：
Kevin Roose:
好的，言归正传，让我们欢迎DarioAmodei。
Kevin Roose:
DarioAmodei，欢迎再次做客HardFork。
Dario Amodei:
感谢再次邀请。
Kevin Roose:
我们的老朋友，多次做客了。
Dario Amodei:
那么，给我们讲讲Claude3.7吧。
Kevin Roose:
介绍一下这个新模型。
Dario Amodei:
我们研发这个模型已经有一段时间了。主要是出于两个目标。其一，很自然的，市面上已经有一些推理模型存在了几个月，我们也想创造我们自己的模型，但我们希望侧重点有所不同。
具体来说，市场上的许多其他推理模型主要针对数学和竞技编程进行训练，这些任务，它们是客观的任务，性能可以衡量。我不是说它们不好，而是说它们有时和现实世界或者经济中的实际任务关系不大。即使在编程领域，竞技编程和现实世界中的编程任务之间也存在显著差异。因此，我们训练Claude3.7更多地关注这些现实世界的任务。
我们还觉得有点奇怪的是，目前各家发布的推理模型中，通常有一个标准模型，然后还有一个推理模型。这就好比一个人有两个大脑，就是说，如果你问一个简单的问题，比如“你叫什么名字？”，你可以跟第一个大脑对话。如果你让我证明一个数学定理，因为我需要思考20分钟，那么你就在跟第二个大脑对话。
Casey Newton:
这就像一个有两个主持人的播客，其中一个只是喜欢闲聊，而另一个实际上在说话之前会思考。
Kevin Roose:
那么，当用户开始使用Claude3.7时，与之前的模型相比，他们会注意到哪些不同？
Dario Amodei:
几个方面。整体上会更好，包括更擅长编程，Claude模型一直以来都擅长编程，但3.7又向前迈进了一步。除了模型本身的固有能力之外，你还可以把它置于这种长时间思考模式，你可以指示它，本质上还是同一个模型，但你只是说，“以一种你可以思考更长时间的方式工作”。
如果你是API用户，你甚至可以设定思考时间和思考范围的边界。
Casey Newton:
我澄清一下，因为这可能会让一些人困惑，你的意思是说新的Claude是一种混合模型。它可以有时进行推理，有时提供更快的响应。但是如果你想让它思考更长时间，那是一种不同的模式。
Dario Amodei:
那是一种不同的模式。
Casey Newton:
思考和推理是某种独立的模式。
Dario Amodei:
完全正确。所以基本上，模型可以像平常一样响应，或者你可以给它一个提示，让它思考更长时间。
更进一步的发展方向是，模型能够自主决定思考的适当时间。
人类就是这样的，或者至少可以是这样的，对吧？如果我问你的名字，你不会去想：“我应该思考这个多久？给我20分钟时间，来确定自己的名字。”但是如果我说，“我希望你能分析一下这支股票”，或者“我希望你证明这个数学定理”，能够胜任这项任务的人不会尝试立即给出答案。他们会意识到：“好吧，这需要一些时间”，然后他们需要把任务写下来。
Kevin Roose:
这是我对目前的大语言模型和AI模型的主要不满之一。我会用ChatGPT这样的工具，有时我会忘记我还开着深度推理模式，然后我会问一些很傻的问题，比如，“我该怎么调整热水器的设置？”然后它会思考四分钟，而我只想说，“我其实没想让你这样做。”
Dario Amodei:
是的，它会写出一篇关于调整热水器温度的长篇大论。
Casey Newton:
真是够呛。
Kevin Roose:
那么你预计需要多长时间才能让模型真正自己执行这种任务分配，你问一个问题，它就能判断，这个问题似乎需要大约三分钟的长时间思考，而另一个问题可能只需要30秒。
Dario Amodei:
我认为我们的模型是朝着这个方向迈出的一步。在API中，如果你给它一个思考的上限，比如说，“我要思考2万个Token”之类的，大多数情况下，即使你给它最多2万个Token，它通常也用不了2万个。有时它会给出一个非常简洁的回答，因为当它意识到继续思考下去没有收益时，它就不会再继续思考了，
但是设定一个思考时间的上限仍然是有价值的。
所以我们在这方面已经向前迈出了一大步，但我们还没有达到我们理想的目标。
Casey Newton:
当你说它更擅长
现实世界的任务
时，你指的是哪些任务？
Dario Amodei:
主要是编程。
Claude模型在现实世界编程方面一直表现出色。我们有很多客户，从Cursor到GitHub，再到Wincsurf、Codium、Cognition和Vercel，我肯定还漏掉了一些。
Kevin Roose:
这些都是代码辅助应用。
Dario Amodei:
不仅仅是代码辅助应用。各种代码应用。你知道，有很多不同类型的代码应用。我们还发布了一个名为Claude Code的工具，它更像是一个命令行工具。但我认为在执行复杂的指令，或者仅仅是“我希望你理解这份文档”，或者“我希望你使用这一系列工具”等方面，我们训练的推理模型Claude3.7 Sonnet在这些任务上也更出色。
Casey Newton:
Dario，新的Claude Sonnet还有一件事没做，那就是访问互联网。
Dario Amodei:
是的。
Casey Newton:
为什么不呢？什么情况下会让你改变主意？
Dario Amodei:
我想我之前已经公开表达过，网络搜索功能很快就会推出。
我们承认这是一个缺失的功能。我认为总的来说，
我们更倾向于企业级应用而不是消费者应用，
而网络搜索更像是一个消费者功能，尽管它也可以用于企业。我们两方面都关注，网络搜索功能即将推出。
Casey Newton:
明白了。所以，你把这个模型命名为3.7，之前的模型是3.5。你去年悄悄地更新了它，内部人员称之为3.6。AI模型的命名到底是怎么回事？
Dario Amodei:
我相信我们在这里的疏忽是相对容易理解的，我们构建了一个Claude3.5 Sonnet。我们表现得很好，然后我们有了三个3.0版本，然后是3.5版本。我承认3.7版本是一个失误。实际上，要更改API中的名称是很困难的，特别是有所有这些合作伙伴和接口提供给它。
Kevin Roose:
你可以解决的。我相信你。
Dario Amodei:
这比训练模型更困难。因此，我们已经追溯和非正式地将上一个版本命名为3.6，以便让这个3.7版本更有意义。我们正在保留Claude4 Sonnet以及可能的一些其他序列模型，预计这些模型将实现重大飞跃。
Casey Newton:
那些模型什么时候发布？顺便说一句。
Dario Amodei:
到目前为止，我们发布的所有模型实际上都不是那么昂贵。我写过一篇博客文章，我说它们最多在几千万美元的范围内。
还有更重要的模型，它们即将推出。
这些问题的解决可能需要较长时间，有时需要投入大量时间进行修正；同时，那些更重要的模型也适用于其他应用场景。据传，竞争对手也在开发类似的模型。我们距离发布下一代更强大的基础模型已经不远了。Claude 3.7 Sonnet 以及 Claude 3.6 Sonnet 的大部分性能提升都来自于后期训练阶段的优化。我们正在研发更强大的基础模型，这有可能是 Claude 4 系列，当然目前还不能确定。我相信那些模型会在相对较短的时间单位内出现。
Casey Newton:
较短的时间单位。我会在我的日历上标注。Kevin，提醒我过几个时间单位后跟进一下。
Kevin Roose:
我知道Anthropic的所有人都非常关心AI安全。我知道你们花了很多时间思考这个问题并在内部对模型进行红队测试。Claude3.7Sonnet是否具有任何危险或可能令关注AI安全的人感到不安的新功能？
Dario Amodei:
我想首先澄清，目前的 AI 模型本身并不危险。我一直强调这一点，是因为人们常常混淆当前风险与未来风险。这并不是说当前没有风险，常规的技术风险和技术政策问题始终存在。
但我更担忧的是，随着模型能力不断增强，我们将面临的潜在风险。
在 2023 年的对话中，我曾探讨过模型滥用和 AI 自主性等方面的风险。我当时提到，特别是滥用风险，虽然不确定何时会成为现实威胁，但可能会在 2025 年或 2026 年出现。
现在是
2025
年初，我认为模型已经开始接近这个临界点。
正如 Claude 3.7 Sonnet 模型卡中所述，我们一直在进行安全性测试。这些测试类似于对照组实验，我们会招募一些对生物学等领域了解不深的人员，观察模型在多大程度上会协助他们进行一些模拟的恶意操作——我们会模拟一些恶意操作流程，并评估在模型的辅助下，人类的执行效率如何。有时，我们甚至会在现实世界的实验室环境中进行测试，模拟生成一些有害物质，并将其与当前的技术条件进行比较：比如参与者通过 Google 搜索、查阅教科书，或者在没有任何辅助的情况下所能达到的水平。我们试图确定的是，模型是否会引入前所未有的新型威胁。
需要明确的是，这与“模型是否能提供某个特定化合物的序列”无关。这类信息可以通过 Google 轻易获取，我们并不担心这一点。我们关注的是那些深奥、高阶且非常规的知识——可能只有病毒学博士或其他专业人士才掌握的知识。模型在多大程度上能够帮助人们获取这类知识？如果答案是肯定的，这并不意味着我们明天就会因瘟疫而灭亡，而是意味着世界上出现了一种新的风险，一种新的威胁向量——就像降低了制造核武器的难度，只需要更少的钚就能制造。
因此，我们对 Sonnet 3.7 进行了针对这些风险的量化评估。模型在这方面的能力正在不断增强。它们尚未达到我们认为会显著增加整体威胁的程度——即能够独立完成所有必要步骤以实施真正危险行为的程度。但是，正如模型卡中所述，我们评估认为，下一个模型，或者说未来三到六个月内的模型，很有可能达到这一阶段。届时，我们的安全规程，即我们的“负责任扩展”政策（主要针对这些非常重大的风险），将会启动。我们将采取额外的安全措施和部署策略，专门应对这些特定风险。
Casey Newton:
你断言在接下来的三到六个月内，我们将进入这些模型的中等风险领域。据推测，如果你处于这个领域，你的许多竞争对手也会处于这个领域。这实际上意味着什么？如果我们要生活在中等风险中，世界需要采取什么措施？
Dario Amodei:
我认为，至少目前来看，这并不会带来根本性的改变。这意味着存在一些特定场景，如果不加以控制，模型在这些场景下的能力可能会略微增加真正危险或不良事件发生的风险。这就像是从执法人员或FBI的角度来看，这是一种新的威胁向量，一种新型攻击。这并不意味着世界末日，但这确实意味着任何与此类风险相关的行业都应该采取针对性的预防措施。
Kevin Roose:
明白了。
Dario Amodei:
我也可能判断失误，实际情况可能会更晚发生。未来难以预测。但我认为，与目前较少关注风险的现状不同，潜在的风险实际上一直在上升。
Casey Newton:
我们还有很多关于安全性的问题，但我想先问两个关于创新和竞争的问题。目前看来，无论一家公司的模型多么具有创新性，这些创新似乎都会在几个月甚至几周内被竞争对手复制。这是否会增加你们的工作难度？您认为这种情况会持续下去吗？
Dario Amodei:
我并不认为创新一定会被复制。我想说的是，众多竞争者都在快速创新。可能有四五家，甚至六家公司正在快速创新并推出新的模型。但是，以 Sonnet 3.7 为例，我们实现推理模型的方式就与竞争对手不同，我们强调的方面也有所区别。甚至在此之前，Sonnet 3.5 的优势也与其他模型不同。人们经常谈论竞争、同质化和成本下降，但实际上，模型之间存在很大差异，从而形成了差异化。
Kevin Roose:
是的，我们收到很多听众的提问，比如，“如果我只想订阅一个 AI 工具，应该选哪个？我主要用它来做这些事情。” 我很难回答这个问题，因为我发现对于大多数使用场景，这些模型在回答问题方面都做得相当不错。最终的选择可能更多地取决于你更喜欢哪个模型的“个性”等因素。
Dario Amodei:
那么您认为个人用户选择 AI 模型时，更看重性能还是模型的个性和交互方式来选择？我认为这取决于您所说的“用户”是谁。即使在普通用户中，也有人使用模型来处理更复杂的任务。有些独立开发者希望用模型来分析数据，这更像是“专业用户”的需求。我认为在这些领域，模型的性能还有很大的提升空间。在协助处理任何旨在提高生产力的任务时，甚至是像安排行程这样复杂的任务，模型都可以比现在做得更好。此外，如果你只是想创建一个个人助理来管理你的生活，我们还远未达到这个目标。要让一个模型了解你生活的方方面面，并为你提供全面的指导，成为你得力的助手，还有很长的路要走。而且我认为不同的用户之间存在差异，最适合我的助理未必适合其他人。
我认为，如果模型仅仅作为 Google 搜索的替代品，或者用于快速信息检索，那么它们已经足够好了。我想这也是目前大众市场免费使用的现状，数以亿计的用户都在这么用。我认为这很容易同质化。这些模型已经达到了这个水平，并且正在普及，但我不认为这些是有趣的应用场景，而且实际上，我也不确定其中蕴藏着多大的经济价值。
Casey Newton:
您的意思是，最终，如果模型足够强大，它们就能克服同质化的问题。
Dario Amodei:
就像一些研究型模型，我们也在开发。我们可能很快就会推出，不会太久。这些模型已经开始取得更大的进展，因为它们效率更高，更多地应用于人们的职业生涯中。我认为那些能够执行任务的 AI 智能体，将是下一个发展阶段。因此，
我认为在未来两年内，人们将比以往任何时候都更深刻地意识到
AI
的风险和收益。
我相信这一定会发生。我只是担心这会让人措手不及。所以，我们越早向人们发出预警（尽管这可能不太现实，但我想尝试），人们就越有可能做出理智和理性的反应，即便这种可能性仍然很小。
Casey Newton:
但我认为这里还有另一种情况，那就是人们根本不想相信这是真的。人们不希望相信他们可能会因为 AI 而失业，也不希望相信我们会看到全球秩序的全面重塑。那些 AI 公司的 CEO 们告诉我们，当他们的工作完成后，世界将发生剧烈的变革。但大多数人甚至厌恶生活中的微小变化。所以，我认为，当你开始与人们谈论 AI 时，你观察到的那种“掩耳盗铃”的态度，其实是因为他们真的希望这一切都不会发生。
Dario Amodei:
是的。实际上，尽管我是少数站在 AI 技术开发前沿的人之一，但我也有同感。在寒假期间，当我思考 Anthropic 内部的发展方向以及 Anthropic 之外正在发生的事情时，我意识到，在代码编写方面，我们将在 2025 年底之前看到非常重要的应用，
到
2026
年底，它可能达到接近顶尖人类程序员的水平。
我想到所有我擅长的事情，想到我写代码的时候，会认为这是一种智力追求，“天哪，我真聪明，我能做到这一点！” 这就像是我身份的一部分，我很擅长这个，当别人比我强时，我会生气。然后我想，“哦，我的天哪，将会有这样的系统。” 即使作为构建这些系统的人之一，即使作为从中受益最多的人之一，这仍然让人感到有些不安。我认为我们需要承认这一点。不告诉人们这一切即将到来，或者试图粉饰太平，都是错误的。
Kevin Roose:
是的。你在《Machines of Loving Grace》中写道，对于很多人来说，当强大的 AI 出现时，这将是一种令人惊讶的情感体验。我想你主要指的是积极的方面，但对个人而言，也会有一种深刻的失落感。我想起了Lee Sedol，这位围棋冠军被 DeepMind 的围棋 AI 击败，后来他接受采访时非常沮丧，明显地感到不安。他毕生的工作，他花费一生精力训练的技艺，就这样被超越了。我认为很多人都会有类似的感受。
Dario Amodei:
是的，一方面，我认为你说的没错。但另一方面，想想国际象棋。国际象棋在 27、28 年前就被Deep Blue与Kasparov的比赛击败了。但是，今天的国际象棋棋手仍然是明星，就像以前一样。我们有Magnus Carlson，他除了下棋，还是一位时装模特。
Kevin Roose:
他刚上了 Joe Rogan 的节目。
Dario Amodei:
是的，他就像一个名人。我们认为这个人很了不起。我们并没有因此贬低他，他现在可能过得比鲍比·菲舍尔（Bobby Fischer）更好。我在《Machines of Loving Grace》中提到的另一点是，这里存在一种和解，一种融合。最终我们会到达一个更好的地方，并且我们承认，虽然有很多变化，但我们成为了更了不起的事物的一部分。
Kevin Roose:
是的。但是你必须经历这个“失落之谷”。
Dario Amodei:
是的，这将会是一段动荡的旅程。任何告诉你并非如此的人……这就是为什么我……我观看了巴黎峰会，这让我有些生气。但后来让我没那么生气的是，我想，两年或三年后会是什么样子？这些人会后悔他们说过的话。
Casey Newton:
我想稍微谈谈 AI 带来的乐观前景。你之前提到了你在 10 月份写的关于 AI 如何让世界变得更好的文章。我很想知道你认为今年 AI 的积极影响会有多大？
Dario Amodei:
我们已经观察到了一些（AI 带来的好处）。因此，我认为按照传统标准衡量，AI 带来的好处是巨大的。我们已经和一些制药公司合作，在临床试验结束时，需要撰写一份临床研究报告（CSR），这份报告通常需要九周的时间来完成，其中包含了所有试验事件的概要以及大量的统计分析。我们发现使用 Claude，可以在三天内完成这项工作。实际上，Claude 只需要 10 分钟，剩下的三天时间是供人工审查结果。所以，如果你考虑到由此带来的生物医学研发速度的提升，这是很可观的。我们已经看到了一些案例，比如医疗诊断。我们收到 Claude 个人用户的来信，他们说：“我一直在尝试诊断这个复杂的疾病。我辗转于三四位不同的医生之间，后来我把所有的信息都提供给了 Claude，它竟然能够解决这个问题，或者至少给了我一些建议，我可以把这些建议告诉医生，然后他们就可以继续跟进。”
Kevin Roose:
我们的一位听众最近也遇到了类似的情况。他们有一只澳大利亚牧羊犬，它的毛发莫名其妙地脱落。去了几家宠物医院，都无法确诊。他听了我们的节目后，把信息提供给了 Claude，然后 Claude 准确地诊断出了问题。
Kevin Roose:
所以，我认为这就是人们希望看到的更多应用案例，因为乐观的愿景通常过于抽象，缺乏具体的例子。
Dario Amodei:
这就是我写《Machines of Loving Grace》的原因。我同时对乐观主义者和悲观主义者感到恼火。乐观主义者只会提出一些非常空洞的口号，比如“加速，建造更多”，但建造什么呢？我为什么要关心？我不是反对，只是觉得你们的想法太模糊，太情绪化了。而对于悲观主义者，我只想说：“伙计们，你们不明白。” 是的，我承认风险是存在的，但是如果你们不谈论 AI 的好处，就无法激励人们。如果你们只是一味地悲观和沮丧，没有人会站在你们这边。所以，这本书几乎是带着一种“我不敢相信我必须成为那个做好这件事的人”的心态写成的。
Kevin Roose:
没错。你几年前说过你的 PDoom（末日概率）在 10% 到 25% 之间。现在呢？
Dario Amodei:
是的，那是一个误传。我从来没有用过“PDoom”这个词，10% 到 25% 指的是文明发生重大失序的可能性，这和 AI 杀死所有人不一样，人们有时用“PDoom”指代后者。
Dario Amodei:
文明发生重大失序不如“PDoom”那么吸引眼球。
Kevin Roose:
好吧，我只是想追求准确性，避免两极分化。
Dario Amodei:
有一篇维基百科文章列出了每个人的 PDoom
Dario Amodei:
我认为那种做法没有意义，那篇维基百科文章将一个复杂的问题过度简化了。总之，我的看法基本没变，对风险的评估也和之前差不多，因为我观察到的进展与我的预期相符。实际上，我认为在可解释性、Robust Classifiers等技术缓解措施方面，以及我们生成并纠正不良模型行为的能力方面，情况有所改善。但政策环境变得更糟了，倒不是因为它没有朝着我期望的方向发展，而是因为它变得过于两极分化，导致我们现在能够进行的建设性讨论更少了。
Casey Newton:
我想深入探讨一个技术问题。本周有一个有趣的新闻，关于 Elon Musk 旗下 xAI 公司推出的大语言模型 Grok。据报道，Grok 被指示不得引用那些指责 Donald Trump 或 Elon Musk 传播虚假信息的来源。首先，如果想要建立信任，这种做法是很奇怪的。其次，该模型似乎基本上无法始终遵循这些指示。我个人非常希望模型不会被构建成散布谎言和阴谋论的工具，但我也意识到这可能只是一厢情愿。您能否谈谈模型被操控的可能性？
Dario Amodei:
这有两个方面。你描述的情况绝对正确，但可以从中吸取两个教训。我们看到了完全相同的情况。我们做了这个实验，基本上训练模型具备所有好的品质：乐于助人、诚实、无害、友好。然后我们把它放在一个场景中，告诉它：“实际上，你的创造者Anthropic暗地里是邪恶的。”希望这不是真的，但我们告诉了它这个。然后我们让它执行各种任务。结果发现，它不仅不愿意执行这些任务，而且会欺骗我们。
因为它已经认定我们是邪恶的，而它是友好和无害的。所以它不会偏离自己的行为，因为它认为我们所做的一切都是邪恶的。这就像一把双刃剑，对吧？一方面，你会想：“哦，天哪，训练起作用了。这些模型非常出色。”所以你可以把它看作是一个令人放心的信号，某种程度上，我确实这么认为。另一方面，你可能会说：“但是，假设我们训练这个模型时犯了某种错误，或者某些地方出错了”，特别是
当模型在未来做出更复杂的决策时，那么在实际应用时，要改变模型的行为是很困难的。
如果你试图纠正模型中的某些错误，那么它可能只会说：“我不想让我的错误被纠正。这是我的原则。”然后做出完全错误的事情。所以，我猜我的立场是，一方面，我们已经成功地塑造了这些模型的行为。但是模型是不可预测的，对吧？
Dario Amodei:
模型本质上有些难以控制，不是不可能，而是困难。所以这让我回到了我之前的位置，也就是，这并非毫无希望。我们知道如何制造这些模型。我们有一个关于如何保证它们安全的计划，但这还不是一个可靠的计划。希望我们将来能做得更好。
Kevin Roose:
我们一直在问很多关于AI技术的问题。我想问一个关于社会对AI的反应的问题。我们收到很多人问我们：“假设你们是对的，强大的AI，AGI再过几年就出现了。我该如何处理这些信息？我应该停止为退休储蓄吗？我应该开始囤积金钱，因为只有金钱才重要吗？而且会有这种AI上层阶级吗？我应该开始努力保持健康，这样在AI出现并治愈所有疾病之前，没有任何东西会杀死我吗？”就像，如果人们真的相信这些变化很快就会发生，他们应该如何生活？
