新智元报道，Anthropic AI发布了全新的Claude 3.5模型，包括Sonnet和Haiku两个版本。新模型具备操作电脑的能力，可以在计算机上执行各种任务，如查找代码错误、自动搜集信息填表等。其中，Claude 3.5 Sonnet在各项基准测试中表现优异，特别是在编码能力方面。而Claude 3.5 Haiku则具有低延迟响应、更精准的指令执行能力和更准确的工具使用等突出优势。文章还介绍了如何教会Claude操作电脑以及展望未来AI操作电脑能力的发展。
在各项基准测试中表现优异，特别是在编码能力方面。能理解细微的指令和上下文，识别并纠正自身错误，从复杂数据中生成深入的分析和洞察。
具有低延迟响应、更精准的指令执行能力和更准确的工具使用等特点，适用于面向用户的产品开发、专门的子智能体任务处理、基于海量数据生成个性化体验等场景。
通过训练Claude准确计算像素，完成根据屏幕内容执行操作的任务。研究者通过工具使用和多模态的工作为AI识别和解释图像奠定了基础。
虽然当前Claude的操作仍然相对缓慢且容易出错，但AI操作电脑的能力将迅速进步，未来开发者可以期待更多的创新和突破。
【新智元导读】
太科幻了，深夜上线的Claude，可以像人类一样使用计算机了？查看屏幕、移动光标、点击按钮、输入文本，还能查找代码错误、自动搜集信息填表。AI推理已至瓶颈，下一个爆破点，就是AI操作电脑！
Claude 3.5深夜迎来重磅升级！
不出所料，Anthropic AI这周终于有了大动作——首发Claude 3.5 Haiku，全新升级版Claude 3.5 Sonnet也来了。
不过，「超大杯」Opus依然没有亮相。
让人惊艳的是，进化后的Claude 3.5 Sonnet一举击溃OpenAI o1，堪称最强推理模型。
它在各个方面得到了全面显著的提升，尤其是业界领先的编码能力。
而Claude 3.5 Haiku与上一代最强Claude 3 Opus性能相当，成本、速度与上一代Haiku相近。
甚至，Claude现在能够像人类一样操作计算机，不仅可以查看屏幕、移动光标，还可以单机按钮、键入文本！
Anthropic开发者关系主管表示，「计算机使用」是全新人机交互范式的第一步。同时也是，AI模型应该具备的全新基础能力。
许多做浏览器智能体的初创公司，一夜之间过时了。
网友们纷纷感叹：Agent和工作流都要变天了……
在公测中，Anthropic引入一项突破性的新功能：计算机使用能力。从今天起，开发者可以通过API，指导Claude像人类一样使用计算机了。
Claude 3.5 Sonnet是首个在公测中提供此功能的模型。
当然，这项功能仍处于实验阶段，使用起来还有些笨拙，可能出错。而Anthropic选择提前发布此功能，也是为了获得开发者反馈，将之快速改进。
为什么要训练AI操作电脑？
Anthropic表示，在过去几年里，强大的AI开发已经达到了许多里程碑，比如执行复杂逻辑推理，以及识别和理解图像的能力。
而下一个突破点，就是AI操作电脑了！如果模型不必通过专门定制的工具进行交互，而是按指示就能使用所有软件，这一定代表着未来的方向。
基本电脑操作
在这个demo中，Anthropic研究员给Claude提出了一个极有难度的挑战：
我的朋友要来旧金山，我想明天早上和他一起在金门大桥看日出。我们将从太平洋高地出发。你能帮我们找到一个绝佳的观赏地点，查看一下开车时间和日出时间，然后安排一个日历活动，让我们有足够的时间到达那里吗？
Claude自行打开了Google，开始了搜索。
金门大桥和用户居住地有多远呢？Claude会自己打开地图查找距离。
了解所需信息之后，它打开了日历，为主人安排好了日程。
自动编码写网站
开发者展示出Claude如何操控了自己的笔记本电脑，丝滑地完成了一个网站编程任务。
首先，Claude在小哥的Chrome浏览器中导航到了Claude.ai，并且让Claude为自己创造了一个90年代主题的个人主页。
只见它自己输入网址，键入提示，向另一个Claude发出请求。
Claude.ai返回了一些代码，渲染出来的画面看起来很不错，但小哥希望在自己的电脑本地上对网站做一些修改。
于是他让Claude下载文件，然后在VS Code中将其打开。Claude成功完成了这些指令。
然后小哥让Claude启动了一个服务器，然后就可以在浏览器中实际查看这个文件了。
Claude打开了VS Code终端，尝试启动一个服务器，然后却遇到了错误：机子上并没有安装Python。
结果，通过查看终端输出，Claude自己发现了这个问题！它用Python 3再次尝试，成功运行起了服务器。
不过，终端输出中有个错误，顶部还缺少了一个文件图标。开发者小哥请Claude来识别这个错误，在文件中修复它。
令人惊喜的是，Claude在VS Code中找到了引发错误的行，删除了整行，然后保存文件、重新运行网站。
自动寻找数据填表
假设我们需要填写一份来自「蚂蚁设备公司」的供应商请求表，但需要填写的数据散步在电脑的各个角落，Claude能帮我们完成吗？
只见它开始截取小哥的屏幕截图，并且很快发现：蚂蚁设备公司并不在表格中。
这时，它立刻切换到CRM系统中，去搜索这个公司。找到后，它开始滚动页面，查找填表所需的所有信息，然后提交了表格。
这也就意味着，我们工作中许多不得不做的繁琐事项，都可以交由Claude代劳了！
现在，Asana、Canva、Cognition、DoorDash、Replit和The Browser Company等多家知名公司，已经在探索Claude的新潜能，让它们执行数十步甚至数百步的复杂任务了。
比如，Replit正在利用Claude 3.5 Sonnet的计算机使用和用户界面导航能力，为Replit Agent开发功能，在构建应用程序过程中对其实时评估。
远低于人类，但未来可期
新升级后的Claude 3.5 Sonnet，电脑使用能力究竟如何？
在 OSWorld测试中，它在仅基于屏幕截图的任务类别中得分为14.9%，明显超越了排名第二的AI系统（7.8%）。
当允许更多操作步骤来完成任务时，Claude得分提高到了22.0%。
这表明模型与环境的多次交互，能够优化任务性能。
虽然这一结果比之前有了大幅提升，但仍然远低于人类72.36%的表现。
这也暗示了，Claude 3.5 Sonnet未来还有很大的改进空间。
毕竟，人类毫不费力完成的一些操作（滚动、拖动、缩放），目前对于Claude来说极具挑战。
升级版Claude 3.5 Sonnet，编码王者干翻o1
在各项行业基准测试中，升级版Claude 3.5 Sonnet性能得到了全方位提升。
特别是，智能体编码、工具使用任务中取得显著突破。
论文地址：https://assets.anthropic.com/m/1cd9d098ac3e6467/original/Claude-3-Model-Card-October-Addendum.pdf
在编码能力方面，它在SWE-bench Verified测试中，性能从33.4%大幅提升至49.0%。
这超越了所有公开可用的模型——包括OpenAI o1-preview等推理模型和专为智能体编码设计的专门系统。
此外，在TAU-bench（一项评估智能体工具使用能力的基准测试）中，Claude 3.5 Sonnet也表现出色：
在零售领域的得分从62.6%提高到69.2%，在更具挑战性的航空领域则从36.0%跃升至46.0%。
从下表中，可以看出推理测试基准GPQA（Diamond）上，新版Claude 3.5 Sonnet大幅超越GPT-4o。
在视觉QA、数学推理、文档视觉问答、图表问答、科学表格基准测试中，Claude 3.5 Sonnet性能成为业界新标杆。
值得一提的是，新版Claude 3.5 Sonnet性能突破同时，仍保持了与前代模型相同的价格和运行速度。
一些早期测试用户的反馈，进一步印证了升级后Claude 3.5 Sonnet，在AI驱动编码领域实现「质」的飞跃。
-
GitLab：
在DevSecOps任务测试中，发现Claude 3.5 Sonnet在不增加延迟的前提下，推理能力显著提升（各用例最高提升10%），使其成为驱动复杂软件开发流程的理想选择
-
Cognition：
将新版Claude 3.5 Sonnet应用于自主AI评估，在编码、规划和问题解决等方面，相较前代模型均取得了实质性进步
-
The Browser Company：
在使用该模型自动化网络工作流程时发现，Claude 3.5 Sonnet的表现超越了他们此前测试过的所有模型
此外，在安全部署前，Claude 3.5 Sonnet已经在美国AI安全研究所（US AISI）和英国安全研究所（UK AISI）进行了联合测试。
而且，经过自身评估，Anthorpic在「Responsible Scaling Policy」中制定的ASL-2标准仍然适用于新模型。
如前所述，升级版的Claude 3.5 Sonnet现在已经可以在网页、终端APP上使用了。
API的定价起始为
每百万输入Token 3美元
，
每百万输出Token 15美元
。
通过使用智能缓存技术可节省高达90%的成本，而使用批处理API则可节省50%成本。
应用场景
Claude 3.5 Sonnet能够理解细微的指令和上下文，识别并纠正自身错误，还能从复杂数据中生成深入的分析和洞察。结合最先进的编码、视觉识别和写作能力，Claude 3.5 Sonnet可以被应用于各种场景。
通过API集成Claude，开发者可以指导Claude像人类一样使用电脑——通过观察屏幕、移动鼠标、点击按钮和键入文字。Claude 3.5 Sonnet是首个能够以这种方式可靠使用电脑的前沿AI模型，虽然目前在公开测试阶段仍具实验性质，但其能力会随时间持续提升。
Claude 3.5 Sonnet可以协助整个软件开发生命周期——从初始设计到错误修复，从系统维护到性能优化。可以直接将它被集成到产品中，或通过Claude.ai平台将其用作智能编码助手。
凭借增强的推理能力和亲和、自然的语气，Claude 3.5 Sonnet非常适合开发需要跨系统连接数据并执行操作的智能对话系统。
Claude 3.5 Sonnet具有大规模上下文处理能力和极低的幻觉率，使其成为处理大型知识库、文档和代码库问答任务的理想选择。
Claude 3.5 Sonnet能够轻松从图表、图形和复杂示意图等视觉材料中提取信息——这使其成为数据分析和数据科学任务的理想人工智能模型。
Claude 3.5 Sonnet能够实现重复性任务或流程的自动化。它具备业界领先的指令执行能力，能够处理复杂的流程和操作。
全新Claude 3.5 Haiku，智能超越上代老大哥
从上一代对标来看，Claude 3.5 Haiku称得上是「最小杯」。
这是Anthropic速度最快的模型。
它不仅保持乐了与Claude 3 Haiku相同的运行成本和相近的处理速度，还在各项技能全面提升。
甚至，在多项智能基准测试中，Claude 3.5 Haiku
超越了上一代最强大的模型Claude 3 Opus
。
同样，Claude 3.5 Haiku在编码任务上的表现尤为卓越。
比如，在SWE-bench Verified测试中，它取得了40.6%的高分，
超越
了许多使用公开可用的最先进模型的AI智能体——包括原始版本的
Claude 3.5 Sonnet和GPT-4o
。
Claude 3.5 Haiku具备了三点突出优势：
3. 更准确的工具使用
这些特性使得模型特别适用于，面向用户的产品开发、专门的子智能体任务处理、基于海量数据（如购买记录、价格信息或库存数据）生成个性化体验。
本月末，Claude 3.5 Haiku将在多个平台上推出，包括Anthropic API、Amazon Bedrock和谷歌云的Vertex AI。（最初会以纯文本模型形式推出，随后会加入图像输入功能）
Claude 3.5 Haiku的定价起始为
每百万输入Token 0.25美元
，
每百万输出Token 1.25美元
。
