专栏名称: 新智元

智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。

美政府欲阻天网降临，GPT-5先做「末日测试」！

新智元 · 公众号 · AI · 2024-08-30 12:50

正文

新智元报道

编辑：乔杨好困

【新智元导读】不到一年时间实现活跃用户数量翻倍的OpenAI正是炙手可热，但最近因为和Anthropic共同签署了一项政府安全协议又卷入非议。加上最近的SB 1047法案，AI安全领域正是沸反盈天。

虽然OpenAI经常被曝出财务状况不佳，5月就发布的Her也一直鸽到现在，但这些都不影响他们的「顶流」地位。

不仅最近要开启新一轮融资，而且活跃用户数相比去年11月已经增长了一倍，每周有超过2亿人使用ChatGPT。

虽然2022年底ChatGPT推出后，谷歌、微软和Meta都推出了各自的AI聊天应用，纷纷要在这个竞争激烈的市场中分一杯羹，但OpenAI的用户数量依旧不断增长。

根据The Information今天的报道，Meta的AI助手拥有4000万日活跃用户、至少4亿月活跃用户，相比OpenAI还是有不小的差距。

除了个人用户，OpenAI还表示，92%的财富500强公司正在使用他们的产品。自7月份GPT-4o mini模型发布以来，API的使用量也翻了一番。

5月份的时候，GPT-4o刚发布，四大会计事务所之一普华永道就和OpenAI达成了合作协议，成为了ChatGPT的「经销商」，负责将相关软件转售给其他企业，10万名普华永道员工也将在工作中使用ChatGPT。

此外，Salesforce、Snap、Quizlet、Shopify等科技公司也和OpenAI展开了合作，以OpenAI提供的API为基础，或者与ChatGPT进行整合，构建自己的AI功能，涉及的应用程序包括Slack、SnapChat、Shopify等。

管理咨询巨头Bain也表示，他们与OpenAI合作，将包括ChatGPT在内的技术集成到自己开发的管理系统、研究和流程中。这个AI系统已经被可口可乐用上了。

奥特曼在给科技媒体Axios的声明中写道，「使用OpenAI的工具已经成为人们日常生活的一部分，这些产品正在医疗保健和教育等领域产生真正的影响，无论是协助完成日常任务、解决难题或是释放创造力。」

奥特曼特意cue到医疗健康领域，让人不禁联想到他本人和OpenAI的创业基金正在大力支持的初创Thrive AI Health，旨在提供个性化的AI健康教练。

然而，就在Axios的作者Shaun Ralston发推特宣布OpenAI的这一成就时，下面的置顶评论竟然是——「AI统治世界的邪恶计划即将来临」。

虽然「顶流」地位难以撼动，但这一年来，关于OpenAI的安全丑闻和非议就没消停过。

最近曝出的一则新闻，还扯进了Anthropic这个向来「势不两立」的老对手。

OpenAI和Anthropic的「末日测试」

OpenAI和Anthropic分别签署了一项史无前例的协议——在发布模型之前，会先拿给美国政府进行安全测试。

奥特曼也在今天发推确认了这项合作。

我们很高兴与美国人工智能安全研究所达成协议，对我们未来的模型进行预发布测试。

出于多种原因，我们认为这在国家层面很重要。美国需要继续领先！

美国商务部下辖的国家标准与技术研究所（NIST）在新闻稿中表示，Anthropic和OpenAI均签署了一份谅解备忘录，达成与美国人工智能安全研究所的「AI安全研究、测试和评估的正式合作」。

NIST表示，这是建立在AI公司对拜登政府做出的自愿安全承诺的基础之上。

根据这项协议，AI安全研究所将在新模型公开发布之前及之后获得访问权限，并和相关公司展开合作研究。

这将确保AI领域的公共安全不只依赖于科技公司对安全风险的评估能力，以及缓解这些风险的方法。

美国AI安全研究所还将与英国的AI安全研究所合作，共同审查模型以标记潜在安全风险，向OpenAI和Anthropic提供关于其模型的潜在安全改进的反馈。

研究所主任Elizabeth Kelly称这些协议为「帮助负责任地引导AI未来发展的重要里程碑，在她看来，安全是推动突破性技术创新的关键。

这一协议的出台正值加州准备通过SB 1047法案，反映了美国各级政府和立法者对AI安全的日益关注。

Anthropic联创：AI 安全对创新「至关重要」

SB 1047旨在规范AI在加州的开发和部署，已于周三在民主党控制的州参议院上以压倒性多数通过投票。

由于进行过修改，参议院还将在本周再次投票，决定是否通过修正案，但这被认为只是「走个过场」。实际上，SB 1047只待州长批准，即可在2026年1月1日正式生效施行。

然而，加州州长Gavin Newsom尚未表明自己对法案的立场，在技术高管、风险投资家、学者和议员们展开的激烈游说中，他必须在9月30日前做出决定。

该法案最具争议的方面之一，是要求AI公司内置一个「紧急停止开关」，以防止模型引入对公共安全的新威胁，尤其是模型「在人类有限监督或干预」运行时。

据路透社报道，Anthropic是谨慎支持该法案的AI公司之一，声称在最后一轮修订后，法规的潜在好处可能超过成本。

Anthropic CEO联创兼CEO Dario Amodei在上周致州长的信中阐明了自己支持的理由。

他表示，尽管还不确定法案中「看起来令人担忧或模棱两可」的方面，但由于最近对法案的修改，Anthropic最初对该法案阻碍创新的担忧已大大减少。

Anthropic的联合创始人Jack Clark也对路透社表示，「安全、可信赖的AI对技术的正面影响至关重要。」

与Anthropic正好相反，OpenAI加入了反对者的阵营，并已经展开了游说。

在致法案共同发起人、加州参议员Scott Wiener的信中，OpenAI的首席战略官Jason Kwon表示，在对前沿AI模型的监管中，应该由美国政府率先带头，以考虑对国家安全和竞争力的影响。

可以看出，虽然Anthropic和OpenAI对SB 1047有截然不同的态度，但对于加强AI安全监管似乎有相似的立场，这也能解释为何这两家公司会率先与美国AI安全研究所达成协议。

正如Jason Kwon对路透社所说的，「在负责任的AI开发方面，该研究所发挥着关键作用，希望我们的合作能为世界其他地区提供一个可借鉴的框架。」

加州AI法案，让科技圈「虎躯一震」

除了Anthropic，该法案的其他支持者包括马斯克、「图灵三巨头」之二Yoshua Bengio和Geoffrey Hinton、Gary Marus、UCB教授Stuart Russell以及其他一些警告AI失控风险的团体。

反对者的阵营同样强大，不仅有OpenAI、谷歌、Meta、HuggingFace等科技公司和各种风投资本，还有AI社区的知名学者/KOL吴恩达和李飞飞。

SB 1047之所以举足轻重，让全美的科技圈都坐立不安，不仅是因为加州在AI行业的地位，更是由于美国的立法传统——加州通过的法案有时会影响其他州的立法者。

不同于OpenAI的反对理由，很多批评者认为，该法案过于「杞人忧天」——用所谓的「紧急开关」预防世界末日出现，却对Deepfake和虚假信息等众多现有的安全风险视而不见。

因此，该法案不仅会阻碍AI的创新，而且对当今AI的安全性也没有帮助。

更有争议的一点是，SB 1047要求开发者监控客户对AI技术的使用情况，并在造成伤害时承担巨额罚款——例如，如果有人入侵自动驾驶系统并导致事故，开发该系统的公司将被追责。

美政府欲阻天网降临，GPT-5先做「末日测试」！

正文

(adsbygoogle = window.adsbygoogle || []).push({});

新智元报道

【新智元导读】 不到一年时间实现活跃用户数量翻倍的OpenAI正是炙手可热，但最近因为和Anthropic共同签署了一项政府安全协议又卷入非议。加上最近的SB 1047法案，AI安全领域正是沸反盈天。

Anthropic联创：AI 安全对创新「至关重要」

请到「今天看啥」查看全文

【新智元导读】不到一年时间实现活跃用户数量翻倍的OpenAI正是炙手可热，但最近因为和Anthropic共同签署了一项政府安全协议又卷入非议。加上最近的SB 1047法案，AI安全领域正是沸反盈天。