美国加州起草法案——既要把开源管起来，还要“一举两得”限制中国

作为SB-1047的重要参与者和推动者之一，Hendrycks一直在多个平台大力宣传该法案，提醒公众警惕先进AI带来的社会风险。 他在Yann LeCun转发的这则采访中指出： 人工智能将“从执行日常任务到摧毁整个宇宙”，它虽不懂人类是什么，但会寻求权力并表现得”自私”，而美国加大AI监管也会“一举两得”地扼制中国人工智能发展。

此番言论马上被一大批科技人士痛批“bullshit”，对这个SB-1047法案也是深恶痛绝。因为它表面看似为增强AI模型安全性、透明度、促进公平竞争做出的立法努力，实则会让开发者背负沉重负担，很可能扼杀创新，给AI初创公司和开源社区带来巨大的负面影响。

SB-1047 法案，全称为「前沿人工智能安全创新法案（Safe and Secure Innovation for Frontier Artificial Intelligence Act）」，由加州参议员Scott Wiener在今年2月首次提出。目的是“为大规模人工智能系统的开发和部署设立严格安全标准，以确保其安全性并防止潜在重大危害。”

该法案针对超过10^26次浮点运算能力（FLOPs）和1亿美元训练成本，以及任何基于以上AI模型微调的、运算能力不少于3 倍10^25 FLOPs的智能系统。几乎把现在市面所有主流大模型囊括在内。

主要内容包括要求开发者进行部署前的安全评估，实施强有力的网络安全保护，具备紧急关停模型的能力，提交年度合规认证，72小时内上报安全事件等。

另外还要求开发者对其模型的下游使用或修改承担法律责任。换言之，但凡有人用你的模型做了“坏事”，你就要“连坐受罚”，跟古代皇宫里“株连九族”差不多意思。在开始训练之前，开发者需要保证他们的模型不会被用来或提供"危险能力"，并实施一系列保障措施来防止未经授权的访问或滥用，还必须要立下“书面保证”。

一个新成立的“前沿模型司（Frontier Model Division）”将负责监督新法规的执行。它将隶属于加州技术部，由向开发者收取的费用和罚款来资助。向该机构虚假陈述模型能力可能会因伪证罪而入狱。同时条款明文写着“鼓励告密”，呼吁AI公司内部员工报告雇主的不合规行为，且不会因此而遭到报复——不知为什么，总觉得这机构满满的反派感。

目前该法案的进度是，已于5月21日在加州参议院获得两党支持通过，正在众议院审议中。6月20日刚进行了最新阅读和修订，计划7月2日举行听证会，并最终在8月进行议会投票 。一旦投票通过，只需州长盖文纽森一个签名，SB-1047就将正式确立为加州法律，成为悬在所有硅谷AI从业者头顶的一把大刀 。

只通篇略读，就已经觉得这个法案槽点太多，群起反抗迫在眉睫。

加州是全球人工智能的创新热土：坐拥学术重镇斯坦福大学、加州理工、伯克利、南加大、UCLA，是Meta、谷歌、微软等科技巨头和OpenAI、Anthropic这些业内领军企业的总部所在地，更别提遍地涌现的AI独角兽、技术实验室和开源社区。颁布这样一条法案弊远大于利，当然引来Yann LeCun等许多权威人士的严辞抵制。

首先是“受管制模型”的不合理范围。Answer.ai CEO、fastai库作者Jeremy Howard指出其定义方法过于宽泛，很可能把大量风险极小的开源模型包括在内，进而误将从事有益AI项目的善意开发者活动归为犯罪。

a16z普通合伙人Anjney Midha认为，随着算法效率的提升和计算成本的下降， 10^26 FLOPs的阈值将很快覆盖比科技巨头开发的最大、最尖端模型多得多的模型，这将真正伤害到大批AI初创公司。

而关于“1亿美元训练成本”的界定也十分模糊。它应该包括研究人员薪资吗？是包含历代模型还是只计算最终版本，模型对齐的人类反馈费用怎么算？若是从别人的模型微调而来，那基础模型的成本又是否涵盖在内？这些都是没有明确答案的开放性问题，给小型开发者带来巨大的应对负担。

接下来是批判声浪最大也最荒谬，对模型开发者施加民事甚至刑事责任的22603条款。

该细则要求开发人员在训练模型之前，必须采取一系列措施防止滥用，包括实施网络安全保护、关键时刻能不考虑用户紧急关停模型等。

此外，存在潜在风险的模型不得用于商业或公共用途。开发人员每年要重新评估安全措施，提交合规证明。2028年开始必须获得第三方审计员的合规证书。 还要评估模型是否可能导致“严重危害”，确保能够准确追踪其衍生行为及后果。由于上述疏忽而出现AI安全事故的话，第一开发者将负连带责任 。

也就是前面说过的，当素不相识的下游用户做出一些不法行为时，基础模型开发者将成为共同受罚的冤大头。好比让汽车制造商对每一起驾驶员造成的事故负责，简直离大谱。

Jeremy Howard在评论中写道，“AI模型是计算机上运行的通用软件，就像计算器或网络浏览器。模型的创建者无法确保模型未来不会被用于有害用途，就像网络浏览器不能决定打开什么网页一样。”

这也是SB-1047法案的根本缺陷 —— 它不是专注于滥用和恶意用户，反而试图监管模型和基础设施 ，把如此繁重的负担放在了初创公司、创始人和工程师身上。

DeepLearning.AI创始人吴恩达在X撰写长文，称“安全性是应用程序的属性，而不是技术或模型的属性….如果有机会，我希望您能加入发声，共同反对这一法案。”

接着来到22604条款，对运营计算集群的人员来说，当客户使用其算力资源训练“前沿模型”时，要收集客户的身份信息、支付方式和联系方式，包括相关金融机构、信用卡号码、账户号码、交易标识符或虚拟货币钱包地址等。并且保留客户的IP地址和访问记录长达七年，每年对用户行为和意图进行评估，也要在海关、边境总署备案。

诸如这样不合理的责任条款还有很多，那它们带来的实际效果会是什么呢？

a16z合伙人Anjney Midha认为，它将把先进AI开发推向地下或海外，“创始人将把公司业务转移到一个监管环境更明智的辖区，而加州甚至美国将失去这些机会，就这么简单。”

并且由于合规成本的增加，企业或个人开发者在开源大模型权重上会非常谨慎。而开源一直是软件技术进步的关键推动力，提供了许多现代人工智能基本构建块。事实上，生成式 AI浪潮正是源自Google实验室的Transformer架构，然后由OpenAI 去开创和继续。Mistral和Meta们的开源模型对下由贡献不可估量，今天的一切都是开源合作的结果，而这项法案会大大减缓其发展。

Yann LeCun解释说，“ SB-1047 的级联责任制将使开源 AI 平台面临极大风险 。没有开源 AI，就没有 AI 初创公司生态系统，也没有大模型的学术研究。Meta 会没事，但 AI 初创公司将会死亡。在我看来，这才是末日景象。”

Y Combinator掌门人Gary Tan表示，“SB-1047将对加州的 AI 发展产生强烈的寒蝉效应。”

Kentauros AI CEO 、前Red Hat高级架构师Daniel Jeffries认为这根本不是一项AI安全法案，而是一匹“特洛伊木马”。真正目的是让一小撮反AI极端分子拥有关闭先进AI的权力，同时给加州的科技产业制造麻烦。

“不要让模型对别人的犯罪负责。没人因为安然公司有人用Excel诈骗投资者就惩罚微软，该惩罚的是安然的骗子。”

他还指出，若法案在加州成功很可能引发其它州效仿，与此同时其它地区的AI正在高速发展。例如中国就已经有了媲美Sora的先进视频生成模型，量产的无人驾驶出租车，和广泛部署用于交通控制的阿里巴巴城市大脑。