专栏名称: 战略前沿技术

“战略前沿技术”公众号为远望智库旗下前沿资讯媒体。“远望智库”聚焦前沿科技领域，围绕军民融合、科技创新、管理创新等主题，开展情报挖掘、战略研究、规划论证、评估评选等工作，为管理决策、产业规划、企业发展、机构投资提供情报、咨询等服务。

美国战略与国际研究中心发布！《开源基础模型对国防工业的重要影响》

战略前沿技术 · 公众号 · 军事 · 2024-09-12 23:39

正文

电话 | 010-82030532 手机 | 18501361766

微信 | tech9999 邮箱 | [email protected]

来源：元战略

导语

2024年8月，美国战略与国际研究中心（CSIS）发布《开源基础模型对国防工业的重要影响》（Defense Priorities in the Open-Source AI Debate）报告，提出美国国防部正积极推动生成式人工智能的应用，并依赖商业创新来推进其人工智能战略。但在这一战略推进过程中，是否应开源基础模型成为焦点问题。其争议点在于开源基础模型虽然能促进创新，但也可能被滥用。元战略编译报告主要内容，旨在探讨如何在开源基础模型应用过程中平衡安全与创新。

一、背景

生成式人工智能成为美国国防部（DOD）的优先事项。由生成式人工智能基础模型驱动的软件可以模仿人类的推理能力，处理大量的原始情报并且实现飞机、卡车和船只等交通工具的自主导航。一旦生成式人工智能在美国国防部得到广泛应用，那么开发商业基础模型将成为美国国防工业基础的重要组成部分。因此，联合部队与商业基础模型生态系统及其发展息息相关。

美国国防部的人工智能战略取决于持续商业创新。为此，美国国防部划拨了新的资金来购置人工智能系统，如用于“复制者”计划无人机和联合全域指挥控制战斗网络的系统，并设立了新的组织机构来管理这些系统，授权首席数字与人工智能办公室（CDAO）、利马工作组（Task Force Lima）等机构。在这一过程中，美国国防部应评估拟议的商业基础模式市场法规。民用部门的政策制定将决定美国国防部未来的选择。2023年《关于安全、可靠、可信地开发和使用人工智能的行政命令》首次使用了《国防生产法》来规范商业人工智能市场。可以从下面这张甘特图中看到从1990年至2006年间，多家公司在联邦服务、国防硬件和商业IT三大领域的业务转型与多元化战略。

图1：20世纪90年代美国国防工业整合实例

二、关于开源基础模型的讨论

民间社会关于人工智能安全性的讨论，尤其是关于开源基础模型的讨论，值得特别关注。与GPT-4等闭源模型不同，Llama、Mistral或Qwen等开源基础模型的开发者公开发布模型的基本参数（“权重”），允许最终用户检查、修改和操作这些参数。随着开源模型的性能接近闭源模型，一些人认为开源模型的发布可能会带来滥用的“极端风险”。

如何解决开源基础模型的争论将对美国国防工业基础产生直接影响。一个多样化的开源模型生态系统可能对美国国防部有利。高性能、开源基础模型的广泛可用性可以提高美国国防部在以下方面的能力：

（1）有竞争力地采购和维护人工智能系统；

（2）安全地部署人工智能；

（3）解决新型用例。

考虑到这些影响，开源模型相关讨论是对民间社会如何在人工智能政策决策中评估国防优先事项的一个测试案例。美国政府既未认同对开源模型进行限制，也不排除在未来对其进行监管。因此，对美国国防工业效益的评估可能会有助于正在进行的关于人工智能安全性的讨论。

三、讨论领域

美国陆军智能手机、海军战舰和太空部队的导弹预警卫星都使用源自Linux的操作系统。开源软件无处不在，渗透到96%以上的美国民用和军用代码库中，未来几年仍将是美国国防基础设施的核心部分。

什么是开源基础模型？开发者可以发布不同开源程度的基础模型，从发布白皮书和基本技术信息到完全发布模型，包括其基础权重、训练数据和用于运行模型的代码。相比之下，闭源模型的开发者发布的细节或数据较少，只允许用户通过专用的应用编程接口访问。

最近，围绕开源人工智能的几项提案都是以风险为由提出的。分析师们担心，恶意用户可能会修改开源基础模型，以发现网络安全漏洞或指导用户制造生化武器。其他人则认为，公开发布模型权重可能会帮助对手提高人工智能能力。鉴于这些担忧，一些观察员提出了出口管制、许可规则和责任制度，以限制开源基础模型的发布。

有人认为，公开发布权重可以加速创新和应用。事实上，支撑当今大型语言模型（LLM）的关键框架和创新，如PyTorch和转换器架构本身，都是公开发布的。另一些人则认为，随着人工智能系统重要性的增加，对模型权重的公开审查有助于快速发现和修复漏洞，提高公共透明度。

然而，这种风险效益评估仍不完整。美国商务部的初步评估尚无定论，人工智能安全文献迄今也缺乏明确的框架来识别相对风险和收益，以及它们是否是开源模型所独有的。尽管人们担心人工智能模型会指导未经训练的用户开发生物武器，但最近的红队测试表明，配备LLM的团队与未配备LLM的团队表现类似。对人工智能辅助网络漏洞发现的类似担忧仍不明确，同时，恶意使用闭源模型的情况仍在发生。简而言之，仍有必要开展更多研究，以了解相关风险和益处所在。未来基础模型可能发生的灾难性危害尚未清晰显现。

其次，技术变革的步伐尚不明朗，评估未来的益处、害处和政策之间的相互影响可能具有挑战性。

最后，在人工智能政策的执行方面仍然存在问题。早期的人工智能政策方法，包括欧盟人工智能法案、人工智能行政命令和加利福尼亚州SB 1047，都对超过一定计算能力或开发成本的模型设定了“系统性风险”阈值。如何平衡人工智能政策实施与其他网络和生物威胁缓解措施之间的资源配置，仍是一个悬而未决的问题。

四、评估开源模型对国防工业影响的重要性

国防工业评估可为人工智能风险辩论提供有价值的视角。由于终端用户可以直接修改和运行开源模型，它们在开发本地安全应用和嵌入式系统方面的重要性日益凸显——这正是要求低功耗、安全性和可靠性的军事用户所需要的。而且，由于开源模型可以被公开检查、进行红队测试和验证，它们可能会提供国防领域相关的网络安全优势。

在其旗舰数据、负责任的人工智能和应用战略中，美国国防部重在利用私营部门的创新维护国家安全。美国国防部在作战司令部中设置了首席数据官；在主要实验计划中测试了人工智能用例，如全球信息主导实验（Global Information Dominance Experiment）、项目融合（Project Convergence）等；并制定了负责任的人工智能框架，强调使用可追溯、透明的人工智能系统。

第一步是明确美国国防部内潜在的人工智能用例；第二步是明确人工智能工业基础。美国国防部将经常依靠行业专业知识来开发和识别更具生成式的人工智能用例；模型和应用开发人员的广泛生态系统对这一过程至关重要。

总之，在有关开源基础模型的广泛讨论中，明显缺少对国防工业影响的评估。因此，包括CDAO在内的美国国防部各部门未来可能独立评估国家开发人工智能驱动系统的能力以及开源基础模型的影响。

五、从应用战略到产业战略

美国国防部未来可能进行国防工业核算，因为有初步证据表明，开源基础模型及其支持生态系统可能对美国国防部有用。应用人工智能仍是美国国防部的优先事项，而开源历来加快了技术应用的速度。开源模型的发展可能会对美国国防采购产生积极的竞争影响。开源社区正在加速内部部署、专业应用微调、模型可靠性以及国防终端用户所需的其他特性方面的发展。

1.供应商多元化

在2023年美国国防工业战略（NDIS）中，美国国防部将国家零部件供应商基地的多样化列为优先事项。一个强大的开源基础模型开发生态系统可能会提高美国国防供应商的多样性，并防止市场整合。

与其他软件产品不同，大型基础模型的开发尤其需要大量资金，其供应链的复杂程度可与主要国防硬件相媲美。无论是开源还是闭源的基础模型，其训练都需要极其庞大的数据集和昂贵的图形处理技术。其运行也带来了高昂的能源成本。由于这些因素，美国行业领导者已经花费了数百亿美元来开发和部署所谓的前沿基础模型。这种高昂的进入成本增加了行业整合的风险，从而对未来美国国防部采购项目的能力造成压力。

一个强大的开源人工智能生态系统能否缓解这些压力，为专有供应商创造竞争机会并加速创新？开源基础模型已经开始显示出与闭源的专有替代品相比具有竞争力的性能。迄今为止，许多具有竞争力的开源基础模型都是由资源充足的参与者开发的。但社区修改和实验已经加速了新架构的开发，并降低了训练和推理成本。经过修改的开源模型在高度专业化的任务中也表现出了很高的性能；对于预期的美国国防应用，如飞行控制、商业自动化或情报融合，它们也可能具有类似的性能。

2.保持竞争力

美国国防应用中的基础模型可能需要随着运行环境的变化进行专门的调整，包括使用美国政府数据。高性能的闭源模型也会随着时间的推移出现性能偏移；获取模型权重和其他信息将有助于供应商诊断出现的问题。简而言之，通过建立开源基础模型，美国国防部可以减少供应商在模型集成、重新调整和维护方面的竞争障碍。

无法获取技术数据历来挑战美国国防部维护军事硬件能力。鉴于这些障碍，各军种越来越多地要求获取为新直升机、卡车和直升机提供维护所需的数据。在无法获得模型权重的情况下，人工智能软件的竞争性维护可能会很困难。

然而，在闭源模型驱动的软件中采用这种模块化方法具有挑战性。闭源模型开发人员不太可能放弃对模型权重的访问权，以便其他供应商在履行其维护合同时进行修改。此外，为了安全地对美国国防应用软件实施模型等级的修改，美国国家安全客户可能需要对应用软件供应商和闭源模型供应商分别进行认证，这就给本已复杂的采购过程增加了额外的困难。

竞争性开源基础模型或将使美国国防部避免这些可持续发展的挑战。虽然供应商会调整和适应专有应用程序的开源模型，但对其基础权重和架构的可视性将使其他人更容易维护和集成它们，从而有可能降低维护成本。美国国防部已经在以竞争方式维持军用硬件方面投入了大量资金，这些经验同样适用于人工智能软件的维护。

3.安保和可靠性

对基础模型的安保和可靠性的担忧仍然是美国国防部采用生成式人工智能的主要障碍。因此，在美国国防部基础设施上本地运行开源基础模型的潜力成为一个关键优势。开源模型为构建人工智能驱动的系统提供了有用的选择，而无需为沙盒部署认证外部基础模型开发人员。

一个强大的开源研究社区还能推动人工智能模型可靠性和可解释性的进步，减少人工智能幻觉的数量。获取模型权重往往对诊断故障和详细评估模型可靠性至关重要。事实上，人工智能行政命令特别强调未来基础模型的红队测试；更开源的模型发布方式允许对模型性能进行更广泛的同行评审。正如美国网络安全与基础设施安全局的分析师最近所强调的，“开源基础模型在帮助加强网络安全、增加竞争和促进创新方面具有重要价值。”因此，未来的评估可能会审查开源模型对于关键防御人工智能系统的利弊。

4.专业用例

一个强大的开源基础模型生态系统可能会使闭源供应商较少关注的人工智能用例成为可能。由于开源模型可以重新训练、微调和广泛定制，它们可以作为美国国家安全特定应用的基础。此外，开源计划可以推动美国国家安全相关主题的创新。这些搜索算法利用嵌入模型来比较存储文档的语义并返回相关结果；开源模型在嵌入生成的性能指标中占据着主导地位。下一步，应评估开源模型性能超过闭源替代方案的使用案例。

六、美国国防部可能采取的措施

初步证据表明，开源基础模型可能有利于美国国防工业基础。现在需要的是对开源生态系统的财政影响进行量化评估。除了评估应用途径之外，国防政策制定者需要审查不断变化的基础模型竞争格局，以及其对美国国防工业基础的潜在影响。美国国防部可能采取的具体措施如下：

1.在即将对美国国防部基础模型应用情况进行的审查中，利马工作组及其成员可能会比较生成式人工智能用例中的开源模型和闭源模型。不同的基础模型架构可在国防应用中发挥作用。例如，对于文档摘要任务，开发人员可以在从检索增强生成到上下文学习的各种架构中使用开源和闭源模型。对潜在的开源和闭源模型用例进行广泛比较，可为采集专业人员提供有用的背景信息。

2.NDIS的实施可能包括对基础模型产业基础的评估，包括数据、基础设施、人力资本、竞争动态以及开源模型开发的影响。《2022年国防战略》承认，美国国防部“将成为市场力量推动可信人工智能商业化的快速追随者”，而NDIS则声称，必须“分化供应商基础”并“促进美国国防市场内的竞争”。对这些市场力量（包括人工智能市场中的竞争）进行独立评估，对于NDIS的实施至关重要。

3.美国国防部应收集以下数据：开源基础模型在其系统中的使用情况、应用开源基础模型的非传统执行者数量，以及模型的潜在财政影响。随着美国国防部开始采用人工智能驱动的系统，美国国防部需要收集有关开源基础模型在哪些方面得到应用的数据。这些数据可能会为分析人工智能产业基地状况以及新进入者的竞争能力提供参考。

在有关开源基础模型的讨论中，忽视国防工业影响的风险相当大。在造船和航空航天等其他行业进行大规模整合的同时，美国国防采购的速度和能力也在大幅下降。如果开源基础模式确实具有既可用于民用也可用于军事的“双重用途”，那么其潜在的整合趋势就值得国家安全领域的关注。

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 国家重点研发计划 \| 装备采办 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 军工百强 \| 试验鉴定 \| 双一流 \| 净评估
前沿科技：颠覆性技术 \| 仿生 \| 脑科学 \| 精准医学 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 脑机接口 \| 传感器 \| 数字孪生
先进武器：无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器 \| 反无人机 \| 防空反导 \| 潜航器
未来战争：未来战争 \| 抵消战略 \| 水下战 \| 网络空间战 \| 分布式杀伤 \| 无人机蜂群 \| 太空战 \| 反卫星 \| 混合战 \| 电子战 \| 马赛克战
前沿机构：战略能力办公室 \| DARPA \| 快响小组 \| Gartner \| 硅谷 \| 谷歌 \| 华为 \| 阿里 \| 俄先期研究基金会 \| 军工百强
其他主题系列陆续整理中，敬请期待……

一网打尽系列文章，请回复以下关键词查看：
创新发展：习近平 \| 创新中国 \| 协同创新 \| 科研管理 \| 成果转化 \| 新科技革命 \| 基础研究 \| 产学研
热点专题：军民融合 \| 民参军 \| 工业4.0 \| 商业航天 \| 国家重点研发计划 \| 装备采办 \| 摩尔定律 \| 诺贝尔奖 \| 国家实验室 \| 军工百强 \| 试验鉴定 \| 双一流 \| 净评估
前沿科技：颠覆性技术 \| 仿生 \| 脑科学 \| 精准医学 \| 基因编辑 \| 虚拟现实 \| 增强现实 \| 人工智能 \| 机器人 \| 3D打印 \| 4D打印 \| 太赫兹 \| 云计算 \| 物联网 \| 互联网+ \| 大数据 \| 石墨烯 \| 电池 \| 量子 \| 超材料 \| 超级计算机 \| 卫星 \| 北斗 \| 智能制造 \| 不依赖GPS导航 \| 5G \| MIT技术评论 \| 航空发动机 \| 可穿戴 \| 氮化镓 \| 隐身 \| 脑机接口 \| 传感器 \| 数字孪生
先进武器：无人机 \| 轰炸机 \| 预警机 \| 运输机 \| 直升机 \| 战斗机 \| 六代机 \| 网络武器 \| 激光武器 \| 电磁炮 \| 高超声速武器 \| 反无人机 \| 防空反导 \| 潜航器
未来战争：未来战争 \| 抵消战略 \| 水下战 \| 网络空间战 \| 分布式杀伤 \| 无人机蜂群 \| 太空战 \| 反卫星 \| 混合战 \| 电子战 \| 马赛克战
前沿机构：战略能力办公室 \| DARPA \| 快响小组 \| Gartner \| 硅谷 \| 谷歌 \| 华为 \| 阿里 \| 俄先期研究基金会 \| 军工百强
其他主题系列陆续整理中，敬请期待……