公众号回复
行业群
（大模型、AIGC、ChatGPT、Sora；机器学习、深度学习、联邦学习）
安全地部署人工智能（Al）系统需要仔细的设置和配置，这取决于AI系统的复杂性、所需的资源（例如，资金，技术专长），以及所使用的基础设施（即，本地、云或混合）。本报告扩展了安全Al系统开发指南的“安全部署”和“安全操作和维护”部分，并纳入了与人工智能（AI）互动的缓解考虑因素。它适用于部署和操作由另一个实体设计和开发的Al系统的组织。最佳实践可能不适用于所有环境，因此缓解措施应适应特定的用例和威胁概况。
Al安全是一个快速发展的研究领域。随着机构、行业和学术界发现人工智能技术的潜在弱点以及利用这些弱点的技术，组织除了将传统的IT最佳实践应用于人工智能系统之外，还需要更新其人工智能系统以应对不断变化的风险。
这份报告由美国国家安全局人工智能安全中心（AISC）、网络安全和基础设施安全局（CISA）、联邦调查局（FBI）、澳大利亚信号局的澳大利亚网络安全中心（ACSC）、加拿大网络安全中心（CCCS）、新西兰国家网络安全中心（NCSC-NZ）和英国国家网络安全中心（NCSC-UK）。AISC和本报告的目标是：
1.提高Al系统的机密性、完整性和可用性；
2.确保人工智能系统中已知的网络安全漏洞得到适当缓解；
3.提供方法和控制措施，以保护、检测和响应针对Al系统及相关数据和服务的恶意活动。
这些最佳实践最适用于在内部或私有云环境中部署和运营外部开发的AI系统的组织，特别是那些处于高威胁、高价值环境中的组织。它们不适用于那些自己没有部署Al系统，而是利用其他人部署的Al系统的组织。
并非所有的指导方针都直接适用于所有组织或环境。攻击的复杂程度和方法将取决于针对人工智能系统的对手，因此组织应该在考虑其用例和威胁概况的同时考虑指导。
人工智能功能的快速采用、部署和使用可以使它们成为恶意网络行为者的极有价值的目标。历史上曾使用敏感信息和知识产权的数据盗窃来促进其利益的行为者可能会寻求增选部署的人工智能系统并将其应用于恶意目的。
针对人工智能系统的恶意攻击者可能会使用人工智能系统特有的攻击媒介，以及针对传统IT的标准技术。由于攻击媒介种类繁多，防御需要多样化和全面。高级恶意行为者通常结合多个向量来执行更复杂的操作。这种组合可以更有效地穿透多层防御。
组织应考虑以下最佳实践，以保护部署环境，持续保护AI系统，并安全地操作和维护AI系统。
以下最佳实践与CISA和美国国家标准与技术研究所（NIST）制定的跨部门网络安全性能目标（CPG）保持一致。CPG提供了CISA和NIST建议所有组织实施的最低实践和保护。CISA和NIST的CPG基于现有的网络安全框架和指南，以防范最常见和最具影响力的威胁，战术，技术和程序。
保护部署环境
组织通常在现有的IT基础设施中部署A智能系统。在部署之前，它们应该确保IT环境应用了健全的安全原则，如健壮的治理、设计良好的体系结构和安全的配置。例如，确保负责人工智能系统网络安全的人是对组织的网络安全负责的同一人。
IT环境的安全最佳实践和要求也适用于AI系统。以下最佳实践对于应用于AI系统和组织部署它们的IT环境尤为重要。
管理部署环境治理
-
如果IT之外的组织正在部署或运营AI系统，请与IT服务部门合作，确定部署环境并确认其符合组织的IT标准。
-
了解组织的风险水平，并确保AI系统及其使用在组织的整体风险承受能力范围内，以及托管AI系统的特定IT环境的风险承受能力范围内。评估并记录适用的威胁、潜在影响和风险接受度。
-
确定每个利益相关者的角色和责任，以及他们如何负责履行这些责任；如果组织将其IT环境与人工智能系统分开管理，则确定这些利益相关者尤为重要。
-
确定IT环境的安全边界以及AI系统如何适应这些边界。
-
要求AI系统的主要开发人员为其系统提供威胁模型。
-
Al系统部署团队应利用威胁模型作为实施安全最佳实践、评估潜在威胁和计划缓解措施的指南。
-
在为AI系统产品或服务制定合同时，请考虑部署环境安全要求。
-
为所有相关方，特别是数据科学、基础设施和网络安全团队，促进协作文化，让团队能够表达任何风险或担忧，并让组织适当地解决这些问题。
确保稳健的部署环境体系结构
-
-
识别并解决威胁模型识别的Al系统中边界保护和其他安全相关领域的盲点。例如，确保对AI模型权重使用访问控制系统，并将访问限制为具有双人控制（TPC）和双人完整性（TPI）的一组特权用户。
-
识别和保护组织将在Al模型训练或微调中使用的所有专有数据源。检查数据源列表(如果可用），以查找由其他人训练的模型。维护一个受信任和有效的数据源目录将有助于防止潜在的数据中毒或后门攻击。
-
将安全设计原则和零信任（ZT）框架应用于架构，以管理AI系统的风险。
强化部署环境配置
-
将现有的安全最佳实践应用于部署环境。这包括在强化容器或虚拟机中运行ML模型的环境沙箱，监控网络，使用允许列表配置防火墙以及其他最佳实践，例如NSA的十大云部署云缓解策略中的那些。
-
查看硬件供应商指南和通知（例如，用于GPU、CPU、内存），并应用软件补丁和更新，以最大限度地降低漏洞利用的风险，最好是通过通用安全咨询框架（CSAF）。
-
保护敏感的AI信息（例如，AI通过加密静态数据来建模权重、输出和日志），并将加密密钥存储在硬件安全模块（HSM）中，以供稍后按需解密。
-
实施强身份验证机制、访问控制和安全通信协议，例如使用最新版本的传输层安全性（TLS）来加密传输中的数据。
-
确保使用防钓鱼多因素身份验证（MFA）访问信息和服务。监控并响应欺诈性身份验证尝试。
-
了解并缓解恶意行为者如何利用薄弱的安全控制，请遵循《薄弱的安全控制和实践》中的缓解措施。
保护部署网络免受威胁
采用ZT的思维方式，即假设违约是不可避免的或已经发生的。实施检测和响应能力，能够快速识别和遏制妥协。
持续保护AI系统
模型是软件，并且像所有其他软件一样，可能具有漏洞、其他弱点或恶意代码或属性。
在使用前和使用过程中验证人工智能系统
-
使用加密方法、数字签名和校验和来确认每个工件的起源和完整性（例如，加密安全源以保护它们的完整性和机密性），在人工智能过程中保护敏感信息免受未经授权的访问。
-
为每个版本的Al模型和系统创建哈希值和加密副本，以便在防篡改位置存档，将哈希值和/或加密密钥存储在安全保险库或HSM内，以防止在同一位置访问加密密钥以及加密数据和模型。
-
存储所有形式的代码（例如，源代码、可执行代码、作为代码的基础结构）和工件（例如，模型、参数、配置、数据、测试），并具有适当的访问控制，以确保仅使用经过验证的代码并跟踪任何更改。
-
彻底测试AI模型的鲁棒性、准确性和修改后的潜在漏洞。应用对抗性测试等技术来评估模型对妥协尝试的弹性。
-
为自动回滚做好准备，并使用具有人机交互的高级部署作为故障保护，以提高可靠性、效率并实现Al系统的持续交付。在人工智能系统的背景下，回滚功能确保如果新模型或更新引入问题，或者如果人工智能系统受到损害，组织可以快速恢复到最后已知的良好状态，以最大限度地减少对用户的影响。
-
评估和保护任何外部人工智能模型和数据的供应链，确保它们符合组织标准和风险管理政策，并首选根据安全设计原则开发的标准和政策。确保供应链中无法遵守组织标准和政策的部分的风险得到理解和接受。
-
不要立即在企业环境中运行模型。在考虑对模型进行调优、训练和部署之前，在安全的开发区域内仔细检查模型，尤其是导入的预训练模型。使用组织批准的AI特定扫描仪（如果可用）来检测潜在的恶意代码，以确保部署前的模型有效性。
-
考虑自动化检测、分析和响应功能，通过为IT和安全团队提供洞察力，使他们能够对潜在的网络事件做出快速、有针对性的反应，从而提高他们的效率。对AI模型及其托管IT环境进行持续扫描，以识别可能的篡改。在考虑是否使用其他人工智能能力来提高自动化效率时，要仔细权衡风险和好处，并确保在需要的地方有一个人工循环。
保护暴露的API
-
如果Al系统公开了应用程序编程接口（APIs），请通过实现API访问的身份验证和授权机制来保护它们。使用安全协议，例如带有加密和身份验证的HTTPS。
-
对所有输入数据实施验证和清理协议，以降低不期望的、可疑的、不兼容的或恶意的输入被传递到Al系统的风险（例如，快速注射攻击）。
主动监控模型行为
-
收集日志，以涵盖输入、输出、中间状态和错误；自动执行警报和触发器。
-
监视模型的架构和配置设置，以防止任何可能危及模型性能或安全性的未经授权的更改或意外修改。
-
监控试图访问或从AI模型或引出数据或聚合推理响应。
保护模型权重
-
加强访问模型权重的接口，以增加对手泄露权重所需的努力。例如，确保API只返回任务所需的最小数据，以抑制模型反转。
-
在可行的情况下，对模型重量存储实施硬件保护。例如，禁用不需要的硬件通信功能，并防止发射或侧信道技术。
-
积极隔离重量储存。例如，将模型权重存储在受保护的存储库中、高度受限区域（HRZ）中（即，单独的专用飞地）或使用HSM。
