当地时间8月29日，美国商务部国家标准与技术研究所(NIST)宣布，其下属的美国人工智能安全研究所宣布与人工智能领域的两大领先企业Anthropic和OpenAI签署了人工智能安全研究、测试和评估的正式合作协议。根据这份谅解备忘录，美国人工智能安全研究所将能够在这些公司的主要新模型公开发布前后获得使用权，以开展评估和安全风险研究。
这些协议的签署标志着在推动人工智能安全科学发展方面的技术合作的开始，并作为负责任地管理人工智能未来的重要里程碑。此外，美国人工智能安全研究所还计划与英国人工智能安全研究所的合作伙伴进行紧密合作，向Anthropic和OpenAI提供有关其模型潜在安全改进的反馈。美国人工智能安全研究所的成立是基于NIST在先进测量科学、技术、标准和相关工具方面的长期成就，其任务是制定测试、评估和指导方针，以帮助加速安全人工智能创新，应对先进人工智能系统带来的风险。OpenAI和Anthropic是两家估值最高的人工智能初创公司，随着业界对人工智能的安全性和道德问题的担忧日益加剧，它们已同意让美国人工智能安全研究所测试它们的新模型，然后再向公众发布。
合作的主要内容
该协议包括以下几个关键内容：
AI安全研究
：合作将专注于深入的AI安全研究，评估AI系统的潜在风险，并开发新的测试方法和标准。这些研究将帮助识别AI系统中的漏洞，并提升其在复杂环境中的稳健性。
安全测试和评估：
NIST、OpenAI和Anthropic将共同开发AI安全测试和评估框架。新的测试方法将帮助确保AI系统在各种操作环境下的可靠性和安全性。
制定和更新标准
：协议还包括制定和更新AI安全标准，以适应最新的技术进展和安全需求。这些标准将涵盖AI系统的设计、实施和维护，确保其符合高安全性要求。
数据共享与合作
：协议规定了数据共享的条款，以促进研究和测试的有效性。合作各方将共享AI系统测试中的数据和成果，加速研究进展，确保AI系统的安全性和可靠性。
主要目标
该合作协议的主要目标包括：
提升AI系统的安全性
：通过深入的研究和新的测试方法，提升AI系统的整体安全性，减少潜在的风险和漏洞。
建立标准化的安全测试框架
：制定统一的AI安全测试标准，确保所有AI系统在部署前经过严格的安全测试，从而提升行业整体的安全水平。
推动技术进步和创新
：通过推动技术进步和创新，增强AI系统的安全性，应对未来可能出现的新威胁。
促进合作与共享
：通过数据共享和合作，加快研究进展，推动整个AI行业的发展，确保所有相关方都能从中受益。
各方对合作的态度
NIST的首席科学家
佩吉·肖特（Peggy Shumaker）
表示：“与OpenAI和Anthropic的合作将是提升AI系统安全性的关键一步。我们希望通过这一合作，建立更加完善的AI安全标准和测试框架，以确保AI技术能够在安全的环境下健康发展。”
NIST技术负责人
马丁·巴罗（Martin Barrow）
补充道：“AI的快速发展要求我们不断更新和改进我们的安全措施。通过这次合作，我们将能够更好地应对未来可能面临的安全挑战。”
OpenAI的首席执行官
萨姆·奥特曼（Sam Altman）
表示：“我们对与NIST和Anthropic的合作感到兴奋。我们相信，通过共同开发新的安全标准和测试方法，可以有效提升AI系统的安全性。这不仅有助于保护用户的安全，也推动了整个AI行业的进步。”
OpenAI的首席科学家
伊利亚·苏茨克弗（Ilya Sutskever）
指出：“AI技术的安全性是我们工作的核心之一。我们希望通过这次合作，能够推动AI安全技术的发展，确保AI系统在实际应用中的可靠性。”
Anthropic的首席技术官
丹尼尔·戈尔斯坦（Daniel Gortler）
表示：“我们非常重视AI系统的安全性，与NIST和OpenAI的合作将为我们提供更多资源和支持，以解决AI系统中存在的安全挑战。”
Anthropic的首席运营官
克劳斯·维尔茨（Klaus Wirtz）
指出：“这次合作不仅能加强我们的技术能力，还能帮助我们制定更有效的AI安全标准。我们期待通过这一合作，提升AI技术的整体安全水平。”
小结
NIST与OpenAI和Anthropic签署的合作协议标志着美国在AI安全领域的一项重要进展。通过深入的安全研究、制定标准化的测试框架、推动技术创新以及促进数据共享，协议旨在提升AI系统的安全性和可靠性。政府和企业的关键人物都对此合作充满期待，认为这将对AI技术的发展产生积极影响。随着AI技术的不断进步，确保其安全性将成为重中之重，而这一协议为实现这一目标奠定了坚实的基础。
