AI动态 | 美国NIST发布《降低合成内容所带来的风险》草案（附中译版）

编辑丨李韵怡 黄丹敏 曾晓洋 徐英豪 毛文睿 李卓霖

【本期看点】

2024年4月29日，美国商务部宣布根据美国总统在2023年12月颁布的《关于发展安全、可靠和值得信赖的人工智能的行政命令》，通过其下属的美国国家标准与技术研究院（NIST）制定并发布四份指导性文件草案。其中，第三份草案为规范合成内容风险管理的《降低合成内容所带来的风险》（NIST AI 100-4）。这份文件是对《行政命令》第4.5条第（a）款规定的响应，该条款要求NIST向白宫提交一份关于合成内容来源和检测的专项报告。

本文对该草案的主要内容进行简要梳理，并提供该草案的中译版本。 该草案我们以机翻为主，并进行了人工微调。由于篇幅原因，本文仅展示其中的部分核心内容，如需获取全文翻译pdf文件，请在本公众号后台回复“ NIST AI 100-4 ”（不含双引号），供各位读者参考。

【主要内容】

1.摘要：

摘要部分强调了生成式AI技术在创造各种媒体内容方面的潜力，这些内容在视觉上几乎无法与真实内容区分。

同时，指出了这些技术可能对信任度、安全性、透明度和可信度构成的风险，以及对社会信息生态系统可能造成的伤害。

2.合成内容的危害和风险：

详细讨论了合成内容如何加速信息完整性、儿童性虐待材料（CSAM）、未经同意的私密图像（NCII）、欺诈以及知识产权和版权问题。

强调了合成内容对个人、公共安全和民主可能产生的负面影响，特别是对那些因性别、种族等因素而面临交叉歧视的群体。

3.当前的方法、问题和机遇：

概述了来源数据跟踪和合成内容检测的技术方法，包括：

数字水印： 用于在内容中嵌入难以移除的信息，帮助验证内容的真实性或来源。

元数据记录： 提供了内容的详细描述和历史信息，有助于内容的真实性验证。

内容验证： 通过检查内容的来源和历史来确定其真实性。

讨论了这些技术的潜在应用，如知识产权保护、内容来源透明度提升等，以及它们在实施过程中的局限性和挑战。

4.测试和评估：

介绍了测试和评估来源数据跟踪和合成内容检测技术的方法，强调了准确性、稳健性和安全性的重要性。

特别提到了数字水印技术的测试，包括对水印的攻击和测量其复原力。

5.防止和减少合成CSAM和NCII造成的伤害：

探讨了现有技术缓解措施，包括：

训练数据筛选： 确保用于训练AI模型的数据不包含有害内容。

输入数据过滤： 在AI模型接收输入时过滤掉可能导致生成有害内容的数据。

图像输出过滤： 在内容生成后检测并阻止有害内容的传播。

强调了这些措施在减少合成内容造成的伤害方面的潜力和挑战。

6.NIST人工智能风险管理框架生命周期：

讨论了如何将数字内容透明度技术与NIST人工智能风险管理框架（AIRMF）结合，以指导技术的发展和管理风险。

强调了在AI系统的整个生命周期中，从设计到部署再到维护，都需要考虑透明度和信任度的问题。

7.结论：

总结了数字内容透明度技术的重要性，并指出了技术发展、社会影响评估和政策制定等方面需要进一步研究和发展的领域。

8.参考书目：

提供了相关研究和技术文献的书目，供有兴趣深入了解该领域的读者参考。

9.附录：

提供了包括现行标准、技术工具、来源数据跟踪、合成内容检测、测试与评估和术语表等补充信息。

声    明

本文的所有内容均来自公开的资源和第三方，包含的链接可能会指向其他网站或资源，这些网站或资源并不由本公众号控制或拥有。本文不代表编辑的观点，以及编辑供职机构或其他相关机构的意见。本文仅为交流之用，如有任何意见，可以公众号后台私信提出。

❖

关于AI与网络法团队：

我们的目标是原创与分享人工智能和网络法领域最前沿的文章与资讯，为中文世界带来更多的知识增量。