今天分享的是
AIGC专题系列
深度研究报告：《
AIGC专题：2024生成式AI应用程序安全测试和验证标准
》
（报告出品方：
WDTA
）
报告共计：
75
页
前言
世界数字技术学院 (WDTA)致力于成为全球数字技术创新的开拓者，与作为非政府组织的联合国框架保持一致。WDTA坚持其3s原则-速度，安全，共享-致力于加速数字规范的创建，带头研究，鼓励国际合作，并保持技术进步的领先地位。
通过合作努力，WDTA致力于推动数字技术的发展，以改善社会。AISTR(安全，信任，责任)计划是WDTA国际计划的核心部分，旨在解决人工智能系统扩散带来的复杂挑战。认识到AI技术在全球范围内的快速扩展和整合，AISTR站在全球技术进步的最前沿。
本标准文档提供了一个框架，用于测试和验证生成式AI应用程序的安全性。该框架涵盖了AI应用程序生命周期中的关键领域，包括基本模型选择，检索增强生成设计模式中的嵌入和矢量数据库，提示执行/推理，代理行为，微调，响应处理和AI应用程序运行时安全性。主要目标是确保AI应用程序在其整个生命周期中按照其预期设计安全运行。通过为AI应用程序堆栈的每一层提供一套测试和验证标准和指南，重点关注安全性和合规性，本文档旨在帮助开发人员和组织增强使用1lm构建的AI应用程序的安全性和可靠性，减轻潜在的安全风险，提高整体质量，促进负责任地开发和部署人工智能技术。
AISTR计划代表了我们如何处理AI技术的开发和部署的范式转变。倡导人工智能系统中的安全、信任和责任，为更道德、安全和公平的数字未来奠定了基础，在未来，人工智能技术是进步的推动者，而不是不确定性和伤害的来源。生成式AI应用程序安全测试和验证标准是AISTR标准之一。
范围
生成式AI应用程序安全测试和验证标准文档概述了一个全面的框架，用于测试一下或验证下游AI应用程序的安全性，特别是那些使用大型语言模型(llm)构建的应用程序。它定义了AI应用程序堆栈各层的测试和验证范围(图1)。将生成的GenAI模型集成到更大的支持AI的系统或下游应用程序中可能会引入安全问题。因此，所有下游AI应用程序都需要安全测试和标准验证，即使基本的GenAI模型在集成到下游应用程序之前已经过全面测试。
虽然本文档作为初始版本，但其在本次迭代中的主要重点是LLM。但是，重要的是要注意范围扩展到GenAI。在本文档的后续版本中，将有机会合并多模式和扩展的GenAI模型
AI安全测试和验证协同工作，以确保AI应用程序安全且按预期运行。在可行的情况下，应在整个开发生命周期中采用稳健的方法，使用诸如快速注入，扫描和红色团队练习之类的技术来主动识别问题。然而，单独的测试有局限性，特别是对于第三方组件，测试可能是不可能的或有限的。在这种情况下，聘请专门审计AI治理、流程和程序的外部专家或组织对于验证第三方组件的安全性极为重要。彻底审核AI应用程序以检查所有生命周期部署环境中是否符合安全标准至关重要。
对下游AI应用程序的彻底检查可确保遵守安全标准，即使在模型级别评估不充分的情况下也是如此。具有强大测试实践的集成保证方法以及对策略，流程和性能的持续验证，为系统继续自主学习提供了负责任的AI结果的保证。它们共同提供有关系统优缺点的信息，通知适当的最终用途应用程序和不适当的最终用途应用程序，并协助降低风险。
本规范涵盖基于基本LLM模型构建的下游应用程序的安全测试，但不详细说明基本LLM模型本身的安全测试一下规范。将来要发布的单独文档将涵盖专门针对基本LLM模型的安全测试规范。
本规范涉及以下关键领域:
基础模型选择: 在选择之前，应检查下游A应用的候选模型。本节介绍验证基本模型的合规性、适当的数据使用和API安全性。该文件提供了指导，以确保所选择的模型符合法律，道德和操作标准，这是确保AI应用程序安全性的关键一步。范围包括开源和闭源型选择。
嵌入和矢量数据库:在大多数下游AI应用程序中，这些都是关键组件，用于存储和检索语言数据块。本文档概述了测试数据完整性，质量和匿名化过程的程序，以保护用户隐私并遵守法规。该规范提供了测试矢量数据库的机密性、完整性和可用性的指南。
提示和知识检索与检索增强生成(RAG):RAG可以显着提高生成AI应用程序的事实准确性和可靠性，例如大型语言模型。它通过在文本生成期间实时地动态合并从外部源提取的相关的、特定领域的知识来实现这一点。本节将指导有效提示的构建、提示模板的创建和使用以及外部api的集成。它还包括测试矢量数据库的检索过程，确保AI应用程序可以准确地访问和利用相关信息。
提示执行/推理: 文档详细介绍了提示执行/推理层中LLM api的测试过程，包括对缓存机制和验证过程的测试，以优化性能和准确性。此层还包括用于检查提示和确保llm不被用于执行未经授权的操作的测试，这些操作在用例中是不允许的。
代理行为:这些是高级LLM应用程序功能。该规范概述了对快速解释，内存利用率，知识应用，计划和动作启动的测试。这包括测试集成到AI应用程序中的工具，以安全地增强其功能。
微调: 通常会针对特定的下游AI应用程序对GenAI模型进行微调。本节包括数据隐私测试、基本模型选择的重新评估和模型部署，以确保AI的持续改进和相关性。
响应处理: 对AI的响应、相关性、毒性和伦理考虑进行事实核查测试，以维护AI交互的可信和安全性。
AI应用程序运行时安全性:运行时安全性涉及对AI应用程序的持续实时监控。它涵盖数据保护、模型安全、基础设施安全以及审计跟踪合规性。这确保了全面的安全方法，保护AI应用程序在其整个生命周期中免受各种威胁和漏洞的侵害。
总体而言，生成式AI应用程序安全测试和验证标准文档提供了详细和结构化的方法来测试AI应用程序堆栈的每一层，确保AI应用程序的所有方面都经过严格的安全性和合规性评估。
