专栏名称: 数据派THU
本订阅号是“THU数据派”的姊妹账号,致力于传播大数据价值、培养数据思维。
目录
相关文章推荐
软件定义世界(SDX)  ·  史上首次,DeepSeek登顶中美AppSt ... ·  2 天前  
数据派THU  ·  高阶Transformer可在多模态时间序列 ... ·  4 天前  
软件定义世界(SDX)  ·  智源研究院:2025十大AI技术趋势 ·  5 天前  
数据派THU  ·  科普之旅 | 步入6G新时代 ·  6 天前  
51好读  ›  专栏  ›  数据派THU

独家|深入剖析《NIST人工智能风险管理框架手册》

数据派THU  · 公众号  · 大数据  · 2025-01-27 17:00

正文

作者:Holistic
翻译:陈之炎
校对:赵茹萱

本文约4800字,建议阅读10+分钟

本文将深入探讨人工智能风险管理框架(AI RMF),包括实施它的主要步骤。


人工智能风险管理框架(AI RMF)是 AI RMF 的实用手册,为组织提供可操作且适用的指导。在本博客中,将深入探讨该手册,包括实施它的主要步骤。关于 AI RMF 的入门介绍,请查看《NIST 人工智能风险管理框架的核心要素》一文。

要点:

手册提供了志愿性建议——它并非组织必须严格遵循的步骤清单。

手册的结构与AI RMF 保持一致。AI RMF 的每个主要功能——治理(Govern)、映射(Map)、测量(Measure)和管理(Manage)——都配有可操作的指南。

治理(Govern)

与AI RMF 核心一致,手册首先涉及治理功能,它建议“培养并体现风险管理文化”,作为成功进行人工智能风险管理的首要步骤。这是 AI RMF 核心的基本功能,没有它,其他功能无法成功,因此与治理相关的动作应先于映射、测量和管理。

通常提供两种类型治理功能的建议:针对那些涉及组织实践和文化规范的功能,以及那些专门针对人工智能系统的功能,对每个子功能都配有建议动作,并推荐透明度和文档实践。例如,Govern1.6子功能——与人工智能系统相关——可以分解如下:

指南

概要

建议动作
透明度与文档

Govern1.6

建立清点人工智能系统的机制,根据组织的风险优先级进行资源配置。

  • 制定政策,定义人工智能系统清点的创建和维护。

  • 制定政策,定义要清点的模型或系统属性(例如,文档,源代码链接)。
  • 记录负责管理人工智能系统清点的个人或团队。

  • 审查数据生成、获取/收集、存储等在位的流程。


人工智能系统清点包括系统文档、事件响应计划、数据字典、实施软件或源代码链接、相关人工智能行为者的姓名和联系信息。维护人工智能清点是组织的一项重要实践,因为它们提供了组织人工智能资产的全面视图。人工智能清点还可以快速回答重要问题,例如给定模型最后一次更新是什么时候。

治理部分的其他子功能涉及组织内的人员实践。例如,Govern4.1 建议:

指南

概要

建议动作
透明度与文档
Govern4.1

组织政策和实践旨在培养批判性思维和安全第一的心态,以最小化人工智能系统在设计、开发、部署和使用中的负面影响。
  • 制定政策,要求从系统设计过程一开始就纳入监督职能(法律、合规、风险管理)。

  • 为内部人员建立举报保护,他们报告对人工智能系统存在严重问题的看法。
  • 记录人工智能系统的开发、测试方法、指标和性能结果。

  • 审查组织的信息共享实践是否广泛遵循且透明,以便避免过去的错误设计。 

审查组织的信息共享实践是否透明,避免过往的错误设计。

NIST 强调,风险管理文化对于有效应对大多数与人工智能相关的风险至关重要。在某些行业,应组织实施三道或更多“防线”,不同团队对系统生命周期的不同时期负责,如开发、风险管理、审计。对于较小的组织来说,这种方法可能更加难以实施,用以替代实施的“有效挑战”,也是一种基于文化的实践,鼓励具有权威和地位的专家对重要的设计和实施决策进行批判性思考和质疑。

NIST 还推荐使用“红队测试”作为另一种替代方法,它包括在施压条件下对人工智能系统进行对抗性测试,以寻找人工智能系统的故障模式或漏洞。通常,由外部专家或独立于内部团队的人员组成。

映射(Map)

映射功能指导AI RMF 用户调查特定人工智能系统工作的上下文,并识别潜在的与上下文相关的风险。

映射功能旨在帮助用户导航与人工智能系统相关的上下文,使他们能够识别风险和更广泛的上下文要素。认识到上下文的重要性,对于框架用户来说,整合对人工智能系统的多样化观点至关重要。这包括来自内部团队、外部合作者、最终用户以及任何可能受影响的个人等的输入,以确保获得全面的理解。

与治理功能一样,映射也考虑人工智能系统的双重方面:它为组织本身以及专门针对人工智能系统提出建议。Map1.1 涉及帮助实现映射功能的组织实践:

指南
概要
建议动作
透明度与文档
MAP1.1

理解并记录人工智能系统的预期目的、潜在有益用途、特定上下文的法律、规范和期望,以及部署人工智能系统的预期设置。

  • 检查系统性能的变化如何影响下游事件,如决策制定。

  • 确定并界定人工智能系统的预期和可接受使用上下文,包括社会规范、受影响的个人、群体和社区以及运营环境。
  • 审查是否有一个专门的计划来解决与采购、从供应商处采购打包软件、网络安全控制、计算基础设施和数据等相关的风险。

  • 审查哪些行为者负责人工智能的决策,以及他们是否意识到其局限性。

Map1.1尤其关注如何使用人工智能系统(称为“上下文映射”)。对于此子功能,组织应该认识到特定用户类型及其期望,系统使用对个人、社区、组织、社会和地球可能产生的积极和消极影响。NIST指出,即使是高度准确和优化的系统也会造成潜在伤害。建议在某些情况下,可采用非人工智能或非技术替代方案。在Map4的功能中,NIST就人工智能系统提出了建议,鼓励组织映射系统中所有组件的风险和收益。在该功能中,Map4.2提出了第三方技术:

指南
概要
建议动作

透明度与文档

MAP4.2

识别并记录人工智能系统组成部分(包括第三方人工智能技术)的内部风险控制。 

  • 追踪阻碍风险映射的第三方作为增加风险的诱因。

  • 提供模型文档模板和软件安全列表等资源,以协助第三方技术的清点和批准活动。 
  • 确定人工智能系统是否可以由独立第三方进行审计。

  • 审查建立的机制,以促进人工智能系统的可审计性。

对于使用开源或其他免费的、第三方技术的人工智能系统,Map 4.2 特别有帮助,这些开源技术可能存在隐私、偏见或安全风险。

测量(Measure)

测量功能涉及评估、分析或跟踪在治理和映射功能中首次识别出来的风险。它包括定量、定性或混合方法工具、技术和方法,以分析和评估人工智能风险及其相关影响,测量功能至关重要,其结果将通知管理功能。Measure 1.1 涉及以下指标:

指南

概要

建议动作
透明度与文档

Measure1.1

识别并记录人工智能系统组成部分(包括第三方人工智能技术)的内部风险控制。

  • 建立检测、跟踪和测量已知风险、错误、事件或负面影响的方法。

  • 监控人工智能系统的外部输入,包括训练数据、为其他上下文开发的模型、从其他上下文重用的系统组件以及第三方工具和资源。
  • 确定部署后人工智能系统适当性能指标(如准确性)的监控。

  • 审查组织对人工智能系统进行的测试,以识别错误和局限性。

NIST 指出,由于人工智能技术依赖于训练数据和方法,直接关系到数据质量,因此与传统软件系统相比,它们呈现出新的故障模式。人工智能 RMF 一贯强调人工智能系统固有的社会技术性质,这意味着风险通常源于系统的技术方面与操作者以及其操作上下文之间的相互作用。

Measure 2 概述如何评估人工智能系统的可信特征,Measure2.11 涉及公平性和偏见:

指南
概要
建议动作
透明度与文档

Measure2.11

评估在映射功能中识别的公平性和偏见,记录结果。 

  • 进行公平性评估,以管理计算和统计形式的偏见,包括以下步骤,包括识别伤害类型。

  • 利用影响评估来识别和分类系统对最终用户的影响和伤害。
  • 审查考虑或用于测量偏见的对抗性机器学习方法(例如,提示工程、对抗模式)。


公平性包括对平等和公平的关注,通过解决偏见和歧视来实现。NIST 将偏见分为三类:系统性偏见、计算和统计偏见以及人类认知偏见:

  • 系统性偏见:存在于数据集中,跨越人工智能生命周期的组织规范、实践和流程,以及使用人工智能系统的社会中。

  • 计算和统计偏见:存在于人工智能数据集和算法过程中。通常源于系统性努力,源于非代表性样本。

  • 人类认知偏见:涉及个人或群体如何感知人工智能系统以做出决策或填补缺失信息,包括人类如何思考系统的目的和功能。

管理(Manage)

一旦组织收集并测量了关于人工智能系统的所有必要信息,他们就可以应对已识别的风险。在AI RMF 中,管理功能建议用户如何根据其预期影响来优先处理和解决风险。它提供了关于如何定期管理已映射和已测量风险的资源分配的详细指导,包括在测量功能期间获得的全领域专业知识。此外,它还涵盖了与受影响社区的沟通和事件报告等方面。

管理功能中,将所有前述功能汇聚到一起。在映射阶段获得的上下文洞察被用来降低系统故障的可能性及其后果;在治理中建立并在映射测量中使用的系统文档实践,加强了人工智能风险管理,并在管理中增强了透明度。就像其他功能一样,框架用户应随着人工智能系统、组织和上下文需求随时间演变而持续更新管理功能。在Manage1.2子功能 中,手册提供了组织规模行动的指导:

指南
概要
建议动作
透明度与文档

Manage1.2

根据影响、可能性或可用资源或方法,优先处理记录的人工智能风险。

  • 根据既定的风险承受能力分配风险管理资源。风险承受能力较低的人工智能系统获得更多的监督、缓解和管理资源。

  • 记录人工智能风险承受能力确定实践和资源决策。
  • 审查组织的风险管理系统,以解决部署人工智能解决方案所涉及的风险(例如,人员风险或商业目标的变化)。

  • 审查组织是否有一个现有的治理框架,可以用来监督组织对人工智能的使用。

NIST将风险定义为:事件发生的概率和相应事件后果的幅度(或程度)的综合衡量。它指出,人工智能系统的影响或后果可能是积极的、消极的或两者兼有,并可能导致机会或风险。组织的风险承受能力在管理功能中起着重要作用,因为它决定了组织如何选择应对在映射功能中发现并识别风险。风险承受能力通常由几个内部和外部因素决定,包括现有的行业实践、组织价值观以及法律或监管要求。在Manage3.2 中,NIST 针对人工智能模型提出了响应:

指南
概要
建议动作
透明度与文档

Manage3.2

将预训练模型作为常规监控和维护的一部分进行监控。

  • 识别人工智能系统清点中的预训练模型,以进行风险跟踪。

  • 建立流程,独立且持续地监控预训练模型的性能和可信度,作为第三方风险跟踪的一部分。

  • 审查实体如何记录人工智能系统的数据来源,包括来源、起源、转换、增强、标签等。

  • 审查组织如何确保收集的数据对于预期目的足够、相关且不过度。


在人工智能开发中,迁移学习很常见,预训练模型将应用于相关应用。由于资源有限,开发人员经常利用第三方预训练模型来完成图像分类、语言预测和实体识别等任务。这些模型在大型数据集上进行训练,并需要大量的算力资源。然而,它们的使用会带来负面的预期结果,从而带来了挑战,特别是在没有适当的文档或透明度工具的情况下,它会在部署期间阻碍得出正确的分析结果。

人工智能治理优先级

尽管是自愿的,但实施人工智能风险管理框架可以增加信任,确保人工智能系统按预期执行来提高投资回报率。人工智能的治理平台是人工智能信任、风险、安全和合规的360 度解决方案,可以帮助你领先于不断发展的 AI 标准。预约演示,了解我们如何帮助你自信地采用人工智能。

免责声明: 本博文仅供参考。本博文无意提供,也不构成法律建议或法律意见,它不是解决法律问题或处理诉讼的自助指南。本博文无法替代经验丰富的法律咨询,并且不针对任何雇主提供法律建议。

编辑:黄继彦





作者简介





陈之炎,北京交通大学通信与控制工程专业毕业,获得工学硕士学位,历任长城计算机软件与系统公司工程师,大唐微电子公司工程师,现任北京吾译超群科技有限公司技术支持。目前从事智能化翻译教学系统的运营和维护,在人工智能深度学习和自然语言处理(NLP)方面积累有一定的经验。业余时间喜爱翻译创作,翻译作品主要有:IEC-ISO 7816、伊拉克石油工程项目、新财税主义宣言等等,其中中译英作品“新财税主义宣言”在GLOBAL TIMES正式发表。能够利用业余时间加入到THU 数据派平台的翻译志愿者小组,希望能和大家一起交流分享,共同进步



转载须知

如需转载,请在开篇显著位置注明作者和出处(转自:数据派ID:DatapiTHU),并在文章结尾放置数据派醒目二维码。有原创标识文章,请发送【文章名称-待授权公众号名称及ID】至联系邮箱,申请白名单授权并按要求编辑。

发布后请将链接反馈至联系邮箱(见下方)。未经许可的转载以及改编者,我们将依法追究其法律责任。





关于我们

数据派THU作为数据科学类公众号,背靠清华大学大数据研究中心,分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识,努力建设数据人才聚集平台、打造中国大数据最强集团军。




新浪微博:@数据派THU

微信视频号:数据派THU

今日头条:数据派THU


点击“阅读原文”拥抱组织