专栏名称: 法学学术前沿
识时务 有情怀 讲方法 结善缘 —— 易明法律研究院
目录
相关文章推荐
一念行者  ·  抵达语言的边界 ·  2 天前  
51好读  ›  专栏  ›  法学学术前沿

欧盟《人工智能法案》今日生效 | 8万字中文翻译版全文(上)丁晓东译

法学学术前沿  · 公众号  ·  · 2024-08-02 10:56

正文

欧盟《人工智能法案》中文翻译版(上)


译者简介:

丁晓东,中国人民大学法学院教授、未来法治研究院副院长。由于译者精力、时间和水平所限,本译稿的疏漏之处在所难免,欢迎对本译稿提出批评和意见,联系邮箱:[email protected]

感谢何泽昊、刘洁晨、杨浩然等同学承担的部分文字的校对和格式调整工作。


本文首发自“网络西东”微信公众号。因篇幅限制,本篇推文含法案的第一到六章翻译,全文下载链接见文末。



章节目录


第一章 总则
第二章 禁止的人工智能实践
第三章 高风险人工智能系统
第四章 特定人工智能系统的提供者和部署者的透明度义务
第五章 通用人工智能模型
第六章 支持创新的措施
第七章 治理
第八章 欧盟高风险人工智能系统数据库
第九章 后市场监测、信息共享和市场监督
第十章 行为守则和指南
第十一章 授权和委员会程序
第十二章 罚则
第十三章 最终条款



第一章 总则

1 主题

1. 本条例旨在改善欧盟内部市场的运作,促进以人为中心、值得信赖的人工智能的应用,同时确保对《欧盟基本权利宪章》规定的包括民主、法治和环境保护在内的健康、安全、基本权利的高水平保护,使其免受欧盟内的人工智能系统的有害影响,并支持创新。

2. 本条例规定了:

(a) 在欧盟市场上投放、投入服务和使用人工智能系统的统一规则;

(b) 对特定人工智能实践的禁止;

(c) 对高风险人工智能系统的具体要求以及此类系统运营者的义务;

(d) 特定人工智能系统的统一透明度规则;

(e) 通用人工智能模型投放市场的统一规则;

(f) 市场监测、市场监督、治理和执法的规则;

(g) 支持创新的措施,特别是中小型企业(包括初创企业)。

2 范围
1. 本条例适用于:

(a) 在欧盟境内将投人工智能系统投放市场或投入服务,或将通用人工智能模型投放市场的提供者,无论这些提供者是设立于,还是位于欧盟境内或者第三国;

(b) 在欧盟境内设立经营场所或位于欧盟境内的人工智能系统部署者;

(c) 在第三国设立经营场所或位于第三国的人工智能系统提供者和部署者,但其人工智能系统产生的输出在欧盟使用;

(d) 人工智能系统的进口商和分销商;

(e) 以自己的名称或商标将人工智能系统与其产品一起投放市场或投入服务的产品制造商;

(f) 在欧盟境外设立的提供者的授权代表;

(g) 位于欧盟境内的受影响者。

2. 对于根据第 6 条第 1 段被列为高风险人工智能系统且涉及附录一中 B 节所列欧盟统一立法涵盖的产品有关的人工智能系统,仅适用本条例第 6 条第 1 段、第 102 109 条和第 112 条。第 57 条仅在本条例对高风险人工智能系统的要求已纳入欧盟统一立法的情况下适用。

3. 本条例不适用于欧盟法律范围之外的领域,并且在任何情况下均不得影响成员国在国家安全方面的权限,无论成员国委托何种实体执行与这些权限相关的任务。

本条例不适用于专门为军事、国防或国家安全目的而投放市场、投入服务或使用的人工智能系统,无论是否经过修改,无论从事这些活动的实体属于何种类型。

本条例不适用于未在欧盟市场上投放或投入服务的人工智能系统,如果其输出在欧盟内仅用于军事、防御或国家安全目的,无论从事这些活动的实体属于何种类型。

4. 本条例不适用于第三国公共机构,也不适用于根据第 1 段属于本条例范围内的国际组织,如果这些机构或组织在与欧盟或一个或多个成员国进行执法和司法合作的国际合作或协议框架内使用人工智能系统,但前提是该第三国或国际组织在保护基本权利和个人自由方面提供了充分的保障。

5. 本条例不影响 (EU)2022/2065 条例(《数字服务法》)第二章中关于中介服务提供者责任的条款的适用。

6. 本条例不适用于专为科学研究和发展目的而开发和投入服务的人工智能系统或人工智能模型,包括其输出。

7. 关于个人数据保护、隐私和通信保密的欧盟法律适用于与本条例规定的权利和义务相关的被处理的个人数据。在不影响本条例第 10 条第 5 段和第 59 条适用的前提下,本条例不得影响 2016/679 条例( GDPR )或 2018/1725 条例或 2002/58/EC 指令或 2016/680/EU 指令的适用。

8. 本条例不适用于在市场上投放或投用之前对人工智能系统或人工智能模型进行的任何研究、测试或开发活动。这类活动的开展应遵守适用的欧盟法律。在真实世界条件下进行的测试不在此豁免范围内。

9. 本条例不妨碍与消费者保护和产品安全相关的其他欧盟法案的规定。

10. 本条例不适用于在纯粹个人非职业活动中使用人工智能系统的自然人部署者的义务。

11. 本条例不妨碍欧盟或成员国保留或引入在涉及到雇主使用人工智能系统的保护工人权利方面对工人更有利的法律、法规或行政规定,或鼓励或允许适用更有利于工人的集体协议。

12. 本条例不适用于根据免费且开源许可发布的人工智能系统,除非这些系统作为高风险人工智能系统或属于第 5 条或第 50 条的人工智能系统投放市场或投入服务。

3 定义
从本条例目的出发,适用以下定义:

(1)“ 人工智能系统 是指设计用于以不同程度的自主性运行,并可能在部署后表现出适应性的机器系统,且为了明确或隐含的目标,根据其接收的输入中推断如何生成可以影响物理或虚拟环境的输出,如预测、内容、建议或决策;

2 风险 是指损害发生的可能性和损害的严重程度的结合;

3 提供者 是指开发人工智能系统或通用人工智能模型,或拥有已开发人工智能系统或通用人工智能模型,并将其投放市场或以自己的名义或商标投入服务的自然人或法人、公共机关、机构或其他组织,无论是收费还是免费;

4 部署者 是指在其权限下使用人工智能系统的自然人或法人、公共机关、机构或其他组织,但将人工智能系统用于个人非职业活动的除外;

5 授权代表 是指位于或设立在欧盟的自然人或法人,已接收并接受来自人工智能系统或通用人工智能模型提供者的书面授权书,分别代表其履行和执行本条例规定的义务和程序;

6 进口商 是指位于欧盟或在欧盟境内设立或位于欧盟的自然人或法人,在市场上投放带有第三国自然人或法人的名称或商标的人工智能系统;

7 分销商 是指供应链中除提供者或进口商外,在欧盟市场中提供人工智能系统的自然人或法人;

8 运营者 是指提供者、产品制造商、部署者、授权代表、进口商或分销商;

9 投放市场 是指在欧盟市场上首次提供人工智能系统或通用人工智能模型;

10 在市场上提供 是指在商业活动中提供人工智能系统或通用人工智能模型,供在欧盟市场上销售或使用,无论是付费的还是收费的;

11 投入服务 是指将人工智能系统直接提供给部署者首次使用,或供其在欧盟内按照预期目的自用;

12 预期目的 是指提供者拟用于人工智能系统的用途,包括提供者在使用说明、宣传或销售材料和声明以及技术文档中提供的信息中规定的特定场景和使用条件;

13 合理可预见的误用 是指不符合其预期用途的人工智能系统的使用,但可能由合理可预见的人类行为或与其他系统(包括其他人工智能系统)的互动引起;

14 安全组件 是指产品或人工智能系统的组成部分,履行产品或人工智能系统的安全功能,或其故障或失灵会危及健康和人身或财产安全;

15 使用说明 是指提供者特别为告知部署者人工智能系统的预期目的和正确使用而提供的信息;

16 人工智能系统的召回 是指任何旨在把提供给部署者的人工智能系统返还给提供者,或使其停止服务,或禁止其使用的措施。

17 人工智能系统的撤回 是指任何旨在防止在 供应链系统 中在市场上提供人工智能系统的措施;

18 人工智能系统的性能 是指人工智能系统实现其预期用途的能力;

19 通知机关 是指负责设立和执行必要程序以评估、指定和通知合格评估机构并进行监督的各成员国的国家机关;

20 合格性评估 是指证明高风险人工智能系统符合本条例第三章第二节规定的要求的过程;

21 合格性评估机构 是指执行第三方合格评估活动的机构,包括测试、认证和检验;

22 被通知机构 是指根据本条例和其他相关欧盟统一立法被通知的合格性评估机构;

23 实质性修改 是指人工智能系统在投放市场或投入服务后发生的修改,这种修改在提供者最初的合格性评估中没有预见到或没有计划,并因此影响人工智能系统对本条例第三章第二节规定要求的合规性,或导致人工智能系统被评估的预期目的发生修改;

24 “CE 合格性标志 是指提供者表明人工智能系统符合第三章第二节中规定的要求以及其他适用的欧盟统一立法规定的要求的标志;

25 后市场监测系统 是指提供者为收集和审查其投放市场或投入服务的人工智能系统使用经验以确定是否需要立即采取必要的纠正或预防措施而进行的所有活动;

26 市场监督管理机关 是指根据 (EU)2019/1020 条例开展活动和采取措施的国家机关;

27 统一标准 是指根据欧盟 1025/2012 号条例第 2 条第 1 (c) 项定义的统一标准;

28 共同规格 是指 1025/2012 号条例第 2 条第 4 段定义的一套技术规格,该规格提供了遵守本条例规定的特定要求的方法;

29 训练数据 指的是用于通过拟合可学习参数来训练人工智能系统的数据。;

30 验证数据 是指用于评估训练后的人工智能系统 , 并调整其不可学习参数和学习过程 , 以防止欠拟合或过拟合的数据;

31 验证数据集 是指单独的数据集或训练数据集的一部分,无论是以固定还是可变方式划分;

32 测试数据 是指用于在人工智能系统投放市场或投入服务前进行独立评估以确认其预期性能的数据;

33 输入数据 是指提供给人工智能系统或由其直接获取的、基于这些数据系统产生输出的数据;

34 生物识别数据 是指经过特定技术处理的个人数据,涉及自然人的物理、生理或行为特征,例如面部图像或指纹数据;

35 生物识别 是指为了确定自然人身份,将个人的生物识别数据与存储在数据库中的个人的生物识别数据进行比较,而自动识别人类的生理、生理、行为或心理特征;

36 生物识别验证 是指通过将自然人提供的生物识别数据与之前提供的生物识别数据进行对比的自动化一对一验证过程 , 包括身份验证;

37 特殊类别的个人数据 是指 (EU)2016/679 条例第 9 条第 1 段、 (EU)2016/680 指令第 10 条和 (EU)2018/1725 号条例第 10 条第 1 段中提到的个人数据类别;

38 敏感业务数据 是指涉及预防、侦查、调查或起诉刑事犯罪活动有关的业务数据,其披露可能危及刑事诉讼程序的完整性;

39 情感识别系统 是指旨在基于自然人的生物识别数据识别或推断其情绪或意图的人工智能系统;

40 生物识别分类系统 是指为了基于自然人的生物识别数据将其分配到特定类别的人工智能系统,除非其作为其他商业服务的辅助,而且完全出于客观技术原因具有必要性;

41 远程生物识别系统 是指通过将个人的生物识别数据与参考数据库中的生物识别数据进行比对,通常在远距离自动识别自然人、且不需要其主动参与的人工智能系统;

42 实时远程生物识别系统 是指生物识别数据的采集、比较和识别均没有明显延迟的远程生物识别系统,不仅包括即时识别,还包括为了规避的有限短暂延迟;

43 后远程生物识别系统 是指非实时远程生物识别系统的远程生物识别系统;
44 公众可进入的场所 是指无论是否附加某些访问条件,无论潜在容量限制,均可供不特定人数的自然人访问的任何公开或私人拥有的物理场所;

45 执法机关 是指:

(a) 有权预防、调查、侦查或起诉刑事犯罪或执行刑罚的任何公共机关,包括防范和预防对公共安全的威胁;或

(b) 根据成员国法律赋予公共权威和公共权力的任何其他机构或实体,旨在预防、调查、侦查或起诉刑事犯罪或执行刑罚,包括防范和预防对公共安全的威胁;

46 执法 是指由执法机关或代表其进行的预防、调查、侦查或起诉刑事犯罪或执行刑罚的活动,包括防范和预防对公共安全的威胁;

47 人工智能办公室 是指欧盟委员会负责实施、监测和监督人工智能系统和通用人工智能模型及人工智能治理的职能,依据 2024 1 24 日的欧盟委员会决定建立的职能;本条例中提到的人工智能办公室应解释为指欧盟委员会;

48 成员国主管机关 是指通知机关或市场监督管理机关;对于欧盟机关、机构、办事处和其他实体投入服务或使用的人工智能系统,本条例所指的成员国主管机关或市场监督管理机关应解释为指欧洲数据保护监管机构;

49 严重事故 是指人工智能系统的事故或故障,直接或间接导致以下任何后果:

(a) 致人死亡或对个人健康的严重伤害;

(b) 对关键基础设施管理或操作造成的严重和不可逆转的破坏;

(c) 违反旨在保护基本权利的欧盟法律规定的义务;

(d) 对财产或环境的严重损害;

50 个人数据 是指 2016/679 条例第 4 条第 1 段定义的个人数据;

51 非个人数据 是指 2016/679 条例第 4 条第 1 段定义的个人数据以外的数据;

52 用户画像 是指 (EU)2016/679 条例第 4 条第 4 段定义的用户画像;

53 真实世界测试计划 是指描述在真实世界条件下进行测试的目标、方法、地理范围、人口和时间范围、监测、组织和实施的文件;

54 沙盒计划 是指参与提供者与主管机关之间达成的协议,描述在沙盒内进行活动的目标、条件、时间框架、方法和要求;

55 人工智能监管沙盒 是指由主管机关设立的受控框架,该框架为人工智能系统的提供者或潜在提供者提供了合适现实条件下根据沙盒计划的规定,在有限时间内在监管监督下,开发、训练、验证和测试创新人工智能系统的可能性;

56 人工智能素养 是指提供者、部署者和受影响人员具备的技能、知识和理解,使他们能够在本条例的背景下根据其各自的权利和义务,做出知情的人工智能系统部署决策,并了解人工智能的机会、风险以及可能造成的危害;

57 真实世界条件下的测试 是指在实验室或其他模拟环境之外,临时测试人工智能系统在真实世界条件下的预期用途,以收集可靠和稳健的数据,并评估和验证人工智能系统是否符合本条例的要求,并且在满足本条例第 57 条或第 60 条规定的所有条件的前提下,不视为在市场上投放或投入使用人工智能系统;

58 测试主体 在真实世界测试中是指参与真实世界条件下测试的自然人;

59 知情同意 是指受试者在了解所有与其参与决策相关的测试方面信息后,自由作出地、特地、清晰和自愿地表示愿意参与特定真实世界条件下测试的表达;

60 深度伪造 是指人工智能生成或操纵的图像、音频或视频内容,类似于现有的人物、物体、地点、实体或事件,并且会使人错误地认为其是真的或真实的;

61 广泛侵权 是指违反保护个人利益的欧盟法律的任何行为或不作为,包括:

(a) 造成或可能造成至少两个成员国居民的集体利益受损,除了以下情况:

(i) 该行为或不作为源自成员国或发生在成员国;

(ii) 涉及的提供者或其授权代表处于或设立于成员国;或

(iii) 当侵权行为由部署者实施时,部署者是在成员国设立;

(b) 已经造成、正在造成或可能造成个人集体利益受损,并且具有共同特征,包括相同的违法行为或相同的受侵害利益,并且由同一运营者实施,至少在三个成员国同时发生;

62 关键基础设施 是指 (EU)2022/2557 指令第 2 条第 4 段定义的关键基础设施;

63 通用人工智能模型 是指包括使用大量数据进行大规模自我监督训练的人工智能模型,无论该模型如何投放市场,都具有显著的普遍性和能够胜任各种不同的任务,并且可以集成到各种下游系统或应用中;除了在投放市场前用于研究、开发和原型设计活动的人工智能模型 ;

64 高影响能力 是指匹配或超过最先进的通用人工智能模型中所记录能力的能力;

65 系统性风险 是指通用人工智能模型的高影响能力所特有的风险,这类风险由于其覆盖范围对欧盟市场产生重大影响,或者由于对公共健康、安全、公共安全、基本权利或整个社会产生实际或合理可预见的负面影响,可以在整个价值链中大规模传播 ;

66 通用人工智能系统 是指基于通用人工智能模型的人工智能系统,该系统可以服务于多种目的,即可以直接使用,也可以集成到其他人工智能系统中;

67 浮点运算 是指涉及浮点数的任何数学运算或赋值,浮点数是计算机上表示的实数子集,通常由固定精度的整数与固定基数的整数指数表示;

68 下游提供者 是指人工智能系统的提供者,包括集成人工智能模型的通用人工智能系统,无论该人工智能模型是由自身提供并进行垂直整合,还是基于合同关系由其他实体提供。

4 人工智能素养
人工智能系统的提供者和部署者应采取措施,考虑其技术知识、经验、教育和培训以及人工智能系统的使用环境,并考虑人工智能系统将用于哪些人或群体,尽其最大努力确保其工作人员和代表其处理人工智能系统操作和使用的其他人员具有足够的人工智能素养。

第二章

禁止的人工智能实践

5 禁止的人工智能实践
1. 下列人工智能实践应被禁止:

(a) 投放市场、投入服务或加以使用此类人工智能系统,即采用超出个人意识的潜意识技术或有目的的操纵或欺骗技术,其目的或效果是通过明显损害一个人或一群人做出知情决定的能力,实质性地扭曲该人或一群人的行为,从而导致该人做出其本来不会做出的决定,造成或可能造成对该人、另一人或一群人的重大伤害;

(b) 投放市场、投入服务或加以使用此类人工智能系统,即利用自然人或特定群体因其年龄、残障或特定社会或经济状况而具有的任何弱点,以实质性扭曲该人或属于该群体的人的行为,造成或有合理可能造成该人或他人重大伤害为目的或效果;

(c) 将此类人工智能系统投放市场、投入服务或加以使用,即根据自然人或群体的社会行为或已知、推断或预测的个人或个性特征,在一定时期内对其进行评估或分类产生社会评分,导致以下任何一种或两种情况:

(i) 对特定自然人或群体产生有害或不利待遇,而这种待遇的社会场景与最初生成或收集数据的场景无关;

(ii) 对特定自然人或群体产生有害或不利待遇,而这种待遇是不合理的,或与其社会行为或其严重性不成比例的;

(d) 投放市场、为了此类特定目的投入服务,或者使用此类人工智能系统,即对自然人进行风险评估,以评估或预测自然人实施刑事犯罪的风险,而这完全是基于对自然人的用户画像或对其个性特征和特点的评估;这一禁令不适用于用于支持人类评估某人参与犯罪活动的人工智能系统,如果某人已经具备与犯罪活动直接相关的客观和可验证的事实 ;

(e) 投放市场、为了此类特定目的投入服务,或者使用此类人工智能系统,即通过从互联网或闭路电视录像中无区别地爬取面部图像来创建或扩展面部识别数据库;

(f) 投放市场、为了此类特定目的投入服务,或者使用此类人工智能系统,即在工作场所和教育机构领域推断自然人的情绪,但出于医疗或安全原因将人工智能系统投入服务或投放市场的情况除外;

(g) 投放市场、为了此类特定目的投入服务,或者加以使用生物分类系统,根据生物识别数据对自然人进行个体层面的分类,以推导或推断其种族、政治观点、工会成员身份、宗教或哲学信仰、性生活或性取向。这项禁令不包括根据生物识别数据或在执法领域对生物傻逼数据分类而对合法获取的生物识别数据集,如图像,进行标注或过滤。

(h) 在公众可进入的场所为执法目的使用 实时 远程生物识别系统,除非这种使用相应是为下列目标之一所严格必要的:

(i) 有针对性地搜寻特定的绑架、贩卖人口和性剥削受害者,以及搜寻失踪人员;

(ii) 防止对自然人的生命或人身安全构成确切、重大切紧迫的威胁,或防止真实存在或真实可预见的恐怖袭击威胁;

(iii) 为了对附件二所述罪行进行刑事调查、起诉或执行刑事处罚,对涉嫌犯有刑事罪行的人进行定位或身份识别,而这些罪行在相关成员国可被判处最长刑期最长不少于四年的监禁或拘留令。

本段第 (h) 项不影响 (EU)2016/679 条例第 9 条关于非执法目的生物识别数据处理的规定。

2. 根据第 1 段第 1 分段第 (h) 项的任何目标,而在公众可进入的场所为执法目的使用 实时 远程生物识别系统,只能用于该项所述的目的,以确认具体目标个人的身份,并应考虑以下因素:

(a) 导致可能使用该系统的情况的性质,特别是在不使用该系统的情况下所造成的损害的严重性、可能性和规模;

(b) 使用该系统对所有有关的人的权利和自由造成的后果,特别是这些后果的严重性、可能性和规模。

此外,为实现本条第 1 段第 1 分段第 (h) 项所述的任何目标而在公众可进入的场所使用 实时 远程生物识别系统进行执法时,应根据授权使用该系统的国家法律,遵守与使用有关的必要且成比例的保障措施和条件,特别是在时间、地理和个人限制方面。只有在执法机关完成了第 27 条规定的基本权利影响评估,并根据第 49 条的规定在欧盟数据库中登记了该系统后,才可授权在公众可进入的场所使用 实时 远程生物识别系统。不过,在有正当理由的紧急情况下,可以不经登记就开始使用该系统,但登记工作必须在没有无故拖延的情况下完成。

3. 根据第 1 段第 1 分段第 (h) 项和第 2 段,每次在公众可进入的场所为执法目的使用 实时 远程生物识别系统时,应当事先得到使用该系统的成员国司法机关或独立行政机关的授权,该机关的决定对使用该系统的成员国具有约束力,并根据第 5 段的国家法律提出理由请求。然而,在紧急情况下,可以在没有授权的情况下开始使用此类系统,但应在不超过 24 小时内请求授权。如果授权被拒绝,应立即停止使用,并立即丢弃和删除所有数据、结果和输出。

司法机关或具有约束力的独立行政机关应在基于提供的客观证据或明确指示满足第 1 段第 (h) 项所述目标的必要性和适当性,并特别确保时间、地理和人员范围的限制仅限于严格必要时才授予授权。该机关在决定请求时应考虑第 2 段所述的因素。不得仅基于 实时 远程生物识别系统的输出做出对个人产生不利法律效果的决定。

4. 在不影响第 3 段的情况下,每次为执法目的在公共场所使用 实时 远程生物识别系统,均应按照第 5 段提及的国家规则通知有关市场监督管理机关和国家数据保护机关。通知至少应包含第 6 段规定的信息,不得包括敏感业务数据。

5. 成员国可在第 1 段第 1 分段第 (h) 项、第 2 段和第 3 段所列的限制和条件下,为执法目的,决定提供全部或部分授权在公众可进入的场所使用 实时 远程生物识别系统的可能性。有关成员国应在其国内法中就第 3 段所述授权的申请、签发、行使、监督和报告制定必要的详细规则。这些规则还应具体说明,在第 1 段第 1 分段第 (h) 项所列的目标中,包括第 (h) 项第 3 目所指的刑事犯罪,主管机关可授权为执法目的使用这些系统。成员国最迟应在这些规则通过后 30 天内将其通知欧盟委员会。成员国可根据欧盟法律,就远程生物识别系统的使用制定限制性更强的法律。

6. 成员国的国家市场监督管理机关和国家数据保护机关在收到第 4 段规定的在公众可以进入的场所中为执法目的使用 实时 远程生物识别系统的通知后,应向欧盟委员会提交关于此使用的年度报告。为此,欧盟委员会应向成员国和国家市场监督管理和数据保护机关提供模板,包括有关主管司法机关或其决定对根据第 3 款提出的授权请求具有约束力的独立行政机关所作决定数目将其结果的信息。

7. 欧盟委员会应根据成员国基于第 6 段所述年度报告的汇总 数据,发布关于为执法目的在公众可以进入的场所使用 实时 远程生物识别系统的年度报告 。这些年度报告不应包括相关 执法活动的敏感业务数据。

8. 本条款不影响其他欧盟法律规定的禁止人工智能实践的相关规定。

第三章

高风险人工智能系统

第一节 作为高风险人工智能系统的分类

6 高风险人工智能系统的分类规则

1. 无论人工智能系统是否独立于第 (a) (b) 项所述产品被投放市场或投入服务,当以下条件被同时满足,该人工智能系统就应被视为高风险系统:

(a) 人工智能系统被期望用作产品的安全部件,或者人工智能系统本身就是附件一所列欧盟统一立法所涵盖的产品;

(b) 根据第 (a) 项其安全部件为人工智能系统的产品,或人工智能系统本身属于产品,则必须接受第三方合格性评估,以便根据附件一所列的欧盟统一立法将该产品投放市场或投入服务。

2. 除第 1 段所指的高风险人工智能系统外,附件三所指的人工智能系统也应被视为高风险。

3. 根据对第 2 段的克减,附件三所指的人工智能系统如果不会对自然人的健康、安全或基本权利造成显著损害风险,包括不会对决策结果产生实质影响,则不应被视为高风险。

1 分段适用于符合以下任何条件的情况:

(a) 人工智能系统旨在执行范围狭窄的程序性任务;

(b) 人工智能系统旨在改进先前完成的人类活动的结果;

(c) 人工智能系统的目的是检测决策模式或偏离先前决策模式的情况,而不是在未经适当人工审查的情况下取代或影响先前完成的人工评估;或

(d) 人工智能系统旨在执行与附件三所列用例有关的评估的准备任务。

尽管存在本段第一分段的规定,但如果附件三提及的人工智能系统对自然人进行用户画像,则该系统应始终被视为高风险系统。

4. 提供者认为附件三所述人工智能系统不是高风险系统,应在该系统投放市场或投入使 用之前将其评估结果记录在案。该提供者应履行第 49 条第( 2 )段规定的登记义务。应成员国主管机关的要求,提供者应提供评估文件。

5. 欧盟委员会应在咨询欧盟人工智能委员会(以下简称 " 委员会 " )后,在 2026 2 2 日之前,根据第 96 条的规定,提供具体实施本条的指南,以及一份人工智能系统高风险和非高风险用例的综合实例清单。

6. 欧盟委员会有权根据第 97 条通过授权法案,对本条第 3 段第 2 分段进行修订,在其中规定的条件之外增加新的条件,或对其进行修改,只要有具体和可靠的证据表明存在属于附件三范围的人工智能系统,但不会对自然人的健康、安全或基本权利造成显著损害风险。

7. 欧盟委员会应根据第 97 条通过授权法案,通过删除其中规定的任何条件以修改本条第 3 段第 2 分段,如果有具体可靠的证据表明,这对保持本条例规定的健康、安全和基本权利的保护水平有必要。

8. 根据本条第 6 段和第 7 分段对第 3 段第 2 分段规定的条件所做的任何修改,不得降低本条例对健康、安全和基本权利的总体保护水平,并应确保与根据第 7(1) 条通过的授权法案保持一致,同时考虑到市场和技术的发展。

7 对附件三的修改

1. 欧盟委员会有权根据第 97 条通过授权法案,通过增加或修改符合以下两个条件的高风险人工智能系统的用例,对附件三进行修正:

(a) 拟在附件三所列的任何领域使用的人工智能系统;

(b) 人工智能系统有可能对健康和安全造成危害,或对基本权利造成不利影响,而且这种风险等同于或大于附件三已提及的高风险人工智能系统所造成的危害或不利影响。

2. 在评估第 1 段第( b )项规定的条件时,欧盟委员会应考虑以下标准:

(a) 人工智能系统的预期目的;

(b) 人工智能系统被使用或可能被使用的程度;

(c) 人工智能系统处理和使用的数据的性质和数量,特别是是否处理特殊类别的个人数据;

(d) 人工智能系统自主行事的程度,以及人类推翻可能导致潜在伤害的决定或建议的可能性;

(e) 人工智能系统的使用在多大程度上已经对健康和安全造成了损害,对基本权利产生了不利影响,或在多大程度上引起了对这种损害或不利影响的可能性的显著关切,例如,通过提交给成员国主管机关的报告或被记录的指控,或酌情提交的其他报告所证明的;

(f) 这种损害或不利影响的潜在程度,特别是其严重性及其影响多人或对某一特定群体造成不成比例影响的能力;

(g) 可能受到伤害或不利影响的人在多大程度上依赖于人工智能系统产生的结果,特别是因为出于实际或法律原因,对该结果不太可能合理地选择退出;

(h) 权力不平衡的程度,或可能受到伤害或不利影响的人相对于人工智能系统的部署者而言处于弱势地位的程度,特别是由于地位、权力、知识、经济或社会环境或年龄等原因;

(i) 虑到现有的纠正或逆转的技术解决方案,人工智能系统产生的结果在多大程度上是容易纠正或逆转的;对健康、安全或基本权利有不利影响的结果不应被视为容易纠正或逆转的;

(j) 部署人工智能系统对个人、群体或整个社会的好处的程度和可能性,包括对产品安全的可能改进;

(k) 现有欧盟法律在多大程度上规定了

(i) 与人工智能系统带来的风险有关的有效补救措施,但不包括损害赔偿主张;

(ii) 预防或实质减少这些风险的有效措施。

3. 当同时满足如下两个条件时,欧盟委员会有权根据第 97 条的规定通过授权法案,对附件三的清单进行修改:

(a) 考虑到第 2 段所列的标准,有关的高风险人工智能系统不再对基本权利、健康或安全构成任何重大风险;

(b) 此种删除不会降低欧盟法律对健康、安全和基本权利的总体保护水平。

第二节 对高风险人工智能系统的要求

8 合规要求

1. 高风险人工智能系统应符合本节规定的要求,同时考虑到其预期目的以及人工智能和人工智能相关技术的公认技术水平。在确保遵守这些要求时,应考虑到第 9 条所述的风险管理系统。

2. 如果产品包含一个人工智能系统,而本条例的要求以及附件一 A 节所列欧盟统一立法的要求适用于该系统,则提供者应负责确保其产品完全符合适用的欧盟统一立法的所有适用要求。在确保第 1 段中提及的高风险人工智能系统符合本节规定的要求时,为了确保一致性、避免重复和最小化额外负担,提供者可选择酌情将其提供的有关其产品的必要测试和报告流程、信息和文件整合到附件一 A 节所列欧盟统一立法要求的已有文件和程序中。

9 风险管理系统

1. 应建立、实施、记录和维护与高风险人工智能系统有关的风险管理系统。

2. 风险管理系统应被理解为在高风险人工智能系统的整个生命周期内规划和运行的一个持续迭代过程,需要定期进行系统审查和更新。它应包括以下步骤:

(a) 识别和分析高风险人工智能系统在按照其预期目的使用时可能对健康、安全或基本权利造成的已知和可合理预见的风险;

(b) 估计和评估高风险人工智能系统在按照其预期目的使用时,以及在可合理预见的滥用条件下可能出现的风险;

(c) 根据对从第 72 条提及的后市场监测系统中收集的数据的分析,评估可能出现的其他风险;

(d) 采取适当的、有针对性的风险管理措施,以应对根据第 (a) 项确定的风险。

3. 本条所指的风险只涉及那些通过高风险人工智能系统的开发或设计,或提供充分的技术信息可以合理减轻或消除的风险。

4. 2 段第 (d) 项所述的风险管理措施应适当考虑本节所列各项要求的综合应用所产生的影响和可能的相互作用,以便更有效地把风险减少到最低限度,同时在实施满足这些要求的措施时取得适当的平衡。

5. 2 段第 (d) 项所指的风险管理措施,应使与每一危险相关的 剩余风险 以及高风险人工智能系统的总体剩余风险被判定为可以接受。

在确定最适当的风险管理措施时,应确保以下几点;

(a) 在技术可行的情况下,通过充分设计和开发高风险人工智能系统,消除或减少根据第 2 段确定和评估的风险;

(b) 针对无法消除的风险,酌情采取适当的缓解和控制措施;

(c) 提供第 13 条所要求的信息,并酌情对部署者进行培训。

为了消除或减少与使用高风险人工智能系统有关的风险,应适当考虑部署者的技术知识、经验、教育、预期的培训以及打算使用该系统的假定场景。

6. 对高风险人工智能系统应进行测试,以确定最合适和最有针对性的风险管理措施。测试应确保高风险人工智能系统的运行符合其预期目的,并符合本节规定的要求。

7. 测试程序可包括根据第 60 条在真实世界条件下进行的测试。

8. 对高风险人工智能系统的测试应酌情在整个开发过程的任何时候进行,并在任何情况下在其投放市场或投入服务之前进行。测试应根据事先确定的指标和概率阈值进行,这些指标和阈值应与高风险人工智能系统的预期目的相适应。

9. 在实施第 1 至第 7 段规定的风险管理系统时,提供者应考虑到高风险人工智能系统的预期目的是否可能对 18 岁以下的人产生不利影响并且,并酌情考虑对其他弱势群体产生不利影响。

10. 对于根据欧盟法律其他相关规定须遵守内部风险管理流程要求的高风险人工智能系统提供者而言,第 1 9 段规定的方面可作为根据其他规定的风险管理程序的一部分或与之相结合。

10 数据和数据治理

1. 使用涉及用数据训练人工智能模型的技术的高风险人工智能系统,应在使用符合第 2 至第 5 段所述质量标准的训练、验证和测试数据集的基础上开发。

2. 训练、验证和测试数据集应遵守与高风险人工智能系统预期目的相适应的数据治理和管理做法。

这些做法应特别注意:

(a) 相关的设计选择;

(b) 数据收集过程和数据来源,如果是个人数据,收集数据的最初目的;

(c) 相关的数据准备处理工作,如注释、标注、清洗、更新、充实和聚合;

(d) 假设的表达,特别是有关数据应衡量和代表的信息;

(e) 评估所需数据集的可得性、数量和适宜性;

(f) 检验可能会影响人员的健康和安全,对基本权利产生负面影响,或导致欧盟法律禁止的歧视的可能偏见,特别是在数据输出影响未来操作输入的情况下;

(g) 采取适当措施,发现、预防和减少根据第 (f) 项发现的可能的偏见;

(h) 识别妨碍遵守本条例的相关数据缺失或缺陷,以及如何解决这些缺失和缺陷。

3. 训练、验证和测试数据集应具有相关性、充分的代表性,并在最大程度的可能性上,从预期目的来看是无误且完整的。数据集应具有适当的统计特性,包括在适用的情况下,具有与打算使用高风险人工智能系统的个人或群体有关的统计特性。数据集的这些特性可以在单个数据集或数据集组合的层面上符合要求。

4. 数据集应在预期目的要求的范围内,考虑到高风险人工智能系统打算使用的具体地理、场景、行为或功能环境所特有的特征或要素。

5. 在根据本条第 2 段第 (f) (g) 项确保与高风险人工智能系统有关的偏见检测和纠正的严格必要范围内,此类系统的提供者可例外处理特殊类别的个人数据,但须对自然人的基本权利和自由采取适当的保障措施。除 (EU) 2016/679 号和 (EU) 2018/1725 号条例以及 (EU) 2016/680 号指令中的规定外,必须满足以下所有条件才能进行此类处理:

(a) 通过处理其他数据,包括合成数据或匿名数据,无法有效实现偏见检测和纠正;

(b) 对特殊类别个人数据的再使用进行技术限制,并采取最先进的安全和隐私保护措施,包括假名化;

(c) 对特殊类别的个人数据采取措施,确保所处理的个人数据安全、受保护、有适当的保障措施,包括对访问的严格控制和记录,以避免滥用,并确保只有经授权的人员才能访问这些个人数据并承担适当的保密义务;

(d) 特殊类别的个人数据不得传输、转移或以其他方式被其他方获取;

(e) 一旦偏见得到纠正或个人数据的保存期结束,二者中的一个条件满足,特殊类别的个人数据即被删除;

(f) 根据 (EU)2016/679 (EU)2018/1725 条例以及 (EU)2016/680 指令进行的处理活动记录,包括处理特殊类别个人数据对于发现和纠正偏见是绝对必要的原因,以及处理其他数据无法实现该目标的原因。

6. 对于不使用涉及人工智能模型训练技术的高风险人工智能系统的开发,第 2 5 段仅适用于测试数据集。

11 技术性文件

1. 高风险人工智能系统的技术文件应在该系统投放市场或投入使用之前编制,并应不断更新。

技术文件的编制应能证明高风险人工智能系统符合本节规定的要求,并能以清晰和全面的形式向成员国主管机关和被通知机构提供必要的信息,以评估人工智能系统是否符合这些要求。它至少应包括附件四所列的内容。中小企业,包括初创企业,可以简化方式提供附件四中规定的技术文件要素。为此,欧盟委员会将针对小型和微型企业的需要制定简化的技术文件格式。如果中小型企业,包括初创企业,选择以简化方式提供附件四所要求的信息,则应使用本段中提到的表格。被通知机构在进行合格性评估时应接受该表格。

2. 当与附件一 A 节所列欧盟统一立法所涵盖的产品有关的高风险人工智能系统投放市场或投入服务时,应制定一套单一的技术文件,其中包含第 1 段规定的所有信息,以及这些法案所要求的信息。

3. 欧盟委员会有权根据第 97 条通过授权法案,以便在必要时修改附件四,确保技术文件根据技术发展提供所有必要信息,以评估系统是否符合本节规定的要求。

12 记录保存

1. 高风险人工智能系统应在技术上允许自动记录系统整个生命周期发生的事件(日志)。

2. 为了确保高风险人工智能系统的运行具有与系统预期目的相适应的可追溯性,日志记录功能应能记录与以下方面相关的事件:

(a) 确定可能导致高风险人工智能系统产生第 79 条第 1 段意义上的风险或导致实质性修改的情况;

(b) 促进第 72 条所指的投放市场后的监测;以及

(c) 监测第 26 条第 5 段所指的高风险人工智能系统的运行。

3. 对于附件三第 1(a) 项所指的高风险人工智能系统,记录功能至少应包括:

(a) 记录每次使用系统的时间(每次使用的开始日期和时间以及结束日期和时间);

(b) 系统对输入数据进行核对的参考数据库;

(c) 与搜索结果匹配的输入数据;

(d) 如第 14 条第 5 段所述,参与核查结果的自然人的身份信息。

13 透明度和向部署者提供信息

1. 高风险人工智能系统的设计和开发应确保其操作具有足够的透明度,使部署者能够解释系统的输出并加以适当使用。应确保适当类型和程度的透明度,以遵守第 3 节中规定的提供者和部署者的相关义务。

2. 高风险人工智能系统应附有适当数字格式或其他形式的使用说明,其中包括简明、完整、正确和清晰的信息,这些信息对部署者来说是相关的、可获取的和可理解的。

3. 使用说明应至少包含以下信息:

(a) 提供者及其授权代表(如适用)的身份和详细联系信息;

(b) 高风险人工智能系统的特点、能力和性能限制,包括:

i. 其预期目的;

ii. 高风险人工智能系统经过测试和验证并可预期的准确性水平,包括第 15 条所述的度量、稳健性和网络安全,以及可能对预期准确性水平、稳健性和网络安全产生影响的任何已知和可预见的情况;

iii. 与高风险人工智能系统按其预期目的使用或在可合理预见的滥用条件下使用有关的任何已知或可预见的可能导致第 9 条第 2 段所述健康与安全或基本权利风险的情况;

iv. 在适用的情况下,高风险人工智能系统的技术能力和特点,以提供与解释其输出相关的信息;

v. 在适当情况下,特定个体或群体预期使用该系统的性能;

vi. 考虑到高风险人工智能系统的预期目的,酌情提供输入数据的说明,或所使用的训练、验证和测试数据集方面的任何其他相关信息;

vii. 在适用的情况下,使部署者能够解释高风险人工智能系统的输出结果并加以适当使用的信息;

(c) 提供者在初始符合性评估时预先确定的对高风险人工智能系统及其性能的改变,如果有的话;

(d) 14 条所述的人类监督措施,包括为便于部署者解释高风险人工智能系统的输出而采取的技术措施;

(e) 所需的计算和硬件资源、高风险人工智能系统的预期寿命以及任何必要的维护和保养措施,包括其频率,以确保该人工智能系统的正常运行,包括软件更新;

(f) 在相关时,说明高风险人工智能系统所包含的机制,使部署者能够根据第 12 条适当收集、储存和解释日志。

14 人类监督

1. 高风险人工智能系统的设计和开发方式,包括适当的人机界面工具,应使其在使用期间能由自然人进行有效监督。

2. 人类监督应旨在防止或最大限度地减少高风险人工智能系统在按照其预期目的使用或在可合理预见的滥用条件下使用时可能出现的对健康、安全或基本权利的风险,特别是在尽管适用了本节规定的其他要求但这种风险依然存在的情况下。

3. 监督措施应与高风险人工智能系统的风险、自主程度和使用环境相称,并应通过以下一种或两种措施加以确保:

(a) 在技术可行的情况下,在高风险人工智能系统投放市场或投入服务之前,由提供者确定并纳入该系统的措施;

(b) 提供者在将高风险人工智能系统投放市场或投入服务之前确定的、适合由部署者实施的措施。

4. 为执行第 1 、第 2 和第 3 段的目的,向部署者提供高风险人工智能系统的方式, 应使被指派进行人类监督的自然人能够在适当和相称的情况下:

(a) 适当了解高风险人工智能系统的相关能力和局限性,并能够适当监测其运行情况, 包括发现和处理异常情况、功能障碍和意外表现;

(b) 意识到可能存在自动依赖或过度依赖高风险人工智能系统产生的输出结果(自动化偏见)的趋势,尤其是用于为自然人决策提供信息或建议的高风险人工智能系统;

(c) 正确解读高风险人工智能系统的输出结果,同时考虑到可用的解读工具和方法等;

(d) 在任何特定情况下决定不使用高风险人工智能系统,或以其他方式忽略、推翻或逆转高风险人工智能系统的输出;

(e) 通过 停止 按钮或类似程序,干预高风险人工智能系统的运行或中断系统,使系统停止在安全状态。

5. 对于附件三第 1 a )项所述的高风险人工智能系统,本条第 3 段所述的措施应确保,除此之外,部署者不得根据该系统产生的识别结果采取任何行动或做出任何决定,除非至少有两个具有必要的能力、培训和授权的自然人分别加以核查和确认。

在欧盟或国家法律认为适用这一要求不成比例的情况下,至少由两个自然人分别进行核查的要求不适用于用于执法、移民、边境管制或庇护目的的高风险人工智能系统。

15 准确性、稳健性和网络安全

1. 在设计和开发高风险人工智能系统时,应使其达到适当的准确性、稳健性和网络安全水平,并在其整个生命周期内始终在这些方面保持一致。

2. 为解决如何衡量本条第 1 段规定的适当准确性和稳健性水平以及任何其他相关性能指标的技术问题,欧盟委员会应与利益相关方和组织,如计量和基准制定机构合作,酌情鼓励制定基准和度量方法。

3. 高风险人工智能系统的准确度等级和相关准确度指标应在随附的使用说明中公布。

4. 对于系统内部或系统运行环境中可能出现的错误、故障或不一致,特别是由于与自然人或其他系统的交互作用而出现的错误、故障或不一致,高风险人工智能系统应尽可能具有韧性。在这方面应采取技术和组织措施。

高风险人工智能系统的稳健性可通过技术冗余解决方案来实现,其中可能包括备份或故障安全计划。

在投放市场或投入服务后仍在继续学习的高风险人工智能系统,其开发方式应尽可能消除或减少可能有偏见的输出影响未来操作的输入(反馈回路)的风险,并确保任何此类反馈回路都能通过适当的缓解措施得到妥善处理。

5. 高风险人工智能系统应能够抵御未经授权的第三方通过利用系统漏洞改变其使用、输出或性能的企图。

确保高风险人工智能系统网络安全的技术解决方案应与相关情况和风险相适应。

处理人工智能特定漏洞的技术解决方案应酌情包括以下措施:预防、检测、应对、解决和控制试图操纵训练数据集( 数据投毒 )或操纵用于训练的预训练组件( 模型投毒 )的攻击、旨在导致模型出错的输入( 对抗性示例 模型规避 )、保密性攻击或者模型缺陷。

第三节 高风险人工智能系统的提供者和部署者以及其他各方的义务
16 高风险人工智能系统提供者的义务
高风险人工智能系统的提供者应:
(a) 确保其高风险人工智能系统符合本章第二节的要求;

(b) 在高风险人工智能系统上标明其名称、登记商业名称或登记商标、可联系到其的地址,如无法标明,则在包装或随附文件上标明;

(c) 具有符合第 17 条规定的质量管理体系;

(d) 保存第 18 条提及的文件;

(e) 在其控制下保存第 19 条所述高风险人工智能系统自动生成的日志;

(f) 确保高风险人工智能系统在投放市场或投入服务之前经过第 43 条所述的相关合格性评估程序;

(g) 根据第 47 条的规定起草欧盟合格性声明;

(h) 根据第 48 条的规定,在高风险人工智能系统上加贴 CE 标志,或在无法加贴 CE 标志的情况下,在其包装或随附文件上加贴 CE 标志,以表明其符合本规定;

(i) 遵守第 49 条第 1 段所述的登记义务;

(j) 采取必要的纠正措施并提供第 20 条所要求的信息;

(k) 在成员国主管机关提出合理要求时,证明高风险人工智能系统符合第 2 节规定的要求;

(l) 确保高风险人工智能系统符合 (EU)2016/2102 2019/882 指令的无障碍要求。

17 质量管理系统

1. 高风险人工智能系统的提供者应建立质量管理体系,确保遵守本条例。该系统应以书面政策、程序和指令的形式系统有序地加以记录,并至少应包括以下方面:

(a) 合规策略,包括遵守合格性评估程序和管理修改高风险人工智能系统的程序;

(b) 用于高风险人工智能系统的设计、设计控制和设计验证的技术、程序和系统行动;

(c) 用于高风险人工智能系统的开发、质量控制和质量保证的技术、程序和系统行动;

(d) 在开发高风险人工智能系统之前、期间和之后要进行的检查、测试和验证程序,以及进行这些程序的频率;

(e) 应采用的技术规范,包括标准,如果没有完全采用相关的统一标准,或没有涵盖第 2 节所列的所有相关要求,应采用何种手段确保高风险人工智能系统符合这些求;

(f) 数据管理的系统和程序,包括数据获取、数据收集、数据分析、数据标示、数据存储、数据过滤、数据挖掘、数据汇总、数据保留,以及在高风险人工智能系统投放市场或投入服务前和为投放市场或投入服务而进行的与数据有关的任何其他操作;

(g) 9 条提及的风险管理系统;

(h) 根据第 72 条的规定,建立、实施和维护后市场监测系统;

(i) 根据第 73 条报告严重事件的相关程序;

(j) 处理与成员国主管机关、其他相关机构(包括提供或支持数据访问的机构)、被通知机构、其他运营者、客户或其他相关方的沟通;

(k) 所有相关文件和信息的记录保存系统和程序;

(l) 资源管理,包括与供应安全有关的措施;

(m) 问责框架,规定管理层和其他工作人员在本段所列各方面的责任。

2. 1 段所述方面的实施应与提供者组织的规模相称。在任何情况下,提供者都应尊重确保其高风险人工智能系统符合本条例所需的严格程度和保护水平。

3. 高风险人工智能系统的提供者,如果根据相关的部门性欧盟法必须履行质量管理系统或同等职能的义务,则可以将第 1 段所列方面作为根据该法律质量管理系统的一部分。

4. 对于根据欧盟金融服务法须遵守内部治理、安排或流程要求的金融机构,除本条第 1 段第 (g) (h) (i) 项外,应通过遵守相关欧盟金融服务法的内部治理安排或流程规则来履行建立质量管理体系的义务。为此,应考虑第 40 条中提及的任何统一标准。

18 文件保存

1. 提供者应在高风险人工智能系统投放市场或投入使用后的 10 年内,将以下资料交由成员国主管机关保存:

(a) 11 条所述的技术性文件;

(b) 17 条所述质量管理系统的相关文件;

(c) 有关被通知机构批准的变更的文件,如适用;

(d) 被通知机构发布的决定和其他文件,如适用;

(e) 47 条提及的欧盟合格声明。

2. 对于在其领土上设立的提供者或其授权代表在该期限结束前破产或停止活动的情况,各成员国应确定第 1 段所述文件在该段所述期限内仍由成员国主管机关处置的条件。

3. 如果提供者是金融机构,其内部治理、安排或流程须遵守欧盟金融服务法的要求,则应将技术文件作为根据相关欧盟金融服务法保存的文件的一部分予以保存。

19 自动生成日志

1. 高风险人工智能系统的提供者应保存由其高风险人工智能系统自动生成的第 12 条第 1 段所述日志,如果这些日志在其控制范围内。在不影响适用的欧盟法或成员国法律的情况下,日志的保存期应与高风险人工智能系统的预期目的相适应,至少为六个月,除非适用的欧盟法或成员国法律另有规定,特别是关于保护个人数据的欧盟法。

2. 金融机构的提供者,如果其内部治理、安排或流程须符合欧盟金融服务法的要求,则应将其高风险人工智能系统自动生成的日志作为根据相关金融服务法保存的文件的一部分进行保存。

20 纠正行动和提供信息的义务

1. 高风险人工智能系统的提供者如认为或有理由认为其投放市场或投入使用的高风险人工智能系统不符合本条例的规定,应立即采取必要的纠正措施,使该系统符合规定,酌情予以撤消、禁用或召回。他们应通知有关高风险人工智能系统的分销商,并酌情通知部署者、授权代表和进口商。

2. 如果高风险人工智能系统存在第 79 条第 1 段所指的风险,且提供者意识到该风险,则应立即与报告部署者(如适用)合作调查原因,并通知主管高风险人工智能系统的市场监督管理机构,以及(如适用)根据第 44 条为该高风险人工智能系统颁发证书的被通知机构,特别是通知不符合的性质以及所采取的任何相关纠正措施。

21 与主管机关的合作

1. 高风险人工智能系统的提供者应在主管机关提出合理要求时,向该机关提供证明高风险人工智能系统符合第 2 节所列要求的所有必要信息和文件,其语言应为有关成员国所表明的欧盟机构官方语言之一,易于该机关理解。

2. 在主管机关提出合理要求后,提供者还应在适用的情况下允许提出要求的主管机关查阅第 12 条第 1 段所述高风险人工智能系统自动生成的日志,但以这些日志在其控制范围内为限。

3. 主管机关根据本条获得的任何信息应按照第 78 条规定的保密义务处理。

22 高风险人工智能系统提供者的授权代表

1. 在欧盟市场上提供其高风险人工智能系统之前,在第三国设立的提供者应通过书面授权任命一名在欧盟设立的授权代表。

2. 提供者应使其授权代表能够执行从提供者处收到的授权书中规定的任务。

3. 授权代表人应执行提供者授权书中规定的任务。它应根据请求,以主管机关指定的欧盟机构官方语言之一,向市场监督管理机构提供一份授权副本。就本条例而言,授权书应授权授权代表执行以下任务:

(a) 核查第 47 条所指的欧盟合格声明和第 11 条所指的技术文件是否已经拟定,以及提供者是否已经执行了适当的合格性评估程序;

(b) 在高风险人工智能系统投放市场或投入使用后的 10 年内,向主管机关和第 74 条第 10 段提及的国家机关或机构提供指定授权代表的提供者的详细联系信息、第 47 条提及的欧盟合格声明副本、技术文件以及(如适用)被通知机构签发的证书;

(c) 应主管机关的合理要求,提供所有必要的信息和文件,包括本分段 (b) 项所指的信息和文件,以证明高风险人工智能系统符合第 2 节规定的要求,包括查阅第 12 条第 1 段所指的由高风险人工智能系统自动生成的日志,只要这些日志在提供者的控制之下;

(d) 在主管机关采取的与高风险人工智能系统有关的任何行动中,特别是在减少和降低高风险人工智能系统造成的风险方面,应主管机关的合理要求与之合作;

(e) 在适用的情况下,遵守第 49 条第 1 段所述的登记义务,如果登记是由提供者自己进行 的,则应确保附件八 A 节第 3 项所述的信息正确无误。

授权书应授权授权代表人在与确保遵守本条例有关的所有问题上,除提供者外,或代替提供者,接受主管机关的处理。

23 进口商的义务

1. 在将高风险人工智能系统投放市场之前,进口商应确保该系统符合本条例的规定,为此应核查:

(a) 高风险人工智能系统的提供者已进行了第 43 条所述的相关合格评定程序;

(b) 提供者已根据第 11 条和附件四编制了技术文件;

(c) 系统带有所需的 CE 标志,并附有第 47 条所指的欧盟合格声明和使用说明;

(d) 提供者已根据第 22 条第 1 段的规定任命了授权代表。

2. 如果进口商有充分理由认为高风险人工智能系统不符合本条例的规定,或者是伪造的,或者附有伪造的文件,则在该系统符合规定之前不得将其投放市场。如果高风险人工智能系统存在第 79 条第 1 段所指的风险,进口商应将此情况通知系统提供者、授权代表和市场监督管理机构。

3. 进口商应在高风险人工智能系统及其包装或随附文件(如适用)上标明其名称、注册商号或注册商标以及联系地址。

4. 进口商应确保高风险人工智能系统由其负责时,储存或运输条件(如适用)不会危及其符合第 2 节规定的要求。

5. 进口商应在高风险人工智能系统投放市场或投入使用后的 10 年内,保存一份由被通知机构颁发的证书(如适用)、使用说明和第 47 条所述欧盟合格声明的副本。

6. 进口商应在有关主管机关提出合理要求后,以其易于理解的语言向其提供所有必要的信息和文件,包括第 5 段中提及的信息和文件,以证明高风险人工智能系统符合第 2 节中规定的要求。为此,还应确保向这些机关提供技术文件。

7. 进口商应与有关主管机关合作,配合主管机关对进口商投放市场的高风险人工智能系统采取任何行动,特别是减少和降低该系统构成的风险。

24 分销商的义务

1. 在市场上提供高风险人工智能系统之前,分销商应核查该系统是否带有所需的 CE 标志,是否附有第 47 条所述的欧盟合格声明副本和使用说明,以及该系统的提供者和进口商(如适用)是否遵守了第 16 条第 (b) (c) 项以及第 23 条第 3 段规定的各自义务。

2. 如果分销商根据其掌握的信息认为或有理由认为高风险人工智能系统不符合第 2 节规定的要求,在该系统符合这些要求之前,分销商不得在市场上提供高风险人工智能系统。此外,如果高风险人工智能系统存在第 79 条第 1 段所指的风险,分销商应酌情将此情况通知该系统的提供者或进口商。

3. 分销商应确保在其负责高风险人工智能系统时,储存或运输条件(如适用)不会危及该系统符合第 2 节规定的要求。

4. 分销商如根据其掌握的信息认为或有理由认为其在市场上提供的高风险人工智能系统不符合第 2 节所列要求,则应采取必要的纠正措施,使该系统符合这些要求,撤回或召回该系统,或应确保提供者、进口商或任何有关运营者酌情采取这些纠正措施。如果高风险人工智能系统存在第 79 条第 1 段所指的风险,分销商应立即通知该系统的提供者或进口商以及有关高风险人工智能系统的主管机关,特别是提供不符合要求的详细情况和所采取的纠正措施。

5. 在有关主管机关提出合理要求后,高风险人工智能系统的分销商应向该主管机关提供有关其根据第 1 至第 4 段采取的行动的所有必要信息和文件,以证明该系统符合第 2 节规定的要求。

6. 分销商应与有关主管机关合作,采取任何与分销商在市场上提供的高风险人工智能系统有关的行动,特别是减少或降低该系统带来的风险。

25 人工智能价值链上的责

1. 为本条例之目的,任何分销商、进口商、部署者或其他第三方应被视为高风险人工智能系统的提供者,在下列任何一种情况下,应承担第 16 条规定的提供者义务:

(a) 在已投放市场或投入服务的高风险人工智能系统上冠以自己的名称或商标,但不妨碍以其他方式分配义务的合同安排;

(b) 对已投放市场或已投入服务的高风险人工智能系统进行重大修改,使其仍属于第 6 条所指的高风险人工智能系统;

(c) 对未被列为高风险并已投放市场或投入服务的人工智能系统(包括通用人工智能系统)的预期目的进行修改,使有关人工智能系统根据第 6 条成为高风险人工智能系统。

2. 如果出现第 1 段所述情况,最初将人工智能系统投放市场或投入服务的提供者将不再被视为本条例所指的特定人工智能系统的提供者。最初的提供者应与新的提供者密切合作,提供必要的信息,并提供合理预期的技术准入和为履行本条例规定义务所要求的其他协助,特别是关于遵守高风险人工智能系统合格性评估的义务。本段不适用于初始提供者已明确说明其人工智能系统不会被改变为高风险人工智能系统,因此不属于移交文件的义务范围的情况。

3. 如果高风险人工智能系统是附件一 A 部分所列欧盟统一立法所涵盖产品的安全部件,则产品制造商应被视为高风险人工智能系统的提供者,在下列任一情况下,应履行第 16 条规定的义务:

(a) 高风险人工智能系统与产品制造商的名称或商标的产品一起投放市场;

(b) 产品投放市场后,高风险人工智能系统以产品制造商的名义或商标投入服务。

4. 高风险人工智能系统的提供者和提供人工智能系统、工具、服务、组件或高风险人工智能系统中使用或集成的程序的第三方,应通过书面协议,根据公认的技术水平,具体说明必要的信息、能力、技术访问和其他援助,以使高风险人工智能系统的提供者能够充分遵守本条例规定的义务。本段不适用于在免费和开源许可下向公众提供工具、服务、流程或组件(通用人工智能模型除外)的第三方。

人工智能办公室可为高风险人工智能系统的提供者与提供用于高风险人工智能系统或集成到高风险人工智能系统的工具、服务、组件或流程的第三方之间的合同制定和推荐自愿示范条款。在制定这些自愿性示范条款时,人工智能办公室应考虑到适用于特定部门或商业案例的可能合同要求。自愿性示范条款应以易于使用的电子格式公布并免费提供。

5. 2 段和第 3 段不影响根据欧盟法律和国家法律遵守和保护知识产权、商业机密信息和商业秘密的需要。

26 高风险人工智能系统部署者的义务

1. 高风险人工智能系统的部署者应采取适当的技术和组织措施,确保按照第 3 段和第 6 段的规定,根据系统所附的使用说明使用这些系统;

2. 部署者应指派具备必要能力、培训和权威以及必要支持的自然人进行人工监督;

3. 1 段和第 2 段规定的义务不影响欧盟或国内法规定的其他部署者义务,也不影响部署者为执行提供者所述的人类监督措施而组织自身资源和活动的自由。

4. 在不影响第 1 段和第 2 段的情况下,只要部署者对输入数据行使控制权,就高风险人工智能系统的预期目的而言,部署者应确保输入数据具有相关性和充分代表性。

5. 部署者应根据使用说明监测高风险人工智能系统的运行情况,并在相关情况下根据第 72 条通知提供者。如果部署者有理由认为,按照使用说明使用高风险人工智能系统可能导致该人工智能系统出现第 79 条第 1 段所指的风险,他们应在没有不当拖延的情况下通知提供者或分销商和有关市场监管管理机构,并应暂停使用该系统。如果部署者发现了严重事故,也应立即首先通知提供者,然后通知进口商或分销商以及事故相关的市场监管管理机构。如果部署者无法联系到提供者,则应比照适用第 73 条。这项义务不包括作为执法机关的人工智能系统部署者的敏感业务数据。

对于根据欧盟金融服务法须遵守内部治理、安排或流程要求的金融机构部署者而言,遵守相关金融服务法规定的内部治理安排、流程和机制规则,即视为履行了第一分段规定的监控义务。

6. 高风险人工智能系统的部署者应在其控制范围内保存该高风险人工智能系统自动生成的日志,保存期应与高风险人工智能系统的预期目的相称,至少六个月,除非适用的欧盟或国家法律,特别是关于保护个人数据的欧盟法律另有规定。

如果部署者是金融机构,其内部治理、安排或流程须遵守欧盟金融服务法的要求,则应将日志作为根据相关欧盟金融服务法保存的文件的一部分进行保存。

7. 在工作场所投入服务或使用高风险人工智能系统之前,作为雇主的部署者应告知劳动者代表和受影响的劳动者,他们将使用高风险人工智能系统。在适用的情况下,应根据欧盟和国家关于劳动者及其代表信息的法律和实践中规定的规则和程序提供这些信息。

8. 高风险人工智能系统的部署者如果是公共机关或欧盟机构、机关、办事处或机构,则应遵守第 49 条所述的登记义务。当这些部署者发现他们打算使用的高风险人工智能系统尚未在第 71 条所述的欧盟数据库中注册时,他们不得使用该系统,并应通知供应者或分销商。

9. 在适用的情况下,高风险人工智能系统的部署者应使用根据本条例第 13 条提供的信息,以履行其根据 (EU) 2016/679 号条例第 35 条或 (EU) 2016/680 号指令第 27 条进行数据保护影响评估的义务。

10. 在不影响第 (EU)2016/680 号指令的情况下,在对涉嫌或被判定犯有刑事罪的人进行定向搜查的调查框架内,用于后远程生物特征识别的高风险人工智能系统的部署者应事先或在不无故拖延的情况下,在不迟于 48 小时内请求司法机关或其决定具有约束力并可接受司法审查的行政机关授权使用该系统,但根据与罪行直接相关的客观和可核查的事实初步识别潜在嫌疑人的情况除外。每次使用应仅限于调查特定刑事犯罪所严格需要的范围。

如果根据本段第一分段申请的授权被拒绝,则应立即停止使用与申请授权相关联的后远程生物识别系统,并删除与使用申请授权的高风险人工智能系统相关联的个人数据。

在任何情况下,这种用于后远程生物识别的高风险人工智能系统都不得用于无目标性的、与刑事犯罪、刑事诉讼、真正的和当前的或真正的和可预见的刑事犯罪威胁或寻找具体的失踪人员没有任何联系的执法。应确保执法机关不得仅根据这种后远程生物识别系统的输出结果作出对个人产生不利法律影响的决定。

本段不影响关于生物识别数据处理的 (EU) 2016/679 号条例第 9 条和 (EU) 2016/680 号指令第 10 条。

无论目的或部署者如何,此类高风险人工智能系统的每次使用都应记录在相关警方档案中,并应根据要求提供给相关市场监督机构和国家数据保护机构,但不包括与执法有关的敏感业务数据的披露。本分段不得损害 (EU) 2016/680 号指令赋予监管机关的权力。

部署者应向有关市场监督管理机构和国家数据保护机构提交年度报告,说明其使用后远程生物识别系统的情况,但不包括披露与执法有关的敏感业务数据。报告可以汇总,以涵盖一个以上的部署情况。

成员国可根据欧盟法律,就后远程生物识别系统的使用制定限制性更强的法律。

11. 在不影响本条例第 50 条的情况下,附件三中提及的高风险人工智能系统的部署者在做出与自然人有关的决定或协助做出与自然人有关的决定时,应告知自然人他们是高风险人工智能系统的使用对象。对于用于执法目的的高风险人工智能系统,应适用 (EU) 2016/680 号指令第 13 条。

12. 部署者应在相关主管机关为执行本条例而对高风险人工智能系统采取的任何行动中与这些主管机关合作。

27 高风险人工智能系统的基本权利影响评估

1. 在部署第 6 条第 2 段所指的高风险人工智能系统之前,除了打算用于附件三第 2 项所列领域的高风险人工智能系统外,受公法管辖的机构或提供公共服务的私营实体以及附件三第 5(b) (c) 项所指的高风险人工智能系统的部署者,应评估使用这种系统可能对基本权利产生的影响。为此,部署者应进行包括以下内容的评估 :

(a) 说明部署者按照预期目的使用高风险人工智能系统的程序;

(b) 说明打算使用每个高风险人工智能系统的期限和频率;

(c) 在特定情况下使用该系统可能影响的自然人和群体的类别;

(d) 考虑到提供者根据第 13 条提供的信息,可能对根据本段 (c) 项确定的各类自然人或群体产生影响的具体危害风险;

(e) 根据使用说明,说明人工监督措施的实施情况;

(f) 在出现这些风险时应采取的措施,包括内部治理和投诉机制的安排。

2. 1 段规定的义务适用于高风险人工智能系统的首次使用。在类似情况下,部署者可依赖以前进行的基本权利影响评估或提供者进行的现有影响评估。如果在使用高风险人工智能系统期间,部署者认为第 1 段所列的任何要素已发生变化或不再是最新的,部署者应采取必要步骤更新信息。

3. 一旦进行了本条第 1 段所述的评估,部署者应将评估结果通知市场监督管理机构,并提交本条第 5 段所述的填写模板作为通知的一部分。在第 46 条第 1 段所述情况下,部署者可免除通知义务。

4. 如果本条规定的任何义务已通过根据 (EU) 2016/679 号条例第 35 条或 (EU) 2016/680 号指令第 27 条进行的数据保护影响评估得到履行,则本条第 1 段所述基本权利影响评估应作为该数据保护影响评估的补充。

5. 人工智能办公室应开发一个问卷模板,包括通过一个自动化工具,以方便部署者以简化的方式遵守本条规定的义务。

4 通知机关和被通知机构
28 通知机关

1. 每个成员国应指定或建立至少一个通知机关,负责制定和实施评估、指定和通知合格性评估机构及其监督的必要程序。这些程序应由所有成员国的通知机关合作制定。

2. 成员国可决定第 1 段所述的评估和监督工作由 (EC) 765/2008 号条例所指的国家认证机构进行。

3. 通知机关的设立、组织和运作方式应确保其与合格性评估机构之间不存在利益冲突,并确保其活动的客观性和公正性。

4. 通知机关的组织方式应使与合格性评估机构的通知有关的决定由不同于对这些机构中进行评估的主管人员作出。

5. 通知机关不得提议或提供合格性评估机构从事的任何活动 ; 也不得提供任何商业或竞争基础上的咨询服务。

6. 通知机关应根据第 78 条的规定,对其获得的信息进行保密。

7. 通知机关应配备足够数量的称职人员,以适当履行其任务。主管人员应酌情具备其职能所需的信息技术、人工智能和法律等领域的专业知识,包括对基本权利的监督。

29 合格性评估机构的通知申请

1. 合格性评估机构应向其所在成员国的通知机关提交通知申请。

2. 通知申请应附有对合格性评估活动、合格性评估模块和合格性评估机构声称能胜任的人工智能系统类型的说明,以及由国家认证机构颁发的认证证书(如有),证明合格性评估机构符合第 31 条规定的要求。

与任何其他欧盟统一立法下的被通知机构申请者的现有名称相关的任何有效文件,也应包括在内。

3. 如果相关合格性评估机构不能提供认证证书,则应向通知机关提供所有必要的文件证据,以便对其是否符合第 31 条规定的要求进行核查、认可和定期监督。

4. 对于根据任何其他欧盟统一立法指定的被通知机构,与这些指定相关的所有文件和证书可酌情用于支持其根据本条例进行的指定程序。每当发生相关变化时,被通知机构应更新本条第 2 段和第 3 段提及的文件,以使负责被通知机构的机关能够监测和核查对第 31 条规定的所有要求的持续遵守情况。

30 通知程序

1. 通知机关只能通知符合第 31 条规定要求的合格性评估机构。

2. 通知机关应使用由欧盟委员会开发和管理的电子通知工具,将第 1 段中提及的每个合格性评估机构通知欧盟委员会和其他成员国。

3. 本条第 2 段提及的通知应包括合格性评估活动、合格性评估模块、有关人工智能系统的类型以及相关能力证明的全部细节。如果通知不是基于第 29 条第 2 段所述的认证证书,通知机关应向欧盟委员会和其他成员国提供文件证据,证明合格性评估机构的能力,以及为确保该机构定期接受监督并继续满足第 31 条规定的要求而做出的安排。

4. 有关合格性评估机构只有在欧盟委员会或其他成员国在通知机关发出通知后两周内未提出反对意见的情况下,并且通知机关的通知中包括第 29 条第 2 段所述的认可证书,或在被通知机构发出通知后两个月内包括第 29 条第 3 段所述的书面证据,方可开展被通知机构的活动。

5. 如有异议,欧盟委员会应立即与相关成员国和合格性评估机构进行磋商。据此,欧盟委员会应决定授权是否合理。欧盟委员会应将其决定通知有关成员国和相关的合格性评估机构。

31 与被通知机构有关的要求

1. 被通知机构应根据成员国的国内法成立,并应具有法人资格。

2. 被通知机构应满足完成其任务所必需的组织、质量管理、资源和流程要求,以及适当的网络安全要求。

3. 被通知机构的组织结构、职责分配、报告关系和运作应确保对其绩效和被通知机构开展的合格性评估活动的结果有信心。

4. 被通知机构应独立于与之开展合格性评估活动的高风险人工智能系统的提供者。被通知机构也应独立于在所评估的高风险人工智能系统中拥有经济利益的任何其他操作方,以及提供者的任何竞争对手。这并不排除为合格性评估机构的业务所必需的被评估的高风险人工智能系统的使用,也不排除为个人目的使用这些高风险人工智能系统。

5. 合格性评估机构、其高层管理人员、负责执行合格性评估任务的人员,都不得直接参与高风险人工智能系统的设计、开发、营销或使用,也不得代表参与这些活动的各方。他们不得从事任何可能有损于其独立判断力或与其所负责的合格性评估活动有关的正直性的活动。这尤其适用于咨询服务。

6. 被通知机构的组织和运作应保障其活动的独立性、客观性和公正性。被通知机构应记录和实施保障公正性的结构和程序,并在其整个组织、人员和评估活动中促进和应用公正性原则。

7. 被通知机构应制定成文的程序,确保其人员、委员会、附属机构、分包商和任何相关机构或外部机构的人员按照第 78 条的规定,对其在开展合格性评估活动期间掌握的信息保密,除非法律要求披露这些信息。被通知机构的工作人员有义务对在执行本条例规定的任务过程中获得的所有信息保守职业秘密,但与开展活动的成员国的通知机关有关的信息除外。

8. 被通知机构应制定开展活动的程序,这些程序应适当考虑到提供者的规模、所处行业、 结构以及有关人工智能系统的复杂程度。

9. 被通知机构应为其合格性评估活动投保适当的责任险,除非责任由其根据国内法设立的成员国承担,或该成员国本身直接负责合格性评估。

10. 被通知机构应能以最高程度的专业操守和特定领域的必要能力执行本条例规定的所有任务,无论这些任务是由被通知机构自己执行,还是代表被通知机构和在他们的责任范围内执行。

11. 被通知机构应具备足够的内部能力,以便能够有效地评估由外部各方代表其执行的任务。被通知机构应长期拥有足够的行政、技术、法律和科学人员,这些人员应具备与相关类型的人工智能系统、数据和数据计算有关的经验和知识,以及与第 2 节所列要求有关的经验和知识。

12. 被通知机构应参与第 38 条所述的协调活动,还应直接参加或派代表参加欧洲标准化组织,或确保了解相关标准的最新情况。

32 与被通知机构有关的推定符合要求
如果合格性评估机构证明其符合相关统一标准或其部分规定的标准,而这些标准的参考资料已在《欧盟官方公报》上公布,则应推定该机构符合第 31 条规定的要求,只要适用的统一标准涵盖了这些要求。

33 被通知机构的附属机构和分包

1. 如果被通知机构分包与合格性评估有关的具体任务或求助于附属机构,则应确保分包商或附属机构符合第 31 条规定的要求,并应通知相应通知机关。

2. 被通知机构应对任何分包商或附属机构执行的任务负全部责任。

3. 只有在征得提供者同意的情况下,才能将活动分包或由子公司执行。被通知机构应公布其子公司名单。

4. 分包商或子公司资格评估的相关文件以及他们根据本条例开展的工作应由通知机关保存,保存期自分包终止之日起为期五年。

34 被通知机构的业务性义务

1. 被通知机构应按照第 43 条规定的合格性评估程序核查高风险人工智能系统是否符合要求。

2. 被通知机构在开展活动时应避免给提供者造成不必要的负担,并应适当考虑提供者的规模、所处行业、结构和有关高风险人工智能系统的复杂程度,特别是考虑到要尽量减少 2003/361/EC 号建议书所指的微型和小型企业的行政负担和合规成本。尽管如此,被通知机构应尊重高风险人工智能系统符合本条例要求所需的严格程度和保护水平。

3. 被通知机构应向第 28 条所述的通知机关提供并按要求提交所有相关文件,包括提供者的文件,以便该机构开展评估、指定、通知和监测活动,并为本节所述的评估提供便利。

35 根据本条例指定的被通知机构的识别号和名单

1. 欧盟委员会应为每个被通知机构分配一个单一的标识号,即使一个机构根据不止一个欧盟法案成为被通知机构。

2. 欧盟委应公布根据本条例通知的机构名单,包括其标识号及其被通知的活动。欧盟委员会应确保不断更新该名单。

36 通知变更

1. 通知机关应通过第 30 条第 2 段提及的电子通知工具,将对被通知机构通知的任何相关变更通知欧盟委员会和其他成员国。

2. 29 条和第 30 条规定的程序适用于通知范围的扩展。

对于除扩大范围以外的通知变更,应适用第 3 9 段规定的程序。

3. 如果被通知机构决定停止其合格性评估活动,它应尽快通知通知机关和有关提供者,如果是有计划的停止,至少应在停止活动前一年通知。在被通知机构停止活动后的九个月内,如果另一个被通知机构以书面形式确认它将承担这些证书所涵盖的高风险人工智能系统的责任,则被通知机构的证书可以继续有效。后一被通知机构应在九个月期限结束前完成对受影响的高风险人工智能系统的全面评估,然后再为这些系统签发新证书。如果被通知机构已停止活动,通知机关应撤销指定。

4. 如果通知机关有充分理由认为被通知机构不再符合第 31 条规定的要求,或认为它未能履行其义务,通知机关应立即尽最大努力调查此事。在这种情况下,它应将提出的反对意见通知有关被通知机构,并使其有可能发表意见。如果通知机关得出结论认为,被通知机构不再符合第 31 条规定的要求,或未能履行其义务,则应根据未能满足这些要求或履行这些义务的严重程度,酌情限制、中止或撤销指定。它应立即向欧盟委员会和其他成员国通报有关情况。

5. 如果其指定已被中止、限制或全部或部分撤销,被通知机构应在 10 天内通知有关提供者。

6. 在限制、中止或撤销指定的情况下,通知机关应采取适当步骤,确保保存有关被通知机构的档案,并应其他成员国的通知机关和市场监督管理机构的要求向其提供这些档案。

7. 在限制、中止或撤销指定的情况下,通知机关应:

(a) 评估对被通知机构签发的证书的影响;

(b) 在通知更改指定后的三个月内,向欧盟委员会和其他成员国提交一份关于其评估结果的报告;

(c) 要求被通知机构在主管机关确定的合理期限内,中止或收回任何不当签发的证书,以确保市场上的高风险人工智能系统继续符合要求;

(d) 向欧盟委员会和成员国通报其要求中止或撤销的证书;

(e) 向提供者注册营业地所在成员国的成员国主管机关提供其要求中止或撤销的证书的所有相关信息;该主管机关应在必要时采取适当措施,以避免对健康、安全或基本权利造成潜在风险。

8. 除不当签发的证书外,在指定被中止或限制的情况下,证书在下列任一情况下继续有效:

(a) 通知机关在暂停或限制后一个月内确认,受暂停或限制影响的证书不存在危及健康、安全或基本权利的风险,且通知机关概述了补救中止或限制的行动时间表;或

(b) 通知机关已确认在暂停或限制期间不会签发、修改或重新签发与中止有关的证书,并说明被通知机构是否有能力在暂停或限制期间继续监督和负责已签发的现有证书;如果通知机关确定该被通知机构没有能力支持已签发的现有证书,则证书所涉系统的提供者应在中止或限制的三个月内,以书面形式向其注册营业地所在成员国的成员国主管机关确认,在中止或限制期间,另一个合格的被通知机构将临时承担被通知机构的职能,对证书进行监督并继续负责。

9. 在下列情况下,证书的有效期应为九个月,但不当发放的证书和已撤销的指定除外:

(a) 证书所涵盖的高风险人工智能系统的提供者的注册营业地所在的成员国的成员国主管机关已确认,有关的高风险人工智能系统对健康、安全或基本权利没有风险;以及

(b) 另一被通知机构已书面确认将立即对这些人工智能系统负责,并在撤销指定后 12 个月内完成评估。

在第一项所述情况下,证书所涉系统的提供者营业地所在成员国的成员国主管机关可将证书的临时有效期再延长三个月,但总共不得超过 12 个月。

成员国主管机关或承担受指定变更影响的被通知机构职能的被通知机构应立即将此事通知欧盟委员会、其他成员国和其他被通知机构。

37 对被通知机构能力的质疑

1. 必要时,欧盟委员会应调查所有有理由怀疑被通知机构能力或被通知机构是否继续履行第 31 条规定的要求及其适用责任的情况。

2. 当欧盟委员会提供要求,通知机关应提供与通知有关或保持该被通知机构能力有关的所有相关信息。

3. 欧盟委员会应确保在根据本条进行调查的过程中获得的所有敏感信息均按照第 78 条的规定予以保密。

4. 当欧盟委员会确定某一被通知机构不符合或不再符合其通知要求时,应将此情况通知实施通知的成员国,并要求其采取必要的纠正措施,包括必要时暂停或撤销通知。如果成员国未采取必要的纠正措施,欧盟委员会可通过实施法案中止、限制或撤销指定。该实施法案应根据第 98 条第 2 段所述的审查程序通过。

38 被通知机构的协调

1. 对于高风险人工智能系统,欧盟委员会应确保在根据本条例开展合格性评估程序的被通知机构之间建立适当的协调与合作,并以被通知机构部门小组的形式适当运作。

2. 各通知机关应确保其通知的机构直接或通过指定的代表参与第 1 段所述小组的工作。

3. 欧盟委员会应规定各通知机关之间知识交流和最佳实践。

39 第三国的合格性评估机构
根据与欧盟缔结了协议的第三国的法律建立的合格性评估机构,只要符合第 31 条规定的要求或确保同等水平的合规性,即可被授权开展本条例规定的被通知机构活动。

5 标准、合格性评估、认证、登记
40 统一标准和标准化交付成果

1. 高风险人工智能系统或通用人工智能模型,如符合《欧盟官方公报》根据 (EU) 1025/2012 号条例公布的统一标准或其部分内容,应推定为符合本章第 2 节规定的要求,或在适用情况下,符合本条例第五章第 2 节和第 3 节规定的义务,只要这些标准涵盖了这些要求或义务。

2. 根据 (EU) 1025/2012 号条例第 10 条,欧盟委员会应在不无故拖延的情况下,发出涵盖本章第 2 节所列所有必要条件的标准化要求,并在适用的情况下,发出涵盖本条例第五章第 2 节和第 3 节所列义务的标准化要求。标准化申请还应要求提供有关报告和文件流程的交付成果,以改善人工智能系统的资源性能,例如减少高风险人工智能系统在其生命周期内的能源和其他资源消耗,以及有关通用人工智能模型的节能开发。在准备标准化申请时,欧盟委员会应咨询委员会和相关利益方,包括咨询论坛。

在向欧洲标准化组织发出标准化请求时,欧盟委员会应明确规定,标准必须清晰、一致,包括与附件一所列欧盟现有统一立法所涵盖产品的各部门制定的标准一致,并旨在确保在欧盟市场上投放或投入使用的高风险人工智能系统或通用人工智能模型符合本条例规定的相关要求或义务。

欧盟委员会应要求欧洲标准化组织提供证据,证明其根据 (EU) 1025/2012 号条例第 24 条的规定,为实现本段第一和第二项所述目标而做出的最大努力。

3. 标准化进程的参与者应努力促进人工智能领域的投资和创新,包括通过提高法律确定性,以及欧盟市场的竞争力和增长,为加强全球标准化合作做出贡献,并考虑到人工智能领域符合欧盟价值观、基本权利和利益的现有国际标准,加强多方利益相关者治理,确保利益的均衡代表和所有相关利益相关者根据 (EU) 1025/2012 号条例第 5 6 7 条的规定有效参与。

41 共同规格

1. 在满足以下条件的情况下,欧盟委员会可通过实施法案,为本章第 2 节规定的要求,或在适用的情形下为第 5 章第 2 节和第 3 节规定的义务制定共同规格:

(a) 根据 (EU) 1025/2012 号条例第 10 条第 1 段,欧盟委员会要求一个或多个欧洲标准化组织为本章第 2 节所列要求或(如适用)第五章第 2 和第 3 节所列义务起草统一标准,且

i. 该请求未被任何一个欧洲标准化组织接受;或

ii. 处理该请求的统一标准未在根据 (EU) 1025/2012 号条例第 10(1) 条规定的最后期限内交付;或

iii. 相关统一标准未充分解决基本权利问题;或

iv. 统一标准不符合要求;且

(b) 根据第欧盟 1025/2012 号条例,《欧盟官方公报》未公布涉及本章第 2 节所述要求或第 5 章第 2 节和第 3 节所述义务(如适用)的统一标准参考,且预计在合理期限内不会公布此类参考。

在起草共同规格时,欧盟委员会应咨询第 67 条所指的咨询论坛。

本段第 1 分段提及的实施法案应根据第 98 条第 2 段提及的审查程序通过。

2. 在起草实施法案草案之前,欧盟委员会应告知 (EU) 1025/2012 号条例第 22 条所述的委员会,欧盟委员会认为本条第 1 段规定的条件已经满足。

3. 高风险人工智能系统或通用人工智能模型,如符合第 1 段所述共同规格或部分规格,则应推定为符合本章第 2 节所列要求,或在适用情况下,符合第五章第 2 节和第 3 节所述义务,只要这些共同规格涵盖这些要求或义务。

4. 当欧洲标准化组织通过一项统一标准,并建议欧盟委员会在《欧盟官方公报》上公布其参照时,欧盟委员会应根据 (EU) 1025/2012 号条例对该统一标准进行评估。在《欧盟官方公报》上公布统一标准的参照时,欧盟委员会应废除第 1 段中提及的实施法案,或其中涉及本章第 2 节规定的相同要求,或在适用的情况下的第 5 章第 2 节和第 3 节规定的相同义务部分。

5. 如果高风险人工智能系统或通用人工智能模型的提供者不符合第 1 段所述共同规格,则应充分说明其采用的技术解决方案符合本章第 2 节所述要求,或在适用情况下,符合第五章第 2 节和第 3 节规定的义务,至少达到与之相当的水平。

6. 如果成员国认为共同规格不完全符合本章第 2 节的要求,或在适用情况下不符合第 5 章第 2 节和第 3 节规定的义务,则应将此情况通知欧盟委员会并做出详细解释。欧盟委员会应评估该信息,并酌情修订确立相关共同规格的实施法案。

42 推定符合特定要求

1. 如果高风险人工智能系统经过训练和测试,其数据反映了拟使用该系统的特定地理、行为、背景或功能环境,则应推定该系统符合第 10 条第 4 段规定的相关要求。

2. 根据 (EU) 2019/881 号条例,高风险人工智能系统如已获得认证或已根据网络安全计划发布合格声明,且其参考已在《欧盟官方公报》上公布,则应推定其符合本条例第 15 条规定的网络安全要求,只要网络安全证书或合格声明或其部分内容涵盖这些要求。

43 合格性评估

1. 对于附件三第 1 项所列的高风险人工智能系统,如果在证明高风险人工智能系统符合第 2 节所列要求时,提供者采用了第 40 条所指的统一标准,或在适用的情况下采用了第 41 条所指的共同规格,提供者应选择以下一种合格评定程序,其依据是:

(a) 附件六所述的内部控制;或

(b) 附件七所述的有被通知机构参与的质量管理体系评估和技术文件评估。

如果存在下述情况,在证明高风险人工合成系统符合第 2 节所列要求时,提供者应遵循附件七所列的合格性评估程序:

(a) 不存在第 40 条所述的统一标准,也不存在第 41 条所述的共同规格;

(b) 提供者未应用或仅应用了部分统一标准;

(c) 存在第 (a) 项所述的共同规格,但提供者没有采用;

(d) (a) 项中提及的一项或多项统一标准在发布时受到限制,且仅限于标准中受到限制的部分。

就附件七所述的合格性评估程序而言,提供者可以选择任何一个被通知机构。但是,如果高风险人工智能系统打算由执法、移民或庇护机关或欧盟机构、机关、办事处或机构投入使用,则第 74 条第 8 段或第 9 段所述的市场监督管理机构在适当的情况下应充当被通知机构。

2. 对于附件三第 2 至第 8 项所述的高风险人工智能系统,提供者应遵循附件六所述的基于内部控制的合格评定程序,该程序没有规定被通知机构的参与。

3. 对于附件一 A 节所列欧盟统一立法所涵盖的高风险人工智能系统,提供者应遵循这些法案所要求的相关符合性评定程序。本章第 2 节规定的要求应适用于这些高风险人工智能系统,并应成为评估的一部分。附件七第 4.3 4.4 4.5 项和第 4.6 项第 5 段也应适用。

为评估之目的,已根据这些法案获得通知的被通知机构应有权控制高风险人工智能系统是否符合第 2 节规定的要求,前提是这些被通知机构已根据这些法案的通知程序评估了是否符合第 31 条第 4 5 10 11 段规定的要求。

如果附件一 A 节所列的某项法案允许产品制造商选择不参加第三方合格性评估,条件是该制造商已采用了涵盖所有相关要求的所有统一标准,则该制造商只有在也采用了涵盖本章第 2 节所列所有要求的统一标准,或在适用条件下采用了第 41 条所提及的共同规格时,才可使用该选择。

4. 已经接受过合格性评估程序的高风险人工智能系统,在进行重大修改时,无论修改后的系统是打算进一步分销还是由目前的部署者继续使用,都应接受新的合格性评估程序。

对于在投放市场或投入服务后继续学习的高风险人工智能系统,如果对高风险人工智能系统及其性能的修改是由提供者在首次合格性评估时预先确定的,并且是附件四第 2 条第 (f) 项所述技术性文件所载信息的一部分,则不构成实质性修改。

5. 欧盟委员会有权根据第 97 条的规定通过授权法案,以便根据技术发展对附件六和七进行修订。

6. 欧盟委员会有权根据第 97 条通过授权法案,对本条第 1 段和第 2 段进行修改,以使附件三第 2 至第 8 项中提及的高风险人工智能系统接受附件七中提及的合格性评估程序或部分程序。欧盟委员会在通过这些授权法案时,应考虑到附件六所述的基于内部控制的合格性评估程序在预防或最大限度地降低此类系统对健康和安全以及基本权利的保护所造成的风险方面的有效性,以及被通知机构是否具备足够的能力和资源。

44 认证

1. 被通知机构根据附件七签发的证书,其语言应便于被通知机构所在成员国的有关机关理解。

2. 证书的有效期为:附件一所涵盖的人工智能系统不超过五年,附件三所涵盖的人工智能系统不超过四年。应提供者的要求,证书的有效期可根据按照适用的合格性评估程序进行的重新评估予以延长,对附件一所列的人工智能系统而言,每次延长不得超过五年,对附件三所列的人工智能系统而言,每次延长不得超过四年。只要证书是有效的,那么对证书的任何补充应继续有效。

3. 如果被通知机构发现某个人工智能系统不再符合第 2 节所列的要求,它应在考虑到相称性原则的情况下,暂停或收回所签发的证书或对其施加限制,除非该系统的提供者在被通知机构规定的适当期限内采取了适当的纠正措施以确保符合这些要求。被通知机构应说明其决定的理由。对被通知机构的决定,包括对颁发的合格证书的决定,应有申诉程序。

45 被通知机构的信息义务

1. 被通知机构应向通知机关通报以下内容:

(a) 任何欧盟技术文件评估证书、对这些证书的任何补充,以及根据附件七的要求颁发的任何质量管理体系批准;

(b) 任何拒绝、限制、暂停或撤销欧盟技术性文件评估证书,或根据附件七的要求颁发的质量管理体系批准书的情况;

(c) 任何影响通知范围或通知条件的情况;

(d) 从市场监督管理机构收到的关于提供合格性评估活动信息的任何要求;

(e) 应要求提供在其申报范围内开展的合格性评估活动和开展的任何其他活动,包括跨境活动和分包活动。

2. 每个被通知机构应将以下情况通知其他被通知机构:

(a) 其已拒绝、暂停或撤销的质量管理体系批准,以及应要求其已颁发的质量体系批准;

(b) 其已拒绝、撤回、暂停或以其他方式限制的欧盟技术性文件评估证书或其任何补充,并应要求提供其已颁发的证书和 / 或补充。

3. 每个被通知机构应向其他开展类似合格性评估活动的被通知机构提供涉及相同类型人工智能系统的负面合格性评估结果的相关信息,并应要求提供正面合格性评估结果的相关信息。

4. 被通知机构应根据第 78 条的规定对其获得的信息保密。

46 合格性评估程序的克减

1. 通过对第 43 条的克减,并根据有正当理由的请求,任何市场监督管理机构均可出于公共安全或保护人的生命和健康、环境保护或保护关键工业和基础设施资产的特殊原因,授权在有关成员国境内将特定的高风险人工智能系统投放市场或投入服务。考虑到克减的特殊原因,在进行必要的合格性评估程序期间,该授权应是有期限的。这些程序的完成不得无故拖延。

2. 在因公共安全的特殊原因而有正当理由的紧急情况下,或在自然人的生命或人身安全受到具体、实质性和迫在眉睫的威胁的情况下,执法机关或民防机关可以不经第 1 段所述授权而将特定的高风险人工智能系统投入服务,前提是在使用过程中或使用之后申请这种授权,不得无故拖延。如果第 1 段所述授权遭到拒绝,则应立即停止使用高风险人工智能系统,并应立即丢弃使用该系统的所有结果和产出。

3. 只有当市场监督管理机构认定高风险人工智能系统符合第 2 节的要求时,才可签发第 1 段所述授权。市场监管机构应将根据第 1 段和第 2 段签发的任何授权通知欧盟委员会和其他成员国。这项义务不包括与执法机关活动有关的敏感操作数据。

4. 如果在收到第 3 段所述信息后 15 个自然日内,成员国或欧盟委员会均未对成员国市场监督管理机构根据第 1 段发出的授权提出异议,则该授权应被视为合理。

5. 如果在收到第 3 段所述通知后 15 个自然日内,一成员国对另一成员国市场监督管理机构签发的授权提出异议,或欧盟委员会认为该授权违反欧盟法律,或成员国关于第 3 段所述系统合规性的结论没有根据,欧盟委员会应立刻与相关成员国进行磋商。应征求有关运营者的意见,并使其有可能提出自己的看法。在考虑了这些意见后,欧盟委员会应决定授权是否合理。欧盟委员会应将其决定通知有关成员国和相关操作方。

6. 如果欧盟委员会认为授权不合理,有关成员国的市场监管机构应撤销授权。

7. 对于与附件一 A 部分所列欧盟统一立法涵盖的产品有关的高风险人工智能系统,仅适用该欧盟统一立法中规定的合格性评估的克减。

47 欧盟合格声明

1. 提供者应为每个高风险人工智能系统起草一份书面的机器可读、实物或电子签名的欧盟合格声明,并在高风险人工智能系统投放市场或投入服务后 10 年内将其交由成员国主管机关保存。欧盟合格声明应标明所针对的高风险人工智能系统。欧盟合格声明的副本应按要求提交给相关成员国主管机关。

2. 欧盟合格声明应说明有关高风险人工智能系统符合第 2 节规定的要求。欧盟合格声明应包含附件五所列的信息,并应翻译成高风险人工智能系统投放市场或在市场上提供的成员国的成员国主管机关易于理解的语言。

3. 如果高风险人工智能系统受其他欧盟统一立法的约束,而这些立法也要求欧盟合格声明,则应针对适用于高风险人工智能系统的所有欧盟法律起草一份单一的欧盟合格声明。声明应包含所有必要信息,以确定声明所涉及的欧盟统一立法。

4. 通过起草欧盟合格声明,提供者应承担遵守第 2 节所列要求的责任。提供者应及时更新欧盟合格声明。

5. 欧盟委员会有权根据第 97 条通过授权法案,对附件五进行修订,更新该附件中欧盟合格声明的内容,以引入技术发展所需的要素。

48 CE标志

1.CE 标志应遵守 (EC) 765/2008 号条例第 30 条规定的一般原则。

2. 对于以数字方式提供的高风险人工智能系统,应使用数字 CE 标志,但前提是该标志可通过访问该系统的界面或通过易于访问的机器可读代码或其他电子手段轻松访问。

3. 对于高风险的人工智能系统, CE 标志应明显、清晰和不可擦除地粘贴。如果由于高风险人工智能系统的性质而无法或不能保证这样做,则应酌情将 CE 标志贴在包装上或随附的文件上。

4. 在适用的情况下, CE 标志后应加上负责第 43 条规定的合格性评估程序的被通知机构的识别号。被通知机构的识别号应由该机构自己贴上,或根据其指示由提供者或提供者的授权代表贴上。在任何提及高风险人工智能系统符合 CE 标志要求的宣传材料中也应标明识别号。

5. 如果高风险人工智能系统受欧盟其它法律的管辖,而其它法律也规定必须加贴 CE 标志,则 CE 标志应表明高风险人工智能系统也符合其它法律的要求。

49 登记

1. 在将附件三所列的高风险人工智能系统投放市场或投入服务之前,除附件三第 2 项所述的高风险人工智能系统外,提供者或在适用情形下的授权代表应在第 71 条所述的欧盟数据库中登记自己及其系统。

2. 在根据第 6 条第 3 段认定不属于高风险的人工智能系统投放市场或投入使用之前,该提供者或授权代表(如适用)应在第 71 条所述欧盟数据库中登记自己和该系统。

3. 在投入服务或使用附件三所列的高风险人工智能系统之前,除附件三第 2 项所列的高风险人工智能系统外,作为公共机关、欧盟机构、团体、办事处或代理机构的部署者或代表其行事的人员应在第 71 条所述的欧盟数据库中登记、选择系统并登记其使用情况。

4. 对于附件三第 1 6 7 项所述执法、移民、庇护和边境管制管理领域的高风险人工智能系统,本条第 1 2 3 段所述登记应在第 71 条所述欧盟数据库的一个安全非公开部分进行, 并应在适用的情况下仅包括以下信息:

(a) 附件八的 A 部分第 1 10 项,但第 6 8 9 项除外;

(b) 附件八的 B 部分第 1 5 项以及第 8 9 项;

(c) 附件八的 C 部分第 1 3 项;

(d) 附件九第 1 2 3 5 项。

只有欧盟委员会和第 74 条第 8 段提及的成员国机关可以访问本段第一段所列欧盟数据库中各自的限制访问部分。

5. 附件三第 2 项所指的高风险人工智能系统应在成员国层面登记。

第四章

特定人工智能系统的提供者和部署者的透明度义务

50 特定人工智能系统的提供者和部署者的透明度义务
1. 提供者应确保,预期与自然人直接互动的人工智能系统的设计和开发方式应使有关自然人知道他们正在与一个人工智能系统互动,除非从一个合理知情、善于观察和谨慎的自然人的角度来看,综合考虑使用的情况和场景,这一点是显而易见的。这一义务不适用于法律授权用于侦查、预防、调查和起诉刑事犯罪的人工智能系统,但第三方的权利和自由应得到适当保障,除非这些系统可供公众举报刑事犯罪。

2. 生成合成音频、图像、视频或文本内容的人工智能系统,包括通用人工智能系统的提供者,应确保人工智能系统的输出以机器可读的格式进行标注,并且可检测其系人为生成或操纵。在技术可行的情况下,提供者应确保其技术解决方案的有效性、互操作性、稳健性和可靠性,同时考虑到不同类型内容的特殊性和局限性、实施成本以及相关技术标准中可能反映的公认的先进技术。如果人工智能系统执行的是标准编辑的辅助功能,或没有实质性地改变部署者提供的输入数据或其语义,或经法律授权用于侦查、预防、调查和起诉刑事犯罪,则本义务不适用。

3. 情感识别系统或生物特征分类系统的部署者应将该系统的运行情况告知接触该系统的自然人,并根据适用的 2016/679 号条例、 2018/1725 号条例和 2016/680 号指令处理个人数据。这项义务不适用于用于生物特征分类和情感识别的人工智能系统,如果法律允许在遵守欧盟法律的前提下,在适当保障第三方权利和自由的情况下,检测、预防和调查刑事犯罪。

4. 生成或操纵构成深度伪造的图像、音频或视频内容的人工智能系统的部署者应当披露该内容是人为生成或操纵的。本义务不适用于经法律授权用于侦查、预防、调查和起诉刑事犯罪的情况。如果内容构成明显具有艺术性、创造性、讽刺性、虚构类比的作品或节目的一部分,本段规定的透明度义务限于以不妨碍作品展示或欣赏的适当方式披露存在此类生成或操纵内容。

如果生成或操纵的文本是为了向公众提供有关公共利益问题的信息而发布的,相应人工系统的部署者应当披露该文本是人工生成或操纵的。这项义务不适用于以下情况:法律授权使用人工智能系统侦查、预防、调查和起诉刑事犯罪;或者人工智能生成的内容经过人工审核或编辑控制,而自然人或法人对发布的内容负有编辑责任。

5. 1 至第 4 段中所提及的信息最迟应在首次互动或接触时以清晰可辨的方式提供给相关自然人。信息应符合适用的无障碍要求。

6.






请到「今天看啥」查看全文


推荐文章
一念行者  ·  抵达语言的边界
2 天前
医学界影像诊断与介入频道  ·  医生最帅的10个瞬间,你占了几个?
7 年前
慈怀读书会  ·  听:若能一切随他去,便是世间自在人
7 年前