欧盟理事会最近一致通过了人工智能（AI法案）。这是全球首部全面的人工智能法规，它基于风险规定了在欧盟市场上投放、投入使用和使用人工智能系统（AI系统）的统一规则。
该法案最初由欧盟委员会于2021年4月提出，旨在应对快速技术进步带来的挑战以及与人工智能相关的潜在风险。然而，在2022年12月，因为ChatGPT的出现，立法过程遭遇了重大中断（请参阅我们之前关于欧盟委员会提案的博客：https://www.stibbe.com/publications-and-insights/towards-a-european-legal-framework-for-the-development-and-use-of）。这促使草案文本进行了修改，专门为生成式人工智能制定了相关规定（具体内容请参阅我们关于欧洲议会修订的博客：https://www.stibbe.com/publications-and-insights/eu-artificial-intelligence-act-and-generative-ai-an-update）。欧盟议会内部市场和消费者保护委员会今天通过了AI法案，接下来该法案将提交全体投票表决，投票预计安排在2024年4月10日至11日。
这篇文章是我们关于人工智能及AI法案系列文章中的第一篇。在接下来的系列文章中，我们将深入探讨AI法案的一些具体主题、方面及其与其他法律法规、行业和实践的相互作用。在第一篇文章中，我们根据欧盟理事会目前批准的文本，初步列出了我们认为的AI法案的关键要点。
要点1：人工智能系统的定义广泛，重点关注自主性。
AI法案将人工智能系统定义为“一个基于机器的系统，旨在以不同的自主性水平运作，并且在部署后可能表现出适应性，该系统根据明确或隐含的目标，从接收到的输入中推断如何生成输出，如预测、内容、推荐或决策，这些输出可以影响物理或虚拟环境”，这一定义遵循了经济合作与发展组织（OECD）最新的定义。
该定义中的关键元素是“推断”和“自主性”，这清楚地区分了人工智能系统与其他软件，后者的输出是由严格的算法预先确定的（如果x，则y）。这个定义是有意宽泛的，以确保AI法案在未来不至于过时。它明显偏离了原始的人工智能系统定义，后者将这一概念与一系列预定义的技术和方法挂钩，采用了技术中立和统一的方法。
要点2：有一个限定列表对一些人工智能系统给出了禁令，并对实时远程生物特征识别设置了细致的机制。
AI法案给出了一个限定清单，禁止以下的人工智能实践：
使用潜意识技术或故意操控或欺骗性技术，实质性地扭曲行为，导致重大伤害；
利用个人或群体由于特定特征的脆弱性，导致重大伤害；
基于敏感信息对个人进行生物识别分类的系统，但执法领域中合法获取的生物识别数据集的标记或过滤除外；
社会评分系统；
公共场所用于执法目的的实时远程生物识别系统；
仅基于个人档案或人格特征进行的预测性警务任务，除非它支持基于与犯罪相关的客观、可验证事实的人类评估；
基于无目标抓取的面部识别数据库；
在工作场所或教育机构推断情绪，除非出于医疗或安全原因。
关于执法目的的实时生物识别禁令，欧洲机构进行了大量辩论。该禁令不适用于在特定目的下使用这些系统，如寻找人口贩卖或性剥削的受害者，或用于防止恐怖袭击。原则上，被认定成为这种特例需要进行全面评估、技术和组织措施、通知及获取授权。
要点3：高风险人工智能系统的双重定义
AI法案的一个重要内容是对高风险人工智能系统的严格和广泛监管。因此，对于从事人工智能的公司来说，在实践中，确定其开发、进口、分发或部署的人工智能系统是否构成高风险人工智能系统至关重要。
AI法案将两种类型的人工智能系统视为高风险：
1. 作为产品（或产品安全组件）使用的人工智能，涉及特定的欧盟法规，如民航、车辆安全、海洋设备、玩具、电梯、压力设备和个人防护设备等。
2. Annex III中列出的人工智能系统，如远程生物识别系统、作为关键基础设施安全组件的人工智能，以及在教育、就业、信用评分、执法、移民和民主进程中使用的人工智能。
可以预见，在AI法案生效后18个月内，将发布关于人工智能系统分类的实施指南，并附有高风险和非高风险使用案例的全面实用示例列表。
要点4：高风险人工智能系统资格的重要特例
AI法案对高风险人工智能系统的资格做出了一个例外规定：如果来自第二类高风险人工智能系统（Annex III）的人工智能系统不会对自然人的健康、安全或基本权利造成重大风险，则不构成高风险人工智能系统。具体而言，如果系统旨在执行狭义的程序性任务（改善先前完成的人类活动的结果；检测决策模式或偏离先前决策模式的情况，并且不打算替代或影响先前完成的人类评估，且没有适当的人类审查；或执行评估的准备性任务），则不被视为高风险人工智能系统。然而，如果该人工智能系统对自然人进行画像分析，则始终视为高风险人工智能系统。
这一特例将在实践中非常重要，因为许多人工智能系统提供商可能会试图辩称其系统不会造成这些风险，从而避免高风险人工智能系统所带来的严格监管负担和成本。然而，如果提供商希望达成这一特例的条件，必须记录其依据特例条件的评估。即使能够成功被认定满足特例的条件，其人工智能系统在投放市场或投入使用之前，仍需在欧盟的高风险人工智能系统数据库中注册。
要点5：高风险人工智能系统的广泛、繁重且具有拓展性的义务
高风险人工智能系统的提供商必须满足严格的要求，以确保其人工智能系统是可信的、透明的和可问责的。除其他义务外，他们必须进行风险评估，使用高质量的数据，记录技术和伦理选择，保留系统性能记录，告知用户其系统的性质和目的，启用人类监督和干预，并确保其准确性、稳健性和网络安全性。他们还必须在将系统投放市场或投入使用之前，测试系统是否符合规定，并将其系统注册到一个可以公开访问的欧盟数据库中。
要点6：整个价值链的义务
AI法案不仅对高风险人工智能系统的“提供者”施加严格义务，还对该系统的“进口商”、“分销商”和“部署者”施加了义务。
进口商和分销商的义务主要涉及验证他们进口或分销的高风险人工智能系统是否符合规定。总体而言，进口商需要通过验证各种文档来确认系统的合规性，而分销商则需要验证CE（欧洲合规）标志的合规性。
要点7：高风险人工智能系统部署者（用户）的义务
部署者，即之前被称为人工智能系统的用户，在部署高风险人工智能系统时，也需遵守一系列义务。一个关键义务是，部署者必须根据提供者的使用说明书来使用高风险人工智能系统，这对潜在的责任讨论具有重要意义。当公司或其客户在使用高风险人工智能系统后遭受损害时，人工智能系统提供商的主要论点很可能是部署者未按照使用说明书使用该系统。
部署者还需尽可能安装人类监管，并监控系统的输入数据和操作情况（它必须至少保存自动化日志六个月）。
要点8：银行、保险公司和政府的基本权利影响评估
公共部门机构、提供公共服务的私营实体（如教育、医疗、住房、社会服务，以及从事信用评分或人寿和健康保险的实体）在部署高风险人工智能系统之前，必须进行基本权利影响评估（FRIA）。该评估要求这些实体列出相关的风险、监督措施、风险缓解措施、受影响的自然人类别、预期的使用频率，以及部署者用于该系统的过程。
要点9：高风险人工智能系统价值链上的责任转移
AI法案设立了类似于产品责任规则的机制，根据该机制，除提供者外的其他实体也可能被视为提供者。进口商、分销商、部署者或任何第三方，如果满足以下三个条件之一，将被视为高风险人工智能系统的提供者，并因此需要遵守AI法案中的一系列义务：
1. 在系统已经投放市场或投入使用后，将其名称或商标附加在系统上；
2. 在投放市场/投入使用后进行了重大修改，前提是该系统仍然被视为高风险；
3. 修改了人工智能系统的预期用途，导致该系统变为高风险。
要点 10: 解释权与商业秘密之争
多年来，人们一直在猜测，当控制者进行自动化个人决策（包括分析）时，GDPR 是否赋予数据主体获得解释的权利，而这种决策对数据主体具有法律或类似的效果（请参阅我们之前关于此主题的博客：https://www.stibbe.com/publications-and-insights/eu-advocate-general-balances-data-protection-rights-against-trade-secrets）。《人工智能法案》现在明确确认了这一权利，但仅限于附件三中列出的高风险人工智能系统：受影响的人现在有权获得有关人工智能系统在决策中的作用以及所做决策的主要要素的有意义的解释。在实际操作中，要求解释的人与基于商业秘密阻止或限制此类请求的提供商之间将展开一场争斗。一个很好的例子是信用评分算法，它构成了高风险AI系统。信用评分机构的商业模式和独特卖点在于模型中使用的确切权重和参数，这些可以在很大程度上通过商业秘密得到保护。实际上，这其中很可能需要一定的平衡，根据欧洲法院大律师Pikamäe在最近一起案件（C-634/21：https://curia.europa.eu/juris/document/document.jsf;jsessionid=59BF6046EEA31E86D50793AFC0115814text=&docid=280426&pageIndex=0&doclang=EN&mode=req&dir=&occ=first&part=1&cid=601767）中的意见：虽然原则上保护商业秘密或知识产权构成信用信息机构拒绝披露用于计算数据主体评分的算法的合法理由，但在任何情况下都不能成为绝对拒绝提供信息的理由，尤其是在存在适当的沟通手段既有助于理解又能保证一定程度的保密性的情况下。
要点 11: 广泛的投诉权
AI法案赋予任何自然人或法人（无论是个人还是公司）提出投诉的权利，前提是他们有理由认为AI法案被违反了。这与其他法律工具相比具有非常广泛的适用范围，因为几乎没有关于诉讼资格的要求。这与GDPR等其他法规明显不同，后者规定，数据主体只有在个人数据处理涉及他们时才能提交投诉。
要点 12：通用 AI 模型不是系统
通用 AI (GPAI) 模型受AI 法案的专门监管和分类。AI 法案区分了适用于所有 GPAI 的义务和具有系统性风险的 GPAI 模型的额外义务。由于这些模型与 AI 系统分开监管，因此它们永远不会构成高风险 AI 系统，因为它们不是 AI 系统。另一方面，建立在 GPAI 模型之上的 GPAI 系统可能构成高风险 AI 系统（参见要点 3）。
GPAI 模型的提供者需要承担单独的义务，这些义务可以被视为 AI 系统义务的简化版本。除其他事项外，他们必须创建和维护技术文档，制定有关如何尊重版权法的政策，并创建用于训练 GPAI 模型的内容的详细摘要。
具有系统性风险的GPAI模型提供商还有额外的义务，包括进行模型评估，评估和减轻系统性风险，向AI办公室和国家主管部门记录和报告严重事件，以及确保足够的网络安全保护。
要点 13：人工智能系统和 GPAI 模型的特殊透明度义务
在AI法案规定的两大类别——禁止的AI实践（prohibited AI practices）和高风险AI（high-risk AI）之外，法案还对四类AI系统和GPAI模型（general purpose AI models）设立了透明度义务。
旨在与自然人直接互动的人工智能系统（例如人工智能伴侣）；
生成合成音频、图像、视频或文本内容的人工智能系统，包括 GPAI 系统（例如 Midjourney、DALL-E）；
情绪识别系统或生物特征分类系统（例如 ShareArt）；
深度伪造（Deep fakes，指利用AI技术（如生成对抗网络）制作的虚假视频、音频或图像）。
在这些情况下，用户必须被告知有关人工智能系统的信息。在某些情况下，必须以机器可读的方式标记内容，以便将其识别为人工生成或操纵的内容。AI法案允许，在某些情况下（执法或当人工智能系统用于艺术、讽刺、创作或类似目的时），可以免除此义务。
要点 14：复杂且分层的合规和执行结构
AI法案将与涉及多个实体的复杂且分层的治理结构相辅相成，例如通知和公告机构、合格评定机构、人工智能委员会、人工智能办公室、国家主管部门和市场监督机构。人工智能办公室等机构还将通过制定基于利益相关者对话的实践准则来支持相关机构。此外，这些机构还将在支持创新的各种措施中发挥作用，例如人工智能监管沙盒试验、针对中小企业和初创企业的措施等。
要点15：执法与下一步行动
该法案赋予市场监督机构执行规定、调查投诉和对不合规行为实施制裁的权力。罚款可能非常高，参与被禁止的AI行为可能导致高达3500万欧元或公司全球年营业额的7%的罚款，具体取决于违规行为的严重程度。对于高风险AI系统，罚款可能高达1500万欧元或3%。
我们预计AI法案将在2024年中期发布。AI法案将在欧洲联盟官方公报发布后20天生效。其大部分条款将在24个月后开始适用。禁止AI系统的规则将在6个月后适用，GPAI规则将在12个月后适用，高风险AI系统的规则将在36个月后适用。
要点16：AI法案之外
不要忘记，AI法案只是适用于AI系统的法律和规定中的一部分。法律的其他组成部分将在组织设计、测试、训练和提供AI系统的过程中发挥重要作用。以下是一些重要例子：
知识产权法：AI的专利性、软件的版权保护和用于训练目的的内容许可；
数据保护法：透明度、禁止用个人信息进行画像分析，以及处理数据时要遵循法律规定；
合同与责任：通过合同条款和AI责任指令（AI Liability Directive）为AI系统用户建立足够的控制与监督；
网络安全：包括一般网络安全要求（NIS II）和特定行业的要求（DORA）。
如果您或您的组织对AI和AI法案有任何问题，请随时联系我们位于布鲁塞尔、阿姆斯特丹或卢森堡的AI专家。我们的跨领域专家团队拥有处理人工智能和法律的多学科概念所需的广泛而全面的法律专业知识。
关键期限
AI法案将在欧洲联盟官方公报发布后20天生效。生效后，各合规生效期如下：
6个月：开始执行对规定的AI行为的禁令。
12个月：对于新上市的GPAI模型，相关义务将在12个月后生效；但对于在12个月前已经上市的GPAI模型，相关义务将推迟24个月生效。
24个月：AI法案将开始适用，大部分其他义务也将从此日期起生效。
36个月：Annex II中列出的高风险系统义务生效。
48个月：对于在AI法案生效前已在市场上的高风险AI系统，特别是用于公共部门的系统，其义务将生效。
人工智能系列介绍
目前，人工智能逐渐渗透到所有行业和部门，它有可能改变各个领域。AI法案是一项具有里程碑意义的举措，旨在使欧盟成为道德和以人为本的人工智能领域的全球领导者，同时促进创新和竞争力。AI法案以其广泛的框架提供了指导，但关于AI法案的实际实施仍然存在疑问。法国国民议会委员会已经提出了关于使用受版权保护的材料进行训练的生成式人工智能模型的问题。该委员会建议修改欧盟版权指令，以反映生成式人工智能的技术进步及其对知识产权和工业产权的影响方式。
在我们的新人工智能系列中，我们将探讨AI法案如何影响各个法律方面和部门，例如个人数据保护、就业和知识产权。
https://www.stibbe.com/publications-and-insights/the-eu-artificial-intelligence-act-our-16-key-takeaways付雯欣，中国人民大学统计学专业硕士研究生在读，数据科学道路上的探索者一枚。小时候梦想做数学家，现在依旧着迷于数据背后的世界。热爱阅读，热爱遛弯儿，不停感受打开生命大门的瞬间。欢迎大家和我一起用概率的视角看世界～
工作内容：需要一颗细致的心，将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生，或在海外从事相关工作，或对自己外语水平有信心的朋友欢迎加入翻译小组。
你能得到：定期的翻译培训提高志愿者的翻译水平，提高对于数据科学前沿的认知，海外的朋友可以和国内技术应用发展保持联系，THU数据派产学研的背景为志愿者带来好的发展机遇。
其他福利：来自于名企的数据科学工作者，北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。
点击文末“阅读原文”加入数据派团队~
转载须知
如需转载，请在开篇显著位置注明作者和出处（转自：数据派ID：DatapiTHU），并在文章结尾放置数据派醒目二维码。有原创标识文章，请发送【文章名称-待授权公众号名称及ID】至联系邮箱，申请白名单授权并按要求编辑。
发布后请将链接反馈至联系邮箱（见下方）。未经许可的转载以及改编者，我们将依法追究其法律责任。
数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。
新浪微博：@数据派THU
微信视频号：数据派THU
今日头条：数据派THU
