专栏名称: 网络法实务圈
探寻网络法实务,汇聚网络法精英。
目录
相关文章推荐
直播海南  ·  @海南人,“回南天”要来了,关紧门窗→ ·  昨天  
直播海南  ·  造谣“三亚将开赌场”,一男子被行拘! ·  昨天  
直播海南  ·  情况属实!官方通报:停职调查 ·  3 天前  
51好读  ›  专栏  ›  网络法实务圈

重磅原创!在不确定性中给自己一个确定性——数据合规 (AI合规) 2025年展望

网络法实务圈  · 公众号  ·  · 2025-01-20 17:00

正文


朱玲凤老师的“数据合规展望系列”不知不觉已经陪伴我们五个年头。过去的一年、两年、三年……数据合规领域是否都如展望般发生着?

数据合规2024展望:这一次,AI冬天不会到来

数据合规2023展望:知机与新征途(下)
数据合规2023展望:知机与新征途(上)
数据合规2022展望:我们还是不是风口上的猪?
数据合规2021展望:突如其来的《时间的朋友》
数据合规2020展望:一切的开始
时间的脚步匆匆踏入2025,“展望系列”来到 了第六年,2025数据合规展望如期而至。这一年,数据合规更是与预示新技术时代的AI人工智能携手走到了一起。法律人,你、我、ta,大家都准备好迎接已经开幕的2025年了吗?!



在不确定性中给自己一个确定性

数据合规(AI合规)2025年展望


数据合规年度展望,已经第六个年头啦 其实也没想到可以坚持这么久,越写越觉得这是我写给未来的自己的一封信,不像专业的年度盘。


这过去的 2024 年怎么形容呢?我想《时间的朋友》 2025 年跨年演讲是最好的诠释,罗胖不胖了,也不讲激励人心的大局了,很多人说只剩下鸡汤了。全年充斥着消费降级、降本增效、裁员失业 …… 是不是连罗胖也找不到希望了?


回望数据合规行业的一年,从很多朋友跟我聊到的吐槽、困惑、失落。内部环境来说未曾解决的问题还在延续:对甲方来说,内部业务压力大、跨部门协同困难、踩钢丝是常态、每天就是看字段改隐私政策,对乙方来说,甲方的降本增效导致收入压缩、工作量增加、入局数据合规的律师也越来越多。数据合规行业自诞生之日带来的光环在慢慢褪去,看天吃饭的行业,天变了,监管压力减少、监管风向标改变,对甲方来说,可以用来保住饭碗的压力没了,业务压力倒逼数据合规工作拼服务拼形式,对乙方来说,出境安全评估的业务说没就没,只能转投算法备案、大模型备案,也是有今天没明天 ……


什么时候世界变成了这个样子,满满的不确定性!


说说我的一年,上面提到的所有问题,哈哈,我也自己在遭遇中,但是朋友们看到我,总说你永远都能量满满,永远的卷王!


每次被业务气到想发飙,每次看到未来那么不确定到无所适从,我就会去看数据、 AI 、合规的长长的报告,然后我就会慢慢安静下来 ~ 经常眼睛疼,所以也养成了每天去听听得到,小小骄傲一下,我今年居然拿到了得到累计学习 365 天的猫头鹰奖牌!我听了各种关于技术、管理、心理学等课程,听了各种博客、直播,我发现我的方法符合了 3 条小锦囊,让我找到了我内心的快乐和能量:


1. 找到意义感。 find something bigger than yourself ,于是你就有了一个秘密的事业要为之奋斗,然则那些眼前的愁苦都只是过眼云烟。这个话在劳教授 2025 年的第一篇文章里看到了,也在万维钢、罗胖等大咖的直播里反复听到。我还很难描述我的意义感是什么,但是我希望我能为数据合规的职业共同体贡献些什么,所以坚持写作、分享,无论有多少人看 ~ 今年小成就,个人公众号 那一片数据星辰 今年原创 117.8 万字!


2. 找到掌控感 。听过一期心理学家古典、李松蔚的博客,其实谁都会对自己的选择和不确定的未来而懊恼、害怕,但是当你找到了你擅长的领域,找到了掌控感,你内心的自信和满足就会回来,仿佛面临的未来也没有那么不确定了。这可能就是我在难受时看长长的报告就会平静下来的基本原理。


3. 找到确定性。 罗胖有个特点是发大愿,《时间的朋友》跨年演讲一开始就说做 20 年,今年才 10 周年哦,他又承诺做文明之旅,每周一期,一期讲历史上的一年,从 1000 年开始讲,又是一个 20 年的大工程啊。大家都觉得这是发疯,他说这是最容易的事情,既然说了然后做就行了。我在直播中听到这段时也是恍然大悟,是啊,最难不是开始吗,开始了就是习惯。于是,我开始了公众号的日更!粉丝们都说看都没你写的快,你太卷了,其实不是,这是我的确定性。感谢这 39 个同学几乎看完了我这 117.8 万字,只要有一个粉丝每天早上 8 点蹲着公众号等更新,我就持续写一天,这就是我给自己的确定性!


朋友们,世界充满不确定性,我们给自己一个确定性!


所以,罗胖在跨年演讲中告诉我们 凡墙皆门 ,不就是上帝给我们关上门的同时会给我们开一扇窗的翻版吗?是鸡汤,然则大变局中,当看不清的时候,至少你得在牌桌上。做自己确定的事情,一步一步走起来,找回掌控感,心态不会崩。


哈哈,鸡汤文也就写到此了,下面带大家看看我在这个心态里坚持一年后看到的世界,真是坚持下的副产品 也给出我对 2025 年数据和 AI 合规年度展望,文字会固化在这个点,等我们 2026 年回来再看。


简单回顾,在去年写的《这一次, AI 冬天不会到来 —— 数据合规 2024 年展望》中,面对 人工智能是否需要新的治理框架 时,我个人觉得很难提供肯定或否定的答案,提出了一系列观察,包括国家人工智能战略转向人工智能立法、立法路径出现了横向立法趋势、 AI 治理的国际共识已然形成、标准与技术规范成为有益的探索、企业实践更为快速地响应技术和应用的变化,尤其是前沿 AI 所产生的风险。 小小的骄傲一下,今年看来,我预判的这些趋势逐渐成为了确定性结论 ~ 经过 2024 年一年的积累、思考和输出,我想把这些在水波之下若隐若现的迹象给大家清晰地描绘出来! 如下是我对 2024 年的进展进行拆解和进一步预测推演,更多是我的分析,如果各位读者想了解细节,可以去我的公众号 那一片数据星辰 ,在春节前后一周将以合集形式汇总各专题内容提供更详细的综述、原文。


一. AI 横向立法已成大势,安全和发展之间的平衡呈现了各国对 AI 发展路径的思考


AI 垂直立法可以说是在 2024 年前的主要实践,而 2024 年的主要立法都是横向立法,包括全球第一部通过的欧盟 AI 法、第二部通过的韩国 AI 基本法,以及其他正在酝酿中的巴西 AI 法等。无论是治理 AI 风险,还是发展 AI ,随着 AI 技术和应用渗透到各行各业、社会的各个组成部分,以统一、横向的方式规定是最高效的治理模式。


怎么去设定 AI 法中的安全与发展的关系是阅读各国立法最有意思的看点 ~


(一)密密麻麻的法网:欧盟


作为全球通过的第一部 AI 法,欧盟 AI 法吸引了全球的目光,在 2023 12 月进行的欧盟委员会、欧盟理事会、欧洲议会第三次的三方谈判后已经基本定稿,经过了 2024 年上半年将谈判结论纳入到文本中才算尘埃落定。


关于欧盟 AI 法的整体介绍,已经在去年的年度展望中做过梳理,也发过 《欧盟 AI 法案速览:要点一网打尽》 ,我不在此赘述,我更想跟大家聊聊欧盟 AI 立法的真正大图景 —— 密密麻麻的法网!


首先,欧盟 AI 法不是欧盟 AI 治理的全部,仅仅是其中很重要的一部法律。 从法律层面来说,欧盟 AI 法、产品责任指令和人工智能责任指令(提案)是欧盟内具有法律效力的文件。欧盟 AI 法是聚焦在行政责任,产品责任指令和人工智能责任指令(提案)是聚焦在民事责任领域,具有同等重要性。同时,欧洲委员会发布的《人工智能、人权、民主和法治框架公约》是第一个生效的具有国际意义的公约。在隐形的布鲁塞尔效应以外真正的国际影响力量。


其次,欧盟 AI 立法不仅仅是上面谈到的三部 AI 相关法律和一部 AI 国际公约,更应该放在欧盟整个数字法律体系中去看 ,我们无法脱离了数据、算力、云存储、数字服务、数字市场来看待 AI 技术,也自然无法忽略其他数字法律的拼图,只谈遵守三部 AI 直接相关的法律。 AI 不是横空出世,是在长期的互联网、数据、算力基础上长出来的; AI 也不是遗世而独立的,是需要融入到当代产业和社会中去甚至进行变革。如何让 AI 治理的法律丝滑嵌入到现有法律体系,并进一步完成 AI 对社会的变革是我们应该思考的。欧盟 AI 法在两个角度来说在完成此目标:第一,欧盟 AI 法是隶属于产品立法框架的法律,是将 AI 嵌入到产品中的思路,遵循既有的产品安全评估和认证框架,以保证不影响既有产品的原来规制路径,又保证了在 AI 方面的规制规则的统一性;第二,欧盟 AI 立法不影响专业领域法律保护(如消费者保护、数据保护、就业、产品安全)等,对这些法律形成有效的补充。然则,在嵌入过程中已经产生了比较大的争议,比如鉴于产品立法框架的逻辑,不同产品由不同行业主管来监管,但是行业主管可能没有 AI 监管的专业知识,如何指定成员国层面的主要监管机构就成了老大难问题。比如数据保护机构在数据保护相关执法过程中积累了大量的专业知识和经验, EDPB 也指出了各国数据保护机构可能是最合适的 AI 领域监管机构,但是引发了 AI 办公室对此的讨论,对于具体的案例究竟适用 GDPR 还是 AI 法,需要进一步的指南厘清。


从上述两个方面来看,欧盟整体的数字法律体系是一个大版图, AI 相关立法预设可以很好地嵌入到现有法律体系中,已然是一张密密麻麻的大法网了。


再次,我想谈谈另一个层次的密密麻麻,如此厚重的一部欧盟 AI 法,中文译本达 14 万字,仍然只是一部 目录法 2024 年下半年开始就在细化各项规则,包括通过欧盟层面授权法案和实施法案、欧盟层面的监管指南、协调统一标准、行为准则以及各成员国层面的指南。 比如, AI 系统的定义和禁止性 AI 实践的规定应当自 2025 2 2 日起适用,目前可以看到欧盟层面对此的征集意见、荷兰数据保护机构也分三次对禁止性 AI 实践每项具体判断因素进行了征集意见。对 AI 系统定义拆解了 7 个构成 AI 的要素以及判定简单的软件系统是否属于 AI 系统的定义范围的区别标准。再比如,针对通用目的人工智能的行为准则将在 2025 4 月提交,对欧盟 AI 法中的 2 条内容已经被拆解到承诺、措施、 KPIs 三个层面的细节,第二版行为准则草稿中文译本已经达 4 万字。


说到这里,希望各位读者可以理解欧盟 AI 法之密密麻麻的法网治理特征,学习和理解欧盟 AI 立法是一个宏大的工程!


再谈回我们在设定 AI 立法时处理安全与发展的关系,欧盟立法向来被认为是安全的典范,但是此次欧盟 AI 法通过 AI 监管沙盒以促进创新,也保留了部分留白,同时也需要考虑到欧盟数字法律体系的大格局下由其他的法律以及政策来促进 AI 技术发展,而且有部分较为激进的成员国会非常强调 AI 的发展。总体来说,欧盟 AI 法中对发展部分的处理是相对比较含蓄的。


(二)发展纲要法:韩国


韩国《人工智能发展与信任基础构建等相关基本法》(以下简称 韩国 AI 基本法 )在 2024 12 26 日经国会最终通过,将于 2026 1 月正式实施,被普遍认为是继欧盟之后通过的第二部系统性 AI 立法。韩国 AI 基本法的诞生标志着韩国在人工智能治理方面迈出了突破性一步,也对全球 AI 法治实践提供了鲜明而独到的示范。


韩国 AI 基本法以 促进 AI 健康发展与构建社会信任 为双重目标,从以下几方面奠定了全局框架


一是建立国家级协调机制。

法案设立直属总统的 国家人工智能委员会 (第 7 条),负责审议和决定重要 AI 政策,协调跨部会事宜。除政府部门外,部分委员来自产学研专家,体现了广泛的社会参与。


二是强化技术研发与产业推动。

法律聚焦培育 AI 产业生态:支持企业研发(第 13 条)、建立 AI 集聚区(第 23 条)、培养专业人才(第 21 条),并且从财力和政策层面为中小企业、创业公司提供便利和扶持。这些举措彰显出韩国政府在立法中对产业发展的高度重视 [3]


三是对高影响 AI 实行重点监管。

对于涉及生命健康、公共安全及基本权利的 高影响人工智能 ,法案要求企业履行安全性和可信性保障义务(第 34 条)、进行风险管理(第 32 条)、开展影响评估(第 35 条),并向主管部门提交合规结果。虽然具体规定的可操作细节仍待实施细则明确,但总体上确立了 高风险重点监管 的思路。


四是倡导自律与伦理原则。

法案引入 人工智能伦理原则 ,呼吁在开发、应用中尊重人的生命与尊严,同时确保可访问性与安全性(第 27 条)。政府鼓励企业与学界自愿成立 民间自主人工智能伦理委员会 (第 28 条),通过自律方式共同维护技术可信度。法条对违规行为虽有处罚,但总体力度较为温和,最高罚金 3000 万韩元(约合人民币 14.9 万元),以鼓励产业自发提升治理水平。


韩国 AI 基本法虽然在某些环节对企业更为友好,但它所提供的立法经验却具有重要的全球示范意义 主要体现在:


1. 兼顾产业与社会诉求的立法模式

韩国没有盲目移植现成的欧美监管模式,而是结合自己 半导体大国 + 互联网强国 的发展定位,以大量产业扶持条款辅助 AI 治理要求,从而平衡了对经济增长与对社会伦理的双重关切。


2. 注重自律与多元参与

相较于欧盟强调 高风险管控 + 重罚 ,韩国更加相信行业自律,鼓励民间自主委员会和检测认证体系。对于其他正处于 AI 立法早期探索的国家而言,这种做法或能提供参考 —— 在硬约束尚不成熟时,以政府引导结合产业自律或许更易达成初期共识。


3. 保障人权的基本要求

即便立场温和,韩国 AI 基本法依然对高影响 AI 提出了必须遵循的安全性与可信性义务,强调人类尊严和基本权利(第 2 条、第 27 条)。这与欧盟 AI 法对核心人权保护的重视一脉相承,体现了全球共识在立法上初步形成。


4. 与国际规则的衔接

法案明确提出政府应加强与国际标准组织或国际合作平台的对话(第 14 条、第 22 条),这也为韩国企业 走出去 参与全球技术竞争提供了法律支撑。对其他经济体而言,这种立法思路值得借鉴,因为 AI 技术本身就不分国界。


采用这种立法思路的其实不止韩国,英国作为国家 AI 活力比较强的国家, 2023 年确定了以创新为驱动的监管方式,确定了 AI 治理的基本原则,并由各监管机关在既有法律框架下执行 AI 治理的基本原则。在 2024 年英国进行了更深入的实证分析,也在推进 AI Assurance ,即构建一个由多元主体,包括服务机构的 AI 保障机制。 很有意思的在 AI 产业以及文化创意产业产生冲突巨大的使用版权内容进行 AI 训练的焦点上,英国分析了 AI 产业和文化创意产业对于英国经济发展都具有重要的作用,基于此尝试构建一个综合性的解决方案: AI 企业确保训练数据的透明性以及退出机制的便捷性,文化创意企业可以便捷地实现其退出权并获得相应的收益,以透明度和退出机制的自动化来保障整套利益平衡机制的良好运行。


(三)企业自律为主:日本


日本在国内没有设立 AI 立法,但是在其社会 3.0 基本理念基础上发布了基本原则,进而发布了《 AI 业务指南》以及极其详细的附录。


日本的 AI 治理路径很有意思的,从国际合作和对话形成共识后导入国内,并对法律能发挥的作用设定了审慎的态度,以软法和目标导向的方法进行推进。


日本对 AI 治理的理念和规制植根于国际合作和对话中,特别是在 G7 G20 OECD 等国际论坛上,日本发挥了领导作用,并做出了显著贡献,尤其是广岛进程高级人工智能系统的基本原则和国际行为准则。《 AI 业务指南》将其在国际上形成的共识导入到在国内对 AI 开发者、提供者、使用者的指导原则。


日本认为法律的制定和执行与 AI 技术的发展速度和复杂性之间存在时间滞后,规定详细义务的规则性法规可能会抑制创新,尤其是在 AI 被视为解决社会挑战(如出生率下降和人口老龄化导致的劳动力减少)的重要方案,因此日本采取了基于目标导向的方式制定了指南,通过软法而非具有法律约束力的硬法来鼓励各方自愿减少 AI 的社会风险并促进创新和 AI 的使用。


但是日本《 AI 业务指南》 36 页以及附录 150 页,逻辑清晰,非常具有可操作性,在日本的企业内部形成了很好的治理基础,具有如下的特点:


1. 构建了 why-what-how 的逻辑思路

日本《 AI 业务指南》的结构旨在引导 AI 业务行为者基于理想的社会愿景(基本理念 - why )、明确应做出的努力(指导原则 - what ),以及具体实施的方法(实施 - how ),来安全和可靠地使用 AI

▪️ Why (基本理念) :每个 AI 业务行为者需基于对理想社会的构想和利益相关者的期望来明确其基本理念。这些理念是行动的出发点,解释了为什么需要遵循特定的指导原则。

▪️ What (指导原则) :基于基本理念,每个角色( AI 开发者、提供者、商业用户)需明确其在 AI 方面的努力方向和目标,即指导原则。这些原则是具体的行动指南,告诉行为者需要实现什么目标。

▪️ How (实施) :在明确了目标之后,研究、确定并实施达到这些指导原则的具体方法是至关重要的。这涉及到如何根据不同情况(目的、技术、数据、使用环境等)安全和可靠地使用 AI 系统和服务。


2. 建立在 AI 全生命周期基础上的全价值链治理逻辑

日本《 AI 业务指南》将 AI 全生命周期拆成了不同的阶段,并清晰定义对应的行为主体: AI 开发者、 AI 提供者、 AI 商业用户、 AI 非商业用户,据此清晰地设定在整个价值链基于风险、履行基本原则对应的要求,并在附录中详细地拆解了要求要点、实施方法以及示例。同时,为了强调软法的性质,说明指南中的实施方法仅为示例。


(四)充满不确定性:美国


美国的 AI 治理就很难评,联邦层面因为美国总统大选可能会出现 180 度大转弯,不仅川普不在可预测范围内,连拜登在最近一周的每天一令针对中国的节奏来说也是很难估计。同时,各州层面有其各自的考量和进度,唯一确定的是州层面有着大量 AI 相关立法在进程中。


先总结一下拜登政府的 AI 治理路径, 2024 年可以说是硕果累累, 2025 年在其下台前夕主旋律就是中美关系。


拜登政府在 2023 年发布了《关于安全、可靠、可信开发和使用 AI 的行政令》,布鲁金斯学会评价该行政令标志着美国在 AI 治理领域采取了全面的 " 全政府 " 方法,体现了联邦政府对 AI 发展的高度重视。 该行政令被布鲁金斯学会誉为 "AI 立法之母 " ,为未来的 AI 监管奠定了基础。在 2024 10 30 日拜登政府发布了围绕该行政令的一年关键成就,超过一百多项,覆盖了安全风险,支持工人、消费者、隐私和民主权利,促进发挥 AI 价值,将 AI 及其人才引入政府,提升美国在国际上的领导地位。我们仅从 NIST 2024 年发布的文件来看,已是非常惊人了,可以说在企业自律指南角度来说已经完成了针对基础模型、生成式 AI 的迭代,包括《人工智能风险管理框架:生成式 AI 》、《生成式 AI 和双重用途基础模型的安全软件开发实践》、《 NIST 可信、负责任 AI :减少合成内容带来的风险》,以及针对前沿人工智能带来的极端风险发布了《双重用途基础模型滥用风险管理指南》(草案)。


拜登政府在下台前夕针对中美关系,连续发布了若干命令,钳制中国 AI 技术的发展,包括发布了《防止受关注国家获取美国人的大量敏感数据和政府相关数据》的最终规则、《防止 AI 扩散最终规则》以及相关的 AI 芯片以及先进计算半导体的限制规则、《防范来自中国和俄罗斯网联汽车技术对美国国家安全构成风险》以及相关的最终规则、首次将中国大模型公司如智谱等纳入到实体清单里。每日不止一令,除了疯狂,没有任何言语可以用来形容。


本文发在拜登政府与特朗普政府交接时间, 从此前特朗普大选时提到的政策倾向以及马斯克的风格来说,大概率会放松对 AI 发展的限制,斯坦福以人为本研究中心 HAI 专家认为可能会相比拜登政府时期开倒车。


另外,我们不能忽略的是 FTC 。虽然美国联邦层面对 AI 立法进展缓慢,甚至特朗普上台后还得倒退,但是 FTC 直接指出在立法上从未有给 AI 以任何豁免,其会从消费者保护和竞争角度充分关注 AI 企业的行为 FTC 2024 年已经对 AI 企业开刀无数,让 AI 企业真正领略到法律的威严, 典型案例如下:

▪️ 防止伤害 FTC 指控零售药店 Rite Aid 在使用面部识别技术时未合理测试、监控准确性,导致消费者被误标为盗窃者。

▪️ 打击不良行为 FTC 确定规则打击人工智能深度伪造冒充行为,发起语音克隆挑战赛;曾对 MyEx.com 采取行动,因其非法发布消费者隐私信息并敲诈。

▪️ 避免欺骗宣称 FTC 提起多起涉及欺骗性宣称人工智能产品能帮助创业或赚钱的案件,如 Evolv Technologies Intellivision Technologies 等公司。

▪️ 确保隐私安全 FTC 起诉亚马逊语音助手 Alexa 默认设置无限期保留用户语音记录,误导用户删除记录并利用数据改进算法。


(五)总结:横向趋势清晰,各国 AI 立法 拼图 的多元化演绎与竞争


从垂直到横向: AI 立法转向的深层动因与挑战


1. 技术渗透力驱动横向立法成为新趋势

AI 技术已经广泛渗透到社会的方方面面,无论是制造业、医疗、金融、教育,还是公共治理、社会服务。随着大模型、生成式 AI 和通用目的 AI 不断成熟, “AI 无处不在 已成普遍现象。要仅靠某个细分行业的法规去约束和规范 AI ,往往会出现监管碎片化或监管空白。同时, AI 所带来的挑战也具有跨领域、跨区域、跨行业的普适性,因此采取统一的、横向的立法框架,能够在更高的层面实现制度协同并避免重复或冲突的管制规则。


2. 安全与发展的平衡成为宏观立法的焦点

AI 所涵盖的内涵日益扩大,既涉及对传统数据、隐私安全的风险控制,也影响到国家安全、经济发展、社会公平等深层次议题。各国在立法理念上,均在思考如何既能保证技术安全合规,又兼顾技术创新与产业发展动力:从欧盟 以安全为本 到韩国 发展与信任并重 ,再到日本 企业自律为主 、英国 鼓励创新为先 ,无不提示我们, 未来的 AI 治理立法需要兼顾多维度利益平衡 ,而且这种平衡非常复杂、动态,且带有鲜明的国家战略色彩。


3. 仍需应对管制与执法协同的难题

横向立法的优势是覆盖面广、原则统一,但其不足在于法规层次高、条文通常较为原则化,需要大量二级立法、配套细则或各行业主管部门的监管指引来真正落实与执行。例如,欧盟在 AI Act 之外还有产品责任指令、 AI 责任指令以及其他数字法案;韩国 AI 基本法则明确后续要用实施细则填充;日本则更多借助软法方式在行业内部操作。 横向立法的立规与执法需要跨部门、跨领域的协作机制,否则就可能出现监管效率低、边界不清的问题。


各国 AI 治理 拼图 的多元化演绎与竞争


1. 欧盟模式:由 数字法网 催生的国际影响力

欧盟 AI 法只是欧盟数字治理版图的一部分,背后有其完整的制度拼图: GDPR DSA DMA 、产品责任指令、 AI 责任指令、网络安全法案等共同编织成 密不透风 的数字法网。

▪️ 优点 :在全球范围内产生强大的 布鲁塞尔效应 ,非欧盟企业若想进入欧盟市场,往往不得不遵守欧盟的治理标准。

▪️ 挑战 :法规数量多、层次高、专业性强,需要大量实施条例与各国国内机构的协同执法,也引发了不少企业对合规成本过高、创新动能被抑制的担忧。


2. 韩国模式:以 发展纲要法 寻求产业与伦理的平衡

韩国 AI 基本法更侧重产业推动与社会信任的双重目标,兼顾扶持 AI 企业、鼓励创新与建立可信赖的 AI 环境。从韩国的立法实践我们可以提炼出:

▪️ 政府在产业政策与立法之间的联动 :立法之初就将技术研发、人才培养、产业聚集等纳入法律架构中。

▪️ 自律机制与强监管的结合 :对高影响 AI 施以重点监管,同时在风险相对较低的领域鼓励自律,最大程度提升技术与产业活力。

这一做法对那些希望 既保持竞争力又兼顾伦理与社会责任 的国家具有借鉴意义。


3. 日本模式:以 软法 + 目标导向 为内核的自愿治理

日本政府对 AI 立法持较为审慎的态度,选择了 “AI 业务指南 等软法手段辅以详细可操作的附录,引导企业在风险评估、数据管理、算法透明等方面做出自律承诺。

▪️ 优势 :避免了硬法可能带来的创新阻力,允许市场与技术保持较大弹性,同时利用指南的工具化、精细化为企业提供具体参考。

▪️ 局限 :自律的实效性依赖行业共识与外部压力,若企业缺乏动力或缺乏监管压力,可能出现治理效果参差不齐的情况。


4. 美国模式:联邦 - 州分裂与政策频繁更迭的不确定性

▪️ 拜登政府时期的 大政府 式推进 :行政令、 NIST 框架、 FTC 执法联动,已经打造出一定程度的 AI 治理雏形,同时将国家安全竞争优势上升到前所未有的高度。

▪️ 未来可能的政策逆转 :美国的政党轮替与州立法多样性意味着联邦层面的统一法案可能时刻面临变化,进而影响企业合规策略与国际合作态势。

▪️ FTC 的强力执法 :即便缺乏全国性的 AI 法, FTC 在消费者保护和竞争法框架下对 AI 企业频频出手,成为美国实质性 AI 治理的主要推手。

在全球层面,欧盟、美国、日本、韩国等主要经济体的多样探索与竞争,将催生对国际规则、标准、跨境执法协作的更大需求,也为其他国家或地区在 AI 治理上提供不同 模板 供选择或组合。



二. AI 的数据保护问题吵了一年,终于有结论了


2024 年,数据保护机构可以说是 AI 治理领域最忙的机构,据我对业界动态的追踪, 18 个数据保护机构(包括 EDPB EDPS 奥地利、德国汉堡、德国巴伐利亚、德国巴登符腾堡、法国、英国、比利时、荷兰、瑞典、奥地利、阿根廷、新加坡、土耳其、韩国、香港、巴西)发布了 50+ 关于 AI 和数据保护的指南或相关文件。 国际层面上国际组织包括 OECD G7 也发布了相关的文件, OECD 在其《 AI 、数据治理和隐私:协同作用及国际合作的报告》中指出了各国数据保护机构在生成式 AI 带来的隐私影响进行了制定指南以及对企业展开调查等执法行动,但是相互之间存在差异,强调了国际合作在促进 AI 和隐私协同的关键作用,建议制定共同的指导原则、促进最佳实践的分享、以及提高监管框架的互补性和一致性。


2024 年上半年,与欧盟 AI 法通过与生效相关,数据保护机构指南主题在 GDPR AI 法之间的适用关系,只能是把两部法之间的协同关系阐述清晰 ,但是更多深层次的生成式 AI 对数据保护法的冲击与数据包保护法如何适用于生成式 AI ,数据保护法适用和 AI 法适用重叠部分的处理,数据保护机构在 AI 治理机构中发挥作用等,在随后的案件以及现实的问题不断被提出来。最终,核心争议问题被 EDPB 2024 12 17 《关于人工智能模型中个人数据处理的特定数据保护问题的 28/2024 号意见》(以下简称 关于 AI 模型的意见 )一槌定音。


(一)头部企业使用公开社交数据训练模型被叫停引发的 训练模型的合法利益之争


2024 6 10 日, Meta 宣布将使用 Facebook Instagram 上公开的社交数据训练 Meta AI 。继而,引发了针对使用公开社交数据训练大模型的数据保护争议。首先,挪威消费者委员会、 Noby 针对 Meta 使用用户数据进行训练 AI 进行投诉 进而,多国数据保护机构向用户发布警示。 Meta 的主要监管机构爱尔兰数据保护机构 IDPC Meta 沟通过后, 6 13 Meta 暂停了训练 Meta AI 的行为 。英国 ICO 对于该暂停行为表示赞赏。


转折点诞生,巴西数据保护机构在 9 月初撤回了对 Meta AI 的临时禁令,批准了 Meta 的合规计划,可以继续进行训练。 9 13 Meta 进一步宣布在英国恢复训练, ICO 对此说明 Meta 做了对用户权利方面的调整, ICO 并未对此提供监管层面的批准, Meta 需要持续证明其合规性。


同样来看, LinkedIn 在多国被暂停使用用户数据训练 AI X 在爱尔兰宣布永久终止使用 X 的数据来训练 AI ,来终止对其的诉讼。


争议焦点就在于:是否可以使用合法利益作为合法性基础来收集和处理用户数据以训练模型?


荷兰 AP 发布的《数据抓取指南》、英国 ICO 发布的《生成式 AI 与数据保护的征求意见系列》、法国 CNIL 发布的《 AI 系统开发的数据保护指南》均对此问题进行了深入的分析,都认可合法利益是大模型训练最主要的合法性基础,甚至都没有 之一 ,分析思路也一致,即合法利益三步测试法(合法性、必要性、平衡性)。主要争议点在平衡性,对于必要性也要结合数据最小化以及技术的发展演进可能存在不同的判断。


EDPB 在《关于 AI 模型的意见》中明确地给出了意见。首先,《通用数据保护条例》规定的合法性基础之间没有阶梯高低之分,应由控制者为其处理活动确定适当的合法性基础。其次,对于合法利益三步测试法的评估因素给出了考量因素:

▪️ 合法性判断: 如果同时符合以下三项标准,则可将特定利益视为合法利益: (1) 该利益是合法的; (2) 该利益得到明晰和准确的表述; (3) 该利益是真实存在的(即不是推测性的)。例如,这种利益可能涉及人工智能模型的开发 —— 开发会话行为体服务以协助用户,也可能涉及其部署 —— 改进信息系统中的威胁检测。

▪️ 必要性判断: 对必要性的评估包括考虑: (1) 处理活动是否允许追求合法利益;和 (2) 是否不存在侵扰程度较低的方法来追求该利益。在评估是否符合必要性条件时,主管机关应特别注意处理的个人数据量,以及是否与追求合法利益成比例,同时也要考虑到数据最小化原则。

▪️ 平衡性判断 :首先应当判断数据处理可能出现的对用户基本权利的具体风险,其次要结合具体场景和处理活动判断数据主体的合理期待,因此向数据主体告知的透明度会在考量之中,再次即使数据主体的基本权利高于其他利益的,也可以考虑采取缓解措施,减少对数据主体的影响。


所以,采用合法利益作为合法性基础训练模型是可行的,但是是否真的可以,核心看场景以及对用户侧的缓解措施是否足以将平衡性的天平进行调整,对用户基本权利的风险足够小,更多的努力和尝试就转移到了企业侧的合规机制。


(二)釜底抽薪式解决方案: 模型本身不是个人数据


关于模型本身是否是个人数据,对未来实践具有重大的影响,比如使用个人数据训练模型,那么使用模型一方是否也要承担责任,比如模型构成了个人数据,如何对模型实现数据主体权利。最釜底抽薪式解决方案就是模型本身不构成个人数据。


汉堡数据保护机构特别大胆,提出了大型语言模型( LLM )中不存储个人数据,因此部署、使用非法训练而成的 AI 模型也不构成违法行为,而且模型本身不需要支持用户实现其数据主体权利。 其逻辑基于 LLM 的训练过程: LLMs 中,信息的存储方式与传统文本存储不同。在模型中,原始文本不会出现,取而代之的是 Tokens 的数值表示和它们的 Embeddings 。这些 Embeddings 是模型通过训练学习到的,它们捕捉了 Tokens 之间的复杂关系,这些关系定义了 Tokens 如何相互作用以形成语言的意义。得注意的是,尽管 LLMs 能够生成与训练数据相似的文本,但它们并不存储训练数据中的原始文本或个人信息。这意味着,尽管模型可能在输出中使用了一些与训练数据相关的信息,但这些信息并不是以可识别的个人数据的形式存储的。


相反,巴登符腾堡数据保护机构则直接在其关于 AI 应用中数据保护的合法性基础讨论文件中,直接指出 例如,汉堡和丹麦的数据保护机构认为,大型语言模型( LLM )不包含个人数据。如果按照这种理解,那么在公开提供 LLM-AI 模型时,提供者必须评估第三方是否可能建立个人联系。 在评估人工智能( AI )模型是否涉及个人数据时,我们不能仅仅关注模型本身,而应该将整个 AI 系统或应用作为一个整体来考量。特别重要的是,要验证第三方或用户是否能够通过特定的输入提示,从 AI 应用中获取到个人数据作为输出结果


ICO 在其《生成式 AI 和数据保护》系列征集意见后做出回应,明确阐述 AI 模型可能包含个人数据,因为可能以查询或其他攻击方式披露嵌入在训练中的个人数据,尤其是对于开放访问的模型来说有影响。


EDPB 最终在《关于 AI 模型的意见》中清晰地给出了意见 。关于人工智能模型匿名性的主张应由有权的主管机关( SA )逐案评估,因为欧盟数据保护委员会认为,用个人数据训练的人工智能模型不可能在所有情况下都被认为是匿名化的。要使人工智能模型被认为是匿名化的, 需要 (1) 直接 ( 包括概率性地 ) 提取个人数据的可能性(其个人数据用于开发模型)和 (2) 有意或无意地从查询中获取此类个人数据的可能性都应是微不足道的,同时考虑到控制者或其他人 合理可使用的所有手段


为开展评估,主管机关应审查控制者为证明模型的匿名性而提供的文件。在这方面,《意见》提供了一个非规范性且未穷尽的方法清单,控制者在证明匿名性时可以使用这些方法,因此, 在评估控制者声称的匿名性时,主管机关可以考虑这些方法。例如,这包括控制者在开发阶段为防止或限制收集用于训练的个人数据、减少其可识别性、防止其遭到提取或者提供先进水平的抗攻击能力的保证而采取的方法。


所以,想战略上偷懒认为模型不构成个人数据的方式已经走不通了,如果还想通过匿名化的方式降低风险,就又落实到了企业的具体合规措施了。


(三) AI 落地实施数据保护要求的细节仍然是漫漫长路


虽然,上述两个原则性问题得到了清晰地阐释与解决, 但是遗留了大量的个案判断的空间,也就是如何运用好已有规则的空间的关键是基于数据保护原则细化具体的措施,控制相应的风险。


还有更多的问题需要讨论。英国 ICO 在《生成式 AI 和数据保护》系列征求意见还讨论了:生成式 AI 生命周期中的目的限制,训练数据和模型输出的准确性,将个人权利工程化到生成式 AI 模型,在生成式 AI 供应链中分配控制权。法国 CNIL AI 系统开发的数据保护指南》一共讨论了 12 个专题,全面覆盖了 AI 系统开发、部署、使用如何落实数据保护要求,除了 ICO 已经提到的,其还提出了如何落实 Data Protection by Design and by Default ,落实数据安全原则、进行 DPIA 、数据标注等多方面问题。


总体来说,数据保护法是 AI 治理领域涉及最新的立法领域,本身法律规制逻辑对于适用于 AI 时代没有任何的障碍,更多的是拆解清晰 AI 技术和业务逻辑后判定对数据保护法的具体适用措施。 2025 年可以预期,将会有更多的案例、企业实践以及监管指南细化数据保护落实到 AI 系统全生命周期。



三. AI 安全风险完成了生成式 AI 的实证风险迭代并进化到了体系化、国际化通用应对方案


如果说 AI 所产生的数据保护问题是吵了一年,定了个大局的话, AI 网络安全风险部分简直是超高速,充分完成了生成式 AI 相比于传统 AI 对网络安全风险分析和应对的迭代,甚至是丝滑地嵌入到原有的 AI 安全风险管理指南中 。同时, 更有一个鲜明的特征, AI 网络安全风险的识别和治理基本上是各国负责网络安全的监管机构的共识 ,因此直接形成了大量的国际指南。


NIST 2024 1 月发布了《对抗性机器学习攻击方式和缓解措施分类和术语》将 AI 系统分为两大类:预测式 AI 和生成式 AI ,从机器学习的阶段、攻击者目的与目标、攻击者能力、攻击者知识、数据模态等多角度分别拆解两类 AI 系统的攻击方式和缓解措施。真正意义上把生成式 AI 所带来的攻击方式纳入到原有针对机器学习的对抗性攻击体系。


OWASP 2024 12 月迭代了其在 2023 年发布的 LLM top10 漏洞,发布了 OWASP LLM Top10 2025 版本,根据 2024 LLM 遭遇的漏洞类型,更新了大模型应用中十大安全漏洞,包括提示注入、敏感信息泄露、供应链漏洞、数据与模型投毒、不当输出处理、过度代理、系统提示泄露、向量与嵌入脆弱、虚假信息、无限制消耗。


伴随着生成式 AI 的大范围运用而生的安全风险、漏洞,让整个网络安全防控体系基于实证风险而完成了迭代。 原有针对机器学习的安全原则和开发部署安全指南均进行了相应的迭代。比如 2023 年在英国举办的 AI 安全峰会上, 23 个国家网络安全管理机构共同发布了《 AI 安全开发指南》。本指南分为人工智能系统开发生命周期中的四个关键领域:安全设计、安全开发、安全部署以及安全运行和维护。对于每个部分,该指南都提出了有助于降低组织人工智能系统开发流程整体风险的注意事项和缓解措施。安全设计涉及涵盖了对风险和威胁建模的理解,以及在系统和模型设计中需要考虑的特定主题和权衡。安全开发包括供应链安全、记录以及资产和技术债务管理( technical debt management )。安全部署包括保护基础设施和模型免遭破坏、威胁或损失,制定事故管理流程,以及负责任地发布。安全运行与维护提供了系统部署后特别相关的行动指南,包括日志记录和监控、更新管理和信息共享。在 2024 年,包含英美等 7 个国家共同发布《 AI 系统安全部署指南》,进一步细化了部署与运行维护阶段的安全要求。


在此等国际共识基础上,英国发布了《机器学习安全原则 2.0 版》、美国 NIST 发布了《生成式 AI 和双重用途基础模型的安全软件开发实践》、新加坡发布了《 AI 系统安全指南》及配套手册,以应对生成式 AI LLM 带来的挑战。


更值得一提的是由新加坡网络安全局( CSA )发布的《 AI 系统安全开发指南配套手册》是一个社区驱动的资源,提供了一套实用的缓解措施和最佳实践,以帮助系统所有者确保其 AI 系统的安全性。

▪️ A I 生命周期各阶段的详细措施目录: 指南提供了一个详尽的措施目录,覆盖了 AI 系统的整个生命周期,包括规划、开发、部署、运维、以及生命周期结束等各个阶段。这使得系统所有者能够针对每个阶段的具体需求,直接查找并应用相应的安全措施。

▪️ 清晰的场景示例: 指南中包含了详细的用例示例,清晰解释了如何在实际情况中应用本指南。这些示例帮助读者理解如何将指南中的建议转化为具体的操作步骤,增强了指南的实用性和可操作性

▪️ 检测工具和防御手段的详细列表: 为了进一步加强 AI 系统的安全性,指南提供了一份检测工具和防御手段的详细列表。这份列表不仅包括了攻击性 AI 测试工具、防御性 AI 测试工具,还有治理 AI 测试工具,为系统所有者提供了全面的资源,以评估和确保 AI 系统的安全性。


总结而言, AI 安全方面已经形成了具有国际共识、且可详细落地的体系化应对方案。



四. 前沿 AI 极端风险治理形成了由企业自驱、国际共识的多元治理格局


2023 年以来, 前沿 AI Frontier AI )在多模态、大模型、自主代理等方面持续演进,对生物安全、网络攻击、大规模虚假信息等潜在 灾难性风险 的担忧显著升温。 举例来说, 2025 1 1 日在拉斯维加斯发生的爆炸案,嫌犯曾通过 ChatGPT 搜索爆炸物、烟花合法性等信息,最终实施了一起导致 7 人受伤的惨剧。虽然爆炸的具体细节仍在调查中,但这类事件提醒我们 —— AI 系统可能被用于提供敏感信息、加速极端行为 。这就是为什么各国政府、国际组织,以及 AI 行业自身纷纷行动,希望在 前沿 AI” 尚未完全大规模部署前,建立必要的安全防线。








请到「今天看啥」查看全文