韩国又一起“N号房”事件震惊全球，AI狂飙背后谁为其套上缰绳？

蓝鲸新闻 · 公众号 · · 2024-09-05 15:22

正文

蓝鲸新闻9月5日讯（记者朱俊熹） 过去数日，韩国又一起“N号房”事件浮出水面，再度刷新社会对于网络性犯罪的认知。

据韩媒报道，在社交媒体Telegram上现已发现多个群聊，群成员利用Deepfake（深度伪造）技术制作、传播虚假的色情图片或视频。受害者不仅牵涉到数百所学校中的未成年学生，还涉及教师、军人等职业女性。目前，已知最大的一个聊天群组包含了超过22万名群成员。

简单来说，Deepfake可以理解为人们常说的“AI换脸”。此次被曝的深度伪造性犯罪在韩国掀起了巨大的舆论危机。上周，韩国总统尹锡悦敦促政府部门彻底调查以根除此类数字性犯罪，韩国警方宣布将实施为期7个月的深度伪造性犯罪严打行动。

处于风暴中心的Deepfake技术也被频频提起。基于人工智能，只需要特定对象的部分图片和音视频素材，通过Deepfake就能得到足以乱真的伪造内容。但除“AI换脸”外，Deepfake还存在其他不同的表现形式，例如改变人物的五官、表情等原有特征，或是生成全新的人脸图像。

随着AI浪潮正席卷全球，Deepfake越发频繁地出现在公众视野中，却常常与生成淫秽色情内容、网络诈骗等违法犯罪行为相挂钩。8月中，《纽约时报》揭露了新型诈骗者是如何通过Deepfake编辑马斯克、巴菲特等名人的真实采访视频，让“AI马斯克”对不存在的投资机会侃侃而谈，以骗取观看者的资金。据咨询机构德勤预计，由AI驱动的Deepfake每年将造成数十亿美元的欺诈损失。

生成式AI的发展带来了智能的涌现，而Deepfake的危害同样开始涌现，这项技术看似已沦为一些高智商罪犯作恶的工具，但技术本身是否应该承担全部的责任？在AI狂飙的背后，又有哪些力量能够为其套上缰绳？

AI时代下的“猫鼠游戏”

Deepfake一词由“Deep Learning”（深度学习）和“Fake”（伪造）组合而成，最早产生于2017年。当时一位名为“Deepfakes”的用户将明星的脸替换到色情视频中，并发布在社交平台Reddit上。在这项技术的早期阶段，合成的内容还存在许多不自然的痕迹，伪造效果比较粗糙，很容易被识别，这也意味着其很难让人上当。

但生成式AI的崛起极大改写了Deepfake的实际应用。数字内容安全服务商中科睿鉴的深度伪造检测专家葛星宇告诉蓝鲸新闻记者，AI大模型正以日新月异的速度实现迭代，领先的模型能够达到万亿级参数量，同时经过海量数据的训练。“当这样的大模型技术应用在Deepfake当中，实际上能够指数级地增强Deepfake的仿真或者伪造。”

葛星宇表示，原先通过Deepfake生成某一特定人物的图像或视频，不仅需要大量的数据输入，后续还要再进行调整。而现在通过AI大模型，Deepfake能以极快的速度生成效果逼真的内容，需要的数据量也更少。Deepfake的使用门槛被大大降低，对不具备计算机专业知识的普通用户来说也非常简单，仅需将几张图片等素材输入到Deepfake软件或网站中，就能一键生成想要的内容。

这极大降低了Deepfake的门槛，让Deepfake技术变得更为普遍易用，同时也意味着稍有不慎，深度伪造的内容便极有可能造成混乱。8月，马斯克旗下的人工智能初创公司xAI发布了新一代AI大模型Grok-2，能够为用户提供图像生成服务。但使用者很快发现，与其他图片生成工具相比，该模型对生成内容并未严格设限。借助Grok-2，用户可以轻易地得到持枪的特朗普、站在血泊里的米老鼠等虚假图像。这些内容很快在社交媒体X上广泛传开，加剧了公众对其滥用风险的担忧。

Deepfake能够实现以假乱真的效果，与其背后的CNN（卷积神经网络）和GAN（生成对抗网络）等技术基础密不可分。葛星宇解释称，CNN是一种专门用于处理图像和视频等数据的深度学习模型，能够提取出人脸中的五官、微表情等细节特征。而GAN则包含生成器和鉴别器两个核心要素，生成器负责生成虚假内容，鉴别器负责判断其真假。两者相互对抗，直至生成器能创造出鉴别器无法区分真假的数据。

但Deepfake生成的内容并非毫无破绽，目前市场上已出现若干深度伪造检测工具，一些科技公司和高校研究团队在对此展开研发。

AI安全基础设施提供商瑞莱智慧的联合创始人、算法科学家萧子豪告诉蓝鲸新闻记者，深度伪造检测的常用方法包括分析画面和声音里违背常识的地方，如长时间不眨眼、不对称的瞳孔。还可以使用AI算法从数字信号层面分析，基于伪造内容数据集训练模型检测器，通过检测帧间不一致性来识别伪造内容。

就好像道高一尺魔高一丈，萧子豪将深度合成与检测比喻为一场“猫鼠游戏”。处于强对抗性的环境下，双方都会在不断学习攻防的过程中自我进化，以规避上一代的对抗技术。

蚂蚁集团旗下独立运营的科技业务子公司蚂蚁数科表示，“Deepfake攻和防是一个相对且不断精进的过程，你在进步，Deepfake也在进步，我们要做的就是跑在它的前面。”今年4月，蚂蚁数科推出了反深伪产品，基于其天玑实验室生成的超30万测试样本进行判别训练，每个月进行的攻防测评超2万次。

从传统的PS篡改到Deepfake技术，伪造手段实现了快速进化，造成损害的范围也在扩大。据葛星宇介绍，中科睿鉴的伪造检测业务原先更侧重于B端和G端。例如服务于政府部门，检测谣言中深度合成的内容，或为运营商等企业提供技术，防范电信敲诈勒索。

“但我们发现，随着Deepfake技术的低门槛、高质量、普及化，除了国家安全、诈骗等场景，它也会摧毁社会中人和人之间的信任，就像此次韩国发生的Deepfake性犯罪事件。”葛星宇称。

因此，中科睿鉴今年也开始推进To C方面的业务，上线了可用于Deepfake内容检测的微信小程序。葛星宇表示，若普通个体发现可能存在深度伪造内容被传播，并造成损害性后果，可以先通过此类工具自行鉴定，对虚假图片或视频的算法进行溯源。之后可将相关数据提交给公检法机关，或能促使提供Deepfake服务的软件等得到相应处理。

但还存在的问题是，如何让用户意识到什么是深度伪造内容，为什么一段看起来毫无破绽的视频需要进行内容检测，这可能比技术层面的攻防比拼更加重要。

漏洞难堵的Deepfake

当审视与Deepfake相关的违法犯罪链条时，最直接的加害者无疑是恶意使用这一技术的人。但隐匿在其身后的责任主体还有平台方，包括Deepfake技术或服务的提供者，以及社交媒体等传播平台。

Deepfake的服务提供者或技术支持者通常会明确相应的安全管理规定。以国内一款提供“视频换脸”功能的火爆应用为例，该App在规定中明确，用户应保证使用其AI技术生成的视频内容合法合规，同时上传到App中的任何素材内容均应符合法律法规且不侵犯任何第三方的合法权利。但是这与任何用户协议一样，几乎没有用户会认真对待，而这些App对此心知肚明。

类似的规定也多见于国外的Deepfake网站中，同时OpenAI、谷歌等AI大模型厂商对旗下的图像生成模型设有内容限制、水印标记等防护措施，防止其生成色情、暴力或操纵政治选举等内容。但今年5月，OpenAI表示虽然将维持对深度伪造的禁令，正在探索是否应该允许用户使用其产品创建不适合工作场所的内容，可能包括“色情、极端血腥、诽谤和未经请求的亵渎”。

葛星宇表示，虽然多数厂商都会设置安全防护，但互联网上仍有很多公开渠道可以获得开源的算法，这些算法并没有受到相应法律法规的限制。同时社会上还存在黑产，对Deepfake算法进行交易。“技术本身是中性的，如果没有做防护，也不知道人们会拿去做什么。”

据了解，部分深度伪造色情内容的用户所使用的是AI初创公司Stability AI的开源文生图模型Stable Diffusion。尽管在用户生成色情内容引发争议后，Stable Diffusion的新版本加强了对成人内容的过滤，但其开源特性使得任何人都可以访问和修改其代码，一些用户仍然能找到绕开安全过滤机制的方法。

出于恶意用途的Deepfake内容在制作完成后，下一环节便是流入到传播平台中。随着近年来Deepfake犯罪频发，多家社交平台也开始跟进推出相关规定。今年8月，谷歌宣布将降低搜索结果中露骨虚假内容的曝光率，并简化深度伪造受害者申请删除非自愿图片的流程。谷歌旗下的YouTube也明确禁止欺诈和篡改视频，并要求创作者披露使用AI创作的内容。Meta此前表示，正在训练自动检测系统以捕捉平台上的深度伪造欺诈行为。

回顾全球多地发生的Deepfake性犯罪案件，其中高频出现的一个通讯平台便是Telegram。这款应用以强大的加密和隐私保护功能闻名，也因此成为网络色情犯罪、诈骗、贩毒等交易的温床。韩国警方本周表示，已对Telegram实施立案前调查，但Telegram在提供账户信息等涉案资料方面不积极配合，导致警方面临侦查难题。

韩国又一起“N号房”事件震惊全球，AI狂飙背后谁为其套上缰绳？

正文

请到「今天看啥」查看全文