“制造”一篇假新闻有多简单？

新京报传媒研究 · 公众号 · 社会 · 2024-09-27 17:30

正文

网上冲浪，我们看到的内容是真的吗？有可能它们是AI生成的。

AI换脸制造图片视频、AI伪造图片传播谣言、AI合成视频实施诈骗……“有图有真相”的时代已经过去，如今在网络上看到的图片、音频，甚至视频，都可能是深度伪造技术做出来的。

深度伪造是怎么回事？AI造假的技术不断迭代，我们该如何打假？

一

简单来说，深度伪造是一种合成技术，利用深度学习来合成或操纵视频、音频、图片等，让这些内容看起来很真实，但实际上是假的。或许我们对这个概念不了解，但其实它已经悄然融入了我们的生活。

移花接木。 深度伪造能把一个人的脸、声音或动作无缝地“移植”到别人身上，让我们难以分辨真假。比如韩国近期出现“深度伪造性犯罪”事件，利用AI换脸把女性面部合成到不雅视频中，“只需上传熟人照片，5秒内就能生成裸体合成图。 ”

AI技术在影视剧行业已经广泛应用。电影《传说》运用AI技术，还原出一个27岁的年轻“成龙”；短剧《中国神话》的美术、分镜、视频、配音、配乐由AI全流程完成。如今，已经有公司开始尝试用AI换脸进行短剧制作，不需要进行重新拍摄，华人演员一键替换成外国演员，为一些短剧公司提供了低成本出海的新思路。

无中生有。 从文生文、文生图，到如今的文生视频、图生视频、视频生成视频，人工智能生成技术更新迭代，似乎AI可“生”万物。今年上半年，文生视频大模型Sora现身，根据输入的文本，就能生成一段60秒的视频。还有我们在网上玩过的小测试，上传图片就能合成一段视频，画面里的人虽然看起来像你，但其实是完全假的。

在直播间中，数字人主播的出现也是AI技术生成的一个实例。通过接入生成式人工智能等技术，几千块就能完成整套虚拟形象设计，一个数字人主播就这样诞生了。这些数字人主播在外观上很逼真，如果不是屏幕上的一行提醒小字，恐怕我们很难发现这是数字人主播。

二

技术是一把双刃剑，我们不能否认它在某些领域的积极作用，但我们也必须正视其带来的风险和挑战。

假新闻操纵公众舆论。 利用AI制造一篇假新闻有多简单？只要给出关键词，几秒钟内就能生成一篇“新闻体”假文章，如果再加上合成的假视频，假新闻就能以假乱真。AI造假门槛低、成本低、识别难，有些人便为获流量牟利铤而走险，合成故意纵火虚假视频、编造社会知名人士重病离世等网络谣言。

深度伪造还会出现在与政治相关的视频中，把政客的言论和行为“篡改”成了他们根本没说过或做过的事情，这很容易导致公众恐慌和误解，甚至造成社会动荡，对国家安全构成威胁。

假图像侵犯个人隐私。 前不久，在警方侦破的一起案件中，犯罪嫌疑人使用AI去衣技术，深度伪造近七千张淫秽图片。只需一张日常生活照片，就可以完成一键“去衣”的效果，但它并不是真的去掉了图片上的衣服，而是进行图片重绘。

有网友说：“你的脸在上传AI相机的那一刻，就不再属于你了。”虽然有些夸张，但不无道理。我们在社交媒体上发布的日常照片，轻松就能实现换脸、换声、去衣等效果，你可能不知道你的“脸”会被拿去做什么。这对个人隐私构成了严重威胁，不仅会损害名誉，还可能引发诈骗等更严重的问题。

假视频提升诈骗风险。 深度伪造不仅让骗子有了更多的招数，也让诈骗套路更加复杂多样。《2024人工智能安全报告》显示，2023年基于AI的深度伪造欺诈增长了3000%。今年上半年，AI诈骗案已经超过1.85亿元。骗子们先提取声音进行合成、再根据以往的图片或者视频生成假视频，就能冒充亲友等身份进行诈骗。

在警方披露的一起多人“AI换脸”诈骗案中，一家跨国公司的职员受邀参加总部会议，被骗2亿港元，后来才知道会议中只有自己一个人是“真人”，其他参会人员都是经过AI换脸后的诈骗人员。

三

深度伪造技术逐渐成为一种新型的诈骗手段，伪造的内容难以分辨，如何精准打假成为一个亟待解决的问题。

肉眼“找茬”，与AI一较高下。 深度伪造的技术虽然厉害，但还是会有一些小瑕疵。AI生成的内容中，往往存在着一些现实中不存在的细节问题。比如AI不太会画手，图片的手部总有着不自然的痕迹。

再比如视频中的人脸可能会出现奇怪的闪烁、表情僵硬，或者嘴巴的动作和声音不完全同步，这是合成技术限制产生的。如果我们看到一张照片或一段视频很可疑，还可以用搜索引擎的搜索功能，查找来源，看看是否来自可信的新闻媒体或官方网站。

AI生成的图片，你能分辨出来吗？

技术升级，用魔法打败魔法。 深度伪造技术的“造假”能力极强，有些内容难以凭借肉眼分辨真假，这就需要用技术对抗技术。2024年国家网络安全宣传周网络安全博览会，深度合成换脸实时鉴伪的“黑科技”亮相，5秒就能辨别是不是“AI换脸”。

不同于人眼鉴定，技术打假的逻辑是先学习再检测，先模拟深度伪造的过程，再去反向学习技术，进而升级迭代反制系统。AI造假和AI打假犹如一个长期对抗、互相博弈的“猫鼠游戏”，随着深度伪造技术的发展，相应的检测技术也在不断更新升级，就像“魔高一尺，道高一丈”。

管得住，让技术为人类所用。 面对AI技术快速发展带来的挑战，完善法律法规来进一步管控至关重要。近年来，我国先后相继出台《互联网信息服务深度合成管理规定》及《生成式人工智能服务管理暂行办法》等法律法规。前几天，国家网络安全宣传周主论坛上正式发布了《人工智能安全治理框架》1.0版。

随着相关法律法规的逐步完善，各方的权责逐渐明晰。我们可以看到，在社交媒体，伪造的图像或视频内容上标注着“疑似使用了AI生成技术”的标签，方便我们进行识别。但利用技术进行智能审核依然存在漏洞，如何提高审核效率和准确性，仍有待探索。

技术是“人为”创造的，更应该是“为人”所用、“为人”服务的。正视“深度伪造”技术带来的风险挑战，我们共同努力，推动技术向善，往更加健康、透明的方向发展。

来源 | 今豫网言

值班编辑 | 王可

精彩推荐

“制造”一篇假新闻有多简单？

正文

请到「今天看啥」查看全文