专栏名称: 娱乐资本论
这里是“娱乐资本论”。我们关注文化的产业融合,影视的真挚表达,互联网娱乐的时代精神,我们也是中国演出行业协会理事单位,北京文化产业投融资协会理事单位以及金鸡奖、上海电影节、北京电影节、网络视听大会等的重点合作单位。
目录
相关文章推荐
51好读  ›  专栏  ›  娱乐资本论

同样是AI换脸,为何只骂成龙不骂汤姆·汉克斯?

娱乐资本论  · 公众号  · 科技创业 科技自媒体  · 2024-11-07 22:55

主要观点总结

文章介绍了电影《此心安处》以及与其相关的AI换脸技术在电影中的应用。电影首映后票房表现不俗,其中一些亮点包括汤姆·汉克斯主演的角色和AI换脸技术的运用。文章还提到了AI换脸技术对于电影制作的影响,包括降低成本、提高效率以及为演员创造更多机会等。同时,也提到了关于AI换脸技术的争议和担忧,包括法律、道德和就业问题。

关键观点总结

关键观点1: 电影《此心安处》首映及票房表现

电影《此心安处》于近期首映,首周末票房约为500万美元,排名第五。该电影由汤姆·汉克斯主演,讲述的是一个阿甘般的故事,观众反响不错。

关键观点2: AI换脸技术在电影中的应用

《此心安处》中使用了AI换脸技术,使得汤姆·汉克斯和罗宾·怀特两位演员跨越了60年的年龄跨度。这项技术实现了实时换脸,为电影制作带来了便利,也引发了行业内外的广泛关注。

关键观点3: AI换脸技术的影响和争议

AI换脸技术的应用为电影制作带来了许多积极影响,如降低成本、提高效率等。然而,这项技术也引发了一些争议和担忧,包括法律、道德和就业问题。例如,演员丹·德怀尔签订AI头像合同后遭遇了虚假报道的问题,引发了对类似合同的担忧。


正文

作者|James

跌宕起伏的美国大选已经落下帷幕。同时有一些人受不了情绪大起大落,决定暂时进入影院屏蔽一些信息。在最近的北美票房中, 《阿甘正传》的原班人马打造,汤姆·汉克斯主演的电影《此心安处》(Here)于11月1日首映 ,首周末票房约为500万美元,排名第5位。表现虽然不算突出,但也有一些值得一提的亮点。

首先,该电影讲的是在新泽西州的一个客厅发生的一个阿甘般的传统白男一生的故事, 观众比蓝营评论家更喜欢这部电影。

其次, 这部电影是一部重度使用了AI换脸技术的影片 。但在美国市场,不管是专业评论员,还是普通观众,似乎没人把AI这一点太当回事。

要知道,《异人之下》和《传说》里面都对我们的大腕名角做了AI换脸或AI重绘,但在中国市场里,光是用了AI这一点,就已经足以招致不少观众的口诛笔伐了。

许多观众认为,《传说》AI换脸后的成龙面部表情僵硬,效果让人出戏,甚至在煽情场景中引发笑场。部分观众还认为,只要用了AI,别说效果好不好,都是一种情怀消费,缺乏诚意。

第三, 汉克斯甚至愿意自己死后AI公司继续使用他的面部形象 ,以便其形象能够在未来的电影中“永生”。这个行为甚至引发了演员们的抗议,抗议他影响了年轻演员的演戏空间。

在刚刚经历过 一场史无前例的好莱坞大罢工 后的美国,影视从业者和消费者对AI的态度是怎样的?或许这里面会有利益的重新分配,会有看得见的不满和抵制,但更多时候,AI进军影视工业的脚步,是“润物细无声”的,在不知不觉之间,已经遍地都是。

实时换脸,给演员打造“逆龄魔镜”

《此心安处》是好莱坞首批围绕AI视觉特效打造的长篇电影之一。该片利用了视觉特效公司Metaphysic开发的实时 AI 面部变换技术,让汤姆・汉克斯和罗宾・怀特两位演员跨越了 60 年的年龄跨度。

在拍摄过程中,剧组人员同时观看两台显示器, 一台显示演员的真实面貌,另一台则显示处理过后的“逆龄”样子。

Metaphysic 通过对汉克斯和赖特以前电影的画面,训练定制的机器学习模型,向其喂入了大量的面部运动、皮肤纹理,和不同光照条件和相机角度下的外观数据。

因此,这种模型生成的任何面部变换都是即时的,而无需传统长达数月的人工后期制作工序。《此心安处》的制作视觉效果总监 Kevin Baillie 说:

“看到 Metaphysic 的 AI 生成内容完美地集成到现场直播的镜头中,真是令人难以置信!演员们甚至可以将这项技术用作‘青春镜子’——实时测试年轻时的自我的表演选择。这种反馈循环和年轻的表现对于实现真实、令人愉悦的结果绝对是必不可少的。”

Metaphysic甚至用同样的技术,主导了一场全程用换脸模型对外展示的音乐会场景。在2022年《美国达人秀》(AGT)上,Metaphysic展示了 AI 生成的摇滚巨星猫王,整个过程由动捕演员的表演和训练的猫王模型实时直出,直接打在了电视屏幕上。

回想2023年春天, 当娱乐资本论拜访天工异彩等业内视效巨头时 ,普遍采用的换脸技术都是需要大量的重人力投入,以免中间“穿帮”。当时,他们的工作人员引用的案例集中在其效果的完美,和无缝嵌入生产线的能力上。所有换脸效果都可以在原本的管线中一键启用和禁用,为后期制作提供了很大方便。

然而,恐怕 再方便的后期制作,也不如直接就从拍摄片场出成品更简单。

Metaphysic表示, 以高达每秒 30 帧的速度流式传输 AI 生成的逼真内容,并将其映射到现实世界的场景中 ,这是面部替换技术的巨大进步,对于在不久的将来创建沉浸式 AR/VR、游戏和娱乐体验至关重要。

其实,还有一点值得注意的是, 这次用的技术并不是“新”技术,甚至准确讲,跟ChatGPT、MidJourney等代表的“AIGC”也不是同一波 。它在原理上更接近早年Deepfake(深度伪造)使用的算法,也就是 生成对抗网络(GAN) 。这意味着该技术和国内已经在《流浪地球2》《传说》等地用过的“AI换脸”技术是同源的,只是经过了Metaphysic公司的二次开发和优化。

自2014年以来,GAN在图像生成、风格迁移等领域取得了显著进展,成为Deepfake技术的核心算法之一。2015年提出的扩散模型概念,在2020年后迅速发展,应用于高质量的“文生图”场景。而2017年提出的Transformer则成为大语言模型(如GPT系列)的基础架构。

GAN相当于让两个AI分别作为“画家”和“鉴别者”,一个画,一个分辨好坏,直到“鉴别者”再也分不清哪些是人类作品为止,“画家”就画出了符合要求的图像。因此,这个技术在“图片无损放大”、“去水印”以及换脸等方面会非常有效。

《流浪地球 2》视效总监徐建曾在知乎分享其技术路线选型过程。他指出, 当时全世界主流的逆龄换脸方法共分为三类。

Wētā FX为代表的完全电脑生成路线 ,要演员佩戴动捕设备制作数字人,然后对数字人换脸。工业光魔为代表的路线需要环绕摄像机,通过拍摄红外镜头收集必要数据,然后 仅用电脑生成脸部 。这些方法预算高、国内相关人才不足,且当时的采集设备太重,戴着不方便。

在《美国队长 3:内战》中,视效团队利用小罗伯特·唐尼早期的影视作品、视觉素材,训练基于 Deepfake 算法的 AI 模型并完成换脸。Deepfake历史悠久,而且最早引起反响的作品是网友用家用电脑自行训练而成,已经证明了它容易上手。

据徐建介绍,早在《流浪地球 2》开拍一年半之前,视效团队就开始了技术实验,测试了 5、6 种换脸方法后,视效团队最终决定采用 Deepfake,最终迭代 500 多万次后,替换实拍素材。

与以往依赖逐帧操作的Deepfake不同, Metaphysic 的方法通过分析面部特征点,并将其映射到训练过的年龄段上,从而实时生成变脸效果。

这很大程度上同时得益于该公司在工程能力上的进步,以及芯片运算能力的大幅度提升。在Deepfake技术初期的2017年,制作一段几分钟的Deepfake视频可能需要数小时甚至数天的时间,具体取决于视频的长度和所用硬件的性能。

随着硬件和算法的进步,Deepfake生成的效率得到了显著提高。现代 GPU 和 TPU 等专用硬件显著加快了计算过程。在算法方面,StyleGAN等改进的架构将生成时间缩短到每帧仅几分钟,甚至几秒钟。当工程优化不断进行,硬件不断堆高以后,基于GAN的换脸过渡到实时渲染,也只是时间问题了。

虽说是“直出”,但考虑到大银幕的质量要求,在后期处理阶段,AI生成的面孔效果还会进一步精细化,包括去除小瑕疵、调整面部光影,耳垂、脖子等部位被化妆师稍作“提升”,以确保画面和真实面部更吻合。

与此同时, 《此心安处》通过较少的武戏实现了“扬长避短” ,技术上可能穿帮的地方在实际效果中没有明显感知。

《传说》同样采用了后期再Deepfake的方法,据导演唐季礼介绍, 换脸成龙在电影中的出镜率超过70%。 不过,《传说》挑战了动作戏+白天光源+长时间换脸这一最困难的任务,而从成品效果来看,与国外的换脸效果还是有着较为明显的差距,可以说勇气可嘉。

Metaphysic的技术不仅效果出色,而且显著降低了成本 。《纽约时报》的报道提醒,要让观众相信他们看到的是20多岁的汉克斯和赖特,需要数百位VFX艺术家、数千万美元以及数月的后期制作工作,大型电影公司通常不会为《此心安处》这样的电影花这么多钱。







请到「今天看啥」查看全文