专栏名称: 娱乐资本论
这里是“娱乐资本论”。我们关注文化的产业融合,影视的真挚表达,互联网娱乐的时代精神,我们也是中国演出行业协会理事单位,北京文化产业投融资协会理事单位以及金鸡奖、上海电影节、北京电影节、网络视听大会等的重点合作单位。
目录
51好读  ›  专栏  ›  娱乐资本论

同样是AI换脸,为何只骂成龙不骂汤姆·汉克斯?

娱乐资本论  · 公众号  · 科技创业 科技自媒体  · 2024-11-07 22:55

主要观点总结

文章介绍了电影《此心安处》以及与其相关的AI换脸技术在电影中的应用。电影首映后票房表现不俗,其中一些亮点包括汤姆·汉克斯主演的角色和AI换脸技术的运用。文章还提到了AI换脸技术对于电影制作的影响,包括降低成本、提高效率以及为演员创造更多机会等。同时,也提到了关于AI换脸技术的争议和担忧,包括法律、道德和就业问题。

关键观点总结

关键观点1: 电影《此心安处》首映及票房表现

电影《此心安处》于近期首映,首周末票房约为500万美元,排名第五。该电影由汤姆·汉克斯主演,讲述的是一个阿甘般的故事,观众反响不错。

关键观点2: AI换脸技术在电影中的应用

《此心安处》中使用了AI换脸技术,使得汤姆·汉克斯和罗宾·怀特两位演员跨越了60年的年龄跨度。这项技术实现了实时换脸,为电影制作带来了便利,也引发了行业内外的广泛关注。

关键观点3: AI换脸技术的影响和争议

AI换脸技术的应用为电影制作带来了许多积极影响,如降低成本、提高效率等。然而,这项技术也引发了一些争议和担忧,包括法律、道德和就业问题。例如,演员丹·德怀尔签订AI头像合同后遭遇了虚假报道的问题,引发了对类似合同的担忧。


正文

作者|James

跌宕起伏的美国大选已经落下帷幕。同时有一些人受不了情绪大起大落,决定暂时进入影院屏蔽一些信息。在最近的北美票房中, 《阿甘正传》的原班人马打造,汤姆·汉克斯主演的电影《此心安处》(Here)于11月1日首映 ,首周末票房约为500万美元,排名第5位。表现虽然不算突出,但也有一些值得一提的亮点。

首先,该电影讲的是在新泽西州的一个客厅发生的一个阿甘般的传统白男一生的故事, 观众比蓝营评论家更喜欢这部电影。

其次, 这部电影是一部重度使用了AI换脸技术的影片 。但在美国市场,不管是专业评论员,还是普通观众,似乎没人把AI这一点太当回事。

要知道,《异人之下》和《传说》里面都对我们的大腕名角做了AI换脸或AI重绘,但在中国市场里,光是用了AI这一点,就已经足以招致不少观众的口诛笔伐了。

许多观众认为,《传说》AI换脸后的成龙面部表情僵硬,效果让人出戏,甚至在煽情场景中引发笑场。部分观众还认为,只要用了AI,别说效果好不好,都是一种情怀消费,缺乏诚意。

第三, 汉克斯甚至愿意自己死后AI公司继续使用他的面部形象 ,以便其形象能够在未来的电影中“永生”。这个行为甚至引发了演员们的抗议,抗议他影响了年轻演员的演戏空间。

在刚刚经历过 一场史无前例的好莱坞大罢工 后的美国,影视从业者和消费者对AI的态度是怎样的?或许这里面会有利益的重新分配,会有看得见的不满和抵制,但更多时候,AI进军影视工业的脚步,是“润物细无声”的,在不知不觉之间,已经遍地都是。

实时换脸,给演员打造“逆龄魔镜”

《此心安处》是好莱坞首批围绕AI视觉特效打造的长篇电影之一。该片利用了视觉特效公司Metaphysic开发的实时 AI 面部变换技术,让汤姆・汉克斯和罗宾・怀特两位演员跨越了 60 年的年龄跨度。

在拍摄过程中,剧组人员同时观看两台显示器, 一台显示演员的真实面貌,另一台则显示处理过后的“逆龄”样子。

Metaphysic 通过对汉克斯和赖特以前电影的画面,训练定制的机器学习模型,向其喂入了大量的面部运动、皮肤纹理,和不同光照条件和相机角度下的外观数据。

因此,这种模型生成的任何面部变换都是即时的,而无需传统长达数月的人工后期制作工序。《此心安处》的制作视觉效果总监 Kevin Baillie 说:

“看到 Metaphysic 的 AI 生成内容完美地集成到现场直播的镜头中,真是令人难以置信!演员们甚至可以将这项技术用作‘青春镜子’——实时测试年轻时的自我的表演选择。这种反馈循环和年轻的表现对于实现真实、令人愉悦的结果绝对是必不可少的。”

Metaphysic甚至用同样的技术,主导了一场全程用换脸模型对外展示的音乐会场景。在2022年《美国达人秀》(AGT)上,Metaphysic展示了 AI 生成的摇滚巨星猫王,整个过程由动捕演员的表演和训练的猫王模型实时直出,直接打在了电视屏幕上。

回想2023年春天, 当娱乐资本论拜访天工异彩等业内视效巨头时 ,普遍采用的换脸技术都是需要大量的重人力投入,以免中间“穿帮”。当时,他们的工作人员引用的案例集中在其效果的完美,和无缝嵌入生产线的能力上。所有换脸效果都可以在原本的管线中一键启用和禁用,为后期制作提供了很大方便。

然而,恐怕 再方便的后期制作,也不如直接就从拍摄片场出成品更简单。

Metaphysic表示, 以高达每秒 30 帧的速度流式传输 AI 生成的逼真内容,并将其映射到现实世界的场景中 ,这是面部替换技术的巨大进步,对于在不久的将来创建沉浸式 AR/VR、游戏和娱乐体验至关重要。

其实,还有一点值得注意的是, 这次用的技术并不是“新”技术,甚至准确讲,跟ChatGPT、MidJourney等代表的“AIGC”也不是同一波 。它在原理上更接近早年Deepfake(深度伪造)使用的算法,也就是 生成对抗网络(GAN) 。这意味着该技术和国内已经在《流浪地球2》《传说》等地用过的“AI换脸”技术是同源的,只是经过了Metaphysic公司的二次开发和优化。

自2014年以来,GAN在图像生成、风格迁移等领域取得了显著进展,成为Deepfake技术的核心算法之一。2015年提出的扩散模型概念,在2020年后迅速发展,应用于高质量的“文生图”场景。而2017年提出的Transformer则成为大语言模型(如GPT系列)的基础架构。

GAN相当于让两个AI分别作为“画家”和“鉴别者”,一个画,一个分辨好坏,直到“鉴别者”再也分不清哪些是人类作品为止,“画家”就画出了符合要求的图像。因此,这个技术在“图片无损放大”、“去水印”以及换脸等方面会非常有效。

《流浪地球 2》视效总监徐建曾在知乎分享其技术路线选型过程。他指出, 当时全世界主流的逆龄换脸方法共分为三类。

Wētā FX为代表的完全电脑生成路线 ,要演员佩戴动捕设备制作数字人,然后对数字人换脸。工业光魔为代表的路线需要环绕摄像机,通过拍摄红外镜头收集必要数据,然后 仅用电脑生成脸部 。这些方法预算高、国内相关人才不足,且当时的采集设备太重,戴着不方便。

在《美国队长 3:内战》中,视效团队利用小罗伯特·唐尼早期的影视作品、视觉素材,训练基于 Deepfake 算法的 AI 模型并完成换脸。Deepfake历史悠久,而且最早引起反响的作品是网友用家用电脑自行训练而成,已经证明了它容易上手。

据徐建介绍,早在《流浪地球 2》开拍一年半之前,视效团队就开始了技术实验,测试了 5、6 种换脸方法后,视效团队最终决定采用 Deepfake,最终迭代 500 多万次后,替换实拍素材。

与以往依赖逐帧操作的Deepfake不同, Metaphysic 的方法通过分析面部特征点,并将其映射到训练过的年龄段上,从而实时生成变脸效果。

这很大程度上同时得益于该公司在工程能力上的进步,以及芯片运算能力的大幅度提升。在Deepfake技术初期的2017年,制作一段几分钟的Deepfake视频可能需要数小时甚至数天的时间,具体取决于视频的长度和所用硬件的性能。

随着硬件和算法的进步,Deepfake生成的效率得到了显著提高。现代 GPU 和 TPU 等专用硬件显著加快了计算过程。在算法方面,StyleGAN等改进的架构将生成时间缩短到每帧仅几分钟,甚至几秒钟。当工程优化不断进行,硬件不断堆高以后,基于GAN的换脸过渡到实时渲染,也只是时间问题了。

虽说是“直出”,但考虑到大银幕的质量要求,在后期处理阶段,AI生成的面孔效果还会进一步精细化,包括去除小瑕疵、调整面部光影,耳垂、脖子等部位被化妆师稍作“提升”,以确保画面和真实面部更吻合。

与此同时, 《此心安处》通过较少的武戏实现了“扬长避短” ,技术上可能穿帮的地方在实际效果中没有明显感知。

《传说》同样采用了后期再Deepfake的方法,据导演唐季礼介绍, 换脸成龙在电影中的出镜率超过70%。 不过,《传说》挑战了动作戏+白天光源+长时间换脸这一最困难的任务,而从成品效果来看,与国外的换脸效果还是有着较为明显的差距,可以说勇气可嘉。

Metaphysic的技术不仅效果出色,而且显著降低了成本 。《纽约时报》的报道提醒,要让观众相信他们看到的是20多岁的汉克斯和赖特,需要数百位VFX艺术家、数千万美元以及数月的后期制作工作,大型电影公司通常不会为《此心安处》这样的电影花这么多钱。

尽管《此心安处》的制作成本约5000万美元,看起来有点高,但还不到某些漫威电影预算的1/4。

由不得你不拥抱,AI已经在路上

《此心安处》导演泽米吉斯提到,他本可以为每个角色选择多位演员,这是以前拍摄影视剧的常见做法。

但这样做,如果是多人物群像还好说,在一个舞台剧一样的地方,观众会迅速发现人物长得不像的问题。 传统化妆手段可以让汉克斯显得年轻十年,但无法让他年轻50岁。电脑特效的难题则在于时间和金钱。

然而 AI软件改变了成本计算 。Metaphysic的技术只需点击几个键,便能生成一个实时数字人,没有六个月的制作滞后,也不需要巨额资金。

Ed Ulbrich花了30年时间在传统视效工业,他的作品包括:《壮志凌云:特立独行》、《黑豹》、《复仇者联盟:无限战争》、《自杀小队》、《本杰明·巴顿奇案》和《泰坦尼克号》。他后来加入Metaphysic负责统筹制片和质量控制。“质量、速度和成本”是他决定转型的关键。

“我的职业生涯在我眼前闪过,我可以带上我以前公司的整支团队,用金钱能买到的最好的CGI工具来工作,却无法呈现出我们现在展示的效果。而这只需毫秒完成。是时候告别CGI了。在现今世界,我怎么能良心无愧地继续用马、车、石头和棍棒来制作影像呢?”

当然,技术再好,要想投入使用 ,最根本的也离不开演员本人的支持。

汤姆·汉克斯年逾六旬,但他在电影中需要扮演年轻的自己。他对延长自己的演艺生涯表示过强烈的兴趣。

“如果我能扮演比我年轻的人物——我总是会读到一些我很想演的角色,然后想到,哦,天哪,我都68了,我无法演伊阿古,因为他20多岁。但如果有机会,我会毫不犹豫地去演。”

也许不是巧合,在演艺生涯同样获得了巨大成功的 成龙,同样对换脸技术高度认可和支持,这才有了《传说》里面的合作。

成龙在发布会上感慨,虽然自己无法真正回到年轻,但通过电影技术实现了这一梦想。他甚至赋诗一首:“青丝白发一瞬间,年华老去向谁言;春风若有怜花意,可否许我再少年!”

换脸技术不仅帮助年长演员,同时减少了化妆、特效的负担,极大拓展了演员的戏路,甚至在他们过世后也“持续演出”。

当汉克斯看到实时生成的“魔镜”效果时,他被彻底征服了,描述它为“跨越时空的观影体验”。他甚至愿意自己死后AI公司继续使用他的面部形象,以便其形象能够在未来的电影中“永生”。

Metaphysic表示,它与好莱坞主要人才机构CAA合作,帮助明星掌控自己数据集的使用权。不过技术厂家的承诺,也不能不假思索地全部采信。

演员Dan Dewhirst于2021年与科技公司 Synthesia 签署了一份合同, 成为首批将肖像制作成 AI 化身的演员之一 。对方提供了一份确认书,规定头像不能用于非法或令人讨厌的目的。

然而,两年后,他收到了一个指向虚假 CNN 报道的链接,该报道显示他冒充电视新闻主播,传播委内瑞拉马杜罗(Nicolas Maduro)政府推动的假新闻。他的头像告诉观众该国“经济状况良好”,还有一系列其他不准确和有争议的叙述。

上个月,Dewhirst通过英国演员工会 Equity 发表了一份关于他经历的声明,以警告其他人不要签署 AI 头像合同。







请到「今天看啥」查看全文