大数据文摘授权转载自HyperAI超神经
作者:三羊、Trisha
「流浪地球 2」上映 8 天,总票房就已经突破了 24 亿,打破 36 项纪录,获得 91 项里程碑成就。其中,21 岁小鲜肉刘培强(吴京饰),以及年轻帅气图恒宇(刘德华饰),给观众留下了深刻的印象。
流浪地球官方微博发布的一段视频中,讲述了换脸特效背后繁复的工程难度。
吴京:
不要被我年轻俊美的容颜吓坏哦。
视频来源:
@电影流浪地球官方微博
在知乎提问「《流浪地球 2》幕后有哪些不为人知的制作难题」中,《流浪地球 2》视效总监、MOREVFX 创始人徐建,坦言技术上第一难点就是「De-aging」数字换龄。
查看徐建完整回答,请访问:
https://www.zhihu.com/question/579613527
de-aging 是一种应用于影视作品的视觉特效技术,是指利用数字编辑 (digitally editing) 或计算机绘图 (computer graphics,简称 CG) 技术,实现演员在特定场景下的年轻化。
在电影「流浪地球 2」中,演员吴京、刘德华、王智等多人饰演的角色,都涉及到了角色年轻化,即 de-aging。
用吴京年轻时的 2D 素材训练 AI 模型进行 de-aging,
为实拍素材完成换脸
一个小番外:根据电影剧情推算,刘培强出生年份正是 2023 年。
以吴京为例,现实中吴京在拍摄这部电影时,年龄 45+(根据百度百科资料推算),但是电影中 2044 年时的刘培强只有 21 岁,45+ 的演员挑战饰演 21 岁的「小鲜肉」,着实需要点技术加持。
实际上,当时全世界主流的 de-aging 方法共分为 3 类。
代表公司:Wētā FX
代表作品:「双子杀手」
上映日期:2019 年
主要演员:威尔史密斯
年龄跨度:51 岁→23 岁
* 制作数字人并进行 de-aging
通过演员佩戴的表情捕捉设备,扫描演员并生成数据库,制作目标演员的数字人,然后根据演员早期职业生涯剧照及视频素材,对数字人进行 de-aging。
* 基于演员佩戴的动作捕捉设备,对数字人进行动画制作
根据「流浪地球 2」视效总监徐建在知乎的分享,此方法预算高、国内相关人才不足,且身上的设备可能会影响打斗场景拍摄及演员表演情绪的传达。
威尔史密斯佩戴设备进行动作及表情捕捉
代表公司:工业光魔
代表作品:「爱尔兰人」
上映日期:2019 年
主要演员:罗伯特·德尼罗
年龄跨度:75+ 岁→40 岁左右
在电影「爱尔兰人」中,工业光魔开发了一种无需佩戴物理设备或在面部做标记的 de-aging 技术,演员被三台摄像机设备环绕拍摄,一台为正常拍摄机位,另外两台负责记录 de-aging 需要的数据,
通过拍摄红外镜头收集必要数据,以数字方式再现表演。
摄像机记录的数据结合光线影响,对角色进行 de-aging
方法 3:
基于 Deepfake 算法生成
代表作品:「美国队长 3:内战」
上映日期:2016 年
主要演员:小罗伯特唐尼
年龄跨度:50 岁左右→20 岁左右
在电影「美国队长 3:
内战」中,视效团队利用小罗伯特唐尼早期的影视作品、视觉素材,训练基于 Deepfake 算法的 AI 模型并完成换脸。
Deepfake 年轻版钢铁侠 Tony Stark
据「流浪地球 2」视效总监徐建介绍,早在电影开拍一年半之前,视效团队就开始了技术实验,测试了 5、6 种换脸方法后,视效团队最终决定采用 de-aging 方法三,基于 Deepfake 算法用演员年轻时的 2D 素材训练 AI 模型,最终迭代 500 多万次后,替换实拍素材。
《Production-Ready Face Re-Aging for Visual Effects》
DisneyResearch 团队提出了一个 Face Re-Aging Network,简称 FRAN,可以在不丢失身份的前提下,自动重塑视频中的人脸图像,实现目标人脸年轻化或增龄效果。
输入人像年龄 35 岁,
上下排分别为 re-aging 为 65 岁和 18 岁
阅读原文:
https://studios.disneyresearch.com/app/uploads/2022/10/Production-Ready-Face-Re-Aging-for-Visual-Effects.pdf
《High Resolution Face Age Editing》
本篇论文提出了一个用于面部年龄编辑的 encoder-decoder 架构,使用一种简单的方法实现了高分辨率人脸年龄编辑,可以输出 1024*1024 分辨率的图像。
依据输入人脸(黄色框),
输出不同年龄段的高质量人脸图像