今天,介绍一个人,名字叫
Siren
(塞任)
。
朱唇轻启,嘴角含笑,这半张脸很普通。
而整个人,看上去也很普通。
但她不普通,
因为,她,
不是人
。
作为
数字虚拟人
,她有自己的名字,
Siren
,意为古希腊传说中半人半鸟的女海妖。
由腾讯互娱事业群的NEXT Studio 与Epic Games、Cubic Motion和3Lateral等业内各领域顶尖公司联合
团队
开发而成。
她,实际上也是人。
她的面部形象,来自于中国的女演员姜冰洁。
但Siren 也可以是所有人,她能够惟妙惟肖地“演绎”出其他人的表情,包括你的。
这项成果代表了目前实时渲染技术的业界顶尖水平。
Siren
所有的动作表情都是
实时捕捉
并
实时渲染
。
只要将这套动捕设备,戴在你头上。它能实时跟踪200多个面部特征点,并将这些数据实时地映射到Siren的面部Rig(骨骼绑定)
驱动Siren的3D脸部模型。
动作表情以每秒60帧输出在屏幕上。
最最重点的是——
数字虚拟人
是可以基于任何人的样子进行扫描,扫描之后,TA就是被扫描者的复刻和分身了。
而驱动这一数字虚拟人的表情和动作的,可以是其他人。
这样,很多奇妙的事情就可以发生了。
周杰伦曾经幻想,
能穿越时空,
回到30年前,
跟邓丽君合唱一首歌。
他说:那是多么荣幸的一件事啊。
30年后,他真的,跟她,隔空对唱。
周杰伦没有想到——
这场机缘来自科技,是45名工程师耗2个月心血打造,这场重逢,让两个时代的歌手,在万千目光中,共谱了一曲。
《速度与激情7》里,
保罗·沃克在不幸离世前,电影只拍完了
八成左右的戏份,
剧组是如何处理余
下未拍摄的呢?
导演只好用CG方式来制作数字替身,辅以3D跟踪和相机运动匹配来完成剩余镜头,他还找来沃克的兄弟拍摄沃克的戏份。
影片的结尾,导演把保罗之前的影像剪辑到一起,给影迷一份深刻动人的完美怀念。
过去,让逝去的人重生,仿佛是一个无法实现的梦。
科技让一切变得可能。
Siren 的出现,可以让人物“还原”,变得更简单
。
如果说3D“邓丽君”、“保罗”像电影特效制作一样,是一帧帧通过
离线渲染
抠出来的,那么Siren则是
实时渲染
出来的,可以
实时互动
。
这个过程在15毫秒内完成,一般人几乎感受不到延迟。
而
为了追相片级的表现,整个开发过程,团队都需要在不同光照条件和相机位置下对比真实照片和引擎渲染结果,一点点修正。
换衣服对于她来说,就是挥挥手,抖三抖的事
现在Siren不管是高精度的面部动捕,还有长时间的身体动作捕捉,都一步步的做到尽可能的接近真实。
有了它,你可以和任何一个“人”实时互动交流。
那么有了Siren之后,会带来哪些改变?
我们可以大胆想象,未来,你也可以像《头号玩家》里的主人公一样,将自己的一举一动映射到虚拟角色身上,他是通过魔幻眼镜完成自由变身,而你通过Siren,完成置换。
除了在游戏中感受虚拟人的魅力,Siren在影视方向的想象空间也很大。
要知道,从替身到抠像,从人皮面具到真人倒模,在这些方面,电影的创意可谓层出不穷。