专栏名称: CG世界
CG世界是一个分享影视原画,视觉特效和3D动画为主要内容的公众号。分享国内外优秀作品;传递大师制作经验,举办大咖分享会,作精准在线课堂。与世界行业连接,与顶级大神面对面,与粉丝交流互动。Come on!
目录
相关文章推荐
GiantPandaCV  ·  【PyTorch 奇技淫巧】介绍 ... ·  3 天前  
GiantPandaCV  ·  【翻译】CUTLASS 教程:掌握 ... ·  4 天前  
GiantPandaCV  ·  【翻译】深入探讨 Hopper TMA ... ·  1 周前  
GiantPandaCV  ·  人人都能看懂的DPO数学原理 ·  1 周前  
GiantPandaCV  ·  一文讲清 NCCL 集合通信原理与优化 ·  1 周前  
51好读  ›  专栏  ›  CG世界

把扫描10亿面数的大卫雕像塞进VR,拢共分几步?

CG世界  · 公众号  · 3D  · 2017-09-20 09:00

正文

点击上方蓝字CG世界 关注CG我们

“ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ”

中国最具影响力CG领域自媒体


伙伴们去过意大利么?去看过佛罗伦萨美术学院的那个米开朗基罗雕刻的大卫么?

有的伙伴会问,老潘你是要在CG行业的公号上讲美术艺术史么?No,我今天要跟大家叨咕的是虚拟现实大卫的由来。


在进入讲解之前,先来了解下背景知识和认识两个人。


背景知识

当然是大卫雕像啦~!《大卫》雕像创作于16世纪初,像高5.17米,连基座高5.5米,用整块大理石雕刻而成,重量高达5.46吨。《大卫》,雕像是在一块被人损坏过,没有雕刻家再敢于动手,而闲置了近半个世纪的巨大大理石上雕刻而成的。它是文艺复兴雕塑巨匠米开朗基罗的代表作,被视为西方美术史上最优秀的男性人体雕像之一。


相关人物

Marc Levoy他是来自美国斯坦福大学的博士,同时也是荣誉学士学位的CS创始人兼电子工程师,现在在Google研究部工作。


Chris Evans一位来自Epic Games的首席技术动画师。

 

大卫雕像、VR、还有这两位牛逼的人物都有什么联系呢?听我细细的讲来······


扫描过程

事情要从1998年说起,当时斯坦福大学的Marc博士决定带着他的研究生学生们一起来搞个高分辨率的三维扫描项目,以作为学生们学术休假的一部分。特别幸运的是,斯坦福大学在佛罗伦萨有一个海外学习中心。大卫雕像本身有一种光学上的白色漫反射,非常适合当时的技术扫描。所以,他们高高兴兴就去了意大利佛罗伦萨


扫描工作于1998年2月15日这天正式开始。团队小组有四个人,一个人负责运行扫描仪,Marc博士负责紧急停止按钮,还有两个人负责其他事情。

工作站是SGI和PC的混合体。主设备是一个安装在特殊装置上的Cyberware扫描线3D扫描仪。因为高度的变化,团队不得不重新配置了桁架,其中包括拆去了一个塔台,捣鼓了好几个小时。

在上图中我们看到的是台架最大高度。

雕塑要比他们预想的要高,

所以图中标注的桁架C部分是团队

在最后一分钟加上去的。


“我们是根据Charles De Tolnay(匈牙利艺术史学家,是研究米开朗基罗的专家)对米开朗基罗的研究成果设计的那个台架。我们还查证了很多书籍,所以我们认为也是正确的。然而却是错误的。除去底座的大卫净高不是4.34米,而是5.17米,相差了近3英尺。”Marc博士解释说。


为了全方位360度扫描大卫的每一处细节。扫描仪是经过改进可重新配置的。它可以安装在桁架水平臂的上方或者下方,并且可以朝着任何方向转动。为了方便扫描大卫嘴唇的水平缝隙,扫描仪头还可以转动90度,把激光线从水平改为垂直的。

最终耗时了4周的时间,将大卫雕像从头到脚扫了个遍。其实按照今天的标准来讲,当时的扫描速度是非常的慢。可是在精度上却是非常高。这个扫描项目让当时佛罗伦萨的很多艺术史学家们艳羡不已,要知道这座雕塑在艺术史上的地位是相当高的,而且还有相当严格的限制。能如此近距离的接触大卫的机会,实属难得啊!


VR大卫建立过程

后来,在一次SIGGRAPH上斯坦福大学展示了这一史诗级的扫描数据集。这引起了Epic Games首席技术动画师Chris Evans极大的兴趣。于是Evans找到了Marc博士,说明要重新设计VR的数据集。Marc甚是惊喜。惊喜的是这次找他的是来自“游戏公司的动画师”,而不再是各种研究员。在已过去的8年里,因为各种原因,Marc博士已经将扫描的数据向别人授权了数百次,但这一次让他感到很好奇,因为是要做成VR。


扫描的原始数据为20亿个多边形。雕像的每一部分都被至少两次的扫描所覆盖。最难的部分被覆盖了5次以上。此外,共有7000张彩色图像(1520*1144像素),一共有32G的数据。或许大家在今天看来觉得这不是一个什么了不起的文件大小。但,你可要知道,在1998年来说,32G简直是一个天文数字,几乎无法理解的超大存储数据。那个时候,还没有计算机可以将如此大的未压缩数据保存在内存中。然而2017的今天,Evans却把它“塞进”了VR里,以90fps的速度实时重建。

这个超大的原始多边形集合需要被抽取或减少到数量较少的三角形面,以便实时使用。这需要进行多次拓扑,但是其中最为关键的是保持边界线。


而唯一能善任抽取数据工作的软件是Blender,用它把几百万的多边形降到大约100万时,没有任何视觉质量损失。Evans然后需要一个非常干净的面部拓扑成高分辨率的网格。但他需要修改扫描的眼睑等实时拓扑,以便能够保持干净且保存完好的烘焙。在Epic Games内部,他们就有很多干净的拓扑结构,用于所有的面部项目,比如Senua和MEETMIKE。

这是在Blender中减面后的前后对比


在大卫的面部拓扑中使用了与Mike Seymour MEETMIKE相同的底层basemesh,因此具有正确的边缘循环。在Wrap3中,可以将Epic的标准高品质面部拓扑结构严格的对齐到大卫上,以此建立非常干净的烘焙。

大卫和MEETMIKE使用了相同的basemesh


Wrap3可以把现有的basemesh与新扫描的非刚性网格物体相比配。这个软件还提供了一组非常实用的扫描处理工具,如抽取、网格过滤、纹理投射等等。它是节点式的架构,可以将一系列3D扫描的演员转换为具有相同拓扑和纹理坐标的角色。

Wrap3的包裹过程使用的是粗糙到精细的方法。例如,一个高质量的Epic basemesh用一组控制节点变形。这个过程分为几步。每个步骤,都是在具有特定密度的basemesh上生成一组控制节点,每到新的一步控制节点会增加。这个算法是尝试找到控制节点的位置,以便basemesh尽可能接近目标物体。找到解决方案后,进入下一步。它会用较大数量的控制节点对basemesh进行采样,并再次重复该拟合。当前步骤中的控制节点数量越多,得到的结果越精确。



灯光

Epic高级技术艺术家Peter Sumanaseni使用了大量的照片参考打亮了场景。显然,为了得到一个准确的虚拟大卫,团队成员们付出了很大的努力。


下图中展示的是UE4中用12小时光照烘焙的效果。Lightmass全局光照可以产生复杂的相互作用的光照效果,例如区域阴影和漫反射。常用语预计算具有静态或者静态移动性灯光照亮的部分。虽然用光照烘焙建立天光需要花费很长的计算时间,但提供了非常棒的漫反射区域照明。Sumanaseni模拟了真实的来自大卫上方天光,然后有在眼睛周围加入了些许的AO。

在VR中烘焙的图


用VIVE实时演示

最后,Chris Evans决定将大卫放在VIVE中进行VR设置。鉴于实际的大卫雕像的规模和正常VIVE VR捕获体积大小,VR的体验需要特殊的延长线,在1:1空间内以便允许17平方英尺的虚拟脚手架放置。这个系统设置的很聪明,可以提升和降低脚手架,让用户可以感受到被提升到与大卫一样的高度上,仔细的端详一番。


虽然雕像的大部分是光滑的,但VR中的几个地方还是可以看到凿子的痕迹,比如臀部的右边。而且在VR中你还可以清楚的看到,大卫雕像的手臂是有点破损的,要是实际中去参观很少有人会注意这些细节。

在最终VR实时展示的大卫


“在1527年4月26日的叛乱中,士兵破门而入,与占领了佛罗伦萨维奇奥宫的暴徒奋战。这些暴徒为击退在地面上的士兵,将家具从护栏上扔下,导致一个凳子倒下时击中了大卫的左臂,断为三段。···”


在这里读到历史知识很是异类是么?其实这都是在VR中用音频播放讲解的形式学习到的内容···


Ok,今天的图文就讲到这里吧。



相关阅读

第一部完全UE4渲染动画片是这样炼成的~

从李安定档新片看CG去老化技术的发展史

有图,有视频就可以预算并生成人体模型和动捕数据?

《权利的游戏》中龙制作的前前后后~

关于特效公司里面库的一切

计算机模拟人类皮肤到底是咋回事以及皮克斯新解决方案

什么是Material X?卢卡斯影业和工业光魔为什么要把它开源?

顶级特效!《第九区》导演最新高能科幻短片