更先进了！让照片中的人物“动起来”最新技术解析

点击上方蓝字 CG世界 关注CG我们

“ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ”

中国极具影响力CG领域自媒体

注意了，屏幕前方詹姆斯向你奔跑而来！

诶？之前也有过这样的图片效果，只是这个詹姆斯很“完整”，而且跑的也很流畅嘛。

来自华盛顿大学保罗·艾伦计算机科学与工程学院的三位博士 【有媒体戏称他们三人为“艾伦学院三作（zuō）”】 开发了一种新玩意，根据一张单帧照片创建3D CG动画，让照片里的主角“动起来”。它有一个迷の异域气息的名字---“ 照片唤醒 ”（ Photo Wake-Up ），目前已经受到Facebook、Google、Huawei多家技术公司的肯定。

“Photo Wake-Up”可以将输入的照片、写实插图、卡通绘画和抽象人物形象等单帧图片中的角色，以3D动画的形式重新表现，可以冲着屏幕走两步，跑两步，跳两步也行。沉睡时2D，唤醒时3D。干说没意思，咱们举例来看。

比如一张单帧图片。

利用3D角色动画，重建身体网格的 绑定 ，将其“唤醒”。

或者是让一幅涂鸦作品“动起来”。

甚至连毕加索画作也鲜活了起来。

借助AR设备，还可以将照片角色带入到现实生活中。

所以这一效果是怎么实现的能？咱们还得重新回到一张照片的位置。

找到合适的身体形变模型，如图所示。

根据人体体态估计，估算出身体部位标记映射。

根据形变模型逐个部分创建身体网格。

接下来进行绑定、估算网格蒙皮权重、重建纹理，将模型放到修复后的背景中，各个角度“唤醒”的都很到位。

我们可以再来看几个例子。

其实之前我们也见到过这样的技术，比如从图像中分离人物、2D骨架估算、形变适配、静帧图像放置3D模型等等。“照片唤醒”在这些前人研究的基础上，使3D模型轮廓与2D效果更为契合， 动画更加流畅， 效果更加自然真实。咱们可以对比着看一下。

（Bogo et al.2016）

（Alldieck et al.2018）

（Photo Wake-up）

值得一提的是，使用者可以在用户界面编辑人物动作，创建新的图像。

还可以在动画之前修改人物动作。

“照片唤醒”之所以比前人技术更为先进，是因为在创建3D模型动画的同时，很好地匹配了原版照片角色的轮廓，头对头，脚对脚，正常来说就是构建一个与单帧照片中轮廓相匹配的可视化3D模型方案。

它避免了像手指一类等复杂身体部分，或者是抽象艺术作品在开始运动时就会产生变形的复杂问题，将模型映射到2D图像中对准轮廓，调好后再转换到3D层面进行下一步操作。

研究人员介绍说，这种方式适用于复杂轮廓的处理；此外，通过引入描述身体部位之间的标记映射，有助于处理某些部分的自我遮挡。

所以遮挡到底是怎么一回事呢？看下图你就明白了。

从输入图像 （图a） 开始看，通过轮廓和投射SMPL模型 （一种参数化人体模型） ，得到了初始身体部位标记映射 （图b） ，根据遮挡边缘的识别点，创建遮挡映射 （图c中的三小块） ，之后对其进行细化，得到最终的身体标记映射 （图d ）。

靠近遮挡的身体部位会有虚假边缘（spurious boundaries），在图e中用红色线条标记，删除这些虚假边缘，用SMPL边缘的变形版本 （图g） 代替，之后再逐个部分进行重建 （图h） ，最终得到角色网格 （图i） 。

下面的图详细说明整个流程是如何进行的。

这样的3D动画配合AR/VR设备会有更好的体验，非常适用于游戏、教育环境以及像博物馆艺术品展览这些特定的工作场合。这种技术不仅为观众提供了欣赏和与照片进行互动的新方式，还提出了一种从单帧图像重建虚拟角色的方法，从照片中就可以感受建模艺术的魅力。

目前，研究人员正针对这项技术，正在照片级别的CG图像和自然运动的自动重建方面开展更深层次的研究。最后附上一个视频展示，大家可以更直观的了解一下。

每日深度精读

聊聊Nuke中的那个P

长按二维码识别阅读