据麦姆斯咨询报道,Face. DJ是一款由Visionlabs开发的基于3D面部重建技术的软件,能够根据用户面部特征制作出仿真3D模型并使用户置身于虚拟场景。此时用户可以尝试新发型,或感受长出虚拟胡须的模样,这些功能均由这款软件提供。整个过程非常简单:用户使用手机相机拍照后,然后等待软件制作模型,最后将自己选择的装饰加在照片的场景中。
面部标记技术和可变形虚拟面部的使用赋予在单张照片上进行3D面部重建可能性。个人特征,比如嘴唇轮廓、眼睛、眉毛,以及脸的整体轮廓在照片中都能体现出来,虚拟面部与之一一对应。这张脸可以根据个人的外貌改变其几何构造。虚拟面部根据用户的对应部分的特征进行调整,形成具有个体特征的面部。最后生成的几何图把用户的照片变成三维图。并且,这项技术为了从面部扩大到整个头部,还会分析用户的肤色。
面部标记算法分成以下两步:
1. 程序在照片中检测到用户的面部;
2. 聚焦至面部,并用一系列预先定义的标记做注释。
两个步骤均使用机器学习,所有运算都从手工注释的庞大数据库中获得。这些数据由成千上万的带有标记的面部图像组成。
实现脸部可变形的前提是用特定设备进行3D面部扫描。这些都是对真人的扫描。面部扫描因人外貌不同而异,不同之处来自眼睛的位置、鼻子大小和嘴的形状等差异。其中一些面部扫描出来是椭圆形的,而另一些是方形的。这些变量作为真脸扫描像的混合体可以帮助创建新的虚拟面部。
延伸阅读:
《3D成像和传感-2017版》
《HTC Vive虚拟现实(VR)头戴式显示器》