专栏名称: 半导体行业观察

最有深度的半导体新媒体，实讯、专业、原创、深度，30万半导体精英关注！专注观察全球半导体最新资讯、技术前沿、发展趋势。《摩尔精英》《中国集成电路》共同出品，欢迎订阅摩尔旗下公众号：摩尔精英、摩尔芯闻、摩尔App

好玩的iPhone表情背后，涉及哪些技术？

半导体行业观察 · 公众号 · 半导体 · 2017-10-28 11:43

正文

请到「今天看啥」查看全文

来源：内容来自将门创投，谢谢。

几年前，苹果开始了一批疯狂的收购，其中包括3D传感器制造商PrimeSense，图像识别公司 Perceptio，增强现实公司 Metaio 和运动捕捉技术公司 Faceshift ……

苹果收购其他公司来提升自己的技术并不罕见，但当时，大家还是对苹果这一系列的出手有些摸不到头脑。直到上个月苹果一年一度的发布会上，多年的收购和研究的意义才终于真相大白：苹果正在打造iPhone X。

这款新版旗舰款的手机最重要的功能应该就是它的面部跟踪技术，支撑起了人脸解锁手机、定制 Animoji等新功能。苹果认为iPhone X代表了移动技术的未来，从很多方面来说确实如此。但仔细回想，大多数令人印象深刻的消费类科技产品追溯它们的起源，会发现它们的技术突破往往都来自看似枯燥范围的研究实验室。Animoji的诞生也不例外，将近10年前一些欧洲最负盛名的技术专业学校已经开始了相关的研究。

故事的起点

2005年前后，动作捕捉还只是实验室里的一项研究。例如，电影《阿凡达》中为了角色创造细致入微的表达，需要演员们在脸上涂上有颜色的圆点，并将塑料球贴在他们的身体上。这些点称为标记，用来帮助光学系统追踪面部和身体的动作变化，最终模拟出电影的动态效果。“标记是用来简化运动跟踪的计算。”瑞士联邦理工学院（EPFL）计算图形和几何实验室联合创始人Mark Pauly解释道。

要想标记技术表现好，前提是需要有一个工作室、运动捕捉套件，当然演员还得愿意全身弄上这些标记点。“无论你想做啥，都要花很多钱和时间，”南加州大学视觉和图形实验室主任黎灏说，他当时刚刚在伯克利实验室获得博士学位。“我们想让它变得更容易。因此黎灏、Pauly以及Thibaut Weise、Brian Amberg和Sofien Bouaziz(现在都供职于苹果了)等其他研究人员，开始探索如何使用深度感应相机的长镜头来代替点标记和运动捕捉套件，来追踪面部表情。”他们的目标是制作可以实时模仿人类表情的动态数字头像。

那么问题来了：算法面部跟踪是出了名的难。黎灏把人脸比作“计算机图形学中的圣杯”，因为它人脸运算实在太困难。与静态物体不同的是，面部一直在变化；对于计算机来说，压根没有简单的规则可循。

要想让一个机器可以理解面部运动，它需要了解各种各样形式各异的面部表情。“算法必须对各样的光照环境、遮挡、头部旋转，以及不同种族和不同年龄的人脸外观的标准变化都保持很强的鲁棒性。”Visage Technologies公司的销售营销主管Dino Paic说，他们公司的面部跟踪软件正在被汽车和金融客户使用。

2005年以前，3D深度传感摄像头已经足够成熟到捕捉面部动作。更大的挑战是教计算机去理解这些捕捉到的数据。“问题是，即使你能感觉到所有的点，这对电脑来说也没有任何意义。” 黎灏说。

为了解决这个问题，黎灏和他的团队把这张脸当作一个几何问题。他们用大量的面部表情上训练算法，使他们能够建立统计3D模型来描述不同人种和不同环境下的人脸模型。手握这些计算好的模型，算法就可以更容易地自动匹配面部 3D 标记点，实现实时捕捉面部表情，创建模拟头像。

脸的价值

现如今，特效公司大多还是使用这种技术来简化生产过程。但大家很快应该就可以体验到像苹果的Animoji和英特尔的Pocket Avatars这样的技术，它们能用面部识别软件直接将你的脸变成数字的avatar。

黎灏表示，面部表情模仿只是一个开始。他创立了一家名叫Pinscreen的公司，这家初创公司正致力于实现像照片一样逼真的计算机图形的自动创作。他和他的团队正在研发一种技术，基于单张照片就可以构建一个超现实的3d化身。

在去年秋天的总统大选之后，Pinscreen创造了以跳舞的Donald Trump为代表的一系列GIF。其实渲染的这些GIF并没有特别的精致——特朗普的脸看上去仍然像是电脑合成的——但这已经是向未来迈进了一大步。在未来，任何人都可以创造出栩栩如生的avatar，做任何他们想做的事。Pinscreen的技术目前还处于测试阶段。