引言
随着数字时代的到来和图像编辑技术的发展，针对图像及视频的编辑、修改变得越来越容易。诸如Adobe Photoshop之类的简单易用的软件让图像、视频编辑不再是专业人士的特权，更有“美图秀秀”等手机应用让每个女孩的自拍都像大明星一般神清气爽。一方面，多媒体内容的编辑技术丰富和美化了我们的视觉世界，促进了创意和艺术的展现。然而每一样技术都可能成为一把双刃剑，在另一方面，恶意的图像篡改为社会带来了巨大危害！视频人脸操控、人像拼接、图像翻拍、人脸识别欺骗等伪造手段层出不穷，使得图像与视频的真实性和可信性成为了一个非常严重的问题。在法庭取证、新闻报道、社交网络、保险索赔、摄影比赛等严肃的场合，图像内容的真实性显得尤为重要。
图1 图像及视频的篡改案例
为了对抗恶意的图像、视频篡改，图像取证技术应运而生。传统的主动式图像防伪往往需要往图像里嵌入水印和签名等，这不仅增加了成本，还有可能破坏图像的呈现质量，因此并没有得到普及。而被动式的图像篡改取证技术由于其通用性和不依赖主动信息嵌入，在近些年获得广泛的关注和研究。以下介绍我们在这个领域进行的一些研究和提出的一系列篡改检测工具算法。
我们主要关注图像内容中感兴趣区域的篡改检测问题，这些区域通常包括人脸、人体等。由于对这些区域的篡改最具有破坏性和潜在危害性，研究针对这些区域的有效篡改检测算法就具有了非常显著的价值。我们的总体思想是通过发掘成像环境中潜在的物理和几何的不一致性来判断内容的真伪。其中可利用的环境线索包括光照环境、三维几何、生理信号、相机参数等。
我们基于成像环境约束来检测篡改的总体思想框架可见图2。首先需要基于对成像过程的理解进行成像建模，该模型描述了场景信息（几何、姿态、光照等）到图像像素的映射关系，一般是参数化的模型，如小孔相机模型、朗伯体反射模型等；然后我们采用计算机视觉、模式识别的相关技术，基于成像模型从待检测图像或视频中部分恢复其成像环境的信息。该步骤相当于参数估计，可用最大似然估计等算法。由于逆过程一般是病态问题，我们借助一些先验知识和做出一些合理假设来得到最终的估计结果；最后一步是判断估计得到的场景信息和已知信息或其他估计信息之间的一致性，以此做出图像是否被篡改的判断。这些一致性包括光照环境的一致性、几何共面性、相机内参的一致性等。一致性分析阶段往往还需要评估参数估计的不确定性来得出判断结果的置信度。
图2 基于成像环境约束的篡改检测总体框架
基于上述所提出的篡改检测的范式，我们研究了多种新颖的或改进的工具算法。其中包括：基于人脸视频脉搏信号提取的虚假人脸检测，可应用于检测CG人脸以及人脸识别中的活体检测；基于精确的人脸光照环境估计的人像拼接检测算法及其一般化的自动算法；基于鞋子3D形变模型和姿态估计的“悬浮脚”人像拼接检测算法；基于人脸透视失真现象的相机参数估计，可用于人脸翻拍、拼接检测及活体检测。这些算法的摘要图如图3所示。以下我们简要介绍各种算法的技术手段和效果。
图3 多种基于环境约束的篡改检测算法
心跳脉搏是广泛存在于生物体内的一种自然的生理信号。有研究发现[1]，心跳造成的血液供应量变化会引起人的皮肤呈现周期性的颜色变化，这个周期变化是与心跳同步的，反应了脉搏信号。虽然颜色变化的幅度极其微小，且人眼无法感受，但是在一定的受控条件下，这种颜色变化可以被摄像机的感光元件捕捉并记录下来。由于真实的活体人脸视频中包含了脉搏信号，而计算机合成（CG）人脸或者照片的翻拍视频中不存在这种生理信号，这个线索有可能应用于检测CG人脸视频或用于人脸识别中的活体检测任务。
图4 基于人脸视频脉搏信号提取的虚假人脸检测流程图
如图4所示是我们提出的算法流程图。对于待检测视频，我们截取足够长度的稳定视频，可以增加信号的频域分辨率并消除头部剧烈运动的影响。然后基于人脸关键点跟踪的结果对给定的人脸皮肤区域进行稳定的跟踪，并从中提取R，G，B三个通道的原始灰度随时间变化的信号。最后我们采用一种基于色度空间投影的脉搏信号提取算法，可以在一定程度上抑制由于运动和光照变化而带来的噪声干扰。最终的判断基于脉搏信号的频率域分析：如果在正常的心率频段存在明显的脉搏信号则判断为正常的人脸视频，否则为虚假的人脸视频。实验验证了所提算法对于区分CG和真人视频的有效性，更多细节请参看[2]。
2基于精确的人脸光照环境估计的人像拼接检测算法及其一般化的自动算法
在很多情况下，处于同一场景中的不同物体所处的光照环境是相同的。然而当图像拼接发生时，被移入的物体（如人脸）所在的原光照环境很可能与拼接图片中的光照环境产生不符，这一点可以被用于图像拼接的检测。我们的人脸拼接算法流程图如图5所示。
图5 基于精确的人脸光照环境估计的人像拼接检测算法
不同的光照环境会使物体表面的亮度呈现不同的分布，比如当光源在物体左侧时，物体的左侧会比右侧显得更亮。同时物体的几何形状和表面纹理也对最终的图像产生影响。为了准确刻画此成像过程，我们考虑了光照环境、物体非凸形状、物体表面纹理等因素作用下的准确的成像模型，如下式所示：
该模型基于朗伯体反射，并进一步考虑了非凸形状的遮挡以及表面反射率的变化因素，可以更加准确地刻画人脸成像。基于该成像模型，我们采用球型谐波函数表示光照和转移函数，利用渲染图像集拟合转移系数，最终求得待测图像人脸所处的光照系数。通过阈值比较而得到的拼接判定示例可见图2中的人脸拼接图片，其中我们成功地检测出该图片中两张人脸的光照环境存在较大差异。为进一步解决现有方法不能方便地获取单张任意姿态和表情的人脸模型的问题，我们采用基于关键点的人脸3D形变模型拟合技术[3]实现了人脸光照不一致性检测的一般化自动算法。相关工作细节请参考[4-6].
原文链接：
http://mp.weixin.qq.com/s/kdTgyU4Sx9px6a4F2KyyfQ
