Github 4.8k Stars! | CodeFormer: 地表最强AI马赛克去除神器! (附实战教程)

点击蓝字

关注我们

关注并星标

从此不迷路

计算机视觉研究院

公众号ID ｜ 计算机视觉研究院

学习群 ｜ 扫码在主页获取加入方式

项目地址： https://shangchenzhou.com/projects/CodeFormer/#method

先来一组效果图：

转换前：

转换后：

计算机视觉研究院专栏

Column of Computer Vision Institute

模糊的脸恢复是一个高度不适定的问题，通常需要辅助指导来：1）改进从退化输入到期望输出的映射，或者2）补充输入中丢失的高质量细节。

模糊的脸恢复是一个高度不适定的问题，通常需要辅助指导来：1）改进从退化输入到期望输出的映射，或者2）补充输入中丢失的高质量细节。在今天分享中，我们证明了在小proxy空间中学习的离散码本先验通过将人脸盲恢复作为代码预测任务，大大降低了恢复映射的不确定性和模糊性，同时为生成高质量人脸提供了丰富的视觉原子。在这种范式下，我们提出了一种基于Transformer的预测网络，称为CodeFormer，用于对低质量人脸的全局组成和上下文进行建模，以进行代码预测，从而即使在输入严重退化的情况下，也能够发现与目标人脸非常接近的自然人脸。为了增强对不同退化的适应性，我们还提出了一个可控的特征转换模块，该模块允许在保真度和质量之间进行灵活的权衡。得益于富有表现力的码本先验和全局建模，CodeFormer在质量和保真度方面都优于现有技术，表现出对退化的超强鲁棒性。在合成和真实世界数据集上的大量实验结果验证了我们方法的有效性。

各种先验已被用于缓解该问题的不适定性，包括几何先验、参考先验和生成先验。尽管观察到纹理和细节有所改善，但这些方法往往对退化敏感度高或先前的表现力有限。这些先验为人脸恢复提供了不足的指导，因此它们的网络本质上依赖于通常高度破坏的LQ输入图像的信息。结果，LQ-HQ映射不确定性仍然存在，并且输出质量由于输入图像的劣化而劣化。最近，基于生成先验，一些方法通过迭代潜在优化或直接潜在编码将退化的人脸投影到连续的无限空间中。尽管输出非常真实，但在严重退化的情况下，很难找到准确的潜在矢量，导致低保真度结果（下图（d）段）。为了提高保真度，在这类方法中通常需要编码器和解码器之间的跳过连接，如下图所示。然而，当输入严重退化时，这种设计同时会在结果中引入伪影，如下图（e）所示。

(a) 我们首先学习一个离散码本和解码器，通过自重构学习来存储人脸图像的高质量视觉部分。(b) 在固定码本和解码器的基础上，我们引入了一个Transformer模块用于码序列预测，对低质量输入的全局人脸组成进行建模。此外，一个可控的特征变换模块用于控制从LQ编码器到解码器的信息流。请注意，这种连接是可选的，可以在输入严重退化时禁用，以避免不利影响，并且可以调整标量权重w以在质量和保真度之间进行权衡。

END

转载请联系本公众号获得授权