Face2QR: A Unified Framework for Aesthetic, Face-Preserving, and Scannable QR Code Generation
-
-
-
-
-
论文链接：https://openreview.net/forum?id=rvBabL7DUu
-
项目主页：https://neurips.cc/virtual/2024/poster/93410
背景
图 1 对于同一个二维码，我们提供不同人脸图片所生成的图像，可以看到我们的算法能够和谐地融合人脸信息，美学设计和功能性。
因其卓越的信息存储能力和在基础摄像设备上的便捷使用性，二维码已经成为数字时代中非常流行的数据载体。二维码不仅在商业交易、信息验证和日常沟通中扮演着关键角色，其应用范围也随着技术的不断进步而持续扩大。
随着二维码在社会中的普及，越来越多的人开始追求融入个人人脸信息的个性化设计，同时注重二维码的美观性。然而，尽管传统的二维码功能强大，但它由单一的黑白方块组成的外观往往显得过于单调，难以满足人们对个性化和美学的追求。
为了解决这一问题，上海交通大学的研究人员提出了一种专为生成个性化人脸二维码设计的全新框架Face2QR。该论文已被NeurIPS 2024接收。
传统与创新：人脸二维码的进化之路
随着二维码在各个领域的广泛应用，相关技术也在不断进步。
一方面，早期的人脸二维码生成方法主要依赖图像变换技术和风格迁移技术，虽然它们能够在一定程度上保留人脸特征，但在感知质量和美学性方面的表现仍然有限。
另一方面，基于生成模型的方法可以生成质量更高、更多样化的二维码，但在精确控制生成内容，尤其是在保留人脸特征方面，仍面临挑战。
全新Face2QR框架：人脸与美学与功能性的完美结合
Face2QR框架旨在实现人脸身份、美学设计和功能性的和谐融合，面临的挑战主要包括：
首先，如何在一个统一的流程中实现人脸身份的严格保留以及多样化定制背景风格之间的和谐平衡，传统的风格迁移方法可能导致人脸纹理不自然，而图像转换方法可能在人脸区域引入可见的伪影；
其次，如何协调人脸身份与二维码图案之间的冲突，基于生成模型的方法虽然能够控制二维码图案，但难以将图案排除在人脸区域之外，导致人脸的不自然阴影和伪影，而直接移除图案又可能导致图像无法扫描，因此需要在保持人脸的视觉质量与确保二维码的正确性之间找到平衡；
最后，如何在生成的图像中平衡美学性与功能性，采用后处理操作在增强功能性的同时可能会破坏人脸区域的自然美感。
图 2 上图为我们的算法Pipeline，我们的流程包括三个阶段，分别通过蓝色、红色和绿色箭头表示。IDQR模块解决了人脸身份和背景风格之间的平衡问题，IDRS模块在控制过程中解决了人脸身份和二维码图案之间的冲突，而IDSE模块则通过减少编码错误，确保输出结果是可扫描的，解决了美学性和功能性的平衡问题。
1. 身份精细化二维码集成（IDQR）
Face2QR的第一阶段是利用身份精细化二维码集成（IDQR）模块来创建初始的二维码图像。用户可以根据自己的个性化需求，输入定制的人脸图像，二维码以及文本提示，IDQR模块将综合这些输入信息，生成一个定制化的二维码。该模块由几个关键部分组成：一个预先训练好的SDXL模型，用于处理和生成图像；一个InstantID网络，确保在生成的二维码图像中准确保留人脸身份信息；以及一个二维码控制器，负责引导图像的亮度分布。
然而，如图2所示，IDQR生成的初始输出图像存在较高的误差率，超过了43%。这一问题的根本原因在于前景人脸信息与背景二维码图案之间存在的固有冲突：在图像的中心区域，这两者是无法兼容的。
2. 身份感知二维码重排（IDRS）
