CLIP-SR：用于超分辨率的协同语言和图像处理

二-A 基于先验的图像超分辨率

单图像超分辨率 (SR) 已成为端到端深度学习领域中的一个动态研究方向 [23] 。 各种模型和机制的发展显著改进了超分辨率方法，尤其是在像素重建和细节逼近方面。 早期的超分辨率方法 [4, 24, 25, 26, 27, 28] 通常假设低分辨率 (LR) 图像像素是通过对高分辨率 (HR) 图像进行双三次下采样获得的。 这些方法采用各种深度映射网络直接从低分辨率输入重建超分辨率图像像素。 虽然这些方法在具有小规模退化问题的合成数据上可以取得令人满意的结果，但在现实世界的大规模退化场景中，由于低分辨率语义的全部或部分丢失，它们的有效性会显著下降。

为了提高在现实世界超分辨率场景中的性能，人们提出了许多基于先验的方法，这些方法利用显式或隐式先验来丰富细节生成。 一种具有代表性的显式方法是基于参考的超分辨率 [29, 30, 31, 32] ，它利用一个或多个与输入低分辨率图像具有相似纹理的高分辨率参考图像来指导高分辨率输出的生成。 然而，将参考的特征与低分辨率输入匹配可能具有挑战性，并且这些显式先验可能不可用。

最近的方法，包括FSRNet [7] 、DeepSEE [11] 、SFTGAN [8] 、TGSR [17] ，已经转向利用隐式先验，通过将先验信息直接整合到超分辨率过程中来取得更好的结果。 例如，FSRNet [7] 利用几何先验来改善人脸图像超分辨率效果，而Zhang 等人 [33] 则利用多视角一致性。 DeepSEE [11] 利用语义图来探索极端图像超分辨率。SFTGAN [8] 引入图像分割掩码作为人脸图像超分辨率的先验特征，而TGSR [17] 则采用文本语义作为先验条件来引导图像超分辨率。 尽管有效，但这些隐式先验通常针对特定情况进行定制，例如受限类别 [34, 35] 或人脸图像 [7, 8, 36, 37] ，这限制了它们在更复杂、现实世界的超分辨率任务中的适用性。

II-B 多模态融合引导的图像生成

多模态融合在各种视觉任务中变得越来越普遍，例如图像生成、风格迁移和图像编辑。 例如，关键点通常用于运动生成 [38] 和自动化妆应用 [39] 。 在基于文本的图像合成中，GAN-INT-CLS [40] 利用文本描述使用条件生成对抗网络 (cGANs) 生成图像。 为了提高图像质量，Stack-GAN [41] 、AttnGAN [42] 和 DM-GAN [43] 利用多个生成器和判别器。 DF-GAN [44] 通过更简化和有效的方法简化了文本到图像的合成。 LAFITE [45] 引入了一种基于 CLIP 模型 [22] 的对比损失，为生成精确的图像提供了更准确的指导。 在艺术风格迁移中，CLIPstyler [46] 能够从文本描述到源图像进行领域无关的纹理迁移，而 CLVA [47] 则采用基于块的风格判别器从风格指令中提取视觉语义，实现详细和局部化的艺术风格迁移。 对于文本引导的图像编辑，SISGAN [48] 开创了使用编码器-解码器架构进行基于文本的语义编辑的方法。 ManiGAN [49] 引入了一个两阶段的架构，其中包含 ACM（注意力裁剪模块）和 DCM（可变形裁剪模块），以促进基于文本的图像编辑的独立网络训练。 轻量级 GAN [40] 通过应用词级判别器进一步提高了效率。 ManiTrans [50] 采用预训练的自回归Transformer，利用CLIP模型 [22] 进行语义损失计算。 最近，Zeng 等人 [51] 开发了一个使用语言引导的多轮图像编辑框架。

大语言模型的出现进一步推动了文本到图像生成的进步。 DALL-E [52] 使用VQ-VAE [53] 将图像分解成离散的符元，将图像合成构建为一个翻译任务。 LDM [54] 将扩散模型应用于潜在图像向量，允许以高质量的结果进行高效训练。 GLIDE [55] 是一种基于扩散的文本到图像生成模型，它使用引导扩散来增强文本条件下的合成。 GALIP [21] 在对抗学习中整合了CLIP模型，用于文本到图像的合成。 Zhang 等人 提出的ControlNet [56] ，建立在预训练的Stable Diffusion [54] 基础之上，加入了详细的控制来引导图像生成。

预训练扩散模型的最新进展 [55, 54, 57] 显著提高了图像生成能力。 虽然一些研究 [58, 59, 60, 61, 62] 强调了这些模型的生成潜力，但它们在超分辨率中的应用仍然具有挑战性。 超分辨率所需的高保真度要求速度和效率——而扩散模型由于其多步去噪过程通常缺乏这些特性，这导致生成时间较慢并使潜在空间操作复杂化。

与使用扩散模型相比，这项工作出于几个关键原因采用了基于GAN的模型。 GAN能够一次性生成高分辨率图像，与扩散模型的迭代性质相比，这大大提高了效率。 此外，它们提供了一个平滑的潜在空间，可以对生成的特征进行直观的控制，使其特别适合超分辨率任务。 此外，GAN所需的训练数据和计算资源较少，提高了研究人员的可及性。 通过利用GAN，我们旨在实现高质量的图像生成，同时确保超分辨率的实际适用性。

III-A 概述

传统的小尺度因子SR方法使用深度SR网络从LR图像生成HR图像。 然而，大尺度因子下采样往往会导致LR图像出现明显的模糊，使得SR网络难以仅从像素空间信息中重建语义一致且精确的细节。 为了解决这些挑战，我们引入了文本语义作为补充输入，使我们的网络能够利用像素和文本空间的信息来生成更准确的细节。 显然，我们将输入低分辨率图像表示为 L L ⁢ R ，补充文本描述表示为 T ，高分辨率真值图像表示为 I G ⁢ T ，对应于输入低分辨率图像 L L ⁢ R 。 CLIP-SR ℋ 的目标是融合 L L ⁢ R 和 T 以生成语义一致且视觉逼真的超分辨率图像，表示为 I S ⁢ R 。

特别地，我们在多模态迭代细化模型中引入了一个文本-图像融合块（TIFBlock），该模型集成了CLIP [22] 和TIFBlock以实现有效的放大倍数SR。为了有效地结合来自不同模态的信息， 即 文本和图像，我们设计了一种鲁棒的融合策略，该策略保留了重要的文本细节，同时避免了在更简单的方法 [63, 48, 41] 中观察到的信息丢失，这些方法直接将文本向量与图像特征合并。 我们的TIFBlock采用仿射变换对齐策略来提高文本-图像融合精度并保留关键语义细节。 鉴于文本和图像特征之间的内在差异，精确的对齐对于实现语义一致性至关重要。 为了进一步减少跨模态不一致性，在对齐之前采用提示预测器来处理文本向量。 此外，CLIP模型 [22] 作为补充对齐工具集成到我们的框架中，确保SR的上下文精确和语义一致的文本-图像融合。

为了进一步确保与生成的高分辨率 (SR) 图像中的低分辨率 (LR) 内容保持一致，我们设计了两种基于我们的融合策略的附加机制。 具体来说，我们结合残差连接来保留重要的低分辨率细节，尤其是在可能出现语义冲突的情况下。 此外，在多模态迭代细化模块的每一层都集成了文本语义，逐步指导超分辨率过程并进行细粒度调整。 这些改进的语义融合策略确保生成的超分辨率图像在结构和语义上都与低分辨率输入保持一致。 图 3 概述了整个网络架构和设计的TIFBlock的细节。

III-B 网络架构

在本节中，我们将介绍我们提出的多模态大倍数图像超分辨率模型的关键组件。 该模型主要包含五个组件：文本和图像编码器、提示预测器、文本图像融合模块（TIFBlock）、迭代细化模块和基于CLIP的鉴别器。

本质上，文本和图像编码器提取文本向量和图像特征，为后续步骤提供基础表示。 TIFBlock 对齐并融合这些特征，实现文本和视觉信息的协调集成。 CLIP-ViT 和提示预测器有效地增强了整个生成过程中的文本指导。 迭代细化模块通过多次迭代逐步恢复图像细节并增强局部语义，确保不同模态之间的对齐。 最后，基于CLIP的鉴别器全面评估生成图像的保真度、语义质量和一致性。 通过利用这五个组件的协同作用，我们的方法即使从严重退化的低分辨率输入（ 例如 ，8 × 或16 × 下采样）也能生成语义一致且逼真重建的高分辨率图像。

III-C 优化目标

重构损失。 为确保重建图像内容的一致性，我们采用逐像素 ℒ 1 范数，定义如下：

其中 ℋ ⁢ ( I L ⁢ R , T ) 表示本工作中提出的完整超分辨率网络 ℋ 生成的输出， F T 表示文本描述， I G ⁢ T 表示对应于输入低分辨率图像 I L ⁢ R 的高分辨率真值。

感知损失。 此外，我们使用感知损失 [64] 来鼓励生成的超分辨率结果与真实高分辨率图像之间的视觉一致性。 感知损失定义如下：

其中 ϕ i ( . ) 表示来自预训练感知网络 ϕ 第 i 层的特征图。 我们采用预训练的VGG-19网络 [65] 作为我们的 ϕ ，并选择五个激活层来计算感知损失。 超参数 σ i 调节第 i 层对公式 3 中总损失项的贡献。

文本约束对抗损失。 为了约束文本的语义信息，我们使用了文本约束对抗损失 [21] 。 这里， I L ⁢ R 表示给定的低分辨率图像， F T 是从对应的文本输入中提取的文本向量。 低分辨率图像 I L ⁢ R 和文本向量 F T 都被输入到超分辨率网络 ℋ 中，得到输出 ℋ ⁢ ( I L ⁢ R , T ) 。 令 C 和 𝒱 分别表示基于CLIP的判别器中冻结的CLIP-ViT模型和图像特征提取器模型。 S i m ( . , . ) 表示生成的HR图像 ℋ ⁢ ( I L ⁢ R , F T ) 和文本向量 F T 之间的余弦相似度。

文本约束对抗损失定义如下：

其中 α 是一个控制文本-图像相似度权重的超参数，而 ℙ g 表示合成数据分布。

总损失。 考虑所有上述损失函数，总目标函数公式如下：

其中超参数 λ a ⁢ d ⁢ v 控制对抗损失 ℒ a ⁢ d ⁢ v 的权重。

IV-A 实现细节

数据集。 我们在COCO [66] 、Birds200 (CUB) [67] 和CelebA [68] 数据集上评估我们的方法，每个数据集都包含成对的图像和文本描述，如表 I 所示。 为了训练，所有图像都被裁剪到 256 × 256 分辨率，低分辨率图像通过对高分辨率图像进行双三次下采样生成。 使用的CLIP-ViT主干网络是ViT-B/32模型。

设置。 我们使用Adam优化器在NVIDIA RTX A5000上训练所提出的方法，参数 β 1 = 0.0 和 β 2 = 0.9 ，训练迭代次数为220轮。 超参数 λ a ⁢ d ⁢ v 设置为0.01。 同时，遵循GALIP [21] 中的设置，我们将 α 设置为4。 由于TGSR [17] 的官方代码不可用，我们使用TGSR ^# 来表示基于TGSR论文中提供的视觉示例和定量指标复现的结果，以便与其他方法进行比较。

IV-B 定量评估

为了定量评估不同方法生成的超分辨率图像的质量，我们使用了两个主要的评价指标：NIQE（自然图像质量评估器） [69] 和PI（感知指数） [70] 。 NIQE评估超分辨率图像的整体质量，分数越低表示图像越自然逼真。 另一方面，PI衡量图像的感知质量，PI值越低，视觉质量越好。 在我们的实验中（表 III 除外），我们特别选择了NIQE和PI，而不是像PSNR和SSIM这样的传统指标，因为后者更关注图像失真，而忽略了客观质量和感知体验。 在超分辨率的背景下，NIQE和PI更符合评估图像的真实性和自然性，使其更适合这项任务。

表 II 展示了我们在CUB和COCO数据集上的实验结果。 对于较小的CUB数据集，我们将NIQE和PI分数与几种最先进的超分辨率方法进行了比较，包括EDSR [1] 、ESRGAN [2] 、SPSR [12] 和TGSR ^# [17] 。 我们的方法获得了第二好的NIQE分数，紧随ESRGAN之后，同时在PI方面优于Bicubic插值和EDSR。 在更大的COCO数据集上，我们的方法在NIQE和PI方面都显著优于所有比较方法，展现了其优越的泛化能力。 其他方法在COCO数据集上的性能下降进一步突显了我们方法的鲁棒性和多功能性。

表 III 提供了 CelebA 数据集上 PSNR、SSIM、NIQE 和 PI 指标的定量比较。 我们将我们的方法与几种基线方法进行了评估，包括双三次插值、SuperFAN [9] 、DICGAN [18] 和 TGSR ^# [17] 。 结果表明，该方法在所有指标上都取得了具有竞争力的性能。 具体来说，与仅依赖单模态输入的双三次插值、SuperFAN 和 DICGAN 相比，我们的方法结合了补充的文本信息以实现跨模态语义对齐，从而实现了优越的超分辨率性能。 此外，与同样利用文本指导的 TGSR ^# 相比，我们的多模态协同语义增强机制生成的图像不仅具有语义一致性，而且视觉效果逼真。 总之，我们的方法在三个数据集上始终提供具有竞争力的结果，突显了其在图像超分辨率任务中的有效性。

IV-C 定性评估

为了进一步验证该方法的有效性，我们进行了额外的定性实验。 具体来说，我们将原始框架中预训练的 CLIP-ViT 模型替换为 BLIP-2 [71] ，将 CLIP 的文本编码器替换为 BERT [72] 。 然后，我们在 CUB 数据集上重新训练网络，将重新训练后获得的视觉结果表示为 O ⁢ u ⁢ r ⁢ s ∗ 。 如图 4 所示，实验结果表明，即使进行此修改，我们的方法也能获得令人满意的视觉效果。 这些发现进一步证实，所提出的多模态协作框架能够持续生成具有清晰细节和强大语义一致性的高质量超分辨率图像。

同时，我们进行了一个额外的超分辨率(SR)实验，将低分辨率图像从 64 × 64 上采样到 256 × 256 。 如图 5