论文链接：
https://arxiv.org/pdf/2407.12431
GitHub链接：
https://github.com/LowLevelAI/GLARE
亮点直击
-
首次采用外部正常光码本作为指导，去自然地增强低光照图像。
-
提出一种名为
GLARE
的新型低光照图像增强器，利用潜在归一化流来学习低光照图像特征分布，使其与自然光图像特征对齐。
-
提出一种具有可调功能的自适应特征变换模块，以在保证输出自然性的同时巩固保真度。
-
大量实验证明，
GLARE
在5个配对基准和4个真实世界数据集上的低光照图像增强任务中显著优于现有的最先进方法，并且作为高层次目标检测任务的预处理方法时，
GLARE
也具有很强的竞争力。
本文提出一种新型的基于生成式隐层特征的码本检索的低光照增强网络，命名为
GLARE
。其中码本先验是使用矢量量化(VQ)策略从未受损的正常光图像中提取的。更重要的是，我们开发了一种生成式可逆的隐层归一化流模块，将低光照图像的特征分布对齐到正常光图像的隐层表征，从而保证了在码本中正确的代码检索。为了保留由码本先验提供的真实细节的同时进一步提高保真度，我们设计了一种新颖的自适应特征变换模块。该模块包括一个自适应特征混合环节和一个双解码器结构，并具备用户调节功能。大量实验证明
GLARE
在多个基准数据集和真实数据上的卓越性能，以及
GLARE
在低光照目标检测任务中的有效性进一步验证了其在高层次视觉应用中的适用性。
方法
除了引入外部自然光码本来指导低光到正常光的映射外，本文工作的创新之处还在于独特的可逆潜在归一化流和自适应特征变换模块。这些模块旨在最大限度地发挥自然光码本先验的潜力，并生成具有高保真度的逼真结果。
本文提出的方法的概览如图3所示，其中我们方法的训练可以分为三个阶段。在第一阶段，在数千张清晰的自然光图像上预训练VQGAN，以构建一个全面的码书。在第二阶段，利用低光照-正常光照图像对训练I-LNF模块，实现低光照和正常光照特征之间的分布变换。在最后阶段，提出AFT模块（包含固定的自然光解码器、自适应混合块和多尺度融合解码器），用于保留码本所提供的自然性的同时增强细粒度细节。
阶段I：正常光码本学习
为了学习一个通用且全面的码本先验, 我们利用了一个结构类似于[15]的 VQGAN。具体来说, 一个自然光图像
首先被编码并重塑为隐层表征
, 其中
和
分别表示图像宽度、图像高度、隐层特征的维度和隐层特征的总数;
是自然光编码器的下采样因子。每个潜在向量
可以使用最近邻匹配量化为对应的代码
, 公式如下:
其中
表示包含
个离散码的可学习码本, 每个码由
表示。随后, 量化后的码
被传送到自然光解码器 (记作
) 以生成重建的图像
。
为了更好地展示正常光码本先验的优势和局限性，本文在低光照-正常光图像对上微调了预训练的VQGAN编码器。具体来说，本文在图2b的第2列中展示了增强后的结果，并使用t-SNE可视化了由微调后的自然光编码器生成的低光照图像特征（见图2a），这证明了外部自然光先验在低光照图像增强中的有效性。此外，这些可视化结果启发作者设计额外的网络来对齐低光照特征和正常光隐层表征，以进一步提高增强性能。
阶段II：生成式隐层特征学习
为了充分利用外部码本先验的潜力，本文从减少低光照和正常光照特征分布差异的角度设计了额外的机制。具体来说，本文开发了一种可逆潜在归一化流，以实现低光照和正常光照特征分布之间的转换，从而实现更准确的码本检索。
如图 3 所示, 本文在第二阶段优化了两个关键组件：条件编码器和可逆归一化流模块。1) 条件编码器
：其结构与自然光编码器
相同，输入一个低光图像并输出条件特征
。2）本工作中的可逆归一化流模块通过一个可逆网络实现，表示为
。该模块利用
作为条件，将复杂的自然光特征分布
转换为一个潜在特征，即
。第二阶段训练的重点是获得一个在
空间中的简化分布
, 例如高斯分布。因此, 条件分布
[45] 可以隐式表示为:
与传统的归一化流方法
不同, 本文在特征层面而不是图像空间独特地应用了归一化流, 并且本文的设计中没有集成任何压缩层。此外, 本文提出使用由卷积层基于
生成的低光照特征
作为
的均值, 而不是使用标准高斯分布作为
的分布。公式 (2) 中的条件分布使得可以通过最小化公式 (3) 中的负对数似然来训练条件编码器和可逆归一化流模块。此外, 可以从
中采样
并使用完全可逆的网络
得到低光照输入的高质量特征
。
第二阶段训练完成后，本文在LOL数据集[65]上评估了提出的模型，以验证可逆归一化流模块的有效性。如图2a所示，由可逆归一化流模块生成的低光照特征分布与正常光照特征分布高度一致，促进了准确的码本组装。此外，令人满意的增强结果（图2b，第3列）表明本文提出的方法在第二阶段后，已经具备良好的低光照图像增强性能。然而，这些结果仍然有很大的改进空间，特别是在保真度方面。例如，颜色（图2b，第1行）或结构细节（图2b，第2行）与真实值有显著差异。这一观察促使作者将输入信息融入解码过程中，以提高保真度。
阶段III：自适应特征融合
为了进一步增强纹理细节和保真度, 本文提出了一种自适应特征变换模块, 该模块灵活地将条件编码器生成的特征
融入解码过程中, 其中
表示分辨率级别。具体来说, 为了保持正常光解码器 (NLD) 的真实输出并避免受损的低光照特征的影响, 本文采用了双解码器架构, 并参考
开发了多尺度融合解码器 (MFD)。双解码器设计使本文如方程 4 所示, 能够利用可变形卷积 (dconv) 来对 NLD 特征 (
) 进行变形处理, 并将变形后的特征
输入多尺度融合解码 得到最终的增强结果。
其中
和
分别表示分辨率级别和目标特征本文设计了一种新颖的特征融合网络，该网络自适应地将低光照信息融入上述变形操作，并在实际测试中为用户提供潜在的调整功能。
自适应混合块
多尺度融合解码器（MFD）在结构上与正常光解码器（NLD）相似，旨在解码生成的低光照特征
