专栏名称: 小白学视觉

本公众号主要介绍机器视觉基础知识和新闻，以及在学习机器视觉时遇到的各种纠结和坑的心路历程。

TPAMI 2025 | 基于可解释优化展开网络的低光图像增强

小白学视觉 · 公众号 · · 2025-02-09 20:05

正文

点击下方 “ PaperEveryday ”，每天获得顶刊论文解读

点击加入论文投稿、写作、阅读分享交流群

完整版论文中文解读PDF请加入知识星球获取

论文信息

题目：Interpretable Optimization-Inspired Unfolding Network for Low-Light Image Enhancement

基于可解释优化展开网络的低光图像增强

作者：Wenhui Wu; Jian Weng; Pingping Zhang; Xu Wang; Wenhan Yang; Jianmin Jiang

论文创新点

基于Retinex的深度展开网络（URetinex-Net++） ：提出了一种新的Retinex分解方法，将优化问题展开为一个可学习的深度网络，能够将低光图像分解为反射层和光照层。
自适应拟合隐式先验的展开优化模块 ：引入了两个网络来自适应地拟合隐式先验，能够在数据驱动的方式下实现噪声抑制和细节保留。
跨阶段融合块（CSFB） ：提出了跨阶段融合块，通过融合不同展开阶段的反射层信息，有效缓解了色彩缺陷问题。该模块能够充分利用早期展开阶段的丰富色彩信息，同时抑制噪声的引入，提升了增强结果的色彩饱和度和自然度。
空间一致性损失函数 ：在组件调整模块中引入了空间一致性损失函数，替代了传统的SSIM损失。

摘要

基于Retinex模型的方法在低光图像增强（LLIE）中通过精心设计的先验进行分层操作，表现出良好的效果。然而，手工设计的先验和传统的优化算法在解决分层分解问题时缺乏适应性和效率。为此，本文提出了一种基于Retinex的深度展开网络（URetinex-Net++），它将优化问题展开为一个可学习的网络，将低光图像分解为反射层和光照层。通过将分解问题建模为隐式先验正则化模型，设计了三个基于学习的模块，分别负责数据依赖的初始化、高效展开优化和灵活组件调整。特别是，提出的展开优化模块引入了两个网络，以数据驱动的方式自适应地拟合隐式先验，从而实现分解组件的噪声抑制和细节保留。URetinex-Net++是URetinex-Net的进一步增强版本，引入了跨阶段融合块以缓解URetinex-Net中的色彩缺陷。因此，在视觉质量和定量指标上都能获得更好的性能，同时仅引入少量参数且计算时间较少。通过在真实世界低光图像上的广泛实验，定性和定量地证明了所提出的URetinex-Net++相对于现有方法的有效性和优越性。

关键词

低光图像增强
Retinex理论
展开优化

3 提出的基于优化展开的网络

在本节中，首先介绍了我们提出的方法的公式化，然后介绍了整个框架的细节。

3.2 URetinex-Net++框架

由于设计特定的正则化项和具有挑战性，我们利用深度网络来自适应地拟合和的物理先验。因此，基于上述优化方案，我们将更新步骤映射到深度展开网络，并提出了一种新的LLIE框架。如图2所示，提出的URetinex-Net++由三个模块组成，即初始化模块（IM）、展开优化模块（UOM）和组件调整模块（CAM）。这三个模块的作用如下：

IM旨在初始化两个信息丰富的组件，而不是无意义的值，以便后续优化能够顺利进行。
UOM旨在将交替优化方案编码为展开网络，使得四个单变量子问题可以在次迭代中迭代求解，并更新相应的变量。
CAM旨在以分支方式调整光照层和反射层，使得分解的组件被单独处理，并输出恢复的正常光图像。

此外，每个模块的结果在图1中可视化。

3.2.1 初始化模块

初始化在优化过程中起着重要作用。随机或全零初始化在传统的优化方案中广泛使用，例如ADMM[40]。考虑到可靠的初始化对性能有益，我们希望获得一个具有更丰富信息的初始化光照和反射层，而不是随机值或全零。

直观地，为了保留的整体结构，初始光照可以通过寻找三个颜色通道的最大值来初始化[7]，初始反射层可以通过推导，其中表示逐元素除法。然而，这种刚性的初始化方式会导致色彩失真。如图3(b)所示，三个通道（例如，{R, G, B}）的强度统计特性发生了变化。

因此，为了揭示粗略细节但避免引起失真，我们提出了一个数据依赖的初始化模块，它使用一个全卷积（Conv）网络来自适应地同时学习和。初始化模块包括三个Conv-LeakyReLU层，随后是一个Conv层和ReLU层。整个Conv层的核大小设置为3×3。组件初始化的训练损失函数设计如下：

其中是超参数，表示RGB通道。表示范数，定义为，其中表示矩阵中的一个元素。第一项是重建损失，第二项旨在鼓励初始化的光照保留的整体结构。

由于缺乏真实反射层，正常光图像用于生成清晰的反射层，该反射层应接近低光图像的反射层。因此，正常光图像的反射层在后续展开优化模块中用作参考。基于初始化模块的网络架构，我们进一步在正常光图像的光照上集成了结构感知的平滑约束，然后分解正常光图像的训练损失函数表示为：

其中、和分别表示正常光图像、的反射层和的光照层，和是超参数，表示包括水平和垂直方向的梯度操作。第三项的值计算为两个方向的平均值，光照图的总变差由图像的梯度加权，以便光照可以在结构感知的方式下进行空间平滑。

3.2.2 展开优化模块

展开优化模块旨在迭代求解四个单变量子问题，以在次迭代中更新相应的变量。通过将四个更新步骤编码为深度网络架构，优化被展开为个阶段，每个阶段对应一次迭代。如图4(a)所示，、、和交替更新。然后，我们依次描述所提出模块中的更新规则。

和 的更新规则 : 公式(5)中的P子问题是一个经典的最小二乘问题，其闭式解可以轻松获得。通过对公式(5)关于求导并将导数设为0，我们有：

通过使用，公式(11)被重写为：

其中表示矩阵的迹。因此，我们可以得到以下方程：

因此，P子问题的闭式解可以推导为：

其中表示全1矩阵。

因此，给定初始化的反射层和P子问题的闭式解，关于的更新公式可以表示为：

类似地，更新可以通过求解公式(7)中的Q子问题来完成。由于低光图像恢复在RGB颜色空间中进行，三个通道的反射层共享相同的光照层，因此光照层被假设为灰度。因此，公式(7)被重写为：

通过对公式(16)关于求导并将导数设为0，我们有：

因此，的更新公式可以重新排列为：

和 的更新规则 : 传统上，如果公式(6)和(8)中的先验项足够简单，它们可以通过近端算子求解，即，，其中表示近端算子。例如，如果，它可以通过收缩阈值算子[43]求解。然而，当面对复杂或未知的先验时，求解上述近端算子变得困难。因此，我们提出通过基于学习的方法[44, 33]从真实数据中探索物理先验，而不是引入手工设计的先验来手动设计特定的损失函数。换句话说，引入了两个网络和来分别执行和的更新。

具体来说，用于拟合的隐式先验的网络描述如下：

其中作为的输入，表示可学习参数。我们采用一个简单的全卷积网络，包含五个Conv层，随后是ReLU激活，以学习的隐式先验，从而可以从训练数据中学习先验，而无需设计复杂的正则化项。

因此，通过将退化的输入到可学习的去噪网络中，可以获得更干净的反射层。特别是，如图5所示，反射层中出现的失真程度与光照层的亮度高度相关，较暗的区域伴随着更严重的退化。基于这一观察，可以设计一个涉及光照组件（即）的隐式先验，并将其代入，以便与聚合作为输入，用于指导反射层恢复。用于执行更新的网络可以表示为：

其中表示中的可学习参数。我们使用Squeeze-and-Excitation（SE）[45]块来融合和以更新，其细节如图4(b)所示。

为了保持最佳的成本效益，展开优化模块以端到端的方式进行训练，其中和的参数和网络架构在不同阶段共享。我们初始化模块生成的正常光反射层在展开网络的优化过程中用作参考。至于损失函数，我们总结了反射层和光照层的损失函数，包括每个阶段和之间的均方误差（MSE）损失，和最终恢复的反射层之间的MSE损失、结构相似性损失（SSIM）、感知损失[46]，以及每个阶段