IJCV 2024 | 神来之笔！清北、哈工大联合提出无需GT的自监督图像重建网络学习方法，代码已开源！

一、论文信息

• 论文标题： Self-Supervised Scalable Deep Compressed Sensing（自监督可变采样率的深度压缩感知）

• 论文作者： Bin Chen（陈斌）, Xuanyu Zhang（张轩宇）, Shuai Liu（刘帅）, Yongbing Zhang†（张永兵）, and Jian Zhang†（张健）（†通讯作者）

• 作者单位： 北京大学深圳研究生院、清华大学深圳国际研究生院、哈尔滨工业大学（深圳）

• 发表刊物： International Journal of Computer Vision (IJCV)

• 发表时间： 2024年8月13日

• 正式版本： https://link.springer.com/article/10.1007/s11263-024-02209-1

• ArXiv版本： https://arxiv.org/abs/2308.13777

• 开源代码： https://github.com/Guaishou74851/SCNet

二、任务背景

作为一种典型的图像降采样技术，自然图像压缩感知（Compressed Sensing，CS）的数学模型可以表示为 ，其中 是原始图像真值（Ground Truth，GT）， 是采样矩阵， 是观测值， 是噪声。定义压缩采样率为 。

图像CS重建问题的目标是仅通过观测值 和采样矩阵 来复原出GT 。基于有监督学习的方法需要搜集成对的观测值和GT数据 ，以训练一个重建网络 。然而，在许多现实应用中，获得高质量的GT数据需要付出高昂的代价。

本工作研究的问题是自监督图像CS重建，即在仅给定一批压缩观测值 和采样矩阵 的情况下，训练一个图像重建网络 。现有方法对训练数据的利用不充分，设计的重建网络表征能力有限，导致其重建精度和效率仍然不足。

三、主要贡献

• 技术创新点1：一套无需GT的自监督图像重建网络学习方法。

如图1（a）所示，在训练过程中，我们将每组观测数据 随机划分为两个部分 和 ，并输入重建网络，得到两个重建结果 和 。我们使用以下观测值域损失函数约束网络产生符合“交叉观测一致性”的结果：

进一步地，如图1（b）所示，为了增强网络的灵活性和泛化能力，使其能够处理任意采样率 和任意采样矩阵 的重建任务，我们对 和 进行随机几何变换（如旋转、翻转等），得到数据增广后的 和 ，然后使用以下图像域损失函数约束网络，使其符合“降采样—重建一致性”：

其中 和