主题词
高光谱图像,多光谱图像,数据融合,非监督学习,动态卷积
随着高分五号和资源一号等卫星的发射，我国在高光谱数据获取方面的能力大幅提升。但是，受到成像系统的限制，卫星高光谱数据的空间分辨率普遍较低，极大限制了其光谱性能上的优势。而空间分辨率相对较高的多光谱数据，由于缺乏诊断性的光谱特征，同样应用受限。
针对上述问题，大连海事大学
于浩洋副教授
联合中国科学院空天信息创新研究院
高连如编委
在《IEEE Transactions on Geoscience and Remote Sensing》发表了文章“Unsupervised hyperspectral and multispectral image fusion with deep spectral-spatial collaborative constraint”，提出了一种基于深度光谱-空间协同约束的高光谱与多光谱图像非监督融合方法，该模型基于非监督学习框架，利用退化模型的思想，设计了消除异源数据间相对辐射差异的处理技术，实现多源数据的有效融合。同时，
文章公开发布了两套国产卫星多源数据集和配套地表覆盖类别参考图像，以推进相关技术方向面向国产卫星数据的深入应用。
题
目：
Unsupervised hyperspectral and multispectral image fusion with deep spectral-spatial collaborative constraint
作者：
Haoyang Yu, Zhixin Ling, Ke Zheng, Lianru Gao, Jiaxin Li, Jocelyn Chanussot
第一作者单位：
大连海事大学信息科学技术学院
关键词：
Dynamic
convolution, hyperspectral and multispectral image fusion, hyperspectral image
classification
, unsupervised deep learning, ZY-1(02D)
引用格式：
Haoyang Yu, Zhixin Ling, Ke Zheng, Lianru Gao, Jiaxin Li, Jocelyn Chanussot. Unsupervised hyperspectral and multispectral image fusion with deep spectral-spatial collaborative constraint. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62, 5534114.
同一区域的高空间分辨率多光谱图像和低分辨率高光谱图像进行融合，可以弥补各自光谱和空间分辨率的不足，获得具有高空间、高光谱分辨率的遥感图像。相较于泛化性能不强的传统空谱融合方法，基于深度学习的方法具备更强的特征提取与表征能力，目前的监督式模型因缺少用于构建训练集的真实双高数据，面向真实场景应用存在较大的局限。非监督式模型围绕退化模型与自适应学习方式展开，无需先验信息，更加适用于批量数据的真实场景应用。然而，异源数据之间受成像时间、大气条件、图像预处理等影响，还会存在辐射差异。因此，需要综合考虑上述问题设计构建有效的多源卫星数据融合方法。
针对以上问题，本研究提出了一种深度光谱-空间协同约束的非监督融合方法(UDS2C2)。如图1所示，该方法是将一组覆盖相同区域的低分辨率高光谱图像（LrHSI）和高分辨率多光谱图像（HrMSI）通过数据融合的方式得到兼具高空间、高光谱特性的（双高）图像HrHSI。具体的设计思路是将输入的一组图像分别通过光谱和空间的下采样模块，并通过分组卷积增强模块(GCE)消除异源数据之间的辐射差异，建立双低图像LrMSI之间的协同约束；再利用生成的LrMSI和原始输入LrHSI自适应地学习光谱上采样过程。再将训练好的上采样模块应用于输入的HrMSI，得到HrHSI，即融合网络输出的双高特性图像。
上述模型中采取的分组卷积增强模块(GCE)的设计基础是SCFConv动态卷积核，其使用了3-D注意力机制和并行策略，可以跨核空间学习卷积核在空间维度、通道维度和滤波器维度上的互补注意力，具体设计示意图如图2所示。
本文一方面在国际通用数据集Houston2018上分别通过光谱和空间退化的方式，构建了仿真异源图像进行了模拟数据实验，进行了融合结果的指标性验证评价。另一方面，本文首次公开发布了资源一号02D（ZY1-02D）卫星获取的两组高/多光谱数据集，即辽宁01（LN01）和辽宁02（LN02）数据集，以及通过现场调查制备的配套地面类别参考验证图像（Ground Truth）。通过结合地表覆盖分类的算法测试，综合评价模型在面向卫星数据真实应用场景的有效性。
数据集介绍说明
（1）
辽宁01数据集（LN01）覆盖区域位于辽宁省大连市金普新区西北部。中心坐标为39.37°N，121.84°E。海水和内陆接壤形成的微型内陆海，地形复杂，地物类型多样，适合作为融合和分类任务的检验，具体情况如图3所示。
图 3
辽宁
01
（
LN01
）
数据
集（
ZY1-02D
卫星拍摄于
2021
年
9
月
）
（2）辽宁02数据集（LN02）覆盖区域位于辽宁省盘锦市辽河口国家级自然保护区，该保护区是中国暖温带最年轻、最广阔、保护最完整的湿地，被列入《湿地公约》国际重要湿地名录。如图4所示，数据选取了保护区内的部分区域，中心点坐标40.936°N，121.774°E，地表覆盖类型以盐沼植被和水体等类型为主。
图 4
辽宁
02
（
LN02
）
数据
集（
ZY1-02D
卫星拍摄于
2022
年
10
月
）
实验结果
围绕Houston2018数据进行的模拟实验结果如表1和图5所示，采用了光谱角相似度（SAM）和峰值信噪比（PSNR）等指标分别评价展示了不同方法得到的融合结果与真实数据之间的计算误差，以及它们之间的残差图像；针对LN01和LN02数据集进行的真实应用实验结果如图6和图7所示，由于现实条件下并无双高数据可用于融合图像的指标性评价，所以根据配套的GT,使用经典的随机森林模型和基于深度学习的3DCNN模型分别进行分类应用测试，通过地表覆盖的分类精度，间接地对不同融合模型得到的数据质量进行可靠性评估和验证。实验结果表明，所提出的方法在模拟数据的融合定量指标评价和真实数据的分类效果评估中均取得了良好的效果。
表 1 Houston2018数据集上不同融合方法的指标评价结果
图 5 Houston2018数据集上不同方法融合结果对应的残差
图 6 LN01数据集不同融合数据结果的分类结果展示（3DCNN）
图 7 LN02数据集不同融合数据结果的分类结果展示（随机森林）
研究结论
本研究提出了一种基于深度光谱-空间协同约束的高光谱与多光谱图像非监督融合方法，该方法采用非监督学习框架，利用了退化模型的思想，设计了消除异源数据间相对辐射差异的处理技术，输入低分辨率高光谱图像和高分辨率多光谱图像输出双高分辨率融合图像。实验结果表明，该方法在模拟数据的融合定量指标评价和真实数据的分类效果评估中均取得了良好的效果。此外，本研究首次公开发布了依托国产卫星获取的两套多源数据集和配套的地表覆盖类别参考图像，可用于数据融合和图像分类等研究方向的应用验证和评价。
声明
欢迎转载、转发本号原创内容，转载信息请与本号联系授权，标注原作者和信息来源为《遥感学报》。
本号转载信息旨在传播交流，其内容由作者负责，不代表本号观点。文中部分图片来源于网络，如涉及作品内容、版权和其他问题，请在20日内与本号联系，我们将在第一时间处理。《遥感学报》拥有最终解释权。
期刊订阅
1.各地邮局订阅：邮发代号82-324；
2.科学出版社期刊发行部：联系电话010-64017032，64017539；
3.网上购买：搜淘宝店、微店店铺名称：中科期刊（订阅及销售过刊）；
《遥感学报》12月新刊热卖中
戳图片
或
阅读全文
立即购买
