面向海岛海岸带区域的高分遥感影像智能化色彩增强方法

原始高空间分辨率海岛海岸带遥感影像往往存在影像灰暗、偏色、地物信息较难辨识的现象。为及时获取清晰、信息丰富、反差适中、亮度均匀的海岛礁遥感影像,满足日益强烈的海岛海岸带地理信息保障需求,针对海岛海岸带高空间分辨率遥感影像,该文提出一种深度学习结合改进直方图匹配的智能化调色方法。首先,进行数据重采样与自适应分块获取抽稀影像; 其次,应用MBLLEN网络对抽稀影像进行真彩色增强; 最后,采用改进直方图匹配的方法对原始影像进行色彩映射,最终得到符合人眼视觉、色彩一致、细节丰富的遥感影像。采用主客观相结合的方式综合评价调色效果,结果表明: 相较于Retinex,HE和MASK等常用调色方法,该文算法结果更符合人眼视觉、色彩一致、细节丰富,可有效改善海岛海岸带高空间分辨率遥感影像视觉效果,较好地保留原始地物的细节信息,大幅提升调色效率。

随着经济全球化、一带一路、发展海洋经济等重大战略实施,我国海洋事业发展对海洋地理信息的服务保障需求从近岸向深远海、国内向全球转变,不但要求更广的数据覆盖空间,而且要求更快的数据获取与处理速度和更强的数据分析能力。海岛海岸带作为陆海交汇地带,是陆海经济区的核心和外海通道,具有重要的生态功能和资源价值。因此,在经济全球化的新形势下,不论是面向自然资源管理,还是全球化发展战略需求,都对海岛海岸带地理信息数据的服务保障提出更高要求。遥感作为远距离观测技术,具有空间覆盖广、时间一致性好、获取周期短等诸多优点,是监测变化速度快且空间范围广的海岸带和可到达性差的海岛礁等目标的重要手段,也是获取高精度空间地理信息的基础。然而,原始遥感影像直方图分布区域往往较窄,影像灰暗,甚至有个别影像存在偏色现象,地物信息较难辨识,且国内外遥感数据源多,因传感器不同、时相不同以及地物光谱存在差异等因素,导致影像成果色彩差异大,影响影像判读准确性和影像图件产品质量 [4] 。因此,如何快速响应海岛海岸带空间地理信息需求,及时获取影像清晰、信息丰富、反差适中、亮度均匀的遥感影像,对于海岛海岸带监测具有重要意义。

遥感影像的色彩增强技术主要解决由光学透镜成像的不均匀性、光照条件和大气条件等造成的影像内部亮度和反差不均匀的问题。传统的色彩增强方法包括基于直方图均衡化方法、基于Retinex理论对光照估计区域增强的方法、MASK算法、Wallis算法、Retinex方法和同态滤波方法等。其中,基于直方图均衡化方法主要包括直方图均衡化(histogram equalization,HE),动态灰度直方图均衡(dynamic histogram equalization,DHE),不同区域/块的直方图均衡(block-based or bandwidth preserving DHE,BPDHE)等,该类方法通过对单个像素进行优化达到整体亮度和对比度提升,但是会忽略区域像素之间的关联导致细节信息被破坏; 基于Retinex理论对光照估计区域增强的方法主要包括单尺度(single scole Retinex,SSR),多尺度Retinex(multi scale Retinex,MSR),单幅图像反射与光照估计(single image reflection and illumination estimation,SRIE),局部可解释模型(local interpretoble madel-agnostic explorations,LIME)和中值滤波(median filter,MF)等,该类方法通过从图像光照信息中恢复图像亮度和颜色信息,考虑了图像区域特征的关联性,但对于不均匀光照会造成颜色失真伪影现象; MASK算法、Wallis算法和小波变换等方法则无法同时对影像进行亮度、对比度的增强和伪影去除、降噪等多种处理,想要得到更加符合人眼视觉特性的调色效果往往需要多种方法的组合重构,算法复杂度高,鲁棒性低。王密等 [12] 提出的MASK匀光算法取得了较好的效果,但是只适用于单张航空影像的调色; 袁修孝等 [9] 采用扩张吞噬算法改进MASK算法,以减小灰度变化剧烈区域的灰度失真问题; 李德仁等利用Wallis滤波的方法使影像不同区域的亮度一致,但该方法可能会破坏影像的层次感; Orsini等和Lam等 ] 采用Retinex方法处理影像亮度反差不一致的问题,但该方法对于反差分布不均匀的影像处理效果并不理想; Seow等采用同态滤波的方法削弱影像低频信息增强影像高频信息,但该方法对于彩色影像处理效果欠佳。值得注意的是,上述遥感影像色彩增强技术解决的都是单独影像内部色差问题,没有考虑相邻影像地物色彩的对应关系,导致影像间可能会存在色彩差异,对影像后续处理产生干扰。

目前,海岛海岸带监测常用的高空间分辨率遥感影像数据包括WorldView系列、ZY系列和GF系列等,这些数据具有单景覆盖区域大、海域分布广、地物相对简单等特点,多数影像存在亮度低、色彩不均衡、时相差异显著等问题。常用的调色方法主要借助PS等专业图像处理软件,由作业员根据个人经验和先验知识,采用拉伸处理、曲线调整等方法人工完成色彩调整,调整后的影像虽然色彩层次分明、目视效果佳,但是往往会造成色彩细节损失,且费工费时、劳动强度大,存在一定的主观性 [7] 。随着遥感影像空间分辨率提高和动态监测需求增强,遥感影像数据量呈几何级数增加,给传统的人工处理方法带来巨大挑战。深度学习具有端到端训练优势,可以整体处理影像的低照度、低对比度、噪声、伪影等问题,不需要分步处理,且能够保持多幅影像增强后的色彩统一,可以大幅提升遥感影像调色效率,使高空间分辨率遥感影像自动化批量调色成为可能。目前基于深度学习的色彩增强模型主要有LLNet,LLCNN,Retinex-Net,MBLLEN,DRBN和RRDNet等。

本文针对海岛海岸带高空间分辨率遥感影像,提出了一种深度学习结合改进直方图匹配的智能化调色方法。该方法首先通过数据重采样与自适应分块获取抽稀影像; 然后应用MBLLEN网络对抽稀影像进行真彩色增强; 最后采用改进直方图匹配的方法对原始影像进行色彩映射; 最终得到符合人眼视觉、色彩一致、细节丰富的遥感影像产品。

研究区选择琉球群岛冲绳群岛中的大型岛屿久米岛(图1)。久米岛位于西太平洋的第一岛链,四周环海,西北距中国大陆直线距离约571 km 2 ,西距中国赤尾屿直线距离约217 km,西南距中国台湾岛直线距离约为498 km,是日本极具战略意义的岛屿之一。岛屿总面积约59.11 km 2 ,周长约53.31 km,岛上分布有居民地、耕地、沙滩、植被、岩石、道路,地物类型十分丰富,具有鲜明的海岛海岸带区域地理特征。

研究数据选择WorldView-2卫星遥感影像数据,其中包括1.85 m空间分辨率的多光谱影像和0.46 m空间分辨率的全色影像。多光谱影像包含Red,Green,Blue,NIR1,RedEdge,Coastal Blue,Yellow,NIR2共8个波段。选定的研究区范围包含相邻4幅WorldView-2数据,以其作为实验数据来进行调色对比实验。为保证实验效果,调色处理前对影像统一执行辐射校正、FLAASH大气校正和几何纠正等预处理。

针对海岛海岸带高空间分辨率遥感影像数据特点,研究方法主要分为3个步骤: 首先,基于大幅宽、大数据量的遥感影像特性,对原始影像进行下采样和自适应分块,获得抽稀影像,以降低影像数据量; 然后,应用MBLLEN网络对抽稀影像进行真彩色增强与拼合,获得增强后的抽稀影像; 最后,采用混合直方图匹配对原始影像进行色彩映射,并对色彩增强后的抽稀影像进行上采样复原,结合复原后的影像对混合直方图匹配后的影像进行色阶补偿,得到符合人眼视觉、色彩一致的高空间分辨率遥感影像。具体流程如图2所示。

由于高空间分辨率遥感影像的幅宽广、数据量大、地物分布不均匀,工程化应用过程中直接对原始数据进行色彩增强处理不仅耗时耗力,而且对计算机性能要求极高。为此,针对海岛海岸带遥感影像进行一定比例的下采样抽稀处理,并根据重采样比例进行影像的自适应分块(图3)。该方法可以在压缩数据量的同时保留原始色彩信息,提高影像调色效率。

经过前面2个步骤实现了抽稀影像的真彩色增强,接下来的关键是如何将该结果映射到原始遥感影像上,以间接实现对高空间分辨率遥感影像的调色。传统的直方图匹配方法可以将原始影像灰度值范围映射到指定的灰度直方图上,使原图的直方图变成指定形状的直方图以实现色彩映射。然而,由于色彩突变问题的存在,直方图匹配后的影像容易出现颜色分块失真和过曝问题,尤其是对于影像上存在大范围海水的海岸带海岛礁遥感影像,失真色块和噪点现象更为突出。本文采用混合直方图匹配结合色阶补偿的方法进行色彩映射,可以有效弥补直方图匹配过程中造成的色彩损失,实现抽稀影像增强色彩在高分辨率影像上的高度复现。

目前常用的影像评价指标通常基于影像的特征进行计算,主要有均值、信息熵、标准差、平均梯度、信噪比、均方差等,影像灰度均值可以表征图像的整体亮度,标准差可以反映影像的整体反差,信息熵和平均梯度分别用来表征影像信息丰富程度和影像清晰度,峰值信噪比和结构相似性表示与原影像的相似程度。为了全面对比不同算法的调色效果,本研究结合海岛礁遥感影像特点,选用均值、标准差、变异系数 CV 、峰值信噪比 PSNR 、信息熵 H 等指标定量评价影像的色彩质量,并采用色彩丰富度 C 定量衡量调色后影像的丰富程度。

根据实验采用的硬件性能,确定模型最大输入尺寸为2 048像素。采集原始影像最小感兴趣地物色彩单元,类别主要包括建筑物、交通设施、土地等(图5),对地物色彩单元进行尺寸统计,根据公式求得实验数下采样比例为1/8,输入MBLLEN的尺寸为512像素×512像素。

基于PASCAL VOC数据集,对MBLLEN进行训练,训练时模拟弱光条件合成的影像作为标记影像。原始影像与合成的弱光照影像组成数据对,模拟弱光的条件分别为: Gamma矫正和Peak值为200的Poisson噪声,进行网络端到端的训练,得到训练后的模型。将重采样之后的影像导入训练好的MBLLEN模型中,得到真彩色增强后的结果,并对输出结果进行地理信息恢复,处理过程如图6所示。

从图6中可以看出,基于MBLLEN的弱光增强网络可以同时进行亮度、对比度增强,可以有效避免多种不同增强算法叠加的不稳定,减轻在参数选择中对经验值的依赖,具备更好的普适性,针对含有大片水域的海岸带岛礁影像,其水域色彩也能保持整体一致,偏色现象较少。

首先采用混合直方图匹配对单景原始影像进行色彩映射,然后对抽稀后的真彩色增强影像进行8倍上采样,获得与原始影像尺寸一致的复原影像,最后利用复原影像对色彩映射影像进行色阶补偿和细节信息增强,并对调色结果进行拼接,得到最终调色影像,并选取4块地物类型丰富的矩形区块,计算结果影像中矩形区域部分RGB3波段的直方图与累积频率,比对色阶补偿前后影像色彩效果。调色前后结果对比如图7所示。区域1色阶补偿前后影像及直方图如图8所示。

从图8中可以看出,利用传统直方图匹配方法获得的复原影像,房屋等部分地物出现色彩畸变,直方图累积频率曲线出现锯齿状,部分灰度被淹没,存在一定的色阶损失,而利用色阶补偿方法处理后的影像,其效果明显优于传统直方图匹配结果,在完成色彩映射的同时保留了影像的色彩细节信息。

为了定量评估色彩增强后的影像质量,以验证本文算法的有效性,本文选用Retinex,HE和MASK这3种常用调色算法进行对比,并采用主客观评价相结合的方式对调色结果进行评价。各方法调色结果如表1所示,整体影像为4幅影像拼合后的影像,区域1-4为图7中的4个典型区域。

表1 不同方法调色结果对比

研究选用10名有经验的遥感影像调色专业人员对影像调色结果进行主观目视评价,主要观察: ①影像中的房屋、道路是否存在过饱和现象; ②海水、林地等是否存在严重的色彩畸变; ③裸露的岩石、土地等是否存在色调不一致、过度曝光现象。综合所有人员的评价结果得出以下结论: Retinex算法调色影像中海水存在严重色彩畸变,大片林地颜色过暗; HE算法调色影像中海水颜色过浅,房屋、道路出现过饱和现象; Mask算法调色影像过暗,亮度低,地物无法清晰辨别; 本文算法调色影像目视效果良好,拼合后的整体影像不存在拼合处色彩跳变和相同地物色彩不一致的现象,较之其他3种算法具有明显的优越性。

采用2.4节的指标对各算法调色结果进行定量评价,各指标统计结果如表2所示。

表2 不同算法调色结果评价指标统计

通过分析各指标数据,可以看出: 影像亮度方面,HE算法均值较高,较原始影像提高了4倍以上,峰值信噪较低,偏高,表现为影像上海水、林地等大片地物出现过度曝光情况; Mask算法和Retinex算法均值偏低,峰值信噪比偏高,表现为与原始影像最相似,整幅影像偏暗,地物无法清晰辨别; 本文算法均值和峰值信噪比适中,在提升影像亮度的同时尽量保持了与原始影像的一致性。影像色彩方面,Mask和Retinex算法标准差和色彩丰富度较低,表现为影像色彩较为集中,对比度较低,颜色不够丰富; HE算法标准差较之本文算法较高,反差对比更加明显,但是色彩丰富度不及本文算法。影像细节方面,本文算法变异系数和信息熵明显高于其他3种算法,说明本文算法信息更丰富,细节损失更少。

面向自然资源管理和全球化发展战略的地理信息保障需求,针对海岛海岸带高空间分辨率遥感影像,提出了一种基于深度学习结合改进直方图匹配的智能化调色方法,并采用主客观相结合的方式综合评价其调色效果。主要结论如下:

1)针对不同业务需求,基于最小感兴趣地物单元确定影像下采样比例,通过对抽稀影像的真彩色增强,间接获取原始高分辨率调色结果,大大缩减了影像调色时间。

2)采用混合直方图匹配将增强后的抽稀影像与原始影像进行色彩映射,通过去噪和映射曲线优化来消除传统直方图匹配存在的过度曝光和色块问题,并通过复原影像进行色阶补偿,使原始影像经过映射后色彩更真实细腻。

3)与Retinex,HE和MASK等传统调色方法相比,本文算法不仅有效提高了影像亮度和对比度,而且较好地保留了原始地物的细节信息,显著提高了影像的色彩质量。

下一步,将基于本文算法继续开展优化设计,并探索将其在高空间分辨率航空影像或其他地物类型区域的适用性。 （原文有删减）