摘要:
红外探测技术具有探测距离远、抗干扰能力强、隐蔽性强和全天候等优势在天基预警、末敏弹制导等领域得到了广泛应用。通过红外成像技术能够得到目标图像从而对目标进行预警、识别和跟踪。在实际场景中,目标图像往往所占像素比例小,信号强度低,容易湮没在背景图像中;背景图像变化剧烈,存在较强的结构信息、边缘和噪声,红外图像信噪比低,目标检测难度较大,一直是目标检测领域的研究难点和热门话题。为提高红外图像弱小目标检测能力,大量的弱小目标检测算法被提出。现有的主流的检测手段根据图像数据检测方式分为单帧检测和多帧检测两大类,多帧算法依赖大量的图像数据支撑,响应周期长,应用潜力低,而单帧检测算法凭借复杂度低、时效性强、便于硬件实现等特点,被广泛应用在高速运动目标检测、预警等领域。
因此本文以单帧红外弱小目标检测算法为主体,从技术方向入手,着重阐述了基于滤波、基于对比度与显著性分析、基于数据优化和深度学习四类单帧弱小目标检测算法的原理与近年来的典型应用,通过仿真试验和算法复杂度对比了不同算法的性能、优势和不足,总结了弱小目标检测算法的研究现状并对本领域的发展趋势进行了展望。本文的工作能帮助读者快速了解本领域的研究现状,为研究人员提供参考。
01 引言
红外搜索与跟踪(Infrared Search And Track, IRST)系统的探测依据是前景目标和背景物体的温度不同,产生的红外辐射强度不同。依赖于材料和光电技术的发展,从最初的热电偶探测器到热成像仪,红外探测器的灵敏度、波长响应范围、分辨率和工作范围等性能都得到了显著提升。红外探测系统常用于与国防安防等领域,所针对的多为非合作目标,由于无法提前获取目标意图,IRST系统有必要尽可能早、尽可能远地对其进行预警。
由于红外探测系统的广泛应用,大量的无人机、浮空器等“低小慢”航空器目标出现在红外探测视野,这些目标在采集的图像中往往具备如下特点:
(1)目标能量弱:目标信号经过长距离衰减,探测器能够接收到的信号强度低,与强干扰背景信号强度的对比度较小,常常容易湮没在背景信号中;
(2)目标形态小:由于成像距离远,目标在图像中仅占据少量像素点,无纹理结构信息;
(3)图像背景复杂:通常来说,目标所处环境中存在大量的干扰物体,在图像中容易产生边缘、角点等干扰信息,增加弱小目标的检测难度。因此如何快速、鲁棒地对红外图像中的弱小目标进行检测是目前IRST系统的核心问题。
红外弱小目标检测根据单次检测数据数量可以分为多帧检测和单帧检测。多帧检测的主要依据是序列图像中弱小目标的运动连续性以及噪声的运动随机性,通过对疑似运动路径的识别从而达到弱小目标检测与随机噪声剔除目的。单帧检测的主要依据是弱小目标在图像中的数据特征信息。在实际应用场景中,目标往往处于动态背景当中,相较于静态背景,多帧算法的检测性能会下降,尤其是时效性会大大降低,而单帧检测算法不需要考虑背景的运动,时效性远强于多帧检测,在天基预警、空空对抗等需快速响应的领域具有重要意义,加之单帧检测算法通常设计简单,其检测结果也可以作为多帧检测的基础模块,近年来单帧检测受到了大量的关注与研究,因此本文以单帧检测的不同技术手段作为着手点,阐述了不同技术手段的检测实现原理与固有优缺点,仿真了部分代表算法,比较了不同算法的检测性能,总结了目前基于单帧检测的发展现状并对发展趋势进行了展望。
02
单帧红外弱小目标检测算法
按照处理技术手段的不同,目前所使用的单帧红外弱小目标检测算法大致可以分为如下三类:
(1)基于滤波的检测方法:其中根据滤波处理域的不同又可以分为空域滤波、变频域滤波和形态学滤波三类;
(2)基于人类视觉对比度机制与显著性分析的检测方法:目前主要包括局部对比度分析和显著性分析两种;
(3)基于数据优化的检测方法:根据背景来源以及复杂程度可以采取单子空间和多子空间两种处理方式,如图1所示。
图1 单帧检测技术
滤波法主要以目标与背景在空域或变换域的数据特征不同为依据选择性的去除非目标像素,从而实现目标检测。对红外图像中的目标进行检测可分为空域滤波、变换域滤波以及形态学滤波三类方法,滤波过程如图2所示。
图2 滤波法流程图,(a)空域滤波,(b)变换域滤波,(c)形态学滤波
2.1.1 基于空域滤波的红外弱小目标检测算法
空域滤波主要是利用弱小目标与背景在红外图像中局部灰度值特征差异,直接在原始图像上进行滤波运算对背景进行估计,然后通过背景图像与原始图像的差分得到弱小目标图像。如式(1)所示:
其中I、It分别为原始图像、预估背景图像和目标图像,*为滤波操作,K为滤波器,[i,j]为像素的坐标。
早期的空域滤波算法为基于一些经典滤波器设计窗口去遍历原始图像进行背景估计。例如中值滤波[1]以及最大均值滤波算法[2],这两种算法通过使用邻域内像素计算中心像素预估背景,可以在不破坏图像的结构信息情况下去除图像中的噪声与干扰,对于简单场景下的弱小目标可以得到较好的检测效果,后者相较于前者能保证背景边缘信息情况下优化计算量,且提高了信杂比,但两者泛化能力较差且检测效果受窗口大小影响,对于弱小目标的检测效果不理想。文献[3]考虑到弱小目标的各向同性,将高斯差分滤波器(Difference Of Gaussian Filter, DOG)表示为极坐标形式,设计了对方向敏感的扇形滤波模板,然后取8个方向上的最小值作为输出,有效地去除了边缘对弱小目标检测的影响。文献[4]发现滤波器方向的不同会导致不同的预测误差,于是通过增加左向滤波器去除边缘的影响。文献[5]使用相同的模板预测图像块的8邻域块中心像素点的像素值,然后使用得到的8邻域块的中心预测值预测当前图像块中心值。文献[6]加入预测像素块8邻域块的边缘信息,降低了云边缘弱小目标检测的影响,同时通过邻域图像块的预测值自适应地调整迭代步长,提升了算法速度。
考虑到传统的维纳滤波主要适用于均匀灰度背景,鲁棒性差,文献[7]提出了一种通过迭代自适应估计背景的二维最小均方(Two Dimensional Least Mean Square, TDLMS)滤波器。文献[8]将TDLMS滤波器应用到弱小目标检测,该算法通过邻域内的像素点估计当前点像素值,计算估计图像与期望图像之间的偏差更新权重矩阵,自适应迭代进行目标增强,达到检测目的。但自适应因子的选取会影响算法的性能,适当的值会产生少量边缘失真的图像,在处理高亮噪声、强边缘结构干扰效果较差。
随着研究的深入,研究人员将更多的图像信息引入到弱小目标检测当中,文献[9]发现仅以像素的差异作为可分性特征会在前景图像中保留大量的边缘噪声,因此,作者同时考虑像素点的空间距离和像素值差异,提出了双边滤波,尽可能将边缘信息保留在背景图像中,但单一的滤波窗口限制了其场景适应性。于是文献[10]在其基础上,在使用双边滤波器时增加了一个内外层的滤波器模板,并且结合巴氏高通滤波器去除图像中的低频部分,具有较好的弱小目标检测效果。文献[11]考虑到目标中心邻域像素的灰度值与中心像素的灰度值相近,传统双边滤波可能会造成目标漏检的问题,提出了一种背景相关因子调节权重的改进双边滤波算法,通过降低目标背景相关性、抑制目标灰度值来获得更真实的背景图像,降低了算法漏检率。文献[12]分别在时间和空间两个维度上使用双边滤波器,利用空间邻域图像块的方差以及时间序列上的方差构建映射函数,自适应地生成不同图像区域的标准差从而达到保留边缘的效果。文献[13]使用全变分模型对图像序列背景进行预测,然后在相应的序列图像中减去预测的背景,得到减法图像。最后,利用时间对比度滤波器与减影图像的乘积,对目标进行检测。文献[14]考虑到目标中心邻域像素的灰度值与中心像素的灰度值相近,传统双边滤波可能会造成目标漏检的问题,提出了一种背景相关因子调节权重的改进双边滤波算法,通过降低目标背景相关性、抑制目标灰度值来获得更真实的背景图像,提高了算法检测性能。
2.1.2 基于变换域滤波的红外弱小目标检测算法
变换域的主要思想是将待检测图像通过映射变换投影到变换域上,利用弱小目标和背景在变换域上呈现出的特性不同实现弱小目标检测。基于变换域滤波算法可以表示为:
f为原图,
表示为一种映射到变换域的数学方法及其逆运算,
为检测出的弱小目标图像,H为变换域上的滤波器,*为变换域滤波操作。
TANG等人[15]将原始图像映射到频域中后,发现弱小目标占高频部分,平滑灰暗背景占低频部分,基于此提出了一种基于频域滤波的目标检测算法,通过原始图像与低通滤波器预估背景图像差分后可获得目标图像。但此算法对一些边缘结构,拐点也很敏感,低通阈值的选择限制了算法的检测效果。文献[16]发现利用傅里叶变换的相位谱可以在突出类高斯弱小目标的同时抑制条带噪声,然后将四元数傅里叶变换引入到弱小目标检测当中,利用facet模型求取四个方向上的二阶导数构建四元数,最后重建目标图像。文献[17]首先使用基于平稳小波变换的方向检测提取目标的潜在位置,然后潜在目标位置采用自交叉验证和预测校正算法确定目标的精确位置。文献[18]通过傅里叶变换,将图像序列在时间轴上进行1D傅里叶变换,在图像平面进行2D傅里叶变换,然后通过硬阈值保留图中的背景结构,使用差分方法得到目标图像,再将得到的运用能量积累确定目标位置。文献[19]首先使用低通滤波器对图像进行平滑处理,然后将图像分为多个子图块,对每个子图块搜寻最大值作为种子点使用区域生长方法,最后使用阈值分割确定目标位置。
2.1.3 基于形态学的红外弱小目标检测算法
形态学滤波是一种建立在格论和拓扑学基础之上的非线性滤波方法。通过以结构元素为内核在内核区域集合运算获得中心像素的方式进行目标检测和背景抑制。主要包括膨胀、腐蚀、开运算和闭运算等基本运算。选择合适的结构元素利用基本运算或运算组合可以有选择性的去除图像中某些区域,提取弱小目标。
Top-Hat滤波器[20]是形态学滤波最具代表性的,其主要思想是通过开运算消除图像较亮的部分,将原图与开运算处理后结果进行差分可以获得目标图像。但此算法无法处理缘杂波,因此文献[21]提出了一种新型的Top-Hat滤波器,通过构建环形新的结构元,在进行开闭运算时分别使用半径不同的结构元,降低了对边缘杂波的敏感性。文献[22]在环形结构元Top-Hat滤波的基础上,利用局部信息熵以及M估计方法确定结构元尺寸,增强了算法对多尺度目标的鲁棒性。文献[23]通过分析海平面红外弱小目标的特点,定义了8个方向不同的结构元素,然后根据弱小目标的时域连续性以及空域紧致性,构建了三个不同的特征图,通过特征图的融合对弱小目标进行检测,降低了对图像中边缘干扰的敏感性。文献[24]则将击中击不中变换应用到红外弱小目标检测当中,使用前景和背景两个结构元,利用前景结构元收缩亮点区域,然后使用背景结构元平滑图像,利用二者的差值对红外目标进行增强。文献[25]使用Top-Hat对图像进行预处理,然后使用网格划分法将图像分成多个子图像,对每个子图像进行峰值搜寻,然后使用灰度面积增长法检测候选弱小目标区域,通过阈值分割对弱小目标进行检测。
2.1.4 基于滤波算法对比
如图3为测试了中值滤波(Median Filter)、最大值滤波(Max-Mean)、低通滤法(Low-Pass Filter, LPF)、双边滤波(Bilateral Filter)和Top-Hat五种算法的目标检测性能。滤波法直接根据目标与背景的空域或变换域特征差异,利用卷积或相关手段实现对目标增强与背景抑制。但通常背景边缘在空域、变换域与目标具有相似的特征,可以从中看出,传统滤波算法都无法很好的抑制边缘杂波干扰。图中中值滤波法在处理背景复杂的图像时,大量轮廓信息无法滤除检测效果差;Max-Mean背景的纹理信息的抑制效果相较中值滤波法有很明显的提升。双边滤波考虑了灰度特征和分布特征的共同影响,更好保留了背景的边缘信息,边缘抑制能力加强。空域滤波算法受限于窗口的尺寸形状选择,尺寸过大拟合出的背景模糊失去边缘信息,窗口过小无法覆盖目标像素。变换域滤波通过映射思想检测目标,相较空域更加突显目标与背景的特征差异,提升了检测性能。但变换域滤波比较依赖阈值的选择,频域滤波在处理单一背景图像时,滤波效果明显,在处理树林、云层等复杂背景图像阈值选择难度大,检测效果不理想。形态学滤波算法可以有选择性的抑制图像的某些特征信息,但检测效果依赖于结构元素的构造,鲁棒性差。
图3 基于滤波算法仿真
2.2 基于视觉对比度分析与显著性分析的红外弱小目标检测算法
人类视觉系统(human visual systems,HVS)特有的对视觉显著性区域快速反应的选择性机制在进行弱小目标检测时具有较好的鲁棒性,因此一些视觉系统的理论机制被引入到弱小目标检测,大量的红外弱小目标检测算法被提出。此类算法主要是通过分析目标像素与邻域像素之间的灰度值、梯度等特征的差异,实现目标增强和背景抑制的目的,流程如图4所示。
图4 视觉理论算法流程图
2.2.1 基于显著性分析的红外弱小目标检测算法
文献[26]使用三层窗口遍历图像,通过计算内层窗口与外层窗口的方差差值构建空间著性图,然后使用时域灰度映射构建时域显著性图,最终融合两张显著图对目标进行检测,能够有效地提取低空慢速弱小目标。文献[27]为避免多尺度运算导致算法复杂度提升和图像区域交叠使目标漏检,提出基于三层模板的局部差异度量算法(tri-layer template local difference measure, TTLDM)。使用单一尺寸的三层模板遍历原始图像就能获得显著性图,提高了复杂背景弱小目标检测的实时性。WANG等人[28]发现现有算法在处理信杂比低,目标所占像素少,缺乏纹理信息,背景纹理丰富的问题时会出现虚警、适应性差和鲁棒性弱等问题。为改良不足,提出了一种基于模板滤波和显著性提取的弱小目标鲁棒检测算法。首先通过空域滤波以后对目标进行增强,得到加权灰度图,对加权灰度图进行目标检测同时使用傅里叶相位谱生成频率显著图对图像中的弱小目标进行检测,对两种方法得到的检测图进行融合后使用自适应分割得到目标,进行目标像素之间的位置分析后去除虚警点。文献[29]提出了一种红外弱小目标快速显著性检测方法,该方法使用Facet模型构建卷积核对图像进行高通滤波处理,然后对处理以后的图像进行平方增强,最后通过平滑消除图像噪声后使用自适应分割检测目标。文献[30]首先使用高斯滤波器在空域对图像进行平滑然后进行差分处理去除均匀背景干扰,然后再利用二维傅里叶变换提取视觉显著性区域对变换后的图像的振幅谱进行抑制去除高亮背景对检测的影响,然后通过快速傅里叶逆变换(Inverse Fast Fourier Transform, IFFT)得到目标位置,最后根据自适应局部对比度(Adaptive Local Contrast Method, ALCM)方法进一步去除虚警目标。文献[31]对于处理以后的图像使用Facet核进行滤波处理,然后根据跨窗口标准差计算局部异质性,再结合低秩表示的结果构建目标的显著性图,通过自适应阈值分割能够很好地得到海平面弱小目标检测效果。文献[32]通过分析图像的相位残差谱提取显著性图像,然后根据显著性图提取兴趣区域,生成掩膜图像,最后根据形态学重建以及背景减除方法检测弱小目标。文献[33]首先通过局部灰度差异值以及全局梯度值通过非线性变换生成图像的空间显著性图,然后根据帧间的差分信息建立时间显著性图,提出了一种自适应的显著性图融合方法对时域跟空域显著性图进行融合实现对目标的检测。
2.2.2 基于局部对比度分析的红外弱小目标检测算法
局部对比度是直接应用于图像的灰度,通过分析目标区域在局部区域中很明显,文献[34]首先提出了一种基于局部对比度(Local Contrast Measure, LCM)的红外弱小目标检测算法,算法计算中心图像块最大灰度值的二次方与8邻域图像块的均值对弱小目标进行增强如图5所示。
图5 局部对比度分析示意图
其中a为待处理图像,w为滑动窗口,t为目标可能所在区域,b为w窗口等分进行邻域划分。局部对比度求解过程如算法1所示。
算法1 求解局部对比度
局部对比度越大出现弱小目标的概率越大,此算法在噪声干扰较低的情况下具备较好的检测效果,但是对于高亮噪声、云边缘的干扰抑制效果较差。文献[35]考虑到差分定义局部对比度能有效抑制高亮背景,但无法增强目标;比值定义局部对比度能增强目标,但无法抑制高亮背景,提出了一种基于局部对比度(Relative Local Contrast Measure, RLCM)利用中心块与邻域块的均值比值构建中心块增强因子,降低了对边缘的敏感性。文献[36]使用一种比值差值结合的局部对比度计算方式,然后根据目标、背景以及两者之间的差异特性构建权重函数,能够很好的抑制随机噪声。文献[37]利用高斯下采样表示局部窗口的灰度特性,且提前根据弱小目标的局部极大值特性消除大量背景干扰,提高了计算效率,最后结合高斯多尺度对比度结果检测目标。为通过简单的自适应滤波准确快速的分割目标,文献[38]提出了一种多尺度的局部对比度方法(Multiscale Patch-Based Contrast Measure, MPCM),MPCM表示像素属于目标区域的概率,通过计算不同尺度下局部对比度的值,通过自适应阈值增强目标和抑制背景。此算法增强了算法对于目标大小变化的鲁棒性,且削弱了正负高斯拉普拉斯滤波(Laplacian Of Gaussian, LOG)的边缘响应,但是检测精度受限于阈值的选择,计算过程中相关参数的估计需要一定的先验信息。文献[39]使用改进后的局部熵对多尺度局部差异对比度进行加权,消除了云边缘对目标检测的影响。文献[40]仿照空间局部灰度值差对比度建立的方法在像素时间轴上构建时间局部像素值对比度机制,综合时间对比度和空间对比度建立时空对比度来实现对弱小目标的检测。文献[41]根据弱小目标的成像特性,对中心图像块采用高斯滤波对目标进行增强,对于邻域图像块,则使用均值滤波器以及标准差滤波器处理尽可能平滑噪声,对处理后的图像使用局部对比度机制处理检测图像中的弱小目标。文献[42]首先在高斯空间确定每个像素点的局部窗口大小,然后计算差值对比度与比值对比度检测弱小目标。文献[43]使用多个滤波器对图像进行预处理,然后使用随机游走算法(Random Walker, RW)对去除预处理图像的部分背景杂波并提取不规则目标,然后根据RW算法标记的概率值计算对比度,获取低对比度目标。文献[44]通过正负高斯拉普拉斯滤波(Laplacian Of Gaussian, LOG)检测疑似目标区域,然后根据多尺度下的灰度差值对比度去除疑似目标区域。文献[45]利用图像的高频信息与局部最大值获取候选目标点,然后根据目标的灰度下降和局部梯度分水岭特征,计算每个候选目标点的对比度提取目标。
单层对比度机制在面对背景与目标对比度不高或背景复杂时,特别是海天背景下,存在大量的噪声和杂波影响,现有算法检测结果虚警率偏高,同时为降低目标检测在复杂背景边缘和拐点误检率,文献[46]提出了一种基于双层窗口的局部对比度算法(Double Window LCM, DLCM)。通过两个背景系数获得背景子窗所在的区域信息,再利用滑窗定义拐点惩罚系数,两个窗口共同构成图像的局部先验信息,降低了目标检测的误检率。文献[47]提出了一种改进的双层对比度机制方法,同时采用汉宁窗对第一层进行加权,同时融合8方向梯度图对目标进行增强,最后通过奇异值分解去除高亮噪声的影响。韩等人[48]为针对复杂背景和低信杂比条件下的红外弱小目标检测提出了一种三层的局部对比度方法。该方法设计单一尺寸的三层嵌套窗口,中间层用于捕获目标主要元素,最外层用于捕获背景元素,中间层用于目标和背景的隔离和过渡,只要目标尺寸不超过中间层大小,即可利用单一尺寸窗口实现对不同尺寸大小目标的检测。该方法相较于多尺度对比方法算法计算量小、实时性强。但由于最外层采用最接近原则,当目标和边缘另一侧亮度相当时目标会被抑制,因此该算法在处理目标靠近高亮背景的图像时效果不理想。鲁等人[49]为解决传统算法在处理复杂背景弱小目标检测低检测率和高虚警率的问题提出了一种改进的加权增强局部对比度(Improved Weighted Enhancement Of Local Contrast Measure, IWELCM)算法。首先,构建嵌套窗口,通过计算中心块和八方向背景块的局部对比度来抑制背景那个边缘;其次,基于弱小目标特征和目标与背景之间的统计差异提出块灰度比概念,计算像素的加权函数;最后,通过多尺度和最大池化操作得到最终的IWELCM达到检测目的。此算法在明亮的云层边缘背景和灰暗目标背景效果显著,但当背景存在强干扰时一些强干扰会无法得到很好的抑制。
2.2.3 基于视觉显著性算法对比
图6为LCM、MPCM、RLCM和DLCM四种算法仿真结果对比,基于视觉显著性检测算法能够在目标纹理特征不明显时较好地提取出目标所在区域,再通过阈值分割等方法结合进行弱小目标检测。LCM法主要利用目标灰度值较邻域灰度值大的特点进行目标增强,同时噪声也会过增强,降低检测效果。MPCM法优点在于能够容易把弱小目标从背景中抽离出来,对于较暗的目标仍有良好的检测能力,但是受到云层、树林等杂波影响较大,鲁棒性差。RLCM法不需要预处理消除高亮背景和边缘杂波干扰,能够实现复杂背景下不同目标的检测,鲁棒性好。DLCM法可实现对不同尺寸弱小目标的检测,杂波抑制能力强,鲁棒性强,检测效果最好。现有的方法大多从算法层面糅合加以改进,并不能从原理层面更好的有机结合图像信息。同时也不用仅限于局部对比度可以通过引入更多信息(局部信息熵[50]等)作为加权函数或融合等手段改进提高算法性能。
图6 基于视觉显著性算法仿真
2.3 基于数据优化的红外弱小目标检测方法
由前面的分析可知,红外弱小目标往往向周围空间辐射大量的能量,在图像上呈现为突兀的光点,在图像中具有稀疏特性而背景像素之间差异一般较小,像素之间的关联性较强,具有低秩性。因此基于数据优化的方法从背景与目标的两种不同特性入手,构建相应的优化模型并解,对背景与目标图像进行分离,从而达到检测弱小目标的目的,如图7所示。
图7 数据优化检测流程图
2.3.1 基于单子空间数据优化的红外弱小目标检测算法
GAO等人[51]考虑到在IRST系统中传感器常处于运动状态,这种场景下生成的红外图像背景不会一成不变,目标也会因运动存在不连续性。目标的类型,环境的干扰都可能造成目标的灰度不满足二维正态分布,同时目标的尺寸也会影响算法的检测性能。为解决传统算法的不足提出了一种(Infrared Patch-Image, IPI)模型:
其中
是原始图像,
是目标图像,
是背景图像,
是噪声图像。通过分析背景的灰度强度变化平稳, 在灰度空间分布具有较大的相关性可将背景图视为低秩矩阵, 目标所占像素比例小可将目标图视为稀疏矩阵, 目标检测工作转化为从原始图像中最优的分解出一个低秩矩阵和一个稀疏矩阵:
为矩阵所有元素平方和再开方,
。
.为矩阵的奇异值之和,
为矩阵所有元素的绝对值之和, 为了更好的估计背景将模型转化为:
是非负权重,取值不定。该模型通过遍历图像,将每次取得的图像块向量化构建原始矩阵,最后通过加速近端梯度算法(Accelerated Proximal Gradient, APG)求解矩阵的奇异值,该方法能较好地提取图像中的弱小目标,但对边缘、角点敏感,使用矩阵求逆耗时较长。文献[52]利用局部结构知识,使用转向核和协方差对每一个Patch构建权重。文献[53]首先使用引导滤波方法对原始图像进行处理,使用处理的得到的图像构建Patch模型,然后使用奇异值部分求解背景图像达到分离目标的目的。考虑到背景的不均匀性、非平滑性,文献[54]引入全变分正则化项对背景中的边缘结构进行保留,该算法能够在各种场景下都有良好的性能,能够较好的估计背景,这种估计还能进一步应用到运动检测、图像配准等方面。文献[55]对图像进行度多尺度分解,构建多尺度Patch池,计算池中的每Patch的自适应权重,实现多尺度下的目标—背景分离,最后,通过模板匹配相似性度量的阈值分割实现红外弱小目标的检测。文献[56]使用背景张量的核范数代替张量的秩,同时使用原始图像的结构张量特征值构建自适应权重。Sun等人[57]分析了图像块的形状、大小和数量的最优参数原理,提出了一种高效的多尺度低秩红外弱小目标检测方法,经系统地分析,采用三种最优尺度对弱小目标进行检测,充分保留了弱小目标的信息,并提高了运行效率。Zhang等人[58]考虑到IPI模型会在目标图像中留下背景残差和稀疏强边不能完全抑制的问题提出了一种基于非凸秩逼近最小化联合
范数(Non-Convex Rank Approximation Minimization, NRAM)的检测算法,该算法通过采用非凸、加权
范数来抑制背景,引入结构化
范数消除强残差,抑制稀疏强边缘。在此基础上,文献[59]使用背景张量奇异值的拉普拉斯函数值代替张量的秩,对于结构化的稀疏边缘使用
范数进行正则化约束。SUN等人[60]针对普通核范数和低秩分量会引起过缩问题提出了一种基于加权Schatten p-范数的时空张量模型(Weighted Schatten p-norm Minimization Spatial-Temporal Infrared Patch-Tensor,WSNM-STIPT),通过对背景部分利用非局部张量全变分约束背景中的边缘结构,计算像素点结构张量矩阵的特征值,构造能自适应区分角点与边缘的目标项自适应权重,使用截断奇异值方法检测弱小目标,该算法在复杂背景和中噪声条件下具有较好的检测性能。文献[61]分析目标往往存在于奇异值最大衰减之前,通过提取最大衰减前的图像层次,然后使用霍夫直线检测去除目标图像中的直线干扰得到弱小目标位置。DAI等人[62]发现IPI模型会出现过度缩小目标或强边缘信息难以滤除的情况提出了一种新的背景抑制模型(Non-negative Infrared Patch-image Partial Sum, NIPPS),考虑目标的非负性,同时提出了一种基于奇异值部分和极小化方法估计背景张量,避免了缺陷样本被误认异常值的可能性,提高了算法的检测性能。文献[63]将IPI模型拓展到张量域,使用奇异值分解(Singular Value Decomposition, SVD)求解背景张量的核范数实现对弱小目标的检测。文献[64]在IPT模型的基础上考虑背景图像贴片与目标图像贴片稀疏性的相关性。文献[65]提出了一种非重叠时空Patch张量构建法,然后使用张量限制核范数估计背景张量块。文献[66]通过环形Top-Hat算法对得到的目标张量进行处理,有效地降低了目标张量中的边缘干扰。文献[67]通过局部对比度方法构建目标张量的自适应权重,然后对S矩阵进行处理,而得到
, 根据
和t-SVD构建新的核范数。考虑到大多数低秩方法对不同的奇异值赋予相同的权重,使背景估计不准确,文献[68]使用Log算子计算背景张量三个维度上纤维核范数代替张量的秩,使用结构张量的特征值构造自适应目标张量权重,提升了算法的各项指标。文献[69]认为时空域上目标变化具有不对称性,提出了非对称时空正则化项保留背景分量中的稀疏结构。Yan等人[70]考虑到当目标被湮没在背景杂波和边缘结构中时,目标检测和背景估计难度更高,提出了一种基于核低秩张量主成分分析的检测方法,使用核低秩逼近方法来估计背景分量,同时利用图拉普拉斯正则化作为稀疏约束约束均匀目标区域。算法在强边缘和强杂波干扰情况下仍能鲁棒的检测目标。文献[71]通过引入了一种新的红外序列张量分解方法,能够结合本征张量秩和空间结构来提高背景恢复。文献[72]针对矩阵分解的残留过优化问题,引入Pareto边界优化策略以及Huber惩罚项,然后使用随机SVD方法加快求解速度。
2.3.2 基于多子空间数据优化的红外弱小目标检测算法
由于真实红外图像中往往存在大量杂波(如云边缘、道路边缘以及地面复杂背景等),许多学者认为使用背景来自单一子空间的数据优化方法会导致结果中存在大量虚警点,因此基于多子空间数据优化方法相继被提出。文献[73]通过红外序列构建时空张量,使用背景的张量的核范数将多子空间性质推广到张量域。文献[74]在多子空间理论的基础上,利用二维高斯模型生成原子,生成过完备目标字典;然后通过低秩稀疏表示模型对重置后的图像数据矩阵进行分解,得到图像的背景分量、噪声分量和目标分量。文献[75]使用重叠边缘信息构建目标图像的加权系数矩阵,然后使用自正则化项挖掘背景中的潜在信息,从多子空间中提取杂波信息实现对图像中的弱小目标检测。文献[76]利用多子空间恢复理论和子空间学习策略,构造了标准正交子空间和
范数下包含群稀疏性的优化模型。文献[77]利用稀疏表示模型将目标图像分解为背景分量、目标分量和噪声分量,使用双稀疏模型构造了一个背景字典,并提出了一种改进的在线学习算法来训练字典,同时提出了一种边缘杂波抑制策略提高鲁棒性。ZHANG等人[78]发现在异构场景下仍然很难从背景的稀疏残差中恢复出目标图像,因此提出了一种新的基于边角感知的时空张量(Edge and Corner Awareness-based Spatial-Temporal Tensor, ECA-STT)模型。通过一个可调的边缘和角的权重来突显目标,将背景分离问题等效成一个张量鲁棒主成分分析问题,大大提升了算法的目标增强和背景抑制能力,但总体算法复杂度较大需要引入更加高效的张量秩替代项和TV正则化项优化计算量。
2.3.3 基于数据优化算法对比
如图8为IPI、ECA-STT、NIPPS、WSNM-STIPT和NRAM算法的仿真结果。从目标图可直观看出,基于数据优化法相较传统算法的背景抑制能力更强,检测效果更好,但都存在一些无法消除的噪点,主要是因为数据优化法使原始图像中一些强边缘或角结构在背景恢复过程不准确,被当作孤立稀疏的点被误判定为目标图像。IPI法在每个图像块向量化时,会破坏图像间的结构信息,目标图像估计不准确,导致目标图像会留边缘残差和角残差,检测效果不佳。此法适合背景均匀的场景,输出目标图像噪点少。ECA-STT法为针对IPI法产生残差问题,引入了边缘和角的权重指标,从仿真结果看出目标图像噪点较少,能更好的从稀疏残差中区分真目标,提高了算法的鲁棒性。NIPPS法在背景杂波、强边缘和非目标干扰情况下检测效率不高。WSNM-STIPT法解决了背景估计的过缩问题,目标图杂波少,背景图像恢复更加准确,提高了对厚重杂波和大噪声的抑制能力,目标检测的能力和鲁棒性更强。NRAM法降低了运算复杂度,有较好的鲁棒性,但同样存在将非目标噪声或非目标突出像素误判为目标的问题,强边缘无法完全抑制。
图8 基于数据优化算法仿真
2.4 基于深度学习算法的红外弱小目标检测算法
目标检测算法特征提取主要分为底层特征、中层特征和高层特征。传统算法主要的特征提取方式就是提取纹理、形状、亮度等底层特征或以底层特征为基础通过机器学习或其手段挖掘出的中层特征。中底层特征的提取会受到窗口设计、光照变换等因素干扰从而增加特征提取难度。而深度学习算法能够对图像数据多层次分析挖掘深层次特征避免了上述问题。深度学习网络模拟大脑对信息的处理方式拥有自主学习和分析功能,提取图像的多层语义特征,提高检测能力。目前根据检测原理不同,深度学习算法可大致分为基于回归神经网络模型One-stage 模型和基于区域候选的神经网络模型Two-stage模型。两种模型的检测流程如图9和图10所示。
图9 One-stage 模型流程图
图10 Two-stage模型流程图
2.4.1 基于One-stage 模型的红外弱小目标检测算法