【计算机视觉】基于机器视觉的疵点检测方法的研究进展

文章编号 |1009-265X(2019)05-0057-05

来源 | 《现代纺织技术》2019年第5期

作者 | 王孟涛,李岳阳,杜 帅

(江南大学教育部针织技术工程研究中心,江苏无锡 214122)

作者简介 | 王孟涛(1994-),男,河南驻马店人,硕士研究生,主要从事机器视觉在纺织方面的研究。

摘要 机器视觉在织物疵点检测方面具有广泛的应用,对纺织品质量控制具有重要的现实意义。本文通过对近几年相关文献的分析,简要综述关于疵点检测各种方法,并按照对织物图像处理的方法不同可分为：结构方法、统计学方法、频谱分析方法、基于模型的方法和基于学习的方法。着重阐述了各类方法的优缺点,并总结该领域的发展趋势。

关键词 图像处理；纺织品；疵点检测；机器视觉

织物疵点检测是纺织品质量控制中必不可少的环节,随着工业技术的发展,基于机器视觉的织物疵点检测逐渐成为纺织企业发展的必然趋势。传统的织物疵点检测方法都是由检验人员来完成,有数据表明：一个较为熟练的检验人员的验布速度不超过20 m/min,验布的幅宽在1 m之内,检验效率约70%[1-2]。并且,织物疵点可出现在生产过程中的任何阶段,疵点的形状和种类千变万化,给疵点识别带来了诸多的困难。因此,以快速和可靠机器视觉来代替低效的人工视觉,实现织物疵点自动化检测,具有重要的经济效益和现实意义。

织物疵点检测方法

一般根据对图像处理的原理不同,织物庛点检测可以分为如下几类[3-4]：结构方法、统计学方法、频谱分析方法、基于模型的方法以及基于学习的方法。本文主要对近几年检测算法的最新研究进展进行了分类探究和分析,比较了各种算法的优劣势,着重分析基于支持向量机和深度学习方法的特性。

1.1 基于结构方法的织物疵点检测

结构方法将纹理视为纹理基元的组合,纹理分析通过获取纹理特征并推断其替换规则来执行。根据这种方法,织物图案的纹理可以通过简单纹理结构的组合来实现。结构纹理分析包含两个顺序阶段：基本织物纹理的检测；整体织物纹理图案的建模。Abouelela等[5]进行了结构疵点的检测,但是结构方法的可靠性很低,结构化方法只能将织物疵点从非常规整的纹理中分离出来。

1.2 基于统计方法的织物疵点检测

统计方法使用一阶统计量和二阶统计量来提取织物纹理的特征,该特征来描述织物纹理之间相异性及织物纹理整体结构的一致性。基于统计方法的疵点检测主要有[6]：灰度共生矩阵(Gray-leve Cooccurr-ence Matrix)、数学形态学(Mathematical Morphology)、直方图统计法(Histogram Statistical Appr-oach)等方法。

1.2.1 灰度共生矩阵

灰度共生矩阵(GLCM)统计方法是20世纪70年代初由Haralick首次提出,它是在假定图像中各像素间的空间分布关系包含了图像纹理信息的前提下,提出的具有广泛性的纹理分析方法。由于灰度图像是由接近的灰度值像素块构成,因此采用灰度共生矩阵的熵、惯性矩、同质性、角二阶距等14个统计特性的特征值,能很好的表征二维织物纹理特性。Zhu等[7]首先利用自相关函数来确定色织物的图案周期,得到检测窗口的大小,其次用GLCM计算可以表征原图像的特征值,然后计算无疵点图像与模板图像之间的GLCM的欧氏距离,最后给出合适的阈值以实现织物疵点检测。Latif等[8]首次提出将小波变换和灰度共生矩阵相结合的疵点检测算法,算法流程是：首先采用小波变换将原织物图像分成一定大小的子图块,然后选取灰度共生矩阵的(熵、惯性矩、同质性、角二阶距)4个统计特性对每一子图像提取特征值,组成特征向量,最后采用测试样本中的36幅图像进行检测,实验结果：正确率达到90.78%。但是共生矩阵存在两个主要劣势：高分辨率图像的性能较差；计算成本高。

1.2.2 数学形态学

数学形态学是基于对象几何的初步信息的特征提取方法,其基本操作是膨胀,侵蚀,开放和关闭[9]。目前,形态学图像处理已逐步演化成为图像处理的一个核心研究领域。Mak等[10]利用最佳形态学滤波器对于一些特定种类疵点进行检测,并且应用到一个实时的检测系统中,检测率可达97.4%。

1.2.3 直方图统计法

直方图包含图像灰度像素分布的基本统计数据。常见的直方图统计特性有平均值、标准差、方差和中值等。刘洲峰等[11]首先将织物原图像按照要求分割成一定大小的子图像,然后对每一子图像利用局部二进制模式(LBP)和灰度直方图等方法提取子图像的特征,任意选取一个子图像块的特征,与其他n个子图像块特征作对比,经对比之后生成视觉显著图,最后选取合适的阈值对生成的显著图进行阈值分割,达到检测出疵点结果。但是由于灰度直方图的计算过程过于简单和LBP生成的特征向量的维数过高,计算量大等因素,导致这种方法使用较少,可靠性低。

1.3 基于频谱方法的织物疵点检测

基于频谱的织物疵点检测是利用织物中基本纹理基元高度的周期性类似于频谱特性的规律,将图像从空间域(或时域)变换到频域,来检测织物疵点。有傅里叶变换法[12]、小波变换[13-14]、Gabor滤波器[15]等。

1.3.1 傅里叶变换

傅里叶变换是一种图像纹理分析技术,能够进行从时域到频域的详细分析。在图像处理中,这种技术和纹理图像的特征是频率分量,织物图像的大小在旋转期间不会改变。

Dorian等[16]提出一种基于傅里叶分析、模糊聚类和模板匹配的疵点检测算法框架,主要对于机织物的平纹,斜纹和缎纹140种织物图像进行实验。结果表明：实验精度可达到97%。由于傅里叶变换受织物结构变化的影响较大,因此该方法的实时性和通用性都较差。

1.3.2 小波变换

小波变换是一种信号分析技术,它作为傅里叶变换的一种替代方案而被开发,具有多分辨率分析的特点,而且小波变换最主要的优点就是局部的分析。由于织物疵点产生的位置一般不会遍及整个织物表面,因此,小波变换在织物疵点应用也越来越多。

李敏等[17]将小波变换和神经网络相结合对织物疵点进行检测和识别：首先采用小波变换对原图像进行预处理,分解成一定大小的子块,然后利用Radon小波对每一小块进行小波变换生成特征曲线图,最后用神经网络对特征曲线图进行分析以达到识别出疵点区域的目的。张国英等[18]首先使用小波变换将原始织物图像分解成m×n大小的子图,分别从(0°,45°,90°,135°)方向的子图像上提取织物纹理的特征值,然后将不同方向的特征值组成特征向量,用于后续的检测。结果表明：织物疵点检测的正确率达到84%。但是杨晓波 提取小波分解后各通道的方差值作为分类的特征值,通过采用不同的优化方案进行实验,实验流程：首先使用标准小波基对前5种方案进行测试,然后再使用自适应小波对余下实验进行测试。结果表明：分类精确率达95.8%。

1.3.3 Gabor滤波器

Gabor变换是D.Gabor 1946年提出的,可以根据纹理结构定制不同比例和方向的滤波器。在图像处理中,Gabor滤波器的频率和方向决定了滤波器的大小和处理图像的位置,适合对织物纹理结构的描述和分析。

尉苗苗等[20]研究提出通过优化Gabor滤波器中的参数来达到识别经编织物疵点的目的。该方法的优点在于将Gabor滤波器和QPSO优化算法相结合,最终使得检测率达到96.67%,且具有良好的鲁棒性。Jing等[21]设计了一种采用多个Gabor滤波器和核主成分分析方法以检测织物疵点。此算法首先选取4个方向和6个尺度的Gabor滤波器组对织物图像进行滤波处理并计算特征向量,通过使用核主成分分析方法降低高维特征向量,相似矩阵由欧式方程计算,并用OTSU进行图像分割,实验结果表明：该方法获得较高的检测率。

1.4 基于模型方法的织物疵点检测

常见基于模型的织物疵点检测方法包括自回归模型(Auto Regressive,AR)、高斯马尔可夫模型(Gauss Markoff,GM)以及其他模型。朱俊岭等[22]在高斯马尔科夫模型的基础上作了改进,首先在水平和垂直方向对子窗口的灰度值分别进行方差投影,然后通过GM模型对灰度值的方差投影进行谱估计,通过谱估计后正常和待检测织物都会有各自的相关系数,通过比较相关系数的不同,以实现检测出疵点的目的。但是,基于模型的方法计算量大,检测的织物疵点种类少,实时性和通用性不理想,因此近几年没有关于此方法的最新研究。

1.5 基于学习的织物疵点检测

模式识别问题的一般模式：图像预处理、提取特征、分析特征和分类器设计。随着近几年计算机技术的进展,各个纺织企业都向着智能制造方向转变,因而基于机器学习的方式也是越来越受欢迎。基于学习的织物疵点检测方法有人工神经网络、深度学习和支持向量机等。

1.5.1 神经网络

神经网络具有很强的非线性拟合能力,可映射任意复杂的非线性关系,而且学习规则简单,便于计算机实现。而且它的鲁棒性、记忆能力、非线性映射能力都很强。

Wong等[23]提出了一种新的疵点检测技术,将小波变换和BP神经网络相结合,首先采用小波变换对原始图像进行平滑处理,再采用均值滤波对织物纹理背景进行衰减,然后利用阈值处理获得二值图像,并用小波变换提取二值图像的9个特征向量,送入到BP神经网络进行分类。结果表明：此方法能够有效识别出常见的5种疵点。槐向兵等[24]采用特征融合的方法来提取常见5类织物疵点的特征值,然后形成特征向量,进而输入到BP神经网络进行识别。实验结果：检测准确率达98.3%。

1.5.2 深度学习

随着近几年深度学习的兴起,在织物疵点检测方面的应用也越来越多。Li等[25]提出一种基于Fisher准则的叠加去噪自动编码器的算法(FCSDA),首先将原始图像分成相同大小的块,利用有疵点和无疵点的样本训练FCSDA,然后对测试集的样本利用已训练的FCSDA进行疵点分类,最后通过重建图像和疵点图像的残差来确定疵点位置的阈值。结果表明：在具有周期性图案的提花经编织物上,该方法的检测效果较好。然而景军锋等[26]对深度学习又进一步改进,提出基于Fisher准则的栈式去噪自编码器算法,首先也是把原始图像分解成一定大小的块,采用稀疏自编码器提取小块的特征,然后利用该特征训练卷积自编码器的参数,提取原图像的低维特征,最后将该特征输入到栈式去噪自编码器网络进行疵点分类,结果表明：该算法能有效地提取织物图像的分类特征,又有Fisher准则的加入,疵点检测准确率又有所提高。

1.5.3 支持向量机

支持向量机是一种常见的分类器,通常在两分类或者多分类的情况下使用较多。支持向量机SVM在小样本检测分类中优势较为明显。Basu等[27]将基于子图像的PCA方法应用于从训练和测试结构图像中提取特征,并使用多类SVM分类器来执行分类任务。该方法在织物疵点标准TILDA数据库上进行测试,成功率达到96.36%。Ding等[28]将原图像分解成图像块,然后将不同的Gabor滤波器组应用到每个图像块中,通过将每个图像块的不同方向和尺度的所有Gabor特征连接起来生成特征向量,采用PCA来减少Gabor特征向量的维数,最后利用SVM将每个图像块分为无疵点和有疵点的类。

总 结

由于每一种疵点检测算法的适用性不同,针对的织物纹理不相同,所以本文列举了常用的各种检测算法的优缺点如表1所示。

表1 常见几种疵点检测方法的优劣势

结 论

由于织物疵点检测算法多种多样,伴随着计算机技术的飞速发展,新的疵点检测方法不断被研究者提出,例如深度学习方法在疵点检测方面的应用是目前研究者研究的重点。本文主要通过查阅最近几年国内外相关文献,简要综述了关于疵点检测研究的新动态,分析了每个类别算法的优缺点,并指出织物疵点检测技术面临的挑战和未来的发展方向。

a)发展通用的检测算法的必要性。目前的检测算法只能适应特定纹理,更换不同的织物纹理,对应的检测算法的检测效果不理想。

b)发展通用的织物疵点纹理数据库的必要性。目前多数研究者做疵点检测的研究所需要的样本,都是自己拍照获取的,样本的大小和质量各种各样,从而不能评价算法的可靠性。即使有织物TILDA数据库,大多数研究人员都没有采用,因为它不是向使用者免费提供。

c)发展高实时性的疵点检测算法的必要性。不管何种算法,其目的都是为了应用到实时检测系统,较高的运行速度和准确率,是检测算法必须要满足的首要条件。

参考文献