主結(jié)構(gòu)提取和多尺度線性濾波的織物疵點(diǎn)檢測方法

陳雪陽，潘 楊，朱 磊，翟子豪

(西安工程大學(xué) 電子信息學(xué)院，陜西 西安 710048)

0 引 言

在人工智能及機(jī)器視覺技術(shù)不斷發(fā)展的今天，織物疵點(diǎn)檢測自動(dòng)化是學(xué)者們研究的重點(diǎn)方向?，F(xiàn)存的有關(guān)織物疵點(diǎn)檢測[1]方法可以分為統(tǒng)計(jì)法[2]、模型法[3-4]、顯著性法[5-7]和深度學(xué)習(xí)方法[8-10]等4類。基于統(tǒng)計(jì)法的檢測方法要提前構(gòu)造和預(yù)估所需的特征參量信息，以便于通過參量信息分析研究圖像中不同區(qū)域的統(tǒng)計(jì)差異，再利用統(tǒng)計(jì)差異為定位疵點(diǎn)提供可靠的依據(jù)。ZHANG等使用自相關(guān)函數(shù)將織物圖像劃分為子塊，并利用平均值和標(biāo)準(zhǔn)差作為統(tǒng)計(jì)特征參數(shù)，將各子塊的區(qū)域按有無疵點(diǎn)分為2類，對(duì)含有疵點(diǎn)的子塊進(jìn)行后處理實(shí)現(xiàn)疵點(diǎn)檢測[11]。此類方法對(duì)單一紋理圖像適用，泛化能力較弱，因此不適用于多類型的疵點(diǎn)?；谀Ｐ偷臋z測方法通常是對(duì)織物的正常紋理進(jìn)行建模，判斷測試樣本與模型是否一致，以此為依據(jù)實(shí)現(xiàn)疵點(diǎn)檢測。COHEN等運(yùn)用高斯馬爾科夫隨機(jī)場對(duì)無缺陷圖像進(jìn)行建模，將其分為大小相等的圖像塊，計(jì)算圖像塊與建模結(jié)果的相似值，判斷圖像塊中是否含有疵點(diǎn)[12]。此類方法對(duì)單一紋理圖像適用，泛化能力較弱?；陲@著性的方法是以信息論和對(duì)比度作為基礎(chǔ)，通過計(jì)算像素點(diǎn)的顯著性值來獲取疵點(diǎn)圖像。ZHANG等提出借助多尺度分析提高疵點(diǎn)和背景的對(duì)比度，再利用顏色差異和位置距離共同測量缺陷值，最后通過閾值分割得到檢測結(jié)果[13]。此類方法在檢測圖像中較為清晰的疵點(diǎn)時(shí)具有良好的表現(xiàn)，但對(duì)于模糊或者微小疵點(diǎn)的檢測效果不理想。JING等對(duì)輸入織物圖像樣本進(jìn)行分解和貼標(biāo)簽，隨后送入到CNN網(wǎng)絡(luò)中進(jìn)行訓(xùn)練學(xué)習(xí)，最后使用訓(xùn)練好的模型對(duì)整幅圖像進(jìn)行檢測，得到疵點(diǎn)的類別和位置[14]。此方法在訓(xùn)練模型之前需要搜集和整理用于訓(xùn)練模型的織物數(shù)據(jù)集，但數(shù)據(jù)集樣本存在著標(biāo)簽圖像成本高、缺陷樣本數(shù)量不足的問題，為后續(xù)疵點(diǎn)檢測帶來不便。

根據(jù)已有的織物疵點(diǎn)檢測方法，不難發(fā)現(xiàn)有效抑制背景紋理對(duì)疵點(diǎn)檢測尤為重要，因此本文采用的檢測方法是通過預(yù)處理先初步抑制背景紋理，再利用改進(jìn)的總變差 (total tariation,TV) 模型[15]對(duì)織物圖像主結(jié)構(gòu)進(jìn)行提取，運(yùn)用該模型實(shí)現(xiàn)對(duì)背景更精細(xì)的抑制效果,隨后選用多尺度線性濾波器實(shí)現(xiàn)疵點(diǎn)增強(qiáng),最后利用點(diǎn)乘運(yùn)算與形態(tài)學(xué)處理得到完整的疵點(diǎn)區(qū)域。

1 織物疵點(diǎn)檢測方法

為了進(jìn)一步突出疵點(diǎn)區(qū)域，利用多尺度線性濾波器(Frangi)對(duì)疵點(diǎn)進(jìn)行增強(qiáng)處理；最后利用預(yù)處理圖和疵點(diǎn)增強(qiáng)圖進(jìn)行點(diǎn)乘運(yùn)算和形態(tài)學(xué)處理。其流程如圖1所示。

圖 1 織物疵點(diǎn)檢測流程Fig.1 The flow chart of fabric defect detection method

1.1 基于預(yù)處理和主結(jié)構(gòu)提取的背景抑制

織物紋理是利用編織技術(shù)形成的具有一定分布規(guī)律的結(jié)構(gòu)，它的結(jié)構(gòu)特點(diǎn)通常表現(xiàn)為多樣性和復(fù)雜性，這為織物疵點(diǎn)的檢測帶來挑戰(zhàn)。因此消減或降低背景紋理中的信息，是有效克服疵點(diǎn)檢測困難的重要方向和途徑。

織物疵點(diǎn)和背景紋理之間的差別較小會(huì)增加疵點(diǎn)檢測的難度，因此提高疵點(diǎn)和背景的對(duì)比度顯得尤為重要。將RGB轉(zhuǎn)換到HSV空間，通過提取明度信息(V)可以調(diào)整圖像的亮度以及疵點(diǎn)和背景之間的對(duì)比度；再對(duì)提取V分量的圖像進(jìn)行中值濾波和對(duì)數(shù)增強(qiáng)以解決可能存在的噪聲問題。該操作不僅可以去除噪聲對(duì)疵點(diǎn)檢測造成的不利影響，也可保留疵點(diǎn)區(qū)域邊界信息，為后續(xù)的檢測提供良好的基礎(chǔ)，最終達(dá)到增強(qiáng)背景和疵點(diǎn)對(duì)比度的目的，其計(jì)算公式為。

(1)

式中：L為待檢測織物圖像；V為提取的明度分量。當(dāng)L為彩色圖像時(shí)，R、G、B分別為各顏色通道。預(yù)處理的圖像可看作紋理與結(jié)構(gòu)的融合，在疵點(diǎn)檢測過程中，背景區(qū)域有時(shí)會(huì)被當(dāng)作疵點(diǎn)進(jìn)行處理，從而發(fā)生誤檢，影響疵點(diǎn)檢測工作的效率和準(zhǔn)確率。因此，對(duì)背景紋理信息進(jìn)行弱化或者抑制是檢測過程中必不可少的環(huán)節(jié)。TV模型[15]在消除紋理信息的同時(shí)也可提取結(jié)構(gòu)信息，適應(yīng)各向異性的紋理，具有較好的泛化能力。因此利用改進(jìn)的TV模型獲取織物圖像的主結(jié)構(gòu)[16]——疵點(diǎn)，最終削弱甚至消除預(yù)處理圖像中背景紋理。

在預(yù)處理圖像中的局部小窗口內(nèi)，它的主結(jié)構(gòu)成分中含有的相似性通常比在背景紋理復(fù)雜圖像中的小窗口相似性要高，這也使得主結(jié)構(gòu)更加突出。原模型公式為

(2)

式中：L和M分別為預(yù)處理圖像和主結(jié)構(gòu)圖像；k是輸入圖像的索引號(hào)；ω為調(diào)整參數(shù)。第一項(xiàng)為保真項(xiàng)；第二項(xiàng)是正則矩陣。為了進(jìn)一步增強(qiáng)織物圖像的主結(jié)構(gòu)部分和背景部分的差異，利用窗口總變差和窗口固有變差對(duì)式(2)中的正則矩陣(?M)k進(jìn)行改進(jìn)，得到相對(duì)總變差模型公式，即

(3)

式中：改進(jìn)后的第2項(xiàng)稱為相對(duì)總變差；ω是調(diào)整參數(shù)，作用是控制改進(jìn)公式中第1項(xiàng)和第2項(xiàng)之間的比例。改進(jìn)項(xiàng)的具體表示為

(4)

(5)

(6)

式中：α的作用是控制窗口的空間尺寸，它取決于紋理的深淺程度。

相對(duì)總變差模型對(duì)預(yù)處理后圖像的操作主要依賴于在圖像中取得正方形窗口，在該區(qū)域內(nèi)對(duì)于只包含背景的相對(duì)總變差值，該數(shù)值小于主結(jié)構(gòu)所對(duì)應(yīng)的總變差值。利用背景和主結(jié)構(gòu)存在的差別實(shí)現(xiàn)對(duì)紋理背景信息的削弱，實(shí)驗(yàn)結(jié)果如圖2所示。

(a) 預(yù)處理圖 (b) 主結(jié)構(gòu)圖

為驗(yàn)證本文提出的背景紋理抑制性能，使用全局低秩分解抑制背景方法[17]和本文所提方法分別對(duì)輸入織物圖像進(jìn)行處理，結(jié)果如圖3所示。

(a) 輸入織物圖像

由圖3可知，2種方法均可對(duì)背景紋理進(jìn)行抑制，但使用預(yù)處理和主結(jié)構(gòu)提取處理得到的結(jié)果顯示背景紋理抑制效果更好。

實(shí)驗(yàn)過程中，相對(duì)總變差模型在實(shí)現(xiàn)過程中存在2個(gè)重要參量，即式(3)中的β和ω，β是避免分母出現(xiàn)0的情況，默認(rèn)值為0.001；ω為控制平滑度參數(shù)。ω較小時(shí)，不能完整提取疵點(diǎn)部分；ω較大時(shí)，存在紋理細(xì)節(jié)丟失的情況。本文根據(jù)紋理的粗糙度和尺寸結(jié)構(gòu)大小選擇參數(shù)ω的范圍為[0.4，0.6],實(shí)驗(yàn)驗(yàn)證結(jié)果如圖4所示。

(a) 原始圖 (b) ω=0.2 (c) ω=0.3

1.2 基于多尺度線性濾波的疵點(diǎn)增強(qiáng)

經(jīng)過背景抑制后的織物圖像其疵點(diǎn)區(qū)域仍存在不清晰的問題，為了獲得更好的檢測效果需進(jìn)一步突出疵點(diǎn)區(qū)域。多尺度線性濾波器[18]可通過Herrsian矩陣各特征值來構(gòu)造測量函數(shù)，對(duì)疵點(diǎn)進(jìn)行精確定位，增強(qiáng)織物背景中的疵點(diǎn)部分，提高疵點(diǎn)區(qū)域和背景的對(duì)比度。對(duì)于主結(jié)構(gòu)圖像M，利用多尺度線性濾波器來描述織物結(jié)構(gòu)時(shí)，需要利用圖像在某點(diǎn)x0處鄰域泰勒展開式[19]，即

(7)

式中：點(diǎn)x0以尺度σ得到的梯度向量是?0,σ；Hessian矩陣是M0,σ。對(duì)主結(jié)構(gòu)圖像與高斯函數(shù)的導(dǎo)數(shù)進(jìn)行卷積，可得

(8)

式中：γ為規(guī)則化的導(dǎo)數(shù)族，一般情況下，γ設(shè)為1。

式(7)中最后一項(xiàng)的二階導(dǎo)數(shù)為

(9)

在織物圖像中存在的疵點(diǎn)部分，通常來說灰度值大于背景部分對(duì)應(yīng)的值，且疵點(diǎn)大多數(shù)都存在于細(xì)小區(qū)域內(nèi)，式(9)中所指的二階導(dǎo)數(shù)，疵點(diǎn)部分絕對(duì)值較大(或小)也說明了特征值較大(或小)，可表示為

(10)

且滿足

(11)

多尺度線性濾波器在處理二維織物圖像時(shí)，需要使用到二維矩陣Hessian所對(duì)應(yīng)的2個(gè)特征值，分別是ω1和ω2(|ω1|≤|ω2|)。為了對(duì)織物圖像背景紋理的像素進(jìn)行區(qū)分，本文設(shè)置測度W進(jìn)行表示。當(dāng)疵點(diǎn)區(qū)域的背景紋理像素對(duì)比度低(或高)，相對(duì)應(yīng)W的數(shù)值就較小(或大)，可表示為

(12)

由此可以推導(dǎo)出多尺度線性濾波器在處理二維織物圖像時(shí)，所得到的測量函數(shù)，即

(13)

f0(γ)=maxF0(W)

(14)

式中：μ和c都是用來描述測量相似函數(shù)時(shí)所需的敏感性閾值參數(shù)，經(jīng)實(shí)驗(yàn)驗(yàn)證可得μ=0.5，c=11；f0(γ)為不同尺度中的最大響應(yīng)。

多尺度線性濾波器對(duì)提取到的疵點(diǎn)區(qū)域的邊緣部分進(jìn)行濾波增強(qiáng)，使得原本較為模糊的疵點(diǎn)部分不僅明顯，也增強(qiáng)了疵點(diǎn)的局部細(xì)節(jié)信息，處理后的結(jié)果圖如圖5所示。

(a)主結(jié)構(gòu)圖 (b)多尺度濾波結(jié)果圖

1.3 基于形態(tài)學(xué)處理的輪廓提取

織物圖像經(jīng)濾波器處理后其疵點(diǎn)區(qū)域雖得到明顯增強(qiáng)，但背景部分仍存在細(xì)小區(qū)域未被消除且疵點(diǎn)輪廓不清晰。為了解決上述問題，需要完整刻畫疵點(diǎn)區(qū)域輪廓。本文先將預(yù)處理結(jié)果圖與疵點(diǎn)增強(qiáng)圖像(二值圖像)進(jìn)行點(diǎn)乘運(yùn)算并利用Canny算子提取疵點(diǎn)邊緣，實(shí)現(xiàn)對(duì)邊緣信息的獲取并精細(xì)刻畫疵點(diǎn)輪廓；疵點(diǎn)增強(qiáng)后的圖像主要經(jīng)過形態(tài)學(xué)中的膨脹、填充以及移除與邊界連通目標(biāo)的操作，實(shí)現(xiàn)孤立點(diǎn)去除最終獲取完整的疵點(diǎn)區(qū)域，展示較好的可視化效果，能較好地保留疵點(diǎn)圖像的邊緣信息。結(jié)果圖如圖6所示。

2 結(jié)果與分析

為驗(yàn)證本文提出方法的有效性，將本文算法與基于魯棒主成分分析模型方法(robust principal component analysis,RPCA)[20]、基于顯著性檢測方法(spectral residual,SR)[21]和基于最小二乘回歸方法(prior knowledge guided least squares regression,PG-LSR)[22]進(jìn)行對(duì)比，實(shí)驗(yàn)參數(shù)選用準(zhǔn)確率和時(shí)間作為性能評(píng)價(jià)指標(biāo)[23-25]。在實(shí)驗(yàn)過程中需要選取織物疵點(diǎn)樣本作為數(shù)據(jù)集進(jìn)行測試，數(shù)據(jù)集是在溢達(dá)織物裁片庫中隨機(jī)選取得到實(shí)驗(yàn)樣本，數(shù)目為100，數(shù)據(jù)集樣本先按照有無疵點(diǎn)進(jìn)行分類，其中缺陷樣本數(shù)目為50，無缺陷樣本的數(shù)目為50；再按照紋理背景分為簡單紋理和復(fù)雜紋理，其中包括油污、水污、破洞、帶紗等疵點(diǎn)類型。

為了更好地說明每種方法的魯棒性效果，對(duì)各方法中的參數(shù)設(shè)置進(jìn)行實(shí)驗(yàn)與說明。在RPCA[20]檢測算法中,主要參數(shù)是用于平衡疵點(diǎn)和噪聲的λ和β，分別設(shè)置為λ=0.03、β=0.2；在SR[21]檢測算法中，高斯濾波和均值算子的窗口設(shè)置分別為10×10 和3×3；在PG-LSR[22]檢測算法中，權(quán)衡系數(shù)λ、隨機(jī)塊數(shù)s、重復(fù)次數(shù)k為3個(gè)關(guān)鍵參數(shù)，分別設(shè)置為：λ=0.75，s=5.0，k=5.0；本文在改進(jìn)的TV模型中有2個(gè)參數(shù)，分別是描述紋理元素尺寸的參數(shù)β和控制平滑度參數(shù)ω。取默認(rèn)值為β=0.001,ω=[0.4,0.6]。各方法對(duì)測試樣本進(jìn)行檢測，實(shí)驗(yàn)驗(yàn)證結(jié)果如圖7、8。

圖7和圖8分別針對(duì)簡單和復(fù)雜紋理背景的織物圖像進(jìn)行檢測，圖中分別展示了3種對(duì)比算法和本文提出方法的檢測結(jié)果。圖7(a)為原始輸入圖像，其中第1～3幅均含有較為清晰的疵點(diǎn)，第4幅含有較細(xì)小的疵點(diǎn)，第5幅是未含有疵點(diǎn)的正常樣本圖像。

(a) 多尺度濾波結(jié)果圖 (b) 提取輪廓圖 (c) 疵點(diǎn)圖

由圖7、8的實(shí)驗(yàn)結(jié)果可以看出，文獻(xiàn)[20]和文獻(xiàn)[22]的檢測方法均可準(zhǔn)確檢測出疵點(diǎn)位置，但文獻(xiàn)[20]的檢測結(jié)果仍有未消除的背景紋理，文獻(xiàn)[22]的檢測結(jié)果中存在疵點(diǎn)輪廓模糊的情況；文獻(xiàn)[21]的檢測結(jié)果對(duì)疵點(diǎn)位置信息判斷有誤，疵點(diǎn)形狀不完整；以上3種檢測方法對(duì)未含有疵點(diǎn)的織物圖像都存在誤檢情況。本文提出的方法在保證準(zhǔn)確檢測疵點(diǎn)的同時(shí)也可得到完整疵點(diǎn)輪廓，并且對(duì)正?？椢飯D像沒有出現(xiàn)誤檢情況。

表1為各方法對(duì)測試集圖像檢測后得到的參數(shù)比較。從準(zhǔn)確率和時(shí)間2個(gè)參數(shù)比較來看，本文方法的準(zhǔn)確率比其他3種算法提高了9%以上；檢測時(shí)間居于第2，僅次于文獻(xiàn)[20]中的檢測方法。

(a) 輸入圖像

(a) 輸入圖像

表 1 檢測結(jié)果的參數(shù)比較

從上述實(shí)驗(yàn)結(jié)果可得出，本文采用改進(jìn)的TV模型在抑制背景紋理的同時(shí)提取主結(jié)構(gòu)，可以有效提升疵點(diǎn)檢測效率和準(zhǔn)確率。

3 結(jié) 語

本文提出了基于主結(jié)構(gòu)提取和多尺度線性濾波的織物疵點(diǎn)檢測方法，首先通過圖像預(yù)處理和改進(jìn)的總變差模型，削弱了背景紋理對(duì)疵點(diǎn)檢測的影響，然后利用多尺度線性濾波處理有效增強(qiáng)了疵點(diǎn)區(qū)域，最后提取輪廓結(jié)合形態(tài)學(xué)處理有效分割出了疵點(diǎn)區(qū)域。由于本文采用先抑制背景紋理，為后續(xù)疵點(diǎn)圖像的增強(qiáng)提供良好的基礎(chǔ)，最終實(shí)現(xiàn)對(duì)疵點(diǎn)輪廓的精準(zhǔn)提取，使得檢測準(zhǔn)確率得到明顯提升。