基于低秩分解的織物疵點檢測

楊恩君， 廖義輝， 劉安東， 俞 立

(浙江工業(yè)大學(xué) 信息工程學(xué)院， 浙江 杭州 310023)

織物的瑕疵點檢測是生產(chǎn)流程中的關(guān)鍵步驟，傳統(tǒng)人工檢測由于工人的視覺疲勞，往往容易造成疵點的誤檢和漏檢[2]。相比于人工檢測，機器檢測則是通過軟件分析采集到的織物圖像來標(biāo)識疵點區(qū)，其檢測標(biāo)準(zhǔn)更客觀，且不存在人工視覺疲勞問題，從而可有效地提高疵點檢出率和檢測速度。然而，由于織物背景紋理各不相同，疵點類型多種多樣，如何準(zhǔn)確區(qū)分織物的正常紋理和疵點是實現(xiàn)機器檢測的關(guān)鍵。

針對疵點檢測問題，常見的方法有：統(tǒng)計學(xué)方法、頻域變換法、基于模型的方法、圖像分解法等。然而，統(tǒng)計學(xué)方法[3-5]只適用于簡單紋理，其應(yīng)用范圍有限。頻域變換法[6-8]的檢測效果依賴于濾波器的選擇，在復(fù)雜紋理結(jié)構(gòu)上表現(xiàn)不佳?；谀Ｐ偷姆椒╗9-11]建模過程復(fù)雜，計算量大。圖像分解法是將原圖像分解為背景和疵點，其適用范圍比統(tǒng)計學(xué)方法廣，同時計算量比基于模型的方法小，如相對全變分方法[12]、形態(tài)學(xué)成分分析[13-14]、殘余共振奇異值法(RRSVD)[15]。由于織物圖案具有周期性，且疵點區(qū)一般較小，因此織物的背景紋理和疵點分別具有低秩性和稀疏性。上述圖像分解方法雖將織物圖像分解為背景和疵點兩部分；但未考慮織物紋理特有的低秩性和稀疏性，因此對于復(fù)雜周期性紋理的織物可能會出現(xiàn)完全無法識別疵點的情況。

低秩分解方法[16-17]是從低秩和稀疏屬性出發(fā)對織物圖像進(jìn)行分解的一種方法，故比上述圖像分解方法更契合圖案紋理織物的疵點檢測。文獻(xiàn)[18]通過對織物圖的Gabor與方向梯度直方圖(HOG)組合特征矩陣進(jìn)行低秩分解實現(xiàn)了疵點檢測，但由于Gabor不同特征分量間存在冗余，導(dǎo)致檢測效率較低。文獻(xiàn)[19]用Frobenius范數(shù)代替?zhèn)鹘y(tǒng)低秩分解中的核范數(shù)，提高了檢測速度，但由于Frobenius范數(shù)無法精確描述矩陣的低秩特性，因此檢測精度有所下降。文獻(xiàn)[20]利用先驗信息圖引導(dǎo)低秩分解，提高了檢出率；但傳統(tǒng)低秩分解的核范數(shù)在低秩逼近時存在局限性，且存在織物彈性導(dǎo)致的歪斜問題，因此分割出的疵點圖帶有許多干擾。

本文針對織物的疵點檢測問題，提出了一種基于改進(jìn)的低秩分解方法。傳統(tǒng)低秩分解方法用核范數(shù)近似描述矩陣的秩，但這種近似存在較大誤差，為了提高近似精確度，本文采用Beta范數(shù)進(jìn)行改進(jìn)，解決了由近似不精確引起的圖像信息過度丟失問題。為了抑制織物彈性引起的歪斜干擾，在改進(jìn)低秩分解方法的基礎(chǔ)上，通過織物圖的方向梯度直方圖特征構(gòu)造后驗信息圖，對低秩分解得到的稀疏分量進(jìn)行加權(quán)處理，仿真驗證了本文所提算法的有效性。

1 基于低秩分解的疵點檢測算法

本文方法的流程圖如圖1所示。主要包含以下3個步驟：構(gòu)建先驗信息圖，基于低秩分解的顯著圖，疵點分割。

圖1 本文方法流程圖Fig.1 Flow chart of proposed method

1.1 先驗信息圖構(gòu)造

低秩分解雖契合織物紋理與疵點的特性，但對于復(fù)雜的織物紋理和疵點，往往需要借助特征提取。目前，大多數(shù)文獻(xiàn)先進(jìn)行特征提取，再對提取出的特征矩陣進(jìn)行低秩分解[17-18]，進(jìn)一步分割疵點。由于低秩分解以特征矩陣為基礎(chǔ)，檢測效果較大程度取決于特征提取，而提取出適用于所有織物紋理和疵點的特征幾乎是不可能的，因此對特征矩陣進(jìn)行低秩分解的做法具有一定局限性，同時沒有讓低秩分解方法的效果最大化。

本文以低秩分解為主體，將織物圖像的特征作為先驗信息輔助分解。先驗信息圖的具體構(gòu)造過程如下。

1)
圖像分塊。將檢測圖像P進(jìn)行重疊式滑窗分割，分為m×n大小的圖像塊Pi，相鄰2個滑窗重疊區(qū)大小為(m/2)×(n/2)，得到N個圖像塊。

2) 對每個圖像塊提取基元特征[21]向量fi，并利用向量2范數(shù)計算各圖像塊的相對數(shù)值：

3) 根據(jù)圖像塊滑窗覆蓋情況，統(tǒng)計各像素點對應(yīng)的數(shù)值，即可得到先驗信息圖，每個像素點的值表示該點為疵點的概率大小。

1.2 基于低秩分解的顯著圖

由于織物背景紋理的重復(fù)性和疵點的稀疏性，可將低秩分解分割織物疵點的過程描述為以下優(yōu)化問題：

(1)

式中：L和S分別為織物圖像P的背景紋理和疵點部分，且滿足P=L+S；rank(·)為矩陣的秩，‖·‖0為矩陣的L0范數(shù)；λ為平衡常數(shù)。一般文獻(xiàn)在處理該問題時，采用最優(yōu)凸近似理論[22]，分別用矩陣核范數(shù)和矩陣L1范數(shù)代替式(1) 中的秩函數(shù)和L0范數(shù)。

然而，在描述實際織物圖像低秩特性時，由于核范數(shù)對不同大小的奇異值采用相同的收縮力度，導(dǎo)致圖像的重要信息過度丟失，因此，本文采用Beta范數(shù)‖L‖β代替核范數(shù)，對不同的奇異值施加不同的權(quán)重，具體形式如下：

(2)

式中：σi為矩陣L的奇異值；β取0.001。

此外，實際疵點往往具有結(jié)構(gòu)化分布特征，而傳統(tǒng)低秩分解方法用L1范數(shù)描述稀疏屬性時假設(shè)每個元素是獨立分布的，由此得到的疵點圖中往往包含部分背景紋理，因此將1.1節(jié)中構(gòu)造的先驗信息圖作為稀疏項的權(quán)重矩陣，引導(dǎo)低秩分解。通過引入實際疵點的先驗信息，進(jìn)一步提升算法描述疵點稀疏屬性的能力。同時，由于光照、陰影會導(dǎo)致織物圖中存在高斯噪聲，因此存在高斯噪聲情況下的模型可描述為

(3)

通過引入拉格朗日乘子Y，利用增廣拉格朗日乘子法將模型式(3)改寫為如下形式：

(4)

式中：<·>表示內(nèi)積；參數(shù)η>0。

由于模型式(4) 中有5個變量，為此采用交替方向乘子法，分別給出L、S、F、Y、η的迭代表達(dá)式。其中，尋找最優(yōu)L時采用文獻(xiàn)[23]提出的基于奇異值梯度的迭代方法。具體過程如下。

步驟1：設(shè)定最大迭代次數(shù)T，當(dāng)前迭代數(shù)t=0，允許誤差ε，并初始化L0、S0、F0、Y0、η0。

步驟2：利用文獻(xiàn)[23]中基于奇異值梯度的迭代方法更新第t+1次的迭代值Lt+1。

步驟3：在更新St+1時，將Lt+1、Ft、Yt、ηt看作常量，并對S求導(dǎo)尋最值可得：

(5)

同理可得Ft+1的更新公式：

(6)

式中，G=P-Lt+1-Ft+Yt/ηt。

步驟4：根據(jù)增廣拉格朗日乘子法，Yt+1和ηt+1的更新公式分別為

Yt+1=Yt+ηt(P-Lt+1-St+1-Ft+1)

(7)

ηt+1=ρηt

(8)

式中，ρ為常數(shù)。

步驟5：判斷迭代是否結(jié)束。若滿足t=T或‖P-Lt+1-St+1-Ft+1‖F(xiàn)/‖P‖F(xiàn)>ε，則結(jié)束迭代，并輸出S；否則跳轉(zhuǎn)至步驟2)，且t=t+1。

1.3 疵點分割

經(jīng)過低秩分解得到的稀疏分量S中包含織物疵點信息，但對于部分織物圖像，仍存在一些干擾。圖2示出4種不同疵點在各環(huán)節(jié)的相應(yīng)圖像。由圖2可知，低秩分解得到的稀疏分量S中包含較強的干擾。雖然模型式(3) 的最小化目標(biāo)中加入了高斯噪聲項，去除了織物圖中的高斯噪聲；但由于稀疏分量中的干擾不是由高斯噪聲引起，因此，無法通過算法求解將其去除。

圖2 后驗信息圖和顯著圖Fig.2 Posterior map and saliency map. (a) Segmentation result of broken end; (b) Segmentation result of netting multiple; (c) Segmentation result of hole;(d) Segmentation result of oil

事實上，由于織物具有一定的彈性，且生產(chǎn)線上的機器對織物有一定拉扯，會導(dǎo)致織物發(fā)生細(xì)微形變，這些形變是可恢復(fù)的。若設(shè)備采集圖像的瞬間正好記錄下形變的織物，則某些直線紋理在圖像中呈現(xiàn)出來變成了有高有低、有左有右的曲線，導(dǎo)致圖像中反映出來的矩陣秩比真實情況大。而低秩分解方法以矩陣的秩最小為其中一個優(yōu)化指標(biāo)，當(dāng)指標(biāo)達(dá)到最優(yōu)時輸出檢測結(jié)果，顯然此時包含歪斜干擾，因此，需要對低秩分解后的稀疏分量進(jìn)行干擾抑制。

針對上述問題，本文通過提取織物圖的HOG特征構(gòu)造后驗信息圖，并利用后驗信息圖和稀疏分量構(gòu)造顯著圖抑制干擾。具體過程如下。

1) 對圖像進(jìn)行重疊滑窗分塊，再對每個圖像塊提取HOG特征向量，最后將各重疊圖像塊的相應(yīng)數(shù)值分別對應(yīng)到每個像素點，由此構(gòu)造后驗信息圖。

2) 利用后驗信息圖對低秩分解得到的稀疏分量矩陣S進(jìn)行哈達(dá)瑪乘積得到顯著圖。在S和后驗信息圖中，像素點為疵點的概率越大則該點的數(shù)值越大。由于構(gòu)造后驗信息圖的過程與秩無關(guān)，因此后驗信息圖中不存在歪斜干擾。雖然S中歪斜干擾像素點的數(shù)值較大，但在后驗信息圖對應(yīng)位置的數(shù)值則較小；而真實疵點在S和后驗信息圖中均有較大數(shù)值，因此，其哈達(dá)瑪乘積值遠(yuǎn)超歪斜干擾像素點。相對而言，在顯著圖中真實疵點比其他像素點更亮，歪斜干擾像素點則被淡化，從而抑制織物彈性引起的干擾。

3) 利用最優(yōu)閾值分割算法分割顯著圖，得到疵點檢測結(jié)果。

2 仿真結(jié)果與分析

本文使用香港大學(xué)的印花織物圖像數(shù)據(jù)集(FID)，包含星型、方格型、圓點型等3種不同的紋理，其中星型有25張疵點圖和25張參考圖(正常紋理)，方格型有26張疵點圖和30張參考圖，圓點型有30張疵點圖和30張參考圖，每張疵點圖都有其對應(yīng)的疵點標(biāo)定圖。本文仿真均在Intel(R) Core(TM) i5-6200U 2.3GHZ CPU、4 GB內(nèi)存環(huán)境下進(jìn)行，使用MatLab 2018b軟件實現(xiàn)。經(jīng)多次試驗，本文參數(shù)設(shè)置如下。最大迭代次數(shù)T=500，允許誤差ε=10-2，增廣拉格朗日參數(shù)初始值Y0=0,η0=1×10-6，低秩分解3個分量的初始值L0=S0=F0=0，常數(shù)ρ=1.1。

為了驗證所提算法的有效性，本文從檢測效果和檢測時間兩方面，分別和RRSVD方法[15]、GHOG-RPCA方法[18]、PG-LSR方法[19]、PN-RPCA方法[20]進(jìn)行比較。

2.1 檢測效果對比

圖3示出5種算法對FID數(shù)據(jù)集的部分星型紋理織物的檢測結(jié)果。

圖3 星型紋理檢測結(jié)果Fig.3 Detection results for star-patterned fabric image. (a) Fabric image; (b) Method of reference [15];(c) Method of reference [18]; (d) Method of reference [19]; (e) Method of reference [20]; (f) Method of this paper; (g) Ground-truth

由于星型紋理的重復(fù)單元較小，因此在相同面積下，其紋理單元的排列比FID數(shù)據(jù)集中其他2種紋理更密集。當(dāng)星型紋理織物的瑕疵區(qū)很細(xì)微時，易發(fā)生漏檢甚至完全檢測不出瑕疵區(qū)的情況，因此本文選擇數(shù)據(jù)集中瑕疵區(qū)較小的織物圖進(jìn)行效果對比。其中，文獻(xiàn)[15]的方法未能很好地將疵點區(qū)和正常紋理有效分離，這可能是星型紋理單元排列過于密集導(dǎo)致的，如圖3(b)中星型斷頭、星型多斷頭和星型破洞；對于某些細(xì)微的疵點甚至完全失效，如圖3(b)中星型多破洞。文獻(xiàn)[18]的方法能較好地檢測出疵點，但其分割出的疵點輪廓明顯大于實際輪廓，因此其在輪廓細(xì)節(jié)刻畫方面還有待改進(jìn)。文獻(xiàn)[19]方法能較好地標(biāo)識出疵點的位置，如圖3(d)中星型斷頭和星型破洞；但其存在漏檢情況，未能標(biāo)記出疵點的全部區(qū)域，如圖3(d)中星型多破洞所示，文獻(xiàn)[19]方法只標(biāo)注出了2個疵點區(qū)中的1個。文獻(xiàn)[20]方法較好地檢測出了疵點，且其輪廓比前3種方法更接近疵點標(biāo)定圖，如圖3(e)中星型斷頭和星型多破洞；但結(jié)果中包含歪斜干擾，如圖3(e)中星型斷頭、星型破洞和星型多網(wǎng)。本文算法可以較好地檢測出疵點區(qū)位置，且疵點輪廓與疵點標(biāo)定圖相近，如圖3(f)中星型斷頭和星型多破洞；同時基本消除了文獻(xiàn)[20]結(jié)果中的歪斜干擾，如圖3(f)中星型斷頭、星型破洞和星型多網(wǎng)。

圖4示出5種算法對方格型紋理的檢測結(jié)果。

圖4 方格型紋理檢測結(jié)果Fig.4 Detection results for box-patterned fabric image.(a) Fabric image; (b) Method of reference [15]; (c) Method of reference [18]; (d) Method of reference [19]; (e) Method of reference [20]; (f) Method of this paper; (g) Ground-truth

其中文獻(xiàn)[15]方法對于方格型紋理織物的檢測效果比星型紋理稍好，如圖4(b)中的方格斷頭(縱)、斷頭(橫)和方格油污，可以在一定程度上識別出疵點位置，但不能很好地將其與背景分離。文獻(xiàn)[18]基本可以檢測出大致的疵點區(qū)，效果明顯優(yōu)于文獻(xiàn)[15]，但引入了一些細(xì)微噪聲，如圖4(c)中方格細(xì)緯。文獻(xiàn)[19]出現(xiàn)了大量虛警現(xiàn)象，將大量背景識別為瑕疵區(qū)域，如圖4(d)中方格斷頭(橫)和方格破洞，這是由于其采用的Frobenius范數(shù)不能很好地近似矩陣的秩。文獻(xiàn)[20]方法檢測出的疵點輪廓比前3種方法更精準(zhǔn)、細(xì)膩，但有很多歪斜干擾，如圖4(e)中方格斷頭(橫)和方格破洞。本文算法基本對每張織物圖都實現(xiàn)了疵點區(qū)與背景紋理的分離，且沒有文獻(xiàn)[20]中的歪斜干擾，如圖4(f)中方格斷頭(橫)和方格破洞，但本文算法在圖4(f)方格斷頭(縱)的檢測效果比文獻(xiàn)[20]稍差。

對于圓點型紋理織物，本文方法同樣可以有效抑制歪斜干擾，同時對疵點的輪廓細(xì)節(jié)描述較其他4種算法更細(xì)膩。

2.2 檢測時間對比

衡量算法優(yōu)劣的另一個指標(biāo)是檢測時間。為此將以上幾種方法在統(tǒng)一仿真環(huán)境下進(jìn)行對比，其中文獻(xiàn)[18]、文獻(xiàn)[19]、文獻(xiàn)[20]等方法的相關(guān)MatLab代碼均由論文作者提供。由于文獻(xiàn)[18]對每張疵點圖的平均處理時間在8 s左右，與文獻(xiàn)[19]、文獻(xiàn)[20]等不在一個量級，因此該方法不參與此環(huán)節(jié)的對比。圖5示出文獻(xiàn)[15]、文獻(xiàn)[19]、文獻(xiàn)[20]以及本文方法處理FID數(shù)據(jù)集中每張疵點圖的耗時對比。

圖5 單張織物圖的用時對比Fig.5 Compared results of time for single fabric image

整體上看，文獻(xiàn)[15]耗時最久，其次是文獻(xiàn)[19]與文獻(xiàn)[20]，本文算法檢測時間最短。為了更精準(zhǔn)地比較各方法耗時，本文以平均耗時為衡量指標(biāo)，其結(jié)果如表1所示。

表1 平均用時對比Tab.1 Compared results of average time

由表1可知，本文算法用時最短，隨后依次是文獻(xiàn)[19]、文獻(xiàn)[20]、文獻(xiàn)[15]，以上幾種方法對單張疵點圖的處理時間都在1 s以內(nèi)，相差很小。當(dāng)處理的疵點圖數(shù)量增加時，這種差距就不可忽視，如圖6所示。

圖6 FID數(shù)據(jù)集的總用時對比Fig.6 Compared results of total time for processing FID database

由圖5可知，同一方法對不同疵點圖的處理時間存在差異，其中一些疵點圖的處理時間明顯多于平均用時。這是由于該方法對此類紋理或疵點效果不佳，優(yōu)化時遲遲達(dá)不到目標(biāo)的誤差范圍。若針對不同的疵點圖，檢測時間有較大波動，則表明該方法穩(wěn)定性不夠好，適用范圍有限，很難推廣到其他紋理的織物檢測，因此，從圖5中不僅可得到每種方法檢測時間的對比情況，還可分析出各方法的穩(wěn)定性。

本文以標(biāo)準(zhǔn)差作為衡量各方法穩(wěn)定性的指標(biāo)，結(jié)果如表2所示?？梢钥闯?，穩(wěn)定性從弱到強分別是文獻(xiàn)[15]、文獻(xiàn)[19]、文獻(xiàn)[20]、本文算法。其中文獻(xiàn)[20]與本文算法的穩(wěn)定性相差不多，這與圖5中曲線變化反映的情況一致，同時也說明了本文算法具有較好的適應(yīng)性和推廣性。

表2 算法穩(wěn)定性對比Tab.2 Compared results of algorithms stability

3 結(jié)束語

為了解決傳統(tǒng)低秩分解方法中采用核范數(shù)近似矩陣秩導(dǎo)致的圖像信息過度丟失問題，采用更精準(zhǔn)且計算量更小的Beta范數(shù)代替核范數(shù)，在解決圖像信息過度丟失問題的同時，提高了算法的檢測速度；利用織物圖的HOG特征構(gòu)造后驗信息圖，對低秩分解的疵點顯著圖進(jìn)行修正，解決了織物彈性引起的歪斜問題；最后通過仿真分析驗證了本文方法的有效性和適用性。下一步研究的方向主要著眼于直接從低秩分解模型本身入手，使模型變“軟”，可以容忍正常范圍內(nèi)的織物變形，無需后驗信息圖即可解決織物彈性導(dǎo)致的歪斜問題，進(jìn)一步提高檢測效率。