基于Criminisi算法的非周期性印花織物缺陷檢測

馬金秀，張緩緩，景軍鋒，李鵬飛，王 震，仵景濤

(西安工程大學 電子信息學院，陜西 西安 710048)

0 引 言

印花織物作為一種附加值較高的織物，在服裝制衣、高端家紡制品及家居裝飾品中的應用十分廣泛[1-2]。但在花型印制的過程中，由于機械故障、人工操作失誤以及生產(chǎn)環(huán)境干擾等因素，不可避免地產(chǎn)生缺陷，而缺陷的存在直接影響了印花終端產(chǎn)品的質(zhì)量及價格。因此，對印花織物的缺陷檢測尤為重要。然而印花織物材質(zhì)多樣、紋理結(jié)構(gòu)復雜、顏色多變、花型繁多，缺陷特征難以有效表征，極大地增加了計算機對缺陷檢測的難度。

近年來，隨著機器學習、圖像處理與模式識別在紡織品工業(yè)質(zhì)量控制方面的廣泛應用，許多國內(nèi)外學者針對原料布[3-4]、網(wǎng)狀織物[5]和色織物[6-7]等面料紋理結(jié)構(gòu)相對簡單的織物瑕疵的研究取得了較多得成果。為了進一步解決具有復雜紋理和花型特性的印花織物缺陷，潘如如等提出了一種基于互相關(guān)的印花織物缺陷檢測方法[8]，該方法能實現(xiàn)印花織物的花紋偏移、顏色色差等缺陷的自動檢測，但是這些缺陷都來自于軟件的模擬，并沒有對實際的印花樣本進行驗證。KUO等提出了一種基于RGB累計均值法的印花織物缺陷檢測方法[9]，并對斷經(jīng)、斷緯等缺陷進行了有效檢測，但RGB空間計算量大，對硬件要求較高且論文并未對非周期印花織物進行探討。景軍鋒等提出采用曲線匹配算法對織物圖像進行分割[10]，完成圓網(wǎng)印花過程中對花誤差的檢測，但是在檢測過程中必須以標準圖像進行對比匹配，否則無法完成檢測。劉茁梅等提出基于稀疏表示的印花織物缺陷檢測[11]，但其文中的印花織物并非嚴格意義上的印花織物，仍然屬于紋理結(jié)構(gòu)相對簡單的織物類型。LIU等利用多級GAN網(wǎng)絡對數(shù)量較少的印花織物進行樣本擴充[12]，提高分割網(wǎng)絡的精度，成功完成對周期性印花織物的缺陷檢測。JING等利用Mobile-Unet網(wǎng)絡模型實現(xiàn)了對多種類型織物缺陷的檢測[13]，結(jié)果表現(xiàn)優(yōu)秀，但是網(wǎng)絡模型的訓練需要人工標記大量的圖片，費時費力、主觀性強。李敏等使用高斯混合模型完成了對印花織物錯花、色差以及花型歪斜等缺陷的檢測[14]，但該方法的檢測目標仍然是周期性印花織物，且需要正樣本的對比匹配。任歡歡等提出的一種基于黃金圖像減法與傅里葉變換位移定理曲線匹配算法相結(jié)合的方法[15]，實現(xiàn)了周期性印花織物的錯花缺陷檢測。

而這些方法目前解決的問題多是周期性印花織物缺陷，缺陷類型主要集中在錯花、對花[16]等方面，并沒有對非周期性印花織物的漏墨、破洞等缺陷進行驗證，而且這些方法需要無缺陷圖像作為正樣本參考匹配，參數(shù)調(diào)節(jié)繁瑣。因此，為了解決以上問題，文中以圖像修復技術(shù)為基礎，給出一種改進的Criminisi算法對織物缺陷進行檢測，旨在修復印花織物的缺陷圖像以達到最終檢測的目的。

1 印花織物圖像缺陷檢測

文中提出的基于Criminisi修復算法非周期性印花織物缺陷檢測方法，先以FT算法和大津閾值處理后的顯著二值圖作為Criminisi算法的Mask掩碼圖，得到修復的印花圖像，然后將修復圖與原圖做差，最終得到缺陷區(qū)域。該方法的優(yōu)勢在于不需要正樣本的對比匹配，不需要參數(shù)的調(diào)節(jié)，操作簡單，即可實現(xiàn)對非周期性印花織物漏墨、污漬的缺陷檢測。檢測流程如圖1所示。

圖 1 印花織物缺陷檢測框圖Fig.1 Flow chart of printed fabric defect detection

1.1 Mask掩碼圖的獲取

Mask掩碼圖用于印花織物的修復過程，用來確定待修復區(qū)域，對印花織物缺陷檢測非常重要。雖然非周期性印花織物的背景紋理復雜多變，缺陷區(qū)域不易識別，但其缺陷區(qū)域有一定的顯著性，因此本文利用FT顯著性算法[17]，獲取印花織物的顯著信息。算法原理為該方法先對圖像進行高斯濾波，獲得濾波后的圖像，提取其像素點的Lab值Ic(x,y)，然后計算圖像在Lab空間的均值Iμ，最后通過計算歐氏距離，獲得缺陷區(qū)域的顯著圖。

為了保證獲取完整的印花缺陷顯著區(qū)域，對顯著性圖有明確要求：①著重強調(diào)最大的顯著性物體；②顯著性區(qū)域的亮度均勻；③邊界處明顯；④丟棄有紋理、噪聲產(chǎn)生的高頻信息，避免對顯著性檢測的干擾；⑤算法高效，顯著圖與原圖大小一致。

通過上述要求可以看出，得到的顯著圖像中需要保留目標部分低頻信號，也要表征目標邊緣對應的高頻信號，同時要去除噪聲的干擾等因素所對應的高頻信號。為了解決這些問題，在計算顯著圖的過程中，選擇不同頻率分段的信號并進行組合，濾除非顯著區(qū)域?qū)念l率，以獲得滿足要求的顯著圖。

FT將組合的高斯差分濾波器(difference of Gaussian，DoG)作為帶通濾波器使用。DoG通過把原圖像與高斯核函數(shù)卷積得到濾波結(jié)果F(x,y)，可表示為

G(x,y,σ1)-G(x,y,σ2)

(1)

式中：x、y分別為圖像像素的橫、縱坐標;σ1和σ2為高斯標準差，且σ1>σ2。并且當DoG的標準差比ρ=σ1/σ2固定在1.6時[18]，可以達到理想顯著效果。

對于任意圖像I的顯著性圖定義為S(x,y)，得

S(x,y)=|Iμ-Ic(x,y)|

(2)

式中：Iμ為原圖像素值的算術(shù)平均值；Ic(x,y)為經(jīng)過DoG算子模糊后圖像(x,y)處的像素值。

將式(2)加入顏色特征和亮度特征，其擴展公式為

S(x,y)=‖Iμ-Ic(x,y)‖

(3)

式中：‖‖為L2范數(shù);Iμ為圖像的特征向量；Ic(x,y) 是原始圖像對應的高斯模糊圖像的像素矢量。式(3)可以滿足前面提出的要求。

為了進一步獲取Mask掩碼圖，需要分割突出區(qū)域，即待修復區(qū)域。因此需要對顯著性圖進行自適應閾值二值化，白色像素(像素值為1)對應待修復區(qū)域，而黑色像素(像素值為0)對應印花織物背景,本文選用大津法[19]對顯著圖進行分割。

首先要計算顯著圖中的類間方差，類間方差定義公式為

g=ω0ω1(μ0-μ1)2

(4)

式中：g為類間方差；ω0為前景的像素點數(shù)占整幅圖像的比例；μ0為其平均灰度；ω1為背景像素點數(shù)占整幅圖像的比例；μ1為其平均灰度。然后根據(jù)計算的類間方差，獲取Mask掩碼圖。

1.2 基于Criminisi算法的圖像修復

獲取Mask掩碼圖之后，采用 Criminisi算法[20]對印花織物缺陷圖像進行修復。Criminisi算法是一種基于樣例的修復算法，它的優(yōu)勢在于用合適的方法填補圖像缺失的部分，對合成圖像和復雜紋理的全彩圖像上的大物體遮擋和小劃痕具有良好的修復作用。而印花織物的背景花紋紋理復雜，缺陷區(qū)域形狀、大小不一。因此在獲得Mask掩碼圖后，利用Criminisi算法修復缺陷印花織物。

1) 在需要修復區(qū)域(即印花的缺陷區(qū)域)的輪廓上計算優(yōu)先權(quán)，選擇優(yōu)先權(quán)最大的輪廓點作為待修復點，優(yōu)先權(quán)P(p)可表示為

P(p)=C(p)D(p)

(5)

式中：C(p)為置信度項，表示樣本塊中包含的已知像素點的多少；D(p)為數(shù)據(jù)項,表示結(jié)構(gòu)信息量。C(p)越大,說明p中包含的已知信息所占有的比例越大，即置信度越大,應優(yōu)先修復。D(p)越大，說明表面線性結(jié)構(gòu)越復雜,應優(yōu)先修復。隨著修復的進行，待修復區(qū)域外層的像素將趨向于更大的置信值，因此會更早填充,待修復中心的像素將具有更小的置信值。其中，C(p)與D(p)分別定義為

(6)

(7)

2) 在該點周圍鄰域取一個一定大小的樣本塊，在圖像其他區(qū)域內(nèi)找該樣本塊的最近鄰塊。樣本塊的大小是n×n(其中n為像素的個數(shù))，修復過程中，本文選取Criminisi算法默認的9×9大小的樣本塊。

3) 將最近鄰patch塊對應到需要修復區(qū)域(即缺陷區(qū)域)的部分，復制到等待修復的區(qū)域，再重復上述步驟，直至所有點都填充完畢。

圖2從左到右依次為Criminisi修復算法的某一次迭代過程。其中，Ω表示待修復區(qū)域，即缺陷區(qū)域，其輪廓用δΩ表示；Φ表示源區(qū)域，提供修復過程中使用的樣本。假設要修復以點p為中心的方形模板Ψp∈Ω，源區(qū)域的最佳匹配樣本來自于Ψq∈Φ，Ψq是與Ψp已修復部分最相似的部分。如果Ψp位于圖像邊緣的延續(xù)上，則最可能的最佳匹配將位于相同(或顏色相似)的邊緣上。所有需要修復的等壓線向內(nèi)傳播是通過一個簡單的模式，即從最佳匹配的源圖像塊轉(zhuǎn)移到待修復的塊中。

圖 2 Criminisi修復算法的一次迭代過程Fig.2 An iteration process of Criminisi repair algorithm

2 實驗結(jié)果與分析

為驗證所提方法的有效性，實驗選取溢達織物裁片庫和實地工廠采集的印花織物作為實驗檢測樣本，包括迷彩印花圖片和復雜印花圖片，印花圖片的缺陷類型主要集中在漏墨、污漬等，圖片像素大小均為256×256。計算機處理器為Intel(R) Core(TM)i5-5200U CPU@2.20GHz，操作系統(tǒng)為64位Windows 10，軟件編譯環(huán)境為Matlab 2019a。

本文所提方法對非周期性印花織物的檢測結(jié)果與其他方法的對比結(jié)果如圖3所示，圖3中1～4種織物為復雜印花織物，第5種織物為迷彩印花織物，圖中紅色框為缺陷所在位置。

(a) 各種印花織物缺陷原圖

(b) 文獻[13]方法檢測結(jié)果

(c) 文獻[14]方法檢測結(jié)果

(d) 文獻[21]方法檢測結(jié)果

(e) 本文方法圖 3 各種印花織物缺陷檢測對比結(jié)果Fig.3 Defect detection and comparison results of various printed fabrics

從圖3(b)可知，文獻[13]基于Mobile-Unet網(wǎng)絡模型的方法可以檢測到部分印花樣本缺陷，較好地保留了缺陷的細節(jié)部分，但是對迷彩印花織物檢測結(jié)果并不理想，原因在于迷彩印花缺陷損壞程度較小，不易檢測。另外，該方法需要對大量的樣本進行人工標記，主觀性較強。從圖3(c)可知，文獻[14]基于高斯模型的方法對印花織物的缺陷總體檢測不準確，無法有效去除花紋背景紋理的影響，同樣，迷彩印花織物的背景信息對檢測結(jié)果的影響也較大。從圖3(d)可知，文獻[21]基于先驗知識的最小二乘回歸方法對印花織物的整體檢測效果不佳，得到的不規(guī)則圖是模糊的，定位的缺陷也是不準確的，原因在于印花織物過于復雜的背景紋理增加了該方法對缺陷檢測的難度。

從本文方法的檢測結(jié)果圖3(e)可以看出，該方法能夠有效檢測到各類非周期性印花織物的漏墨、破洞、污漬等缺陷區(qū)域，并且基本保留了缺陷區(qū)域的完整性。所提方法的實驗過程中無需正樣本圖像作對比參照，不涉及參數(shù)的調(diào)節(jié)，減少了檢測的繁瑣性，適用范圍較為廣泛。

在織物疵點檢測中，客觀評價指標主要從準確率RACC、漏檢率M、誤檢率F和交占比4個指標來進行量化對比。成功檢測到的缺陷被歸類為真實陽性TP，錯誤檢測被歸類為假陽性FP，未檢測到的缺陷被歸類為假陰性FN。RACC、M、F可表示為

(8)

M=FN/(TP+FN)

(9)

F=FP/(FP+TN)

(10)

交占比是交集面積與理論真實面積和檢測到的多邊形區(qū)域的并集面積之比，比值越接近1，表示檢測結(jié)果與實際情況越接近。本文方法和其他方法在RACC、M、F和交占比上的對比結(jié)果如表1所示，其中“-”表示無法獲得。

表 1 評價指標對比結(jié)果Fig.1 Comparison of evaluation indicators

從表1可以看出，文獻[21]無法檢測到印花織物的缺陷，文獻[14]對復雜印花織物的漏檢率結(jié)果表現(xiàn)良好，文獻[13]對復雜印花的交占比較高，但對其他參數(shù)指標，本文方法的結(jié)果都優(yōu)于其他方法，檢測準確度整體水平較高，誤檢率與漏檢率較低，交占比高，能夠達到檢測要求。

3 結(jié) 語

本文針對非周期性印花織物背景紋理結(jié)構(gòu)復雜、花型繁多、缺陷區(qū)域不易檢測的問題，提出基于Criminisi修復算法對非周期性印花織物缺陷進行檢測。首先,使用FT算法對印花織物原圖進行顯著性檢測，用大津閾值法對顯著圖處理，得到Mask掩碼圖，確定待修復區(qū)域,其次,基于Criminisi修復算法對缺陷圖像進行修復，最后,將修復圖與原圖做減法，從而得到缺陷檢測區(qū)域。經(jīng)大量實驗驗證，該方法無需正樣本，無需復雜參數(shù)調(diào)節(jié)，準確率高，誤檢率與漏檢率相對較小，既能檢測非印花類織物缺陷，也能夠分割出印花織物的缺陷區(qū)域。在未來的研究中，還需對該方法加以改進，使其在較短時間內(nèi)完成更多復雜印花織物的不同缺陷類型的檢測。