基于總變差的織物疵點分割方法

劉國維， 潘如如， 高衛(wèi)東， 周 建

(生態(tài)紡織教育部重點實驗室(江南大學(xué)), 江蘇 無錫 214122)

機織物的外觀質(zhì)量直接影響終端產(chǎn)品質(zhì)量等級，其檢驗方式仍然依賴人工目視，通過四分制評分法確定質(zhì)量等級。傳統(tǒng)的人工目視檢測由于存在強度高、檢測效率低及客觀性差等缺點，難以適應(yīng)當(dāng)前高效化、高品質(zhì)的生產(chǎn)模式。先進的檢測技術(shù)是生產(chǎn)高品質(zhì)產(chǎn)品的必要條件，為此，應(yīng)用計算機視覺代替人工目視，使用高效、可靠的檢測算法實現(xiàn)機織物表面疵點的自動檢測一直是近年來的研究熱點。

根據(jù)不同疵點檢測算法的檢測方式，可將算法分為基于特征提取和基于非特征提取二大類。基于特征提取的算法通常將織物圖像分割為多個子圖像，提取其特征后利用分類器進行識別[1]。如Latif-Amet等[2]于2000年提出了基于共生矩陣的織物疵點檢測方法，利用織物圖像的共現(xiàn)特征檢查織物紋理的缺陷。Chan等[3]利用傅里葉變換提取了用于中央空間頻譜的7個特征參數(shù)以進行織物疵點分類。李仁忠等[4]采用基于期望最大化思想(EM)算法的高斯混合模型來計算各織物圖像像素點為疵點的概率。潘如如等[5]基于互相關(guān)理論及模板匹配技術(shù)，檢測印花布的花紋偏移、顏色色差等疵點。同時，近年來基于深度學(xué)習(xí)的疵點檢測逐漸發(fā)展，也屬于特征提取類。如Jing等[6]將織物映像分解為局部補丁作為深度學(xué)習(xí)對象，再使用預(yù)訓(xùn)練的模型檢測疵點的類別和位置?？椢锎命c檢測實質(zhì)上屬于典型的模式識別問題，即如何將異常模式(疵點區(qū)域)從正常紋理模式中準確識別出來。機織物生產(chǎn)過程中經(jīng)緯向疵點的占比較高，且外觀模式與正?？椢锛y理存在較強的相關(guān)性，常規(guī)的特征提取方法需要訓(xùn)練大量樣本且難以將疵點模式與正常模式進行有效區(qū)分。

基于非特征提取的檢測方法可看作圖像分割問題。該方法不進行子圖像劃分而是基于整張織物圖像樣本，通過弱化或消除織物紋理背景來突出疵點區(qū)域，將疵點檢測問題轉(zhuǎn)化為圖像分割問題[1]。其中最常用的是Gabor濾波器、小波變換等，厲征鑫等[7]利用拉普拉斯小波進行織物圖像的單演小波分析，并利用最優(yōu)響應(yīng)子帶法分割織物疵點。屈博等[8]改進了傳統(tǒng)多通道Gabor濾波器，提出了用強輸出通道進行融合的新方法，分割出特定的疵點。祝雙武等[9]采用自相關(guān)函數(shù)確定織物紋理的橫縱周期，以弱化織物背景并突出織物的疵點，最后經(jīng)過均值增強后釆用Ostu法進行疵點分割?；诜翘卣魈崛〉目椢锎命c檢測方法在原理上更符合疵點檢測問題的單分類本質(zhì)，同時也充分利用了織物紋理及疵點的局部性特征[1]。

受總變差(TV)去噪算法的啟發(fā)，本文將疵點檢測問題視為一個圖像分割問題，運用總變差最小化思想實現(xiàn)織物疵點的準確分割。當(dāng)前，總變差多用于圖像去噪，即將圖像去噪問題建模成一個求總變差最小化的過程。Antonin[10]提出新的最小化總變差算法，實驗證明該方法在圖像去噪方面具有很好的效果[12]。Bresson等在文獻[11]的基礎(chǔ)上提出能夠處理彩色圖像的總變差最小化方法，隨后又提出一種非局部無監(jiān)督圖像變差分割模型，利用非局部濾波器和非局部變分模型有效地對半局部/非局部圖像信息進行去噪。

本文結(jié)合經(jīng)緯向疵點的特征，通過構(gòu)建總變差模型，提出基于總變差模式的織物疵點分割方法，旨在分割呈經(jīng)緯向、尺寸小且異常不顯著的疵點。這類疵點具有細、窄、面積小的特點，多屬于橫檔疵點。相對于破洞等局部疵點來說，這類疵點在灰度和結(jié)構(gòu)方面都沒有顯著變化。如大部分的雙緯、緊經(jīng)等疵點，它們的灰度和方向與織物紋理的灰度和方向相似，難以被分割出來。本文首先利用奇異值分解(SVD)強大的低秩重建性能去除正?？椢锛y理背景，獲取疵點異常圖，然后通過構(gòu)建總變差模型對疵點異常圖進行最優(yōu)化求解處理，得到不同約束下的疵點增強圖，最終實現(xiàn)織物疵點的準確分割。

1 實驗方法

1.1 SVD低秩重建

由于機織物紋理屬于結(jié)構(gòu)性紋理，規(guī)則度高，而織物疵點對織物正常紋理屬于小概率事件，具有稀疏特征，因此可以利用SVD強大的低秩重建性能，重建織物正常的背景紋理，忽略那些稀少且存有異常的疵點區(qū)域，即可實現(xiàn)織物紋理背景的去除，同時突出那些被重建忽略的疵點區(qū)域，得到疵點異常圖。相關(guān)SVD低秩重建原理如下。

設(shè)織物圖像為A，大小為M×N，SVD可將織物圖像A分解為3個部分[12]：

A=UΣVT

(1)

(2)

式中：Uk和Vk分別是矩陣U和V的前k列；Σk×k由Σ的前k行和前k列組成。

則A的最優(yōu)k秩近似為

(3)

最小目標值由下式給出：

(4)

其中：

(5)

如上所述，對圖像A的SVD分解可以看作一個線性組合，即A中每一列都可以由以左奇異向量Uk為基本向量的線性組合得到。為此，本文應(yīng)用SVD對圖像A低秩重建,步驟如下。

1)將織物圖像劃分為w×w的圖像塊，以向量形式表示每個圖像塊。

2)將每個圖像塊的向量視為式(1)中矩陣A的列，并進行SVD分解，提取前k個左奇異值作為重建的基本向量，記為B=[b1b2…bk]。

(6)

圖1示出通過SVD低秩重建得到的織物重建圖像與疵點異常圖(k=10)?？梢钥闯?，得到的重建圖保留了正常紋理區(qū)域，且在疵點異常圖中有效地突出了疵點和去除了紋理背景。

圖1 SVD重建效果圖Fig.1 SVD reconstruction renderings. (a) Original image; (b) Reconstructed image; (c) Defect abnormal image

1.2 增強疵點圖

雖然通過SVD低秩重建可以去除大部分規(guī)律性的織物背景紋理，獲取較為明顯的疵點區(qū)域，但背景仍然存在噪聲干擾，無法通過閾值法實現(xiàn)疵點區(qū)域的準確分割。為此，考慮到背景噪聲的隨機性與疵點區(qū)域的方向性和連續(xù)性的特征，本文借鑒總變差去噪原理，通過構(gòu)建基于總變差疵點增強模型，實現(xiàn)對疵點異常圖的進一步去噪并增強疵點區(qū)域連續(xù)性和顯著性，最終獲取便于疵點分割的疵點增強圖[13]。相關(guān)總變差算法原理如下。

Rudin等最早將總變差模型引入計算機視覺領(lǐng)域，并提出了有界變差空間(BV)，建立了圖像去噪的ROF模型，ROF模型如式(7)[14-15]所示：

(7)

根據(jù)以上原理，對于織物疵點異常圖，可將較為平滑連續(xù)的疵點看作前景目標圖像，將無規(guī)律的背景視作噪聲。為此，可利用總變差約束去除疵點異常圖中的雜亂背景并使疵點區(qū)域平滑且連續(xù)，實現(xiàn)疵點增強。利用這一原理，本文構(gòu)建了疵點增強模型，可分別從經(jīng)向與緯向?qū)Υ命c進行增強處理，以圖1(c)中疵點異常圖為例，記該圖像為B，大小為M×N，構(gòu)建疵點增強模型：

(8)

(9)

式中,BV和BH分別為經(jīng)向和緯向疵點增強圖。

式(8)和(9)中的第1項是平滑項，用于控制相鄰像素間的平滑度；第2項是保真項，控制疵點異常圖B與所得增強疵點圖BV或者BH之間的相似度，其數(shù)值越小，與原圖像越相似高；λ值為預(yù)先設(shè)定的權(quán)重參數(shù)，控制平滑和保真之間的平衡。

式(8)和(9)屬于凸優(yōu)化問題，所得最優(yōu)解即為增強的疵點圖，去除了原圖像(見圖1(c))中的背景噪聲并增強了疵點區(qū)域,圖2為增強效果圖。

圖2 經(jīng)緯向增強效果圖和總變差模型增強效果圖Fig.2 Enhancement image in weft (a)and warp(b) direction and enhancement image of total variation model(c)

由圖2可以看出，緯向疵點增強模型能有效去除背景,同時增強緯向疵點，大大提升了疵點的可割分性。同理，圖3為對經(jīng)向疵點的增強效果圖，可看出增強模型能夠?qū)?jīng)向疵點實現(xiàn)有效增強，表明了增強模型的有效性。

圖3 疵點增強效果圖Fig.3 Enhancement effect images of defect. (a) Original image; (b) Defect abnormal image; (c) Enhancement image; (d) Enhancement image in weft direction; (e) Enhancement image in warp direction

為同時適應(yīng)經(jīng)緯向疵點，在應(yīng)用中分別對經(jīng)緯向增強圖進行融合，融合方法為直接相加，圖2(c)和圖 3(c)為融合后的結(jié)果?？梢?，本文中所提出的總變差模型得到的疵點增強圖背景與疵點具有明顯的可分割性，采用簡單閾值法即可實現(xiàn)分割，圖4示出采用閾值為0.46、0.31的分割結(jié)果。

圖4 分割結(jié)果圖Fig.4 Segmentation result images. (a) Segmentation result of Fig.1(a); (b) Segmentation result of Fig.3(a)

2 實驗驗證

為了驗證本文疵點分割方法的有效性和準確性，對從工廠收集的真實織物疵點樣本進行實驗，該樣本共有8種不同經(jīng)緯向形狀的平紋或斜紋織物的疵點圖像，織物的原材料均為棉，經(jīng)緯向各有4張，尺寸為256像素×256像素。8個樣本上的疵點均呈經(jīng)緯向、尺寸小且異常不顯著，各個樣本的疵點類型不同，分別為：沉紗、雙緯、缺緯、雙緯、緯縮、稀緯、緊經(jīng)、松經(jīng)。對所有樣本疵點區(qū)域進行手工標注來對本文方法的分割性能進行客觀評估。表1示出8個樣本織物的經(jīng)緯密、疵點類型等參數(shù)。圖5示出部分手工標注疵點區(qū)域。

表1 8個樣本織物的參數(shù)Tab.1 Parameters of 8 sample fabrics

2.1 分割效果評價

本文采用F-measure(簡稱F值)曲線來評估分割結(jié)果，該曲線是基于精準(P)-召回(R)曲線所提出的，用于疵點分割性能評估，F(xiàn)值越大，對疵點的分割性能越好，公式如下:

圖5 部分手工標注疵點區(qū)域Fig.5 Several manually marked defect areas. (a) Original images and manually marked defect areas of sample 1#； (b) Original images and manually marked defect areas of sample 3#； (c) Original images and manually marked defect areas of sample 5#

(10)

(11)

(12)

式中：Nr表示被分類為正例的像素數(shù)；Ngt表示實際的像素總數(shù)；Nn表示分割結(jié)果中的像素總數(shù)。

考慮到疵點區(qū)域的不確定性，允許實際分割結(jié)果和真實值之間有一定的容限，具體是指實際分割結(jié)果與真實值之間小于3個像素，仍被視為正確的分割結(jié)果。

2.2 結(jié)果和討論

本文方法中的關(guān)鍵參數(shù)是權(quán)重值λ，該值控制平滑項和保真項之間的平衡。根據(jù)式(8)和(9)可知：當(dāng)λ值過小時，保真項權(quán)重過小，無法保證增強圖疵點的完整性，分割效果不理想；而當(dāng)λ值過大時，平滑項權(quán)重過小，無法去除雜亂的背景。圖6示出λ值在[0.001,1.5]范圍時的F值曲線。

圖6 不同λ值下F曲線Fig.6 F curve under different λ

觀察不同樣本的F值可以發(fā)現(xiàn)：λ值從0.001增加到0.1時，F(xiàn)值有明顯提升，分割效果逐漸變好；當(dāng)λ值在0.1左右時，疵點分割效果最佳；隨著λ值增大，F(xiàn)值趨于穩(wěn)定并能保持在0.7以上，這表明本文方法在參數(shù)λ值于一定范圍內(nèi)均可獲得比較穩(wěn)定的疵點增強效果，說明此方法具有穩(wěn)定性；當(dāng)λ值大于0.8時，F(xiàn)值逐漸下降，分割效果變差。F值隨著λ值變化的原因是：λ值過小時，由于保真項權(quán)重過小，輸出的增強圖太過平滑，導(dǎo)致疵點區(qū)域誤分割。部分樣本在λ值從0.001開始時F值較高，這是因為該樣本的疵點本身較明顯且與背景噪聲相似性低，較小的平滑權(quán)重即可獲得良好的分割效果。但當(dāng)λ值過大時，平滑項權(quán)重減少，對疵點區(qū)域平滑增強效果不足，導(dǎo)致疵點區(qū)域漏分割，為達到最佳的分割效果，需要選取合適的λ值。

平滑程度對疵點分割效果有著直接的影響，為此，本文提出利用平滑項與λ值的關(guān)系曲線確定最佳λ值的方法。經(jīng)研究發(fā)現(xiàn)，所有樣本的平滑項變化趨勢基本相同，因此以織物樣本7#為例進行說明，圖7示出織物樣本7#的平滑項曲線。

圖7 織物樣本7#的平滑項曲線Fig.7 Smooth term curve of fabric sample 7#

由圖7可知:λ值從0.001增加到0.07左右時，平滑項的增加趨勢比較緩慢，數(shù)值幾乎不變；λ值增加至0.07之后，平滑項的增加趨勢發(fā)生變化。通過觀察發(fā)現(xiàn)，發(fā)生變化的點與圖6中樣本7#產(chǎn)生最大F值的λ值基本吻合。結(jié)合式(8)、(9)可知，當(dāng)平滑項幾乎不變時，保真項占主導(dǎo)地位，無法獲得良好的增強效果，故需要在平滑項變化的區(qū)間選取λ值。為了突出平滑項變化情況，本文選用該區(qū)間的平滑項差分值曲線，如圖8所示。通過觀察可以發(fā)現(xiàn)，在平滑項差分值快速增長時的第1個拐點處，F(xiàn)值能達到最大值或非常接近最大值。以樣本7#為例，第1拐點對應(yīng)的λ值為0.085，與圖6中該值所對應(yīng)的最大F值吻合。在拐點處取得最大F值的原因是此時平滑項差分值的增大趨勢放緩，平滑項由于保真項的存在不再隨著λ值的線性增加而過度增加，平滑項與保真項都保持了一定的權(quán)重而不再是平滑項主導(dǎo)，所得到的疵點增強圖既去除了噪聲又保證了與異常圖的相似度，故平滑項差分值曲線快速增長時的第1個拐點所對應(yīng)的λ值可作為最佳λ值。利用不同織物的平滑項差分值曲線圖作為最佳λ值曲線，其第1拐點所對應(yīng)的最優(yōu)λ值及其F值如表2所示。

圖8 織物樣本的平滑項差分-權(quán)重值曲線Fig.8 Smooth term difference curve of fabric samples

表2 織物樣本檢測結(jié)果Tab.2 Test results of each test sample

由表2可知，采用本文方法確定的最優(yōu)λ值對所有織物樣本進行測試時，可以取得最大的F值或非常接近最大值，說明本方法可以得到理想的分割結(jié)果。

為了直觀展示本文方法的分割效果，圖9示出在表2所得最優(yōu)λ值下的可視化分割結(jié)果。

圖9 各樣本的分割結(jié)果Fig.9 Visualized segmentation results. (a) Original images; (b) Defect abnormal images; (c) Defect enhancement images; (d) Segmentation results of Fig.(b) using threshold method; (e) Segmentation results of Fig.(c) using threshold method

在圖9(d)示出未采用本文TV方法直接對疵點異常圖進行閾值分割的結(jié)果，織物圖片中仍然存在織物背景紋理。圖9(e)示出采用本文TV方法后對得到的疵點增強圖進行閾值分割的結(jié)果，織物圖片中不再有背景紋理，且疵點十分清晰。對比圖9中的分割結(jié)果可知，使用本文方法的8個樣本的分割結(jié)果都十分理想，均優(yōu)于未使用本文方法直接對疵點異常圖進行分割的方法，證明了本文方法的有效性與準確性。

3 結(jié) 論

本文利用奇異值分解(SVD)低秩重建與總變差(TV)模型實現(xiàn)了織物圖像的紋理去除、疵點圖像強化以及疵點分割，并針對構(gòu)建的總變差疵點增強模型，設(shè)計了參數(shù)權(quán)重值λ的優(yōu)選方法，完成了基于總變差的織物疵點分割。實驗結(jié)果表明，基于總變差的疵點分割算法對經(jīng)緯向尺寸小且異常不顯著的各種類型的疵點具有良好的分割效果和較高的穩(wěn)定性與精準率。

FZXB