改進(jìn)頻率調(diào)諧顯著算法在疵點(diǎn)圖像分割中的應(yīng)用

徐啟永， 胡 峰， 王傳桐， 吳雨川

(1. 武漢紡織大學(xué) 機(jī)械工程與自動化學(xué)院， 湖北 武漢 430074; 2. 武漢紡織大學(xué) 湖北省數(shù)字化紡織裝備重點(diǎn)實(shí)驗(yàn)室， 湖北 武漢 430074)

疵點(diǎn)圖像分割精度對織物等級自動評定的準(zhǔn)確性具有重要意義[1]。圖像分割方法主要有閾值分割法[2]、區(qū)域分割法[3]和邊緣分割法[4]等。閾值分割方法計(jì)算簡單，運(yùn)算效率高，被廣泛應(yīng)用。最大類間方差法(OTSU)是典型閾值分割法，該方法依據(jù)背景和目標(biāo)區(qū)域間最大類間方差來獲取門限值，將圖像背景和目標(biāo)區(qū)域分離。為使織物圖像的疵點(diǎn)和背景區(qū)域間的類間方差增大，需對織物圖像進(jìn)行顯著處理，提高織物疵點(diǎn)和背景區(qū)域的對比度。

常用的圖像顯著性區(qū)域提取方法有：譜殘差(SR)方法[5-6]、基于圖論的視覺顯著性(GBVS)方法[7]、基于全局對比度的顯著(LC)方法[8]和基于局部統(tǒng)計(jì)和整體顯著的方法[9]等。SR方法首先根據(jù)圖像對數(shù)幅值譜得到殘余譜，再利用殘余譜進(jìn)行傅里葉逆變換，得到顯著圖。雖然該方法可抑制織物背景紋理，但是在計(jì)算對數(shù)幅值譜過程中使用了減法操作，在抑制背景信息的同時(shí)也抑制了疵點(diǎn)信息，不利于疵點(diǎn)準(zhǔn)確分割。GBVS方法通過馬爾科夫隨機(jī)場構(gòu)建圖像的馬爾可夫鏈，根據(jù)像素點(diǎn)與其周圍點(diǎn)的平衡分布情況獲得顯著圖，存在不能正確凸顯細(xì)小疵點(diǎn)的問題。LC方法通過計(jì)算每個(gè)像素點(diǎn)與整幅圖像中其他像素點(diǎn)間的歐式距離和，獲得顯著圖。雖然該方法計(jì)算簡單，但在計(jì)算顯著值的過程中容易使頻數(shù)小的像素點(diǎn)獲得較大的顯著值，導(dǎo)致噪聲和疵點(diǎn)一起被顯著，使得疵點(diǎn)圖像分割精度下降。局部統(tǒng)計(jì)和整體顯著方法是在分塊圖像中，通過測試圖像與隨機(jī)選取圖像塊間的局部二進(jìn)制模式統(tǒng)計(jì)特征和灰度統(tǒng)計(jì)特征的對比度，來完成基于上下文的整體顯著性分析，生成顯著圖。當(dāng)背景區(qū)域基元與疵點(diǎn)區(qū)域基元相差不大時(shí)，該方法顯著效果不佳。相較于上述方法，頻率調(diào)諧顯著(FT)法不僅計(jì)算量小，而且具有顯著圖與原圖分辨率相同的優(yōu)點(diǎn)[10]，可保持目標(biāo)區(qū)域的整體性，有利于疵點(diǎn)分割精度的提高；但是，該方法要求疵點(diǎn)與背景區(qū)域有一定的對比度，并存在高斯濾波器平滑能力弱和降噪能力差的缺點(diǎn)。

針對FT算法存在的問題，本文采用非局部均值濾波器(NLM)[11]替代FT算法中的高斯濾波器，增強(qiáng)背景紋理的平滑能力和噪聲的抑制能力，并且針對NLM濾波器中參數(shù)h對疵點(diǎn)分割精度影響較大的問題，提出了基于平均最大類間方差的參數(shù)優(yōu)化方法。將改進(jìn)FT算法和OTSU算法一起用于疵點(diǎn)圖像分割，以期能達(dá)到提高疵點(diǎn)分割精度的目的。

1 基于改進(jìn)FT的疵點(diǎn)分割算法

基于改進(jìn)FT的疵點(diǎn)分割算法主要分為3個(gè)步驟,圖1示出其圖像分割步驟流程。

圖1 基于改進(jìn)FT算法的疵點(diǎn)圖像分割步驟流程圖Fig.1 Flow chart of improved FT algorithm for fabric defect segmentation

步驟1：使用最優(yōu)NLM濾波器替代FT方法中的高斯濾波器[10]對織物圖像進(jìn)行濾波。

設(shè)織物圖像f={f(i)|i∈I}，i和I分別為像素點(diǎn)和搜索窗。根據(jù)式(1)和式(2)[11]計(jì)算像素點(diǎn)i經(jīng)過NLM濾波后的灰度值fN(i)：

(1)

(2)

濾波參數(shù)h通過影響權(quán)重ω(i,j)的大小來決定濾波程度。如果取值太小，則噪聲濾除不徹底；反之，會導(dǎo)致圖像過度平滑，不利于疵點(diǎn)分割精度的提高[12]。OTSU方法根據(jù)背景和目標(biāo)間最大方差來選取門限值，進(jìn)行圖像分割[2]。如果疵點(diǎn)和背景區(qū)域的類間方差越大，則OTSU方法的分割精度越高。因此，采用平均最大類間方差作為濾波參數(shù)h的優(yōu)化準(zhǔn)則，如式(3)所示：

(3)

式中:n為疵點(diǎn)圖像的張數(shù)；pi1和pi2分別為第i幅圖像疵點(diǎn)和背景區(qū)域的概率；ui為第i幅圖像的平均灰度值；ui1和ui2分別為第i幅圖像疵點(diǎn)和背景區(qū)域的平均灰度值。

濾波參數(shù)h的優(yōu)化方法如下：首先，在同種織物中隨機(jī)選取若干張疵點(diǎn)圖像組成訓(xùn)練樣本集；然后，分別令濾波參數(shù)h為m,m+1,m+2,…,n。通常情況下m≥5,n≤25,m≠n；然后，通過式(1)、(2)對訓(xùn)練樣本進(jìn)行NLM濾波。其次，根據(jù)式(3)計(jì)算不同h值對應(yīng)的平均最大類間方差；最后，δ(h)最大值所對應(yīng)的h的值即為所求。

圖2示出使用推薦方法對竹節(jié)疵點(diǎn)進(jìn)行顯著分割所得到的各步驟結(jié)果?？芍褐窆?jié)疵點(diǎn)圖像經(jīng)過NLM濾波器濾波處理后(見圖2(b))，織物背景紋理被有效模糊。

圖2 推薦方法對竹節(jié)圖像處理的3個(gè)步驟結(jié)果圖Fig.2 3 Steps result maps of slab yarn by using recommended method. (a)Slab yarn; (b)Map result of step 1; (c) Map result of step 2;(d) Map result of step 3

步驟2：計(jì)算濾波后的織物顯著圖。

1) 將NLM濾波后的圖像轉(zhuǎn)換到Lab顏色空間，計(jì)算其顯著值，如式(4)所示：

S=‖Iu-INLM‖

(4)

式中：Iu為疵點(diǎn)圖像在 Lab顏色空間的像素算術(shù)平均值；INLM為NLM濾波后的圖像；║║為歐式距離。

2) 對顯著值S進(jìn)行歸一化處理，如式(5)所示：

(5)

由圖2(b)經(jīng)過顯著值計(jì)算和歸一化處理后，得到圖2(c)。從圖2(c)中可以看出疵點(diǎn)區(qū)域?qū)Ρ榷缺伙@著增強(qiáng)。

步驟3：利用OTSU方法對顯著圖G進(jìn)行分割，其分割結(jié)果如圖2(d)所示。從圖中可以看出疵點(diǎn)區(qū)域位置和大小被準(zhǔn)確確定。

2 實(shí)驗(yàn)研究

2.1 數(shù)據(jù)來源

本文研究數(shù)據(jù)來源于2種不同紋理的疵點(diǎn)數(shù)據(jù)庫D1和D2。其中：D1數(shù)據(jù)庫(平紋組織；緯密為30 根/cm；經(jīng)密為32 根/cm；線密度為18.23 tex；采集分辨率為0.089 mm/像素)和D2數(shù)據(jù)庫(平紋組織；緯密為37.5 根/cm；經(jīng)密為41 根/cm；線密度為36.34 tex；采集分辨率為0.089 mm/像素)。2個(gè)數(shù)據(jù)庫中包含粗經(jīng)、竹節(jié)、結(jié)頭、斷緯、油污和破洞等常見疵點(diǎn)和正常織物圖像，圖像大小為512像素×512像素。

2.2 織物反射和透射圖像對比

為提高疵點(diǎn)區(qū)域與背景區(qū)域的對比度。圖像采集過程中，將光源和相機(jī)分別置于織物兩側(cè)進(jìn)行圖像采集。利用疵點(diǎn)和背景區(qū)域透射率的不同，提高疵點(diǎn)區(qū)域?qū)Ρ榷萚13]。分別利用光的反射(相機(jī)和光源在織物同側(cè))和透射(相機(jī)和光源在織物兩側(cè))2種方式采集不同紋理的織物疵點(diǎn)圖像，其疵點(diǎn)圖像如圖3所示。由圖3(a)、(c)可看出織物圖像的對比度極低，疵點(diǎn)區(qū)域難以分辨。由圖3(b)、(d)可看出織物透射圖像中疵點(diǎn)與背景區(qū)域的對比度被顯著增強(qiáng)，因此，利用織物透射率差異可提高疵點(diǎn)區(qū)域?qū)Ρ榷龋蓾M足FT算法對疵點(diǎn)與背景區(qū)域的對比度要求[9]。

圖3 不同采集方式下的疵點(diǎn)圖像Fig.3 Fabric defect images by different acquiring methods.(a) Coarse pick of reflection; (b) Coarse pick of transmission;(c) Missed warp of reflection; (d)Missed warp of transmission

2.3 h與平均最大類間方差的關(guān)系

分別從D1和D2數(shù)據(jù)庫中隨機(jī)選取40張圖像作為訓(xùn)練樣本集，計(jì)算不同h值對應(yīng)的平均最大類間方差。圖4示出D1和D2數(shù)據(jù)庫中疵點(diǎn)圖像濾波參數(shù)h與平均最大類間方差值的關(guān)系?？煽闯銎骄畲箢愰g方差所對應(yīng)的參數(shù)h值具有唯一性，D1數(shù)據(jù)庫的最優(yōu)濾波參數(shù)h為13，D2數(shù)據(jù)庫的最優(yōu)濾波參數(shù)h為16。

圖4 濾波參數(shù)h與平均最大類間方差的關(guān)系曲線Fig.4 Change curves of filter parameter h and maximum variance between clusters. (a) Relation curve of database D1;(b) Relation curve of database D2

D1和D2數(shù)據(jù)庫的h值不同，原因可能是h值會影響式(2)的計(jì)算結(jié)果，而權(quán)重值ω(i,j)主要受噪聲水平和圖像內(nèi)容影響。首先，D1和D2數(shù)據(jù)庫的織物組織和結(jié)構(gòu)不同，即圖像內(nèi)容不同；其次，受實(shí)驗(yàn)條件限制，疵點(diǎn)圖像在采集過程中的噪聲水平可能不一致，因此，2個(gè)數(shù)據(jù)庫優(yōu)化得到的濾波參數(shù)h不同。

2.4 實(shí)驗(yàn)過程

為驗(yàn)證改進(jìn)FT算法的合理性和有效性，使用D1和D2數(shù)據(jù)庫織物圖像進(jìn)行驗(yàn)證性實(shí)驗(yàn)。首先，利用式(1)、(2)分別對疵點(diǎn)圖像進(jìn)行濾波，式(1)中搜索窗I取值為21像素×21像素，式(2)中相似窗N取值為5像素×5像素[14-15]，D1和D2數(shù)據(jù)庫的濾波參數(shù)h分別取13和16；然后，將濾波后的圖像轉(zhuǎn)換到Lab顏色空間；利用式(4)、(5)計(jì)算濾波后的織物顯著圖；最后，使用OTSU算法對顯著圖進(jìn)行分割。

2.5 結(jié)果與分析

將改進(jìn)FT算法的分割結(jié)果與OTSU算法、最大熵方法、FT與OTSU算法、NLM濾波器與OTSU算法的分割結(jié)果進(jìn)行實(shí)驗(yàn)對比，結(jié)果如圖5～12所示。

由圖5～12中的(b)圖可看出，OTSU算法的分割結(jié)果中含有大量織物紋理信息，說明OTSU算法不能正確區(qū)分疵點(diǎn)和背景區(qū)域。原因是：疵點(diǎn)圖像未經(jīng)過預(yù)處理，其灰度直方圖呈現(xiàn)較弱的單峰性，OTSU算法不能通過最大類間方差找到合適的閾值。

由圖5～12中的(c)圖可看出，最大熵分割方法對破洞、斷緯和線頭等疵點(diǎn)圖像的分割結(jié)果較好，而對其他疵點(diǎn)圖像的分割效果較差。原因是:最大熵的計(jì)算準(zhǔn)確度易受織物組織和結(jié)構(gòu)復(fù)雜程度的影響，由此說明數(shù)據(jù)庫D1和D2中疵點(diǎn)圖像不經(jīng)預(yù)處理，直接采用閾值方法進(jìn)行分割，不能將疵點(diǎn)和背景區(qū)域分離。

由圖5～12中的(d)圖可看出，F(xiàn)T算法(高斯濾波器模板尺寸為5像素×5像素[10]，樣顯著值歸一化后應(yīng)用于OTSU算法分割)的分割結(jié)果中，破洞分割效果最好，斷緯和線頭的二值圖中存在少量偽疵點(diǎn)，而其他疵點(diǎn)的二值圖中出現(xiàn)大量背景紋理，沒能實(shí)現(xiàn)疵點(diǎn)的精確分割。說明部分疵點(diǎn)圖像直接使用FT算法進(jìn)行預(yù)處理，不能提高OTSU算法的分割精度。原因是：破洞與背景區(qū)域在顏色和亮度上差異明顯，使用FT算法顯著后，灰度直方圖呈現(xiàn)明顯的二峰性，使OTSU算法可通過最大類間方差找到合適的閾值；其他疵點(diǎn)與背景區(qū)域在顏色和亮度上差異比較小(如油污和結(jié)頭)，顯著后的灰度直方圖二峰性不明顯；OTSU算法不能通過最大類間方差找到合適的閾值；FT算法中高斯濾波器平滑和去噪能力較弱。

由圖5～12中的(e)圖可看出，使用NLM濾波器進(jìn)行預(yù)處理，不能提高OTSU算法的分割精度，疵點(diǎn)圖像的分割結(jié)果不好。原因可能是：使用式(2)計(jì)算像素點(diǎn)相似窗的加權(quán)歐式距離時(shí)，可克服噪聲對加權(quán)歐式距離計(jì)算精度的影響，提高像素點(diǎn)相似度估計(jì)的準(zhǔn)確性，但高斯核是各向同性的，圖像內(nèi)不相似的像素點(diǎn)同樣參與了加權(quán)歐式距離的計(jì)算，會給像素點(diǎn)相似性估計(jì)造成誤差；因此，NLM濾波器對提高疵點(diǎn)區(qū)域?qū)Ρ榷鹊淖饔糜邢蕖?/p>

圖5 不同分割方法對數(shù)據(jù)庫D1中粗經(jīng)疵點(diǎn)檢測結(jié)果Fig.5 Detection results of coarse warp defects in database D1 with different segmentation methods.(a)Original；(b) OTSU algorithm；(c)Maximum entropy method；(d) FT algorithm；(e) NLM method；(f) Improved FT algorithm

圖6 不同分割方法對數(shù)據(jù)庫D1中竹節(jié)疵點(diǎn)檢測結(jié)果Fig.6 Detection results of slab yarn defects in database D1 with different segmentation methods.(a)Original；(b) OTSU algorithm；(c)Maximum entropy method；(d)FT algorithm；(e) NLM method；(f) Improved FT algorithm

圖7 不同分割方法對數(shù)據(jù)庫D1中吊經(jīng)疵點(diǎn)檢測結(jié)果Fig.7 Detection results of warp suspends defects in database D1 with different segmentation methods.(a)Original；(b) OTSU algorithm；(c) Maximum entropy method；(d) FT algorithm；(e) NLM method；(f) Improved FT algorithm

圖8 不同分割方法對數(shù)據(jù)庫D1中結(jié)頭疵點(diǎn)檢測結(jié)果Fig.8 Detection results of knot defects in database D1 with different segmentation methods.(a)Original；(b) OTSU algorithm；(c) Maximum entropy method；(d) FT algorithm；(e) NLM method；(f) Improved FT algorithm

圖10 不同分割方法對數(shù)據(jù)庫D2中線頭疵點(diǎn)檢測結(jié)果Fig.10 Detection results of thrum defects in database D2 with different segmentation methods.(a)Original；(b) OTSU algorthim；(c) Maximum entropy method；(d) FT algorthim；(e) NLM method；(f) Improved FT algorthim

圖11 不同分割方法對數(shù)據(jù)庫D2中油污疵點(diǎn)檢測結(jié)果Fig.11 Detection results of oil stain defects in database D2 with different segmentation methods.(a)Original；(b) OTSU algorthim；(c) Maximum entropy method；(d) FT algorthim；(e) NLM method；(f) Improved FT algorthim

圖12 不同分割方法對數(shù)據(jù)庫D2中破洞疵點(diǎn)檢測結(jié)果Fig.12 Detection results of hole defects in database D2 with different segmentation methods.(a)Original；(b) OTSU algorthim；(c) Maximum entropy method；(d) FT algorthim；(e) NLM method；(f) Improved FT algorthim

由圖5～12中的(f)圖可看出，與原FT算法和NLM濾波方法相比使用改進(jìn)FT法對疵點(diǎn)圖像進(jìn)行預(yù)處理，可提高OTSU算法的分割精度，疵點(diǎn)二值圖中沒有出現(xiàn)背景紋理信息。原因可能是：使用NLM濾波器替代原FT算法中的高斯濾波器，提高了對背景紋理的平滑和降噪能力；使用平均最大類間方差作為優(yōu)化準(zhǔn)則，可得到較為理想的濾波參數(shù)h。

3 結(jié) 論

利用織物疵點(diǎn)和背景區(qū)域透光性的不同，使用透射方式獲取疵點(diǎn)圖像可提高疵點(diǎn)區(qū)域?qū)Ρ榷?，滿足FT算法的使用要求；利用NLM濾波器替代FT算法中的高斯濾波器，可提高疵點(diǎn)圖像的背景平滑和降噪能力；NLM濾波器參數(shù)h對疵點(diǎn)分割精度影響較大，將平均最大類間方差作為參數(shù)h的優(yōu)化準(zhǔn)則，能夠獲得最優(yōu)參數(shù)；將改進(jìn)FT算法應(yīng)用于疵點(diǎn)圖像預(yù)處理，可提高OTSU算法的疵點(diǎn)分割精度。

參考文獻(xiàn)：

[1] 夏冬升, 汪軍. 基于小波變換和圖像分割的織物等級自動評定[J]. 東華大學(xué)學(xué)報(bào)(自然科學(xué)版), 2007, 33(2): 221-226.

XIA Dongsheng, WANG Jun. Automatic fabric grading based on wavelet transform and image segment-ation [J]. Journal of Donghua University (Natural Science Edition), 2007, 33 (2): 221-226.

[2] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man &.Cybernetics，1979，9(1)： 62-66.

[3] VINCENT L, SOILLE L. Watersheds in digital space: an efficient algorithm based on immersion simula-tions [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(6): 583-598.

[4] 朱桂英，張瑞林. Canny 算子在織物防水性能自動識別中的應(yīng)用[J]. 紡織學(xué)報(bào), 2008, 29 (3):122-125.

ZHU Guiying, ZHANG Ruilin.Application of Canny operator on automatic detection of fabric waterproof performance[J]. Journal of Textile Research, 2008, 29(3):122-125.

[5] HOU X D, ZHANG L Q. Saliency detection: a spectral residual approach [C]//Institute of Electrical and Electronics Engineers, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis：IEEE Compututer Society Press，2007：1-8.

[6] 李敏, 崔樹芹, 陳佳. 應(yīng)用視覺顯著性的小提花織物疵點(diǎn)檢測[J]. 紡織學(xué)報(bào), 2016, 37(2): 38-42.

LI Min, CUI Shuqin, CHEN Jia. Defection for mini-jacquard fabric based on visual saliency [J]. Journal of Textile Research, 2016, 37(2): 38-42.

[7] HAREL J, KOCH C, PERONA P. Graph-based visual saliency[C]//Conference and workshop on Neural Information Proccssing Systems Advances in Neural Information Processing Systems. Vancouver: NIPS, 2007: 545-552.

[8] ZHAI Y, SHAN M. Visual attention detection in video sequences using spatiotemporal cues[C]//Associaiton for Computing Machinery. The 14th Annual ACM International Conference on Multimedia. Santa Barbara, CA, USA, 2006: 815-824.

[9] 劉洲峰, 趙全軍, 李春雷, 等. 基于局部統(tǒng)計(jì)與整體顯著性的織物疵點(diǎn)檢測算法[J]. 紡織學(xué)報(bào), 2014, 35(11): 62-67.

LIU Zhoufeng, ZHAO Quanjun, LI Chunlei, et al. Fabric defect detection algorithm using local statistic features and global saliency analysis [J]. Journal of Textile Research, 2014, 35(11): 62-67.

[10] ACHANTA R, HEMAMI S, ESTRADA F, et al. Frequency-turned salient region detection [C]//Institute of Electrical and Etectronics Engineers. Proceedings of 2009 IEEE Computer Society Conference on Computer Society Conference on Computer Vision and Pattern Recognition Workshop. Miami: IEEE Computer Society Press, 2009:1597-1604.

[11] BUADES A, COLL B, Morel J M. A non-local algorithm for image denoising [C]//Institute of Electrical and Etectronics Engineers. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego:IEEE Computer Society Press, 2005: 60-65.

[12] 張權(quán), 羅立民, 桂志國, 等. 一種基于優(yōu)化參數(shù)的非局部均值濾波算法[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2012, 29(3)： 78-81.

ZHANG Quan, LUO Limin, GUI Zhiguo, et al. A non-local mean filtering algorithm based on optimum parameter[J]. Computer Applications and software, 2012, 29(3); 78-81.

[13] 王傳桐, 胡峰, 徐啟永, 等. 改進(jìn)頻率調(diào)諧顯著算法在疵點(diǎn)辨識中的應(yīng)用[J]. 紡織學(xué)報(bào)，2018，39(3)：154-160.

WANG Chuantong，HU Feng，XU Qiyong，et al. Detection of fabric defect based on improved frequency-tuned salient region[J]. Journal of Textile Research，2018，39(3):154-160.

[14] 孫偉峰. 基于非局部信息的信號與圖像處算法及其應(yīng)用研究[D]. 濟(jì)南: 山東大學(xué), 2010:79-81.

SUN Weifeng. Research on signal and image processing algorithms based on non-local information and their applications[D]. Jinan: Shandong University, 2010:79-81.

[15] KERVRANN C, BOULANGER J. Optimal spatial adaptation for patch-based image denoising [J]. IEEE Transactions on Image Processing, 2006, 15(10): 2866-2878．