基于Gabor濾波器和HOG特征的織物疵點(diǎn)檢測(cè)

湯曉慶，黃開(kāi)興，秦元慶，周純杰

(華中科技大學(xué)自動(dòng)化學(xué)院，圖像處理與智能控制教育部重點(diǎn)實(shí)驗(yàn)室，武漢 430074)

0 引言

在紡織工業(yè)中，織物的疵點(diǎn)會(huì)使其價(jià)值降低45%～65%，傳統(tǒng)的織物疵點(diǎn)是通過(guò)人工進(jìn)行檢測(cè)，不僅效率低下，而且漏檢率高，研究發(fā)現(xiàn)人工疵點(diǎn)檢測(cè)的準(zhǔn)確率大概只有60%～75%，不能滿足現(xiàn)在企業(yè)對(duì)產(chǎn)品質(zhì)量的要求［1］。

目前基于機(jī)器視覺(jué)和圖像處理的疵點(diǎn)檢測(cè)技術(shù)已經(jīng)成為國(guó)內(nèi)外研究學(xué)者的熱門(mén)研究方向，各種圖像處理算法被研究用于疵點(diǎn)檢測(cè)當(dāng)中，如基于統(tǒng)計(jì)的、基于模型的、基于頻譜的方法等，并產(chǎn)生了許多有益的成果［2-3］。其中 Gabor濾波器作為一種重要的時(shí)頻分析方法，由于在空間域和頻率域都具備良好的局部性，并且和人眼的視覺(jué)通道很相似，因此被廣泛的應(yīng)用于疵點(diǎn)檢測(cè)中［4］。利用Gabor濾波器對(duì)織物分析的方法主要有兩類:一類是通過(guò)使用多尺度、多方向的Gabor濾波器組對(duì)織物疵點(diǎn)圖像進(jìn)行濾波［5］;另一類是通過(guò)最優(yōu)化的方法調(diào)整Gabor濾波器參數(shù)來(lái)構(gòu)造最優(yōu)濾波器對(duì)織物圖像進(jìn)行檢測(cè)，這類方法需要事先對(duì)大量樣本進(jìn)行學(xué)習(xí)［6］。Gabor濾波器對(duì)織物圖像濾波可以減少疵點(diǎn)圖像對(duì)比度低和光照不均的影響，但是很難完全的消除背景紋理和噪聲對(duì)疵點(diǎn)檢測(cè)的干擾。方向梯度直方圖 (Histogram of Oriented Gradient，HOG)是一種有效的形狀和邊緣信息提取算子，在機(jī)器視覺(jué)和圖像處理領(lǐng)域被廣泛應(yīng)用于物體檢測(cè)和體感識(shí)別等方面，目前也有一些研究將其應(yīng)用于疵點(diǎn)檢測(cè)中［7-8］。HOG 算子可以統(tǒng)計(jì)圖像局部強(qiáng)度梯度和邊緣分布來(lái)描述局部物體形狀特征，并且對(duì)光照變化不敏感［9］。通過(guò)提取織物圖像的HOG特征，利用織物背景和疵點(diǎn)區(qū)域的HOG特征差異可以盡可能消除背景紋理和噪聲對(duì)疵點(diǎn)檢測(cè)的影響。

本文經(jīng)過(guò)對(duì)國(guó)內(nèi)外相關(guān)文獻(xiàn)的研究，將Gabor濾波器和HOG特征結(jié)合用于織物疵點(diǎn)檢測(cè)，通過(guò)增強(qiáng)織物圖像的疵點(diǎn)信息和消除背景及噪聲影響，使織物疵點(diǎn)的檢測(cè)更加準(zhǔn)確。

1 Gabor濾波器、HOG原理

1.1 Gabor濾波器理論

Gabor變換是一種重要的時(shí)頻分析方法，在空間域，它是由高斯函數(shù)調(diào)制的復(fù)振蕩信號(hào);在頻率域，它是一個(gè)平移的高斯函數(shù)［10］。Gabor濾波器在二維空間的沖激響應(yīng)函數(shù)為:

其中:σx和σy為濾波器的尺度因子，控制高斯函數(shù)在x軸和y軸的伸縮程度，如果σx=σy，則高斯截面是圓形的，否則是橢圓形的;w0則代表徑向中心頻率，其決定了Gabor濾波器在頻率域中的位置;x'=xcosθ+ysinθ，y'=－xsinθ+ycosθ，θ為旋轉(zhuǎn)角度，x，y為原來(lái)坐標(biāo)，x'，y'為旋轉(zhuǎn)后坐標(biāo)。通過(guò)選擇不同的尺度w0和方向θ的值，可以獲得一組不同尺度、不同方向的自相似的Gabor濾波器。

Gabor濾波器由實(shí)部和虛部組成，可表示為:

其中:ge(x，y)是二維Gabor濾波器的實(shí)部，go(x，y)是二維Gabor濾波器的虛部。文獻(xiàn) ［11-12］的研究發(fā)現(xiàn):Gabor濾波器的實(shí)部適用于檢測(cè)團(tuán)狀疵點(diǎn)，而虛部適用于邊緣檢測(cè)。

1.2 HOG特征提取算法

方向梯度直方圖 (HOG)是一種在機(jī)器視覺(jué)和圖像處理中用來(lái)進(jìn)行物體檢測(cè)的特征描述子［13］。其基本觀點(diǎn)是局部目標(biāo)的外表和形狀可以被局部梯度或邊緣方向的分布很好的描述。本文采用的HOG特征提取算法流程如下:

1)采用Gamma矯正法對(duì)圖像進(jìn)行矯正，降低圖像局部的陰影和光照變化所造成的影響，同時(shí)抑制噪聲干擾。

式中，H(x，y)，h(x，y)分別表示圖像在點(diǎn) (x，y)處的Gamma矯正后和校正前的像素值;gamma一般取1/2。

2)計(jì)算圖像每個(gè)像素點(diǎn)的梯度。其中圖像在點(diǎn) (x，y)處的水平梯度和垂直梯度為:

式中，Gx(x，y)，Gy(x，y)分別代表像素點(diǎn) (x，y)處的水平梯度、垂直梯度?？汕蟮孟袼攸c(diǎn) (x，y)處的梯度幅值和方向分別為:

式中，G(x，y)，α(x，y)分別為圖像在像素點(diǎn) (x，y)處的梯度幅值和梯度方向。

3)將圖像分為4*4像素的單元 (cell)，8*8像素的塊 (block)，其中block由鄰近的2*2的cell組成，以4個(gè)像素 (一個(gè)單元)為塊步長(zhǎng)。

4)統(tǒng)計(jì)每個(gè)cell的梯度直方圖，梯度直方圖選擇4個(gè)方向通道，即可得到4維的HOG向量。

5)將每個(gè)block內(nèi)4個(gè)cell的HOG向量進(jìn)行統(tǒng)計(jì)，即得到block的16維HOG特征向量，同時(shí)對(duì)該HOG特征向量采用重疊單元?dú)w一化，減弱圖像中的光照不均等影響。

6)統(tǒng)計(jì)圖像中所有block的HOG特征向量。

2 織物疵點(diǎn)檢測(cè)算法

在進(jìn)行織物疵點(diǎn)檢測(cè)時(shí)，首先使用3個(gè)尺度、4個(gè)方向的Gabor濾波器對(duì)織物圖像進(jìn)行濾波并將濾波后的圖像進(jìn)行融合;然后再利用雙邊濾波對(duì)圖像去噪;最后通過(guò)HOG特征提取和閾值分割實(shí)現(xiàn)疵點(diǎn)檢測(cè)。算法的流程圖如圖1所示。

圖1 疵點(diǎn)檢測(cè)算法流程圖

2.1 Gabor濾波

在獲取到待檢測(cè)織物圖像后，首先利用Gabor濾波器對(duì)圖像進(jìn)行濾波，濾波過(guò)程包括以下幾步:

1)在文獻(xiàn) ［14-15］中對(duì)比了Gabor濾波器的實(shí)部和虛部在不同徑向中心頻率和方位角組合下的分辨能力，發(fā)現(xiàn)Gabor濾波器的實(shí)部的分辨力遠(yuǎn)遠(yuǎn)好于虛部?？紤]到常見(jiàn)織物 (平紋布和斜紋布)的紋理一般在水平、垂直和對(duì)角線方向，本文采用3個(gè)尺度和4個(gè)方向(00，450，900，1350)的二維實(shí)Gabor濾波器來(lái)對(duì)織物圖像進(jìn)行濾波?？椢飯D像的Gabor濾波可以表示為:

式中，f(x，y)表示待檢織物圖像，fmn(x，y)表示濾波后的圖像，‘*’表示二維卷積運(yùn)算;gmn(x，y)表示實(shí)Gabor濾波器，m表示尺度數(shù)，n表示方向數(shù);m=1，2，3;n=1，2，3，4。

2)Gabor濾波后得到了12幅圖像。首先把相同尺度，不同方向的圖像進(jìn)行融合，得到3幅不同尺度的融合圖像:

式中，pm(x，y)表示融合后的圖像;m=1，2，3。

3)將3幅不同尺度的圖像再進(jìn)行融合，得到融合圖像p12(x，y)，p23(x，y):

4)對(duì)p12(x，y)，p23(x，y)進(jìn)行融合，得到最終融合圖像P(x，y):

2.2 雙邊濾波

在織物圖像經(jīng)過(guò)Gabor濾波之后，織物圖像的疵點(diǎn)區(qū)域得到增強(qiáng)，背景紋理信息得到一定的抑制，為了保證疵點(diǎn)檢測(cè)的準(zhǔn)確性，需要進(jìn)一步去除背景紋理信息和噪聲。這里對(duì)比三種織物疵點(diǎn)檢測(cè)中常用的圖像去噪手段:中值濾波、高斯濾波、雙邊濾波，觀察三種濾波算法對(duì)一幅含有明顯疵點(diǎn)的織物圖像的濾波效果，如圖2所示。

在圖2中，圖2(a)是疵點(diǎn)原圖，圖2(b)是Gabor濾波后的圖像，圖2(c)、圖2(d)、圖2(e)分別是對(duì)圖2(b)進(jìn)行雙邊濾波、高斯濾波、中值濾波的效果圖。從3種濾波算法對(duì)圖2(b)的濾波效果來(lái)看，雙邊濾波相比于其他兩種算法，不僅很好的抑制了背景紋理，而且保持了圖像中疵點(diǎn)的邊緣信息。因此本文采用雙邊濾波對(duì)Gabor濾波后的織物圖像進(jìn)行去噪。

圖2 三種濾波算法效果對(duì)比

2.3 HOG特征提取與閾值分割

經(jīng)過(guò)雙邊濾波之后，對(duì)濾波后的圖像進(jìn)行HOG特征提取和閾值分割。處理過(guò)程包括以下幾步:

1)提取圖像的HOG特征向量。

按照前面HOG特征提取算法的步驟，提取圖像所有8*8圖像塊的HOG特征向量。以256×256像素的圖像為例，經(jīng)過(guò)HOG特征提取可以得到3969個(gè)圖像塊，因此可以得到3969個(gè)16維的HOG特征向量。

2)根據(jù)圖像提取的HOG特征向量進(jìn)行閾值處理。

首先將待檢織物的無(wú)疵點(diǎn)織物圖像作為樣本進(jìn)行訓(xùn)練。通過(guò)對(duì)無(wú)疵點(diǎn)織物圖像進(jìn)行Gabor濾波和雙邊濾波之后，提取圖像的所有16維HOG特征向量，然后統(tǒng)計(jì)16維特征向量每一維的最大值:

式中，n表示特征向量總數(shù);vi表示第i個(gè)特征向量，i=1，2…，n;vi(j)表示特征向量 vi的第 j維特征值，j=1，2…，16;表示特征向量第j維的最大值。

將無(wú)疵點(diǎn)織物圖像中提取的HOG特征向量的每一維的統(tǒng)計(jì)最大值作為疵點(diǎn)檢測(cè)閾值，然后對(duì)被檢織物圖像進(jìn)行閾值處理:

式中，Bi(x，y)表示特征向量vi對(duì)應(yīng)的圖像塊的像素值;表示特征向量第j維的檢測(cè)閾值。通過(guò)將圖像中所有子圖像塊的HOG特征向量的每一維特征 (比如第j維)與對(duì)應(yīng)維度的疵點(diǎn)檢測(cè)閾值比較，如果存在某一維的特征值大于，即說(shuō)明該圖像塊為疵點(diǎn)區(qū)域，將圖像中該圖像塊的像素全置為1;否則該圖像塊為正常區(qū)域，將圖像中該圖像塊像素全置為0。

3)顯示閾值分割后的二值圖像，從圖像中可以清楚的觀察織物圖像中是否存在疵點(diǎn)以及疵點(diǎn)出現(xiàn)的位置。

3 實(shí)驗(yàn)與分析

為了檢驗(yàn)本文提出算法的疵點(diǎn)檢測(cè)效果，對(duì)破洞、斷經(jīng)等幾種常見(jiàn)的織物疵點(diǎn)進(jìn)行實(shí)驗(yàn)測(cè)試，其中疵點(diǎn)圖像來(lái)自TILDA織物紋理數(shù)據(jù)庫(kù)以及CCD工業(yè)相機(jī)采集的織物圖像，圖像大小為256×256像素。實(shí)驗(yàn)在OpenCV2.4.10和Microsoft Visual Studio2010環(huán)境下進(jìn)行。

3.1 算法測(cè)試

本節(jié)利用本文提出算法對(duì)破洞、斷徑、斷緯、油污、跳紗5種常見(jiàn)的織物疵點(diǎn)各選取30幅疵點(diǎn)圖像進(jìn)行實(shí)驗(yàn)測(cè)試，疵點(diǎn)圖像如圖3(a)所示。算法的具體實(shí)現(xiàn)步驟如下:

1)對(duì)疵點(diǎn)圖像進(jìn)行Gabor濾波與圖像融合。

首先通過(guò)前面選定的Gabor濾波器參數(shù)來(lái)構(gòu)造Gabor濾波器組與疵點(diǎn)圖像進(jìn)行卷積運(yùn)算實(shí)現(xiàn)Gabor濾波，然后將Gabor濾波后的疵點(diǎn)圖像按前述方法步驟進(jìn)行圖像融合。融合后的圖像如圖3(b)所示，從圖中可以看出經(jīng)過(guò)這步運(yùn)算圖像中疵點(diǎn)區(qū)域和背景紋理的對(duì)比度得到了明顯增強(qiáng)。

2)對(duì)融合后圖像進(jìn)行雙邊濾波。

圖像雙邊濾波通過(guò)調(diào)用OpenCV中的雙邊濾波函數(shù)實(shí)現(xiàn)，其中雙邊濾波的參數(shù)是經(jīng)過(guò)對(duì)5種疵點(diǎn)圖像進(jìn)行測(cè)試設(shè)置的經(jīng)驗(yàn)值。雙邊濾波后的圖像如圖3(c)所示，從圖中可以看出雙邊濾波不僅實(shí)現(xiàn)了圖像平滑，同時(shí)很好的保留了疵點(diǎn)區(qū)域的邊緣。

圖3 疵點(diǎn)檢測(cè)效果圖

3)對(duì)圖像進(jìn)行HOG特征提取與閾值分割

圖像HOG特征提取與閾值分割是按照前面介紹的算法步驟進(jìn)行實(shí)現(xiàn)的，其中閾值通過(guò)對(duì)20幅正常紋理織物圖像按照前述方法進(jìn)行訓(xùn)練得到。閾值分割后的最終疵點(diǎn)圖像如圖3(d)所示，從圖中可以看出幾種疵點(diǎn)被準(zhǔn)確地從織物圖像中檢測(cè)和分割了出來(lái)。

經(jīng)過(guò)對(duì)5種疵點(diǎn)各30幅圖像進(jìn)行實(shí)驗(yàn)測(cè)試，這里對(duì)5種疵點(diǎn)的檢測(cè)準(zhǔn)確率進(jìn)行了統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如表1所示。從圖3中的疵點(diǎn)檢測(cè)效果和表1中的疵點(diǎn)檢測(cè)準(zhǔn)確率來(lái)看，本文提出的算法利用Gabor濾波器與HOG特征提取，很好的實(shí)現(xiàn)了織物圖像疵點(diǎn)區(qū)域的增強(qiáng)與背景紋理影響的消除，進(jìn)而保證了本文算法能夠有效地實(shí)現(xiàn)織物常見(jiàn)疵點(diǎn)的檢測(cè)，并能較準(zhǔn)確地確定疵點(diǎn)出現(xiàn)的位置和疵點(diǎn)的大致形狀。

表1 織物5種疵點(diǎn)檢測(cè)準(zhǔn)確率統(tǒng)計(jì)

3.2 對(duì)比實(shí)驗(yàn)

為了進(jìn)一步檢驗(yàn)本文提出算法的檢測(cè)效果，這里將本文提出算法與文獻(xiàn) ［16］中的算法進(jìn)行了對(duì)比，其中文獻(xiàn)［16］中利用了4個(gè)尺度、6個(gè)方向的Gabor濾波器組對(duì)織物圖像進(jìn)行疵點(diǎn)檢測(cè)。兩種算法的實(shí)現(xiàn)與實(shí)驗(yàn)對(duì)比在本文搭建的實(shí)驗(yàn)平臺(tái)下進(jìn)行。

首先在實(shí)驗(yàn)中對(duì)比了兩種算法對(duì)4種不同種類疵點(diǎn)的檢測(cè)效果，如圖4所示。其中圖4(a)為疵點(diǎn)樣本圖像，圖4(b)為本文提出的算法對(duì)疵點(diǎn)樣本圖像的檢測(cè)結(jié)果，圖4(c)為文獻(xiàn) ［16］中算法對(duì)疵點(diǎn)樣本圖像的檢測(cè)結(jié)果。從4種疵點(diǎn)檢測(cè)結(jié)果的對(duì)比上可以看出，兩種算法都檢測(cè)到了疵點(diǎn)并將疵點(diǎn)從圖像背景中分割了出來(lái)，但是從整個(gè)疵點(diǎn)檢測(cè)的效果上來(lái)看，文獻(xiàn)［16］中算法將一些背景紋理也檢測(cè)為疵點(diǎn)，而本文算法較好地消除了背景紋理和噪聲的影響，更加準(zhǔn)確地定位了疵點(diǎn)的位置。

另外在實(shí)驗(yàn)中通過(guò)CCD相機(jī)收集了50幅織物圖像，其中包括20幅無(wú)疵點(diǎn)的樣本圖像，30幅含不同種類疵點(diǎn)的樣本圖像，并將圖像大小調(diào)整為256×256像素，以提高檢測(cè)效率。然后使用本文提出算法和文獻(xiàn)［16］中算法分別對(duì)樣本圖像進(jìn)行疵點(diǎn)檢測(cè)，檢測(cè)結(jié)果見(jiàn)表2。表2中的正檢率表示疵點(diǎn)樣本圖像被正確檢測(cè)的比率，誤檢率表示無(wú)疵點(diǎn)樣本圖像被誤檢為存在疵點(diǎn)的比率。

表2 織物疵點(diǎn)檢測(cè)率統(tǒng)計(jì)

從表2中可以看出，本文算法和文獻(xiàn) ［16］中算法的正檢率相同，但是本文算法對(duì)無(wú)疵點(diǎn)的織物圖像的誤檢率較低。整個(gè)對(duì)比實(shí)驗(yàn)的結(jié)果表明:與文獻(xiàn) ［16］中傳統(tǒng)的Gabor濾波算法相比，本文將Gabor濾波器和HOG特征提取結(jié)合可以更好的消除織物背景紋理和噪聲的干擾，使得整個(gè)織物疵點(diǎn)的檢測(cè)結(jié)果更為準(zhǔn)確。

圖4 兩種算法疵點(diǎn)檢測(cè)結(jié)果對(duì)比

4 結(jié)論

本文提出了一種基于Gabor濾波器和HOG特征的織物疵點(diǎn)檢測(cè)算法。首先采用3個(gè)尺度、4個(gè)方向的Gabor濾波器組對(duì)織物圖像進(jìn)行濾波，使圖像對(duì)比度增強(qiáng)，同時(shí)抑制背景紋理信息;然后通過(guò)雙邊濾波進(jìn)一步對(duì)圖像去噪;最后通過(guò)提取圖像HOG特征并利用圖像疵點(diǎn)區(qū)域和背景紋理的HOG特征差異進(jìn)行閾值分割實(shí)現(xiàn)織物的疵點(diǎn)檢測(cè)。通過(guò)本文提出算法對(duì)多種織物疵點(diǎn)進(jìn)行了測(cè)試，并與傳統(tǒng)的Gabor濾波算法進(jìn)行了比較，實(shí)驗(yàn)表明本文算法并且可以較好的抑制織物背景及噪聲的干擾，準(zhǔn)確的將織物疵點(diǎn)從織物背景中分割出來(lái)。由于實(shí)際應(yīng)用中的織物類型和生產(chǎn)條件各不相同，根據(jù)實(shí)際情況后面可以對(duì)算法中的Gabor濾波器等的參數(shù)進(jìn)行優(yōu)化，使其疵點(diǎn)檢測(cè)的效果更好。