基于LBP-GLCM紋理特征提取的服裝圖像檢索

李玥靈，吳國平，耿秀秀，杜曉駿

（中國地質(zhì)大學(xué)（武漢）機(jī)電學(xué)院，湖北 武漢 430074）

在服裝電子商務(wù)蓬勃發(fā)展的背景之下，傳統(tǒng)的基于文本的圖像檢索技術(shù)（Text-based Image Retrieval，TBIR）[1]已經(jīng)不能滿足廣大消費(fèi)者的需求。而基于內(nèi)容的圖像檢索技術(shù)（Content-based Image Retrieval，CBIR）[2]是通過提取圖像的視覺特征（又稱底層特征、物理特征），如顏色、形狀、紋理、空間位置信息等，利用距離函數(shù)來度量圖像的相似性達(dá)到檢索圖像的目的，正好可以彌補(bǔ)TBIR在圖像檢索中的不足。

實(shí)現(xiàn)CBIR的關(guān)鍵技術(shù)之一是圖像特征提取。而在圖像的底層特征中，紋理特征由于提取難度較大，一直是研究領(lǐng)域中的熱點(diǎn)，各種方法也層出不窮，Tuceryan和Jain[3]將這些方法歸為四大類：結(jié)構(gòu)分析法、統(tǒng)計(jì)分析法、模型化方法和頻域分析法。在統(tǒng)計(jì)分析法中灰度共生矩陣（Gray-Level Co-Occurrence Matrix，GLCM）因其原理簡單易于理解且能較精確地反映紋理信息而具有很旺盛的生命力。雖然使用GLCM提取服裝圖像的紋理，可以達(dá)到比較良好的效果，但由于其不具有旋轉(zhuǎn)不變性，而待檢索的服裝圖像很多是人工拍照上傳到數(shù)據(jù)庫，圖像在方向上有很大的隨意性，單純使用GLCM進(jìn)行檢索會影響檢索的準(zhǔn)確率。而局部二值模式（Local Bi?nary Pattern，LBP）算法中，恰好有一類旋轉(zhuǎn)不變的算法可以與之結(jié)合。因此，本文提出一種LBP-GLCM紋理特征提取方法，即將Uniform-旋轉(zhuǎn)不變LBP算法與GLCM相結(jié)合，使之具有抗旋轉(zhuǎn)性，并將其應(yīng)用到服裝圖像檢索中，以期達(dá)到更高的檢索效率和準(zhǔn)確率。

1 灰度共生矩陣（GLCM）

由于紋理是圖像中相鄰像素或者相鄰區(qū)域在灰度上表現(xiàn)出來的某種規(guī)律性，因此同處一種相對位置關(guān)系下灰度的某種邊緣條件概率可以用來表示圖像的紋理特征。1973年Haralick等[4]從概率角度研究了圖像紋理灰度級的空間依賴關(guān)系，依據(jù)圖像中各像素之間的相對位置關(guān)系構(gòu)造了灰度共生矩陣。如圖1所示，兩像素間的橫向差Δx和縱向差Δy由像素間距離d和方向角θ兩個參數(shù)決定，Δx=dcosθ，Δy=dsinθ。

圖1 像素相對分布示意圖

設(shè) f(x，y)表示一幅灰度圖像，S表示為具有某種特定空間和像素關(guān)系的像素對集合，灰度共生矩陣為

式中：x2=x1+Δx，y2=y1+Δy，card(S)表示集合S中的元素個數(shù)。在應(yīng)用中常用式（2）對式（1）進(jìn)行歸一化處理

在實(shí)際使用中，為了減少運(yùn)算量，往往對圖像進(jìn)行灰度級縮減處理，經(jīng)常量化為8個灰度級別，同時為了減少θ的方向數(shù)，一般取0，π/4，π/2，3π/4這4個方向。

假設(shè)圖像被量化到了8個灰度級（1～8），取d=1，θ=0，則GLCM計(jì)算過程如圖2所示，左側(cè)表示原始圖像，右側(cè)表示灰度共生矩陣 m1，0。其中GLCM矩陣中（1，1）元素是“1”，表示該點(diǎn)像素值為“1”，同時相鄰的右邊像素值也為“1”的像素點(diǎn)個數(shù)是1個；同理可得，（1，2）元素是“2”，依此類推。

圖2 灰度共生矩陣統(tǒng)計(jì)過程

灰度共生矩陣是研究圖像局部紋理模式和排列規(guī)律的基礎(chǔ)，但是由于灰度共生矩陣依然維數(shù)過高，并且特征不夠明顯，因此為了更加有效地利用灰度共生矩陣所提供的灰度方向、變化幅度和間隔等圖像信息，Haralick等[4]定義了 14個灰度共生矩陣特征參數(shù)用于紋理分析。本文僅討論試驗(yàn)中用來描述服裝圖像紋理特征的4個參數(shù)[5]，其他的不再贅述。

1）二階矩（angular second moment）

2）對比度（contrast）

式中：μi，μj分別表示水平方向和豎直方向的像素均值

σi，σj分別表示水平方向和豎直方向像素的標(biāo)準(zhǔn)差

相關(guān)性在一定程度上反映了整個圖像中像素與其周邊像素之間的灰度關(guān)系。當(dāng)矩陣元素值均勻相等時，相關(guān)值就大；相反，如果矩陣像元值相差很大則相關(guān)值小。相關(guān)性特征范圍在-1～1之間，特別地，相關(guān)系數(shù)為1表示特定位置的像素之間具有相同的像素值。

4）均勻性（homogeneity）

由于這幾個分量的物理意義、量綱和取值范圍各不相同，因此在進(jìn)行檢索時需要對其進(jìn)行歸一化處理[6]，這樣有助于在進(jìn)行相似性度量時使權(quán)重系數(shù)相近，減少了調(diào)整權(quán)重系數(shù)的過程。本文使用高斯歸一化法，它對于嚴(yán)重偏離均值的數(shù)據(jù)點(diǎn)有較好的處理效果。

高斯歸一化的過程如下，例如有一組數(shù)據(jù)x={x1，x2，…，xn}其均值 μ，方差為σ2。對x進(jìn)行高斯歸一化，即每一個元素都減去均值，再除以方差，如式（11），得到歸一化數(shù)據(jù)y={y1，y2，…，yn}。

灰度共生矩陣能夠很好地描述圖像的紋理特征，但是由于灰度共生矩陣不具有旋轉(zhuǎn)不變性，所以從中提取的統(tǒng)計(jì)量也僅僅反映該方向上的特征，雖然可以計(jì)算幾個方向上的統(tǒng)計(jì)量然后做平均，但也無法很好地表達(dá)圖像紋理的特征。為了解決這一問題，本文在圖像計(jì)算灰度共生矩陣之前，先對圖像做LBP處理。

2 局部二值模式（LBP）

LBP是一種有效的紋理特征提取算法，由Ojala等[7]在1996年提出，主要用于解決多分辨率和旋轉(zhuǎn)情況下圖像的紋理分類問題。從某種意義上說，該方法將局部紋理信息與全局紋理信息同時融合到一起。

2.1 原始LBP算法

原始的LBP算法是作用在一個3×3的矩形像素區(qū)域中，以中心像素的灰度值為閾值，將周圍8個像素的灰度值依次與其進(jìn)行比較，如果周圍像素的灰度值大于中心像素，則該位置賦值為“1”，否則賦值為“0”，把閾值化后的值順次記錄下來，得到一串二進(jìn)制數(shù)字，轉(zhuǎn)換為十進(jìn)制就得到該中心位置的LBP值，其范圍為[0，255]。計(jì)算公式如下，其計(jì)算過程如圖3所示。

圖3 原始LBP算法示意圖

2.2 多尺度LBP算法

為滿足不同尺度的紋理提取，Ojala T等[8]對原始的LBP算法進(jìn)行了改造，提出了多尺度LBP算法。使用圓形鄰域(P，R)（P表示圓形鄰域中所取的像素個數(shù)，R表示鄰域半徑）以及插值法，該算子可擴(kuò)展到任意半徑和任意鄰域像素個數(shù)，其他尺度的紋理結(jié)構(gòu)如圖4所示。

圖4 幾種不同P，R值對應(yīng)的圓形鄰域示意圖

對于這種圓形鄰域的LBP算法，其計(jì)算方法與原始方法相似，記作LBPP，R。計(jì)算公式如下

此算法生成的模式有256種，計(jì)算量太大，極大地影響了檢索效率，不適用于服裝圖像檢索。

2.3 旋轉(zhuǎn)不變LBP算法

多尺度的LBP算法所得到的LBP值與二進(jìn)制序列的起始位置和選取方向密切相關(guān)。如果圖像發(fā)生旋轉(zhuǎn)，對應(yīng)的二進(jìn)制序列就會發(fā)生變化，最終的LBP值也將不同。因此，為了得到不變的編碼模式，Ojala等[8]又提出了旋轉(zhuǎn)不變LBP算法，即不斷旋轉(zhuǎn)圓形鄰域得到一系列初始定義的LBP值，取其最小值作為該鄰域的LBP值，用公式表示如下

式中：ROR(x，i)表示對二進(jìn)制序列x循環(huán)移動i位且i＜p。對于P=8，將有36種唯一的旋轉(zhuǎn)不變二值模式。但是此時的編碼模式仍然較多，應(yīng)用到服裝紋理特征提取時，計(jì)算量較大，影響檢索速度。

2.4 Uniform模式

如圖3所示，在記錄閾值化后的二進(jìn)制序列時，如果選取的起始點(diǎn)和方向不同，二進(jìn)制序列將有2P種，對應(yīng)的LBPP，R會產(chǎn)生2P種模式。但是在實(shí)際研究中發(fā)現(xiàn)，各種模式所出現(xiàn)的頻率是不同的，統(tǒng)計(jì)結(jié)果表明，少數(shù)的模式出現(xiàn)的數(shù)量占所有模式的90%以上，Ojala等[8]將這些出現(xiàn)頻率特別高的模式定義為Uniform模式。將二進(jìn)制序列看作一個圓環(huán)，如果“0→1”和“1→0”的變化不超過2次，則該序列稱為Uniform模式。例如，“00000000”（0次轉(zhuǎn)變）、“00011100”（2次轉(zhuǎn)變）是Uniform模式，而“10010011”（4次轉(zhuǎn)變）不是Uni?form模式。在使用LBP算法對圖像進(jìn)行紋理分析時，通常只關(guān)心Uniform模式，而將其他模式歸為同一類稱為混合模式。判斷某種序列是否為Uniform模式的方法如下

這樣改進(jìn)后，模式的種類大大減少，特別是對于P=8的情況，模式數(shù)量由原來的256種變?yōu)?8種。

2.5 Uniform-旋轉(zhuǎn)不變LBP算法

經(jīng)過抗旋轉(zhuǎn)的編碼方式獲得了若干LBP模式，但是通過前面Uniform模式的論述可知，其中某些模式在所有的模式中并不是占有大量的比重，故又有人提出Uniform-旋轉(zhuǎn)不變LBP算法，使模式種類減少到P+1種，表示如下

uniform-旋轉(zhuǎn)不變LBP算法，既保證了旋轉(zhuǎn)不變性，又使模式數(shù)量大大減少，應(yīng)用到服裝圖像檢索可提高檢索效率和準(zhǔn)確率。

3 實(shí)驗(yàn)和分析

本文以移動拍照設(shè)備采集的服裝圖像為實(shí)驗(yàn)對象，運(yùn)用提出的紋理特征提取方法進(jìn)行實(shí)驗(yàn)和分析。

3.1 實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)

實(shí)驗(yàn)系統(tǒng)首先要濾除服裝圖像的復(fù)雜背景，將彩色圖像轉(zhuǎn)換為灰度圖像；接著利用圖像分割技術(shù)分割出服裝區(qū)域并找到其中最大矩形部分；然后將圖像通過Uniform-旋轉(zhuǎn)不變LBP算子處理，并獲取其灰度共生矩陣；再采用能量、對比度、相關(guān)性和均勻性描述圖像的紋理特征，最后通過特征匹配進(jìn)行檢索。整個實(shí)驗(yàn)系統(tǒng)的工作流程如圖5所示。

圖5 LBP-GLCM算法實(shí)驗(yàn)系統(tǒng)流程圖

3.2LBP-GLCM紋理特征提取方法抗旋轉(zhuǎn)性實(shí)驗(yàn)

選取圖6b和圖6d兩幅圖像做抗旋轉(zhuǎn)實(shí)驗(yàn)。首先將兩幅圖像進(jìn)行45°、90°、135°和180°旋轉(zhuǎn)，然后按照圖5所示的實(shí)驗(yàn)系統(tǒng)流程圖提取各旋轉(zhuǎn)后的紋理特征（省略特征匹配檢索環(huán)節(jié)），得到如表1和表2所示的紋理特征表。

圖6 服裝紋理待檢索圖像

表1 不同旋轉(zhuǎn)角度下圖6b的紋理特征

表2 不同旋轉(zhuǎn)角度下圖6d的紋理特征

通過表1和表2可以看出，服裝圖像在不同程度的旋轉(zhuǎn)情況下紋理特征變化很小，因此本文提出的紋理特征提取方法具有較好的抗旋轉(zhuǎn)能力。

3.3LBP-GLCM紋理特征提取方法檢索效果實(shí)驗(yàn)

以如圖6中4幅服裝圖像為例，按照流程圖5進(jìn)行特征提取和匹配檢索可得到如表3所示的服裝紋理特征，以及如圖7所示的檢索結(jié)果。

表3 圖6待檢索圖像的紋理特征

圖7 紋理特征檢索結(jié)果

由表3所示的服裝紋理特征可知，圖6b和圖6d有較多的黑白元素，故對比度大；在圖6a和圖6c中有大量的條紋元素，故相關(guān)度為正值（即相鄰像素間像素差別不大）；由于圖6b和圖6d中，花紋樣式復(fù)雜多變，故其擁有更大的能量；圖6a和圖6b相對于圖6c和圖6d具有更均勻的紋理。

系統(tǒng)采用歐氏距離作為相似性的度量，對于圖6a，找出2幅與之具有相似條紋紋理特征的服裝圖像；圖6b，找出6幅與之具有相似斑點(diǎn)紋理的服裝圖像；圖6c，找出3幅與之相近的具有方格圖案的服裝圖像；圖6d，找出5幅與之相近的具有碎花紋理的服裝圖像。

在本實(shí)驗(yàn)中，T恤樣本：條紋類圖像30張，斑點(diǎn)類圖像20張，純色圖像40張，花型圖像10張；大衣樣本：純色圖像50張，條紋類圖像35張，褶皺類圖像15張，分別利用GLCM和LBP-GLCM提取服裝圖像的紋理特征，采用歐氏距離作為相似性的度量，檢索效果對比如表4所示。

表4 不同紋理特征提取方法的檢索效果對比

通過上述實(shí)驗(yàn)可知，本文的LBP-GLCM紋理特征提取方法在一定的匹配策略下，應(yīng)用在服裝圖像檢索中可以獲得更高的準(zhǔn)確性。

4 結(jié)論

本文提出的LBP-GLCM紋理特征提取方法，既克服了灰度共生矩陣的不抗旋轉(zhuǎn)性，又在一定程度上降低了計(jì)算的復(fù)雜性。在服裝圖像發(fā)生旋轉(zhuǎn)時，相較于單純的GLCM紋理特征提取方法，檢索的準(zhǔn)確性更高。

因此，本方法可以很好地應(yīng)用在服裝電子商務(wù)領(lǐng)域中，不僅能幫助消費(fèi)者快速地檢索服裝，辨別服裝材質(zhì)，提高購物效率，而且可以幫助銷售商進(jìn)行客觀而快捷地服裝分類，減少人工標(biāo)注關(guān)鍵字分類帶來的主觀影響，同時也提高了分類效率。另外，LBP-GLCM紋理特征提取方法也可應(yīng)用在工業(yè)領(lǐng)域，比如在服裝生產(chǎn)加工過程中，以完好的服裝面料為檢索標(biāo)準(zhǔn)，可以對加工后的服裝進(jìn)行面料的瑕疵檢測等。

[1] 王瑩，羅坤，姜磊，等.基于內(nèi)容的圖像檢索技術(shù)的專利技術(shù)綜述[J].電視技術(shù)，2013，37（S2）：62-63.

[2] ASLANDOGAN Y A，YU C T.Techniques and systems for image and video retrieval[J].IEEE Trans.Knowledge and Data Engineer?ing，1999，11（1）：56-63.

[3] TUCERYAN M，JAIN A K.Handbook pattern recognition and computer vision[M].Singapore：World Scientific，1993.

[4] HARALICK R M，SHANMUGAM K.Texture features for image classification[J].IEEE Trans.Sys.，Man，and Cyb.，1973，SMC-3（6）：610-621.

[5] 楊帆.數(shù)字圖像處理與分析[M].北京：航空航天大學(xué)出版社，2007.

[6] RALLABANDI V R，RALLABANDI V P S.Rotation-invariant texture retrieval using wavelet-based hidden Markov trees[J].Sig?nal Processing，2008，88（10）：2593-2598.

[7] OJALA T，PIETIKAINEN M，HARWOOD D.A comparative study of texture measures with classification based on feature dis?tributions[J].Pattern Recognition，1996，29（1）：51-59.

[8]OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution grayscale and rotation invariant texture classification with local bina?ry patterns[J].IEEE Trans.PAMI，2002，24（7）：971-987.