融合多特征與隨機(jī)森林的紋理圖像分類方法*

陳 靜, 張艷新, 姜媛媛

(安徽理工大學(xué) 電氣與信息工程學(xué)院,安徽 淮南 232001)

0 引 言

紋理分析及紋理特征提取一直是圖像處理研究的活躍領(lǐng)域,利用紋理特征進(jìn)行紋理圖像分類是研究者們關(guān)注的焦點(diǎn)。如何提取具有代表性的紋理特征是成功進(jìn)行紋理圖像描述的重要環(huán)節(jié),直接影響后續(xù)分類的正確率[1]。

為了表示圖像的紋理信息,研究人員提出了多種不同的紋理特征計(jì)算方法,包括灰度共生矩陣(gray-level co-occurrence matrix,GLCM)算法[2]、馬爾可夫隨機(jī)場(chǎng)(Markov random field,MRF)模型算法[3]、離散小波變換(discrete wavelet transform,DWT)算法[4]、局部二值模式(local binary pattem,LBP)算法[5]等。由于單一紋理特征不能表示各種不同的紋理信息,研究人員在已有的紋理特征提取方法基礎(chǔ)上,進(jìn)行了一種新的處理,即特征融合。文獻(xiàn)[6]在場(chǎng)景分類中融合小波變換和局部二值模式算法,充分地反映了場(chǎng)景的全局特征和局部紋理信息,有效地提高了場(chǎng)景分類的準(zhǔn)確率；文獻(xiàn)[7]融合Gabor多方向特征與分塊直方圖用于人臉表情識(shí)別,消除了特征數(shù)據(jù)的冗余性,提高了識(shí)別率；文獻(xiàn)[8]提出的一種改進(jìn)的紋理描述符—ILBP(improve LBP),將LBP算法和GLCM算法的優(yōu)點(diǎn)結(jié)合在一起,有效地提高了對(duì)圖像區(qū)域特征的描述能力。

上述方法都沒(méi)有考慮紋理圖像采集時(shí)會(huì)由于不同的拍攝視角以及拍攝尺度和光照不均等因素,不可避免地會(huì)引起同類圖像間存在不同程度的失真[9],進(jìn)而對(duì)紋理圖像的分類造成影響。針對(duì)上述問(wèn)題,本文提出了一種融合多特征與隨機(jī)森林的分類方法。

1 紋理特征提取

特征提取是紋理圖像分類檢測(cè)中最為關(guān)鍵的一步,提取時(shí)間短、區(qū)分度強(qiáng)、健壯性好是提取紋理特征的指標(biāo)。為了更好描述失真紋理圖像的特征,本文對(duì)紋理圖像提取GLCM特征與HOG特征。

1.1 GLCM特征提取

GLCM可以表示圖像中距離為(Δx,Δy)的兩個(gè)灰度像素同時(shí)出現(xiàn)的聯(lián)合頻率分布,能反映出圖像灰度在各個(gè)方向、相鄰間隔以及幅度變化上的總體信息。

文獻(xiàn)[10]描述不同像素對(duì)(x1,y1)與(x2,y2),它們相隔距離為d,且與橫坐標(biāo)的夾角為θ,則不同間隔以及角度的灰度共生矩陣記為P(i,j,d,θ)。其表達(dá)式如下

P(i,j,d,θ)=C{(x1,y1),(x2,y2)∈(Ly×Lx)×

(Ly×Lx)|d,θ,I(x1,y1)=i,I(x2,y2)=j}

(1)

為了能更直觀地描述紋理狀況,本文通過(guò)LBP算子計(jì)算原圖像得到LBP圖像,在此基礎(chǔ)上以灰度共生矩陣得到的對(duì)比度、熵、能量和逆差矩4個(gè)統(tǒng)計(jì)量作為紋理特征。分別記為f1,f2,f3,f4,其計(jì)算公式如下

(2)

通過(guò)計(jì)算上述4個(gè)統(tǒng)計(jì)量在0°,45°,90°和135°方向上對(duì)應(yīng)的值,得到一個(gè)16維特征向量,用它來(lái)表示圖像所包含的紋理信息。

1.2 改進(jìn)的方向梯度直方圖特征提取方法

方向梯度直方圖(histogram of oriented gradient,HOG),是一種基于局部區(qū)域的特征描述符[11]。圖像中的物體可以用局部區(qū)域的梯度信息來(lái)表示其邊緣特征。HOG描述符是對(duì)已經(jīng)劃分好區(qū)域的圖像進(jìn)行計(jì)算,其劃分的標(biāo)準(zhǔn)是在整個(gè)圖像上形成無(wú)間隔且大小統(tǒng)一的小區(qū)域,稱它們?yōu)榧?xì)胞單元(cell)。同時(shí)采用了可重疊的塊(block)的歸一化技術(shù),降低了光照等的干擾。

HOG算法是將統(tǒng)一大小的圖像化分為若干個(gè)8像素×8像素大小的cell,同時(shí)將梯度方向分為9個(gè)區(qū)間段,分別計(jì)算每一個(gè)cell中各個(gè)像素點(diǎn)的梯度方向和模,并在各個(gè)梯度方向上增加對(duì)應(yīng)bin的值,最后將所有cell的梯度直方圖前后相連,組合成一個(gè)高維特征向量。

圖像中像素點(diǎn)(x,y)的梯度為

Gx(x,y)=H(x+1,y)-H(x-1,y)

(3)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(4)

式中Gx(x,y),Gy(x,y),H(x,y)分別為輸入圖像中位于(x,y)處的像素的水平方向梯度、垂直方向梯度和像素值。像素點(diǎn)(x,y)處的梯度幅值和梯度方向分別為

G(x,y)=Gx(x,y)2+Gy(x,y)2

(5)

α(x,y)=arctan(Gy(x,y)/Gx(x,y))

(6)

但是由以上過(guò)程得到的HOG特征維數(shù)過(guò)大,對(duì)于64×64的圖像,得到的HOG特征有1 764維,維數(shù)較大,不利于訓(xùn)練。所以本文對(duì)提取的HOG特征通過(guò)序列后向特征選擇算法(SBS)進(jìn)行特征選擇,去除對(duì)分類影響不大的特征,減少特征維數(shù)。

2 多特征融合策略

特征融合技術(shù)既融合了多種特征的最具有代表性的信息,又能去除一些不必要或相似的信息,在運(yùn)算速度和實(shí)時(shí)性方面有很大的提高。本文在對(duì)HOG特征進(jìn)行特征選擇的基礎(chǔ)上,采用主成分分析(principal component analysis,PCA)法實(shí)現(xiàn)失真紋理圖像的多特征融合。融合之前要對(duì)提取的特征矩陣進(jìn)行歸一化。

2.1 特征歸一化

方差是和特征變量相關(guān)聯(lián)的,特征變量取值的分散程度由方差決定,并且方差越大,主成分分析時(shí)對(duì)應(yīng)的變量往往會(huì)被優(yōu)先考慮。但是這樣會(huì)去除一些代表性的特征,影響分類正確率,所以在進(jìn)行融合之前,一般要對(duì)原始數(shù)據(jù)進(jìn)行歸一化處理,處理后的特征更利于分析與計(jì)算[12]。本文采用式(7)所示的0均值歸一化方法。歸一化公式如下

(7)

式中μ,σ分別為特征向量的均值和方差。

2.2 PCA特征融合實(shí)現(xiàn)

歸一化后的特征向量還存在維數(shù)多且包含冗余信息的問(wèn)題,會(huì)造成分類器的性能變差。為了提取出維數(shù)少且具有代表性的特征,對(duì)歸一化后的兩個(gè)特征采用主成分分析法進(jìn)行降維融合處理。具體步驟如下：1)將提取的所有特征級(jí)聯(lián)組成一個(gè)新的特征矩陣;2)由特征矩陣的協(xié)方差矩陣計(jì)算得到相應(yīng)的特征值及特征向量,從而確定主成分累積貢獻(xiàn)率;3)根據(jù)主成分累積貢獻(xiàn)率確定主成分個(gè)數(shù)以及要進(jìn)行變換的特征向量個(gè)數(shù),從而確定變換矩陣;4)由提取的特征和所確定的變換矩陣得到多特征融合后的綜合特征。

特征矩陣經(jīng)上述過(guò)程處理后,降低了特征維數(shù),減少了特征間的冗余性,提高了分類性能。

2.3 隨機(jī)森林實(shí)現(xiàn)分類

由于特征維數(shù)的大小、參數(shù)的選取以及特征歸一化方法的不同,采用單一分類器無(wú)法預(yù)測(cè)最好的識(shí)別結(jié)果[13]。不同的分類器對(duì)于不同的數(shù)據(jù)其分類性能各不一樣,多分類器融合就是結(jié)合不同分類器的優(yōu)點(diǎn),得出最好的分類結(jié)果。本文采用隨機(jī)森林來(lái)實(shí)現(xiàn)多分類器的融合。

隨機(jī)森林就是通過(guò)集成學(xué)習(xí)的思想將多個(gè)決策樹(shù)集合到一起的一種算法,它的本質(zhì)是一種集成學(xué)習(xí)方法。一棵決策樹(shù)是一個(gè)分類器,每輸入一個(gè)樣本圖像,隨機(jī)森林內(nèi)部會(huì)得到N個(gè)分類結(jié)果[14],最后會(huì)選擇投票次數(shù)最多的類別為最終的識(shí)別結(jié)果。

隨機(jī)森林中某個(gè)類(xi)的信息可以定義如下

I(X=xi)=-log2p(xi)

(8)

式中I(x)為隨機(jī)變量的信息,p(xi)為xi發(fā)生時(shí)的概率。熵是用來(lái)度量不確定性的,熵越大即這個(gè)類別的不確定性更大,反之越小。

所以隨機(jī)森林通過(guò)組合多個(gè)分類器來(lái)解決單一預(yù)測(cè)問(wèn)題。它通過(guò)生成多個(gè)分類器,各自獨(dú)立地學(xué)習(xí)和作出預(yù)測(cè)。將這些預(yù)測(cè)最后結(jié)合成單預(yù)測(cè),因此預(yù)測(cè)結(jié)果要優(yōu)于任何一個(gè)單分類器。

3 實(shí)驗(yàn)測(cè)試與性能分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文提出的融合多特征與隨機(jī)森林的方法對(duì)紋理圖像的分類性能,選取KTH-TIPS紋理圖像庫(kù)里5種不同類型的紋理圖像(分別為aluminium_foil、corduroy、cracker、sandpaper和sponge),共405幅圖像進(jìn)行實(shí)驗(yàn)。KTH-TIPS紋理圖像庫(kù)是在不同光照、不同視角和不同尺度下拍攝的不同材質(zhì)表面的紋理圖像,且有些圖像存在模糊等現(xiàn)象。本文所用5類圖像如圖1所示。

圖1 5類KTH-TIPS紋理圖像

本文每一類別的訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)分別按7︰3的比例進(jìn)行隨意切分得到。

3.2 特征提取過(guò)程

3.2.1 提取GLCM特征

計(jì)算灰度共生矩陣得到的能量、熵、對(duì)比度和逆差矩四個(gè)統(tǒng)計(jì)量,用它們作為紋理圖像的特征。這里分別計(jì)算在0°,45°,90°和135°方向?qū)?yīng)的上述4個(gè)統(tǒng)計(jì)量的值,得到一個(gè)16維的特征向量。經(jīng)實(shí)驗(yàn)對(duì)比證明,提取LBP圖像的GLCM特征值要比單獨(dú)提取原圖像的GLCM特征值效果更好。LBP圖像是通過(guò)計(jì)算原圖像的LBP值得到的一幅和原圖像同樣大小的新圖像。本文列出了Aluminium_foil圖像與其相應(yīng)的LBP圖像,如圖2所示。

圖2 Aluminium-foil原圖像與其相應(yīng)的LBP圖像

表1列出了每種類別的紋理圖像在水平方向上的GLCM特征值。每種類別的紋理圖像只列舉了一個(gè)樣本。

表1 5個(gè)不同類別的LBP圖像在水平方向上的GLCM特征值

3.2.2 改進(jìn)的HOG特征提取

在OpenCV中HOG描述子是由大小為64像素×64像素的檢測(cè)窗口決定的,圖像中檢測(cè)窗口在水平方向和垂直方向每移動(dòng)一次是8個(gè)像素單位。同時(shí)定義塊的大小為16像素×16像素,它在檢測(cè)窗口中每移動(dòng)一次也是8個(gè)像素單位,且規(guī)定單元格的大小為8像素×8像素。這里統(tǒng)計(jì)的是每一個(gè)單元格內(nèi)9個(gè)方向的梯度直方圖。經(jīng)分析知,一個(gè)檢測(cè)窗口有((64-16)/8+1)×((64-16)/8+1)=49個(gè)Block,每個(gè)Block包括4個(gè)Cell,每個(gè)Cell里提取一個(gè)9維的向量,所以一個(gè)檢測(cè)窗口里是一個(gè)49×4×9=1 764維的HOG描述子向量。圖3列舉了Aluminium-foil原圖像、Aluminium-foil圖像對(duì)應(yīng)的Block個(gè)數(shù)和特征數(shù)以及提取的HOG特征圖。

圖3 HOG特征提取過(guò)程

經(jīng)上述過(guò)程后,HOG特征維數(shù)為1 764維,維數(shù)較大不利于特征訓(xùn)練。本文利用序列后向特征選擇算法對(duì)HOG特征進(jìn)行粗選擇,采用支持向量機(jī)進(jìn)行驗(yàn)證。圖4列出了HOG特征在不同特征維數(shù)下對(duì)識(shí)別率的影響。

圖4 HOG特征在不同特征維數(shù)下對(duì)識(shí)別率的影響

3.3 實(shí)驗(yàn)結(jié)果分析

多特征融合過(guò)后,采用隨機(jī)森林算法進(jìn)行分類正確率的驗(yàn)證,經(jīng)實(shí)驗(yàn)獲得了本文所用方法經(jīng)PCA降維融合后在不同維數(shù)下的分類正確率,如圖5所示。

圖5 融合后的特征在不同維數(shù)下的識(shí)別率

由上圖可知特征維數(shù)在20維左右的識(shí)別率最高,所以本次實(shí)驗(yàn)取特征向量的維數(shù)為20維。

為了更好地說(shuō)明本文方法對(duì)紋理圖像的分類效果,設(shè)計(jì)了4組對(duì)比實(shí)驗(yàn)。在OpenCV+VS2012平臺(tái)上,將本文提出的多特征與多分類器融合的方法與HLBP+SVM、GLCM+SVM以及本文多特征融合+SVM的方法進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)過(guò)程中所有圖像均利用雙線性插值統(tǒng)一為64像素×64像素。實(shí)驗(yàn)對(duì)比結(jié)果如表2所示。

表2 本文方法與其它方法結(jié)果對(duì)比

通過(guò)上面表格的比較可以知道,本文采用的融合多特征與隨機(jī)森林的方法,降低了特征維數(shù)。由于采用隨機(jī)森林算法進(jìn)行訓(xùn)練,特征訓(xùn)練時(shí)間相較于單分類器訓(xùn)練時(shí)間略長(zhǎng)。通過(guò)在KTH-TIPS數(shù)據(jù)集上對(duì)比驗(yàn)證可知,光照變化對(duì)提取HLBP紋理特征影響較大,其識(shí)別率較低。而本文采用多特征融合的方法,更全面地描述了失真紋理圖像的特征。分類器采用隨機(jī)森林算法,其識(shí)別率相較于多特征融合+單分類器提高了8 %,較單一特征+單分類器提高了30 %左右。因此本文方法對(duì)不同光照、不同視角和不同尺度拍攝下的失真紋理圖像有較好的分類效果。

4 結(jié)束語(yǔ)

本文提出了一種融合多特征與隨機(jī)森林的紋理圖像分類方法,解決了單一特征或單一分類器對(duì)失真紋理圖像分類識(shí)別率差的問(wèn)題。為了更加準(zhǔn)確的描述失真紋理圖像,改進(jìn)了HOG特征提取方法,同時(shí)提取了原圖像對(duì)應(yīng)的LBP圖像的GLCM特征。通過(guò)主成分分析法進(jìn)行降維融合處理,實(shí)現(xiàn)特征級(jí)融合,進(jìn)而減少了計(jì)算量,縮短了特征訓(xùn)練時(shí)間。采用隨機(jī)森林分類的方法,實(shí)現(xiàn)決策級(jí)融合,在一定程度上提高了紋理圖像的分類正確率。