分塊Gabor結(jié)合梯度直方圖的特征提取算法

林克正,張?jiān)?李昊天

(哈爾濱理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,哈爾濱 150080)

1 引 言

人臉識別技術(shù)始于20世紀(jì),是新興的綜合性的工程,涉及機(jī)器學(xué)習(xí),數(shù)字圖像處理與模式識別等多門計(jì)算機(jī)專業(yè)課程.隨著人臉識別技術(shù)的不斷成熟,人臉識別技術(shù)越來越多的被應(yīng)用到各個(gè)領(lǐng)域,包括交通,醫(yī)藥,警務(wù)等.人臉識別極大的提高各工作部門的工作效率[1,2].

圖像的特征提取是對圖像識別分類最主要的方法,特征提取就是找到圖像最重要本質(zhì)的特征并將其數(shù)值化.隨著人臉識別技術(shù)的不斷成熟,越來越多具有良好不變性特征和應(yīng)用價(jià)值的特征描述子被發(fā)掘研究,例如HOG(Histogram of Oriented Gradients)[3,4]、LBP[5,6]、Gabor[7]特征等.而單一的HOG特征提取方法忽略了圖像的局部特征,單一的Gabor特征提取后圖像特征維數(shù)太大,且不具備亮度變化保護(hù)不變等要素,這就導(dǎo)致有時(shí)候單一的特征提取方法對一些復(fù)雜目標(biāo)的圖像并不能獲得令人滿意的提取結(jié)果,多種特征及提取方法的融合[8]因其可以發(fā)揮各自優(yōu)勢而成為必然的選擇.

本文提出了一種基于分塊Gabor的梯度直方圖特征提取算法.該方法首先將待識別的人臉圖像通過Gabor特征提取方法得到圖不同尺度和方向的圖像Gabor特征,然后對特征從尺度和方向兩方面進(jìn)行融合并分塊,最后對分塊后的圖像特征再進(jìn)行HOG特征提取,對提取到的HOG特征進(jìn)行PCA降維,得到新的H-G特征.該算法相較于其他傳統(tǒng)識別方法具有更高的識別精度和準(zhǔn)確度,并且該算法對于人臉?biāo)哂械墓庹铡⒆藨B(tài)表情等變換均有良好的有效性和魯棒性.

2 Gabor特征提取

Gabor小波是一組窄帶通濾波器,在空間域、頻率域都有很好的分辨能力,擁有多尺度和多方向特性[9].2D-Gabor小波的核函數(shù)定義為

復(fù)數(shù)表達(dá):

g(x,y;λ,θ,φ,σ,γ)

(1)

復(fù)數(shù)表達(dá)中實(shí)數(shù)部分:

g(x,y;λ,θ,φ,σ,γ)

(2)

復(fù)數(shù)表達(dá)中虛數(shù)部分:

g(x,y;λ,θ,φ,σ,γ)

(3)

其中:

x′=xcosθ+ysinθ

(4)

y′=-xsinθ+ycosθ

(5)

3 基于分塊Gabor的梯度直方圖特征提取算法

基于分塊Gabor的梯度直方圖特征提取算法首先將待識別的人臉圖像通過Gabor特征提取方法得到圖不同尺度和方向的圖像Gabor特征,然后對特征從尺度和方向兩方面進(jìn)行融合并分塊,之后對分塊后的圖像特征再進(jìn)行HOG特征提取,得到圖像的H-G特征.最后對提取到的H-G特征進(jìn)行PCA降維.

在對圖像進(jìn)行兩種特征提取之前首先對圖像進(jìn)行預(yù)處理步驟:

1)對檢測到的圖像進(jìn)行灰度變換,在人臉圖像的識別中對圖像的處理大部分都在灰度圖像下進(jìn)行.

2)對圖像進(jìn)行降噪處理,為防止噪聲對于圖像識別的干擾,要對圖像進(jìn)行降噪.

3.1 Gabor特征融合與分塊

3.1.1 特征的融合

通過Gabor特征提取方法得到了5個(gè)尺度,8個(gè)方向的Gabor特征.對于提取得到的Gabor特征的融合,首先對同一尺度不同方向的特征進(jìn)行融合.融合后可以得到5幅特征圖像,再將5個(gè)不同尺度的特征進(jìn)行融合得到最終的Gabor特征.這種融合方法在提取到有效人臉特征的同時(shí)減少了特征部分的數(shù)據(jù)冗余.

用fmn(x,y)表示得到的5個(gè)尺度,8個(gè)方向的Gabor特征.其中m取1到5,n取1到8.

首先融合同一尺度不同方向的Gabor特征,即

(6)

利用公式(6)對Gabor特征進(jìn)行融合后得到F1,F2,F3,F4,F5五個(gè)不同尺度的特征.對不同尺度的特征在進(jìn)行融合得到最后的Gabor特征.對于不同尺度的融合,直接采用求均值的方式進(jìn)行融合,這樣最簡單有效的保存了原有的圖像特征.

(7)

3.1.2 特征的分塊

對融合后得到的新的Gabor特征進(jìn)行分塊,本文采用多種分塊方式對特征進(jìn)行分塊,分別是2×2,2×4,3×3,4×4四種分塊方式.通過在人臉數(shù)據(jù)庫的識別率實(shí)驗(yàn)選擇最優(yōu)識別率的分塊方式.

3.2 H-G特征提取

對于融合分塊后的得到的Gabor特征,進(jìn)行HOG特征提取.梯度直方圖HOG由法國研究人員Dalal在2005年CVPR會議上提出的特征提取算法,并將其與SVM分類器配合,用于行人檢測[11].在他的博士畢業(yè)論文中有對HOG特征更加詳細(xì)的描述.HOG算法的主要目的是將灰度化,歸一化的圖像進(jìn)行梯度計(jì)算,統(tǒng)計(jì)圖像的梯度信息[12].

HOG特征提取的具體步驟為:

1)對圖像進(jìn)行灰度化處理;

2)利用Gamma方法對圖像全局歸一化;

Gamma的壓縮公式:

I(x,y)=I(x,y)gamma

(8)

對于gamma的值來說,當(dāng)gamma<1時(shí),在高灰度值區(qū)域內(nèi),動態(tài)范圍變小,圖像對比度降低,圖像整體灰度值變大,顯得亮一些;反之當(dāng)gamma>1時(shí),在低灰度值區(qū)域內(nèi),動態(tài)范圍變小,圖像對比度降低,圖像整體灰度值變小,變得暗淡.

3)對處理后的圖像進(jìn)行梯度大小和梯度方向的計(jì)算;

像素點(diǎn)(x,y)的梯度為:

Gx(x,y)=H(x+1,y)-H(x-1,y)

(9)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(10)

其中H(x,y)表示像素點(diǎn)(x,y)的像素值,Gx(x,y)表示像素點(diǎn)(x,y)的水平方向梯度,Gy(x,y)表示像素點(diǎn)(x,y)的垂直方向梯度.

在圖像中每一個(gè)像素點(diǎn)(x,y)的梯度大小和方向分別為:

(11)

(12)

4)將圖像劃分成小的細(xì)胞單元(cell);

5)統(tǒng)計(jì)每個(gè)cell的梯度直方圖,即可形成每個(gè)cell的HOG特征;

本文算法中將細(xì)胞單元的梯度方向分成9個(gè)方向塊.

6)將幾個(gè)細(xì)胞單元(cell)組成一個(gè)塊(block).把一個(gè)block內(nèi)所有cell的HOG特征串聯(lián)起來歸一化便得到該塊的HOG特征;

歸一化能夠克服局部光照變化和對比度變化造成的梯度變化范圍較大的影響,進(jìn)一步地對光照、陰影和邊緣進(jìn)行壓縮.

歸一化之后的塊特征描述符就稱為HOG描述符.將該圖像內(nèi)的所有塊的HOG特征串聯(lián)起來就可以得到該圖像的HOG特征了.通過對融合分塊后的Gabor特征進(jìn)行HOG提取得到H-G特征.

3.3 H-G特征的PCA降維

主成分分析PCA(Principal Component Analysis),也稱為卡爾胡寧-勒夫變換(Karhunen-Loeve Transform)[13].PCA算法降維的過程主要是將相關(guān)性低的高維數(shù)據(jù)組投射到一個(gè)相關(guān)性高的低維數(shù)據(jù)組.

PCA算法的主要過程如下:

計(jì)算圖像的協(xié)方差矩陣

假設(shè)有P幅M×N人臉圖像作為訓(xùn)練學(xué)習(xí)樣本,P幅訓(xùn)練圖像記為[x1,x2,…,xp]T,那么P幅人臉圖像的平均向量μ可以表示為:

(13)

則樣本協(xié)方差矩陣為:

(14)

其中Φ=xj-μ,j=1,…,P.

計(jì)算協(xié)方差矩陣的特征向量,將計(jì)算所得特征向量按照從小到大的順序排列,取前d個(gè)較大的特征向量,形成一個(gè)新的向量序列,組成投影子空間:

ω=[ω1,ω2,…,ωd]

(15)

將P幅訓(xùn)練樣本分別投影到特征向量子空間,獲得訓(xùn)練樣本投影矩陣:

B=[B1(d),…,Bj(d)],j=1,…,P

(16)

通過PCA降維得到最終的H-G特征.

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)通過matlab工具平臺進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)運(yùn)行環(huán)境為InterCore I5處理器,8GB內(nèi)存,windows10操作系統(tǒng).由于ORL人臉數(shù)據(jù)庫應(yīng)用較為普遍,實(shí)驗(yàn)首先選擇ORL人臉數(shù)據(jù)庫,由于YALE人臉庫在表情、光照以及姿態(tài)等方面具有較大的變化,針對YALE人臉庫進(jìn)行的實(shí)驗(yàn)更具說服力,實(shí)驗(yàn)又選擇了YALE數(shù)據(jù)庫.通過ORL與YALE兩個(gè)人臉數(shù)據(jù)庫的實(shí)驗(yàn)來驗(yàn)證人臉識別算法的可行性,對圖像的識別分類采用SVM[14]分類器.實(shí)驗(yàn)結(jié)果分別與PCA算法[15,16]、Gabor[17]特征提取算法以及HOG[18,19]方法進(jìn)行了比較.

4.1 基于ORL人臉數(shù)據(jù)庫的分塊實(shí)驗(yàn)

ORL(Olivetti Research Laboratory)人臉庫中包含40人的10幅人臉圖像,共400幅.每個(gè)人有10幅不同姿態(tài)與表情的正面人臉圖像.

在ORL人臉庫中對于不同分塊方法的測試共進(jìn)行4次實(shí)驗(yàn),每一次對人臉進(jìn)行不同方式的分塊,通過對四種分塊方式所得的實(shí)驗(yàn)結(jié)果進(jìn)行比較,選取最佳的分塊方式,得到最佳的實(shí)驗(yàn)結(jié)果即為本文方法的最終分塊結(jié)果.

取人臉庫中每一個(gè)人的前N幅圖像用于訓(xùn)練樣本,后10-N幅圖像用來測試.本實(shí)驗(yàn)中N取4、5、6、7、8.實(shí)驗(yàn)結(jié)果如表1及圖1所示.識別率用百分制表示.

從表1和圖1可以看出在ORL人臉數(shù)據(jù)庫的實(shí)驗(yàn)中,選擇3×3Gabor分塊后的圖像識別效果最好.

4.2 基于ORL人臉數(shù)據(jù)庫的H-G算法實(shí)驗(yàn)

選擇最優(yōu)分塊后,選擇最優(yōu)分塊后,對分塊后的Gabor圖像進(jìn)行HOG提取.圖2為經(jīng)過HOG提取的特征結(jié)果示意圖.將最優(yōu)分塊的H-G特征算法與PCA+SVM算法,Gabor特征+SVM算法,HOG特征+SVM算法進(jìn)行識別率的比較檢驗(yàn)算法的可行性.

表1 ORL人臉庫中各分塊識別率的比較
Table 1 Comparison of block recognition rates in ORL face database(%)

訓(xùn)練樣本數(shù)(N)456782×2Gabor分塊78.481.385.691.492.82×4Gabor分塊81.283.588.493.995.73×3Gabor分塊84.789.692.494.597.84×4Gabor分塊82.686.790.792.494.8

取人臉庫中每一個(gè)人的前N幅圖像用于訓(xùn)練樣本,后10-N幅圖像用來測試.本實(shí)驗(yàn)中N取4,5,6,7,8.實(shí)驗(yàn)結(jié)果如表2及圖3所示.識別率用百分制表示.

圖1 ORL數(shù)據(jù)庫上不同分塊識別率的比較Fig.1 Comparison of different block recognition rates on ORL database

從表2和圖3可以看出融合不同尺度方向的Gabor特征后再進(jìn)行HOG特征提取的到H-G特征的識別效果明顯優(yōu)于其他單一的特征提取方法.這主要因?yàn)樾碌腍-G特征融合了人臉圖像的全局特征和邊緣特征,加強(qiáng)了人臉圖像的完整性,同時(shí)也降低了圖像模糊部分對于識別效果的干擾.

圖2 HOG特征提取結(jié)果示意圖Fig.2 Schematic diagram of HOG feature extraction results

表2 ORL人臉庫中各算法識別率的比較
Table 2 Comparison of recognition rates of various algorithms in ORL face Database(%)

訓(xùn)練樣本數(shù)(N)45678PCA算法77.381.491.592.793.5Gabor特征84.589.191.793.194.0全局HOG85.389.592.793.894.6本文方法(H-G特征)89.092.293.995.696.4

4.3 基于YALE人臉數(shù)據(jù)庫的分塊實(shí)驗(yàn)

YALE人臉庫中共包含15個(gè)人的11幅人臉圖像.共165幅圖像.由于YALE人臉庫在表情、光照以及姿態(tài)等方面具有較大的變化,針對YALE人臉庫進(jìn)行的實(shí)驗(yàn)更具說服力與可行性.

圖3 ORL人臉庫中不同樣本識別率的比較Fig.3 Comparison of different sample recognition rates in ORL face database

在YALE人臉庫中對于不同分塊方法的測試共進(jìn)行4次實(shí)驗(yàn),每一次對人臉進(jìn)行不同方式的分塊,通過對四種分塊方式所得的實(shí)驗(yàn)結(jié)果進(jìn)行比較,選取最佳的分塊方式,得到最佳的實(shí)驗(yàn)結(jié)果即為本文方法的最終分塊結(jié)果.

在實(shí)驗(yàn)中,隨機(jī)地選取YALE人臉庫中每一個(gè)人的前N幅圖像用于訓(xùn)練樣本,后11-N幅圖像作為測試樣本.本實(shí)驗(yàn)中N取(4-8).各特征的識別結(jié)果如表3和圖4所示.識別率用百分制表示.

表3 YALE人臉庫中各分塊識別率的比較
Table 3 Comparison of block recognition rates in YALE face database(%)

訓(xùn)練樣本數(shù)(N)456782×2Gabor分塊80.483.687.590.793.42×4Gabor分塊81.884.489.295.496.43×3Gabor分塊84.890.493.396.498.34×4Gabor分塊83.388.692.694.695.8

從表3和圖4可以看出在YALE人臉數(shù)據(jù)庫的實(shí)驗(yàn)中,同樣是選擇3×3Gabor分塊后的圖像識別效果最好.

圖4 YALE數(shù)據(jù)庫上不同分塊識別率的比較Fig.4 Comparison of different block recognition rates on YALE database

4.4 基于YALE人臉數(shù)據(jù)庫的H-G算法實(shí)驗(yàn)

選擇最優(yōu)分塊后,對分塊后的Gabor圖像進(jìn)行HOG提取.圖5為經(jīng)過HOG提取的特征結(jié)果示意圖.將最優(yōu)分塊的H-G特征算法與PCA+SVM算法,Gabor特征+SVM算法,HOG特征+SVM算法進(jìn)行識別率的比較檢驗(yàn)算法的可行性.

圖5 HOG特征提取結(jié)果示意圖Fig.5 Schematic diagram of HOG feature extraction results

在實(shí)驗(yàn)中,隨機(jī)地選取YALE人臉庫中每一個(gè)人的前N幅圖像用于訓(xùn)練樣本,后11-N幅圖像作為測試樣本.本實(shí)驗(yàn)中N取(4-8).各特征的識別結(jié)果如表4和圖6所示.識別率用百分制表示.

表4 YALE人臉庫中各算法識別率的比較
Table 4 Comparison of recognition rates of various algorithms in YALE face Database(%)

訓(xùn)練樣本數(shù)(N)45678PCA算法76.479.387.691.593.2Gabor特征84.190.092.092.394.1HOG特征84.589.191.793.194.5本文方法(H-G特征)85.592.193.595.095.7

通過表4和其對應(yīng)的的折線圖6可以看出,采用基于分塊Gabor的梯度直方圖特征提取的方法明顯地優(yōu)越于PCA算法、單純的Gabor提取方法以及HOG特征提取的方法,主要因?yàn)樾碌腍-G特征提取方法相比于傳統(tǒng)的HOG特征和Gabor特征對人臉特征的描述更為全面,H-G特征在提取人臉面部全局特征的同時(shí)也讓人臉圖像的邊緣信息更加完整,使得圖像的識別效果明顯提高.

圖6 YALE人臉庫中不同樣本識別率的比較Fig.6 Comparison of different sample recognition rates in YALE face Database

5 結(jié)束語

本文提出了一種分塊Gabor集合梯度直方圖的特征提取算法.該算法融合了Gabor小波提取的全局特征和HOG特征提取的圖像邊緣特征.一方面充分保留了人臉圖像的完整性和清晰度,降低了模糊部位對于識別效果的干擾,另一方面繼承了HOG小波能夠克服全局干擾對識別效果的影響的能力,使得識別效果顯著增強(qiáng).對于人臉的光照、姿態(tài)、表情等干擾因素,該算法顯示出良好的有效性和魯棒性.但是該算法還存在著一些不足之處,在實(shí)驗(yàn)中對人臉進(jìn)行分塊時(shí)沒有探究不同區(qū)域大小對圖像進(jìn)行分塊對圖像識別效果的影響.接下來的工作重心將研究不同區(qū)域大小對圖像進(jìn)行分塊,爭取更完整的突出人臉的關(guān)鍵區(qū)域,使得人臉關(guān)鍵部位的影響程度更完全的體現(xiàn).