自適應(yīng)閾值及加權(quán)局部二值模式的人臉識(shí)別

張潔玉 趙鴻萍 陳 曙

?

自適應(yīng)閾值及加權(quán)局部二值模式的人臉識(shí)別

張潔玉*趙鴻萍 陳 曙

(中國(guó)藥科大學(xué)理學(xué)院 南京 211198)

針對(duì)局部二值模式(LBP)和中心對(duì)稱局部二值模式(CS-LBP)方法描述圖像紋理特征時(shí)，閾值不能自動(dòng)選取并且圖像中不同子塊的貢獻(xiàn)也沒(méi)有進(jìn)行區(qū)分的問(wèn)題，該文提出一種自適應(yīng)閾值及加權(quán)的局部二值模式方法。首先，將圖像進(jìn)行分塊，采用設(shè)定的自適應(yīng)閾值提取每個(gè)子塊的LBP或CS-LBP紋理直方圖；然后，將各子圖像的信息熵作為直方圖的加權(quán)依據(jù)，對(duì)每個(gè)子塊對(duì)應(yīng)的直方圖進(jìn)行自適應(yīng)加權(quán)，并將所有子塊的直方圖連接成最終的紋理特征；最后，通過(guò)快速計(jì)算圖像均值加快了算法的計(jì)算速度。在人臉數(shù)據(jù)庫(kù)上進(jìn)行的實(shí)驗(yàn)證明，利用該文提出的方法提取紋理特征，并結(jié)合最近鄰分類法可以得到較高的正確識(shí)別率。

人臉識(shí)別；紋理特征；局部二值模式；自適應(yīng)閾值；自適應(yīng)加權(quán)

1 引言

圖像特征提取是圖像處理及計(jì)算機(jī)視覺(jué)等領(lǐng)域的一個(gè)重要研究?jī)?nèi)容，圖像配準(zhǔn)、物體識(shí)別、目標(biāo)跟蹤以及基于內(nèi)容的圖像檢索等問(wèn)題都可以通過(guò)特征的提取與匹配來(lái)實(shí)現(xiàn)[1]。常用的圖像特征有顏色特征、形狀特征及紋理特征，其中由于紋理特征簡(jiǎn)單有效而倍受國(guó)內(nèi)外學(xué)者的青睞。

目前紋理分析方法可以總結(jié)為4大類，即：統(tǒng)計(jì)法、結(jié)構(gòu)法、模型法和空域/頻域聯(lián)合法，其中結(jié)構(gòu)分析法的研究?jī)?nèi)容為如何描述紋理基元之間的內(nèi)在相互關(guān)系和排列規(guī)則。在較早的結(jié)構(gòu)分析法中，具有代表性的是由文獻(xiàn)[2]提出的通過(guò)描述中心像素和鄰域像素灰度差來(lái)描述紋理的方法[2]。文獻(xiàn)[3]提出了局部二值模式(Local Binary Pattern, LBP)紋理描述法[3]。該方法簡(jiǎn)單高效，具有良好的旋轉(zhuǎn)不變性和灰度不變性，已經(jīng)廣泛應(yīng)用于目標(biāo)檢測(cè)[4]、人臉識(shí)別[5,6]、紋理分類[7,8]、圖像匹配[9]、背景建模[10]、生物和醫(yī)學(xué)圖像分析等領(lǐng)域[11]。但在實(shí)際應(yīng)用中，LBP方法難以適應(yīng)不同粗糙度和尺度紋理的需要，近年來(lái)許多學(xué)者在具體應(yīng)用中對(duì)LBP進(jìn)行了不少相應(yīng)的改進(jìn)，其中較有代表性的是香港理工大學(xué)和清華大學(xué)共同針對(duì)LBP做了一系列深入的研究。例如，提出了基于方向統(tǒng)計(jì)的自適應(yīng)局部二值模式，增加了圖像的空間結(jié)構(gòu)信息[12]；提出了局部二值模式與方差相結(jié)合的紋理表示方法，將每個(gè)點(diǎn)的方差作為編碼值的權(quán)重，提高了紋理分類性能[13]。此外，文獻(xiàn)[14]在LBP的基礎(chǔ)上提出了局部三值模式(Local Ternary Patterns, LTP)[14], LTP通過(guò)0, 1和-1 3個(gè)值進(jìn)行編碼，在均勻區(qū)域比LBP具有更強(qiáng)的判別能力。LTP特征已經(jīng)在圖像匹配[15]、人臉識(shí)別[16]領(lǐng)域得到了較好的應(yīng)用效果。

2 LBP與CS-LBP

2.1 LBP

其中

2.2 CS-LBP

3 W-LBPAT特征的構(gòu)造

3.1 圖像分塊

原始LBP和CS-LBP模式都是一次性提取了整個(gè)圖像的紋理特征，沒(méi)有區(qū)別對(duì)待圖像中的不同子塊。但事實(shí)上，圖像中不同子塊包含的紋理細(xì)節(jié)是不同的。若有的子塊紋理細(xì)節(jié)較為豐富，應(yīng)該將該子塊賦予較大的權(quán)重，而紋理細(xì)節(jié)較為稀少的子塊應(yīng)賦予較小的權(quán)重，這樣最終得到的LBP或CS-LBP紋理特征才能最大程度地真實(shí)反映圖像紋理的變化情況。因此，在本文提出的W-LBPAT紋理模式中，首先將原始圖像劃分為若干小塊，然后求出每個(gè)子塊對(duì)應(yīng)的LBP或CS-LBP統(tǒng)計(jì)直方圖特征，最后將它們串聯(lián)起來(lái)作為最終的紋理特征。

3.2 提取各子塊紋理特征

將圖像劃分為若干子塊之后，提取每個(gè)子塊的LBP或CS-LBP統(tǒng)計(jì)直方圖。提取時(shí)，涉及到兩方面的改進(jìn)，即：自適應(yīng)選取閾值和計(jì)算加權(quán)系數(shù)。

其中

3.2.2選取自適應(yīng)加權(quán)系數(shù) 一般情況下，一幅圖像中不同子塊包含的信息量是不同的。紋理豐富的區(qū)域包含的信息量大，反之包含的信息量小。若不加區(qū)分地對(duì)待不同的區(qū)域，則會(huì)降低紋理特征的獨(dú)特性，影響識(shí)別率的提升。

3.3 生成W-LBPAT特征

圖1為采用W-LBPAT(CS-LBP)提取人臉圖像特征的效果圖，由于該算法的原理是利用自適應(yīng)閾值判斷關(guān)于中心對(duì)稱的像素點(diǎn)灰度值的對(duì)比情況來(lái)描述紋理，因此可以得到非常清晰的圖像局部紋理的反差效果。

3.4 快速算法

本文提出的算法中，在提取W-LBPAT特征前，事先遍歷圖像中的每個(gè)像素點(diǎn)，計(jì)算出以每個(gè)像素點(diǎn)為中心的鄰域內(nèi)所有像素的均值。而相鄰像素對(duì)應(yīng)的鄰域之間包含大量的重疊部分(如圖2所示)，為了加快運(yùn)算速度可以采取如下措施簡(jiǎn)化計(jì)算過(guò)程。

其中，表示第列的, 和行的3個(gè)像素和；代表第列的,和行的3個(gè)像素和。按照此法，計(jì)算所有水平方向相鄰的兩個(gè)鄰域的均值時(shí)，后一個(gè)鄰域的均值都可用前一個(gè)鄰域的均值快速計(jì)算得到。同理，所有豎直方向相鄰的兩個(gè)鄰域，后一個(gè)鄰域的均值可用同樣的方法快速計(jì)算得到，如圖3所示。設(shè)以像素點(diǎn)和為中心的鄰域分別為和，鄰域的像素和為，則鄰域的像素和為式(12)所示。

圖2 水平相鄰像素鄰域示意圖 圖3 豎直相鄰像素鄰域示意圖

按照上述方法，遍歷整幅圖像中的所有像素點(diǎn)，可以快速求出所有像素點(diǎn)鄰域的均值，為后續(xù)提取W-LBPAT紋理特征做好準(zhǔn)備。本文使用不加速W-LBPAT(CS-LBP)及加速W-LBPAT(CS-LBP)算法針對(duì)ORL人臉庫(kù)、YALE人臉庫(kù)和FERET人臉庫(kù)中大小分別為112×92(400幅)、100×100(165幅)和80×80(350幅)的人臉圖像進(jìn)行了特征提取的時(shí)間測(cè)試，結(jié)果如表1所示。

表1 兩種算法提取人臉圖像特征的時(shí)間(s)

4 實(shí)驗(yàn)與分析

4.1 自適應(yīng)閾值T的選取

在改進(jìn)算法中，自適應(yīng)閾值的選取方法(見(jiàn)3.2.1節(jié))為

ORL人臉庫(kù)包含40個(gè)人，每個(gè)人有10幅人臉圖像，共400幅，其中包括姿態(tài)、表情和面部飾物(如眼鏡)等變化。每幅圖像均為112×92的灰度圖像，圖4即為ORL人臉庫(kù)部分圖像。YALE人臉庫(kù)包括了15個(gè)人共165幅圖像，每個(gè)人有11幅圖像，其中的姿態(tài)和光照變化都是在嚴(yán)格控制的條件下采集的，每幅圖像均為100×100，圖5為YALE人臉庫(kù)的部分圖像。

FERET不僅包含通用的人臉庫(kù)還包含了通用的測(cè)試標(biāo)準(zhǔn)。該圖像庫(kù)包括ba,bj,be和bf等若干子庫(kù)，如圖6所示。它們都含有同樣的200個(gè)人的人臉圖像，其中ba含有每人1張正面人臉圖像，bj包含與ba中表情不同的每人1張圖像，be包含ba中每個(gè)人臉左轉(zhuǎn)15°的圖像，而bf中包含ba中每個(gè)人臉右轉(zhuǎn)15°的圖像。

本文結(jié)合最近鄰分類器進(jìn)行人臉識(shí)別實(shí)驗(yàn)，在ORL人臉庫(kù)中，對(duì)于每個(gè)人的10幅圖像隨機(jī)取5張作為訓(xùn)練樣本，剩下的5張為測(cè)試樣本，則訓(xùn)練樣本數(shù)和測(cè)試樣本數(shù)各為200。YALE人臉庫(kù)中，隨機(jī)取每個(gè)人的5幅圖像作為訓(xùn)練樣本，剩下的6幅圖像作為測(cè)試樣本，訓(xùn)練樣本數(shù)和測(cè)試樣本數(shù)分別為75和90。而在FERET人臉庫(kù)中，采用通用測(cè)試標(biāo)準(zhǔn)測(cè)試，即：利用子庫(kù)ba中的200張圖像作為訓(xùn)練樣本，bj,be和bf 3個(gè)子庫(kù)作為測(cè)試樣本。

4.2 人臉識(shí)別實(shí)驗(yàn)

為了檢驗(yàn)W-LBPAT特征的有效性，本文將LBP, CS-LBP, LTP及W-LBPAT特征分別在ORL人臉庫(kù)、YALE人臉庫(kù)和FERET人臉庫(kù)上進(jìn)行人臉識(shí)別實(shí)驗(yàn)。其中，對(duì)于ORL人臉庫(kù)和YALE人臉庫(kù)通過(guò)隨機(jī)更換訓(xùn)練樣本和測(cè)試樣本而各自分別進(jìn)行3次識(shí)別實(shí)驗(yàn)，最后取3次識(shí)別率的均值。而對(duì)于FERET人臉庫(kù)采用通用測(cè)試標(biāo)準(zhǔn)進(jìn)行識(shí)別測(cè)試。

圖4 ORL人臉庫(kù)部分圖像

圖5 YALE人臉庫(kù)部分圖像

圖6 FERET人臉庫(kù)部分圖像

圖7 改進(jìn)算法對(duì)應(yīng)的識(shí)別率隨n值變化的曲線圖

各類算法均采用了分塊做法，即：先將圖像分成若干小塊，然后提取各子塊的LBP, CS-LBP或LTP特征，之后再將各個(gè)子特征進(jìn)行串聯(lián)生成最終的紋理特征。在本文實(shí)驗(yàn)中，首先將圖像分成了4×4 =16個(gè)子塊后再利用各算法進(jìn)行人臉識(shí)別。每種算法對(duì)應(yīng)的正確識(shí)別率見(jiàn)表2。

從表2可以得出以下結(jié)論：

(1)在各人臉庫(kù)中，識(shí)別率由低到高的順序基本可以歸納為：LBP, CS-LBP和LTP分塊一類算法，LBP, CS-LBP和LTP分塊并自適應(yīng)加權(quán)一類算法，本文的W-LBPAT(CS-LBP), W-LBPAT(LBP)算法。通過(guò)各自比較每種特征相應(yīng)的分塊算法、分塊并自適應(yīng)加權(quán)算法以及本文算法，可以看出自適應(yīng)加權(quán)策略對(duì)識(shí)別率的提升有一定的幫助。本文算法除了分塊并自適應(yīng)加權(quán)外，還在提取特征時(shí)采用了自適應(yīng)閾值的策略，致使識(shí)別率得到了進(jìn)一步地提升。

(2)W-LBPAT(LBP)和W-LBPAT(CS-LBP)得到了最高的識(shí)別率，這是因?yàn)椋?a)W-LBPAT算法是將圖像進(jìn)行分塊后，計(jì)算了每個(gè)子塊的信息熵，并以此作為各個(gè)子塊的加權(quán)系數(shù)，然后提取每個(gè)子塊的特征后對(duì)各子塊進(jìn)行加權(quán)串聯(lián)，形成了最終的W-LBPAT特征。(b)在提取每個(gè)子塊的CS-LBP或LBP紋理特征時(shí)，根據(jù)每個(gè)子塊的像素平均值自適應(yīng)設(shè)定閾值，利用該閾值能夠依據(jù)圖像自身的情況提取真實(shí)的紋理特征，因此W-LBPAT得到了最高的正確識(shí)別率。

(3)在各種CS-LBP, LTP和LBP算法中，識(shí)別率由低到高的順序基本可以總結(jié)為：LBP一類算法、LTP一類算法和CS-LBP一類算法。這是因?yàn)椋篊S-LBP一類算法比以LBP為基礎(chǔ)的一類算法在梯度方向上能夠獲取更好的信息，而LTP一類算法是以LBP為基礎(chǔ)利用相同的提取原理得到了種類更多的紋理模式，因此使得LTP一類算法比LBP算法識(shí)別率更高，但是大多數(shù)情況其識(shí)別率要低于CS-LBP一類算法。

5 結(jié)束語(yǔ)

本文在LBP和CS-LBP算法的基礎(chǔ)上，提出了自適應(yīng)閾值及加權(quán)的局部二值模式紋理特征提取算法。本文的工作主要包含3個(gè)方面：(1)不再提取整幅圖像的特征，而是將圖像分塊，提取每個(gè)子塊的特征后利用各個(gè)子塊的信息熵進(jìn)行加權(quán)，再串聯(lián)成最終的特征；(2)提取每個(gè)子塊的LBP或CS-LBP特征時(shí)，根據(jù)子塊圖像自身的情況設(shè)定閾值，利用該閾值提取紋理特征；(3)采用快速計(jì)算圖像均值的方法，加快了本文提出算法的計(jì)算速度。在人臉數(shù)據(jù)庫(kù)上進(jìn)行的實(shí)驗(yàn)證明，本文提出的算法具有更高的正確識(shí)別率。

表2各種算法識(shí)別率比較

識(shí)別算法人臉庫(kù) ORL(3次均值)YALE(3次均值)FERET(be子庫(kù))FERET(bj子庫(kù))FERET(bf子庫(kù)) 分塊LBP0.85830.73530.6150.6350.610 分塊CS-LBP0.94670.74180.6350.7400.740 分塊LTP0.91830.80090.6150.6500.620 分塊+自適應(yīng)加權(quán)LBP0.87500.79410.6350.6500.615 分塊+自適應(yīng)加權(quán)CS-LBP0.94330.78430.6650.7700.770 分塊+自適應(yīng)加權(quán)LTP0.91670.81020.6150.6700.625 W-LBPAT(LBP)0.95000.83330.6900.7800.705 W-LBPAT(CS-LBP)0.96500.94910.7100.8450.800

[1] 張潔玉. 圖像局部不變特征提取與匹配及應(yīng)用研究[D]. [博士論文], 南京理工大學(xué), 2010.

[2] He D C and Wang L. Texture unit, texture spectrum, and texture analysis[J]., 1990, 28(4): 509-512.

[3] Ojala T, Pietikainen M, and Harwood D. A comparative study of texture measures with classification based on feature distributions[J]., 1996, 29(1): 51-59.

[4] 潘泓, 金立左, 夏思宇, 等. 基于多層次互補(bǔ)特征的通用目標(biāo)檢測(cè)模型[J]. 電子與信息學(xué)報(bào), 2012, 34(7): 1531-1537.

[5] 黃非非. 基于LBP的人臉識(shí)別研究[D]. [碩士論文] , 重慶大學(xué), 2009.

[6] 徐杜功, 丁召, 劉橋. 基于稀疏表達(dá)和改進(jìn)的LBP算子的人臉表情識(shí)別[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2013, 30(4): 246-248.

[7] 韓延彬, 尹鍵芹, 李金屏. 基于圖元旋轉(zhuǎn)不變性和相位統(tǒng)計(jì)信息的LBP算法在紋理分類中的研究[J]. 計(jì)算機(jī)學(xué)報(bào), 2011, 34(3): 583-592.

[8] Ojala T, Pietikainen M, and Maenpaa T. Multi-resolution grayscale and rotation invariant texture classification with local binary patterns[J]., 2002, 24(7): 971-987.

[9] 鄭永斌, 黃新生, 豐松江. SIFT和旋轉(zhuǎn)不變LBP相結(jié)合的圖像匹配算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2010, 22(2): 286-292.

[10] 祖仲林, 李勃, 陳啟美. 基于CUDA的快速LBP紋理背景建模算法[J]. 武漢理工大學(xué)學(xué)報(bào)(交通科學(xué)與工程版), 2011, 35(1): 91-94.

[11] 陳廷寅, 張東, 楊艷, 等. 超聲圖像的LBP紋理特征提取[J].武漢大學(xué)學(xué)報(bào)(理學(xué)版), 2012, 58(5): 401-405.

[12] Guo Z H, Zhang L, Zhang D,.. Rotation invariant texture classification using adaptive LBP with directional statistical features[C]. Proceedings of the 17th IEEE International Conference on Image Processing, Hong Kong, China, 2010: 285-288.

[13] Guo Z H, Zhang L, and Zhang D. Rotation invariant texture classification using LBP variance (LBPV) with global matching[J]., 2010, 43(3): 706-719.

[14] Tan X and Triggs B. Enhanced Local Texture Feature Sets for Face Recognition under Difficult Lighting Conditions[M]. Berlin Heidelberg Springer, 2007: 168-182.

[15] 趙靈芝, 李偉生. 一種基于LTP特征的圖像匹配方法[J]. 計(jì)算機(jī)應(yīng)用研究, 2009, 26(10): 3983-3985.

[16] 袁寶華, 王歡, 任明武. 融合LTP與Fisherfaces的分塊人臉識(shí)別[J]. 計(jì)算機(jī)工程, 2012, 38(10): 154-156.

[17] Heikkila M, Pietikainen M, and Schmid C. Description of interest regions with local binary patterns[J]., 2009, 42(3): 425-436.

[18] 盧建云, 何中市, 余磊. 基于多級(jí)CS-LBP特征融合的人臉識(shí)別方法[J]. 計(jì)算機(jī)工程與科學(xué), 2010, 32(6): 48-51.

[19] 劉丹, 胡永健, 劉琲貝. 聯(lián)合SIFT特征點(diǎn)和CS-LBP特征描述子的復(fù)制粘貼篡改檢測(cè)[J]. 合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版), 2012, 35(3): 325-330.

[20] 劉毅, 黃兵, 孫懷江, 等. 結(jié)合CS-LBP紋理特征的快速圖割算法[J]. 計(jì)算機(jī)科學(xué), 2013, 40(5): 300-302.

[21] 李勃, 郁健, 江登表, 等. 基于ST-CSLBP的混合時(shí)空背景建模算法[J]. 儀器儀表學(xué)報(bào), 2011, 32(12): 2781-2786.

張潔玉： 女，1980年生，講師，研究方向?yàn)閳D像處理及其在藥學(xué)領(lǐng)域的應(yīng)用研究.

趙鴻萍： 女，1971年生，副教授，研究方向?yàn)樗帉W(xué)信息的獲取與數(shù)據(jù)挖掘.

陳 曙： 男，1965年生，教授，研究方向?yàn)樾畔⒓夹g(shù)和藥學(xué)信息學(xué)研究.

Face Recognition Based on Weighted Local BinaryPattern with Adaptive Threshold

Zhang Jie-yu Zhao Hong-ping Chen Shu

(,,211198,)

A new method called weighted Local Binary Pattern (LBP) with adaptive threshold is proposed in this paper to address the shortcomings of LBP and Center Symmetric Local Binary Pattern (CS-LBP), using unflexible threshold and non- discriminating respective sub-patches based on different textures. Firstly, the image is divided into several sub-images and LBP or CS-LBP texture histograms are extracted respectively from each sub-image based on the adaptive threshold. Then, the proposed algorithm adaptively weighted the LBP or CS-LBP histograms of sub-patches with information entropy as their basis and connected all histograms serially to create a final texture descriptor. Finally, the improved efficiency of the proposed algorithm is achieved by speeding up the computation of the average of an image. The experimental results by face databases show that a higher recognition accuracy can be obtained by employing the proposed method with nearest neighbor classification.

Face recognition; Texture features; Local Binary Pattern (LBP); Adaptive threshold; Adaptively weighted

TP391.41

A

1009-5896(2014)06-1327-07

10.3724/SP.J.1146.2013.01218

張潔玉 zhjy_xx@126.com

2013-08-13收到，2013-12-18改回

教育部直屬高校特色項(xiàng)目基金(O2600005)和中國(guó)藥科大學(xué)理學(xué)院青年教師科研資助課題