基于局部邊緣差異二值模式的人臉識別方法

楊巨成，李 瓊，劉 娜，孫文輝

（天津科技大學(xué)計(jì)算機(jī)科學(xué)與信息工程學(xué)院，天津 300222）

基于局部邊緣差異二值模式的人臉識別方法

楊巨成，李 瓊，劉 娜，孫文輝

（天津科技大學(xué)計(jì)算機(jī)科學(xué)與信息工程學(xué)院，天津 300222）

傳統(tǒng)的局部二值模式（local binary pattern，LBP）作為一種有效的特征提取與編碼方法廣泛應(yīng)用于圖像處理領(lǐng)域，但該方法只提取了圖像模版中心像素值與邊緣像素值的差值信息，這些信息不能全面地表征圖像，并且對圖像小幅度的灰度變化敏感.針對該方法的缺點(diǎn)，提出了一種基于局部邊緣差異二值模式（local edge difference binary pattern，LEDBP）的特征提取算法，并應(yīng)用于人臉識別領(lǐng)域.與傳統(tǒng)的局部二值模式不同，本方法通過計(jì)算圖像模版中心像素值與邊緣像素值的差值來表示局部區(qū)域，其首先計(jì)算中心像素與相鄰像素的邊緣差值，然后使用局部三值模式的上模式（upper local ternary pattern）對邊緣像素值進(jìn)行編碼，建立直方圖后得到特征向量對圖像進(jìn)行表示.實(shí)驗(yàn)結(jié)果表明，本文算法用于人臉識別較傳統(tǒng)的LBP等算法在識別率上有較大提高.

局部邊緣差異；局部二值模式；人臉識別；局部三值模式

人臉識別一直是計(jì)算機(jī)視覺、模式識別與人工智能領(lǐng)域的一個研究熱點(diǎn)［1］，指根據(jù)人的面部特征進(jìn)行身份識別或者認(rèn)證，具有主動性、非侵犯性和用戶友好等許多特點(diǎn)，特別是在非接觸環(huán)境和不驚動被檢測人的情況下，具有虹膜、指紋等識別方法不可比擬的優(yōu)勢.人臉識別方法可分為整體識別方法和局部識別方法［2］.一些經(jīng)典的方法，如主成分分析［3］、線性鑒別分析［4］等是基于整體識別的人臉識別方法，這類方法在受控的條件（如姿態(tài)、光照等變化不大）下識別效果不錯.不過在現(xiàn)實(shí)情況下，受姿態(tài)和光照的影響，會導(dǎo)致基于整體識別方法的性能急劇下降.基于局部人臉識別方法，如基于分塊的主成分分析（PCA）識別方法［5］、彈性圖匹配方法［6］、局部二值模式（local binary pattern，LBP）方法［7］等，對姿態(tài)、光照的變化具有較強(qiáng)的魯棒性，因此得到越來越多的關(guān)注.

文獻(xiàn)［8］首次提出 LBP算法，其對單調(diào)灰度變化具有不變性，并且具有良好的旋轉(zhuǎn)不變性，因此已經(jīng)廣泛應(yīng)用于目標(biāo)檢測［9］、人臉識別［10-11］等領(lǐng)域.但在實(shí)際應(yīng)用中，LBP方法難以適應(yīng)不同粗糙度和尺度紋理的需要，因此，研究人員對 LBP進(jìn)行改進(jìn)：文獻(xiàn)［12］提出了兩種局部邊緣模式的直方圖，其中局部邊緣模式圖像分割算子（LEPSEG）用于圖像分割，局部邊緣模式圖像檢索算子（LEPINV）用于圖像檢索；文獻(xiàn)［13］提出了基于方向統(tǒng)計(jì)的自適應(yīng)局部二值模式，增加了圖像的空間結(jié)構(gòu)信息；文獻(xiàn)［14］提出了局部二值模式與方差相結(jié)合的紋理表示方法，將每個點(diǎn)的方差作為編碼值的權(quán)重，提高了紋理分類性能；局部最大邊緣二值模式（LMEBP）［15］、局部方向極值模式（DLEP）［16］、基于方向的二進(jìn)制小波模式（DBWP）［17］等方法，也被用于圖像追蹤和圖像檢索；此外，文獻(xiàn)［18］在 LBP的基礎(chǔ)上提出了局部三值模式（local ternary pattern，LTP），其通過0，1和-1三個值進(jìn)行編碼，在均勻區(qū)域比LBP具有更強(qiáng)的判別能力，已經(jīng)在圖像匹配［19］、人臉識別［20］領(lǐng)域得到了較好的應(yīng)用效果.

本文改進(jìn)LMEBP方法，提出了局部邊緣差異二值模式（local edge difference binary pattern，LEDBP），并將其用于人臉識別.LEDBP使用了向上取值的LTP二值編碼模式，即將最小的值取為中間值，不僅擴(kuò)大了計(jì)算范圍，提取了更大范圍的邊緣分布信息，同時還獲取了中心像素與周圍像素的邊緣的方向關(guān)系及其大小程度，并且進(jìn)一步將其排成 8個等級，比傳統(tǒng)的LBP提取了更多的圖像信息.

1　局部模式

1.1局部二值模式

LBP算子是一個強(qiáng)有力的紋理描述算子［7］.圖像中某區(qū)域LBP碼的直方圖可用來描述該區(qū)域的紋理結(jié)構(gòu).半徑為R的圓上的P個采樣點(diǎn)的LBP碼可用式（1）計(jì)算.

式中：cg和ig分別表示窗口的中心點(diǎn)和周圍的 P個采樣點(diǎn)；x為中心點(diǎn)與周圍采樣點(diǎn)的差異值，（）s x表示重新編碼后的值.圖1給出了LBP碼的計(jì)算過程.

圖1　LBP碼計(jì)算過程Fig.1 Calculation process of local binary pattern

1.2局部三值模式

LTP［18］是在 LBP基礎(chǔ)上改進(jìn)的，它克服了 LBP對小幅度的灰度變化敏感的問題，其計(jì)算公式為

式中T為閾值.圖2給出了一個LTP碼計(jì)算過程的實(shí)例.為了簡化模型，將基本的局部三值模式分成上模式（upper pattern）和下模式（lower pattern）.將原編碼中除 1以外標(biāo)記為 0后得到的編碼，定義為上模式；將原編碼中除-1以外標(biāo)記為0后，用1取代原來的-1，最后得到的編碼定義為下模式.本文采用LTP的上模式.

圖2　局部三值模式及其上模式和下模式Fig.2 Local ternary pattern and its upper pattern and lower pattern

2　局部邊緣差異二值模式

本文提出的局部邊緣差異二值模式（LEDBP）是在LBP的基礎(chǔ)上使用LTPU編碼進(jìn)行改進(jìn)的.它通過計(jì)算中心像素點(diǎn)與周圍 8鄰域像素點(diǎn)灰度值的差異值，以及取周圍8個像素點(diǎn)分別為中心再與其周圍的8像素點(diǎn)取差異值，將9個像素點(diǎn)每個像素點(diǎn)的8個灰度差異值取絕對值后按大小排序.如圖3所示，通過將 9個像素點(diǎn)分別對應(yīng)的最大差異值使用LTPU進(jìn)行編碼，就得到編碼值.LEDBP編碼的具體計(jì)算步驟為

（1）計(jì)算中心點(diǎn)gc與周圍 8個點(diǎn)的灰度值差異值

這里I（gi）表示i點(diǎn)的灰度值大小.

（2）取8個點(diǎn)中灰度值差異值絕對值最大的點(diǎn)

（3）將中心點(diǎn)與1i的灰度差異值用LTPU進(jìn)行編碼.實(shí)驗(yàn)表明，閾值由 1向上取時，識別率先增大后減小，在閾值取 5時達(dá)到最大，因此閾值取5，大于5的時候取1，在-5到5之間取0，小于-5的向上取值，也取0，計(jì)算公式為

分別計(jì)算出以周圍 8個點(diǎn)為中心點(diǎn)所對應(yīng)的Inew（g1）、Inew（g2）、…、Inew（g8），則中心點(diǎn)gc最大的LEDBP編碼定義為

然后，將九位二進(jìn)制數(shù)轉(zhuǎn)化為0至511之間的十進(jìn)制數(shù)，如圖4所示.

（4）最大的 LEDBP編碼計(jì)算完后，整幅圖像都被0至511之間的數(shù)進(jìn)行了重新編碼，這幅圖像就可以用式（7）建立的直方圖進(jìn)行表示.

式中：M，N表示圖像矩陣的行數(shù)和列數(shù)；（j，k）表示第j行第k列所對應(yīng)的像素點(diǎn).

其余 7個 LEDBP編碼值也分別聯(lián)立組成直方圖，因此，圖像的特征向量維度為8×512.

圖3　8個邊緣差異值及其LTPU編碼（T=5）Fig.3 Eight edge difference and LTPU code（T=5）

圖4　中心點(diǎn)的最大LEDBP編碼值計(jì)算過程Fig.4 Computing of the maximum LEDBP of the center pixel

下面以圖 3為例進(jìn)行實(shí)例說明.首先計(jì)算中心像素（灰度值為16）與周圍8個相鄰像素的灰度差異值，可以得到“-9、-10、9、-14、11、-5、2、1”，按絕對值大小排序后得到“-14、11、-10、9、-9、-5、2、1”，使用 LTPU編碼得到八位二進(jìn)制數(shù)“01，010，000”.然后使用相同的計(jì)算方法計(jì)算周圍8個點(diǎn)的邊緣差異值并使用LTPU進(jìn)行編碼得到了9個八位二進(jìn)制數(shù)，如圖5所示.取9個八位二進(jìn)制數(shù)的第一位組成最大差異值的LEDBP編碼值，其他七位也依次組成7個LEDBP編碼值.分別將計(jì)算得到的8個LEDBP編碼值按照順序構(gòu)建直方圖，然后將8個直方圖聯(lián)立，最終得到 8×512的 LEDBP特征向量.

圖5　計(jì)算第一大至第八大的LMEDBP編碼值Fig.5 LMEDBP of the 1st maximum to 8th maximum

3　實(shí) 驗(yàn)

3.1識別率

為了測試提出方法的性能，在ORL和Yale兩個著名的人臉數(shù)據(jù)庫上進(jìn)行了實(shí)驗(yàn).ORL數(shù)據(jù)庫［21］包含40人的人臉圖像，每人有10幅112像素×92像素的不同的圖像，在不同時間拍攝，且具有不同表情、姿態(tài)和面部細(xì)節(jié).Yale人臉數(shù)據(jù)庫［22］包含15人，每人 11張不同表情、姿態(tài)和受光照影響的人臉圖像，每幅圖像大小為100像素×80像素.

在ORL數(shù)據(jù)庫上，將LEDBP與局部二值模式（LBP）和局部圖模型（LGP）進(jìn)行比較.使用 LBP和LGP編碼后建立直方圖，利用主成分分析方法（PCA）進(jìn)行降維，貢獻(xiàn)率取 0.95.最后利用極限學(xué)習(xí)機(jī)（ELM）［23］進(jìn)行分類，分別隨機(jī)取每個人的 5幅、6幅、7幅、8幅和9幅圖像作為訓(xùn)練樣本，然后對應(yīng)的剩下的5幅、4幅、3幅、2幅和1幅圖像用于測試.4組實(shí)驗(yàn)每組重復(fù)作 10次后計(jì)算平均識別率，實(shí)驗(yàn)結(jié)果見表1.

表1　ORL數(shù)據(jù)庫上平均識別率的比較Tab.1 Comparison of the average recognition rate in ORL database

在 Yale數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)，每個人的訓(xùn)練樣本數(shù)和測試樣本數(shù)分別取6和5、7和4、8和3、9和2、10和 1.實(shí)驗(yàn)過程與在 ORL數(shù)據(jù)庫上一致，利用LBP和LGP以及提出的LEDBP方法對圖像進(jìn)行編碼后建立直方圖，然后使用PCA降維，使用ELM進(jìn)行分類，實(shí)驗(yàn)結(jié)果見表2.

表2　Yale數(shù)據(jù)庫上平均識別率的比較Tab.2　Comparison of the average recognition rate in Yale database

由表1和表2可以看出：在ORL數(shù)據(jù)庫上LGP的識別率高于LBP，但是LEDBP是最高的；在Yale數(shù)據(jù)庫上LBP的識別率高于LGP，但LEDBP的識別率仍然是最高的.因此，相對于傳統(tǒng)的 LBP以及LGP人臉識別方法，基于LEDBP的人臉識別方法具有更高的識別率.

3.2時間效率

為了測試提出方法的特征提取時間效率，本實(shí)驗(yàn)選取了 ORL人臉數(shù)據(jù)庫中的一幅圖片進(jìn)行測試，圖片大小為112像素×92像素，實(shí)驗(yàn)結(jié)果見表3.

表3　單幅圖片上特征提取時間的比較Tab.3　Comparison of the feature extraction time on a single picture

由表3可看出，由于本文提出的LEDBP方法擴(kuò)大了計(jì)算范圍（5×5），獲取了更多的特征差異信息，因此在時間效率上較LBP和LGP低.

4　結(jié) 語

本文在LBP和LMEBP的基礎(chǔ)上提出了一種改進(jìn)的LEDBP人臉識別方法，其充分利用了圖像的邊緣像素灰度值差異信息對人臉圖像進(jìn)行表示.該方法提取了中心像素點(diǎn)與邊緣像素點(diǎn)的灰度值大小關(guān)系，并且依據(jù)邊緣差異值大小將邊緣分成 8部分，因此提供了比LBP方法更完整的圖像表示.LEDBP很好地解決了 LMEBP對圖像中較小灰度值變化敏感的問題，對圖像局部特征的描述更具有魯棒性.實(shí)驗(yàn)結(jié)果表明：相對于傳統(tǒng)的LBP以及LGP人臉識別方法，基于 LEDBP的人臉識別方法具有更高的識別率.但由于 LEDBP計(jì)算單元大，獲取的圖像特征信息多，因此時間效率相對較低.

［1］ 周德龍. 人臉識別技術(shù)研究［D］. 西安：西北工業(yè)大學(xué)，2001.

［2］ 吳巾一，周德龍. 人臉識別方法綜述［J］. 計(jì)算機(jī)應(yīng)用研究，2009，26（9）：3205-3209.

［3］ Turk M A，Pentland A P. Eigenfaces for recognition［J］. Journal of Cognitive Neuroscience，1991，3（1）：71-86.

［4］ Etemad K，Chellapa R. Face recognition using discriminant eigenvectors［C］//Proceedings of IEEE International Conference on Acoustics，Speech，& Signal Processing. Piscataway：IEEE，1996：2148-2151.

［5］ Gottumukkal R，Asari V K. An improved face recognition technique based on modular PCA approach［J］. Pattern Recognition Letters，2004，25（4）：429-436.

［6］ Wiskott L，F(xiàn)ellous J M，Kuiger N，et al. Face recognition by elastic bunch graph matching［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（7）：775-779.

［7］ Ahonen T，Hadid A，Pietikainen M. Face recognition with local binary patterns［J］. Lecture Notes in Computer Science，2004，3021：469-481.

［8］ Ojala T，Pietikainen M，Harwood D. A comparative study of texture measures with classification based on feature distributions［J］. Pattern Recognition，1996，29（1）：51-59.

［9］ 潘泓，金立左，夏思宇，等. 基于多層次互補(bǔ)特征的通用目標(biāo)檢測模型［J］. 電子與信息學(xué)報，2012，34（7）：1531-1537.

［10］ Chao W L，Ding J J，Liu J Z. Facial expression recognition based on improved local binary pattern and classregularized locality preserving projection［J］. Signal Processing，2015，117：1-10.

［11］ 徐杜功，丁召，劉橋. 基于稀疏表達(dá)和改進(jìn)的LBP算子的人臉表情識別［J］. 計(jì)算機(jī)應(yīng)用與軟件，2013（4）：246-248.

［12］ Yao C H，Chen S Y. Retrieval of translated，rotated and scaled color textures［J］. Pattern Recognition，2003，36（4）：913-929.

［13］ Guo Z H，Zhang L，Zhang D，et al. Rotation invariant texture classification using adaptive LBP with directional statistical features［C］//Proceedings of the 17，th IEEE International Conference on Image Processing. Piscatawy：IEEE，2010：285-288.

［14］ Guo Z H，Zhang L，Zhang D. Rotation invariant texture classification using LBP variance（LBPV）with global matching［J］. Pattern Recognition，2010，43（3）：706-719.

［15］ Subrahmanyam M，Maheshwari R P，Balasubramanian R. Local maximum edge binary patterns：A new descriptor for image retrieval and object tracking［J］. Signal Process，2012，92（6）：1467-1479.

［16］ Murala S，Maheshwari R P，Balasubramanian R. Directional local extrema patterns：A new descriptor for content based image retrieval［J］. International Journal of Multimedia Information Retrieval，2012，1（3）：191-203.

［17］ Murala S，Maheshwari R P，Balasubramanian R. Directional binary wavelet patterns for biomedical image indexing and retrieval［J］. Journal of Medical Systems，2012，36（5）：2865-2879.

［18］ Tan X，Triggs B. Enhanced local texture feature sets for face recognition under difficult lighting conditions［J］. IEEE Transactions on Image Processing，2010，19（6）：168-182.

［19］ 趙靈芝，李偉生. 一種基于 LTP特征的圖像匹配方法［J］. 計(jì)算機(jī)應(yīng)用研究，2009，26（10）：3983-3985.

［20］ 袁寶華，王歡，任明武. 融合LTP與Fisherfaces的分塊人臉識別［J］. 計(jì)算機(jī)工程，2012，38（10）：154-156.

［21］ The Digital Technology Group，Cambridge University Computer Laboratory. ORL Database of Faces［EB/OL］.［2015-12-16］. http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase. html.

［22］ Computational vision and control center，Yale University. Yale Face Database［EB/OL］. ［2015-12-16］. http：//vision.ucsd.edu/～iskwak/ExtYaleDatabase/Yale%20Face% 20Database. htm.

［23］ Huang G B，Zhu Q Y，Siew C K. Extreme learning machine：Theory and applications［J］. Neurocomputing，2006，70（1/2/3）：489-501.

責(zé)任編輯：常濤

Face Recognition Based on Local Edge Difference Binary Patterns

YANG Jucheng，LI Qiong，LIU Na，SUN Wenhui
（College of Computer Science and Information Engineering，Tianjin University of Science & Technology，Tianjin 300222，China）

Traditional local binary pattern（LBP）is widely used in image processing as an effective feature extraction and encoding method，but it can only extract the different information between the central pixel and its neighbors in the template，cannot fully represent the image，and is sensitive to small gray scale changes.According to the shortcomings of this method，a novel local edge difference binary pattern（LEDBP）is proposed for image feature extraction and used in the face recognition.The LEDBP differs from the existing LBP in a manner that it extracts information based on the distribution of edges in an image.The differences between the central pixel and its 8 neighbors in the template can be calculated by using LEDBP.After that，the edges can be coded by using the upper local ternary pattern（LTPU），and then the feature vectors can be obtained by establishing histograms which represent the images.Experiments in face recognition show that the proposed method outperforms the traditional LBP on recognition accuracy.

local edge difference；local binary pattern；face recognition；local ternary patterns

TP399

A

1672-6510（2016）04-0069-05

10.13364/j.issn.1672-6510.20150251

2015-12-17；

2016-03-28

國家自然科學(xué)基金資助項(xiàng)目（61502338）；天津市科技支撐計(jì)劃重點(diǎn)資助項(xiàng)目（15ZCZDGX00200）

楊巨成（1980—），男，湖北人，教授，jcyang@tust.edu.cn.