基于改進(jìn)局部方向模式的人臉識(shí)別*

孫君頂，劉曉惠，陳鵬鵬（河南理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南焦作454000）

基于改進(jìn)局部方向模式的人臉識(shí)別*

孫君頂，劉曉惠，陳鵬鵬
（河南理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南焦作454000）

在利用傳統(tǒng)局部方向模式（LDP）及其改進(jìn)方法進(jìn)行人臉識(shí)別時(shí)，存在兩個(gè)主要問題，一是局限于3×3鄰域來(lái)提取特征，二是在人臉識(shí)別時(shí)將圖像不同分塊同等對(duì)待。針對(duì)上述問題，提出了改進(jìn)的LDP。一方面提出了多分辨率分析方法，將LDP由3×3窗口模式擴(kuò)展至多分辨率窗口模式；另一方面，通過采用分塊加權(quán)法來(lái)增強(qiáng)不同分塊對(duì)人臉識(shí)別的不同貢獻(xiàn)程度。采用Yale和Orl人臉圖像庫(kù)進(jìn)行實(shí)驗(yàn)，結(jié)果表明：基于改進(jìn)的方法明顯提高了人臉識(shí)別的效果。

人臉識(shí)別；局部方向模式；加權(quán)；多分辨率

0　引言

現(xiàn)如今，目標(biāo)識(shí)別已是圖像工程的研究熱點(diǎn)之一［1］，尤其是人臉識(shí)別領(lǐng)域吸引了眾多學(xué)者來(lái)研究。局部二值模式（local binary pattern，LBP）［2］因其原理簡(jiǎn)單且具有光照魯棒性等特點(diǎn)而備受人臉識(shí)別領(lǐng)域研究者的青睞，多種針對(duì)LBP的擴(kuò)展方法被提了出來(lái)［3～7］。Jabid T等人將圖像邊緣信息融入 LBP，提出了局部方向模式（local directional pattern，LDP）［8］。LDP繼承了LBP的優(yōu)點(diǎn)，并對(duì)噪聲有較好的魯棒性，被廣泛應(yīng)用于人臉識(shí)別中。Zhong F等人［9］提出了增強(qiáng)局部方向模式（enhanced LDP，ELDP），ELDP通過強(qiáng)調(diào)不同大小邊緣梯度信息的方向性，提高了LDP的算法魯棒性和識(shí)別率。Ramirez R A等人［10］提出了LDN（local direction number）模式，通過結(jié)合運(yùn)用不同卷積模板，增強(qiáng)了LDP在光照、表情及噪聲因素影響下的魯棒性。但是，在應(yīng)用LDP［8～10］進(jìn)行人臉識(shí)別時(shí)，還存在兩方面的問題：第一，對(duì)于LDP（包括LDP，ELDP和LDN）來(lái)說，在進(jìn)行特征提取時(shí)，僅局限于局部3×3鄰域。而對(duì)于LBP及其擴(kuò)展方法來(lái)說，Ojala T等人［11］將它們由3×3鄰域擴(kuò)展到多分辨率鄰域，有效提高了LBP的分辨能力和應(yīng)用范圍。第二，在利用LDP進(jìn)行人臉識(shí)別時(shí)，同LBP方法一致，往往將人臉圖像劃分為不同的區(qū)域，再提取每個(gè)區(qū)域特征并組合在一起進(jìn)行人臉識(shí)別。文獻(xiàn)［12］的研究也表明，通過區(qū)域劃分更有利于提取人臉的空間結(jié)構(gòu)信息，提高算子對(duì)光照、遮擋、方位等的變化的魯棒性。但在利用LDP進(jìn)行人臉識(shí)別時(shí)，往往將不同的區(qū)域同等對(duì)待，忽略了人臉特征信息分布的不均勻性所帶來(lái)的問題。如人的嘴巴、鼻子、眼睛區(qū)域所包含的識(shí)別特征信息要比人的額頭、臉蛋區(qū)域所包含的特征信息更豐富且更有價(jià)值。

本文主要針對(duì)上述兩個(gè)問題展開研究。首先，結(jié)合方向卷積模板的特點(diǎn)，將局部方向模式擴(kuò)展到多分辨率鄰域，并進(jìn)一步提出結(jié)合不同分辨率下的特征組合來(lái)提高人臉識(shí)別的效果。針對(duì)將不同分塊同等對(duì)待的問題，目前研究者已提出了分塊加權(quán)的方法［13］，本文借助于文獻(xiàn)［13］提出的加權(quán)方法，并在對(duì)其改進(jìn)的基礎(chǔ)上，對(duì)局部方向模式進(jìn)行增強(qiáng)處理。為了驗(yàn)證新方法的性能，采用Yale和Orl人臉圖像庫(kù)進(jìn)行驗(yàn)證，結(jié)果表明：采用本文方法可有效提高局部方向模式及其擴(kuò)展算法的識(shí)別性能。

1　局部描述算子

1.1LDP

在LBP的基礎(chǔ)上，Jabid T等人提出了LDP算子［8］。將3×3的像素鄰域與Kirsch模板（如圖1所示）進(jìn)行卷積運(yùn)算，然后將前k大的值（絕對(duì)值）所對(duì)應(yīng)位置1，其余位置0，最后根據(jù)二值編碼獲取該鄰域的LDP值。圖2給出了LDP算子的計(jì)算實(shí)例。

圖1　Kirsch掩模算子Fig 1　Kirsch mask operator

圖2　LDP算法實(shí)例（k=3）Fig 2　LDP algorithm instance（k=3）

LDP定義如下

1.2LDN

LDN算法將3×3窗口的像素按照特定順序進(jìn)行方向編碼，8個(gè)鄰域像素的編碼值分別對(duì)應(yīng)0～7；其次，將該鄰域與Kirsch模板卷積運(yùn)算得到8個(gè)方向上的邊緣檢測(cè)值；最后取最大和最小的邊緣檢測(cè)值對(duì)應(yīng)的方向編碼組成一個(gè)八進(jìn)制數(shù)，即為鄰域的LDN值。圖3給出了針對(duì)3×3窗口的編碼示例，其中，bi對(duì)應(yīng)鄰域像素的方向編碼。

圖3　LDN算法實(shí)例Fig 3　LDN algorithm instance

2　改進(jìn)的LDP

2.1多分辨率分析

顯然，對(duì)于LDP，ELDP和LDN來(lái)說，在提取局部模式時(shí)，往往局限于3×3的局部鄰域。而導(dǎo)致不同人臉圖像之間存在差異的不僅僅在于目標(biāo)像素點(diǎn)和其周圍領(lǐng)域像素點(diǎn)的梯度分布關(guān)系，還在于在更大的尺度下每個(gè)像素與其他像素之間的關(guān)系。因此，針對(duì)該問題引入多分辨率的概念，提出了多分辨率LDP。首先，選擇不同分辨率的窗口，并將其轉(zhuǎn)化為3×3窗口，然后按照原始LDP，ELDP或LDN的定義方式獲取多分辨率下LDP特征。設(shè)選擇的窗口分辨率為K×K（K≥3），取M=［K/3］，則可通過下式將K×K的窗口轉(zhuǎn)化為3×3窗口

式中pi×M+m，j×M+n為 K×K窗口中像素的灰度值，p'i，j為轉(zhuǎn)化到3×3窗口后像素的灰度值。i和j的取值均為0，1，2。

圖4給出了k=6時(shí)的計(jì)算示例。原始LDP及其改進(jìn)方法由于局限于3×3鄰域，它們所提取的特征可以說僅僅是局部鄰域特征的體現(xiàn)，或者說體現(xiàn)的是人臉圖像的微觀特征；而采用文中定義的多分辨率分析方式，可以在更大的尺度下提取人臉特征，或者可以說提取人臉圖像相對(duì)宏觀的特征。另一方面，進(jìn)一步考慮將不同分辨率下的特征進(jìn)行結(jié)合，亦即融合人臉圖像的微觀特征和宏觀特征實(shí)現(xiàn)人臉識(shí)別，從而真正實(shí)現(xiàn)基于多分辨率分析的方向模式提取方法，并以此提高人臉識(shí)別的效果。

圖4　分辨率示例（K=6）Fig 4　Resolution instance（K=6）

2.2加權(quán)LDP

在采用LBP或LDP進(jìn)行人臉識(shí)別時(shí)，往往需要將人臉圖像劃分為不同分塊，然后提取每個(gè)分塊的特征并將所有分塊特征融合在一起作為最終特征以提高算子的識(shí)別效果［12］。但是，這種策略存在一個(gè)問題，即在融合不同分塊的特征時(shí)，往往將所有分塊同等對(duì)待，沒有考慮不同分塊對(duì)人臉識(shí)別的貢獻(xiàn)程度問題。而一般情況下，人臉圖像中不同的子塊所包含的信息量是不同的。如果對(duì)不同的分塊同等對(duì)待，不但會(huì)消弱包含重要信息的分塊在人臉識(shí)別中的作用，還會(huì)增強(qiáng)了非重要分塊的作用，從而造成人臉識(shí)別率的降低。張潔玉等人［13］提出了基于信息熵的加權(quán)方法對(duì)LBP進(jìn)行了改進(jìn)，本文在對(duì)該方法進(jìn)行增強(qiáng)的基礎(chǔ)上，應(yīng)用于LDP中。基于信息熵的加權(quán)方法的基本思想是根據(jù)每個(gè)分塊信息熵的大小對(duì)分塊特征進(jìn)行加權(quán)處理。設(shè)Ei表示第i個(gè)分塊的信息熵，則分塊權(quán)重計(jì)算如下

式中n為圖像分塊數(shù)目。顯然，對(duì)于圖像的重要區(qū)域，分塊內(nèi)像素的灰度值比較豐富、變化幅度大，其信息熵就越大，因此，其對(duì)應(yīng)的權(quán)重就越大；對(duì)于其它區(qū)域，灰度變化幅度下，對(duì)應(yīng)的信息熵也小，因此，這些區(qū)域?qū)?yīng)的權(quán)重就越小。在此基礎(chǔ)上，為了降低算法的復(fù)雜度，進(jìn)一步提出了對(duì)稱加權(quán)法。由于在光照均勻、臉部無(wú)明顯個(gè)體特征等情況下，人臉圖像特征往往是左右對(duì)稱的，即左右對(duì)稱的子塊包含的特征信息量近似相等，因此，其所對(duì)應(yīng)的權(quán)重也應(yīng)相等，即對(duì)稱分塊的權(quán)值相等。如圖5所示，其中，A1和A2是兩個(gè)相互對(duì)稱的子塊，可近似記這兩個(gè)子塊的信息熵權(quán)重是相等的，即wA1=wA2，則被劃分為M×N塊的人臉特征圖像的對(duì)稱權(quán)值可記為

圖5　對(duì)稱加權(quán)法Fig 5　Symmetric weighting metho d

3　實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文改進(jìn)方法的性能，選擇Yale和Orl兩個(gè)在人臉識(shí)別領(lǐng)域廣泛應(yīng)用的人臉圖像庫(kù)進(jìn)行實(shí)驗(yàn)，并采用χ2距離計(jì)算特征間的相似性，采用K近鄰方法進(jìn)行識(shí)別。實(shí)驗(yàn)選擇LDP［14］，LDN［15］，ELDP［16］三種局部方向算子，加權(quán)后的算子分別記為W_LDP，W_LDN和W_ELDP。

3.1針對(duì)Yale人臉庫(kù)

Yale人臉庫(kù)包含了共15個(gè)人的165幅圖像，每個(gè)人11幅，包含不同光照、表情以及飾物遮擋的變化信息。實(shí)驗(yàn)首先驗(yàn)證分塊加權(quán)方法對(duì)識(shí)別效果的影響。實(shí)驗(yàn)測(cè)試了3×3，4×4，5×5三種不同分塊劃分情況，每次隨機(jī)取每個(gè)人的6幅圖像作為訓(xùn)練集，其余圖像作為測(cè)試集，進(jìn)行100次測(cè)試，實(shí)驗(yàn)結(jié)果如表1所示。

從表1中可以看出：1）對(duì)于同一類算法，在分塊增多的情況下，識(shí)別率呈上升趨勢(shì)。這是因?yàn)殡S著分塊數(shù)目的增加，所提取直方圖特征包含的信息更多、特征表達(dá)更穩(wěn)定且空間局部信息丟失量小，所以，識(shí)別率更高。但隨著分塊劃分的增多，所提取特征的維數(shù)也會(huì)增加，從而導(dǎo)致識(shí)別時(shí)計(jì)算復(fù)雜度的提高，因此，在進(jìn)行分塊時(shí)往往需要在分塊數(shù)目和計(jì)算復(fù)雜度間進(jìn)行折中。2）在分塊條件一致的情況下，分塊加權(quán)特征的識(shí)別效果明顯優(yōu)于原始特征。在三種不同分塊的情況下，相對(duì)于LDP，LDN和ELDP，加權(quán)后的特征W_LDP，W_LDN和W_ELDP的識(shí)別率平均提高了約1.4%，1.3%和1.3%。

表1　不同分塊條件下的人臉平均識(shí)別率（%）Tab 1　Average recognition rate（%）of face in different blocking conditions

實(shí)驗(yàn)還測(cè)試了在多分辨率分析的情況下，不同算法的識(shí)別效果。實(shí)驗(yàn)選擇3×3，6×6和9×9三種不同的分辨率窗口，分別記為M3，M6和M9；在提取整幅圖像特征時(shí)，將其劃分為5×5的分塊；另一方面，還考慮了在不同分辨率的組合情況下的識(shí)別效果，實(shí)驗(yàn)中選擇M6，9，即在M6和M9的條件下提取圖像特征，然后將其組合在一起作為圖像的最終特征。針對(duì)各種算法隨機(jī)進(jìn)行100次測(cè)試，實(shí)驗(yàn)結(jié)果如表2所示。

表2　多分辨率分析下的人臉平均識(shí)別率（%）Tab 2　Average recognition rate of human face with multi-resolution analysis（%）

從表2中可以看出：1）不同算子在不同分辨率條件下的識(shí)別效果存在較大區(qū)別，不同分辨率對(duì)應(yīng)同一算子的識(shí)別效果也有較大的影響。如LDP和ELDP在M6和M9的條件下，其識(shí)別率得到了較大程度的提高，但LDN和W_LDN在M9下的識(shí)別率卻低于在M3下的識(shí)別率。2）在不同分辨率組合的情況下（如M6，9），除W_LDN外其它5種算子的識(shí)別效率都得到了一定程度的提高，即采用多分辨率的組合方式可以有效提高算子的識(shí)別效果。

3.2ORL人臉庫(kù)實(shí)驗(yàn)

ORL人臉庫(kù)包含了共40個(gè)人的400幅圖像，每個(gè)人10幅，包含了不同表情、遮擋以及角度的變化信息。同Yale人臉數(shù)據(jù)庫(kù)的實(shí)驗(yàn)方法一樣，實(shí)驗(yàn)首先驗(yàn)證分塊加權(quán)方法對(duì)識(shí)別效果的影響。表3給出了不同分塊條件下的人臉平均識(shí)別率結(jié)果。

表3　不同分塊條件下的人臉平均識(shí)別率（%）Tab 3　Average recognition rate of human face in different blocking conditions

從表3中可以看出：1）通過分塊加權(quán)方法，W_LDP，W_ LDN與W_ELDP與其原始方法對(duì)比，識(shí)別率平均提高了0.5%，0.5%和0.4%。2）相同分塊條件下ELDP算法相比LDP和LDN算法識(shí)別率高，而且W_ELDP的識(shí)別效果也優(yōu)于W_LDP和W_LDN，說明ELDP算子對(duì)于人臉圖像在表情、飾物遮擋以及角度等客觀條件因素變化下的魯棒性最好。

實(shí)驗(yàn)還測(cè)試了在多分辨率分析的情況下，不同算法的識(shí)別效果。在提取整幅圖像特征時(shí)，將其劃分為4×4的分塊（共16個(gè)分塊），然后采取和Yale數(shù)據(jù)庫(kù)一樣的分辨率實(shí)驗(yàn)方法。平均識(shí)別效果如表4所示。結(jié)果也表明，采用多分辨率的方法有效提高了算子的識(shí)別效果。

表4　多分辨率分析下的人臉平均識(shí)別率（%）Tab 4　Average recognition rate（%）of face with multi-resolution analysis

4　結(jié)束語(yǔ)

本文針對(duì)LDP及其擴(kuò)展方法在進(jìn)行人臉識(shí)別時(shí)存在的問題，提出了改進(jìn)方法。一方面，針對(duì)將圖像分塊同等對(duì)待的問題，引入了分塊加權(quán)方法；另一方面，從多分辨率分析入手，對(duì)基于LDP的相關(guān)算子進(jìn)行了增強(qiáng)處理。采用Yale和Orl兩個(gè)圖像庫(kù)進(jìn)行人臉識(shí)別測(cè)試，實(shí)驗(yàn)結(jié)果表明：采用本文方法可以有效提高原局部方向算子的人臉識(shí)別效果。

［1］田娟，鄭郁正.模板匹配技術(shù)在圖像識(shí)別中的應(yīng)用［J］.傳感器與微系統(tǒng)，2008，27（1）：112-117.

［2］Brahnam S，Jain L C，Nanni L，et al.Local binary patterns：New variants and applications［M］.Berlin Heidelberg：Springer，2014.

［3］宋克臣，顏云輝，陳文輝，等.局部二值模式方法研究與展望［J］.自動(dòng)化學(xué)報(bào)，2013，39（6）：730-744.

［4］Wu X，Sun J，F(xiàn)an G，et al.Improved local ternary patterns for automatic target recognition in infrared imagery［J］.Sensors，2015，15（3）：6399-6418.

［5］毋小省，朱世松，孫君頂，等.基于凹凸局部二值模式的紋理圖像分類［J］.光電子·激光，2014，25（8）：1627-1634.

［6］毋小省，文運(yùn)平，孫君頂，等.基于紋理與特征選擇的前視紅外目標(biāo)識(shí)別［J］.光電子·激光，2014，25（11）：2201-2211.

［7］Jabid T，Kabir M H，Chae O.Local directional pattern（LDP）for face recognition［C］∥2010 International Conference on Consumer Electronics（ICCE），Las Vegas，2010：329-330.

［8］Zhong F，Zhang J.Face recognition with enhanced local directional patterns［J］.Neurocomputing，2013，119：375-384.

［9］Ramirez R A，Rojas C J，Oksam C O.Local directional number pattern for face analysis：Face and expression recognition［J］. IEEE Transactions on Image Processing，2013，22（5）：1740-1752.

［10］Ojala T，Pietikinen M，MenpT.Multiresolution gray-scale and rotation invariant texture classification with local binary patterns［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971-987.

［11］ Yang B，Chen S.A comparative study on local binary pattern （LBP）based face recognition：LBP histogram versus LBP image［J］.Neurocomputing，2013，120：365-379.

［12］張潔玉，趙鴻萍，陳曙.自適應(yīng)閾值及加權(quán)局部二值模式的人臉識(shí)別［J］.電子與信息學(xué)報(bào)，2014，36（6）：1327-1333.

Face recognition based on improved local directional pattern*

SUN Jun-ding，LIU Xiao-hui，CHEN Peng-peng
（School of Computer Science and Technology，Henan Polytechnic University，Jiaozuo 454000，China）

While using traditional local directional pattern（LDP）and its improved method to carry out face recognition，there exist two problems，one is feature extraction is confined to 3×3 neighborhood；another is regions of face image are treated equally for face recognition.An improved LDP is proposed to handle the problems.On one hand，multi-resolution analysis method is proposed.LDP is extended from 3×3 window pattern to multi-resolution window pattern；on the other hand，different degree of contribution blocking to face recognition is enhanced by using block weighted method.Two face image databases，Yale and Orl，are used for experiment，and experimental results show that the introduced scheme can improve effect of face recognition.

face recognition；local directional pattern（LDP）；weighted；multi-resolution

TP391.4

A

1000—9787（2016）06—0052—04

10.13873/J.1000—9787（2016）06—0052—04

2015—09—22

河南省國(guó)際合作項(xiàng)目（134300510057）；河南省基礎(chǔ)與前沿技術(shù)研究項(xiàng)目（132300410462）

孫君頂（1975-），男，河南鄧州人，博士，教授，主要研究方向?yàn)閳D像處理與模式識(shí)別。