利用異或運(yùn)算和編碼約束的降維LDP人臉識別方法

(無錫太湖學(xué)院 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214064)

利用異或運(yùn)算和編碼約束的降維LDP人臉識別方法

李榮

(無錫太湖學(xué)院物聯(lián)網(wǎng)工程學(xué)院，江蘇無錫214064)

為了有效表示面部特征，在局部方向模式(LDP)的基礎(chǔ)上，提出降維局部方向模式(RDLDP)；首先，修改LDP編碼模式約束以完成模式的重構(gòu)，通過對LDP碼進(jìn)行異或運(yùn)算來計算每個塊的單一碼；然后，將所得編碼圖像劃分為生成直方圖，連接所有區(qū)域的直方圖塊以形成最終描述符;最后，計算特征向量間的卡方相異性度量值，并使用最近鄰分類器完成最終的人臉識別;實驗采用了3個公開的標(biāo)準(zhǔn)數(shù)據(jù)庫FERET、擴(kuò)展YALE-B和ORL，提出的改進(jìn)方法在3個數(shù)據(jù)集上的最高識別率分別可高達(dá)96.97%、96.10%、97.61%，該結(jié)果驗證了提出方法的有效性。與其他基于局部描述符的先進(jìn)方法相比，提出方法在準(zhǔn)確度和錯誤識別率等方面更優(yōu)。

降維局部方向模式； 面部特征； 人臉識別；局部描述符；卡方相異性

0 引言

生物識別模式多種多樣，如虹膜、面部、指紋、聲音等。由于人臉識別通用性更廣，其研究熱度和商用價值也更高。但當(dāng)前人臉識別[1]系統(tǒng)在不同姿勢、不同表情、不同角度和不同照明等非限制條件下，效果并不明顯[2]。因此，研究效率高和適用性好的人臉識別系統(tǒng)至關(guān)重要。

人臉識別方法大致分為兩類：基于幾何特征和基于外觀特征的方法[3]?；趲缀翁卣鞣椒ɡ萌痔卣餍畔ⅲ谕庥^特征方法主要描述人臉的紋理。一般，基于幾何特征的方法可提供更好的結(jié)果。目前，比較流行的有主成分分析[1](principal component analysis，PCA)、線性判別分析[4](linear discriminant analysis, LDA)、獨(dú)立分量分析[5](independent component analysis, ICA)、局部二值模式[6](local binary pattern, LBP)、局部相位量化[7](local phase quantization, LPQ)、局部方向模式[8](local directional pattern, LDP)、局部三元模式[9](local ternary pattern, LTP)、高斯掩膜的局部方向數(shù)[10](local gaussian directional number，LGDN)。

以上這些方法通常有些變體或改進(jìn)模式。如文獻(xiàn)[11]提出了一種降維-主成分分析法，通過確定面部識別特征值相關(guān)聯(lián)的特征向量表示特征空間。該方法減小了原始圖像維度，且具有一定魯棒性。文獻(xiàn)[12]提出一種快速、姿勢魯棒的人臉識別方法。在人臉圖像Gabor特征的姿態(tài)上應(yīng)用PCA以消除冗余。然而，對于成像角度變化等限制條件，并沒有給出相應(yīng)的解決方法。針對LBP和LDP算子對噪聲敏感，文獻(xiàn)[13]提出一種改進(jìn)的LDP，主要改進(jìn)二值量化特征信息的單一問題，按照偏振方位角的編碼方式提取人臉圖像的多方向紋理特征[13]。針對高分辨率的Kirsch掩模單純考慮方向性而沒有考慮像素位置權(quán)重問題，文獻(xiàn)[14]在LDP的基礎(chǔ)上，提出一種差值LDP(Difference Local Directional Pattern, DLDP)，改進(jìn)了權(quán)重。統(tǒng)計圖像塊上不同差值LDP模式個數(shù)生成相應(yīng)的子直方圖。將子直方圖串聯(lián)起來用于表示人臉圖像。文獻(xiàn)[15]提出了一種混合方法，采用灰度級共生矩陣(GLCM)、LDP加邊緣信息來獲取更加準(zhǔn)確的人臉表示，但該方法復(fù)雜度較高。

人臉識別有多種局部描述符，這些描述符都定義一個掩膜，將其與圖像疊加，并計算與掩膜中心重合中心像素的編碼模式?；诖耍岢鲆环N改進(jìn)的局部描述符，即降維LDP(Reduced-Dimension-Local Directional Pattern, RDLDP)。對于每個區(qū)域，生成LDP代碼，通過修改原有LDP編碼模式約束條件來完成模式的重構(gòu)。提出的改進(jìn)方法主要創(chuàng)新點(diǎn)總結(jié)如下：

1)提出的方法在保留原有LDP算法Kirsch掩膜模板以及對每個像素進(jìn)行LDP編碼的基礎(chǔ)之上，對LDP編碼的提取流程施加約束，通過異或運(yùn)算獲得8位RDLDP編碼，優(yōu)化了編碼過程。

2)將RDLDP編碼圖像中的每個區(qū)域直方圖的級聯(lián)作為給定輸入圖像的最終描述符，從而減少了描述符運(yùn)行時間，提高了效率。

3)RDLDP算子實現(xiàn)了連接所有區(qū)域直方圖塊，從而形成長度更短的最終描述符，降低了由于過量冗余信息帶來的識別誤差，最終的識別精確度得到了提升。

1 降維局部方向模式

提出的降維局部方向模式(RDLDP)分配給每塊3×3子區(qū)域8位代碼，該代碼表示圖像塊的紋理模式。LDP為3×3塊中的每個像素計算單個8位碼。提出的RDLDP計算該塊的單個8位碼。

1.1 廣義RDLDP模型

針對大小為height×width的圖像I。

這里將冗余比率定義為子圖中的像素數(shù)除以降維圖像中的像素數(shù)。

(1)

廣義RDLDP模型基于兩個參數(shù)a和b的選擇。一般的做法是定義大小為n×n的濾波器，即假設(shè)a和b相等。

情況1：a=1

等效于LDP，因為每個像素編碼為LDP碼，所得LDP編碼圖像的大小等于輸入圖像的大小。

情況2：a=2

此種情況為RDLDP，對于大小為2×2的圖像，RDLDP將4個像素等效編碼為1個RDLDP碼，因此RR是4:1。

情況3：a=3

此種情況也為RDLDP，對于大小為3×3的圖像，RDLDP將9個像素等效編碼為1個RDLDP碼，因此RR是9:1。

對于a和b值不等時，RDLDP將子圖像的像素編碼為滿足RR是a×b:1的等效RDLDP碼。

RDLDP的主要優(yōu)點(diǎn)如下：

1)描述符運(yùn)行很短時間就能有效識別面部；

2)可以用于圖像檢索和分類問題。

缺點(diǎn)：不適用于平面直方圖圖像，即具有灰度值的圖像，因為相同灰度值的異或會產(chǎn)生零描述符。另外RDLDP也難以擴(kuò)展到多個尺度。

1.2 圖像塊RDLDP代碼生成與降維

輸入圖像劃分為3×3塊，并且每個塊與圖1所示的Kirsch掩膜進(jìn)行卷積。中心像素附近的8個相鄰像素中的每一個均映射到LDP碼。通過異或運(yùn)算8個LDP碼以獲得8位RDLDP碼。

圖1 8個方向的Kirsch掩膜

LDP計算公式如下：

(2)

(3)

異或過程定義如下：

Codej=(((c1⊕c2)⊕c3)...⊕c8)

(4)

式中，ci表示每個像素的LDP碼，i=1,...,8。Codej表示第j塊的RDLDP碼。

兩個模式的異或不能保證所得代碼中始終存在3個1，得到的RDLDP代碼也可能全1或全0。本文將LDP碼的約束稍微放寬，即所得代碼至多3個1，如果結(jié)果代碼模式中1的數(shù)量超過3，則保留最高有效位中的1，其余設(shè)置為0。因此，總共有93種不同模式。LDP和RDLDP工作機(jī)制的比較如圖2所示。

圖2 LDP和RDLDP標(biāo)記(查詢)圖像形成的比較

提出方法中，假設(shè)大小為240×240的圖像I劃分為3×3塊，對每個塊計算RDLDP碼。所得RDLDP標(biāo)記圖像的尺寸為40×40。將該圖像進(jìn)一步分成大小為8×8的區(qū)域，并且為每個區(qū)域生成模式直方圖。最終，連接所有區(qū)域的直方圖塊以形成整個圖像的最終描述符。由于描述符的長度小于原始描述符，實現(xiàn)了對LDP的降維。

1.3 RDLDP面部特征表示

每個面部由RDLDP直方圖表示，由于每個像素都是LDP編碼的，因此生成的描述符非常長。雖然它包含邊、角和其他紋理信息，一般可理解為數(shù)據(jù)的過擬合。為了減少這種過擬合長度，將RDLDP編碼圖像中每個區(qū)域直方圖的級聯(lián)作為給定輸入圖像的最終描述符。

每個圖像的RDLDP特征向量存儲在數(shù)據(jù)庫中。對于給定的查詢圖像，計算RDLDP特征向量。本文使用卡方相異性度量比較查詢圖像特征描述符與數(shù)據(jù)庫中的特征描述符。度量值最低表示已找到匹配。對于長度為L的兩個特征向量的卡方相異性度量定義如下：

(5)

式中，wi表示第i區(qū)域的權(quán)重，L為向量v1和v2的長度。由于93種模式值必須落在0-255的范圍內(nèi)，因此將0-255均分為4個部分，即[0-63]，[64-127]，[128-191]和[192-255]。這里分配權(quán)重1給第一部分[0-63]、分配權(quán)重2、3和4到其他部分。對于區(qū)域i，權(quán)重分配規(guī)則如下：檢查該區(qū)域中出現(xiàn)模式的最大數(shù)，根據(jù)最大模式屬于哪個部分來確定權(quán)重。

1.4 分類

分類階段在人臉識別系統(tǒng)中非常重要，由于k-最近鄰分類器[16]簡單實用，實時性高，而且不需要嚴(yán)格的參數(shù)設(shè)定。因此，實用比較廣泛。研究表明，最近鄰分類器(k=1)的誤差概率低于貝葉斯分類器的最小誤差概率。因此，人臉特征表示完后，提出的方法計算測試樣本特征與每個訓(xùn)練樣本特征之間的卡方相異性度量，接著利用k-NN算法完成最終人臉識別。綜上，整個方法的流程圖如圖3所示。

圖3 本文算法的流程圖

2 實驗結(jié)果和性能分析

所提出的系統(tǒng)在標(biāo)準(zhǔn)基準(zhǔn)數(shù)據(jù)庫上測試：FERET[9]、擴(kuò)展YALE-B數(shù)據(jù)庫[8]和ORL人臉數(shù)據(jù)庫[2]。

2.1 FERET數(shù)據(jù)庫的結(jié)果

FERET數(shù)據(jù)庫每人最多包含一個圖像，并且分成5組：Fa、Fb、Fc、dup-1和dup-2。Fa通常用作圖庫集，它包含1196人的正面圖像。Fb有1195個圖像，面部表情不同于Fa集。Fc包含不同照明條件下采集的194個圖像，dup-1包含在稍后時間采集的722個圖像，dup-2作為dup-1的子集。FERET數(shù)據(jù)庫中提取的一些樣本圖像如圖4所示。

圖4 FERET數(shù)據(jù)庫獲取的示例圖像

與LBP、LTP、LPQ、LDP、LDN和LGDN的平均識別率比較如表1所示。可以看出，提出的RDLDP平均識別率最優(yōu)。

表1 FERET數(shù)據(jù)庫各方法的平均識別率

FERET數(shù)據(jù)庫的4個集合中，dup-1和dup-2數(shù)據(jù)庫最具挑戰(zhàn)性，因為這兩個子庫包含的采集對象是一兩年后的拍攝圖像。為了進(jìn)一步增加復(fù)雜性，兩集合中的圖像數(shù)少于Fa、Fb和Fc中的圖像數(shù)。 因此，大多數(shù)方法在Fb和Fc中具有較高的識別率，在dup-1和dup-2的識別率則較低。為了從各個子集進(jìn)行精確比較，對LBP、LDP、LGDN和DLDP在準(zhǔn)確度、錯誤接受率和錯誤識別率方面進(jìn)行比對，其結(jié)果如圖5所示?？梢钥闯?，這幾個方法中，提出的方法在各個子集中均取得最優(yōu)結(jié)果。

圖5 FERET數(shù)據(jù)庫中各方法的比較

現(xiàn)有方法的共同點(diǎn)是每個像素生成代碼，然后將標(biāo)記的圖像劃分為區(qū)域進(jìn)行直方圖分塊。提出的RDLDP每個塊生成代碼，因此，標(biāo)記圖像的維度大為降低。同時，各個直方圖塊形成的描述符在FERET數(shù)據(jù)庫良好地描述人臉特征，比其他局部描述符方法具有更好的識別率。

2.2 擴(kuò)展YALE-B數(shù)據(jù)庫

擴(kuò)展YALE-B數(shù)據(jù)庫中含有28個人類對象的16128幅圖像。在64種不同的照明條件下，采集每個對象9個姿勢的圖像。這些圖像分為多個集合：Sub-1、Sub-2、Sub-3、Sub-4和Sub-5， Sub-1用作圖庫集。不同照明條件下以不同姿勢采集的某對象人臉圖像如圖6所示。

圖6 擴(kuò)展YALE數(shù)據(jù)庫獲取的示例圖像

在該數(shù)據(jù)庫中，與LBP、LTP、LPQ、LDP、LDN和LGDN的識別率結(jié)果如表2所示。LGDN方法的識別率最高，提出的RDLDP方法在性能上最接近LGDN。

表2 擴(kuò)展Yale數(shù)據(jù)庫各方法的平均識別率

為了從各個子集進(jìn)行精確比較，對LBP、LDP、LGDN和DLDP在準(zhǔn)確度和錯誤接受率方面進(jìn)行比對，其結(jié)果如圖7所示。由于RDLDP的維度降低，提出的RDLDP方法在Sub-2和Sub-3集合中識別率最高。Sub-4集合中，RDLDP和LGDN均達(dá)到94%的最大識別率。對于Sub-5集合，RDLDP達(dá)到95%的識別率，而LGDN的識別率是94%。

圖7 擴(kuò)展YALE數(shù)據(jù)庫中各方法比較

2.3 ORL數(shù)據(jù)庫上的結(jié)果

ORL數(shù)據(jù)庫是一個稍微簡單的數(shù)據(jù)庫，它包含了40個不同人類對象在不同照明條件下采集的400張圖像。所有圖像都具有不同面部表情和不同拍攝角度。不同姿勢的人臉圖像示例如圖8所示。由于數(shù)據(jù)庫比較簡單，對比了文獻(xiàn)[15]提出的較為復(fù)雜的混合方法。ORL數(shù)據(jù)庫的識別率結(jié)果如表2所示。由表2可知，結(jié)合灰度級共生矩陣(GLCM)+LDP+邊緣信息(EDGE)的混合方法最優(yōu)，其最大識別率達(dá)到98.75%。提出的RDLDP識別率達(dá)到97.62%，僅次于最優(yōu)方法GLCM+LDP+EDGE。與最優(yōu)方法相比，RDLDP使用了較低的圖像維度，因此，其運(yùn)算復(fù)雜度明顯更低。

圖8 ORL數(shù)據(jù)庫獲取的示例圖像

方法識別率/%LBP83．25LTP85．04LDP81．53LPQ86．87DLDP89．15LGDN96．52RDLDP97．61

提出的RDLDP和其他3種方法的識別率、準(zhǔn)確性、錯誤接受率如圖9所示。由圖9可知，RDLDP優(yōu)于LBP、LDP、LGDN和DLDP。

圖9 ORL數(shù)據(jù)庫中各方法的比較

2.4 收斂性實驗

為確保人臉識別不會出現(xiàn)欠擬現(xiàn)象(即沒有很好地捕捉數(shù)據(jù)特征)，必須進(jìn)行收斂性分析，這里考慮掩膜的尺寸(a)與識別率關(guān)系，具體如表4所示。當(dāng)a值從1增加到3時，識別率也隨之增加，當(dāng)a取值超過3時開始降低。由表4可以看出，各個數(shù)據(jù)庫都表現(xiàn)出相似的特性。這說明了兩個問題，即：1)為保持完美的緊湊代碼，掩膜尺寸的理想值取3；2)掩膜尺寸的選取不隨數(shù)據(jù)庫的變化而變化，具有一般通用性。

表4 不同掩膜的尺寸下的識別率 %

3 結(jié)論

該文引入一種降維LDP的編碼方案，可以生成較好的緊湊代碼，其效率高于一般局部描述符。實驗在標(biāo)準(zhǔn)數(shù)據(jù)庫FERET、擴(kuò)展YALE-B數(shù)據(jù)庫和ORL數(shù)據(jù)庫上進(jìn)行。實驗結(jié)果表明，RDLDP優(yōu)于其他現(xiàn)有的局部描述符方法，具有更高的識別率和錯誤識別率。

未來將考慮更多不可控條件下的人臉識別，如低光照條件

下的大偏轉(zhuǎn)角的人臉識別。并考慮采用更加復(fù)雜的人臉數(shù)據(jù)庫，如LFW人臉庫、YouTube視頻人臉數(shù)據(jù)庫。

[1] 陸嬌藍(lán), 陳 軍, 楊 著. 基于云計算的嵌入式人臉識別系統(tǒng)建構(gòu)與研究[J]. 計算機(jī)測量與控制, 2016, 24(4): 146-148.

[2] Moeini A, Faez K, Moeini H. Expression-invariant three-dimensional face reconstruction from a single image by facial expression generic elastic models[J]. Journal of Electronic Imaging, 2014, 23(5): 1569-1575.

[3] 蘇 煜, 山世光, 陳熙霖,等. 基于全局和局部特征集成的人臉識別[J]. 軟件學(xué)報, 2010, 21(8): 1849-1862.

[4] 成亞玲, 譚愛平, 張 敏. 混合多距離圖像的線性判別分析人臉識別算法[J]. 系統(tǒng)仿真學(xué)報, 2016, 28(9): 2254-2259.

[5] 楊福生, 洪 波. 獨(dú)立分量分析的原理與應(yīng)用[M]. 北京：清華大學(xué)出版社, 2006.

[6] 宋克臣, 顏云輝, 陳文輝,等. 局部二值模式方法研究與展望[J]. 自動化學(xué)報, 2013, 39(6): 730-744.

[7] 朱長水, 丁 勇, 袁寶華,等. 融合LBP和LPQ的人臉識別[J]. 南京師大學(xué)報(自然科學(xué)版), 2015, 36(1): 104-107.

[8] Rivera A R, Castillo J R, Chae O O. Local Directional Number Pattern for Face Analysis: Face and Expression Recognition[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2013, 22(5): 1740-1752.

[9] Ren J, Jiang X, Yuan J. Relaxed local ternary pattern for face recognition[A]. IEEE International Conference on Image Processing[C]. IEEE, 2013: 3680-3684.

[10] Rivera A R, Rojas J, Chae O. Local Gaussian Directional Pattern for face recognition[A]. International Conference on Pattern Recognition[C]. IEEE, 2012: 1000-1003.

[11] 梁勝杰, 張志華, 崔立林,等. 基于主成分分析與核獨(dú)立成分分析的降維方法[J]. 系統(tǒng)工程與電子技術(shù), 2011, 33(9): 2144-2148.

[12] Yi D, Lei Z, Li S Z. Towards Pose Robust Face Recognition[A]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition[C]. 2013: 3539-3545.

[13] 魏 莉, 蔣建國, 齊美彬,等. 偏振編碼方式的LDP人臉識別算法[J]. 中國圖象圖形學(xué)報, 2016, 21(6): 756-763.

[14] 李照奎, 丁立新, 王 巖,等. 基于差值局部方向模式的人臉特征表示[J]. 軟件學(xué)報, 2015, 26(11): 2912-2929.

[15] Kar A, Bhattacharjee D, Basu D K, et al. An adaptive block based integrated LDP, GLCM, and Morphological features for Face Recognition [J]. Computer Science, 2013, 37(12): 2019-2028.

[16] 陳 實, 黃芝平, 劉純武,等. 基于可視化圖形特征的入侵檢測方法[J]. 計算機(jī)測量與控制, 2016, 24(8): 49-51.

FaceRecognitionMethodUsingReduced-dimensionLDPUsingXORandCodingConstraints

Li Rong

(Internet of Things Engineering College, Taihu University of Wuxi, Wuxi 214064, China)

To represent facial features effectively, on the basis of local directional patterns (LDP), a reduced -dimension-local directional pattern (RDLDP) is proposed. Firstly, the constraints of LDP encoding mode is modified to complete the pattern reconstruction, and through the XOR of the LDP code, code of each block is calculated. Then, the encoding image is divided into histograms, and the histograms of all areas are connected to form the final descriptor. Finally, the chi square dissimilarity measure between the eigenvectors is computed, and the k-nearest neighbor classifier is adopted to complete the final face recognition. Three public available standard databases, FERET, extended YALE-B, and ORL are adopted in the experiment. The proposed method can be up to 96.97%, 96.10% and 97.61% respectively in the three data sets.And the effectiveness of the proposed algorithm verified by experimental results. Compared with other advanced methods based on local descriptors, the proposed method is superior in accuracy and error recognition rate.

reduced-dimension-local directional pattern; facial features; face recognition; local descriptors; Chi square dissimilarity

2017-07-05；

2017-08-02。

李 榮(1978-)，女，江蘇淮安人，碩士，講師，主要從事圖像處理、模式識別方向的研究。

1671-4598(2017)10-0171-05

10.16526/j.cnki.11-4762/tp.2017.10.044

TP391

A