基于局部相位量化與多通道顏色的魯棒人臉識別*

張妍琰， 段 娜

(河南城建學(xué)院計算機科學(xué)與工程學(xué)院，河南 平頂山 467036)

基于局部相位量化與多通道顏色的魯棒人臉識別*

張妍琰， 段 娜

(河南城建學(xué)院計算機科學(xué)與工程學(xué)院，河南 平頂山 467036)

針對非可控條件下的人臉識別問題，提出了一種新的融合多顏色通道的局部相位量化方法。首先，在不同顏色空間的各顏色通道圖像上計算局部相位量化響應(yīng)圖,然后對每幅響應(yīng)圖分塊計算統(tǒng)計直方圖，最后將特定顏色通道的相似度進行融合。該方法充分利用了圖像不同顏色通道間的互補特性。實驗結(jié)果表明，該方法實用性好，魯棒性強，在大規(guī)模非可控人臉數(shù)據(jù)庫上取得了較好的結(jié)果。

人臉識別；局部相位量化；顏色空間

人臉識別研究試圖賦予計算機根據(jù)面孔辨別人物身份的能力。該研究具有重要的科學(xué)意義和巨大的應(yīng)用價值。目前主流的特征描述子有Gabor描述子[1]、SIFT (Scale-Invariant Feature Transform)描述子[2]、HOG (Histograms of Oriented Gradients)描述子[3]以及局部二值模式描述子[4]。Gabor描述子在計算上只利用了其傅里葉變換后的幅值信息且二維圖像卷積操作計算量極大，不適用于對實時性要求很高的人臉識別系統(tǒng)，而SIFT與HOG描述子表示人臉的能力遠不及表示物體或行人，因而這兩種描述子更多地被應(yīng)用于物體檢測或行人檢測，局部二值模式描述子雖然計算量較小，但是表示能力有限。在上述描述子的實際使用中，往往只利用圖像的灰度信息[5]而摒棄了信息量豐富的顏色信息。本文提出了一種新的融合多顏色通道的局部相位量化方法。其主要特點包括：(1)利用圖像傅里葉變換后的相位信息提取高效的、具有判別性的人臉特征；(2)充分利用不同的顏色空間；(3)在FRGC人臉數(shù)據(jù)庫上達到了較好的性能。

1 局部相位量化

局部相位量化(Local Phase Quantization,簡稱LPQ)最早用于圖像的紋理分類問題[6]。它利用傅里葉變換相位的模糊不變性，提高了對模糊圖像識別的魯棒性。該描述子在圖像中每個像素點的鄰域內(nèi)計算傅里葉變換后的相位信息，并在四組低頻分量上進行量化進而形成直方圖。該方法形式上有些類似局部二值模式[4]。

在數(shù)字圖像處理領(lǐng)域，對原始圖像進行空間不變的模糊可以用卷積的形式來表示，用f(x)表示原始圖像，g(x)表示卷積后的圖像，則模糊模型可以表示為

g(x)=(f*h)(x)，

式中：h(x)是描述模糊的點擴散方程(PointSpreadFunction，簡稱PSF);*表示空間內(nèi)的二維卷積操作；x是坐標(biāo)向量[x,y]T。模糊模型在傅里葉頻域內(nèi)對應(yīng)于

G(u)=F(u)·H(u)，

式中：G(u)、F(u)和H(u)分別是模糊后圖像g(x)、原始圖像f(x)以及模糊的點擴散方程h(x)的離散傅里葉變換后的結(jié)果；u為頻域內(nèi)的坐標(biāo)向量[u,v]T。將幅值和相位信息分開，則幅值部分可以表示為

而相位部分可以表示為

angle(G(u))=angle(F(u))+angle(H(u))。

如果假設(shè)模糊的點擴散方程(PSF)中h(x)是中心對稱的，即h(x)=h(-x)，那么h(x)的傅里葉變換總是實數(shù)，并且它的相位部分只是一個二值函數(shù)

這就意味著

angle(G(u))=angle (F(u)), for all H(u)≥0。

(1)

在H(u)為正的頻率下，模糊后圖像的相位angle(G(u))對于具有中心對稱性質(zhì)的模糊具有不變性。在理想的由運動造成的模糊和由失焦造成的模糊情形下，h(x)的剖面圖是矩形[7]，這就導(dǎo)致了該剖面圖下的頻譜H(u)是一個同樣包含負值的辛格函數(shù)(sincfunction)。在滿足條件的頻率(blurlength/samplingfrequency)下，H(u)的值也總是正的。在點擴散方程(PSF)是高斯的情況下(模擬大氣紊流造成的模糊)，H(u)也是一個只有正值的高斯分布，并且總是滿足式1。

在實踐中，由于最終觀察到的模糊后圖像的大小是有限的，所以不可能完全達到模糊不變性。由于對理想圖像用模糊核(PSF)進行卷積后的圖像超出了原始圖像的邊緣，而超出邊緣的那部分信息則丟失了，所以當(dāng)模糊的寬度相比于圖像大小足夠大時，邊緣信息丟失的現(xiàn)象就會變得非常明顯。

2 用于紋理分類的局部相位量化

2.1 短時傅里葉變換

局部相位量化這個方法是基于傅里葉相位譜對模糊的不變性設(shè)計出來的。它對通過二維離散傅里葉變換提取的局部相位信息進行量化，更精確地講，是在圖像f(x)的每一個像素點x周圍M乘M的鄰域x內(nèi)計算短時傅里葉變換，可以將上述描述定義為：

(2)

式中：Wu是二維離散傅里葉變換在頻率u下的基向量；fx為x區(qū)域的所有M2個采樣像素點。從式2可以看出，一個高效的計算短時傅里葉變換的方式就是對所有u進行二維卷積操作f(x)*e-2πjuTx。由于基函數(shù)是分開的，所以可以分別對行和列進行一維卷積計算。在局部量化方法中，只考慮4個復(fù)數(shù)系數(shù)，它們對應(yīng)于二維頻率下的u1=[a,0]T、u2=[0,a]T、u3=[a,a]T和u4=[a,-a]T，其中a是低于滿足式1的H(u)的第一個過零點的標(biāo)量頻率值，則

其中符號Re{·}和Im{·}分別表示復(fù)數(shù)值的實部和虛部。對應(yīng)這4個參數(shù)下的8乘M2的轉(zhuǎn)移矩陣為

W=[Re{wu1,wu2,wu3,wu4},Im{wu1,wu2,wu3,wu4}]T

進而有

Fx=Wfx。

2.2 對系數(shù)的統(tǒng)計學(xué)分析

因此，轉(zhuǎn)換系數(shù)向量Fx的協(xié)方差矩陣為

D=WCWT

當(dāng)ρ>0時D不是一個對角矩陣，這意味著系數(shù)之間存在著相關(guān)性，而信息只有在各系數(shù)統(tǒng)計獨立的情況下才能最大范圍地被保留，故在真正量化之前，需要對系數(shù)進行去相關(guān)操作。這里用高斯分布作為假設(shè)，獨立性可以通過白化過程獲得，即

Gx=VTFx

其中V是對矩陣D進行奇異值分解(SVD)后的正交矩陣

D=USVT

這里V在已知ρ的情況下可以提前計算獲得。在所有圖像的像素點上計算Gx，x∈{x1,x2,…,xN}，最終的結(jié)果使用一個簡單的標(biāo)量量化子進行量化

其中g(shù)j是Gx的第j個元素。使用二進制編碼對量化后的系數(shù)進行編碼，編碼的結(jié)果為十進制整數(shù)。最終，可以在任何圖像區(qū)域內(nèi)提取統(tǒng)計直方圖(256維)并用于后續(xù)的分類問題

3 跨顏色空間的通道組合

圖1 橙子RGB圖像、NTSC圖像 與YIQ各分量圖像

人臉識別領(lǐng)域中，許多方法只是利用圖像的灰度信息，也有少部分利用了圖像的彩色信息，本文提出了一種新的利用顏色信息的方法，即融合不同顏色空間的不同通道，進而更加高效地描述人臉信息。例如，實驗中既在RGB顏色空間的R、G、B三個通道圖像上進行特征抽取(以本文為例，提取局部相位量化特征)，也在YIQ、YCbCr顏色空間的相應(yīng)通道上進行特征抽取，最后從每個顏色空間中選取性能最好的通道進行相似度級別的融合。

4 實驗

4.1 實驗數(shù)據(jù)庫一

Face Recognition Grand Challenge (簡稱FRGC) 2.0人臉數(shù)據(jù)庫是一個由美國政府出資贊助并在圣母諾特丹大學(xué)采集的大規(guī)模人臉數(shù)據(jù)集。FRGC 2.0人臉數(shù)據(jù)庫是目前已公開的最大規(guī)模的人臉數(shù)據(jù)庫，包含了在可控與非可控條件下采集的三維掃描圖像和高分辨率的二維圖像，圖像數(shù)目超過50 000幅。FRGC 2.0數(shù)據(jù)分為訓(xùn)練集和校驗集兩個部分。訓(xùn)練集是在2002—2003年之間采集的，包括兩部分：一部分是大規(guī)模靜態(tài)圖像訓(xùn)練集，包含了222個對象的12 776幅圖像(可控條件下6 388幅圖像與非可控條件下6 388幅圖像)；另一部分是三維圖像訓(xùn)練集，包括三維掃描圖像和來自943個時期的可控與非可控條件下采集的圖像。校驗集是在2003—2004年之間采集的，包含了466個對象、來自4 007個時期的圖像。

FRGC 2.0測試協(xié)議中提供了6個實驗：實驗1、2、4是針對二維圖像上識別算法的評測，實驗3、5、6是針對三維圖像上識別算法的評測。在每個實驗中，算法的輸入包括兩個集合：目標(biāo)集和查詢集。其中，目標(biāo)集中的圖像身份是已知的，查詢集中的圖像身份是未知的。識別算法的輸出是一個相似度矩陣，該矩陣包含了查詢集與目標(biāo)集中的所有圖像對。

圖2 FRGC數(shù)據(jù)集樣例(其中第一行 為目標(biāo)集，第二行、第三行為查詢集)

4.2 實驗數(shù)據(jù)庫二

FERET人臉識別數(shù)據(jù)庫是由美國國防部通過DARPA(Defense Advanced Research Products Agency)資助的FERET計劃構(gòu)建，用來測試不同識別方法的性能[14]。該人臉識別庫總共包含了14 051幅多姿態(tài)的人臉圖像。1998年到2001年間發(fā)布的數(shù)據(jù)包含了3 737幅圖像，也被稱為訓(xùn)練圖像。該數(shù)據(jù)庫嚴格劃分了人臉的注冊圖像集合和測試圖像集合。圖3給出了FERET人臉數(shù)據(jù)庫的部分示例圖像。

4.3 實驗設(shè)置

圖3 FERET人臉庫的示例

實驗中使用的局部相位量化描述子窗口半徑為3個像素，每個子塊大小為8×8個像素，在每個子塊提取統(tǒng)計直方圖，并將各子塊直方圖串接起來進行主成分分析(Principal Component Analysis，簡稱PCA)和線性判別分析(Linear Discriminant Analysis，簡稱LDA)。PCA保留的維數(shù)依據(jù)能量準則(保持95%的能量)，LDA降維后的特征維數(shù)統(tǒng)一設(shè)置為300，其后特征向量之間的距離度量采用向量間的余弦夾角。最后，進行人臉確認實驗時需對計算出來的相似度矩陣按列進行零均值一方差的歸一化操作，進而計算在錯誤接受率為千分之一(FAR=0.1%)情形下的驗證率，人臉識別實驗采用的分類器為最近鄰分類器。

4.4 實驗結(jié)果及分析

表1、2列出了FRGC數(shù)據(jù)庫和FERET數(shù)據(jù)庫上各個方法的性能匯總，可以看到本文方法達到了目前已知的最好效果。即使只是用單個顏色通道，局部相位量化描述子也可以達到與表1、表2中最佳性能比的效果，一旦融合多個顏色空間性能將進一步提升，這也表明按照本文方法選擇的顏色通道具有很好的互補性能。

表1 FRGC數(shù)據(jù)庫實驗四方法性能匯總

表2 FERET數(shù)據(jù)庫方法性能匯總

5 結(jié)束語

本文提出了一種基于局部相位量化與跨顏色空間的多通道顏色相結(jié)合的魯棒人臉識別算法，該算法充分利用了人臉圖像的顏色信息及傅里葉變換后的相位信息，從而在人臉區(qū)域提取了有效的判別性信息，最終在大規(guī)模非可控人臉數(shù)據(jù)庫上達到目前最好的結(jié)果。

[1] Liu Chengjun, Wechsler H. Independent component analysis of Gabor features for face recognition[J]. Neural Networks,2003,14(4):919- 928.

[2] Lowe D G. Object recognition from local scale-invariant features: Computer vision[C]// The proceedings of the seventh IEEE international conference, 1999: 1150-1157.

[3] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego: USA(IEEE), 2005:886-893.

[4] Ahonen T, Hadid A, Pietikainen M. Face recognition with local binary patterns: Computer Vision[C]//ECCV 2004. Springer Berlin Heidelberg, 2004: 469-481.

[5] Brunelli R, Poggio T. Face recognition: features versus templates[J]. Pattern Analysis and Machine Intelligence, 1993, 15(10):1042-1052.

[6] Ojansivu V, Heikkil J. Blur insensitive texture classification using local phase quantization[C]//Image and Signal Processing.France: Springer Berlin Heidelberg,2008:236-243.

[7] Banham M R, Katsaggelos A K. Digital image restoration[J]. IEEE Signal Processing,1997,14(2): 24-41.

[8] Phillips P, Flynn P, Scruggs T, et al. Overview of the face recognition grand challenge[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego：IEEE, 2005:947-954.

[9] Liu Chengjun. The bayes decision rule induced similarity measures[J].Pattern Analysis and Machine Intelligence, 2007,29(6):1086-1090.

[10]Yang J, Liu C. Color image discriminant models and algorithms for face recognition[J]. Neural Networks,2008,19(12):2088-2098.

[11]Hwang W, Park G, Lee J, et al. Multiple face model of hybrid fourier feature for large face image set[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego: IEEE, 2006: 1574-1581.

[12]Liu C. Capitalize on dimensionality increasing techniques for improving face recognition grand challenge performance[J]. Pattern Analysis and Machine Intelligence,2006,28(5):725-737.

[13]Yang J, Liu C. Horizontal and vertical 2dpca-based discriminant analysis for face verification on a large-scale database[J]. Information Forensics and Security,2007,2(4):781-792.

[14]Phillips P J, Moon H, Rizvi S A,et al. The FERET Evaluation Methodology for Face-Recognition Algorithms[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence.USA：IEEE，2000：1090-1104.

Local phase quantization and multi-color channel based robust face recognition

ZHANG Yan-yan, DUAN Na

(1.DepartmentofComputerScienceandEngineering,HenanUniversityofUrbanConstruction,Pingdingshan467036,China)

In order to solve the problems that exist in uncontrolled condition face recognition, a variational method based on fusion of local phase quantization information with multi-color channel was proposed. First，compute the local phase quantization image on every color channel of different color spaces. Then，extract the statistic histograms on the local phase quantization images. And finally, fuse the similarity scores from different color channels. The proposed method utilizes the complementarity of different color channels. The experimental results show that the proposed method has effectiveness and better robustness, and it achieves state-of-the-art performance on large scale uncontrolled condition face database (FRGC).

face recognition; local phase quantization; color space

河南省教育廳科學(xué)技術(shù)研究重點項目(12A520006)。

2013-10-12

張妍琰(1981-),女,河南平頂山人,碩士,河南城建學(xué)院計算機科學(xué)與工程學(xué)院講師。

1674-7046(2014)01-0067-06

TP391.41

A