基于小波光照歸一化和高判別力特征的人眼定位算法

(西華大學(xué)無線電管理技術(shù)研究中心，四川 成都 610039)

·計算機(jī)軟件理論、技術(shù)與應(yīng)用·

基于小波光照歸一化和高判別力特征的人眼定位算法

高志升，岳 楨，張鋮方，胡占強(qiáng)

(西華大學(xué)無線電管理技術(shù)研究中心，四川 成都 610039)

人眼定位是人臉識別、人臉分析等的前提，但是人眼定位的精度極易受到非均勻光照和噪聲的影響。針對這一問題，提出一種結(jié)合小波變換光照歸一化和高判別力特征的人眼定位算法。首先通過小波變換對人臉圖像進(jìn)行光照歸一化處理，然后對人眼候選區(qū)域提取LTP和LPQ特征，對每個候選人眼區(qū)域計算SVR分類響應(yīng)值得到人眼概率圖，最后對人眼概率圖進(jìn)行高斯擬合，完成人眼精確定位。在人臉數(shù)據(jù)集CMU-PIE、Yale B和AR上的實驗結(jié)果表明,該算法能有效克服非均勻光照對人眼進(jìn)行精確定位的影響，具有光照變化魯棒性，比同類算法有更高的定位精度。

小波;LTP;LPQ;SVR;高斯擬合

人臉識別作為目標(biāo)識別的一個特例,涉及圖像處理、模式識別、神經(jīng)網(wǎng)絡(luò)等學(xué)科,受到研究人員的廣泛重視。人臉對齊是高精度人臉識別的一個前提。人眼作為人臉圖像中最重要的特征，在人臉中占據(jù)比較固定的位置，且雙眼間的距離刻畫了人臉的大小，是人臉識別中尺度歸一化的依據(jù)。

人眼定位近年來得到廣泛的研究，取得了一系列成果[1-5]，但是光照變化問題依然是影響人眼定位精度的主要因素；因此，很多學(xué)者致力于非均勻光下的人眼定位研究。非均勻光照環(huán)境中人眼定位算法主要有2種手段：1)首先對人臉圖像進(jìn)行去光噪預(yù)處理，然后再進(jìn)行人眼定位；2)提取具有光照不變性的人眼特征進(jìn)行人眼定位。Retinex算法[6]是基于視網(wǎng)膜理論的一個關(guān)于人類視覺系統(tǒng)如何調(diào)節(jié)感知物體顏色和亮度的模型，該方法是光照歸一化的代表性方法。Jung等[7]提出一種基于Retinex理論的光照變化的人眼定位算法，通過Retinex理論進(jìn)行人臉光照校正，然后提取邊緣直方圖特征并采用SVM進(jìn)行人眼定位。文獻(xiàn)[8]采用自商圖像方法(SQI)通過矯正光照進(jìn)行人眼定位。文獻(xiàn)[9]在人眼定位處理之前，采用快速對數(shù)總變差方法(FLTV)進(jìn)行光照歸一化處理。SQI和FLTV均在Yale B數(shù)據(jù)庫上取得了較好的效果。

本文提出一種融合LTP和LPQ特征算子的非均勻光照環(huán)境下人眼定位方法。該算法利用小波變換的優(yōu)點(diǎn)，將其用于人臉圖像光照歸一化處理，然后在處理后的人臉圖像中，提取候選人眼區(qū)域的具有光照不變性的LTP和LPQ特征，對每個候選人眼區(qū)域計算SVR分類響應(yīng)值得到人眼概率圖，最后對人眼概率圖進(jìn)行高斯擬合，完成人眼的定位。該方法利用小波變換對人臉圖像進(jìn)行光照歸一化處理，同時利用LTP和LPQ特征使其具有光照不變性、噪聲不變性的優(yōu)點(diǎn)，能夠很好地克服光照的影響，對人眼進(jìn)行精確定位。

1 小波變換光照歸一化算法

根據(jù)Retinex理論[6]，圖像由入射光分量和反射光分量組成：

(1)

(2)

(3)

結(jié)合Retinex理論，光照大多數(shù)處在圖像的低頻部分，而與光照無關(guān)的細(xì)節(jié)部分主要存在于圖像的高頻部分；因此，在對數(shù)域中對圖像進(jìn)行小波分解，將得到的低頻系數(shù)置零，即可得到人臉圖像的光照不變分量，完成人臉圖像的光照歸一化處理，其過程如圖1所示。

圖1 人臉圖像光照歸一化處理

2 高判別力特征提取

2.1局部三元模式特征

本文在每幅圖像區(qū)域上采用局部三元模式(LTP，local ternary pattern)抽取局部鄰域關(guān)系模式，并由這些模式的區(qū)域直方圖形成特征序列來描述人眼[12]。與局部二元模式(LBP，local binary pattern)算子[13-14]類似，LTP算子對圖像中每個像素ic的8鄰域采樣，每個采樣點(diǎn)u與中心像素ic作灰度值三值化運(yùn)算：

(4)式中：s′(u,ic,t)為三值函數(shù)；t為閾值。本文將每個LTP描述符分解為正負(fù)2部分，如圖2所示，隨后將這2個LTP描述符作為2個獨(dú)立的通道，分別計算直方圖，最后再將兩者結(jié)合起來得到LTP特征序列。

圖2 LTP算子計算

2.2局部相位量化特征

局部相位量化(LPQ，local phase quantization)是一種基于局部圖像離散傅里葉變換的頻域相位特征提取方法,對運(yùn)動、失去焦點(diǎn)和大氣湍流造成的中心對稱模糊具有不敏感性[15-16]。

首先利用局部相位信息，計算圖像上每個像素點(diǎn)的M×M鄰域Nx來獲取局部相位信息。

(5)

(6)

(7)

其中，Re{·}，lm{·}分別表示一個復(fù)數(shù)的實部和虛部，其對應(yīng)的8×M2轉(zhuǎn)換矩陣是

W=[Re{wu1,wu2,wu3,wu4},lm{wu1,wu2,wu3,wu4}]T。

(8)

可得

Fx=Wfx。

(9)

通過一個簡單的分級量化方法進(jìn)行量化：

(10)

其中，fj表示Fx的第j個分量。量化后，F(xiàn)x變?yōu)?個8位二進(jìn)制數(shù)的向量，對每一個分量賦予權(quán)系數(shù)2j，通過式(11)計算出該點(diǎn)對應(yīng)的LPQ值，最后，生成量化的256維直方圖。

(11)

3 人眼定位算法

本文提出的融合小波和LTP、LPQ算子的人眼定位算法，首先從原始光照圖像中檢測出人臉區(qū)域，并歸一化到大小為100×100的人臉圖像I，然后利用小波變換對I進(jìn)行去光噪(本文采用3級小波分解，小波選用‘db8’),得到去光噪圖像Irex，如圖3所示，接著選取部分圖像為訓(xùn)練樣本集，其余的為測試樣本集。在訓(xùn)練樣本集中，手動截取大小為10×20的人眼正負(fù)樣本Ig，如圖4所示。針對Ig，本文采用半徑R為1、采樣點(diǎn)P為8和半徑R為2、采樣點(diǎn)P為16的2種不同參數(shù)的LTP特征算子(分別定義為LTP8和LTP16)，閾值t=3，進(jìn)行人眼特征提取。同時，為更好地表達(dá)人眼，本文還結(jié)合LPQ(其中，參數(shù)選取高斯導(dǎo)數(shù)正交濾波器)特征進(jìn)行人眼特征提取。在特征提取過程中，把人眼特征系數(shù)4等分，然后分別提取特征直方圖，最后級聯(lián)一起，得到本文采用的人眼描述特征Fe，如圖5所示。

(a)原始人臉圖像

(b)小波光照歸一化圖像

(a)正樣本

(b)負(fù)樣本

(a)正樣本特征

(b)負(fù)樣本特征

完成特征提取后，通過訓(xùn)練數(shù)據(jù)訓(xùn)練人眼檢測器，然后在測試人臉圖像中定位人眼。這一過程，選用支持向量回歸完成人眼檢測定位。

支持向量回歸是支持向量機(jī)的一個分支。支持向量機(jī)是Vapnik[17]提出的二值分類器。它的中心思想是找到一個超平面，通過最大化2種樣本的間距，從而達(dá)到分離2種樣本的目的。這個超平面的決策函數(shù)可以表示為

(12)

式中：f是樣本與超平面之間的距離函數(shù)；X是輸入的特征向量；α是拉格朗日乘數(shù)；Xi是第i個支持向量；yi是支持向量的標(biāo)簽；N是支持向量的總個數(shù)?？紤]到非線性條件，采用非線性核函數(shù)，轉(zhuǎn)換至高維空間，然后進(jìn)行分類[18]。式(12)可以轉(zhuǎn)換為

(13)

其中k是核函數(shù)。

在歸一化人臉圖像中定位人眼，對于右眼定位，選取大小為10×20的矩形窗口在人臉圖像左上角進(jìn)行滑動，窗口覆蓋的區(qū)域作為候選人眼區(qū)域，將每個候選區(qū)域提取人眼特征Fe并輸入SVR得到分類響應(yīng)值。每個候選人眼區(qū)域的分類響應(yīng)值構(gòu)成人眼概率圖，最后通過二維高斯擬合定位出人眼的精確位置，二維高斯的中心點(diǎn)作為最終的人眼位置，如圖6所示，白色方框為高斯擬合結(jié)果，白色圓圈為最大值定位結(jié)果。對于左眼的定位，對人臉圖像進(jìn)行對稱變換后采用右眼定位方法完成。針對支持向量機(jī)的參數(shù)，核函數(shù)選取徑向基函數(shù)。為獲得更好效果的核函數(shù)參數(shù)g和C，進(jìn)行10倍交叉驗證，結(jié)果g=2-12,C=10。f樣本與超平面之間的距離函數(shù)通過文獻(xiàn)[19]求得。

4 測度驗證

為了驗證人眼定位的準(zhǔn)確性，常用的算法是Jesorskey等[20]提出的Hausdorff距離誤差法。定義e=max(dl,dr)/d，其中dl和dr分別是算法定位到的左、右眼和真實左、右眼位置的歐氏距離，d是真實左、右眼之間的歐氏距離。同時，經(jīng)過大量實驗驗證，e取為0.25(內(nèi)眼間距的1/4)。當(dāng)e≤0.25時，算法定位到的人眼位置認(rèn)定為成功。此時，d近似等于單眼寬度的2倍。在實驗中，采取

(a)高斯擬合示意圖 (b)高斯擬合的結(jié)果

abs(dx-px)≤disparity && abs(dy-py)≤disparity。

(14)

其中，(dx,dy)是算法獲取的點(diǎn)，(px,py)是人工標(biāo)注的點(diǎn)，disparity分別取為0.25R、0.3R、0.35R、0.4R、0.45R、0.5R，R是人眼的寬度。

5 實驗結(jié)果

筆者將通過實驗來評估所提方法的有效性。在熟知的3個人臉庫CMU PIE、Yale B和AR上進(jìn)行人眼定位實驗，以此來論證該方法的魯棒性。CMU PIE數(shù)據(jù)庫包含68個對象的4萬1 368張圖片，對每個對象，選取21種不同光照環(huán)境下的正面照，共計1 428張圖像。Yale B數(shù)據(jù)庫包含10個對象576種觀測條件(即9種姿態(tài)，64種光照條件)的5 760張圖片，選取10個對象正面姿勢的64種光照條件的640張圖片。AR數(shù)據(jù)庫包含126個對象的26種正面照，選取120個對象的6種光照下的720張圖片。其中，每個庫選取500張圖片用于訓(xùn)練，其余的用于測試。

在實驗中，為使實驗過程簡便，把人臉圖像進(jìn)行左右翻轉(zhuǎn)，這樣提取的數(shù)據(jù)都是圖片右眼的位置。手工截取的人眼圖像和近似人眼圖像作為訓(xùn)練樣本的部分樣本如圖4所示。測試樣本通過人工標(biāo)注方式給出人眼的參考位置，然后采用本文算法定位人眼位置，最后根據(jù)式(14)判定定位正誤。圖7、8展示了部分代表性的定位結(jié)果，白色圓圈為本文算法定位結(jié)果，白色方框為人工標(biāo)注位置。圖7展示了本文方法正確定位人眼的結(jié)果；圖8展示了本文方法錯誤定位人眼的部分樣本，這里disparity取值為0.5R。

圖7 本文算法正確定位人眼

圖8 本文算法錯誤定位人眼

將當(dāng)前經(jīng)典方法與本文方法進(jìn)行定位準(zhǔn)確率的比較。文獻(xiàn)[7]提出IN+END+SVM的方法；文獻(xiàn)[8]采用自商圖像方法(SQI)通過矯正光照，從而進(jìn)行人眼定位；文獻(xiàn)[9]采用快速對數(shù)總變差方法(FLTV)進(jìn)行光照歸一化處理。SQI和FLTV均在Yale B數(shù)據(jù)庫上進(jìn)行實驗，與本文的Yale B數(shù)據(jù)一致。表1給出了不同方法得到的人眼定位成功率，其中，黑體代表在每個數(shù)據(jù)庫取到的最好準(zhǔn)確率?？梢钥闯?，與經(jīng)典方法相比，本文方法在CMU-PIE、Yale B和AR 這3個數(shù)據(jù)集上都獲得了最高的準(zhǔn)確率，即使在復(fù)雜光下也有很明顯的優(yōu)勢(Yale B數(shù)據(jù)庫光照比較復(fù)雜)：比SQI和FLTV方法高10%，比IN+END+SVM方法高8%。

表1 各個方法的準(zhǔn)確率

注：NR表示沒有提及。

為了更直觀、有效地表達(dá)本算法的有效性，在(0.25R,0.3R,0.35R,0.4R,0.45R,0.5R)條件下，對定位到的人眼進(jìn)行人眼測度驗證，其結(jié)果如表2和圖9所示?？梢缘贸觯罕疚姆椒ㄔ?.25R條件下，在AR數(shù)據(jù)集上獲得了接近100%的準(zhǔn)確率，在Yale B和CMV-PIE數(shù)據(jù)集上也得到超過90%的準(zhǔn)確率；在0.5R條件下，在YaleB和CMV-PIE數(shù)據(jù)集得到超過96%的準(zhǔn)確率。這說明本文采用小波算法對人臉圖像進(jìn)行光照歸一化處理并采用具有光照不變性的LTP和LPQ特征進(jìn)行人臉定位，具有高的準(zhǔn)確率、正確率及很好的魯棒性。

表2 各個測量值下的準(zhǔn)確率

圖9 各個測量值下的準(zhǔn)確率

6 結(jié)論

本文在利用小波變換對人臉圖像進(jìn)行光照歸一化的基礎(chǔ)上，提取人眼LTP和LPQ特征，最后結(jié)合SVR得到候選人眼位置概率圖，通過二維高斯擬合完成非均勻光下人眼定位。與當(dāng)前其他經(jīng)典方法相比，本算法獲得了較好的魯棒性。相信本算法，可以在以后的非均勻光下人眼定位方面取得廣泛的應(yīng)用。如何解決時間開銷長的問題，怎樣結(jié)合人眼結(jié)構(gòu)特征，進(jìn)一步細(xì)化定位位置，精確定位到眼球中心位置都值得進(jìn)一步研究。

[1]Weimin Huang, Robert Mariani. Face Detection and Precise Eyes Location[C]//Proc IEEE Int Conf Pattern Recognition. [S.l.]:IEEE,2000: 722-727.

[2]Liang Tao, HK Kwan. Automatic Localization of Human Eyes in Complex Background[J].IEEE International Symposium on Circuits and Systems, 2002,5: 669-672.

[3]Fengyi Song, Xiaoyang Tan, Songcan Chen, et al. A Literature Survey on Robust and Efficient Eye Localization in Real-life Scenarios[J].Pattern Recognition, 2013, 46 (12): 3157-3173.

[4]謝春芝.基于Eye Map和SIFT特征的人眼定位[J].西華大學(xué)學(xué)報：自然科學(xué)版，2012，31(3)：7-10.

[5]舒梅，董秀成.基于累積幀差的人眼定位及模板提取[J].西華大學(xué)學(xué)報：自然科學(xué)版，2008，27(6)：25-27.

[6]Land E. An Alternative Technique for the Computation of the Designator in the Retinex Theory of Color Vision[J]Proc Natl Acad Sci, 1986, 83(10):3078-3080.

[7]Jung C, Sun T, Jiao L. Eye Detection under Varying Illumination using the Retinex Theory[J]Neurocomput, 2013, 113 (8):130-137.

[8]Jung S U, Yoo J H. A Robust Eye Detection Method in Facial Region[J]Lect Notes Comput Sci, 2007, 4418: 596-606.

[9]Yang F, Su J. Fast Illumination Normalization for Robust Eye Localization under Variable Illumination[J].Electron Imaging, 2009, 18 (1):25.

[10]Donoho D L. De-Noising by Soft-Thresholding[J]. IEEE Transactions on Information Theory, 1995, 41 (3): 613-627.

[11]Mallat S. A Theory for Multiresolution Signal Decomposition: The Wavelet Representation[J].IEEE Trans Pattern Anal Mach Intel, 1989, 11 (7): 674-693.

[12]Tan X, Triggs B. Enhanced Local Texture Feature Sets for Face Recognition Under Difficult Lighting Conditions[J].IEEE Trans on Image Processing, 2010,19(6):1635-1650.

[13]Ojala T, Pietikainen M, Harwood D. A Comparative Study of Texture Measures with Classification Based on Feature Distributions[J].Pattern Recognition, 1996, 29(1):51-59.

[14]Ojala T, Pietikainen M, Maenpaa T. Multiresolution Gray-scale and Rotation Invarianattexture Classification with Local Binary Patterns[J].IEEE TPAMI, 2002, 24 (7): 971-987.

[15]Ojansivu V, Heikkila J. Blur Insensitive Texture Classification Using Local Phase Quantization[C]//Proc Int’l Conf Image and Signal Processing(ICISP).[S.l.]:Springer-Verlag, 2008: 236-243.

[16]GAO Zhisheng, YUAN Hongzhao ,YANG Jun. Search of Face Verification Algorithm Based on RILPQ Descriptor[J]. Application Research of Computers, 2012, 29 (1): 352-355.

[17]Vapnik V N. Statistical Learning Theory[M]. New York: John Wiley and Sons, 1998: 23-730.

[18]Jung C, Jiao LC, Sun T. Illumination Invariant Eye Detection in Facial Images Based on the Retinex Theory[C]//Proceeding of IscIDE. Xi’an:Springer, 2011: 175-183.

[19]Wang P. Automatic Eye Detection and Its Validation[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. San Diego, CA, USA:IEEE, 2005:164.

[20]Jesorsky O, Kirchberg K, Frischholz R. Robust Face Detection using the Hausdorff Distance[J]. Audio-and Video-Based Biometric Person Authentication Lecture Notes in Computer Science, 2001,2091: 90-95.

(編校：饒莉)

EyeLocationAlgorithmBasedonWaveletTheoryandHighDiscriminationFeatures

GAO Zhi-sheng, YUE Zhen, ZHANG Cheng-fang, HU Zhan-qiang

(CenterofRadioAdministratorandTechnologyDevelopment,XihuaUniversity,Chengdu610039China)

Eye location is the prerequisite for face recognition and face analysis. However, the accuracy of eye location is vulnerably affected by non-uniform illumination changes and noise. To solve this problem, this paper proposes an algorithm based on wavelet theory and high discrimination features for eye location. Firstly, face images undergo illumination normalization utilizing wavelet theory. Secondly, the LTP and LPQ features are extracted from the eye-candidate regions. and then the eye probability map is subsequently obtained from the calculation of the responding classification value of SVR for each eye-candidate point. Lastly, applied Gaussian fitting method to the eye probability map and the human eye is located accurately. Extensive experiments on CUM PIE, Yale B and AR Face Databases demonstrate that our method can effectively overcome the bad effects of non-uniform illumination changes and noise for the accurate eye location, and improve the robustness to changes in illumination and outperform the state-of-the-art approaches in terms of the accuracy of eye localization.

wavelet; LTP; LPQ; SVR; Gaussian fitting

2014-06-27

國家自然科學(xué)基金項目(61372187，61473239);四川省教育廳重點(diǎn)項目(14ZA0118)。

高志升(1977—)，男，副教授，博士，主要研究方向為圖像理解、機(jī)器學(xué)習(xí)等。E-mail：gzs_xihua@mail.xhu.edu.cn

TP391.41

：A

：1673-159X(2015)03-0001-05

10.3969/j.issn.1673-159X.2015.03.001