基于自適應(yīng)相關(guān)濾波器的人眼定位改進(jìn)方法

張金煥，吳 進(jìn)，宋 驍，尚 驍

(西安郵電大學(xué) 電子工程學(xué)院，西安 710121)

1 引 言

面部特征點(diǎn)的定位是人臉識(shí)別、視覺跟蹤和表情分析中的關(guān)鍵步驟，眼睛因?yàn)閹缀翁卣鲗?duì)稱、兩眼間距受光照和表情變化影響最小和瞳孔灰度值較低的特點(diǎn)，一直受到研究人員的極大關(guān)注。人眼定位為后續(xù)人臉研究提供基礎(chǔ)數(shù)據(jù)，常被應(yīng)用于疲勞駕駛狀態(tài)檢測(cè)、人臉校正、眨眼檢測(cè)、人臉歸一化中。定位的準(zhǔn)確度直接影響到人臉識(shí)別系統(tǒng)[1]、視覺跟蹤系統(tǒng)的性能[2]。

目前人眼定位采用的算法主要有3類[3-4]：一是基于幾何特征的方法，如灰度投影法、霍夫曼變換；二是基于統(tǒng)計(jì)的方法，如利用神經(jīng)網(wǎng)絡(luò)的方法、支持向量機(jī)、模板匹配法；三是基于知識(shí)的方法，采用大量先驗(yàn)知識(shí)進(jìn)行人眼定位。文獻(xiàn)[5]先通過積分投影變換法進(jìn)行人臉定位，然后對(duì)定位的矩形框中黑色像素進(jìn)行計(jì)數(shù)，當(dāng)達(dá)到某個(gè)比例將其標(biāo)記為人眼位置候選區(qū)域，最后用Canny算子計(jì)算人眼邊緣輪廓，在候選區(qū)域進(jìn)一步確定人眼位置?；诨叶韧队胺m然算法簡(jiǎn)單，但是對(duì)背景較復(fù)雜、光照影響較大、濃眉、戴眼鏡的人臉圖像定位效果不好。文獻(xiàn)[6]提出在YCbCr空間用膚色模型粗定位人臉區(qū)域，然后用平均眼模板作基于金字塔結(jié)構(gòu)的模板匹配定位眼睛位置。模板匹配法對(duì)人臉旋轉(zhuǎn)、遮擋情況下定位受到一定影響，定位精度較差。文獻(xiàn)[7]將樣本灰度均衡化及小波變換的結(jié)果表示成向量形式，運(yùn)用序貫最小優(yōu)化算法進(jìn)行訓(xùn)練得到一組支持向量，然后利用支持向量所構(gòu)成的分類器進(jìn)行人眼初檢，最后根據(jù)先驗(yàn)知識(shí)完成信息融合，最終定位人眼?；诮y(tǒng)計(jì)的方法雖然對(duì)復(fù)雜環(huán)境及光照、人臉不同姿態(tài)有一定的適用性，檢測(cè)精度有所提高，但是需要采集大量的樣本來訓(xùn)練分類器，過程較復(fù)雜，實(shí)時(shí)性較差?；趲缀翁卣骱突谥R(shí)的方法，通用性不高，在人眼檢測(cè)中，只能輔助其他方法進(jìn)行檢測(cè)定位。

由于相關(guān)濾波器算法簡(jiǎn)單、檢測(cè)效率高，近幾年來，越來越多的學(xué)者開始研究利用該理論檢測(cè)目標(biāo)圖像的特征點(diǎn)。2009年，Bolme等[8]提出平均合成精確濾波器(Average Synthetic Exact Filter，ASEF)，其原理是：在訓(xùn)練階段，對(duì)輸入的每一副圖像得到期望的一個(gè)高斯型合成輸出，利用輸入圖像和高斯型合成輸出，在頻率域構(gòu)造輸入圖像的精確濾波器，然后將所有精確濾波器進(jìn)行平均，得到最終的相關(guān)濾波器。因?yàn)椴捎昧似骄鶠V波器，避免了一般相關(guān)濾波器過度擬合的問題。為了解決訓(xùn)練樣本較少時(shí)ASEF算法定位精度下降的問題，2010年，Bolme等[9]又提出最小輸出平方誤差和(Minimum Output Sum of Squared Error，MOSSE)濾波器，與ASEF算法原理不同，MOSSE算法是最小化輸入圖像的實(shí)際輸出與期望的合成輸出之差的平方和，求解一個(gè)優(yōu)化問題，得到最終的相關(guān)濾波器。ASEF濾波器和MOSSE濾波器不同于一般的相關(guān)濾波器，運(yùn)用卷積定理，大大簡(jiǎn)化了輸入的訓(xùn)練圖像與合成輸出之間的映射。ASEF濾波器和MOSSE濾波器直接將基于高斯模型的合成輸出作為訓(xùn)練圖像的期望輸出，這樣會(huì)降低強(qiáng)度信息，而且可能造成濾波器扭曲。為了進(jìn)一步提高定位精度，2013年，Zhou等[10]提出自適應(yīng)合成相關(guān)濾波器(Adaptive Synthetic Correlation Filter，ASCF)，原理是通過迭代的方法更新濾波器，更加突出目標(biāo)定位點(diǎn)尖峰的位置，而且抑制可能出現(xiàn)的錯(cuò)誤尖峰值，減少目標(biāo)定位點(diǎn)出現(xiàn)偏差，提高定位精度。

本文通過實(shí)驗(yàn)發(fā)現(xiàn)，ASEF、MOSSE、ASCF算法定位不準(zhǔn)確的點(diǎn)主要都分布在離瞳孔不遠(yuǎn)的位置，而且很多是因?yàn)槿四樀男D(zhuǎn)造成,原始算法并未考慮人臉旋轉(zhuǎn)及未對(duì)瞳孔附近定位不準(zhǔn)確的點(diǎn)做進(jìn)一步處理。針對(duì)這些問題，本文提出兩點(diǎn)改進(jìn)：一是訓(xùn)練階段，將得到的相關(guān)濾波器在[-0.2,-0.1,0,0.1,0.2]的角度范圍內(nèi)旋轉(zhuǎn)4次，得到5個(gè)相關(guān)濾波器，然后得到測(cè)試圖像的5個(gè)輸出，分別找出每個(gè)輸出中最大的灰度值，最后選擇這5個(gè)灰度值中最大值對(duì)應(yīng)的位置為初始目標(biāo)定位點(diǎn)，如果5個(gè)灰度值中有兩個(gè)值相等且為最大值，則以濾波器偏轉(zhuǎn)角度最小的像素對(duì)應(yīng)的位置作為初始目標(biāo)定位點(diǎn)，實(shí)驗(yàn)表明這樣改進(jìn)有助于提高人臉偏轉(zhuǎn)圖像的定位準(zhǔn)確度；二是測(cè)試階段，在初始目標(biāo)定位點(diǎn)5×5的鄰域內(nèi)分別做水平和垂直積分投影，然后選擇積分最小值的位置作為最終目標(biāo)定位點(diǎn)，實(shí)驗(yàn)表明這樣改進(jìn)可以將離瞳孔距離不遠(yuǎn)的點(diǎn)定位到準(zhǔn)確位置。最終實(shí)驗(yàn)結(jié)果表明，以ASEF、MOSSE、ASCF 3種算法為基礎(chǔ)的改進(jìn)方法，在定位的準(zhǔn)確度和定位誤差的穩(wěn)定性方面更優(yōu)于原始算法，而且更適應(yīng)人臉偏轉(zhuǎn)的情況。

2 基本原理

2.1 相關(guān)濾波器

ASEF和MOSSE濾波器是通過在手工標(biāo)定訓(xùn)練圖像的目標(biāo)點(diǎn)位置產(chǎn)生尖峰值，而在其他位置產(chǎn)生低灰度值，最終訓(xùn)練得到相關(guān)濾波器[9，11]。首先根據(jù)輸入的n幅訓(xùn)練圖像f1,f2,…,fn，建立對(duì)應(yīng)的期望輸出g1,g2,…,gn。第i幅訓(xùn)練圖像fi對(duì)應(yīng)的合成輸出gi表示成中心在圖像目標(biāo)點(diǎn)(xi,yi)處的一個(gè)二維高斯函數(shù)：

(1)

(2)

其中，ε表示很小的正常數(shù)，避免分母為零。ASEF濾波器是對(duì)所有輸入的訓(xùn)練樣本得到的精確濾波器進(jìn)行平均來構(gòu)造相關(guān)濾波器，表示為

(3)

MOSSE濾波器是構(gòu)造一個(gè)相關(guān)濾波器，使得輸入訓(xùn)練樣本的實(shí)際輸出與期望的合成輸出之差的平方和最小，即求解以下最小化問題：

(4)

求解這個(gè)最優(yōu)化問題，可得到MOSSE濾波器：

(5)

對(duì)比表達(dá)式(3)和式(5)可以看出，在訓(xùn)練樣本較少的情況下，當(dāng)一幅圖像的頻率域能量較低時(shí)，ASEF因?yàn)槟骋豁?xiàng)的分母接近于零而使得濾波器不穩(wěn)定，而MOSSE分母是對(duì)所有樣本能量求和，所以MOSSE濾波器在訓(xùn)練樣本較少時(shí)仍然很穩(wěn)定。

(6)

更新第t次迭代后，第i幅樣本圖像的合成相關(guān)輸出為

(7)

最終得到第t次迭代后新的相關(guān)濾波器分別為

(8)

或者

(9)

其中，Gt,i=Γ(gt,i)，Γ表示傅里葉變換。

2.2 本文改進(jìn)的方法

積分投影常與其他算法結(jié)合用于人眼瞳孔定位。設(shè)I(x,y)表示圖像(x,y)處的像素灰度值，在區(qū)間[x1,x2]和[y1,y2]上水平積分投影和垂直積分投影分別表示為

(10)

以ASCF算法為基礎(chǔ)說明本文改進(jìn)的方法，如圖1所示。

圖1 本文算法流程圖Fig.1 The algorithm flowchart of this paper

(1) 訓(xùn)練階段

Step 1:輸入n幅訓(xùn)練樣本f1,f2,…,fn，并手工標(biāo)定期望的人眼準(zhǔn)確位置M1(x1,y1),…,Mn(xn,yn)；

Step 2:為了降低陰影和光照影響，對(duì)訓(xùn)練樣本進(jìn)行對(duì)數(shù)(lg(v+1))處理，并歸一化到[0,1]之間；

Step 3:根據(jù)公式(3)或者公式(5)訓(xùn)練得到ASEF濾波器或者M(jìn)OSSE濾波器；

Step 4:根據(jù)訓(xùn)練得到的初始濾波器Hasef,0或Hmosse,0，依次將所有樣本重新經(jīng)過濾波后得到訓(xùn)練樣本的實(shí)際輸出，然后將實(shí)際輸出歸一化到[0,1]之間，設(shè)置閾值α，根據(jù)公式(6)得到所有訓(xùn)練樣本新的輸出，根據(jù)公式(7)得到新的合成相關(guān)輸出，進(jìn)而得到新的相關(guān)濾波器，最終得到T次迭代后的相關(guān)濾波器Hasef,T或者Hmosse,T；

Step 5:將Step 4訓(xùn)練得到的相關(guān)濾波器Hasef,T或者Hmosse,T在[-0.2,-0.1,0,0.1,0.2]之間旋轉(zhuǎn)4次得到5個(gè)相關(guān)濾波器HT,1,…,HT,5。

(2) 測(cè)試階段

Step 1:輸入測(cè)試樣本f1,f2,…,fm；

Step 2:測(cè)試樣本的圖像預(yù)處理，與訓(xùn)練階段的Step 2同樣；

Step 3:每一個(gè)測(cè)試樣本分別經(jīng)過訓(xùn)練階段Step 5產(chǎn)生的5個(gè)相關(guān)濾波器，可以得到5個(gè)實(shí)際的相關(guān)合成輸出，分別找出每個(gè)輸出中像素值最大的點(diǎn)，再找出這5個(gè)像素值中最大的值(如果至少有兩個(gè)值相等且為最大值，則選擇濾波器旋轉(zhuǎn)角度最小的像素值)，則該像素值對(duì)應(yīng)的位置作為初始定位點(diǎn)；

Step 4:在以該初始定位點(diǎn)為中心的5×5鄰域內(nèi)做水平和垂直積分，找出積分值最小的位置作為最終的目標(biāo)定位點(diǎn)。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文改進(jìn)算法的性能，我們?cè)赪indow系統(tǒng)平臺(tái)采用Matlab7.0軟件仿真實(shí)現(xiàn)。采用FERET數(shù)據(jù)庫，隨機(jī)選取其中的1 374張圖片，其中1 064張作為訓(xùn)練樣本，310張作為測(cè)試樣本，人眼的定位誤差采用歸一化距離測(cè)量[12]，定義為實(shí)際定位坐標(biāo)與手工標(biāo)定坐標(biāo)的誤差與兩眼距離之比，采用歐式距離度量，表示為

Di=‖Pi-MLi‖/‖MLi-MRi‖

(11)

其中，Di為第i張測(cè)試樣本左眼的定位誤差，Pi為左眼實(shí)際定位坐標(biāo)，MLi和MRi分別為左眼和右眼手工標(biāo)定的坐標(biāo)。對(duì)測(cè)試圖像需要手工標(biāo)定坐標(biāo)，所以手工標(biāo)定的精確度會(huì)影響最終的定位精度。D越小表明定位越準(zhǔn)確。采用平均絕對(duì)誤差MAE(Mean Absolute Error)[13]和標(biāo)準(zhǔn)差(Standard Deviation)δ評(píng)價(jià)算法的性能，表示為

(12)

為了增加訓(xùn)練集樣本的數(shù)量以提高抗噪性能，對(duì)每個(gè)樣本都在[-π/16,π/16]范圍內(nèi)進(jìn)行兩次角度旋轉(zhuǎn),在[0.9,1.1]的灰度變換范圍內(nèi)進(jìn)行兩次灰度拉伸,在[-4,4]像素位置范圍內(nèi)的水平和垂直方向分別做平移，經(jīng)過仿射變換得到共9 576張訓(xùn)練樣本。本文以定位誤差小于0.1表示定位正確來計(jì)算定位精度P，P表示為定位正確的測(cè)試樣本數(shù)量與總測(cè)試樣本數(shù)量的比值。

表1和圖2為本文算法ASCF-A-RI和ASCF-M-RI與原始算法ASEF、MOSSE、ASCF-A、ASCF-M的實(shí)驗(yàn)結(jié)果對(duì)比。從表1可以看出，在定位誤差為0.1時(shí)，本文算法的定位精度相比原始算法最大提高2.9%，平均絕對(duì)誤差和標(biāo)準(zhǔn)差均低于其他4種算法，表明本文算法不僅可以提高定位精度，而且穩(wěn)定性好。從圖2可以看出，定位誤差在0～0.1之間，不同定位誤差下，改進(jìn)算法的定位精度都高于原始算法。

表1 6種定位方法的性能比較Table 1 The location performance comparison among six methods

圖2 6種方法在不同定位誤差下的定位精度Fig.2 The location accuracy of six methods under different location error

為了進(jìn)一步驗(yàn)證本文改進(jìn)算法的優(yōu)越性，我們將改進(jìn)的方法同樣應(yīng)用于ASEF和MOSSE算法中，表2和圖3為原始算法ASEF、MOSSE與本文改進(jìn)后算法ASEF-RI、MOSSE-RI的實(shí)驗(yàn)對(duì)比結(jié)果，同樣可以看出改進(jìn)后的算法優(yōu)于原始算法。

表2 4種定位方法的性能比較Table 2 The location performance comparison among four methods

圖3 4種方法在不同定位誤差下的定位精度Fig.3 The location accuracy of four methods under different location error

圖4給出了6種方法下采用不同濾波器后實(shí)際人眼定位的結(jié)果，實(shí)驗(yàn)結(jié)果可以看出，本文方法相比于原始算法定位準(zhǔn)確度提高。

圖4 不同方法人眼定位結(jié)果Fig.4 The eye location results of different methods

4 結(jié) 論

本文在原始算法的基礎(chǔ)上提出兩點(diǎn)改進(jìn)：訓(xùn)練階段增加相關(guān)濾波器旋轉(zhuǎn)；檢測(cè)階段增加積分投影，最終精確定位人眼位置。增加濾波器的旋轉(zhuǎn)，對(duì)人臉位置的偏轉(zhuǎn)有一定的適應(yīng)性。增加積分投影，使得離瞳孔位置不遠(yuǎn)的點(diǎn)，可以定位到更準(zhǔn)確的位置。實(shí)驗(yàn)表明與原始算法相比，本文改進(jìn)的方法不僅在定位精度上有明顯提高，而且穩(wěn)定性較好,可以為后續(xù)人臉識(shí)別系統(tǒng)和視覺跟蹤系統(tǒng)提供更加精確的參考數(shù)據(jù)。下一步擬將該方法與人臉膚色信息結(jié)合應(yīng)用于人臉識(shí)別和目標(biāo)跟蹤領(lǐng)域。

[1] 李晶,范九倫,張雁冰.基于卡爾曼濾波的人臉跟蹤算法[J].西安郵電學(xué)院學(xué)報(bào),2010,15(3):101-104.

LI Jing,FAN Jiu-lun,ZHANG Yan-bing.Auto face tracking base on kalman filter[J].Journal of Xi′an University of Posts and Telecommunications,2010,15(3):101-104.(in Chinese)

[2] 向志炎,曹鐵勇,潘竟峰.基于粒子濾波框架聯(lián)合仿射和外貌模型的目標(biāo)跟蹤[J].電訊技術(shù),2012,52(8):1291-1297.

XIANG Zhi-yan,CAO Tie-yong,PAN Jing-feng.Object Tracking Based on Particle Filtering Framework Joint Affine Model and Appearance Model[J].Telecommunication Engineering,2012,52(8):1291-1297.(in Chinese)

[3] 吳青,趙雄.一類新樣條光滑支持向量機(jī)[J].西安郵電大學(xué)學(xué)報(bào),2013,18(6):68-74.

WU Qing,ZHAO Xiong.A New Spline smooth Support VectorMachine[J].Journal of Xi′an University of Posts and Telecommunications,2013,18(6):68-74.(in Chinese)

[4] 劉振,姜暉,徐海峰.基于二維非參數(shù)特征分析的SAR圖像目標(biāo)識(shí)別[J].電訊技術(shù),2012,52(12):1490-1495.

LIU Zhen,JIANG Hui,XU Hai-feng.SAR Image Target Recognition Based on Two Dimensional Nonparametric Feature Analysis[J].Telecommunication Engineering,2012,52(12):1490-1495.(in Chinese)

[5] 李帆,秦肖臻.一種基于積分投影的人眼定位方法[J].計(jì)算機(jī)與數(shù)字工程,2011,39(9):125-127.

LI Fan,QIN Xiao-zhen.Eye Location method based on integral projection[J].Computer and Digital Engineering,2011,39(9):125-127.(in Chinese)

[6] 舒梅,董秀成.基于膚色和模板匹配的人眼定位[J].計(jì)算機(jī)工程與應(yīng)用,2009,45(2):237-239.

SHU Mei,DONG Xiu-cheng.Based on skin color and template matching eye location[J].Computer Engineering and Applications,2009,45(2):237-239.(in Chinese)

[7] 胡濤,王家樂.基于支持向量機(jī)的人眼檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用,2008,44(24):188-190.

HU Tao,WANG Jia-le.Eye detection based on support vector machines[J].Computer Engineering and Applications,2008,44(24):188-190.(in Chinese)

[8] Bolme D S,Draper B A,Beveridge J R.Average of synthetic exact filters[C]//Proceedings of 2009 IEEE International Conference on Computer Vision and Pattern Recognition.Miami,FL:IEEE,2009:2105-2112.

[9] Bolme D S,Beveridge J R,Draper B A,et al.Visual object tracking using adaptive correlation filters[C]//Proceedings of 2010 IEEE International Conference on Computer Vision and Pattern Recognition.San Francisco,CA:IEEE,2010:2544-2550.

[10] Zhou Lubing,Wang Han.Facial landmark localization via boosted and adaptive filters[C] //Proceedings of 2013 IEEE International Conference on Image Processing.Melbourne,VIC:IEEE,2013:519-523.

[11] Blome D S,Lui Y M,Draper B A,et al.Simple Real-Time Human Detection Using a Single Correlation Filter[C]//Proceedings of 2009 Twelfth IEEE International Workshop on Performance Evaluation of Tracking and Surveillance,Snowbird,UT:IEEE,2009:1-8.

[12] Vazquez-Fernandez E,Gonzalez-Jimenez D,Yu L L.Improved average of synthetic exact filters for precise eye localization under realistic conditions [J].IET Biometrics,2013,2(1):10-20.

[13] 陳明.Matlab神經(jīng)網(wǎng)絡(luò)原理與實(shí)例精解[M].北京:清華大學(xué)出版社,2013:119-120.

CHEN Ming.Matlab neural network principle and essence of instance[M].Beijing:Tsinghua University Press,2013:119-120.(in Chinese)