基于積分投影和模板匹配的人眼定位算法研究

亢 潔， 李 靜

(陜西科技大學(xué) 電氣與信息工程學(xué)院， 陜西 西安 710021)

基于積分投影和模板匹配的人眼定位算法研究

亢 潔， 李 靜

(陜西科技大學(xué) 電氣與信息工程學(xué)院， 陜西 西安 710021)

以駕駛員疲勞檢測(cè)為背景，針對(duì)灰度投影算法對(duì)人臉戴眼鏡、姿態(tài)變化敏感，以及模板匹配算法計(jì)算量過(guò)大的問(wèn)題，提出基于積分投影和模板匹配的人眼定位算法.利用圖像網(wǎng)絡(luò)分析算法檢測(cè)出人臉區(qū)域，再對(duì)人臉區(qū)域進(jìn)行灰度積分投影，并結(jié)合人臉結(jié)構(gòu)特征實(shí)現(xiàn)眼睛的粗定位，然后采用模板匹配算法精確定位人眼.仿真結(jié)果表明此算法相較于傳統(tǒng)的模板匹配算法對(duì)戴眼鏡、姿態(tài)變化的人臉圖像可快速地實(shí)現(xiàn)較好地人眼定位.

人眼定位； 灰度積分投影； 模板匹配

0 引言

根據(jù)交通事故年鑒：疲勞駕駛經(jīng)常導(dǎo)致嚴(yán)重的交通事故，其中有17%致命的交通事故是疲勞駕駛引起的[1].快速、準(zhǔn)確的人眼定位算法可以提高疲勞駕駛狀態(tài)的檢測(cè)速度，對(duì)減少交通事故的發(fā)生具有重要意義.

對(duì)給定圖像中的人眼進(jìn)行準(zhǔn)確定位和狀態(tài)分析是駕駛員疲勞狀態(tài)檢測(cè)、視線(xiàn)跟蹤等研究的關(guān)鍵技術(shù)之一.人眼定位的常用方法有基于幾何特征算法、積分投影算法和模板匹配算法等[2].基于幾何特征算法是利用人眼區(qū)域的灰度特征明顯區(qū)別于其他區(qū)域的特點(diǎn)，通過(guò)構(gòu)造幾何特征向量定位人眼，但對(duì)人眼閉合、戴眼鏡情況時(shí)的定位效果較差[3].灰度積分投影算法是根據(jù)圖像在水平和垂直方向上的投影分布特征，并結(jié)合人臉結(jié)構(gòu)特征對(duì)人眼進(jìn)行定位.該方法定位速度快，但很難對(duì)旋轉(zhuǎn)的人臉圖像進(jìn)行有效的人眼定位[4].模板匹配法是利用圖像的灰度信息計(jì)算已知模板和原圖像的均方誤差之和判斷相似性，具有較好的檢測(cè)效果和魯棒性，但算法復(fù)雜，檢測(cè)速度較慢.

針對(duì)灰度投影對(duì)人臉配戴眼鏡、姿態(tài)變化敏感，以及模板匹配算法雖精度較高，但計(jì)算量過(guò)大的缺點(diǎn)，本文提出一種基于積分投影和模板匹配的人眼定位算法，該算法在一定程度上適應(yīng)人臉圖像光照和旋轉(zhuǎn)角度的變化，排除眼鏡的干擾，具有較好的魯棒性.

1 人臉檢測(cè)和人眼定位

本文首先利用中值濾波、直方圖均衡化對(duì)人臉圖像進(jìn)行預(yù)處理，然后用圖像網(wǎng)絡(luò)分析算法對(duì)駕駛員的臉部進(jìn)行檢測(cè).對(duì)檢測(cè)出的人臉圖像采用灰度積分投影算法分別進(jìn)行水平和垂直方向的投影，通過(guò)水平和垂直方向的坐標(biāo)投影結(jié)合人臉幾何特征分布知識(shí)，將研究區(qū)域縮小到只有眉毛和眼睛的小區(qū)域.人眼圖像樣本構(gòu)建模板采用手動(dòng)方式采集，其大小為26×16，用模板匹配法搜索定位出的眉眼區(qū)域與其最相似的匹配塊，以實(shí)現(xiàn)對(duì)檢測(cè)到的眉眼區(qū)域人眼精定位.本文算法流程如圖1所示.

圖1 本文算法流程圖

1.1 人臉檢測(cè)

人臉中包含著重要的信息，準(zhǔn)確的人臉檢測(cè)對(duì)后續(xù)的人眼定位和狀態(tài)分析等研究有著重要的意義[5].本文采用圖像網(wǎng)絡(luò)分析算法實(shí)現(xiàn)人臉檢測(cè)，算法的主要步驟為：

Step1：對(duì)不同光照環(huán)境下戴眼鏡和有一定傾斜的人臉圖像采用濾波窗口大小3×3的中值濾波算法、直方圖均衡化等進(jìn)行預(yù)處理，效果圖如圖2(a)所示.

Step2：對(duì)預(yù)處理后的圖像二值化，對(duì)所得圖像采用10×10的網(wǎng)格進(jìn)行分塊處理，圖2(b)為10×10分塊處理效果圖.

Step3：統(tǒng)計(jì)每個(gè)小方塊的黑色像素在圖像中的比例，將滿(mǎn)足面部檢測(cè)要求的小方塊提取出來(lái)組成新的圖像，找到人臉面積最大的聯(lián)通區(qū)域，即為人臉區(qū)域，圖2(c)為人臉檢測(cè)效果圖.

(a)預(yù)處理圖像 (b)分塊處理 (c)人臉檢測(cè)圖2 人臉檢測(cè)效果圖

1.2 灰度積分投影粗定位眉眼區(qū)域

灰度積分投影法算法容易受人臉姿態(tài)旋轉(zhuǎn)和戴眼鏡等因素的干擾，因此本文將積分投影曲線(xiàn)與人臉的幾何結(jié)構(gòu)特征相結(jié)合，對(duì)檢測(cè)到的人臉圖像進(jìn)行眉眼區(qū)域的粗定位.

采用灰度積分投影法算法對(duì)檢測(cè)出的人臉圖像分別進(jìn)行水平和垂直方向的投影，得到兩個(gè)方向上的像素灰度的累加值曲線(xiàn)，然后根據(jù)曲線(xiàn)中波峰波谷的分布及人臉面部幾何特征知識(shí)定位人眼區(qū)域[6].設(shè)在大小為92×112的圖像上，I(x,y)為圖像上(x,y)像素點(diǎn)的灰度值，其中區(qū)間[x1,x2]即為[0,91]，區(qū)間[y1,y2]即為[0,111]；水平和垂直積分投影函數(shù)分別表示為H(x)和V(y).

(1)

(2)

人臉圖像分別往水平、垂直方向投影，在進(jìn)行水平方向投影時(shí)，可以看到主要出現(xiàn)兩個(gè)極大值點(diǎn)，分別對(duì)應(yīng)兩個(gè)眼睛；而對(duì)垂直方向投影時(shí)，可以看到有大概3個(gè)明顯的極大值點(diǎn)，分別大致對(duì)應(yīng)著眉毛、眼睛和嘴巴[7].眼睛區(qū)域根據(jù)人臉特征分布的幾何知識(shí)在人臉的上半部，所以在垂直方向灰度積分投影時(shí)應(yīng)該取前半部分的最大值.通過(guò)水平和垂直方向的坐標(biāo)投影結(jié)合人臉幾何特征分布知識(shí)，實(shí)現(xiàn)人眼區(qū)域的粗定位，圖3、圖4、圖5分別為戴眼鏡、頭部不偏轉(zhuǎn)和偏轉(zhuǎn)圖像眉眼區(qū)域粗定位的過(guò)程圖.

(a)人臉圖像 (b)水平投影 (c)垂直投影 (d)眉眼粗定位圖3 戴眼鏡圖像的眉眼粗定位

(a)人臉圖像 (b)水平投影 (c)垂直投影 (d)眉眼粗定位圖4 頭部不偏轉(zhuǎn)圖像的眉眼粗定位

(a)人臉圖像 (b)水平投影 (c)垂直投影 (d)眉眼粗定位圖5 頭部偏轉(zhuǎn)圖像的眉眼粗定位

利用灰度積分投影曲線(xiàn)的分布結(jié)合人臉的結(jié)構(gòu)特征，排除了嘴巴和背景的干擾，實(shí)現(xiàn)較為準(zhǔn)確的眉眼粗定位.

1.3 模板匹配

傳統(tǒng)的模板匹配是對(duì)整幅圖像與目標(biāo)圖像相同位置的像素灰度值或顏色值進(jìn)行比較，該方法存在計(jì)算的復(fù)雜度高，對(duì)目標(biāo)的旋轉(zhuǎn)比較敏感，干擾因素較多等問(wèn)題.本文中因?yàn)橐汛致远ㄎ怀雒佳蹍^(qū)域，排除了嘴和背景干擾，有利于提高模板匹配算法在人眼檢測(cè)方面的速度和準(zhǔn)確率.圖6為部分在ORL標(biāo)準(zhǔn)人臉庫(kù)和實(shí)驗(yàn)室自建人臉庫(kù)中裁剪的大小為26×16的人眼圖像模板.

圖6 人眼圖像模板

采用模板匹配算法對(duì)定位出的眉眼區(qū)域搜索與人眼構(gòu)建的模板最相似的匹配塊，即尋找最大允許誤差的位置.利用歸一化互相關(guān)計(jì)算粗定位眉眼圖像與人眼模板之間的相關(guān)系數(shù)來(lái)度量它們的匹配程度，相關(guān)系數(shù)r表示兩個(gè)向量的相關(guān)程度[8]即：

(3)

(4)

(5)

模板匹配的具體步驟如下：

Step1：假定原眉眼圖像I(x,y)和人眼模板圖像的起始點(diǎn)都在左上角；

Step2：當(dāng)x和y變化時(shí)，根據(jù)歸一化互相關(guān)矩陣計(jì)算F(k,j)在圖像I區(qū)域中移動(dòng)所有的r值；

Step3：r取最大值時(shí)即是人眼模板圖像與原眉眼圖像匹配的最佳位置，從該位置開(kāi)始在原眉眼圖像相應(yīng)搜索區(qū)域中尋找最小的價(jià)值函數(shù)(MAD)[10]，即可找到匹配圖像；圖7為人眼精確定位的效果圖.

(a)眉眼區(qū)域人眼定位 (b)人臉圖中人眼定位圖7 人眼定位

采用模板匹配算法對(duì)眉眼區(qū)域?qū)崿F(xiàn)人眼定位，利用模板圖像、眉眼區(qū)域圖像、人臉圖像之間的坐標(biāo)關(guān)系變換，完成在人臉圖像中的眼睛定位.

2 仿真結(jié)果及分析

本算法在MATLAB2015b實(shí)驗(yàn)平臺(tái)下，從ORL人臉庫(kù)和自建庫(kù)中選取(12人，120幅)包括戴眼鏡、頭部偏轉(zhuǎn)、閉眼等情況的單人臉圖像.

2.1 人眼定位

圖8為ORL庫(kù)和自建庫(kù)中部分人眼定位正確效果圖，圖9為自建庫(kù)中部分人眼定位錯(cuò)誤效果圖.矩形框標(biāo)記出人臉和眼睛區(qū)域，十字符號(hào)標(biāo)記出眼睛的位置.

(a)佩戴眼鏡圖像

(b)閉眼圖像

(c)頭部偏轉(zhuǎn)圖像圖8 人眼定位正確圖像

從圖8的仿真結(jié)果可以看出,對(duì)ORL 庫(kù)中戴眼鏡、頭部偏轉(zhuǎn)、閉眼圖像，本文算法可以準(zhǔn)確地對(duì)人眼進(jìn)行定位.當(dāng)對(duì)大量圖像進(jìn)行仿真分析時(shí)，如圖9所示當(dāng)實(shí)際拍攝圖像受背景復(fù)雜、圖像分辨率低、遮擋等因素影響時(shí)，部分圖像的人眼定位檢測(cè)誤差較大.

圖9 人眼定位錯(cuò)誤圖像

2.2 人眼定位效果評(píng)價(jià)

采用Jesorsky等[11]的眼睛定位正確性度量標(biāo)準(zhǔn)，設(shè)手工標(biāo)定的左右眼睛準(zhǔn)確位置分別為EL和ER，算法檢測(cè)到的左右眼睛位置分別為EL′和ER′；dl、dr和dlr分別為EL-EL′，ER-ER′的距離，定位的相對(duì)誤差定義為

(6)

eer≤0.25,eer≤0.10分別對(duì)應(yīng)定位的眼睛坐標(biāo)在眼鏡框、眼球內(nèi)[11].為了達(dá)到疲勞檢測(cè)系統(tǒng)的實(shí)用要求，本文采用的人眼定位算法的評(píng)價(jià)標(biāo)準(zhǔn)為eer≤0.10，定位準(zhǔn)確率及平均定位時(shí)間如表1所示，分層采樣圖像的人眼定位計(jì)算坐標(biāo)與實(shí)際坐標(biāo)之間的相對(duì)誤差如表2所示.

表1 人眼定位方法對(duì)比

表2 分層抽樣圖像的人眼定位計(jì)算坐標(biāo)與實(shí)際

表1仿真結(jié)果表明本文算法對(duì)眼睛的定位準(zhǔn)確率比較高，平均檢測(cè)時(shí)間約56 ms，相較于傳統(tǒng)的模板匹配算法較好的提高了定位速度，具有較好的定位準(zhǔn)確性；表2為分層抽樣圖像的計(jì)算坐標(biāo)與實(shí)際坐標(biāo)之間的相對(duì)誤差；其中對(duì)所采用的120幅人眼定位平均相對(duì)誤差eer=0.078 4，小于本文采用的人眼定位準(zhǔn)確評(píng)價(jià)標(biāo)準(zhǔn)eer≤0.10，滿(mǎn)足駕駛員疲勞檢測(cè)應(yīng)用的需要.

3 結(jié)論

針對(duì)傳統(tǒng)的人眼檢測(cè)方法易受戴眼鏡、頭部偏轉(zhuǎn)變化的影響，本文提出了一種基于積分投影和模板匹配的眼睛定位算法，相較于傳統(tǒng)的模板匹配算法可快速地對(duì)戴眼鏡、姿態(tài)變化的人臉圖像實(shí)現(xiàn)較好的人眼定位，在一定程度適應(yīng)圖像旋轉(zhuǎn)角度變化，有較好的魯棒性.由于眼睛狀態(tài)變化只是疲勞表現(xiàn)的一個(gè)方面，在后期駕駛員疲勞判斷時(shí)，采用多特征融合的方法將是其研究的重點(diǎn).

[1] Peng Yan,Zhou Tian,Wang Shaopeng,et al.Implementation of a real-time eye tracking system[J].The Journal of China Universities of Posts and Telecommunications,2013,20(S1):1-5.

[2] Song Fengyi,Tan Xiaoyang,Liu Xue,et al.Eyes closeness detection from still images with multi-scale histograms of principal oriented gradients[J].Pattern Recognition,2014,47(9):2 825-2 838.

[3] 牛清寧,周志強(qiáng),金立生,等. 基于眼動(dòng)特征的疲勞駕駛檢測(cè)方法[J].哈爾濱工程大學(xué)學(xué)報(bào),2015,36(3):394-398.

[4] Liu Chunsheng,Chang Faliang,Chen Zhenxue,et al.Improved gaussian skin color model and its application in face detection[J].Chinese Journal of Scientific Instrument,2012,33(5):1 117-1 121.

[5] 李玲玲.基于多視覺(jué)信息融合的駕駛員疲勞檢測(cè)方法研究與實(shí)現(xiàn)[D].北京：北方工業(yè)大學(xué),2012.

[6] 張文聰,鄧宏平,李 斌,等.基于徑向?qū)ΨQ(chēng)變換的眼睛閉狀態(tài)檢測(cè)[J].中國(guó)科學(xué)技術(shù)大學(xué)學(xué)報(bào),2013,40(5):460-465.

[7] R.Barea，L.Boquete，S.Ortega，et al.EOG-based eye movements codification for human computer interaction[J].Expert Systems with Applications,2012,39(3)：2 677-2 683.

[8] 張 偉.基于機(jī)器視覺(jué)的駕駛?cè)似跔顟B(tài)識(shí)別關(guān)鍵問(wèn)題研究[D].北京：清華大學(xué),2011.

[9] 吳 強(qiáng)，任 琳，張 杰.快速歸一化互相關(guān)算法及DSP優(yōu)化實(shí)現(xiàn)[J].電子測(cè)量與儀器學(xué)報(bào)，2011，25(6):495-499.

[10] 劉 莎.基于最小值區(qū)域的人眼定位新算法[J].微型機(jī)與應(yīng)用，2011，30(20):37-43.

[11] Jesorsky O,Kirchberg J,Frishholz R W.Robust face detection using the hausdorff distance，audio and video based persion authentication[J].Lecture Notes in Computer Science,2001,47(9):90-95.

【責(zé)任編輯：陳 佳】

Eye location algorithm based on integral projection and template matching

KANG Jie， LI Jing

(College of Electrical and Information Engineering, Shaanxi University of Science & Technology, Xi′an 710021, China)

Under the background of driver fatigue detection, aiming at the problems that gray projection algorithm is sensitive to posture change and the complex calculation of template matching,eye location algorithm based on integral projection and template matching is proposed.Face region is detected by using image network analysis algorithm,the eye area is roughly located through the method of gray-level integral projection and face geometry character,then precisely located by using template matching.Simulation shows that this algorithm has good location effect for wearing glasses and posture change image compared with the traditional template matching algorithm.

eye location； gray-level integral projection； template matching

2016-10-21

陜西省科技廳自然科學(xué)基礎(chǔ)研究計(jì)劃項(xiàng)目(2014JM8329)； 陜西省教育廳專(zhuān)項(xiàng)科研計(jì)劃項(xiàng)目(14JK1092)； 咸陽(yáng)市科技計(jì)劃項(xiàng)目(2011K07-03)； 陜西科技大學(xué)博士科研啟動(dòng)基金項(xiàng)目(BJ10-10)

亢 潔(1973-)，女，陜西潼關(guān)人，副教授，博士，研究方向：數(shù)字圖像處理、模式識(shí)別

1000-5811(2017)01-0174-04

TP391

A