基于改進(jìn)GIPF和形態(tài)學(xué)濾波的快速人眼定位方法

王金海，吳立平，崔 軍

（1.天津工業(yè)大學(xué)電子與信息工程學(xué)院，天津 300387；2.天津市醫(yī)學(xué)電子診療技術(shù)工程中心，天津 300387）

基于改進(jìn)GIPF和形態(tài)學(xué)濾波的快速人眼定位方法

王金海1，2，吳立平1，崔 軍1

（1.天津工業(yè)大學(xué)電子與信息工程學(xué)院，天津 300387；2.天津市醫(yī)學(xué)電子診療技術(shù)工程中心，天津 300387）

針對(duì)傳統(tǒng)積分投影方法易受眉毛、睫毛、陰影、遮擋及噪聲等干擾的問(wèn)題，提出了一種改進(jìn)梯度積分投影（GIPF）和形態(tài)學(xué)濾波相結(jié)合的快速人眼定位算法.該算法首先采用二維梯度算子計(jì)算人臉圖像的行列積分投影，完成人眼粗定位，減少眉毛和光照等的干擾；其次，利用形態(tài)學(xué)濾波平滑圖像邊界的特點(diǎn)，準(zhǔn)確分離出瞳孔區(qū)域；最后采用不規(guī)則矩求質(zhì)心的方法精確定位人眼.該方法在耶魯大學(xué)的YaleB圖像庫(kù)、ORL及日本表情庫(kù)（JAFFE）上表現(xiàn)優(yōu)異.實(shí)驗(yàn)結(jié)果表明，本方法不易受眉毛及噪聲干擾，對(duì)不同光照條件及頭部姿態(tài)都有良好的魯棒性，并且運(yùn)算速度更快.

人眼定位；積分投影；索貝爾算子；形態(tài)學(xué)濾波；GIPF

眼睛作為人臉的主要特征之一，在人臉檢測(cè)中起著重要作用.人眼的準(zhǔn)確定位是人臉其他部位檢測(cè)、提取的基礎(chǔ).由于眼睛在臉部的位置特點(diǎn)，眼睛定位易受眉毛、劉海及皺紋的干擾，因此眼睛定位正朝著準(zhǔn)確且快速的方向發(fā)展.目前，人眼定位方法主要有：①形狀模板匹配法[1-3]，此方法能夠同時(shí)得到眼睛的位置和形狀信息，但模板表示復(fù)雜，且存在能量函數(shù)收斂的問(wèn)題；②基于統(tǒng)計(jì)學(xué)習(xí)的方法[4-5]，這類(lèi)方法對(duì)眼睛形狀魯棒性較強(qiáng)，但是需要大量訓(xùn)練樣本；③基于灰度特征的方法[6-8]，此方法具有計(jì)算量小以及尺度不變性等優(yōu)點(diǎn)，被廣泛應(yīng)用于人眼定位[9-10].傳統(tǒng)的基于灰度特征的人眼定位方法IPF（integral projection function）、VPF（variance projection function）和HPF（hybrid projection function），主要是在某一行或某一列上的投影，這種一維的投影方式使得投影結(jié)果對(duì)頭發(fā)、陰影等造成的灰度影響非常敏感，常常會(huì)在投影曲線(xiàn)中形成多個(gè)波峰或波谷，因此在實(shí)際運(yùn)算過(guò)程中必然增大了運(yùn)算誤差，從而導(dǎo)致定位的準(zhǔn)確度降低.在人臉圖像中眼睛區(qū)域上面如果受到了額發(fā)的干擾，即使額發(fā)較稀少，干擾很輕，也會(huì)直接導(dǎo)致IPF、VPF和HPF的投影結(jié)果都產(chǎn)生眾多的波谷，這就使得確定瞳孔位置的操作變得十分困難，增大了誤檢的概率.為了減小這種線(xiàn)狀或小的片狀干擾帶來(lái)的誤差，文獻(xiàn)[11]提出了梯度積分投影（GIPF）的方法，此方法解決了眉毛干擾問(wèn)題，但原有GIPF算法中的一維梯度算子易受光照的影響，產(chǎn)生的投影曲線(xiàn)不平滑，毛刺較多，受人臉背景、面部光照及虹膜亮點(diǎn)的干擾嚴(yán)重.本文提出了采用索貝爾算子作為梯度算子，索貝爾算子根據(jù)像素點(diǎn)上下、左右鄰近點(diǎn)灰度加權(quán)差，在邊緣處達(dá)到極值這一特點(diǎn)，減弱了光照的影響，產(chǎn)生的投影曲線(xiàn)更加光滑.針對(duì)人眼模塊進(jìn)行形態(tài)學(xué)濾波處理減少了計(jì)算量，很好的提取出瞳孔的圖像；最后采用不規(guī)則矩求質(zhì)心的方法精確定位人眼.

1 GIPF算法

一組梯度算子能夠突出圖像的局部灰度變化，即在局部灰度顯著變化的區(qū)域（如虹膜和鞏膜交界處）響應(yīng)較大，而對(duì)噪聲和模糊的邊緣響應(yīng)較小.因此，GIPF采用如圖1所示的長(zhǎng)度為7個(gè)像素的一維梯度算子分別計(jì)算圖像中各點(diǎn)的行梯度和列梯度.

圖1 梯度算子Fig.1 Gradient operator

GIPF算法圖像的梯度模值由式（1）計(jì)算得到.

式中：H為行/列梯度算子；f（x，y）為人臉圖像.

采用傳統(tǒng)GIPF一維梯度算子卷積后該部分的行梯度模值，具體表示如式（2）.

經(jīng)過(guò)梯度算子濾波后所得曲線(xiàn)的極大值處為人眼的位置，此值越大，該曲線(xiàn)對(duì)人眼定位的貢獻(xiàn)越大，權(quán)值也應(yīng)該越大；極大值以外的其他數(shù)據(jù)越平滑，則對(duì)人眼定位的干擾越小，相應(yīng)權(quán)值也應(yīng)該越小.由上式可以看出傳統(tǒng)的GIPF采用的一維梯度算子，由于只結(jié)合了該點(diǎn)上下的灰度值進(jìn)行求梯度運(yùn)算，雖然對(duì)圖像邊緣更敏感，但是當(dāng)出現(xiàn)干擾時(shí)，某個(gè)區(qū)域的梯度肯定會(huì)發(fā)生變化，從而降低了該算法的抗噪聲能力，導(dǎo)致該算法對(duì)光照很敏感，因此得到的曲線(xiàn)不夠平滑.

2 基于改進(jìn)的GIPF和形態(tài)學(xué)濾波的人眼定位

2.1 改進(jìn)的GIPF

通過(guò)上述對(duì)GIPF算法的闡述分析得知，GIPF法雖然可以獨(dú)立使用投影法定位人眼，但一維梯度算子受人臉背景、面部光照及虹膜亮點(diǎn)的干擾嚴(yán)重.為了解決這個(gè)問(wèn)題，本文采用索貝爾算子作為梯度算子進(jìn)行人眼模塊的分割.如式（3）所示，該算子包含2組3*3的矩陣，Hx、Hy與圖像作平面卷積，即可分別得出橫向及縱向的亮度差分近似值.

本文的行梯度模值Gx具體計(jì)算如式（4）所示.

索貝爾算子根據(jù)像素點(diǎn)上下、左右鄰近點(diǎn)灰度加權(quán)值，在邊緣處達(dá)到極值這一現(xiàn)象檢測(cè)邊緣.對(duì)噪聲具有平滑作用，提供較為精確的邊緣方向信息，當(dāng)出現(xiàn)光照干擾時(shí)考慮到上下左右灰度的加權(quán)值，這一區(qū)域的梯度變化不會(huì)凸現(xiàn)出來(lái)，得到的曲線(xiàn)會(huì)更加平滑，使得干擾減小.相比較一維梯度算子濾波，在光照的影響下圖像中眉毛區(qū)域響應(yīng)更弱，消除了眉毛對(duì)人眼定位的影響，并且眼睛區(qū)域的響應(yīng)更加明顯.

2.2 人眼區(qū)域的提取

傳統(tǒng)投影方法確定人眼區(qū)域時(shí)，需要利用“三庭五眼”的規(guī)則，分割出的人眼區(qū)域多數(shù)包含眉毛.而眉毛對(duì)傳統(tǒng)投影方法會(huì)有很大的干擾.通過(guò)上述對(duì)改進(jìn)的GIPF算法的分析得知，改進(jìn)的GIPF算法能夠有效地突出圖像局部變化，且對(duì)光照的影響不明顯，所得到的曲線(xiàn)更加光滑.

利用上述算法進(jìn)行了測(cè)試，人臉圖像樣本和梯度投影結(jié)果如圖2所示.從圖中可以看出瞳孔位置出現(xiàn)明顯波峰，達(dá)到了很好的眼睛粗定位效果.

圖2 人臉圖像樣本和梯度投影結(jié)果Fig.2 Rough localization process of human eyes by GIPF algorithm

本文首先對(duì)人臉圖片進(jìn)行邊緣檢測(cè)，以加強(qiáng)圖片的邊緣效應(yīng)，效果如圖2（b）.加強(qiáng)邊緣后，先進(jìn)行行積分投影，投影效果如圖2（c）.本文取人臉圖像的行梯度投影積分函數(shù)的最大值位置作為人眼中心的水平位置，從最大值位置開(kāi)始分別向上、下兩個(gè)方向?qū)ふ移渖舷碌谝粋€(gè)波谷的位置作為人眼區(qū)域的上下兩條邊界.針對(duì)上一步提取出的眼睛條狀模塊用索貝爾列梯度算子進(jìn)行列梯度積分投影，而不是直接對(duì)整幅圖片做列積分投影.因?yàn)榻?jīng)過(guò)裁剪的條狀模塊剔除了與眼睛不相干的干擾信息，同時(shí)與全圖相比包含的像素?cái)?shù)少，積分投影時(shí)，占用較少的資源，提高算法的總體執(zhí)行速度，投影圖如2（d）所示.對(duì)比眼睛條狀模塊可以看出，眼睛邊框部分梯度變化最明顯，在兩個(gè)眼眶部分形成了波峰.因此，從投影圖波峰位置開(kāi)始分別向左、右兩個(gè)方向?qū)ふ移渥笥业谝粋€(gè)積分投影值為0的位置作為人眼區(qū)域的眼眶寬度，并用白色的方框?qū)⒆笥已劭艨虺鰜?lái).部分圖像定位結(jié)果如圖3所示.

圖3 部分人眼粗定位實(shí)例Fig.3 Examples of coarse localization by improved GIPF algorithm

2.3 人眼精確定位

前兩步得到的眼睛窗口中主要包含灰度值較小的瞳孔和虹膜區(qū)域以及灰度值較大的鞏膜和皮膚區(qū)域.一般認(rèn)為虹膜中心即是眼睛的中心位置，本文提出了一種對(duì)形態(tài)學(xué)濾波后的圖片求不規(guī)則矩中心的方法定位虹膜的中心.由粗定位提取的人眼塊經(jīng)過(guò)預(yù)處理后所得到的邊界是很不平滑的，而且具有一些錯(cuò)判的孔洞，背景區(qū)域散布著一些小的噪聲物體，不利于精確定位.本文利用形態(tài)學(xué)分離物體、平滑邊界的優(yōu)點(diǎn)進(jìn)行精確定位.通常的形態(tài)學(xué)運(yùn)算經(jīng)常被用在人眼的粗定位上，容易受眉毛和嘴部的影響，要消除的物體邊界過(guò)于多，不能完全利用形態(tài)學(xué)的優(yōu)勢(shì).在本文先提取眼睛模塊的基礎(chǔ)上，排除了眉毛等器官的影響，直接對(duì)眼部圖像進(jìn)行預(yù)處理和形態(tài)學(xué)濾波處理，不僅計(jì)算量明顯減少而且速度和準(zhǔn)確度明顯提高.具體實(shí)現(xiàn)方法如下.處理效果如圖4所示.

圖4 形態(tài)學(xué)濾波精確定位Fig.4 Precise location by morphological filtering

（1）對(duì)人眼塊進(jìn)行預(yù)處理：首先采用直方圖均衡化的方法增強(qiáng)局部的對(duì)比度.其次，為了確定虹膜區(qū)域，要對(duì)圖像進(jìn)行圖像分割[12].本文采用閾值分割的方法將圖像二值化，確定出虹膜區(qū)域.圖4（a）為眼睛模塊通過(guò)預(yù)處理后的效果圖.

（2）分離出瞳孔.因?yàn)榈统叽缃Y(jié)構(gòu)元素的腐蝕操作很容易去掉圖像中分散的椒鹽噪聲，所以本文選用3× 3矩形，錨點(diǎn)在中間的結(jié)構(gòu)元素對(duì)二值化后的眼睛圖像進(jìn)行4次開(kāi)運(yùn)算（當(dāng)?shù)陀?次開(kāi)運(yùn)算時(shí)得到的圖像不夠平滑，4次開(kāi)運(yùn)算時(shí)得到的圖像達(dá)到較好的濾波，大于4次開(kāi)運(yùn)算，增加了算法的運(yùn)行時(shí)間，降低了執(zhí)行效率和魯棒性），效果最佳，眼睛部分的最大連通區(qū)域效果明顯.

從圖4（a）、（b）可以看出，經(jīng)過(guò)開(kāi)運(yùn)算之后，虹膜被準(zhǔn)確地提取出來(lái)，形成了不規(guī)則的連通區(qū)域.針對(duì)瞳孔的連通區(qū)域本文提出了采用不規(guī)則區(qū)域矩的方法計(jì)算眼睛的中心，把一個(gè)歸一化的灰度級(jí)圖像函數(shù)理解為一個(gè)二維隨機(jī)變量的概率密度，如式（5）所示，定義為mp，q.

式中：M和N為圖像水平和垂直方向的維數(shù)；f（m，n）為圖像在點(diǎn)（m，n）處的灰度值.設(shè)圖片中心坐標(biāo)（Xc，Yc），則Xc=m10/m00；Yc=m10/m00；在二值圖像的情況下，m00為白色區(qū)域的0階矩，表示域的面積.m10和m01為其兩個(gè)1階矩.這樣通過(guò)提取濾波后的0階和1階矩，計(jì)算出眼睛的中心.經(jīng)過(guò)實(shí)驗(yàn)分析證明了上述分析的合理性.

3 實(shí)驗(yàn)結(jié)果與分析

首先，在當(dāng)前圖像的灰度圖像中，根據(jù)眼睛所在連通區(qū)域的坐標(biāo)，計(jì)算瞳孔的特征向量，然后，通過(guò)計(jì)算得出眼睛坐標(biāo)，在截取的人臉圖像中用紅色點(diǎn)標(biāo)定出來(lái).

實(shí)驗(yàn) 1：該實(shí)驗(yàn)程序采用 Qt4.8編寫(xiě)，采用opencv2.0的動(dòng)態(tài)鏈接庫(kù)，硬件平臺(tái)為：windows7 2G RAM INTEL Core i3 3.3 GHz.分別在耶魯大學(xué)的YaleB人臉數(shù)據(jù)庫(kù)、劍橋大學(xué)的ORL數(shù)據(jù)庫(kù)和日本女性表情圖像庫(kù)The Japanese Female Facial Expression（JAFFE）3個(gè)數(shù)據(jù)庫(kù)分析算法的整體性能.YaleB人臉庫(kù)包含38個(gè)人、9種姿態(tài)和64種光照的21 888種圖像，因此，用此人臉庫(kù)能較好地驗(yàn)證出算法對(duì)光照的適應(yīng)性.本文從中隨機(jī)選取光照水平角在40°以?xún)?nèi)的400張人臉圖像作為一個(gè)測(cè)試集，用于考察算法對(duì)光照的適應(yīng)性.選取由劍橋大學(xué)實(shí)驗(yàn)室創(chuàng)建的ORL數(shù)據(jù)庫(kù)，包含40人共400張面部圖像作為一個(gè)測(cè)試集，部分志愿者的圖像包括了姿態(tài)、表情和面部飾物的變化，用以考察算法對(duì)姿態(tài)、面部遮擋物的適應(yīng)性.選取JAFFE人臉庫(kù)中包括215張圖像，通過(guò)該測(cè)試集可以考察算法對(duì)表情及人臉邊緣的適應(yīng)性.測(cè)試結(jié)果如表1，部分測(cè)試圖片效果如圖5所示.

表1 測(cè)試結(jié)果表Tab.1 Test results on three databases

圖5 部分定位效果圖Fig.5 Part positioning effect results in Figure

表1給出了本文算法在3個(gè)圖像庫(kù)的定位準(zhǔn)確度和定位時(shí)間，可以得出本文提出的方法在JAFFE和ORL上的測(cè)試結(jié)果明顯高于YaleB上的結(jié)果，這主要由于YaleB中的樣本存在光照變化，并且樣本小角度姿態(tài)變化使臉部光照的影響更加嚴(yán)重，而光照對(duì)定位的影響較表情、姿態(tài)及邊緣的影響要嚴(yán)重.圖5給出了本文算法的部分定位結(jié)果，該算法在大角度偏光、強(qiáng)光照、姿態(tài)變化及存在夸張表情等情況下，都能成功定位.

實(shí)驗(yàn)2：對(duì)文獻(xiàn)[13]中的混合投影函數(shù)（HPF）的眼睛定位方法和文獻(xiàn)[11]中的梯度積分投影（GIPF）方法研究，并在光照復(fù)雜的YaleB人臉數(shù)據(jù)庫(kù)上進(jìn)行實(shí)現(xiàn).經(jīng)過(guò)實(shí)驗(yàn)對(duì)比，3種方法在YaleB庫(kù)上的定位準(zhǔn)確率及運(yùn)算時(shí)間如表2所示.

表2 不同人眼定位方法的定位率及平均運(yùn)算時(shí)間Tab.2 Comparison of accuracy and computation time by three algorithms

表2給出了不同人眼定位方法的定位率以及平均運(yùn)算時(shí)間，可以看出，由于YaleB數(shù)據(jù)庫(kù)中的圖像存在光照問(wèn)題，以上2種方法的定位都受到了影響，本文的方法在一定程度上減小了光照的影響，雖然前期二維算子的運(yùn)算時(shí)間高于一維梯度積分投影算法時(shí)間，但是減小了光照影響，后期采用的形態(tài)學(xué)濾波方法進(jìn)行精確定位時(shí)計(jì)算量小，運(yùn)算速度快.從而本文方法整體運(yùn)算速度很快，平均時(shí)間最短，人眼定位準(zhǔn)確度提高.與HPF、GIPF法相比，本文方法減弱了光照對(duì)人眼定位的影響，運(yùn)算速度較快，人眼定位準(zhǔn)確率較高.

4 結(jié)束語(yǔ)

傳統(tǒng)投影算法對(duì)人臉邊緣、表情及光照適應(yīng)性差，易受眉毛、劉海及皺紋等干擾，并且無(wú)法從人臉圖像中自動(dòng)獲取人眼區(qū)域.針對(duì)上述問(wèn)題，本文提出了一種改進(jìn)的梯度積分投影與形態(tài)學(xué)濾波結(jié)合的人眼定位算法.該算法能夠減弱光照的影響，大大提高了算法的魯棒性.本文算法不僅能夠從光照復(fù)雜及存在背景的人臉圖像中自動(dòng)獲取人眼區(qū)域，而且能夠克服表情、陰影、眼鏡及皺紋等的影響，快速實(shí)現(xiàn)人眼定位.從人臉庫(kù)測(cè)試結(jié)果看，本文采用改進(jìn)二維梯度積分投影與形態(tài)學(xué)濾波結(jié)合的算法優(yōu)于傳統(tǒng)投影算法，并且綜合運(yùn)算時(shí)間短，提高了識(shí)別速度.

[1]HANSEN D W，J I Q.In the eye of the beholder：A survey of models for eyes and gaze[J].IEEE Trans Pattern Analysis and Machine Intelligence，2010，32（3）：478-500.

[2] 劉源.基于模板匹配算法的人眼定位方法[J].火力與指揮控制，2014，39（5）：124-126.

[3] 鄭玉鐸，田楊萌，靳薇.基于AdaBoost和ASM算法的人眼定位[J].北京信息科技大學(xué)學(xué)報(bào)，2013，28（3）：73-76.

[4] 胡濤，王家樂(lè).基于支持向量機(jī)的人眼檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2008，44（24）：188-190.

[5]KIM H，KIM W.Eye detection in facial images using Zernike moments with SVM[J].ETRI Journal，2008，30（2）：335-337.

[6]黃彬彬，唐琎．一種新的人臉圖像中眼睛定位方法[J].液晶與顯示，2009，24（2）：278-282.

[7] 李?lèi)?ài)平，魏江，郝思思.基于灰度投影與改進(jìn)Hough變換的人眼定位算法[J].電子設(shè)計(jì)工程，2014，22（16）：171-173.

[8]王文成，常發(fā)亮.一種基于區(qū)域投影的人眼精確定位方法[J].光電子·激光，2011，22（4）：618-622.

[9]辜小花，龔衛(wèi)國(guó)，楊利平.有監(jiān)督圖優(yōu)化保局投影[J].光學(xué)精密工程，2011，19（3）：672-680.

[10]王力，唐琎，許海柱．一種基于Harris角點(diǎn)檢測(cè)的快速瞳孔定位方法[J].液晶與顯示，2008，23（11）：87-90.

[11]孟春寧，白晉軍，張?zhí)珜帲龋谔荻确e分投影和最大期望算法的人眼定位[J].光電子·激光，2012，23（10）:1971-1976.

[12]翁秀梅，肖志濤，楊洪薇.基于邊緣檢測(cè)和區(qū)域生長(zhǎng)的自然彩色圖像分割[J].天津工業(yè)大學(xué)學(xué)報(bào)，2008，27（1）：50-52.

[13]韓文靜，李晶，孫農(nóng)亮.基于HPF和Hough變換的人眼精確定位[J].計(jì)算機(jī)工程與應(yīng)用，2008，44（10）：64-66.

Fast eye localization method based on improved GIPF and morphological filter

WANG Jin-hai1，2，WU Li-ping1，CUI Jun1
（1.School of Electronics and Information Engineering，Tianjin Polytechnic University，Tianjin 300387，China；2.Tianjin Medical Electronic Treating-Technology Engineering Center，Tianjin 300387，China）

To overcome the effects of eyebrows，eyelashs，shadows，occlusion and noises in traditional integral projection methods，this paper presents a fast algorithm for eye localization combined an improved gradient projection function （GIPF）method with morphological filtering.First of all，it uses a two-dimensional gradient operator to calculate the integral projection of a human face to locate the human eyes roughly.Secondly，in order to separate the pupil area accurately，morphological image filtering algorithm is used to get a smooth boundary.Finally，the precise position of human eyes can be obtained by centroid calculation with irregular shape image moments.We have compared this method with the Japanese expression database （JAFFE），the YaleB database and the ORL database.This method is much faster for eye localization，without influences by the eyebrows，furthermore，it shows good robustness to different light conditions and head poses as well as other noise interferences.

eye localization；integral projection；Sobel operator；morphological filtering；GIPF

TP391.4

A

1671－024X（2015）01－0055－04

2014-10-08

天津市應(yīng)用基礎(chǔ)及前沿技術(shù)研究計(jì)劃項(xiàng)目（13JCYBJC37800）

王金海（1966—），男，工學(xué)博士，教授，研究方向?yàn)樾盘?hào)檢測(cè)與智能處理.E-mail：wangjinhai@tjpu.edu.cn