眼部特征自動檢測定位方法

張 超，盧韶芳，周付根

（1.北京航空航天大學(xué) 宇航學(xué)院，北京100191；2.吉林大學(xué) 通信工程學(xué)院，長春130022）

0 引 言

在機器人立體視覺系統(tǒng)下的面部圖像配準(zhǔn)中，很多是基于面部特征點進(jìn)行配準(zhǔn)，其中眼睛是人臉的重要器官，含有重要的特征信息，所以虹膜及眼角的準(zhǔn)確定位具有重要意義。經(jīng)過多年的發(fā)展，國內(nèi)外對這方面做了大量的研究，馮建強［1］對面部的二值圖像采用積分投影的方法對虹膜定位，這種方法對圖像二值化的分割閾值要求較高，分割閾值的準(zhǔn)確性對虹膜定位結(jié)果有很大的影響；Li［2］將AdaBoost和Harris算法相結(jié)合，但該方法沒有考慮眼皮對虹膜的遮擋，只能提取可見虹膜區(qū)域，降低了虹膜中心定位的精度；Zhang［3］和李亞利［4］采用拋物線型模板擬合上下眼皮，利用兩個拋物線的交點定位眼角，該方法所用參數(shù)較多，計算較為復(fù)雜。Hamouz［5］使用Gabor濾波器檢測眼睛的內(nèi)外眼角和眼睛的中心位置，此方法對圖像中的紋理特征過于敏感，當(dāng)圖像紋理細(xì)節(jié)過于復(fù)雜時檢測結(jié)果會受到一定的影響。

本文在現(xiàn)有研究的基礎(chǔ)上提出了一種眼部特征自動檢測定位新方法。首先利用AdaBoost算法在復(fù)雜背景下實現(xiàn)人臉檢測，然后根據(jù)人臉區(qū)域的方差積分投影提取眼睛區(qū)域，同時設(shè)計了可變形圓形模板，并對優(yōu)化匹配函數(shù)進(jìn)行改進(jìn)，以此來確定虹膜中心及半徑，最后在此基礎(chǔ)上將設(shè)計的線形模板與Harris角點檢測算法相結(jié)合，對眼睛的內(nèi)外眼角進(jìn)行精確定位。實驗結(jié)果表明，本方法可以很好地對復(fù)雜背景下面部圖像中人眼的虹膜及內(nèi)外眼角進(jìn)行準(zhǔn)確定位。同時與經(jīng)典算法相比較，本文提出的虹膜檢測方法在檢測精度上有一定的提高。

1 眼部及眼睛區(qū)域提取

1.1 臉部區(qū)域提取

AdaBoost算法［6－7］是具有自適應(yīng)的boosting算法，是對boosting的有效改進(jìn)。算法的基本思想是將弱分類器疊加起來，構(gòu)成一個具有很強分類能力的強分類器。

本文中將級聯(lián)結(jié)構(gòu)人臉檢測分類器的每一級都采用AdaBoost算法進(jìn)行訓(xùn)練。通過AdaBoost算法將Haar－like特征生成的弱分類器疊加成為強分類器，使之具有很強的檢測能力。圖1是人臉面部檢測結(jié)果。

圖1 面部檢測Fig.1 Face detection

1.2 眼睛區(qū)域提取

原始圖像是彩色圖像，由于彩色圖像為三維數(shù)據(jù)，為了不丟失彩色信息，這里用HSI彩色模型中的I分量來代表灰度圖像。因為在圖像采集的過程中，外界環(huán)境及攝像機內(nèi)部不可避免地會對圖像質(zhì)量產(chǎn)生影響，例如，噪聲及光照不均會對特征的識別和定位產(chǎn)生一定的影響，所以必須在處理之前對圖像進(jìn)行預(yù)處理。中值濾波是一種能有效抑制圖像噪聲的非線性信號處理技術(shù)，它對于干擾脈沖和點狀噪聲有良好的抑制作用，同時又能保護(hù)好圖像邊緣，所以本文采用3×3中值濾波器對采集到的圖像進(jìn)行濾波。另外，用灰度均衡化來增強圖像的對比度，減少不均勻光照對圖像質(zhì)量的影響。

在提取出面部區(qū)域后，根據(jù)面部特征的先驗知識，計算面部區(qū)域圖像中的豎直及水平方向的方差積分投影［8］，然后通過對積分投影函數(shù)值的分析來提取眼睛區(qū)域。

根據(jù)先驗知識，從圖2可以容易看出第一個谷點A1為眉毛中心區(qū)域，第二個谷點A2為眼睛中心區(qū)域。根據(jù)人臉器官的比例分布規(guī)律，眉毛與眼睛之間的距離大約為眼睛的高度，所以計算圖2中A2點的橫坐標(biāo)A2x與A1點的橫坐標(biāo)A1x之差可以估計眼睛的高度，即眼睛的高度為A2x－A1x，所以在第二個谷點位置，左右各加減（A2x－A1x）／2，最后得到眼睛區(qū)域，如圖3所示。

圖2 豎直方向方差積分投影曲線Fig.2 Vertical variance integral projection curve

圖3 眼睛區(qū)域Fig.3 Eye region

圖4 水平方向方差積分投影曲線Fig.4 Horizontal variance integral projection curve

從圖4可以明顯看出：左右兩邊各有兩個較低的凹谷，因為眼睛區(qū)域的灰度強度較低，所以這兩個凹谷區(qū)域就是眼睛所在區(qū)域。根據(jù)“三停五眼”的規(guī)律，其中“五眼”指面部正面橫向可以分為五等分，以一個眼長為一個單位，即從外眼角垂線至外耳孔垂線之間為一個眼的距離，兩眼之間的距離為一個眼的距離。這里兩個最低谷點位置A3和A4可以看作眼球的中心位置，根據(jù)“五眼”的規(guī)律，在圖4中這兩個最低點的橫坐標(biāo)之差應(yīng)為兩個眼睛的距離，所以可以算出一個眼睛的距離，即為（A4x－A3x）／2，把這兩個最低谷點的位置左右各加減半個眼睛距離，即左右各加減（A4x－A3x）／4，最后可以得到兩個眼睛的區(qū)域，如圖5所示。

圖5 雙眼區(qū)域提取結(jié)果Fig.5 Result of eyes region detection

2 虹膜檢測定位

對于虹膜區(qū)域的檢測，關(guān)鍵是確定虹膜的半徑及虹膜的中心位置，所以虹膜檢測定位方法分為3步，第一步是粗略地估計虹膜半徑的范圍；第二步是確定虹膜的真實期望半徑R；第三步是用半徑為R 的圓形模板定位虹膜的中心位置。

2.1 虹膜檢測定位方法

因為虹膜的上部和下部可能會被眼皮遮擋，所以本文用Sobel的垂直分量對邊緣進(jìn)行檢測，檢測到的邊緣圖像為S（x，y）。

因為虹膜區(qū)域的灰度較低，并且是圓形的，所以本文設(shè)計了一個可變形的圓形模板和圓環(huán)模板，圓形和圓環(huán)模板設(shè)計形狀如圖6所示，圖中黑色區(qū)域表示像素為0，白色區(qū)域表示像素為1。

圖6 圓形和圓環(huán)模板Fig.6 Circular and ring template

把上面兩個模板在眼睛區(qū)域圖像上進(jìn)行匹配，其主要是對灰度強度I（x，y）和邊緣強度S（x，y）進(jìn)行匹配。通過計算優(yōu)化匹配函數(shù)來確定虹膜位置。設(shè)計的優(yōu)化匹配函數(shù)如下：

式中：A 為圓形模板中圓形區(qū)域；l為圓環(huán)模板的圓周；r為模板半徑；P1為圓形模板覆蓋下的灰度強度；P2為圓環(huán)模板覆蓋下的邊緣強度。

通過分析可知：當(dāng)式（3）中W（r）達(dá)到最大值時的位置可以確定為虹膜位置。但由于實際虹膜大小不確定，所以模板的大小也就不能確定，另外，圖像中偽虹膜邊緣等的干擾使得匹配函數(shù)很容易陷入局部極值。為了解決這個問題，本文在此基礎(chǔ)上進(jìn)行了改進(jìn)，將圓形模板設(shè)計為可變形圓形模板，同時引入虹膜期望半徑R 和灰度強度與邊緣強度權(quán)值C1和C2。即只有當(dāng)圓形模板的實際半徑r和期望半徑R 相同時，優(yōu)化匹配函數(shù)達(dá)到最大值的位置可以認(rèn)定為虹膜位置，所以改進(jìn)后的加權(quán)優(yōu)化匹配函數(shù)如下：

式中：C1和C2分別表示灰度強度和邊緣強度的權(quán)值，本文中C1和C2定義為：

式中：rmax為模板實際半徑最大值，本文中rmax可取為圖5中眼睛圖像高度的一半。

2.2 虹膜期望半徑范圍粗略估計

因為實際虹膜半徑的不確定性，同時也為了提高計算速度，縮小期望半徑的搜索范圍，需要預(yù)先估計期望半徑范圍。

圖7 眼睛區(qū)域豎直方向方差積分投影曲線Fig.7 Vertical variance integral projection curve of eye region

在提取出圖5中的眼睛區(qū)域后，用1.2節(jié)的方法計算眼睛區(qū)域豎直方向方差積分投影。左眼區(qū)域的豎直方向方差積分投影如圖7所示。從圖7中可以看到中間有一個明顯凹谷，由于虹膜區(qū)域的灰度強度較低，所以可以推斷出中間的凹谷就是虹膜所在區(qū)域。計算圖7中曲線兩測的拐點r1和r2的橫坐標(biāo)r1x和r2x，虹膜估計半徑R′＝（r2x－r1x）／2，所以粗略估計虹膜期望半徑范圍為［R′－ε，R′＋ε］。用同樣的方法可以得到右眼虹膜的期望半徑范圍。

2.3 虹膜期望半徑R 的確定

虹膜期望半徑范圍確定后，令圓形模板半徑r從R′－ε到R′＋ε分別計算改進(jìn)后的優(yōu)化匹配函數(shù)W（r），本文令ε＝4。圖8分別是圖5中左眼、右眼改進(jìn)后的優(yōu)化匹配函數(shù)變化曲線。半徑r過大或過小都得不到正確結(jié)果，所以這里計算得到的W（r）值會隨著半徑r的變化上下波動。

從圖8可以看出：當(dāng)半徑較小時，曲線不規(guī)則地上下波動，即半徑r小于期望半徑R，只有當(dāng)半徑r達(dá)到期望半徑R 時W（r）才能達(dá)到一個波峰，并隨著半徑的繼續(xù)增大，即當(dāng)r大于期望半徑R 時，W（r）持續(xù)遞減。所以，把曲線一直持遞減狀態(tài)的最大點對應(yīng)的半徑認(rèn)定為期望半徑R，從圖8可以得到左眼、右眼虹膜的期望半徑R，即為圖8中A5點和A6點的橫坐標(biāo)。

圖8 改進(jìn)后的優(yōu)化匹配函數(shù)變化曲線Fig.8 Improved optimization matching function curve

2.4 虹膜中心位置定位方法

在上面計算得到的期望半徑R 的基礎(chǔ)上生成半徑為R 的圓形模板，用此模板在眼睛圖像上找到令W（R）達(dá)到最大值的點，并把此點作為虹膜的中心。檢測結(jié)果如圖9所示。

圖9 虹膜檢測結(jié)果Fig.9 Result of iris detection

3 眼角檢測定位

3.1 眼角方向檢測

在圖像經(jīng)過預(yù)處理后，首先進(jìn)行Sobel邊緣檢測，然后在邊緣圖像上檢測最左側(cè)和最右側(cè)的邊緣點，以此來估計眼角的大概粗略位置。以虹膜中心為圓心，眼角的粗略位置與虹膜中心的距離為半徑，規(guī)定以兩個眼睛虹膜中心連線為零度方向，上下各30°（共60°）畫圓弧FG。從上到下圓弧上每個點與虹膜中心連線L（k），其中k＝1，2，3，…，60，計算每條連線L（k）上的灰度強度均值D1（k），并畫出D1（k）曲線，如圖10所示，其中水平軸為角度方向，縱軸為D1（k）值。

根據(jù)眼睛的結(jié)構(gòu)可知：虹膜中心到眼角的連線上經(jīng)過白色虹膜區(qū)域是最多的，所以在眼角方向的連線上D1（k）值應(yīng)是最大的，所以找到D1（k）最大值時的圓弧角度方向即為眼角所在方向。在圖10中A7點對應(yīng)的圓弧角度就是眼角相對虹膜中心的角度方向，即弧FG 上的E 點，如圖11所示。

圖10 外眼角D1（k）曲線Fig.10 curve D1（k）of outer canthus

圖11 眼角方向檢測Fig.11 Direction detection of canthus

3.2 眼角位置檢測

眼角具有很強的角點特征，而Harris角點檢測算法［9］具有旋轉(zhuǎn)不變性，同時對圖像亮度和對比度的變化不敏感，所以本文利用Harris角點檢測算法對眼角檢測。其主要處理過程如下：

式中：Ix和Iy分別為x 向和y 向的梯度；G 為高斯模板；det為矩陣行列式；trace為矩陣的跡；D2為角點響應(yīng)值，角點響應(yīng)值越大表明該點越有可能是角點，所以通過計算某點的角點響應(yīng)值D2的大小就可以確定該點是否為角點。

眼角相對虹膜中心的方向確定之后，就在這個方向下搜索眼角的具體位置。在圖11中連接OE 并延長，與虹膜邊界交于B 點。以B 為起點沿著射線BE 的方向，計算射線BE 上的每一點的Harris角點響應(yīng)值D2，并畫出D2曲線如圖12所示。

圖12 射線BE 上每一點角點響應(yīng)曲線Fig.12 Corner response curve of ray BE

因為眼角具有明顯的角點特征，在圖12中的曲線上，眼角處的Harris角點響應(yīng)值應(yīng)處于一個波峰，另外眼角距離B 點最遠(yuǎn)，所以在圖12中取最后一個波峰為眼角所在位置，即A8點。實驗結(jié)果如圖13所示。

圖13 眼角檢測結(jié)果Fig.13 Result of canthus detection

4 實驗結(jié)果分析

本文選用IMM 人臉庫作為實驗數(shù)據(jù)。IMM人臉庫中共240幅面部圖像，包括40位不同人的面部圖像，其中33位為男性，7位為女性，圖像尺寸為640×480。本文對庫中的120 幅正面人臉圖像、40幅單側(cè)強光圖像和80 幅大角度偏轉(zhuǎn)面部圖像分別做了實驗。部分實驗結(jié)果如圖14所示，圖14（a）為正面人臉圖像檢測結(jié)果，圖14（b）為單側(cè)強光圖像檢測結(jié)果，圖14（c）為大角度偏轉(zhuǎn)面部圖像檢測結(jié)果。

圖14 部分實驗結(jié)果Fig.14 Part of experimental results

為了表明算法的準(zhǔn)確率，本文采用文獻(xiàn)［10］提出的方法，該方法用檢測值與實際值之間的相對誤差來判斷檢測的準(zhǔn)確率，即：

式中：derr為檢測特征點與實際特征點的歐式距離；f 為眼睛內(nèi)外兩個眼角的實際距離；規(guī)定當(dāng)err 小于10%時為正確檢測，否則為錯誤檢測。

統(tǒng)計了本文方法分別應(yīng)用于正面人臉圖像、單側(cè)強光圖像和大角度偏轉(zhuǎn)面部圖像檢測的準(zhǔn)確率，實驗結(jié)果如表1所示。

表1 實驗結(jié)果Table 1 Experimental results

表1表明，應(yīng)用本文方法可以較準(zhǔn)確地提取眼部特征點。其中，本文方法對正面人臉圖像、單側(cè)強光圖像及大角度偏轉(zhuǎn)面部圖像下的虹膜定位準(zhǔn)確率較高，均保持在96%以上。針對眼角的檢測，本文方法對正面人臉圖像及單側(cè)強光圖像下的眼角檢測準(zhǔn)確率較好，但對大角度偏轉(zhuǎn)圖像下的眼角定位準(zhǔn)確率略低，其主要原因是在面部發(fā)生偏轉(zhuǎn)后，虹膜與眼角較近，之間的眼白區(qū)域較小，使得眼角方向定位錯誤，使D1（k）陷入局部偽極值所致。

針對正面人臉圖像的虹膜檢測，本文與Wildes［11］提出的邊緣檢測結(jié)合Hough變換的經(jīng)典算法做了對比，本文方法的準(zhǔn)確率為98.3%，Wildes方法的準(zhǔn)確率為98.1%。Wildes方法應(yīng)用Hough變換對虹膜檢測前需先進(jìn)行邊緣檢測，而有些圖像在邊緣檢測時會受到睫毛等細(xì)節(jié)的影響，使得虹膜中心的定位不準(zhǔn)；同時，有些圖像在進(jìn)行邊緣檢測時還會受到虹膜內(nèi)部光斑的影響，在用Hough變換檢測虹膜時，檢測結(jié)果局限在實際虹膜內(nèi)部，使得檢測結(jié)果比實際虹膜要小，而本文方法在虹膜的整體區(qū)域上，利用可變形圓形模板的匹配函數(shù)來優(yōu)化定位虹膜中心和計算虹膜半徑，避免了睫毛和光斑等局部細(xì)節(jié)的影響，使得檢測結(jié)果相比經(jīng)典方法準(zhǔn)確率較高。

5 結(jié)束語

針對面部圖像中人眼虹膜的檢測及眼角定位提出了一種自動檢測定位的新方法。在虹膜檢測上，將圓形模板設(shè)計為可變形圓形模板，為了提高檢測的準(zhǔn)確率，將優(yōu)化匹配函數(shù)進(jìn)行加權(quán)改進(jìn)，以此來確定虹膜中心及半徑。實驗結(jié)果表明，本方法不僅可以對正面人臉圖像進(jìn)行檢測，同時克服了單側(cè)強光及面部大角度偏轉(zhuǎn)的不利因素，其檢測準(zhǔn)確率均保持在96%以上，所以在虹膜檢測上本文方法具有很好的應(yīng)用價值和前景。在眼角定位上，本文方法僅需要兩步。提出用線型模板來確定眼角相對虹膜中心的角度方向，然后在該方向下搜索眼角的最佳位置。實驗結(jié)果表明：本文方法對正面人臉圖像的眼角定位具有較高的準(zhǔn)確率，對單側(cè)強光影響較小，但對大角度偏轉(zhuǎn)面部圖像的眼角定位準(zhǔn)確率略有下降，因此有待于繼續(xù)研究，進(jìn)一步提高對大角度偏轉(zhuǎn)面部圖像的魯棒性。

［1］馮建強，劉文波，于盛林.基于灰度積分投影的人眼定位［J］.計算機仿真，2005，22（4）：75－76.Feng Jian－qiang，Liu Wen－bo，Yu Sheng－lin.Eyes location based on gray－level integration projection［J］.Computer Simulation，2005，22（4）：75－76.

［2］Li Xue，He Li－qiang.The implementation of eye location using adaboost and harris algorithm［C］∥2010International Conference on Management Science and Engineering（MSE2010），Wuhan，China，2010：462－463.

［3］Zhang Bai－zhen Ruan Qiu－qi.Facial feature extraction using improved deformable templates［C］∥2006 8th International Conference on Signal Processing，Beijing，2006：4.

［4］李亞利，王生進(jìn)，胡斌，等.基于改進(jìn)型拋物線Hough變換的眼睛特征提?。跩］.清華大學(xué)學(xué)報：自然科學(xué)版，2010，50（1）：100－103.Li Ya－li，Wang Sheng－jin，Hu Bin，et al.Eye feature extracti on based on modified parabolic Hough transforms［J］.Journal of Tsinghua University（Science and Technology），2010，50（1）：100－103.

［5］Hamouz M，Kittler J，Kamarainen J K，et al.Feature－based affine－invariant localization of faces［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（9）：1490－1495.

［6］Madhuranath H，Babu T R，Subrahmanya S V.Modified Adaboost method for efficient face detection［C］∥2012 12th International Conference on Hybrid Intelligent Systems（HIS），Pune，2012：415－420.

［7］史東承，鄭超.基于相位的人眼狀態(tài)檢測［J］.吉林大學(xué)學(xué)報：工學(xué)版，2013，43（增刊）：265－269.Shi Dong－cheng，Zheng Chao.Eye states detection algorithm based on phase information［J］.Journal of Jilin University of Technology（Engineering and Technology Edition），2013，43（Sup.）：265－269.

［8］夏海英，嚴(yán)國萍，王標(biāo).加權(quán)方差投影在眼角定位中的應(yīng)用［J］.中國圖象圖形學(xué)報，2011，16（2）：273－277.Xia Hai－ying，Yan Guo－ping，Wang Biao.Weighted variance projection for eye corner location［J］.Journal of Image and Graphics，2011，16（2）：273－277.

［9］Das A，Ghoshal D.Human eye detection of color images based on morphological segmentation using modified harris comer detector［C］∥2012International Conference on Emerging Trends in Electrical Engineering and Energy Management （ICETEEEM），Chennai，2012：143－147.

［10］Jesorsky O，Kirchberg K J，F(xiàn)rishchholz R.Robust face detection using the Hausdorff distance［C］∥Proceedings of the Thrid Internation Conference on Audio and Video based Biometric Person Authentication，Halmstad，Sweden，2001：90－95.

［11］Wildes R P.Iris recognition：An emerging biometric technology［J］.Proceedings of the IEEE，1997，85（9）：1348－1363.