基于多尺度自商圖和改進(jìn)積分投影法的人眼定位①

徐立杰, 朱建鴻

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院, 無(wú)錫 214122)

人臉特征提取是人臉識(shí)別、疲勞檢測(cè)、人機(jī)交互、監(jiān)控系統(tǒng)等領(lǐng)域中的重要初始工作.與人臉中其他部位相比, 眼睛具有較為突出和穩(wěn)定的特征, 因此人眼定位是人臉和其他部位檢測(cè)和提取的基礎(chǔ).在人臉檢測(cè)中, 眼睛的準(zhǔn)確定位可以有效地提高檢測(cè)效率和魯棒性[1].此外, 眼睛圖像的獨(dú)特性及眼睛的運(yùn)動(dòng)特點(diǎn)是表情理解、行為識(shí)別等技術(shù)的關(guān)鍵線(xiàn)索[2].

目前, 人眼定位算法主要有: 基于外形的方法、基于統(tǒng)計(jì)學(xué)習(xí)的方法以及基于外貌特征的方法.基于外形的方法主要有主動(dòng)形狀模型(Active Shape Model,ASM)[3]和邊緣提取法[4], 主動(dòng)形狀模型通過(guò)選取合適的初始位置來(lái)獲取人眼精確的特征點(diǎn)坐標(biāo); 邊緣提取法先預(yù)處理數(shù)據(jù), 然后對(duì)人眼邊緣進(jìn)行提取.基于統(tǒng)計(jì)學(xué)習(xí)的方法主要有AdaBoost分類(lèi)[5]和支持向量機(jī)(Support Vector Machine, SVM)[6], 這類(lèi)方法通過(guò)模型從訓(xùn)練集學(xué)習(xí)特征形成分類(lèi)器, 通常具有較好的魯棒性, 在實(shí)際應(yīng)用中易將人眼定位至灰度值變化較大的區(qū)域, 如眉毛區(qū)域[7].基于外貌特征的方法主要有濾波器響應(yīng)法[8]和積分投影法[9], 濾波器響應(yīng)法主要使用人眼特征點(diǎn)和外貌特征兩種方式, 兩者都是使用濾波器響應(yīng)值檢測(cè)人眼, 用于正面人臉定位效果比較好.積分投影法是根據(jù)波峰和波谷的分布信息定位人眼, 定位速度快, 但是很容易受到光照強(qiáng)度的影響, 而且獲得的人眼中心點(diǎn)并不準(zhǔn)確.積分投影函數(shù)(Integral Projection Function, IPF)是一種較常用的投影函數(shù), 但是IPF不能反映出均值相同的情況下灰度值變化的特點(diǎn)并且易受眉毛的干擾.針對(duì)這一問(wèn)題, 文獻(xiàn)[10]提出一種梯度積分投影函數(shù)(Gradient Integral Projection Function,GIPF)用于人眼定位, 該方法可以反映出人臉灰度值變化的特點(diǎn)并且抑制眉毛的干擾, 但是易受面部光照干擾.針對(duì)GIPF易受光照影響的問(wèn)題, 文獻(xiàn)[11]提出一種改進(jìn)梯度積分投影和形態(tài)學(xué)濾波相結(jié)合的人眼定位算法, 在抑制眉毛干擾的同時(shí)減弱了人眼定位時(shí)光照的影響, 但是得到的人眼中心點(diǎn)不夠精準(zhǔn).

針對(duì)傳統(tǒng)投影方法的這些問(wèn)題, 本文提出一種基于多尺度自商圖和改進(jìn)的積分投影法的人眼定位方法.采用多尺度自商圖像排除了光照不均勻?qū)е碌母蓴_區(qū)域, 增強(qiáng)了算法的魯棒性.另外, 對(duì)積分投影法做出改進(jìn), 過(guò)濾掉眉毛, 突出人眼位置; 根據(jù)分割出的左眼窗口和右眼窗口的尺寸來(lái)獲取較為精準(zhǔn)的人眼中心點(diǎn).

1 多尺度自商圖

在進(jìn)行人眼定位時(shí), 光照變化的問(wèn)題是最困難的問(wèn)題之一.自商圖像能夠?qū)γ娌康墓庹招ЧM(jìn)行偏移,為這一問(wèn)題提供了解決辦法.對(duì)于一幅給定的圖像I(x,y),可以看做是由入射圖像L(x,y)和反射圖像R(x,y)構(gòu)成, 入射光照射在反射物體上, 通過(guò)反射物體的反射形成反射光進(jìn)入人眼.則定義圖像I(x,y)的自商圖像R(x,y)為:

其中,L(x,y)是I(x,y)平滑后的版本; ?是卷積運(yùn)算;F(x,y)是平滑濾波核, 即:

其中,c是高斯函數(shù)的尺度參數(shù); λ由歸一化函數(shù)決定:

當(dāng)c比較小的時(shí)候, 能較好地保持圖像邊緣的細(xì)節(jié)信息, 但是對(duì)光照的偏移效果較差; 當(dāng)c比較大的時(shí)候, 能夠有效地消除人臉光照, 但是細(xì)節(jié)保持較差.為了在人臉圖像的保真率和光照反射率之間達(dá)到平衡,根據(jù)文獻(xiàn)[12], 本文采用多尺度自商圖.多尺度自商圖定義如下:

其中,wk表示第k個(gè)平滑濾波核分量平滑的權(quán)值, 通常wk=1/K;ck表示第k個(gè)平滑濾波核函數(shù)的尺度參數(shù).本文通過(guò)實(shí)驗(yàn)得到, 當(dāng)K=3,c取20, 40, 80時(shí)效果較好.

圖1中給出YaleB人臉數(shù)據(jù)庫(kù)中的3幅不同方向光照的照片, 圖2為圖1經(jīng)過(guò)處理后得到的多尺度自商圖像.由圖2可知, 經(jīng)過(guò)處理得到的多尺度自商圖已經(jīng)消除不同方向的光照影響, 同時(shí)保持了人臉重要器官的信息, 有利于后續(xù)的人眼定位.

圖1 原始圖像

圖2 多尺度自商圖

2 改進(jìn)的積分投影法

傳統(tǒng)的積分投影法對(duì)圖像進(jìn)行人眼定位時(shí), 大致分為兩步: (1)人眼初定位: 首先對(duì)人臉圖像進(jìn)行二值化, 然后對(duì)二值化圖像進(jìn)行水平積分投影, 最后根據(jù)波谷的分布信息來(lái)分割人眼區(qū)域; (2)人眼最終定位: 對(duì)分割出的人眼區(qū)域先進(jìn)行二值化, 再進(jìn)行垂直積分投影, 根據(jù)波谷的分布信息直接獲取虹膜中心所在列, 從而定位虹膜中心.

本文提出一種改進(jìn)的積分投影法的人眼定位方法.在人眼初定位時(shí), 針對(duì)積分投影法對(duì)二值化的人臉圖像進(jìn)行水平投影后難以區(qū)分眼睛和眉毛的問(wèn)題, 做出改進(jìn): 對(duì)中值濾波后的行梯度圖進(jìn)行水平積分投影, 過(guò)濾掉眉毛, 得到人眼區(qū)域; 在人眼最終定位時(shí), 針對(duì)積分投影法對(duì)二值化的人眼區(qū)域進(jìn)行垂直積分投影后無(wú)法獲取精準(zhǔn)的人眼中心的問(wèn)題, 做出改進(jìn): 對(duì)經(jīng)過(guò)Sobel算子濾波后的人眼區(qū)域進(jìn)行垂直積分投影并對(duì)垂直積分投影曲線(xiàn)進(jìn)行高斯函數(shù)擬合, 分割出左眼和右眼, 根據(jù)左眼圖像和右眼圖像的尺寸來(lái)獲取精準(zhǔn)的人眼中心點(diǎn).

2.1 人眼初定位

人眼中心所在行的灰度值在虹膜和鞏膜的交界處變化較大, 而眉毛中心所在行的灰度值變化較小.一維行梯度算子能夠突出圖像水平方向的局部灰度變化,因此, 選擇兩個(gè)方向相反且長(zhǎng)度相同的行梯度算子作用人臉圖像, 突出人眼水平方向的局部灰度變化, 同時(shí)抑制眉毛的響應(yīng).行梯度圖的計(jì)算公式如下:

其中,l1是行梯度算子, 如圖3所示;l2是與l1方向相反且長(zhǎng)度相同的行梯度算子; *是相關(guān)運(yùn)算;l1*RM(x,y)反映了水平方向上從虹膜到鞏膜的灰度變化, 如圖4(b)所示;l2*RM(x,y)反映了水平方向上從鞏膜到虹膜的灰度變化, 如圖4(c)所示;Rg(x,y)反映了水平方向上從鞏膜到虹膜到鞏膜的灰度變化, 如圖4(d)所示.由圖4(d)可以看出,Rg(x,y)中亮度較大的部分對(duì)應(yīng)臉部區(qū)域中局部變化突出的眼睛和鼻子部分, 其中眼睛區(qū)域特征被有效地增強(qiáng).這樣的處理可以突出眼部信息, 減弱眉毛的干擾.

圖3 行梯度算子

圖4 行梯度圖計(jì)算結(jié)果

為了消除行梯度圖中存在的噪聲和邊緣響應(yīng), 對(duì)行梯度圖進(jìn)行中值濾波, 行梯度圖中值濾波后的結(jié)果如下:

其中,m(x,y)是中值濾波器, 本文選擇 5 ×5的濾波模板.S(x,y)的三維表示如圖5所示.由圖5可以看出, 經(jīng)過(guò)中值濾波后, 行梯度圖中的噪聲被有效地抑制并且邊緣響應(yīng)非常弱.

圖5 三維圖

由于積分投影法在光照不均勻的情況下對(duì)二值化的人臉圖像進(jìn)行水平投影后, 難以區(qū)分眼睛和眉毛, 而中值濾波后的行梯度圖可以過(guò)濾眉毛, 故本文對(duì)中值濾波后的行梯度圖進(jìn)行水平投影, 水平積分投影函數(shù)如下:

其中,g(x,y)表示該像素點(diǎn)的灰度值;x1和x2表示行梯度圖中像素點(diǎn)的橫坐標(biāo).以圖6中人臉原圖為例, 圖7、圖8分別為IPF的水平積分投影曲線(xiàn)和GIPF的水平積分投影曲線(xiàn), 由于人臉光照較為復(fù)雜以及噪聲的干擾, IPF的水平積分投影曲線(xiàn)出現(xiàn)了多處波谷, 根據(jù)波谷信息難以區(qū)分眼睛和眉毛; GIPF水平投影曲線(xiàn)雖然突出顯示了人眼中心點(diǎn)所在行的位置信息, 但是仍然受到周?chē)ǚ宓母蓴_, 并且邊緣響應(yīng)較大; 相比之下,本文方法的水平積分投影曲線(xiàn)平滑了曲線(xiàn), 使得波峰值更為突出并且抑制了邊緣響應(yīng), 如圖9所示.

圖6 人臉原圖

圖7 IPF的水平積分投影曲線(xiàn)

圖8 GIPF的水平積分投影曲線(xiàn)

圖9 本文方法的水平積分投影曲線(xiàn)

由于人眼中心點(diǎn)所在行的灰度變化最大, 故本文方法的水平積分投影函數(shù)在人眼中心點(diǎn)所在行出現(xiàn)最大值.考慮到人臉傾斜可能導(dǎo)致兩只眼睛的上(下)邊界不在同一水平線(xiàn)上, 將水平積分投影函數(shù)的最大值位置作為人眼中心點(diǎn)的水平位置, 從最大值位置開(kāi)始分別向前、后兩個(gè)方向?qū)ふ宜椒e分投影函數(shù)值為最大值1/2的位置作為人眼區(qū)域的上、下兩條邊界, 完成人眼的初定位.為了給人眼的最終定位節(jié)省運(yùn)算時(shí)間,將檢測(cè)出來(lái)的雙眼區(qū)域從人臉上分割出來(lái), 如圖10所示.

圖10 人眼區(qū)域

2.2 人眼最終定位

二值化圖像就是把彩色圖像、灰度圖像等轉(zhuǎn)換為圖像的邊緣, 體現(xiàn)了圖像中灰度分布的不連續(xù)性, 可以很好地反映圖像中目標(biāo)的輪廓、形狀信息且不受光照變化的影響, 故為了提取人眼區(qū)域的豎直特征, 本文采用邊緣算子進(jìn)行檢測(cè).相較于其他邊緣算子, Sobel算子[13]兼容了抗噪性好和計(jì)算量小的優(yōu)點(diǎn), 本文采用Sobel算子對(duì)圖10中人眼區(qū)域進(jìn)行濾波, Sobel算子為:

濾波結(jié)果為:

其中,E(x,y)是人眼區(qū)域圖像.

人眼濾波圖如圖11所示.由圖11可知, 通過(guò)Sobel濾波, 人眼的豎直特征被有效地凸顯, 有利于后續(xù)左眼和右眼的分割.

圖11 人眼濾波圖

為了精確定位人眼位置, 還需要對(duì)人眼濾波圖進(jìn)行垂直積分投影來(lái)確定左眼和右眼垂直方向上的位置.垂直積分投影函數(shù)如下:

其中,y1和y2表示人眼濾波圖中像素點(diǎn)的縱坐標(biāo).

大量實(shí)驗(yàn)表明, 由于虹膜和鞏膜周?chē)幕叶茸兓瘡?fù)雜, 人眼濾波圖的垂直積分投影曲線(xiàn)在兩眼區(qū)域大致呈現(xiàn)兩個(gè)高斯分布的趨勢(shì).因此, 本文對(duì)人眼濾波圖垂直積分投影曲線(xiàn)進(jìn)行二階高斯函數(shù)擬合[14,15], 擬合結(jié)果如圖12所示.

圖12 擬合結(jié)果

曲線(xiàn)高斯擬合后的第1個(gè)波峰對(duì)應(yīng)左眼中心點(diǎn),第2個(gè)波峰對(duì)應(yīng)右眼中心點(diǎn).對(duì)兩條高斯分布曲線(xiàn)分別取兩個(gè)標(biāo)準(zhǔn)差內(nèi)的范圍作為兩個(gè)眼睛窗口的垂直方向上的范圍, 由此分割出左眼和右眼.

傳統(tǒng)的投影方法可以得到虹膜中心, 但眼睛的中心往往不是虹膜的中心, 這是因?yàn)楹缒さ奈恢脮?huì)隨著視線(xiàn)方向的改變而改變.為了得到左眼和右眼中心點(diǎn)的位置, 需要對(duì)分割出的左眼和右眼圖像進(jìn)行尺寸計(jì)算.設(shè)分割出的左眼圖像分辨率為m×n, 右眼圖像分辨率為p×q.若m和n均為偶數(shù), 則左眼的中心點(diǎn)坐標(biāo)為(m/2,n/2); 若m為偶數(shù),n為奇數(shù), 則左眼的中心點(diǎn)坐標(biāo)為(m/2,(n+1)/2); 若m為奇數(shù),n為偶數(shù), 則左眼的中心點(diǎn)坐標(biāo)為((m+1)/2,n/2); 若m為奇數(shù),n為奇數(shù), 則左眼的中心點(diǎn)坐標(biāo)為((m+1)/2,(n+1)/2).若p和q均為偶數(shù), 則右眼的中心點(diǎn)坐標(biāo)為(p/2,q/2); 若p為偶數(shù),q為奇數(shù), 則右眼的中心點(diǎn)坐標(biāo)為(p/2,(q+1)/2); 若p為奇數(shù),q為偶數(shù), 則右眼的中心點(diǎn)坐標(biāo)為((p+1)/2,q/2); 若p為奇數(shù),q為奇數(shù), 則左眼的中心點(diǎn)坐標(biāo)為((p+1)/2,(q+1)/2).通過(guò)該方法得到的中心點(diǎn)不僅更接近眼睛的真實(shí)中心, 而且具有更好的抗干擾能力.

3 實(shí)驗(yàn)結(jié)果及評(píng)價(jià)

3.1 數(shù)據(jù)集

為了驗(yàn)證本算法的可行性和準(zhǔn)確性, 本文采用YaleB人臉數(shù)據(jù)庫(kù)和JAFFE人臉數(shù)據(jù)庫(kù)進(jìn)行了仿真實(shí)驗(yàn).YaleB人臉數(shù)據(jù)庫(kù)包含38個(gè)人在9種姿態(tài)、64種光照條件下的21 888張圖像, 可用于考察本文算法對(duì)光照的適應(yīng)性.JAFFE人臉庫(kù)中包含215張圖像, 通過(guò)該人臉數(shù)據(jù)庫(kù)可以考察本文算法對(duì)人臉表情的適應(yīng)性.

3.2 度量標(biāo)準(zhǔn)

實(shí)驗(yàn)采用文獻(xiàn)[16]提出的度量標(biāo)準(zhǔn).將手工標(biāo)注的左右眼中心點(diǎn)設(shè)置為和, 檢測(cè)到的左右眼中心點(diǎn)位置為和.為與之間的歐幾里得距離,為與之 間 的 歐 幾 里 得 距 離.是和之 間 的歐幾里得距離.

位置相對(duì)誤差的定義為:

閾值err=0.25表示人眼中心位置偏離真實(shí)位置的最大允許誤差,err越小表示定位越精確.

3.3 測(cè)試結(jié)果

實(shí)驗(yàn)一.分別采用IPF、GIPF、文獻(xiàn)[11]以及本文中的方法在JAFFE人臉數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn), 各類(lèi)方法的實(shí)驗(yàn)結(jié)果見(jiàn)表1.

表1 JAFFE數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果準(zhǔn)確率對(duì)比(%)

由表1可知, 相同標(biāo)準(zhǔn)下, 即err＜0.25條件下, 本文算法在JAFFE數(shù)據(jù)庫(kù)的人眼定位性能相對(duì)于IPF以及GIPF均有提高, 與文獻(xiàn)[11]的算法性能相當(dāng).

實(shí)驗(yàn)二.對(duì)IPF、GIPF、文獻(xiàn)[11]以及本文中的方法進(jìn)行研究, 并在光照復(fù)雜的YaleB人臉數(shù)據(jù)庫(kù)上進(jìn)行實(shí)現(xiàn).經(jīng)過(guò)實(shí)驗(yàn)對(duì)比, 4種方法的實(shí)驗(yàn)結(jié)果見(jiàn)表2.

表2 YaleB數(shù)據(jù)庫(kù)的實(shí)驗(yàn)結(jié)果準(zhǔn)確率對(duì)比(%)

由表2可知, 當(dāng)選擇err＜0.25作為度量標(biāo)準(zhǔn)時(shí), 定位準(zhǔn)確率最低的IPF也達(dá)到了84.75%, 這是因?yàn)閑rr＜0.25意味著檢測(cè)到的兩只眼睛的位置離真實(shí)位置均在半只眼睛寬度以?xún)?nèi), 這種標(biāo)準(zhǔn)非常寬松.隨著度量標(biāo)準(zhǔn)的提高, IPF的準(zhǔn)確率快速下降, 這是由于IPF受眉毛和噪聲的影響極易產(chǎn)生多個(gè)波谷; 而GIPF可以消除眉毛的干擾并且對(duì)噪聲并不敏感, 在err＜0.15的精度下的準(zhǔn)確率比IPF高31%.但是, 受限于復(fù)雜光照和邊緣響應(yīng)的影響, GIPF的準(zhǔn)確率在err＜0.10的精度下快速下降; 而文獻(xiàn)[11]改進(jìn)的GIPF能夠有效地減弱光照和邊緣響應(yīng)的影響, 在err＜0.10的精度下的準(zhǔn)確率比GIPF高14.5%.當(dāng)選擇err＜0.05作為度量標(biāo)準(zhǔn)時(shí),IPF、GIPF的準(zhǔn)確率較低并且文獻(xiàn)[11]的準(zhǔn)確率快速下降, 而本文方法的準(zhǔn)確率比文獻(xiàn)[11]高10.5%, 這是由于人的眼球發(fā)生轉(zhuǎn)動(dòng)時(shí), 本文方法定位的人眼中心是人眼外接矩形的中心點(diǎn), 而不是虹膜中心, 從而保證了定位人眼中心點(diǎn)位置的精度.為了更好地展示人眼中心點(diǎn)定位結(jié)果準(zhǔn)確率, 給出了人眼中心定位準(zhǔn)確率與相對(duì)誤差的分布圖, 如圖13所示.

圖13 不同相對(duì)誤差下各種方法的準(zhǔn)確率

在算法耗時(shí)方面, IPF和GIPF方法的平均耗時(shí)為0.080 21 s和0.194 33 s, 文獻(xiàn)[11]的平均耗時(shí)為0.464 12 s, 本文方法的平均耗時(shí)為0.486 14 s.本文方法的平均耗時(shí)和文獻(xiàn)[11]差不多, 但是大于IPF和GIPF,這是由于采用了自商圖像消除人臉光照以及人眼最終定位時(shí)采用了高斯函數(shù)擬合.但是, IPF、GIPF和文獻(xiàn)[11]只能得到粗略的人眼中心點(diǎn)位置, 而本文方法可以獲得較為精準(zhǔn)的人眼中心點(diǎn)位置.

圖14給出了本文算法的部分定位結(jié)果, 圖中用紅色十字表示定位的眼睛中心點(diǎn)位置, 在不同數(shù)據(jù)庫(kù)下都能成功定位.

圖14 部分定位效果圖

4 結(jié)論

傳統(tǒng)投影方法對(duì)人臉邊緣和光照適應(yīng)性差, 并且獲得的人眼中心點(diǎn)并不準(zhǔn)確.針對(duì)此問(wèn)題, 本文提出了一種基于多尺度自商圖和改進(jìn)的積分投影法的人眼定位算法.該算法通過(guò)多尺度自商圖消除了光照對(duì)人眼定位的影響, 大大提高了算法的魯棒性; 通過(guò)改進(jìn)的積分投影法克服了眉毛的影響, 抑制了人臉圖像的邊緣響應(yīng), 獲得了較為精準(zhǔn)的人眼中心點(diǎn)位置.從YaleB人臉數(shù)據(jù)庫(kù)和JAFFE人臉數(shù)據(jù)庫(kù)的測(cè)試結(jié)果看, 本文算法的準(zhǔn)確率優(yōu)于傳統(tǒng)的投影方法.