基于KINECT的人眼視線方向估測(cè)方法研究

宋金淼，王楠楠，王心瀚,段曉東

(大連市民族文化數(shù)字技術(shù)重點(diǎn)實(shí)驗(yàn)室,遼寧 大連 116605)

基于KINECT的人眼視線方向估測(cè)方法研究

宋金淼，王楠楠，王心瀚,段曉東

(大連市民族文化數(shù)字技術(shù)重點(diǎn)實(shí)驗(yàn)室,遼寧 大連 116605)

提出一種基于KINECT的視線方向估測(cè)方法，通過KINECT獲取人臉圖像數(shù)據(jù)及人臉網(wǎng)格信息，檢測(cè)和消除人眼區(qū)域的光斑，進(jìn)而利用人眼灰度分布特點(diǎn)對(duì)瞳孔進(jìn)行粗定位得到瞳孔中心；通過計(jì)算眼睛參考點(diǎn)與瞳孔中心形成的距離和其連線與坐標(biāo)軸形成的角度關(guān)系對(duì)視線方向進(jìn)行分類處理，完成視線方向的估測(cè)。實(shí)驗(yàn)結(jié)果表明所提出的方法在低分率的圖像條件下能準(zhǔn)確地估測(cè)出人眼視線方向。

視線方向；瞳孔粗定位；光斑檢測(cè)和消除；眼部特征分析

視線方向是一個(gè)人觀察外界物體的方向，通常被定義為眼球中心與虹膜中心連接的直線方向，亦可定義為虹膜邊界所在支撐面的法線方向[1-2]，即眼球圍繞眼睛中心旋轉(zhuǎn)一定的角度所形成的幾何關(guān)系，反映被觀測(cè)者的興趣和注意力。視線方向估測(cè)常被廣泛用于軍事、助殘、人機(jī)交互、空中導(dǎo)航、犯罪心理分析、駕駛員疲勞檢測(cè)等各個(gè)方面。

視線方向按估測(cè)方法主要依據(jù)眼部特征分析。視線追蹤技術(shù)中廣泛運(yùn)用的方法叫做“瞳孔—角膜反射方法”(the pupil center cornea reflection technique)，其利用眼動(dòng)過程中保持不變的特征，是眼球角膜上的一個(gè)亮光點(diǎn)，由進(jìn)入瞳孔的光線在角膜外表面上反射(corneal reflection)而產(chǎn)生。文獻(xiàn)[3]首先通過Hough變換計(jì)算出在低分辨率的情況下，人眼的上眼瞼圓周及內(nèi)外角點(diǎn)、虹膜中心，然后在檢測(cè)視線方向上采取了分部處理的方法，先判斷視角，然后計(jì)算視線方向。該方法雖適用于低分辨率的圖像，但涉及的方法較多，增加了計(jì)算的復(fù)雜度。文獻(xiàn)[4]根據(jù)透視原理，首先利用橢圓來擬合虹膜，然后恢復(fù)成圓，并得到視線方向，但依然存在在低分辨率的條件下擬合精度不高的問題。文獻(xiàn)[5]提出了用混合投影的方法對(duì)虹膜進(jìn)行定位，從而實(shí)現(xiàn)視線方向的估計(jì)[6-8]，但是這種方法存在抗干擾性差和對(duì)閾值敏感的問題。

眼動(dòng)儀作為記錄人眼動(dòng)軌跡特征的重要儀器已經(jīng)得到廣泛使用，商業(yè)的眼動(dòng)儀價(jià)格昂貴從十幾萬到幾十萬不等，而且操作復(fù)雜。KINECT2.0具有頭部運(yùn)動(dòng)和面部特征點(diǎn)實(shí)時(shí)跟蹤功能，此外提供紅外、深度和彩色視頻流。本文研究如何在廉價(jià)的KINECT傳感器的基礎(chǔ)上構(gòu)建一種視線方向估測(cè)的方法。該方法利用KINECT采集人臉紅外圖像，利用圖像特征對(duì)瞳孔進(jìn)行粗定位得到瞳孔中心，通過計(jì)算眼睛參考點(diǎn)與瞳孔中心形成的距離和其連線與坐標(biāo)軸形成的角度關(guān)系判斷視線方向。

1 基于KINECT的眼部定位

根據(jù)瞳孔位置與參考點(diǎn)形成的角度與位置關(guān)系對(duì)視線方向進(jìn)行分類處理，完成視線方向的估測(cè)[9-10]。本文依據(jù)KINECT人臉幾何網(wǎng)格數(shù)據(jù)實(shí)時(shí)對(duì)眼睛進(jìn)行區(qū)域定位，進(jìn)一步完成眼部光斑檢測(cè)與消除和瞳孔定位。

人臉網(wǎng)格對(duì)眼睛區(qū)域進(jìn)行定位。KINECT可通過主動(dòng)紅外對(duì)人臉進(jìn)行快速檢測(cè)和特征點(diǎn)定位[11]。KINECT主要通過追蹤技術(shù)自動(dòng)檢測(cè)出人臉位置，并采用區(qū)域生長法，從具有彩色信息的深度圖像中自動(dòng)分割出完整的人臉區(qū)域，利用移動(dòng)最小二乘法對(duì)人臉圖像進(jìn)行濾波，并采用最近點(diǎn)迭代算法對(duì)人臉進(jìn)行特征點(diǎn)定位，然后從KINECT獲取特征點(diǎn)中提取眼部特征點(diǎn)進(jìn)而獲得三維人臉網(wǎng)格確定眼睛位置，具體流程如圖1。

圖1 眼部區(qū)域定位流程圖

眼部區(qū)域定位是視線方向估測(cè)的重要階段，對(duì)于確定視線方向的參考點(diǎn)具有重要的作用。三維人臉網(wǎng)格特征點(diǎn)定位可以確定上下眼瞼和內(nèi)外眼角的位置信息，實(shí)驗(yàn)前，利用這4個(gè)坐標(biāo)位置確定眼部區(qū)域，并獲取紅外圖像、彩色圖像和深度圖像等區(qū)域的信息。經(jīng)多次實(shí)驗(yàn)表明，KINECT人臉網(wǎng)格定位眼部區(qū)域時(shí)，特征點(diǎn)會(huì)產(chǎn)生誤差，進(jìn)而導(dǎo)致視線方向檢測(cè)出現(xiàn)誤差，為減小由于定位時(shí)產(chǎn)生的誤差，實(shí)驗(yàn)中將眼睛區(qū)域在以獲取眼部區(qū)域大小的基礎(chǔ)上擴(kuò)大10%，以減少特征點(diǎn)定位時(shí)產(chǎn)生的誤差。

1.1 光斑消除及瞳孔定位算法

在瞳孔定位之初，受外界可見光影響，可能會(huì)產(chǎn)生光斑。為保證瞳孔定位的準(zhǔn)確性和穩(wěn)定性需對(duì)光斑進(jìn)行處理。本文采用灰度信息與梯度信息組合的方式來提取光斑。為方便描述，現(xiàn)做出如下假設(shè)：設(shè)彩色圖片為gf，灰度圖片為gi，每個(gè)像素點(diǎn)的灰度值為di，平均灰度值為q，差值閾值為σ，噪聲點(diǎn)位置集合為k。

眼部定位算法1：

Step1：將彩色圖片gf進(jìn)行灰度化得到圖片gi；

Step2：求取圖片gi的灰度平均值，向上取整后賦給q；

Step3：對(duì)灰度圖像gi進(jìn)行遍歷，計(jì)算每一像素點(diǎn)灰度值并賦值給di，若|di-q|>σ，該點(diǎn)被視為噪聲點(diǎn)；

Step4：將噪聲點(diǎn)的坐標(biāo)存入集合k中，繼續(xù)執(zhí)行Step3，直至結(jié)束，集合k即為要提取的光斑區(qū)域。

光斑提取完成后，利用局部灰度平均值填補(bǔ)噪聲點(diǎn)，以此消除光斑。如圖2左上角第1幅圖所示，灰度值高于周圍其他點(diǎn)的四個(gè)白色點(diǎn)即為噪聲點(diǎn)。文中以消除灰度值為150的噪聲點(diǎn)為例，描述噪聲點(diǎn)消除的過程。首先順時(shí)針向上選取左上角三個(gè)臨近點(diǎn)，求取三者的平均值并對(duì)其進(jìn)行向上取整，用該值代替相應(yīng)噪聲點(diǎn)的灰度值，重復(fù)以上步驟直至光斑完全消除，光斑的消除過程如圖2。

圖2 光斑消除過程

1.2 瞳孔粗定位

本文在消除光斑的圖像上對(duì)瞳孔進(jìn)行粗定位。瞳孔區(qū)域雖然灰度信息豐富，但灰度級(jí)卻相對(duì)較為明顯，瞳孔最小，虹膜次之，其他區(qū)域(除睫毛外)則灰度值較大[12]。文中利用瞳孔區(qū)域灰度分布特點(diǎn)對(duì)瞳孔中心進(jìn)行粗定位。實(shí)驗(yàn)中使用普通攝像頭獲取人眼彩色圖像，然后對(duì)其進(jìn)行灰度處理，消除由于外界光源引起的光斑后得到如圖3(b)所示的灰度圖像。然后采用固定閾值的方法，對(duì)灰度化后的眼睛圖片進(jìn)行二值化處理，初步區(qū)分虹膜與鞏膜區(qū)域。其二值化后的圖片如圖3(c)。通過遍歷二值化后的圖片，找到虹膜區(qū)域(即圖3(c)所示的白色區(qū)域)，然后以該區(qū)域的密度最大點(diǎn)的灰度值作為瞳孔中心的灰度值，以該區(qū)域的質(zhì)心位，置為瞳孔的坐標(biāo)，記作A(x,y)，點(diǎn)A即為粗定義后的瞳孔位置，圖3(d)中以中心區(qū)域的黑色中心點(diǎn)來表示。

圖3 瞳孔定位過程

2 視線方向估計(jì)方法

本文在上述實(shí)驗(yàn)的基礎(chǔ)上提出了一種新的用于估測(cè)視線方向的方法。首先對(duì)動(dòng)點(diǎn)和參考點(diǎn)的選取，然后計(jì)算兩者的位置關(guān)系和角度關(guān)系，根據(jù)計(jì)算得出的關(guān)系提出了一種判別視線方向的思想，并將其應(yīng)用到實(shí)際的視線方向檢測(cè)中。

當(dāng)人眼處于紅外光環(huán)境下，在人眼中形成的反射光斑，由于眼睛結(jié)構(gòu)可近似的看作一個(gè)球體，在單一光源下反射光斑是相對(duì)不動(dòng)的，因此人們常將反射光斑作為人眼的參考點(diǎn)，通過計(jì)算瞳孔位置與參考點(diǎn)之間的關(guān)系確定視線方向。但是利用此方法，要求人的頭部要保持不動(dòng)，盡管識(shí)別的準(zhǔn)確率比較高，但中間需要涉及大量圖像處理和模式識(shí)別方面的知識(shí)，因此就有較大的難度。文獻(xiàn)[13]采用人眼角點(diǎn)作為參考點(diǎn)，主要依據(jù)人臉表情發(fā)生變化時(shí)很少影響人眼角點(diǎn)的位置發(fā)生變動(dòng)，且其位置檢測(cè)也比較容易。該方法摒棄了傳統(tǒng)的mark點(diǎn)和反射光斑作為參考點(diǎn)時(shí)的缺點(diǎn)，允許頭部進(jìn)行小幅度偏轉(zhuǎn)，但當(dāng)眼睛角點(diǎn)識(shí)別不準(zhǔn)確時(shí)，會(huì)影響整個(gè)參考系統(tǒng)。

本文在上述研究的基礎(chǔ)上，簡化動(dòng)點(diǎn)和將人眼結(jié)構(gòu)抽象為一個(gè)矩形，矩形的幾何中心作為人眼的中心位置即為參考點(diǎn)，而瞳孔的位置作為動(dòng)點(diǎn)，具體情況如圖4。

圖4 動(dòng)點(diǎn)和參考點(diǎn)的選取

現(xiàn)設(shè)ti時(shí)刻瞳孔的坐標(biāo)位置為(xip,yip)，眼睛的參考點(diǎn)坐標(biāo)為(xr,yr)，瞳孔與參考點(diǎn)的距離為di，角度為ai，計(jì)算公式表達(dá)為：

實(shí)驗(yàn)時(shí)計(jì)算出的角度都是弧度制下的角度，在實(shí)際的應(yīng)用中需要進(jìn)行相互轉(zhuǎn)化。其具體的轉(zhuǎn)換關(guān)系見表1。

表1 不同象限下角度變換關(guān)系

研究表明人的兩個(gè)眼球不同于其他器官一樣可以獨(dú)立運(yùn)動(dòng)，雙目視覺運(yùn)動(dòng)要受到很多條件的約束[14]。人的兩只眼睛運(yùn)動(dòng)具有一定規(guī)律，海林等發(fā)現(xiàn)人的兩只眼睛運(yùn)動(dòng)時(shí)方向要么相同要么相反，且運(yùn)動(dòng)的距離大小是相同的，因此研究一只眼睛的運(yùn)動(dòng)情況就可以估測(cè)另一只。文中將視線方向粗略分為上、下、左、右、左上、左下、右上、右下、和中間等9個(gè)方向。文中將眼睛區(qū)域抽象為一個(gè)矩形框，眼睛框的幾何中心點(diǎn)O作為參考點(diǎn)。

圖5 依據(jù)劃分原則建立的視線方向參考系

其方向劃分方法為：首先以中心點(diǎn)O點(diǎn)為參考點(diǎn)，將矩形區(qū)域按角度八等分，每一份即為視線觀測(cè)的一個(gè)方向。然后以O(shè)點(diǎn)為圓心，r為半徑作圓。根據(jù)瞳孔中心點(diǎn)與參考點(diǎn)的位置關(guān)系確定視線方向，當(dāng)瞳孔中心點(diǎn)位于圓內(nèi)或圓上時(shí)，視為看中間位置；否則視為其他八種情況。其中為視線方向看中間時(shí)，瞳孔中心最大活動(dòng)范圍，由多次實(shí)驗(yàn)測(cè)定得出，是一個(gè)常數(shù)。依據(jù)劃分原則建立的參考系如圖6，其中向右為水平方向，向下為豎直方向。

圖6 視線方向的區(qū)域劃分與及其對(duì)應(yīng)的角度范圍

經(jīng)過計(jì)算，獲得ti到時(shí)刻瞳孔位置位置為A(xip,yip)距與參考點(diǎn)O距離di，點(diǎn)O與瞳孔A所形成的向量OA與水平正方向的夾角為ai，視線方向檢測(cè)及判斷過程如下：

Step1:計(jì)算瞳孔位置A距中心點(diǎn)C的距離為d；

Step2：若di

視線方向檢測(cè)的結(jié)果如圖7。為方便觀測(cè)在其上側(cè)用箭頭的形式表示其觀測(cè)方向。

圖7 視線方向檢測(cè)結(jié)果

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)的硬件環(huán)境為Intel(R)core(TM)i3-3240CPU@3.40GHZ6G內(nèi)存，軟件環(huán)境為Windows7、VS2010。本文共采集152名測(cè)試者的136 805幀視頻圖像建立人眼特征數(shù)據(jù)庫，實(shí)驗(yàn)時(shí)從人眼特征數(shù)據(jù)庫中選取15 000幀圖像數(shù)據(jù)作為實(shí)驗(yàn)樣本，其中12 300幀作為訓(xùn)練集，2 700幀作為測(cè)試集，分別對(duì)應(yīng)九種視線狀態(tài)。經(jīng)測(cè)試得其準(zhǔn)確率見表2。

表2 測(cè)試結(jié)果

表2中，向右看、向左看時(shí)，系統(tǒng)識(shí)別的準(zhǔn)確率最高，已達(dá)到95%；看中間、向左上看、向右上看、向上看系統(tǒng)識(shí)別的準(zhǔn)確率也都達(dá)到90%以上，這是由于在上述狀態(tài)時(shí)，瞳孔位置偏離中間參考點(diǎn)的幅度比較大，瞳孔也較容易被檢測(cè)到。而當(dāng)眼睛向下看時(shí)，眼皮對(duì)于虹膜的遮蓋區(qū)域較大，判斷的準(zhǔn)確率明顯下降。

4 結(jié) 語

基于KINECT的視線方向估測(cè)方法使用KINECT普通攝像頭得到低分辨率下的圖像，通過分析瞳孔位置與眼睛參考點(diǎn)之間形成的距離和角度關(guān)系，提出了一種視線方向判斷的方法。通過實(shí)驗(yàn)可以得出，該方法對(duì)低分辨率下的圖像具有較好的識(shí)別效果，但所有的檢測(cè)結(jié)果都是基于頭部不動(dòng)和發(fā)生微小偏轉(zhuǎn)的假設(shè)下得出的，沒有針對(duì)頭部的偏轉(zhuǎn)建立相應(yīng)的坐標(biāo)補(bǔ)償機(jī)制，需要在以后實(shí)驗(yàn)過程中進(jìn)一步完善。

[1] 李濤. 基于視線角度的人眼視線檢測(cè)研究[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2009, 19(8):37-40.

[2] 李東平, 郝群, 黃惠明. 基于普爾欽斑點(diǎn)的人眼視線方向檢測(cè)[J]. 光學(xué)技術(shù), 2007, 33(4):498-500.

[3] 孫興華, 陳國勇, 趙春霞，等. 基于Hough變換和梯度信息的人眼視線方向估計(jì)[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2007, 28(6):1123-1128.

[4] 許潔. 基于透視投影的人眼視線方向估計(jì)算法[J]. 微型電腦應(yīng)用, 2009, 25(9):36-38.

[5] 耿新,周志華,陳世福. 基于混合投影函數(shù)的眼睛定位[J]. 軟件學(xué)報(bào), 2003, 14(8):1394-1400.

[6] 羅興賢, 魏生民, 劉雅婧，等.基于圖像處理的視線方向跟蹤研究[J]. 現(xiàn)代制造工程, 2007(1):87-90.

[7] 王霞, 陳華礎(chǔ). 視線方向上飛機(jī)紅外特性計(jì)算方法[J]. 大氣與環(huán)境光學(xué)學(xué)報(bào), 2008, 3(3):217-222.

[8] 李陽, 鄭華兵, 史冊(cè)，等. 安全駕駛中駕駛員視線方向的檢測(cè)研究[J]. 計(jì)算機(jī)測(cè)量與控制, 2010, 18(4):766-769.

[9] 吳艷繁. 基于視線追蹤的人機(jī)交互系統(tǒng)[D]. 長春：吉林大學(xué), 2014.

[10] 于瓊. 視頻圖像序列內(nèi)的視線跟蹤研究[D]. 武漢：武漢理工大學(xué), 2011.

[11] 孟春寧. 人眼檢測(cè)與跟蹤的方法及應(yīng)用研究[D]. 天津：南開大學(xué), 2013.

[12] 羅興賢. 基于視頻圖像處理的視線方向跟蹤研究[D]. 西安：西北工業(yè)大學(xué), 2007.

[13] 李郝. 人眼跟蹤與視線檢測(cè)算法研究[D]. 成都：西華大學(xué), 2010.

[14] 葉永強(qiáng), 沈建新, 周嘯. 基于瞳孔灰度特征的快速虹膜定位[J]. 光電工程, 2010, 37(3):127-132.

(責(zé)任編輯 趙環(huán)宇)

Eye Gaze Direction Estimation Method Based on KINECT

SONG Jin-miao, WANG Nan-nan, WANG Xin-han, DUAN Xiao-dong

(Dalian Key Lab of Digital Technology for National Culture,Dalian Minzu University,Dalian Liaoning 116605, China)

This paper proposes an eye gaze direction estimation method based on KINECT. The process of the estimation method includes getting face image and face grid information through KINECT， detecting and eliminating spots around the eye area， utilizing the gray-scale distribution characteristics of the human eyes to roughly position the pupil and then get the pupil center， classifying and processing the sight directions by calculating formulated distance from the eye reference point to the pupil center and the angle relationship formed by this distance connection and coordinate axis to complete the eye gaze direction estimation. The experimental results show that the proposed method can accurately assess the human eye gaze direction under the condition of the low rate of image.

gaze direction; pupil coarse positioning; spot detection and elimination; feature analysis of the eye

2017-03-14；最后

2017-03-28

國家自然科學(xué)基金項(xiàng)目(61672132，61370146);遼寧省科技支撐計(jì)劃項(xiàng)目(2013405003)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(DC201502100401)。

宋金淼(1987-)，男，黑龍江齊齊哈爾人，助理工程師，主要從事模式識(shí)別和智能系統(tǒng)研究。

王楠楠(1980-)，女，遼寧沈陽人，工程師，主要從事民族信息化與智能系統(tǒng)研究，E-mail:wnn@dlnu.edu.cn。

2096-1383(2017)03-0263-05

TP391

A