一種基于幾何形狀特征的實(shí)時(shí)瞳孔定位追蹤技術(shù)

陳靜瑜，林麗媛，劉冠軍，王 穎

(天津科技大學(xué)電子信息與自動(dòng)化學(xué)院，天津300222)

隨著5G時(shí)代的到來(lái)，中國(guó)制造2025的戰(zhàn)略方針推進(jìn)速度越來(lái)越快[1]．在創(chuàng)新驅(qū)動(dòng)、信息技術(shù)的推動(dòng)下，人機(jī)交互也迅速成為研究熱點(diǎn)．瞳孔作為重要的生理參數(shù)，伴隨瞳孔定位追蹤技術(shù)不斷發(fā)展[2]，瞳孔定位的執(zhí)行速度、準(zhǔn)確性和魯棒性受到更多關(guān)注．

瞳孔定位方法大致可以分為基于灰度的閾值分割[3-4]、基于Hough變換的橢圓檢測(cè)[5-10]、基于機(jī)器學(xué)習(xí)的分割算法[11-14]和基于深度學(xué)習(xí)的分割算法[15-17].從Daugman提出Hough變換為圓形邊緣探測(cè)器，對(duì)瞳孔與虹膜邊緣進(jìn)行檢測(cè)，以及Wildes[5]應(yīng)用邊緣檢測(cè)和霍夫變換得到虹膜邊界開(kāi)始，研究者一直不停探索更加精確高效的定位方法．Timm等[6]提出通過(guò)梯度精確定位眼睛中心，即中心(半)循環(huán)模式的大多數(shù)圖像梯度相交的位置為眼睛中心，但是該方法容易受眉毛和鬢角的干擾．Basit等[7]提出虹膜圖像中的非圓形瞳孔定位，即將瞳孔的圓形邊界分成一定數(shù)量的點(diǎn)，根據(jù)這些點(diǎn)的最大梯度重新定位，結(jié)合成非圓形邊界得到瞳孔精確定位．Marku?a等[13]提出了一種基于隨機(jī)化回歸樹(shù)集合的瞳孔定位方法，該方法準(zhǔn)確率高，但對(duì)于處理眉毛和鬢角的干擾依然存在一些問(wèn)題．基于機(jī)器學(xué)習(xí)的瞳孔定位方法[14]對(duì)于采集環(huán)境要求較高，能夠在眼瞼、睫毛遮擋、非均勻照明、自然低光等情況下進(jìn)行較準(zhǔn)確的瞳孔分割．隨著深度學(xué)習(xí)和遷移學(xué)習(xí)的不斷發(fā)展，Choi等[15]在2019年提出使用異構(gòu)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)模型進(jìn)行精確眼瞳孔定位，并聯(lián)合生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks，GAN)摘除眼鏡．同年，Yiu等[16]提議使用完全卷積神經(jīng)網(wǎng)絡(luò)(full convolutional neural networks，F(xiàn)CNN)實(shí)現(xiàn)瞳孔分割定位．最近，Wang等[17]提出了基于深度學(xué)習(xí)的一種高效虹膜分割方法——虹膜分析網(wǎng)，提高了虹膜分割性能．但相關(guān)深度學(xué)習(xí)的分割、定位算法，數(shù)據(jù)計(jì)算量過(guò)大，對(duì)系統(tǒng)硬件的計(jì)算能力要求較高，且不能保證良好的實(shí)時(shí)性．除此之外，還有各種用于輔助瞳孔定位的外接設(shè)備，其高昂的價(jià)格讓不少使用者望而卻步．

以上研究表明瞳孔定位易受眉毛、鬢角和光照強(qiáng)度等不可避免因素的干擾，并且輔助外接設(shè)備價(jià)格昂貴．因此，本文采用幾何形狀特征實(shí)時(shí)瞳孔定位方法，力求在確保定位追蹤精準(zhǔn)、快速的基礎(chǔ)上，降低眉毛、鬢角和光照強(qiáng)度等干擾造成的定位錯(cuò)誤率．該技術(shù)首先利用面積閾值法去除大部分干擾；然后通過(guò)外接矩形長(zhǎng)寬比去除眉毛造成的干擾，初步確定瞳孔位置；最后依據(jù)外接矩形角度差去除鬢角和光照強(qiáng)度等干擾，精確定位瞳孔位置并追蹤瞳孔軌跡．

1 瞳孔定位算法

相對(duì)于虹膜和鞏膜，瞳孔的灰度值最小，形狀更加完整，更靠近眼球中心，且不易被睫毛遮擋，更易于分離和分割．因此，依據(jù)瞳孔形變及本身特征通過(guò)面積閾值法篩選、外接矩形長(zhǎng)寬比篩選和角度差篩選，能夠?qū)崿F(xiàn)瞳孔的精確定位．

1.1 瞳孔預(yù)定位

虹膜、鞏膜與瞳孔本身存在灰度值差異，邊緣檢測(cè)對(duì)于這種像素變化具有較高的穩(wěn)定性和穩(wěn)固性，瞳孔預(yù)定位通過(guò)該差異，利用圖像的雙邊濾波、圖像二值化和形態(tài)學(xué)處理，經(jīng)邊緣檢測(cè)將瞳孔從三者之間分割出來(lái)．圖1為瞳孔預(yù)定位效果圖，其中圖1(a)為原圖，圖1(b)為雙邊濾波處理后的結(jié)果圖，不僅降低了噪聲干擾，而且可以通過(guò)式(1)保持邊緣信息．

其中 kr(z)是對(duì)結(jié)果進(jìn)行單位化，s(ξ,z)為基于像素相似程度的高斯權(quán)重，c(ξ,z)為基于空間距離的高斯權(quán)重，見(jiàn)式(2)—式(4)．

式中：z為圖像任意一點(diǎn)的灰度值；ξ為z的臨近值，且有圖1(c)為閾值分割后的眼球圖像，可以清楚地分辨瞳孔區(qū)域、眼角部分陰影和部分睫毛區(qū)域．為消除獨(dú)立的噪聲，并分割出獨(dú)立的圖像元素，在完成閾值分割的基礎(chǔ)上采用結(jié)構(gòu)元為7×7大小的核進(jìn)行形態(tài)學(xué)閉操作．

圖1 瞳孔預(yù)定位效果圖Fig. 1 Renderings of pupil reservation

1.2 連通域面積篩選

連通域面積篩選主要排除瞳孔預(yù)定位后，剩余連通域中與瞳孔連通域面積相差較大的干擾部分，如鬢角、較大范圍的頭發(fā)或者臉上的黑痣等．連通域面積篩選公式為

其中：Ss為篩選的瞳孔區(qū)域面積；Na為輪廓包含的像素?cái)?shù)目；Nb為輪廓邊緣的像素?cái)?shù)目；SsU為Ss的實(shí)驗(yàn)上界值；SsL為Ss的實(shí)驗(yàn)下界值．實(shí)驗(yàn)過(guò)程中被試者保持相對(duì)位置不變，人眼距離屏幕(20±2)cm，人眼距離桌面(35±2)cm，保證采集位置和光照強(qiáng)度盡量恒定，減少位置和光照對(duì)實(shí)驗(yàn)的干擾．經(jīng)過(guò)相機(jī)標(biāo)定之后，對(duì)85名被試者分別拍攝左眼和右眼，其中每位被試者不斷變換眼球注視姿態(tài)采集眼球圖像100張，共采集眼球圖像8500張，計(jì)算出每位被試者瞳孔的平均面積．圖2為被試者瞳孔區(qū)域平均面積分布圖，從2圖可以看出：不同被試者瞳孔面積不同，但均分布在400～2000像素之間．因此，將Ss設(shè)定在400～2000像素之間．

圖2 被試者瞳孔區(qū)域平均面積分布圖 Fig. 2 Distribution of mean pupillary area of subjects

1.3 外接矩形長(zhǎng)寬比篩選

基于四鄰域法劃分連通域，定義兩種外接矩形：第一種以4個(gè)極值點(diǎn)為頂點(diǎn)坐標(biāo)的正外接矩形，第二種為面積最小外接矩形．

定義外接矩形頂點(diǎn)集合為A，見(jiàn)式(6)．

其中：i∈(1，2，…，N)，N為正整數(shù)；Aim表示第i個(gè)外接矩形的4個(gè)頂點(diǎn)( xim,yim)的集合；m表示頂點(diǎn)位置，外接矩形坐標(biāo)示意圖見(jiàn)圖3．

圖3 外接矩形坐標(biāo)示意圖Fig. 3 Schematic diagram of enclosing rectangular coordinates

按照指定角度θ旋轉(zhuǎn) Aim，獲得新的外接矩形的4個(gè)頂點(diǎn)，每個(gè)頂點(diǎn)( xim,yim)計(jì)算公式為

圖3中l(wèi)i、iw、Si的計(jì)算公式見(jiàn)式(8)，Si為外接矩形面積．定義其長(zhǎng)寬比為

連通域外接矩形如圖4所示．滿(mǎn)足式(9)時(shí)為第一種外接矩形，即最小正外接矩形，如圖4(a)中的藍(lán)色矩形框所示．

滿(mǎn)足式(10)條件時(shí)為第二種外接矩形，即最小面積外接矩形，如圖4(b)中紅色矩形框所示，以計(jì)算連通域的傾斜角度．

其中Smin為最小面積．圖4(c)是兩種外接矩形的對(duì)比圖．

圖4 連通域外接矩形Fig. 4 Connected region outside the rectangle

利用長(zhǎng)寬比R進(jìn)行二次篩選，排除與瞳孔面積相近輪廓所造成的誤差．瞳孔近似于圓形，根據(jù)采集角度、瞳孔位置變化和極限位置采集實(shí)驗(yàn)結(jié)果，將外接矩形長(zhǎng)寬比的篩選值R設(shè)定為0.8～1.7．圖5為3種不同瞳孔外接矩形長(zhǎng)寬比的示意圖，圖中標(biāo)記了瞳孔區(qū)域外接矩形的長(zhǎng)度、寬度、長(zhǎng)寬比R以及不同比值時(shí)的瞳孔定位效果．

圖5 3種不同外接矩形長(zhǎng)寬比的瞳孔分割結(jié)果Fig. 5 Pupil segmentation results of three different rectangles with different aspect ratios

圖5 (b)的瞳孔外接矩形的長(zhǎng)寬比R＝0.947，最接近1，所以瞳孔分割結(jié)果最接近圓形．

1.4 最小外接矩形與外接矩形角度差篩選

連通域最小外接矩形與外接矩形角度差篩選主要解決瞳孔灰度特征相似的干擾，進(jìn)一步提高瞳孔定位的準(zhǔn)確率．因?yàn)橥仔巫兘Y(jié)果只能是圓形或者橢圓，所以篩選角度差設(shè)為0°或45°．角度差定位如圖6所示：右邊的連通域兩個(gè)外接矩形的角度偏差為0°，屬于瞳孔區(qū)域．左邊的連通域?yàn)檠劢顷幱?，有兩個(gè)外接矩形，水平方向的為正外接矩形，傾斜的為最小外接矩形，兩個(gè)外接矩形的角度差為9°，不在角度差篩選范圍內(nèi)，判定該連通域不屬于瞳孔區(qū)域．因此，該算法可實(shí)現(xiàn)瞳孔區(qū)域篩選功能．

圖6 角度差定位 Fig. 6 Angle difference positioning

1.5 瞳孔精確定位和追蹤

眼部圖像經(jīng)圖像預(yù)處理和瞳孔區(qū)域篩選后實(shí)現(xiàn)瞳孔區(qū)域分割，分割結(jié)果如圖7(a)所示，其中紅色區(qū)域?yàn)橥讌^(qū)域，黃色位置為瞳孔中心，坐標(biāo)為

其中( xo,yo)是瞳孔中心坐標(biāo)，( xi0,yi0)為第一種外接矩形的左上角坐標(biāo)，li與 wi分別為外接矩形的長(zhǎng)和寬．將定位后的瞳孔中心位置坐標(biāo)與原圖進(jìn)行擬合，并在原圖中標(biāo)記瞳孔位置，最終得到瞳孔定位圖像，如圖7(b)所示．雖有燈光的輕微干擾，但定位結(jié)果并未受到影響，該定位中心與瞳孔的實(shí)際中心位置吻合．順序記錄瞳孔中心位置變化，獲得瞳孔運(yùn)動(dòng)軌跡.

圖7 瞳孔定位Fig. 7 Pupil positioning

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)儀器

850nm窄帶濾波8mm的1080p紅外攝像頭一臺(tái)，win10系統(tǒng)計(jì)算機(jī)一臺(tái)，分辨率為1920×1080的23.4英寸顯示器一臺(tái)，自主設(shè)計(jì)并3D打印的采集支架一部．實(shí)驗(yàn)環(huán)境：Microsoft Visual Studio2019，使用C++語(yǔ)言作為軟件開(kāi)發(fā)語(yǔ)言，聯(lián)合使用OpenCV3計(jì)算機(jī)視覺(jué)函數(shù)庫(kù)，采用Matlab R2018a進(jìn)行數(shù)據(jù)處理．

2.2 準(zhǔn)確性檢測(cè)

由于瞳孔存在個(gè)體差異性，本實(shí)驗(yàn)采用中科院的虹膜圖像數(shù)據(jù)集對(duì)算法的準(zhǔn)確性進(jìn)行驗(yàn)證．在CASIA-Iris-Interval、CASIA-Iris-Lamp、CASIA-Iris-Syn、CASIA-Iris-Thousand和CASIA-Iris-Twins這5個(gè)虹膜數(shù)據(jù)集上進(jìn)行瞳孔定位準(zhǔn)確性檢測(cè)，其中CASIA-Iris-Syn的準(zhǔn)確率高達(dá)99.50%，平均誤差率在7.54%以下．對(duì)比傳統(tǒng)Hough變換、文獻(xiàn)[6]中的梯度定位方法、文獻(xiàn)[9]提出的瞳孔定位方法以及全卷積神經(jīng)網(wǎng)絡(luò)(FCNN)的方法[16]，實(shí)驗(yàn)結(jié)果進(jìn)一步驗(yàn)證了本文方法定位結(jié)果的準(zhǔn)確性更高，普適性更強(qiáng)．表1為本文方法與上述提到的4種方法在5個(gè)數(shù)據(jù)集上進(jìn)行瞳孔定位的結(jié)果．

表1 瞳孔定位方法對(duì)比 Tab. 1 Comparison of pupil positioning methods

由表1可以看出，本文方法定位準(zhǔn)確率高，即使 在圖像質(zhì)量非常差的數(shù)據(jù)集CASIA-Iris-Interval上，定位準(zhǔn)確率依然能夠達(dá)到89.54%．

本文技術(shù)方法穩(wěn)定性與抗光照干擾能力強(qiáng)．5種方法在5個(gè)不同的數(shù)據(jù)集上的瞳孔定位結(jié)果如圖8所示．其中數(shù)據(jù)集CASIA-Iris-Interval中的圖像像素為320×280，相比其他幾個(gè)數(shù)據(jù)集，該數(shù)據(jù)集圖像質(zhì)量最差，因此經(jīng)過(guò)圖像預(yù)處理之后獲取的信息最少，導(dǎo)致識(shí)別準(zhǔn)確率較低．在使用文獻(xiàn)[6]中的梯度定位方法得到的定位準(zhǔn)確率尤為偏低，但本文方法的準(zhǔn)確率依然能保證在89.54%．?dāng)?shù)據(jù)集CASIA-Iris-Lamp中的圖像存在濃密的眉毛和顏色深的睫毛的干擾情況，本文技術(shù)方法相對(duì)于另外4種方法的定位結(jié)果更為精準(zhǔn)．?dāng)?shù)據(jù)集CASIA-Iris-Syn中的圖像相對(duì)較純凈，5種方法定位準(zhǔn)確率都較高．?dāng)?shù)據(jù)集CASIA-Iris-Thousand中的圖像，存在眼鏡反光和眼皮遮擋的干擾，F(xiàn)CNN瞳孔分割算法[16]表現(xiàn)出了較強(qiáng)的抗干擾能力，而利用本文技術(shù)方法進(jìn)行定位，準(zhǔn)確率也能達(dá)到91.30%．?dāng)?shù)據(jù)集CASIA-Iris-Twins中的圖像，存在長(zhǎng)睫毛和長(zhǎng)頭發(fā)的干擾，文獻(xiàn)[6]中的梯度定位方法對(duì)其進(jìn)行了弱化處理，但是同時(shí)也損失了圖像信息，導(dǎo)致最終的準(zhǔn)確率低，而另外4種方法定位相對(duì)準(zhǔn)確．

圖8 瞳孔定位效果對(duì)比 Fig. 8 Comparison of pupil positioning effect

2.3 魯棒性與實(shí)時(shí)性分析

為了驗(yàn)證算法在不同眼球注視情況下定位的魯棒性，在保證眼睛舒適的情況下，實(shí)驗(yàn)采集被試者向上、向下、向左、向右看時(shí)不同的瞳孔極限位置以及瞳孔輕微形變情況下的人眼圖像．圖9為利用本文技術(shù)方法得到不同眼球注視情況下的瞳孔定位結(jié)果．分析魯棒性檢測(cè)結(jié)果可以發(fā)現(xiàn)，該方法能夠準(zhǔn)確地分割瞳孔區(qū)域，同時(shí)實(shí)現(xiàn)在人眼正常視物狀態(tài)下，眼球向極左、極右、極上、極下方向觀(guān)看時(shí)，準(zhǔn)確地定位瞳孔，證明本文的技術(shù)方法具有良好的魯棒性和抗干擾能力．

在不同光照情況下采集眼部圖像，定位結(jié)果如圖10所示．從結(jié)果得知定位準(zhǔn)確，抗燈光干擾能力強(qiáng)．

在數(shù)據(jù)集CASIA-Iris-Syn 中定位準(zhǔn)確率最高，并且該數(shù)據(jù)集中存在較多眼部有黑痣、斑點(diǎn)以及濃密眉毛頭發(fā)的干擾，本文方法仍然能使定位準(zhǔn)確率達(dá)到99.5%，圖11(a)展示了在黑痣和斑點(diǎn)干擾下的定位結(jié)果，圖11(b)展示了在濃密眉毛頭發(fā)干擾下的定位結(jié)果．

眼鏡的反光對(duì)于瞳孔定位的干擾也是非常嚴(yán)重的，因此在實(shí)驗(yàn)室隨機(jī)選取3名被試者測(cè)試本文方法抗眼鏡干擾的結(jié)果．選取視力正常、中度近視和重度近視各1名，其中視力正常的被試人員佩戴無(wú)屈光度的平光鏡，測(cè)試結(jié)果為圖12(a)；近視者佩戴屈光度-3.50的近視鏡，測(cè)試結(jié)果為圖12(b)；近視者佩戴屈光度-7.25的近視鏡，測(cè)試結(jié)果為圖12(c)．由圖12可見(jiàn)，該定位方法可以應(yīng)用于近視、遠(yuǎn)視患者身上，能夠?qū)崿F(xiàn)在佩戴眼鏡的情況下進(jìn)行瞳孔信息的采集、處理工作.

圖9 瞳孔定位魯棒性檢測(cè) Fig. 9 Robust detection of pupil positioning

圖10 不同光照干擾測(cè)試圖 Fig. 10 Test diagram of different light interference

圖11 黑痣、斑點(diǎn)、毛發(fā)干擾測(cè)試圖 Fig. 11 Test chart of mole，spot and hair interference

圖12 眼鏡干擾測(cè)試圖 Fig. 12 Glasses interference test diagram

圖13 為被試者在正常視物情況下，實(shí)現(xiàn)實(shí)時(shí)瞳孔定位追蹤的軟件界面．其中：左圖為實(shí)時(shí)定位的瞳孔擬合圖；右圖為視線(xiàn)軌跡圖，為順序記錄的瞳孔中心運(yùn)動(dòng)軌跡，紫色標(biāo)記為第1幀開(kāi)始位置，紅色標(biāo)記為當(dāng)前瞳孔位置，同時(shí)將檢測(cè)到的瞳孔面積、瞳孔中心坐標(biāo)、采集時(shí)間和當(dāng)前采集幀數(shù)作為數(shù)據(jù)輸出．結(jié)果表明，本文技術(shù)方法具有良好的實(shí)時(shí)性．

圖13 實(shí)時(shí)視線(xiàn)定位追蹤軟件界面 Fig. 13 Interface of real-time eye tracking software

3 結(jié) 語(yǔ)

針對(duì)生理參數(shù)中瞳孔定位普遍存在的鬢角、眉毛和光照等干擾，提出了一種基于幾何形狀特征的實(shí)時(shí)瞳孔定位追蹤技術(shù)．該技術(shù)實(shí)現(xiàn)方法利用瞳孔面積閾值篩選、聯(lián)合兩種不同的瞳孔外接矩形長(zhǎng)寬比、角度差提取瞳孔特征，逐步精確定位瞳孔，最后通過(guò)瞳孔中心坐標(biāo)與原圖像擬合獲得準(zhǔn)確的實(shí)時(shí)瞳孔定位，并將瞳孔中心位置坐標(biāo)順序連接，實(shí)現(xiàn)瞳孔軌跡追蹤．

將該技術(shù)方法在中科院5種不同的虹膜圖像數(shù)據(jù)集上進(jìn)行準(zhǔn)確性檢測(cè)，結(jié)果表明該定位技術(shù)的最高準(zhǔn)確率提高到99.5%，平均誤差減少到7.54%．由85名被試者在不同眼球注視情況下進(jìn)行實(shí)時(shí)性檢測(cè)，結(jié)果表明該定位技術(shù)能有效地解決睫毛遮擋、眼部黑痣干擾、眼角部分陰影干擾等一系列問(wèn)題．通過(guò)被試者在正常視物情況下注視不同極限位置的測(cè)試，證明該技術(shù)實(shí)時(shí)性和魯棒性良好．由此可見(jiàn)，該技術(shù)對(duì)背景環(huán)境要求較低、具有實(shí)時(shí)性，并能夠根據(jù)瞳孔位置實(shí)時(shí)精確定位追蹤被試者的眼睛以及人臉等，可以廣泛應(yīng)用于眼球追蹤、視線(xiàn)分析等方面的研究．