黃俊
摘要:提出了一種新的瞳孔中心定位方法,能夠在虛擬現(xiàn)實(shí)可穿戴設(shè)備中,較好地追蹤眼球的運(yùn)動(dòng)。通過(guò)采用圓環(huán)射線的方法,提取瞳孔邊界點(diǎn)。首先,求取眼睛二值化圖像,再通過(guò)連通區(qū)域標(biāo)記法及篩選準(zhǔn)則,求出瞳孔連通區(qū)域,并求出其質(zhì)心和半徑,作為粗略的瞳孔中心及半徑。其次,以粗略瞳孔中心為圓心,確定一個(gè)圓環(huán)區(qū)域。接著,從內(nèi)圓周向外圓周發(fā)出射線,通過(guò)設(shè)置梯度閾值,篩除偽瞳孔邊界點(diǎn)。最后,通過(guò)橢圓擬合法,在瞳孔邊界點(diǎn)集上擬合出精確的橢圓。實(shí)驗(yàn)結(jié)果表明,提出的瞳孔中心定位方法比傳統(tǒng)的方法更為魯棒且精確。尤其在有光斑及自然光遮擋下,提出的方法比傳統(tǒng)的方法抗干擾性更強(qiáng),更穩(wěn)定。
關(guān)鍵詞:可穿戴設(shè)備;瞳孔檢測(cè);圓環(huán)射線定位
中圖分類號(hào):TP18 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2017)22-0193-03
人類通過(guò)眼睛,就能獲得外界80%-90%信息。而人類的視覺(jué)感知信息可以通過(guò)眼睛注視點(diǎn)跟蹤獲得。隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展,注視點(diǎn)跟蹤技術(shù)被越來(lái)越廣泛地應(yīng)用在醫(yī)療、產(chǎn)品測(cè)試,人機(jī)交互、航空軍事等領(lǐng)域。
近些年來(lái),作為注視點(diǎn)追蹤技術(shù)的一種,瞳孔中心角膜反射(PCCR)法發(fā)展得越來(lái)越快。其中,瞳孔中心定位技術(shù)在瞳孔中心角膜反射法中扮演著至關(guān)重要的角色。在瞳孔中心定位中,有許多干擾因素如睫毛、眼瞼,陰影,光照及光斑的遮擋。這些干擾因素極易造成瞳孔輪廓邊界點(diǎn)提取出錯(cuò),進(jìn)而影響瞳孔中心的定位。所以,為了確保注視點(diǎn)跟蹤的效果,瞳孔中心定位方法的魯棒性和精度相對(duì)重要。
以前的學(xué)者們?cè)谕字行亩ㄎ簧献隽朔浅ゴ蟮难芯抗ぷ?。Ebisawa提出了一種利用兩個(gè)紅外燈組獲得眼睛亮、暗瞳圖像,再通過(guò)亮、暗瞳圖像進(jìn)行差分的瞳孔定位技術(shù)。其中亮瞳圖像通過(guò)打開(kāi)靠近攝像頭光心的一圈紅外燈組獲得,暗瞳圖像則是通過(guò)打開(kāi)遠(yuǎn)離攝像頭光心的另一圈紅外燈組獲得。由于需要奇、偶兩幀圖像差分,才能定位瞳孔中心,使得注視點(diǎn)追蹤系統(tǒng)的處理幀率降低了一半。另外,盡管圖像差分方法比較簡(jiǎn)單,但開(kāi)、關(guān)紅外燈組會(huì)影響穩(wěn)定性。為了克服這種技術(shù)的限制,單眼圖像處理技術(shù)被提出。在文獻(xiàn)中,為了獲得精確的瞳孔中心位置,由粗到精橢圓擬合技術(shù)被提出,來(lái)消除瞳孔偽邊界點(diǎn)。但是瞳孔偽邊界點(diǎn)的剔除十分困難,且由粗到精的橢圓擬合算法比較耗時(shí)。Yoo et a1.通過(guò)迭代式投影法得到瞳孔粗略中心。應(yīng)用蛇模型去收斂到瞳孔的邊界,但沒(méi)有考慮剔除瞳孔偽邊界點(diǎn)的步驟。再在瞳孔邊界點(diǎn)集上做橢圓擬合來(lái)求得瞳孔中心位置。Gwon et al.采用CED方法,先定位大致瞳孔區(qū)域,再通過(guò)計(jì)算黑色區(qū)域像素的幾何中心來(lái)得到瞳孔中心。在瞳孔檢測(cè)之前,光斑被水平方向上相鄰像素消除。但是,當(dāng)在瞳孔邊界點(diǎn)區(qū)域進(jìn)行消除時(shí),會(huì)帶來(lái)誤差進(jìn)而影響瞳孔中心的定位。為了更好的提取瞳孔邊界,Li et al.提出了一種基于特征的方法。在特征檢測(cè)的過(guò)程中,通過(guò)從一個(gè)估計(jì)的瞳孔中心發(fā)射射線來(lái)獲得瞳孔候選輪廓。RANSAC被用來(lái)區(qū)分瞳孔邊界點(diǎn)和干擾點(diǎn)。但當(dāng)干擾因素,如自然光或紅外燈產(chǎn)生的光斑在瞳孔邊界點(diǎn)上或附近時(shí),瞳孔邊界點(diǎn)和這些干擾點(diǎn)會(huì)混在一起。在這種情況下,RANSAC并不能區(qū)分開(kāi)它們,瞳孔中心的精確性也會(huì)受到影響。Krishnamoorthi和Annapoora-ni[2s[提出一種基于邊界抽取的瞳孔中心定位技術(shù),采用正交多項(xiàng)式模型來(lái)分析眼睛圖像的結(jié)構(gòu),采用Hartley統(tǒng)計(jì)測(cè)試檢驗(yàn)邊緣圖抽取,并提出Where-to-go方法進(jìn)行瞳孔邊界點(diǎn)定位。盡管瞳孔中心定位比較精確,但是受到邊界假設(shè)的約束。
論文接下來(lái)的部分組織如下:第一部分寫提出的方法細(xì)節(jié)。第二部分寫實(shí)驗(yàn)以及展示實(shí)驗(yàn)結(jié)果。第三部分,對(duì)整個(gè)工作做一個(gè)總結(jié)。
1提出的方法
提出了一種新的瞳孔中心定位方法,能夠在虛擬現(xiàn)實(shí)可穿戴設(shè)備中,較好地追蹤眼球的運(yùn)動(dòng)。與先前的Starburst相比,提出的圓環(huán)射線定位法有更高的準(zhǔn)確性、穩(wěn)定性與實(shí)時(shí)性。這種方法能夠克服粗略瞳孔中心的不確定性。當(dāng)干擾因素在瞳孔邊界上或周圍時(shí),瞳孔中心也能夠被精確定位。采用Ostu方法獲得眼睛二值化圖像。再通過(guò)開(kāi)、閉操作消除睫毛或眼瞼的影響。通過(guò)連通區(qū)域篩選法,剔除偽瞳孔區(qū)域。再計(jì)算瞳孔區(qū)域的像素的幾何中心作為粗略的瞳孔中心位置。瞳孔水平、垂直積分投影法確定瞳孔區(qū)域的外接矩形。再通過(guò)粗略外接矩形確定圓環(huán)區(qū)域。在圓環(huán)區(qū)域內(nèi),由內(nèi)向外發(fā)射等間隔射線并計(jì)算射線上的像素點(diǎn)的一階梯度值。通過(guò)設(shè)置梯度閾值,來(lái)剔除瞳孔偽邊界點(diǎn)。同時(shí),采用雙樣條插值技術(shù)來(lái)獲得亞像素級(jí)別的瞳孔邊界點(diǎn)。
1.1提出的注視點(diǎn)追蹤設(shè)備
在此次研究中,我們研發(fā)了一種眼球追蹤裝置,包括頭盔、顯示器、四個(gè)近紅外燈組還有一個(gè)近紅外攝像頭??紤]到成像距離限制再30-50mm,采用窄視場(chǎng)角的相機(jī)來(lái)捕獲圖片。圖片分辨率為640×480。近紅外燈波長(zhǎng)為850nm,功率小于5mw。
1.2瞳孔檢測(cè)
從圖像傳感器中,獲得眼睛圖像,如圖1(a)所示。在眼睛圖像上,采用Ostu法計(jì)算瞳孔二值化閾值,得到眼睛二值化圖像,如圖1(b)所示。再在眼睛二值化圖像基礎(chǔ)上,采用連通區(qū)域標(biāo)記法計(jì)算候選瞳孔聯(lián)通區(qū)域。再基于幾何約束和距離約束,篩選出真正的瞳孔區(qū)域,如圖1(c)所示。
1.3粗略瞳孔區(qū)域與中心的定位
在上述1-c的篩選的瞳孔區(qū)域,沿著x、y方向分別進(jìn)行積分投影,得到瞳孔的外接矩形。其中,外接矩形區(qū)寬記為l4,長(zhǎng)記為lz。瞳孔中心位置為瞳孔區(qū)域中白色像素的幾何質(zhì)心。粗略的瞳孔中心坐標(biāo)記為o'p=(x'p,y'p),粗略的瞳孔半徑記為r'p=(l2+l4)/4。
1.4瞳孔中心精確定位
基于Starburst,提出了一種新的圓環(huán)射線定位法來(lái)進(jìn)行瞳孔邊界點(diǎn)檢測(cè)。這種方法比Starburst更好。首先,這些射線是從內(nèi)圓向外圓射出,而不是從一個(gè)猜測(cè)點(diǎn)出發(fā)。在Starburst中,需要發(fā)射兩次射線才能收集到足夠多的瞳孔邊界點(diǎn)。但是在提出的方法中,只需要一次發(fā)射,就可收集足夠多的瞳孔邊界點(diǎn)來(lái)進(jìn)行橢圓擬合。而且射線的長(zhǎng)度更短,耗時(shí)也更短。其次,在Starburst中,采用RANSAC來(lái)區(qū)分與篩選瞳孔邊界點(diǎn)與干擾如光斑與自然雜光,比較耗時(shí)。而提出的方法主要利用瞳孔與虹膜交界處的像素變化明顯的特征,求取射線上像素點(diǎn)灰度值的一階梯度值。然后通過(guò)設(shè)置梯度閾值,來(lái)檢測(cè)瞳孔邊界點(diǎn)。通過(guò)計(jì)數(shù)射線上瞳孔邊界點(diǎn)個(gè)數(shù)來(lái)篩除干擾點(diǎn)。實(shí)驗(yàn)結(jié)果顯示,采用提出的方法既準(zhǔn)確又高效。第三,應(yīng)用雙線性插值法對(duì)瞳孔邊界點(diǎn)進(jìn)行亞像素級(jí)定位,進(jìn)而提高瞳孔中心定位的精度。