視線追蹤系統(tǒng)中注視點估計方法研究

金　純　李婭萍

(重慶郵電大學(xué)通信與信息工程學(xué)院無線傳輸重點實驗室1,重慶　400065；重慶金甌科技發(fā)展有限責(zé)任公司2，重慶　400041)

視線追蹤系統(tǒng)中注視點估計方法研究

金純1,2李婭萍1

(重慶郵電大學(xué)通信與信息工程學(xué)院無線傳輸重點實驗室1,重慶400065；重慶金甌科技發(fā)展有限責(zé)任公司2，重慶400041)

摘要：在回顧視線追蹤技術(shù)發(fā)展歷程的基礎(chǔ)上，對該技術(shù)的研究方向和幾種主要的視線跟蹤方法進(jìn)行了簡單闡述。重點介紹了基于瞳孔-角膜反射法的視線追蹤技術(shù)的原理及其硬件組成，尤其對現(xiàn)有視線跟蹤系統(tǒng)中比較成熟的注視點估計算法進(jìn)行了歸納總結(jié)和原理剖析。對二維和三維的注視點估計算法的精度和用戶自由度進(jìn)行了進(jìn)一步的橫向比較。最后指出了視線追蹤技術(shù)存在的缺陷，并對其在人機(jī)交互、智能機(jī)器、虛擬現(xiàn)實等領(lǐng)域的應(yīng)用前景進(jìn)行了展望。

關(guān)鍵詞：視線跟蹤瞳孔-角膜反射注視點估計人機(jī)交互虛擬現(xiàn)實誤差補償校準(zhǔn)神經(jīng)網(wǎng)絡(luò)

0引言

視線跟蹤技術(shù)是一項利用人類眼球運動信息來實現(xiàn)控制設(shè)備目的的科學(xué)應(yīng)用技術(shù)，解決了上肢有殘疾或者雙手因執(zhí)行操作任務(wù)而被占用的人員對計算機(jī)等終端設(shè)備操作的難題。近年來，該技術(shù)迅速獲得國內(nèi)外相關(guān)學(xué)者的積極關(guān)注，被廣泛應(yīng)用于視覺注意機(jī)制的研究、頁面分析、人機(jī)交互、虛擬現(xiàn)實、智能機(jī)器以及軍事等領(lǐng)域。國外在20世紀(jì)初就開始研制相關(guān)眼動儀器，美國、日本等國家在這方面的研究比較深入，已經(jīng)走在世界的前列，進(jìn)入實用化和商品化的階段。國內(nèi)大約在20世紀(jì)70年代末80年代初才開始對視線跟蹤技術(shù)的研究，目前還沒有成熟的視線跟蹤產(chǎn)品，但是很多高校以及研究機(jī)構(gòu)，如清華大學(xué)、西安電子科技大學(xué)、浙江大學(xué)、天津大學(xué)、北京科技大學(xué)等都對該技術(shù)表現(xiàn)出了非常大的興趣。20世紀(jì)90年代，西安電子科技大學(xué)開發(fā)了眼動測量系統(tǒng)，北京航空航天大學(xué)開發(fā)了人機(jī)界面評價試驗臺，推動了國內(nèi)視線追蹤技術(shù)的不斷發(fā)展。

當(dāng)前視線追蹤系統(tǒng)原理的研究主要是圍繞如何精確地、對人無干擾地追蹤人的眼動過程來進(jìn)行的[1]。當(dāng)用戶頭部靜止時，視線追蹤精度較高，視線落點距離真實落點較近，緊密散布在其周圍；當(dāng)用戶頭部自由運動時，視線追蹤精度較之靜止時刻相對降低，視線落點與真實落點之間的距離逐漸增大，在其周圍的落點分布相對松散。因此，如何在復(fù)雜的應(yīng)用場景中適應(yīng)不同的用戶以及在追蹤精度、用戶自由度和成本之間尋找一個平衡的切入點顯得至關(guān)重要。

1視線跟蹤技術(shù)原理

基于瞳孔-角膜反射法的視線追蹤系統(tǒng)采用紅外光源照射眼睛，在人眼角膜上產(chǎn)生反射光斑，眼睛注視不同方向時，瞳孔中心隨著視線方向發(fā)生相應(yīng)的變化，角膜反射點的位置固定不變。利用眼球和角膜反射點的這種特性，提取視線特征參數(shù)(瞳孔中心和角膜反射光斑中心)，通過相應(yīng)的注視點估計法就可以得到視線的落點位置[2]。

系統(tǒng)主要由視線特征參數(shù)提取、注視點估計、誤差補償和校準(zhǔn)幾個模塊組成。其中注視點估計是直接決定系統(tǒng)精度的核心模塊。隨著視線跟蹤技術(shù)的快速發(fā)展，涌現(xiàn)出了各種各樣的注視點估計算法[3]。本文在上述視線特征參數(shù)提取模塊的基礎(chǔ)上，對注視點估算法作進(jìn)一步的解析和歸納。視線追蹤系統(tǒng)結(jié)構(gòu)框架圖如圖1所示。

圖1　視線追蹤系統(tǒng)結(jié)構(gòu)圖

2注視點估計算法

注視點估計算法是視線跟蹤系統(tǒng)中非常關(guān)鍵的算法，包括計算視線方向所需的來自用戶的參數(shù)化后的眼睛幾何信息。注視點估計算法大致可分為兩類：基于二維映射模型的視線估計方法以及基于三維的視線直接估計的方法[4]。兩類方法的性能分析如表1所示。

表1　兩類方法的性能分析

2.1基于二維映射模型的視線估計方法

2D視線估計方法首先計算出注視點的二維坐標(biāo)信息，然后建立其與注視目標(biāo)之間的映射關(guān)系，得到視線在注視目標(biāo)的注視位置。比較常用的有多項式擬合、交比映射、機(jī)器學(xué)習(xí)這幾種方法，其中機(jī)器學(xué)習(xí)主要有神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等方法。

Morimoto等人提出了一種非接觸式的視線跟蹤方法[5]，通過二階多項式擬合方程來確定注視點的位置。

(1)

基于二維映射模型的視線估計法需要校準(zhǔn)過程，頭部保持靜止時追蹤精度較高，誤差范圍控制在1 cm以內(nèi)，但該方法對頭動比較敏感，極大地限制了用戶自由度和視線追蹤技術(shù)的實用性。文獻(xiàn)[6]在該算法的基礎(chǔ)上，提出了一種頭部深度平移和平面平移的補償方法。利用深度平面移動比例系數(shù)對視線的落點進(jìn)行了補償，允許頭部在水平和垂直方向上偏移2～3個頭部位置。

張鵬翼等使用立體視覺信息的視線追蹤系統(tǒng)設(shè)計[7]，使用神經(jīng)網(wǎng)絡(luò)結(jié)合卡爾曼濾波的方法對瞳孔進(jìn)行跟蹤；再結(jié)合支持向量回歸對人眼參數(shù)和注視點之間的關(guān)系進(jìn)行訓(xùn)練，利用神經(jīng)網(wǎng)絡(luò)的非線性映射能力對視線狀態(tài)轉(zhuǎn)移模型進(jìn)行逼近來跟蹤視線。

用以下數(shù)學(xué)式作為神經(jīng)網(wǎng)絡(luò)的輸入，代表瞳孔在t時刻的狀態(tài)向量：

Xt=(ct,rt,μt,vt)T

(2)

式中：(ct,rt)為瞳孔在t時刻像素質(zhì)心; (μt,vt)為t時刻瞳孔在c和r方向上的矢量。

式(3)表示瞳孔在t+1時刻的狀態(tài)向量，作為神經(jīng)網(wǎng)絡(luò)的輸出：

(3)

通過訓(xùn)練，該視線狀態(tài)轉(zhuǎn)移模型可以表示為：

Xt+1=φXt+wt

(4)

式中：φ為神經(jīng)網(wǎng)絡(luò)逼近的狀態(tài)轉(zhuǎn)移模型;wt為系統(tǒng)噪聲，服從正態(tài)分布wt～N(0,Q)。該方法對人無干擾且用戶自由度高，但是系統(tǒng)冗余度和精度不能很好地滿足系統(tǒng)需要，并且在成熟度和實用性方面有所欠缺。

Dong H Y和Myung J C提出了頭部自由的基于投影空間的不變值的免定標(biāo)視線估計方法[8]。該方法將4個紅外光源安裝在計算機(jī)屏幕4個角，在人眼角膜上投射出4個反射光斑，利用光斑所形成的四邊形的投影關(guān)系進(jìn)行視線方向的估計。該方法有屏幕坐標(biāo)系、攝像機(jī)坐標(biāo)系和眼圖坐標(biāo)系3個坐標(biāo)系系統(tǒng)。該算法允許測試者頭部在一定范圍內(nèi)運動且無需定標(biāo)過程，精度較高，但是較多的硬件配置限制了系統(tǒng)的集成及移植。文獻(xiàn)[9]提出了基于空間三點映射的相似三角形的注視點估計算法。計算機(jī)屏幕上的注視點及兩個紅外光源構(gòu)成計算機(jī)平面三角形，人眼圖像中瞳孔中心與兩反射點構(gòu)成眼圖平面三角形。根據(jù)視覺成像原理，兩三角形為相似三角形，由眼圖視線參數(shù)坐標(biāo)來確定屏幕上注視點的位置。

式中：(XQ,YQ)為注視點坐標(biāo);(XL1,YL1)和(XL2,YL2)分別是兩紅外光源的坐標(biāo)位置，其坐標(biāo)值可通過測量獲得;(XPQ，YPQ)、(XP1，YP1)和(XP2,YP2)分別為圖像中瞳孔中心及兩反射光斑的坐標(biāo)，其坐標(biāo)在圖像處環(huán)節(jié)可獲得。

以上兩種映射方法精度較高，但是忽略了眼球的曲面生理結(jié)構(gòu)，把眼球看作平面在歐式幾何中進(jìn)行建模，降低了系統(tǒng)的精度。眼球生理結(jié)構(gòu)中視軸和光軸的區(qū)別沒有考慮在內(nèi)，沒有進(jìn)行視軸和光軸之間的轉(zhuǎn)換。

文獻(xiàn)[10]還提出了一種以角膜反射中心指向瞳孔中心的向量作為平面視線方向參數(shù)，通過訓(xùn)練多位測試者盯視屏幕標(biāo)定點，經(jīng)分析得出立體視線方向角的數(shù)據(jù)，進(jìn)而得到視線落點。該文獻(xiàn)還提出了頭部位置變化計算模型，在頭部位置變化時，對視線落點進(jìn)行了補償。此外，還有基于模板匹配法的注視點估計定位、眼睛方位直接判別法等估計方法。

2.2基于三維的視線直接估計的方法

3D視線跟蹤方法不需要用戶提前進(jìn)行校準(zhǔn)，根據(jù)視線在空間中的具體位置，與計算機(jī)屏幕相交得到視線在空間中的目標(biāo)注視點。該方法需先確定臉部三維空間坐標(biāo)，再使用二維視線跟蹤方法，最終得到三維視線坐標(biāo)。

(5)

角膜曲率中心O與瞳孔中心P的連線稱為眼球的光軸Vp：

Vp=O+K(P-O)

(6)

由于視線的落點是視軸與屏幕的交點，因此需要進(jìn)行光軸與視軸之間的轉(zhuǎn)換。人眼光軸和視軸之間有一個大約為5°的夾角，利用光軸與視軸之間的夾角關(guān)系和補償算法得到視軸的方向Vv：

Vv=O+K′(P-O)

(7)

該方法雖然在用戶自由度方面有了提高，但是攝像機(jī)和光源等需要保持相對的靜止。一旦移動，則需要重新標(biāo)定，大大降低了系統(tǒng)的精度。文獻(xiàn)[12]提出了一種對測量誤差進(jìn)行補償?shù)臉?biāo)定方法，分別說明了當(dāng)光源、光源角膜反射點和瞳孔中心標(biāo)定不準(zhǔn)確時誤差的范圍，并對其提出補償。表2為以上幾種二維和三維注視點估計方法性能比較。

表2　注視點估計方法性能比較

3視線追蹤技術(shù)未來發(fā)展趨勢

視線跟蹤技術(shù)可以理解人們的意圖和狀態(tài)，同時作出相應(yīng)的反應(yīng)。由無意識的機(jī)械裝置轉(zhuǎn)變?yōu)橛幸庾R的智能裝置，被認(rèn)為是非常有價值的技術(shù)。目前，三星和LG都推出了搭載有眼球追蹤技術(shù)的產(chǎn)品。通用汽車引進(jìn)了視線追蹤和頭部追蹤技術(shù)。然而，對于當(dāng)前的視線追蹤系統(tǒng)而言，這一技術(shù)無法滿足實際的應(yīng)用需求，在國內(nèi)并沒有得廣泛的應(yīng)用。比如，讓機(jī)器對人類眼睛動作的真實意圖進(jìn)行有效識別，以判斷它是無意識運動還是有意識變化，并不是一件容易的事情。主要的原因在于：

①視線跟蹤精度低。由于人眼生理結(jié)構(gòu)的復(fù)雜性和人類視覺特點的非線性特質(zhì)，使得目前的視線追蹤技術(shù)研究中沒有準(zhǔn)確的視覺映射模型，且不能通過手動測量來得到視線落點。同時由于部分用戶存在近視和遠(yuǎn)視及斜視等情況，造成眼球曲率的后天變化，使注視點估計算法的精確程度更加具有挑戰(zhàn)性。

②用戶自由度低。視線追蹤技術(shù)大體還存在這樣一個狀況：頭部保持靜止時，視線追蹤精度較高；頭部運動時，視線追蹤精度大大降低。目前，商品化和實用化的視線追蹤儀器對精度要求較高，要求用戶使用時保持頭部位置固定，給用戶帶來了很大的不便。在醫(yī)療領(lǐng)域，干擾式視線追蹤技術(shù)給用戶帶來的不便相對較小。在人機(jī)交互、虛擬現(xiàn)實及智能機(jī)器等領(lǐng)域，干擾式的視線追蹤系統(tǒng)極大地限制了用戶的頭動自由度，使用戶體驗的舒適度和自由度大大降低。

③視線追蹤的實時性。由于算法的復(fù)雜度和硬件設(shè)備幀頻的限制性，使系統(tǒng)不能夠很好地滿足用戶實時的需求。

④系統(tǒng)成本高。大部分的視線追蹤系統(tǒng)均使用了多個相機(jī)和多個光源及其他比較昂貴的專業(yè)輔助設(shè)備，導(dǎo)致當(dāng)前的視線追蹤儀器價格過高，不能得到很好的推廣。

因此，視線追蹤技術(shù)的當(dāng)前研究目標(biāo)主要圍繞精度、自由度、實時性幾個方面，提高系統(tǒng)的魯棒性、精確性和減少識別時間是努力的重點。在未來人機(jī)交互領(lǐng)域，這項技術(shù)將成為人類和機(jī)器互動的主要方式之一，對鼠標(biāo)、鍵盤以及觸摸等比較成熟的人機(jī)交互是一個很好的補充，交互智能化將成為未來人機(jī)交互的一個主要標(biāo)志。在軍事領(lǐng)域，智能頭盔、瞄準(zhǔn)器等設(shè)備可以不再需要借助使用者的雙手來對發(fā)射、轉(zhuǎn)向、瞄準(zhǔn)等操作，而是以使用者視線的轉(zhuǎn)動或靜止來對設(shè)備進(jìn)行操作，極大地節(jié)省了作戰(zhàn)時間，并且視線具有更好的自由度和保密度。同時該技術(shù)還可以應(yīng)用在駕駛員疲勞監(jiān)測、網(wǎng)頁興趣點監(jiān)測、心理研究乃至刑事偵查等領(lǐng)域，具有極大的現(xiàn)實意義。

4結(jié)束語

本文在總結(jié)了大量文獻(xiàn)的基礎(chǔ)上，對視線跟蹤技術(shù)的國內(nèi)外發(fā)展歷程、原理及跟蹤方法進(jìn)行了回顧。分析了幾種主要的視線跟蹤方法原理和技術(shù)特點，重點介紹了基于瞳孔-角膜反射向量法的視線跟蹤技術(shù)，闡述了其技術(shù)原理及系統(tǒng)構(gòu)成，并揭示了原理性框架之間的內(nèi)在關(guān)系。最后對注視點估計算法進(jìn)行了歸納總結(jié)，并對二維和三維的注視點估計算法的精度和允許頭動范圍進(jìn)行了比較。然而由于人眼固有的生理機(jī)制及眼動的非線性、隨機(jī)性和復(fù)雜性，使得視線追蹤技術(shù)在實際應(yīng)用中受到很大限制，如何平衡其精度和自由度一直是視線跟蹤系統(tǒng)中存在的一大難題。但視線追蹤系統(tǒng)作為研究和利用眼睛動作的一種重要手段，其未來將朝著高精度、高自由度及低成本方向邁進(jìn)。

參考文獻(xiàn)

[1] Yang X H,Sun J D,Liu J,et al.A gaze tracking scheme for eye-based intelligent control[C]//WCICA,2010:52-55.

[2] Sigut J,Sidha S.Iris center corneal reflection method for gaze tracking using visible light[J].IEEE Transaction.Biomedical Engineering,2011,58(2):411-419.

[3] 黃亞勤.基于視線跟蹤技術(shù)的眼控鼠標(biāo)研究與視線[D].成都:西華大學(xué),2011.

[4] Hansen D W,Ji Q.In the eye of the beholder:A survey of models for eyes and gaze[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(3):478-500.

[5] Morimoto C H,Koons D,Amit A,et al.Pupil detection and tracking using multiple light sources[J].Image and Vision Computing,2000,18(4):331-335.

[6] 朱博,遲健男,張?zhí)靷b,等.視線追蹤系統(tǒng)頭動狀態(tài)下的視線落點補償方法[J].公路交通科技,2013,30(10):105-112.

[7] 張鵬翼,王志良,鄭思儀,等.使用立體視覺信息的視線追蹤系統(tǒng)設(shè)計[J].北京郵電大學(xué)學(xué)報,2010,33(1):47-52.

[8] Yoo D H,Chung M J.A novel non-intrusive eye gaze estimation using cross-ratio under large head motion[J].Computer Vision and Image Understanding,2005,98(1):25-51.

[9] 楊彩霞.基于近紅外光源的非接觸式視線跟蹤技術(shù)研究[D].濟(jì)南:山東大學(xué),2012.

[10]Shao G J,Chen M,Zhang B Y,et al.A novel simple 2D model of eye gaze estimation[C]//2010 The 2nd International Conference on Intelligent Human-machine Systems and Cybernetics.Nanjing:IEEE Computer Society Press,2010:300-304.

[11]鄭思儀,王志良,張鵬翼,等.一種基于眼球結(jié)構(gòu)的視線映射幾何模型設(shè)計[J].系統(tǒng)仿真學(xué)報,2012,24(3):638-644.

[12]遲健男,張闖,王翠娟,等.雙攝像機(jī)雙光源視線追蹤系統(tǒng)標(biāo)定方法研究[J].儀器儀表學(xué)報,2011,32(4):883-892.

Estimation Method of the Fixation Point in Gaze Tracking System

Abstract：On the basis of reviewing the development path of gaze tracking technology,the research direction and several major methods of gaze tracking methods are elaborated.The principle and hardware composition of the gaze tracking technology based on pupil - corneal reflection method are mainly introduced,especially the mature estimation algorithm of fixation points in existing gaze tracking systems are summarized and principle analyzed,in further,the precision of the estimation algorithm and user freedom of 2D and 3D fixation point are crosswise compared.Finally,the defects gaze tracking technology are pointed out,and the application prospect in the fields of human-computer interaction,intelligent machine,virtual reality,etc.,are looked ahead.

Keywords:Gaze trackingPupil-corneal reflectionFixation point estimationMan machine interactionVirtual realityError compensationCalibrationNeural network

中圖分類號：TH-3;TP181

文獻(xiàn)標(biāo)志碼：A

DOI:10.16086/j.cnki.issn1000-0380.201605009

修改稿收到日期：2015-09-02。

第一作者金純(1966-)，男，1994年畢業(yè)于美國芝加哥Illinois大學(xué)計算機(jī)專業(yè)，獲博士學(xué)位，教授；主要從事無線通信、計算機(jī)軟件、視線追蹤、物聯(lián)網(wǎng)等方向的研究。