眼動跟蹤技術(shù)研究進(jìn)展

石建軍 許鍵

摘要：眼動跟蹤是指通過測量眼睛注視點(diǎn)的位置或者眼球相對頭部的運(yùn)動而實(shí)現(xiàn)對眼球運(yùn)動的追蹤。介紹了眼動跟蹤技術(shù)及近年來相關(guān)研究進(jìn)展，分析了各種眼動跟蹤技術(shù)原理，詳細(xì)比較了各種測量方法的利弊。通過對幾種最新眼動跟蹤設(shè)備特性的比較，進(jìn)一步了解國內(nèi)外眼動跟蹤發(fā)展趨勢。最后介紹了眼動跟蹤技術(shù)的研究方向，并對眼動跟蹤技術(shù)應(yīng)用前景進(jìn)行了展望。

關(guān)鍵詞：眼動跟蹤;眼動測量;眼動儀;微機(jī)電（MEMS）

中圖分類號：TP39 文獻(xiàn)標(biāo)志碼：A

引言

人的思想和意圖可以通過眼球的運(yùn)動得到充分反映，基于人們所看到的事物采取眼動研究的方法可以確定他們的思想內(nèi)容。對眼球運(yùn)動進(jìn)行跟蹤也就是測量眼球的運(yùn)動，該領(lǐng)域的研究通常交替使用眼睛跟蹤、凝視跟蹤或眼睛注視跟蹤等術(shù)語。大約80%的外界信息是通過眼睛獲取的，對眼動的最初研究可追溯到古希臘時期，然而真正使用實(shí)驗(yàn)儀器對眼動進(jìn)行測量卻始于中世紀(jì)。到20世紀(jì)30年代才真正意義上出現(xiàn)眼動跟蹤的概念，人們最初的研究目的是出于商業(yè)考慮，由于受到傳感器技術(shù)及信息處理速度的限制導(dǎo)致其發(fā)展緩慢。伴隨著光信息技術(shù)、傳感技術(shù)、計(jì)算機(jī)技術(shù)、人機(jī)交互技術(shù)等各項(xiàng)技術(shù)的快速發(fā)展，眼動跟蹤技術(shù)也取得巨大突破，應(yīng)用領(lǐng)域也在不斷拓展，已經(jīng)廣泛應(yīng)用到軍事、教育、醫(yī)學(xué)、市場調(diào)研、心理學(xué)等諸多領(lǐng)域。近年來，該技術(shù)廣泛應(yīng)用到可穿戴設(shè)備、VR/AR、人工智能及游戲等，顯示出該技術(shù)越來越大的應(yīng)用前景和價值。

1眼動跟蹤的人眼結(jié)構(gòu)和基本概念

1.1人眼的生理結(jié)構(gòu)

眼睛是人類感官中最重要的器官之一，大部分知識和記憶都是通過眼睛獲取的，眼睛能夠分辨不同顏色和亮度的光線并將這些信息轉(zhuǎn)變成神經(jīng)信號傳送給大腦。人眼的主要組成部分如圖1所示，主要由視網(wǎng)膜、角膜、虹膜、鞏膜等構(gòu)成。眼睛大致呈橢球形，直徑約24mm。通常眼窩中可見的眼睛外側(cè)部分為鞏膜、虹膜和瞳孔。

結(jié)構(gòu)上，眼球壁分為三層，內(nèi)層是視網(wǎng)膜，中層是血管膜，最外層是纖維膜。視網(wǎng)膜由三層神經(jīng)細(xì)胞構(gòu)成，分別是光感受細(xì)胞、雙極細(xì)胞和節(jié)狀細(xì)胞。外層主要由透明無血管的組織構(gòu)成，這層透明組織叫角膜，光線通過角膜進(jìn)入眼內(nèi)，角膜是一種透明沒有血管的保護(hù)膜，覆蓋住虹膜。虹膜在血管膜的前部，是圓盤狀的薄膜，中央有一圓孔，稱為瞳孔，為光線進(jìn)入眼球的唯一通道。外部光線強(qiáng)，則瞳孔縮小;光線暗，則瞳孔變大，從而調(diào)節(jié)眼睛接收的光線總是剛剛好。對內(nèi)部眼球結(jié)構(gòu)起保護(hù)作用的鞏膜，其特點(diǎn)為白色不透明，厚度小，是我們經(jīng)?？吹降陌咨矍虿糠帧４送?，最外層的纖維膜對眼球也起著重要的保護(hù)作用。

1.2眼動的基本概念

所謂的眼動跟蹤方法是通過記錄眼動的注視時間、位置、軌跡等指標(biāo)來了解人們對實(shí)時信息的獲取和加工過程。眼動的方式比較復(fù)雜，其主要方式為注視、眼跳、平滑追隨運(yùn)動、眨眼及眼球震顫。

人們獲取的信息大部分是通過注視完成的，也就是人眼的中央窩對準(zhǔn)要觀察的物體時間超過100 ms，該過程中被注視的物體要成像在中央窩上才能獲得充分的加工以形成清晰的像。當(dāng)眼睛切換觀察對象時，注視點(diǎn)突然發(fā)生改變，兩個注視點(diǎn)之間眼睛的快速運(yùn)動，通常稱之為“眼跳”，該過程中可獲得時間空間信息，但不能形成比較清晰的像。當(dāng)個體與被觀察物體存在相對運(yùn)動時，為了確保眼睛總是注視該物體，眼球會追隨物體移動，稱之為“追隨運(yùn)動”。眨眼是一種快速的閉眼動作，也稱為“瞬目反射”。眼睛不自主、節(jié)律性的往返運(yùn)動被稱作眼球震顫。通常為了更好的選擇信息以便形成清晰的像，上述幾種眼動方式可同時交替進(jìn)行。

2眼動跟蹤的測量方法

眼動跟蹤的測量方法經(jīng)歷了早期的直接觀察法、機(jī)械記錄法，隨著技術(shù)的發(fā)展，出現(xiàn)了接觸鏡法、眼電圖法、角膜反射法、雙普金野象法、虹膜一鞏膜邊緣法、瞳孔一角膜反射向量法等方法，最終發(fā)展到現(xiàn)如今的視頻電視法，基于微電子機(jī)械系統(tǒng)（MEMS）技術(shù)相結(jié)合的方法。

2.1直接觀察法

最原始的眼動跟蹤測量方法是直接用肉眼觀察被試者的眼球運(yùn)動。1897年Javal通過放置在被試者面前的鏡子，站在其背后進(jìn)行直接觀察，1925年Miles使用窺視孔法，即躲在閱讀材料的后面，通過閱讀材料中間的小孔觀察被試者閱讀材料時的眼動。在最初對眼動的研究中，觀察法發(fā)揮著重要的作用，眼動的一些基本規(guī)律，如注視、眼跳等都是通過觀察法發(fā)現(xiàn)的。但同時它只能對眼動進(jìn)行比較粗略的了解，而且觀察的結(jié)果具有不確定性，現(xiàn)如今該方法很少被用于眼動研究。

2.2機(jī)械記錄法

眼動的機(jī)械記錄是指把眼睛與記錄測驗(yàn)裝置用機(jī)械傳動方式連接起來實(shí)現(xiàn)眼動記錄。該方法充分利用角膜凸起的特點(diǎn)，借助一個杠桿來傳遞角膜的運(yùn)動情況。1898年Richardson等利用橡皮膏將一個杠桿連接在眼球上，第一次記錄了被測試者閱讀過程中的眼動軌跡，如圖2所示。機(jī)械記錄法一般有3種：支點(diǎn)杠桿法，角膜吸附環(huán)狀物法，氣動記錄法。眼動的機(jī)械記錄法所使用的裝置較復(fù)雜且不易調(diào)整，更重要的是實(shí)驗(yàn)結(jié)果的準(zhǔn)確性也很低，現(xiàn)在普遍被準(zhǔn)確性相對較高的方法所取代。

2.3瞳孔一角膜反射法

角膜反射法是眼動跟蹤領(lǐng)域廣泛認(rèn)可的方法，其原理是基于眼角膜從眼球表面凸出的生理特性，當(dāng)需要保持眼睛相對頭部位置不會改變的情況下對眼動進(jìn)行測量時，可使用瞳孔一角膜反射法。用相機(jī)拍攝紅外光照射眼睛后的反射圖像，利用亮瞳孔和暗瞳孔原理，然后通過計(jì)算機(jī)處理，提取所拍圖像中的瞳孔和角膜，把角膜反射點(diǎn)作為相機(jī)和眼球相對位置的基點(diǎn)，瞳孔中心位置坐標(biāo)就表示凝視點(diǎn)位置。該方法具有準(zhǔn)確性高、誤差小、無干擾等優(yōu)點(diǎn)，但對計(jì)算機(jī)圖像處理能力要求比較高。

2.4眼電圖法（EOG）

正常情況下眼球的視網(wǎng)膜具有很高的代謝水平，這就導(dǎo)致視網(wǎng)膜與角膜代謝作用的速度有所差異，眼角膜代謝速率小，而視網(wǎng)膜則相對較大，正是這種差異形成了角膜網(wǎng)膜電位差。當(dāng)眼球轉(zhuǎn)動時，眼球周圍的電勢也隨之發(fā)生變化，分別將兩個貼在皮膚表面的電極放在眼部上下兩端，眼球向上移動時，網(wǎng)膜的陰極便接近下面的電極，而陽極接近上面的電極，這樣便產(chǎn)生一定的電位差，若眼球向下移動便產(chǎn)生相反的電極差。同理，1955年Woodworth記錄了左右方向上的運(yùn)動。眼球方向上的變化所產(chǎn)生的電位差，經(jīng)放大后得到眼球運(yùn)動的位置信息。記錄的結(jié)果并非實(shí)際運(yùn)動情況，需要間接的轉(zhuǎn)換計(jì)算，被測試者的個體電位也存在差異，從而不能保證測量結(jié)果的準(zhǔn)確性，且該測量方法技術(shù)上較為復(fù)雜。電極分布如圖3所示。

2.5接觸鏡法

接觸鏡法是一種最精確的眼動跟蹤測量方法，同時也是最具侵入性的方法。首先將機(jī)械或光學(xué)的參照物安裝在眼鏡的接觸鏡上，然后直接佩戴并使用附著在角膜上的石膏，通過機(jī)械連接記錄筆進(jìn)行眼動記錄，后來逐漸演變成使用裝有安裝桿的現(xiàn)代隱形眼鏡。雖然隱形眼鏡方便易攜帶，但同時需要更大的尺寸以保證能覆蓋角膜和鞏膜。構(gòu)成接觸鏡的附著裝置最常用的工具有反射磷光體、線圖和線圈。其原理是根據(jù)眼動確定光學(xué)裝置的方向，進(jìn)而推算眼動的方向，安裝在角膜上的反射鏡可以將眼動產(chǎn)生的光束反射到各個方向以便提取眼動信號。

嵌入鞏膜隱形眼鏡的搜索線圈和電磁場框架如圖4所示，隱形眼鏡嵌入眼睛的方法如圖5所示。雖然接觸鏡法是最精確的眼動測量方法之一，但鏡片的插入操作要十分小心，佩戴后可能引起不適。

2.6基于MEMS技術(shù)的跟蹤方法

MEMS是采用微電子技術(shù)、集成電路技術(shù)及其加工工藝制作而成的微米級機(jī)械器件，具有體積小、功耗低、易集成等優(yōu)點(diǎn)，逐漸取代傳統(tǒng)機(jī)械器件。MEMS驅(qū)動器也可以實(shí)現(xiàn)眼動跟蹤功能，其獨(dú)特的優(yōu)點(diǎn)使眼動跟蹤技術(shù)具有更大的發(fā)展?jié)摿Α?/p>

一種基于MEMS的微型眼動跟蹤系統(tǒng)如圖6所示，系統(tǒng)主要由微型攝像機(jī)、MEMS驅(qū)動器、分析處理器及相關(guān)配套設(shè)備構(gòu)成。首先相機(jī)拍攝眼睛的圖像，MEMS裝置控制相機(jī)的視角方向，水平方向上的MEMS驅(qū)動器連接在攝像機(jī)后端來產(chǎn)生水平方向的移動，垂直方向上的MEMS驅(qū)動器連接在上端或下端產(chǎn)生豎直方向的移動，處理器接收攝像機(jī)拍攝到的眼睛圖像，根據(jù)所拍攝的圖像確定相機(jī)圖像內(nèi)眼睛的位置，并控制MEMS驅(qū)動器以保持相機(jī)指向眼睛并確定圖像中眼睛的特定位置及大小，以保持對眼睛的實(shí)時追蹤。該系統(tǒng)可應(yīng)用于移動端的微型眼動追蹤系統(tǒng)。

另一種完全基于MEMs的方法則不采用上述體積較大的攝像機(jī)，該方法適用于小型眼動追蹤系統(tǒng)，系統(tǒng)設(shè)計(jì)的原理是基于眼睛與眼角膜的直徑不同。利用一束低輻射的光束，從激光光源發(fā)出后射向掃描儀，該掃描儀內(nèi)嵌MEMs驅(qū)動器，且具有平面鏡的功能，能夠?qū)⑷肷涞墓饩€反射，接著由掃描儀操控該光束射向眼角膜，然后從角膜表面反射到一個能接收光信號并產(chǎn)生電信號光電二極管，其輸出的電信號隨輸入光強(qiáng)的增大而增大。隨著眼睛的轉(zhuǎn)動，掃描儀控制光束追蹤眼角膜上能夠使光電二極管接收到最大信號的點(diǎn)，進(jìn)而實(shí)現(xiàn)系統(tǒng)的眼動跟蹤。

3眼動跟蹤技術(shù)存在的主要問題及解決方法的探索

3.1米達(dá)斯接觸問題

米達(dá)斯接觸是指計(jì)算機(jī)很難識別由于隨意性視線運(yùn)動而產(chǎn)生的意圖，這種不確定性導(dǎo)致計(jì)算機(jī)不能準(zhǔn)確分析出由于用戶眼動而產(chǎn)生的真正想法，如何避免產(chǎn)生米達(dá)斯接觸問題是眼動跟蹤技術(shù)研究領(lǐng)域一直探索的問題，眼動跟蹤技術(shù)的挑戰(zhàn)之一就是避免米達(dá)斯接觸。

3.2數(shù)據(jù)獲取的準(zhǔn)確性問題

由于對眼動跟蹤定義的角度太多，例如從注視點(diǎn)和眼跳這兩個角度來定義眼動就有所差別，概念的多樣性導(dǎo)致定義偏差，不能完全統(tǒng)一標(biāo)準(zhǔn)，這就造成對數(shù)據(jù)獲取的方式、角度、渠道產(chǎn)生很大差異，最終對數(shù)據(jù)的獲取及分析產(chǎn)生巨大影響。此外，通過實(shí)驗(yàn)對數(shù)據(jù)獲取時，并不能保證被測者在設(shè)備上固定不動，這種人為的隨意運(yùn)動，同樣對數(shù)據(jù)提取產(chǎn)生困難，也降低了數(shù)據(jù)獲取的準(zhǔn)確性。

3.3測量精度及舒適度問題

硬件的測量精度相對較高，但是舒適性較差，需要一些外部硬件設(shè)備對頭部或眼部進(jìn)行固定，復(fù)雜的設(shè)備佩戴給佩戴者帶來心理壓力和不舒適感，同時降低了自由性，測量不方便。而軟件測量相對硬件測量精度低，自由性限制少，增加了用戶的舒適性，但獲得的測量數(shù)據(jù)準(zhǔn)確性不能夠保證。綜合上述分析，我們可以結(jié)合硬件測量和軟件測量的優(yōu)點(diǎn)，提出既能夠提高精度又能增加舒適性的方法，從而改善眼動跟蹤技術(shù)測量精度及舒適度的問題。

3.4算法及多通道整合問題

構(gòu)建理想的算法模型，充分體現(xiàn)以人為中心的設(shè)計(jì)理念，才能更準(zhǔn)確地優(yōu)化眼動跟蹤的準(zhǔn)確性，由于眼動跟蹤自身的特性，視覺通道只有與其他通道配合才能發(fā)揮更大的作用，多通道整合需要從多個并行、協(xié)作、互補(bǔ)的通道中，采用非精確輸入方法以獲得用戶想傳達(dá)的任務(wù)信息，這是實(shí)現(xiàn)多通道整合問題的首要前提，也是面臨的重大挑戰(zhàn)。

4國內(nèi)外研究狀況及各類眼動儀性能對比

國內(nèi)對眼動的研究及相關(guān)設(shè)備的研制起步較晚，多數(shù)是引進(jìn)國外設(shè)備作相關(guān)實(shí)驗(yàn)的研究。20世紀(jì)80年代末，張名魁和孫復(fù)川等研發(fā)出了紅外光電反射眼動測量系統(tǒng)，它是通過紅外光發(fā)射管、光敏管等器件發(fā)射及接收眼球水平運(yùn)動時角膜與鞏膜反射紅外光線大小的變化來測量眼動。該技術(shù)已達(dá)到國內(nèi)外文獻(xiàn)報道的先進(jìn)水平，成功利用該系統(tǒng)進(jìn)行了閱讀研究。20世紀(jì)90年代，西安電子科技大學(xué)自主研發(fā)出了頭戴式眼動儀，該設(shè)計(jì)主要依據(jù)紅外攝像法，其跟蹤過程依次是眼睛圖像的獲取，高速信號實(shí)時處理并提取瞳孔中心坐標(biāo)，最后與外景圖像進(jìn)行疊合。

對于精確測量眼球運(yùn)動的眼動儀，其結(jié)構(gòu)一般由光學(xué)系統(tǒng)、瞳孔中心提取系統(tǒng)、視景與瞳孔坐標(biāo)迭加系統(tǒng)、圖像和數(shù)據(jù)記錄分析系統(tǒng)4個部分構(gòu)成。理想的眼動跟蹤設(shè)備應(yīng)需要提供廣闊的視野且很好地接觸到頭部和臉部，不能直接接觸眼睛，盡可能擁有穩(wěn)定的人工視網(wǎng)膜圖像。由于眼動跟蹤設(shè)備的精度易受到非線性、失真、噪聲、滯后和其他誤差的影響，因此對分辨率的要求較高，這樣才能檢測眼睛位置的微小變化，此外要求能夠提供良好的時間動態(tài)、響應(yīng)速度且對眼睛平移不敏感，易于拓展到雙眼記錄，能很好的同時兼容頭部和身體的記錄，更重要的是可廣泛應(yīng)用到不同的佩戴者身上。根據(jù)英國科學(xué)研究所建立的眼動儀數(shù)據(jù)庫公布的結(jié)果，全世界有超過44家眼動儀生產(chǎn)商。主要的產(chǎn)品有加拿大SR公司利用角膜反射法生產(chǎn)的Eyelink型眼動儀，德國SMI公司生產(chǎn)的iView型眼動儀，美國應(yīng)用科學(xué)實(shí)驗(yàn)室（ASL）生產(chǎn)的H6型眼動儀，日本ISCAN公司生產(chǎn)的ETL500系列眼動儀，澳大利亞SEEING MACHINE公司生產(chǎn)的faceLAB非接觸式眼動儀，瑞典Tobii系列眼動儀，其性能對比見表1。

5眼動跟蹤應(yīng)用前景

近年來眼動跟蹤技術(shù)的應(yīng)用越來越廣泛，隨著研究的深入在傳統(tǒng)眼動跟蹤原理的基礎(chǔ)上提出了許多創(chuàng)新的跟蹤方法。眼動跟蹤技術(shù)與其他技術(shù)結(jié)合的方法成為發(fā)展的趨勢，為眼動跟蹤研究提供了全新的思路，眼動跟蹤與MEMS技術(shù)、VR/AR技術(shù)、生物識別技術(shù)等相結(jié)合，積極服務(wù)于與人們生活相關(guān)的各個領(lǐng)域，具有廣闊的應(yīng)用前景。基于MEMS技術(shù)研發(fā)的眼動跟蹤設(shè)備使眼動技術(shù)應(yīng)用到小型化設(shè)備，將會使系統(tǒng)具有更高的性能以及更廣泛的用途，這對推動相關(guān)領(lǐng)域的發(fā)展具有重大意義。眼動跟蹤技術(shù)的研究對現(xiàn)代化建設(shè)也具有重要意義，航空領(lǐng)域?qū)ρ劬σ暰€分析的研究、醫(yī)療領(lǐng)域?qū)埣踩送ㄓ嵉难芯俊卜李I(lǐng)域?qū)ι镒R別的研究、交通領(lǐng)域?qū)︸{駛員狀態(tài)的研究等。

隨著眼動跟蹤技術(shù)的發(fā)展，相應(yīng)的眼動跟蹤設(shè)備也不斷被優(yōu)化完善。憑借眼動跟蹤技術(shù)所具有的獨(dú)特優(yōu)點(diǎn)，完全可以創(chuàng)造并改變?nèi)藗兊纳睿蹌痈櫦夹g(shù)的研究也代表著跟蹤領(lǐng)域未來的發(fā)展方向，應(yīng)引起企業(yè)和研究機(jī)構(gòu)的高度重視。