視覺跟蹤技術(shù)及其應(yīng)用的研究進(jìn)展

史衛(wèi)民，王慶敏，劉秋紅，陳 勇，姚永杰

眼睛是人重要的信息獲取通道，大約有80% ～90%的信息來(lái)自于視覺。視覺信息可反映人體生理和心理的變化，視覺跟蹤研究被認(rèn)為是視覺信息加工研究中最有效的手段。通過(guò)對(duì)視覺的跟蹤，可以獲得人在觀察相關(guān)信息時(shí)的掃視選擇和注視過(guò)程，從而可以研究人的視覺感知和信息加工模式，最終可以獲得其認(rèn)知模式［1］。在執(zhí)行不同任務(wù)的情景下，檢測(cè)相關(guān)視覺特性能夠反映人的疲勞、任務(wù)負(fù)荷程度等特征指標(biāo)。視覺的最早研究可以追溯到古希臘，但是真正使用儀器設(shè)備對(duì)視覺進(jìn)行觀察和實(shí)驗(yàn)是從中世紀(jì)開始的。

視線追蹤技術(shù)是利用機(jī)械、電子、光學(xué)等各種檢測(cè)手段獲取受試者當(dāng)前“視覺注意”方向的技術(shù)［2］。其廣泛應(yīng)用于人機(jī)交互、醫(yī)學(xué)、工效學(xué)、虛擬現(xiàn)實(shí)和軍事等領(lǐng)域。本文在跟蹤國(guó)內(nèi)外相關(guān)研究進(jìn)展的基礎(chǔ)上，介紹了視覺跟蹤的基本概念、測(cè)量參數(shù)、發(fā)展及應(yīng)用，并詳細(xì)綜述了視覺跟蹤技術(shù)在各領(lǐng)域中的研究進(jìn)展。

1 視覺跟蹤的基本概念及測(cè)量參數(shù)

人看物體時(shí)，眼睛都在進(jìn)行著不同形式的運(yùn)動(dòng)。2只眼睛必須保持一定的方位，才能使物體的像落到視網(wǎng)膜的中央凹上，從而獲得最清楚的視覺，這種眼睛對(duì)準(zhǔn)目標(biāo)的活動(dòng)叫做注視。為了實(shí)現(xiàn)和維持對(duì)物體的注視，眼睛必須進(jìn)行另外2種運(yùn)動(dòng):眼球的跳動(dòng)和眼球的追隨運(yùn)動(dòng)。

正常的視覺觀察過(guò)程中，眼動(dòng)表現(xiàn)為在被觀察目標(biāo)上一系列的停留以及停留點(diǎn)之間的飛速跳動(dòng)。絕大多數(shù)的信息只有在注視時(shí)才能獲得加工。眼球的跳動(dòng)表現(xiàn)為注視點(diǎn)或注視方向的突然改變，是注視點(diǎn)之間的一種聯(lián)合快速跳躍眼動(dòng)。在眼跳過(guò)程中，幾乎不獲取任何信息。

視覺跟蹤的測(cè)量參數(shù)比較多，常用的參數(shù)包括眼動(dòng)頻率、瞳孔大小、平均注視時(shí)間、注視點(diǎn)序列、第一次到達(dá)目標(biāo)興趣區(qū)的時(shí)間等。這些指標(biāo)與被試者的信息獲取績(jī)效、信息源顯示元素的合理性及任務(wù)負(fù)荷的大小密切相關(guān)。

2 視覺跟蹤技術(shù)的發(fā)展

在視覺跟蹤技術(shù)發(fā)展過(guò)程中，科學(xué)家們探索出了一些跟蹤方法，從最初的直接觀察法、機(jī)械記錄法到后來(lái)的電磁感應(yīng)法、電流記錄法及光學(xué)記錄法等。隨著高科技的發(fā)展，這些跟蹤技術(shù)也逐步得到優(yōu)化。

2.1 直接觀察法

直接觀察法是一種較原始的研究方法。測(cè)試人員用肉眼直接觀察被測(cè)試者的眼動(dòng)情況，能得到一些幅度比較大的眼動(dòng)，只能進(jìn)行比較粗略的研究。

2.2 機(jī)械記錄法

機(jī)械記錄法要在被測(cè)試者的眼睛上附著一些輔助設(shè)備，再通過(guò)機(jī)械傳動(dòng)的方法將被測(cè)試者的眼動(dòng)情況記錄下來(lái)。機(jī)械記錄法研究精度較低，會(huì)對(duì)被試者的眼睛產(chǎn)生一定損傷。

2.3 電磁感應(yīng)法

將被試的眼睛麻醉后，把一個(gè)裝有線圈的隱形鏡片吸附在眼睛上。線圈中存在感應(yīng)電壓，通過(guò)對(duì)感應(yīng)電壓的相敏檢測(cè)，可以精確地測(cè)量水平和垂直方向的眼動(dòng)。這種方法精確度高，但是接觸眼球會(huì)引起受試者的不適。

2.4 電流記錄法

眼球運(yùn)動(dòng)可以產(chǎn)生生物電現(xiàn)象。角膜和視網(wǎng)膜的新陳代謝是不一樣的，所以角膜和網(wǎng)膜之間就形成了電位差，角膜帶正電，網(wǎng)膜帶負(fù)電。電位差經(jīng)放大后得到眼球運(yùn)動(dòng)的位置信息。這種方法的缺點(diǎn)是精度低、對(duì)人干擾大。

2.5 光學(xué)記錄法

當(dāng)外界的光照射到眼球上時(shí)，被測(cè)試者眼睛上的附著物(如小鏡片)或眼睛的角膜等能將光線反射回去。如被測(cè)試者的眼球運(yùn)動(dòng)，那么反射光線也會(huì)產(chǎn)生相應(yīng)的變化。這就是光學(xué)記錄的基本原理。光學(xué)記錄法是目前應(yīng)用最廣泛的一類方法。

2.5.1 反光記錄法(接觸鏡法):在被測(cè)試者的眼睛上吸附著極小的鏡子，當(dāng)外界的光源投射到眼球上，眼球上的附著裝置能將光線反射到記錄裝置上，從而能將眼球的運(yùn)動(dòng)情況記錄下來(lái)。其技術(shù)特點(diǎn)是精度較高，但對(duì)人干擾大。

2.5.2 影視法:影視法是使用照相或攝像機(jī)，通過(guò)拍攝來(lái)記錄被測(cè)試者的眼睛的運(yùn)動(dòng)情況。最早的影視法是連續(xù)拍攝單張圖片來(lái)記錄被測(cè)試者眼睛的運(yùn)動(dòng)情況。后來(lái)使用能夠進(jìn)行快速連拍的照相機(jī)，并將被檢測(cè)者的頭部固定，進(jìn)行眼球運(yùn)動(dòng)的檢測(cè)。

2.5.3 角膜反射跟蹤法:人的角膜能夠反射照到它表面的光線。在眼球運(yùn)動(dòng)過(guò)程中，角膜對(duì)來(lái)自固定光源的光的反射角度也是變化的，因此可以在人眼前方放置一個(gè)近紅外LED光源和一個(gè)固定在受試者頭部正前方的相機(jī)，角膜反射的光線通過(guò)眼睛前面一些設(shè)備傳輸?shù)较鄼C(jī)。角膜反射光線的位置通過(guò)攝像機(jī)屏幕上的圖像及相應(yīng)的一些算法來(lái)確定。這種方法優(yōu)點(diǎn)是對(duì)人干擾小。

2.5.4 雙普金野法:當(dāng)光線經(jīng)過(guò)眼球組織時(shí)，由于眼睛各部分的折射率不同，從而產(chǎn)生了不同的光源反射影像，這些影像就稱為普金野圖像。通過(guò)對(duì)不同普金野圖像的測(cè)量可以確定眼注視位置。該技術(shù)特點(diǎn)是高精度，但對(duì)人干擾大。

2.5.5 虹膜－鞏膜邊緣跟蹤技術(shù):用不可見的紅外光照射眼部，在眼部附近安裝2只紅外光敏管，虹膜與鞏膜的邊緣處的左右兩部分反射的紅外光分別被這兩只光敏管所接受。眼球向不同方向運(yùn)動(dòng)時(shí)，根據(jù)兩側(cè)所接受的紅外線強(qiáng)度差異，就能無(wú)接觸地測(cè)出眼動(dòng)。其缺點(diǎn)是誤差大，精度低。

2.5.6 瞳孔－角膜跟蹤法:系統(tǒng)用紅外光照射眼睛，系統(tǒng)光學(xué)元件在空間固定，可將反射的圖像用攝像機(jī)記錄下來(lái)，將攝像機(jī)獲得的數(shù)據(jù)通過(guò)計(jì)算機(jī)處理，辨別瞳孔和角膜，然后把角膜反射點(diǎn)數(shù)據(jù)作為眼攝像機(jī)和眼球的相對(duì)位置的基點(diǎn)，根據(jù)瞳孔中心位置坐標(biāo)計(jì)算出凝視點(diǎn)。這種方法準(zhǔn)確、誤差小且對(duì)人無(wú)干擾。

視覺跟蹤技術(shù)都有其不同的優(yōu)缺點(diǎn)。其中存在的最顯著的問(wèn)題是對(duì)人干擾的缺點(diǎn)，這種干擾會(huì)使被試者感覺不舒適，從一定程度上影響實(shí)驗(yàn)結(jié)果。而瞳孔－角膜反射向量法對(duì)受試者干擾很小，精度高，不受周圍光線環(huán)境的影響。所以目前多采用瞳孔－角膜反射法來(lái)進(jìn)行視覺跟蹤。

3 視覺跟蹤技術(shù)的應(yīng)用

視覺跟蹤主要用于醫(yī)學(xué)，界面設(shè)計(jì)與評(píng)估，產(chǎn)品測(cè)試，場(chǎng)景研究，動(dòng)態(tài)分析(如航空航天領(lǐng)域、體育運(yùn)動(dòng)、汽車、飛機(jī)駕駛、打字動(dòng)作分析等)和人機(jī)交互等各種領(lǐng)域;另外，在理解人意圖的智能計(jì)算機(jī)、具有交互功能的家用電器、虛擬現(xiàn)實(shí)和游戲等領(lǐng)域也有很好的應(yīng)用前景。

3.1 在醫(yī)學(xué)上的應(yīng)用［1］

目前，視覺跟蹤技術(shù)已被廣泛地應(yīng)用到醫(yī)學(xué)領(lǐng)域，用于相關(guān)疾病的診斷、治療。如美國(guó)的威視準(zhǔn)分子激光系統(tǒng)是一種三維自動(dòng)眼球追蹤系統(tǒng)，能對(duì)眼睛疾病進(jìn)行快速安全的治療;通過(guò)記錄眼球活動(dòng)檢查患者的腦平穩(wěn)系統(tǒng)功能，著重觀察精神分裂、躁狂抑郁癥、焦慮癥、強(qiáng)迫癥等患者的平穩(wěn)眼跟蹤和觀察圖形時(shí)的探索性眼球活動(dòng)。

另外，在亨廷頓舞蹈病、早期阿爾茨阿默病、孤獨(dú)癥［2］等疾病的輔助診斷中，視覺跟蹤技術(shù)也發(fā)揮重要的作用。這些疾病的患者通常都有視線集中困難、眼跳速度減慢等特點(diǎn)，針對(duì)這些特點(diǎn)進(jìn)行檢測(cè)，可以實(shí)現(xiàn)對(duì)這些疾病的早期診斷。

3.2 在工效學(xué)中的應(yīng)用

現(xiàn)代人機(jī)系統(tǒng)，特別是航空航天駕駛中，作業(yè)人員是在特定環(huán)境中操作管理復(fù)雜系統(tǒng)和機(jī)械設(shè)備［3－7］。當(dāng)人在這種環(huán)境中工作時(shí)，既要靠眼睛來(lái)觀察環(huán)境，又要靠細(xì)致的注視來(lái)完成精確的控制動(dòng)作。利用視覺跟蹤技術(shù)分析眼睛的運(yùn)動(dòng)就可知人在操作時(shí)如何分配注意力，同時(shí)了解儀表、屏幕以及外視景如何設(shè)計(jì)和合理分配才能獲得最好的人機(jī)交互。既減輕操作人員的工作負(fù)擔(dān)又避免出錯(cuò)，切實(shí)提高人機(jī)工效;同時(shí)，將優(yōu)秀作業(yè)人員的視覺策略指導(dǎo)新手的訓(xùn)練，對(duì)提高作業(yè)工效也有重要的意義。此外，視覺跟蹤技術(shù)也應(yīng)用于汽車駕駛領(lǐng)域，主要用于不同路況下的眼動(dòng)研究、駕駛經(jīng)驗(yàn)對(duì)眼動(dòng)的影響研究、駕駛疲勞的監(jiān)控等［8－9］。

3.3 在人機(jī)交互中的應(yīng)用

人與計(jì)算機(jī)交互的目的在于利用所有可能的信息通道進(jìn)行人機(jī)交流，提高交互的自然性和高效性［10－11］。視覺跟蹤技術(shù)在人機(jī)交互中的應(yīng)用主要通過(guò)視線來(lái)完成用戶與計(jì)算機(jī)之間的交流［12］。用戶的視線可以代替手動(dòng)鼠標(biāo)的作用，用戶視線指向屏幕上的落點(diǎn)就是指針的位置，可通過(guò)視線移動(dòng)來(lái)控制指針的移動(dòng)。視線也可對(duì)屏幕上的目標(biāo)進(jìn)行選擇。目前主要應(yīng)用于遠(yuǎn)程通信、娛樂(lè)等領(lǐng)域，如一些系統(tǒng)允許用戶利用眼睛控制鼠標(biāo)進(jìn)行畫畫等。

此外，通過(guò)人機(jī)交互，視覺跟蹤技術(shù)在助老助殘領(lǐng)域發(fā)揮重要作用。對(duì)于肢體癱瘓、生活不能自理的患者，用眼睛來(lái)代替手操作，就可以增加患者的獨(dú)立能力，提高其生活質(zhì)量［13］。

3.4 在航空航天領(lǐng)域的應(yīng)用

在航空領(lǐng)域，視覺跟蹤技術(shù)主要用于座艙儀表布局評(píng)估及優(yōu)化，研究飛行員注意力分配規(guī)律，評(píng)價(jià)飛行員腦力的負(fù)荷，評(píng)估飛行員的疲勞狀態(tài)以及研究視野的需求及用于頭盔瞄準(zhǔn)器等［14－16］。

早在40年代末國(guó)外率先對(duì)飛行員的儀表掃視行為進(jìn)行了一系列研究，奠定了經(jīng)典的T型儀表布局。當(dāng)今，伊利諾斯大學(xué)的航空學(xué)院和以阿華大學(xué)的操作績(jī)效實(shí)驗(yàn)室研究得較為深入和廣泛，兩者都配備有多臺(tái)眼動(dòng)測(cè)量?jī)x器和飛行模擬器。俄軍較早開展了軍事飛行員的儀表掃視策略的研究，獲得的優(yōu)秀飛行員視覺策略可以指導(dǎo)飛行訓(xùn)練，美空軍在F－16模擬器上配備視覺跟蹤裝置，通過(guò)優(yōu)秀飛行員的視覺策略來(lái)訓(xùn)練新手飛行員，取得了較好的效果。在F－16的15個(gè)訓(xùn)練科目中，10個(gè)訓(xùn)練科目中要求跟蹤檢測(cè)飛行員的視覺注意力分配。而國(guó)內(nèi)將視覺跟蹤技術(shù)用于軍事航空領(lǐng)域的研究較少。

在軍事航空領(lǐng)域，通過(guò)眼睛盯視對(duì)外部設(shè)備進(jìn)行控制可以實(shí)現(xiàn)多任務(wù)操作，從而提高戰(zhàn)斗力。如果飛行員發(fā)現(xiàn)了目標(biāo)，在手動(dòng)操作不能應(yīng)付的時(shí)候，可以通過(guò)眼睛瞄準(zhǔn)的同時(shí)，用眼睛來(lái)控制火控系統(tǒng)發(fā)射，對(duì)增加戰(zhàn)斗力非常有意義。目前視覺跟蹤技術(shù)已經(jīng)整合到飛行員頭盔中，形成頭盔顯示器和頭盔瞄準(zhǔn)具，正廣泛地應(yīng)用于一些新型戰(zhàn)機(jī)中的目標(biāo)跟蹤。美國(guó)的一些戰(zhàn)機(jī)如 F－16、F－22、F－104、F/A－18 等已經(jīng)應(yīng)用了頭盔瞄準(zhǔn)具。在美國(guó)F－35戰(zhàn)斗機(jī)的配套頭盔中，運(yùn)用了“所視即所得”技術(shù)。俄羅斯的“蘇27”戰(zhàn)斗機(jī)上也配有頭盔式瞄準(zhǔn)。視覺跟蹤技術(shù)對(duì)于減輕飛行員工作負(fù)荷、提高戰(zhàn)斗力發(fā)揮了很大的作用。

在航天領(lǐng)域，視覺跟蹤技術(shù)應(yīng)用的較少，這可能是因?yàn)榕c飛機(jī)模擬器相比，航天飛船模擬器的條件要求更高［17］。目前主要用于檢測(cè)優(yōu)秀航天員的眼動(dòng)策略、建立認(rèn)知模型、指導(dǎo)訓(xùn)練。在模擬航天飛船發(fā)射的任務(wù)研究中，領(lǐng)先設(shè)置系統(tǒng)錯(cuò)誤，可檢測(cè)經(jīng)驗(yàn)航天員和新手航天員的眼動(dòng)參數(shù)差異，并研究眼動(dòng)模式與作業(yè)工效的對(duì)應(yīng)關(guān)系。結(jié)果表明經(jīng)驗(yàn)航天員處理系統(tǒng)錯(cuò)誤的時(shí)間明顯低于新手航天員，而且經(jīng)驗(yàn)航天員在相關(guān)參數(shù)上的注視時(shí)間明顯不同于新手航天員。實(shí)驗(yàn)中通過(guò)經(jīng)驗(yàn)航天員的眼動(dòng)參數(shù)建立了相關(guān)的認(rèn)知模型，用于指導(dǎo)新手的訓(xùn)練。此外，由于人眼無(wú)法長(zhǎng)時(shí)間穩(wěn)定觀察及觀察范圍有限，利用機(jī)器人視覺取代人眼視覺，在航天領(lǐng)域有了一定的應(yīng)用。目前機(jī)器人視覺在航天領(lǐng)域主要應(yīng)用在特殊的環(huán)境條件下，獲取圖像資料，并進(jìn)行處理與判斷。

總之，在航空軍事領(lǐng)域，軍事飛機(jī)上越來(lái)越多的機(jī)載信息設(shè)備，必定會(huì)增加飛行員的生理心理負(fù)荷。飛行員既為駕駛員又為武器操縱員，再加上處在特殊的作業(yè)環(huán)境下，飛行員的頭部、手部活動(dòng)受到很大的限制，但眼睛還可在一定范圍內(nèi)轉(zhuǎn)動(dòng)。將視覺跟蹤技術(shù)應(yīng)用到航空軍事領(lǐng)域，可大大降低飛行員的工作負(fù)荷，使戰(zhàn)機(jī)更加迅速地跟蹤、鎖定和攻擊目標(biāo)，從而使戰(zhàn)機(jī)的作戰(zhàn)能力得到很大提高。

視覺跟蹤技術(shù)作為一種反應(yīng)人的心理認(rèn)知、對(duì)操作者干擾小的技術(shù)，正廣泛地應(yīng)用于醫(yī)療、人－機(jī)交互、工效學(xué)領(lǐng)域、航空航天等軍事領(lǐng)域。隨著視覺跟蹤技術(shù)的飛速發(fā)展，其應(yīng)用前景會(huì)更加廣泛和良好。

［1］ Kattou1as E，Evdokimidis I，Stefanis NC.Predictive smooth eye pursuit in a po1u1ation of young men:Ⅱ.Effects of schizotypy，anxiety and depression［J］.Exp Brain Res.2011，215(3－4):219－226.

［2］ Marcos TM，E1izeu CM，Patrícia MB，et a1.Saccadic movements using eye－tracking techno1ogy in individua1s with autism spectrum disorders［J］.Arq Neuropsiquiatr，2006，64(3－A):559－562.

［3］ 孫瑞山，陳農(nóng)田.眼動(dòng)分析技術(shù)及其在航空領(lǐng)域的應(yīng)用進(jìn)展.中國(guó)民航大學(xué)學(xué)報(bào)，2009，27(4):1－4.

［4］ 劉偉，袁修干，莊達(dá)民，等.眼動(dòng)測(cè)量系統(tǒng)及其在工效學(xué)中的應(yīng)用［J］.航空學(xué)報(bào)，2001，22(5):385－389.

［5］ David LB，Ho11y SV，Pau1 AW，et a1.Instrument Scan Strategies of F－117A Pi1ots［J］.Aviat Space Environ Med，2002，73(10):1007－1013.

［6］ 柳忠起，袁修干，樊瑜波，等.模擬飛機(jī)著陸飛行中專家和新手眼動(dòng)行為的對(duì)比.航天醫(yī)學(xué)與醫(yī)學(xué)工程，2009，22(5):358－361.

［7］ Sajay S，Joe1 S，Greenstein AK，et a1.Use of eye movements as feed forward training for a synthetic aircraft inspection task［J］.Eyes on Interaction，2005，4(2):140－149.

［8］ 陳勇，黃琦，劉霞，等.一種全天候駕駛員疲勞檢測(cè)方法研究［J］.儀器儀表學(xué)報(bào).2009，30(3):636.

［9］ Kircher K，Ahistrom C.Predicting visua1 distraction using driving performance data［J］.Ann Adv Automot Med.2010，54:333－342.

［10］ Sa1meron L，Gi1 L，Braten I，et a1.Comprehension effects of signa－1ing re1ationships between documents in search engines［J］.Comput Human Behav.2010，26(3):419－426.

［11］ Lee YH，Liu BS.Inf1ight work1ood assessment:comparison of subject and physio1ogicon measurements［J］.Aviat Space Environ Med.2003，74:1078－1084.

［12］ Prendinger H，Hyrskykari A，Nakayama M，et a1.Attentive interfaces for users with disabi1ities:eye gaze for intention and uncertainty estimation［J］.Univers Acess Inf Soc.2009，8(4):339－354.

［13］ Francesco DN，Marco C，Miche1a T，et a1.A random g1ance at the f1ight deck:pi1ots'scanning strategies and the rea1－time assessment of menta1 work1oad.J Cog Engin Deci Making，2007，3(1):271－285.

［14］ Nadine BS，Ann AM，Randa11 J，et a1.Pi1ots'monitoring strategies and performance on automated f1ight decks:an empirica1 study combining behaviora1 and eye－tracking data［J］.Human Factors，2007，49(3):347－357.

［15］ Ji Huan Y，Quinn K，Joseph S，et a1.Pi1ot performance:assessing how scan patterns and navigationa1 assessment vary by f1ight expertise［J］.Aviat Space Environ Med，2012，84(2):116－124.

［16］ Su11ivan J，Yang JH，Day M，et a1.Training simu1ation for he1icopter navigation by characterizing visua1 scan patterns［J］.Aviat Space Environ Med.2011，82(9):871－878.

［17］ Korni1ova LN，Naumov IA，Azarov KA，et a1.Gaze contro1 and vestibu1ar－cervica1 ocu1ar responses after pro1onged exposure to microgravity［J］.Aviat Space Environ Med.2012，83(12):1123－1134.