面向虛擬現(xiàn)實頭盔的眼動跟蹤技術探析

羅來曦 朱漁

摘 要：眼動跟蹤技術作為人機交互方式的重要補充，其可有效提升用戶的沉浸感，對于解決虛擬現(xiàn)實頭盔中的諸多技術問題具有十分重要的意義?，F(xiàn)階段面向虛擬現(xiàn)實頭盔的眼動跟蹤技術的研究仍處于起步階段，因此，文章面向虛擬現(xiàn)實頭盔的眼動跟蹤系統(tǒng)設計構建了虛擬現(xiàn)實硬件平臺、眼動跟蹤軟件模塊及圖像采集硬件模塊，有效提升了虛擬現(xiàn)實頭盔的實用性。

關鍵詞：虛擬現(xiàn)實頭盔;眼動跟蹤技術;眼圖處理模塊;視線估計模塊

0 引言

眼球的運動直觀反映了個體的思維活動，通過追蹤眼球運動可實現(xiàn)個體思考模式與感知能力的分析。在虛擬現(xiàn)實環(huán)境下，個體往往會因方向感的缺失而產生不適感，繼而對沉浸式體驗過程造成不良影響，為了解決這一問題，開發(fā)者通常會以小地圖、箭頭、覆蓋路徑等方式為用戶提供導航，但又不可避免地導致顯示器可見范圍被占用。為了解決這一問題，開發(fā)人員試圖利用眼動跟蹤技術的引入分析用戶眼動數(shù)據(jù)，繼而預測其對導航的需求，為用戶提供自適應輔助導航功能。因此，本文重點面向虛擬現(xiàn)實頭盔的眼動跟蹤技術進行研究，以期提升虛擬現(xiàn)實頭盔的用戶體驗。

1 ? 眼動跟蹤對虛擬現(xiàn)實頭盔的意義

眼動跟蹤技術是虛擬現(xiàn)實頭盔中關鍵的技術之一，其不僅有助于提升VR世界的視覺廣度，緩解用戶肢體疲勞，還可提升注視點分辨率，及時響應環(huán)境感知，強化人機交互效果。

1.1 ?緩解用戶肢體疲勞

現(xiàn)階段，虛擬現(xiàn)實頭盔因技術的局限性仍較為笨重，用戶佩戴與交互操作過程中需要借助一系列肢體動作，如通過操作手柄選擇虛擬菜單、以手持續(xù)滑動虛擬界面等，這無疑對用戶體驗感造成了極大影響。而眼動跟蹤技術的引入解放了用戶的雙手，很多疲勞動作均可以用眼神操作加以替代，這使得用戶在虛擬場景中動作敏捷、反應迅速、判斷精準，只需瞄準目標即可完成對應操作，配合虛擬現(xiàn)實頭盔的頭動追蹤裝置，可有效降低用戶的肢體動作。此外，眼動跟蹤技術還可定義用戶虛擬形象，并增添眨眼等表情，為虛擬社交的生動演繹提供了途徑。

1.2 ?提升注視點分辨率

現(xiàn)階段，虛擬現(xiàn)實頭盔應用受阻的重要原因之一在于其價格高昂，這使得普通消費群體望而卻步，而虛擬現(xiàn)實頭盔成本高昂主要是由于其屏幕的高分辨率要求。就人眼視覺原理而言，個體在觀察目標物時僅僅集中在目標對象極小范圍的區(qū)域，對于遠離目標對象的區(qū)域往往選擇主動忽略。從這一角度來看，眼動跟蹤技術可根據(jù)用戶需求主動調節(jié)注視點區(qū)域高分辨度，對于遠離注視點的區(qū)域則逐級降低其分辨率，如此不僅保障了人眼對目標物體的觀察，還極大地降低了對顯示屏的硬性需求，有利于縮減虛擬現(xiàn)實頭盔的成本。

1.3 ?及時響應環(huán)境感知

在虛擬現(xiàn)實頭盔中，部分數(shù)據(jù)分析與操作需要一定的時間方可完成，如通過線上數(shù)據(jù)庫搜索目標，若用戶對特定方向進行掃視，要求人機交互前系統(tǒng)后臺就要成功讀取和分析數(shù)據(jù)。而眼動跟蹤技術所提供的數(shù)據(jù)預取功能無疑滿足了虛擬現(xiàn)實頭盔的自然交互需求，其不僅有效改善了用戶在沉浸式環(huán)境中的感知響應度，還為人機交互實時性的實現(xiàn)提供了技術支持，這對于移動數(shù)據(jù)網(wǎng)絡尤為有效。

2 ? 面向虛擬現(xiàn)實頭盔的眼動跟蹤系統(tǒng)

面向虛擬現(xiàn)實頭盔的眼動跟蹤系統(tǒng)，既要對該技術應用場景的差異性進行分析，又要構建整個眼動跟蹤系統(tǒng)平臺，還要在虛擬現(xiàn)實環(huán)境下精準追蹤和定位瞳孔，獲取瞳孔識別算法，并根據(jù)用戶佩戴頭盔的不適性進行注視點校正，眼動跟蹤系統(tǒng)設計架構如圖1所示。根據(jù)上述要求，需要構建虛擬現(xiàn)實硬件平臺、眼動跟蹤軟件模塊、圖像采集硬件模塊。其中，圖像采集、眼動跟蹤軟件兩大模塊為整個系統(tǒng)的重中之重，后者涉及眼圖處理模塊、視線估計模塊兩方面。

2.1 ?虛擬現(xiàn)實硬件平臺的搭建

硬件平臺負責提供三維空間模擬功能，為用戶打造沉浸式交互效果，其主要涉及VR眼鏡處理器、VR眼鏡視頻現(xiàn)實器、VR眼鏡外部結構3方面，既要確保所選處理器滿足視頻圖像處理性能要求，又要科學利用光學顯示模塊，還要確保結構設計滿足用戶佩戴舒適度要求。因此，本文選用樂相科技的大朋VR頭盔作為虛擬現(xiàn)實硬件平臺，其采用的CPU為三星Exynos 7420，使用ARM四核Cortex-A57、Cortex-A53，不僅沉浸效果佳，而且運算功能強，有助于保障交互過程的流暢性。不僅如此，該平臺采用的圖像處理器為MaliT760 MP8，頻率約772MHz，具有較強的圖像處理功能，加上屏幕高對比度和基于人體工程學的結構設計，不僅有效降低了畫面余暉，還有效提升了佩戴舒適度，滿足系統(tǒng)對硬件平臺的要求[1]。

2.2 ?圖像采集硬件模塊的實現(xiàn)

本文構建的是基于光反射類檢測算法、視頻圖形處理的眼動跟蹤系統(tǒng)，因而需要結合眼動環(huán)境差異科學選擇近紅外光源、CCD傳感器等，以構建強大的圖像采集硬件模塊，既不對用戶眼睛造成傷害，又能獲取高質量原始眼動圖像。為了提高用戶對圖像的識別效果，系統(tǒng)選擇采取波長為850 nm、輻射強度為350 mw/sr、直徑為5 mm、發(fā)射角度為 ? ? ? ?30?的近紅外光源作為環(huán)境光照的補充，該參數(shù)下的近紅外光源對人眼是安全的。對于紅外攝像頭的選型，本系統(tǒng)選擇的是對近紅外光線敏感的CCD攝像頭傳感器進行原始眼動圖像的獲取，該傳感器具有光照范圍廣、分辨率高等特點，加上虛擬現(xiàn)實頭盔對傳感器的體積要求，系統(tǒng)采用的是中星微S900超小型紅外攝像頭，為了確保眼動圖像光線的均勻性，附加6個紅外LED光源[2]。

2.3 ?眼動跟蹤軟件模塊的實現(xiàn)

該模塊是眼動跟蹤系統(tǒng)的最重要模塊，其主要包括眼圖處理模塊與視線估計兩大部分，前者負責對眼動圖像進行失真處理，并提取瞳孔的坐標位置，后者則根據(jù)獲取眼動數(shù)據(jù)將瞳孔坐標一一映射到屏幕坐標系，完成人眼注視點的估計。

眼球圖像的處理主要通過圖像預處理、眼圖區(qū)域檢測及特征提取、瞳孔中心定位等完成對人眼瞳孔的識別。其中，眼動圖像預處理涉及OpenCV對原始眼球圖像的濾波處理，還需借助直方圖均衡化增強圖像灰度值兼具，確保圖像的清晰度;眼圖區(qū)域檢測需要借助分水嶺思想對原始眼動圖像進行二值化分析，獲取最大穩(wěn)定極值區(qū)域，再利用橢圓擬合對各區(qū)域進行處理，獲取穩(wěn)定區(qū)域的特征并予以提取;最后采用穩(wěn)定區(qū)域檢測與像素點、灰度特征相融合的方式對瞳孔進行精準定位。

眼動跟蹤的目標集中在人的視線方向，因此，視線估計模塊必不可少，可根據(jù)眼圖數(shù)據(jù)進行目光建模，確定人眼的視線方向與凝視點，再借助映射函數(shù)將圖像坐標中的點映射到屏幕坐標系中。為了實現(xiàn)視線估計，一方面需要結合已知眼動數(shù)據(jù)確定瞳孔坐標系、屏幕坐標系及二者關系，另一方面需要獲取實時眼動數(shù)據(jù)應用到求出坐標系的關系，繼而對人眼視線點進行即時測量，常用視線估計方法包括二維估計法、三維估計法，前者適用于能夠獲得穩(wěn)定眼動數(shù)據(jù)的系統(tǒng)，后者則適用于多攝像機眼動跟蹤系統(tǒng)，應用時需根據(jù)設計要求靈活選擇[3]。

3 ? 結語

綜上，眼動跟蹤技術是虛擬現(xiàn)實頭盔的必備技術之一，對于緩解用戶肢體疲勞、提升注視點分辨率、增強人機交互效果、及時響應環(huán)境感知、提升虛擬現(xiàn)實頭盔的綜合性能意義重大。面向虛擬現(xiàn)實頭盔的眼動跟蹤系統(tǒng)構建需要結合系統(tǒng)設計目標及需求分析，開發(fā)和實現(xiàn)VR硬件平臺、圖像采集硬件、眼動跟蹤軟件三大模塊，然而，現(xiàn)階段面向虛擬現(xiàn)實頭盔的眼動跟蹤技術仍存在諸多不足之處，如采集瞳孔中心數(shù)據(jù)時因人眨眼頻率的不同，導致系統(tǒng)魯棒性較差，因此，還需進一步加強眼動跟蹤技術的研究，以持續(xù)改善虛擬現(xiàn)實頭盔的應用性能。

[參考文獻]

[1]]李永強.面向智能頭顯的眼動跟蹤技術的研究[D].廣州：廣東工業(yè)大學，2019.

[2]李永強.一種用于智能頭顯的眼動跟蹤系統(tǒng)[J].現(xiàn)代計算機，2019（13）：84-89.

[3]熊小峰.面向虛擬現(xiàn)實頭盔的眼動跟蹤系統(tǒng)研究[D].成都：電子科技大學，2017.

（編輯 王雪芬）