頭戴式眼動跟蹤系統(tǒng)設(shè)計與實現(xiàn)*

宮德麟 施家棟 張廣月 王建中

摘 要：為提高未來戰(zhàn)爭中士兵操控?zé)o人武器系統(tǒng)的作戰(zhàn)效率，文章構(gòu)建了頭戴式眼動跟蹤系統(tǒng)，基于角膜反射光斑和瞳孔中心定位算法相結(jié)合的視線估計方法，在Linux系統(tǒng)下使用結(jié)合OPENCV的開發(fā)語言，采用閾值分割法進(jìn)行瞳孔粗定位，運用最小二乘橢圓擬合算法確定瞳孔中心坐標(biāo)，以多項式函數(shù)的形式建立瞳孔中心與注視點之間的映射關(guān)系，實現(xiàn)了人眼注視方向的估計，為無人武器眼動跟蹤瞄準(zhǔn)奠定了基礎(chǔ)，實驗表明，該方法具有很高的定位精度。

關(guān)鍵詞：眼動跟蹤；瞳孔-角膜反射法；橢圓擬合；最小二乘法

引言

無人武器系統(tǒng)是未來戰(zhàn)爭重要的武器裝備，目前無人武器完全自主運行的技術(shù)仍不夠成熟，主要還是依靠操控人員的遠(yuǎn)程手動操作，這難以滿足戰(zhàn)場的時效性需要。通過眼睛注視跟蹤目標(biāo)，可以提高操控效率。例如士兵佩戴裝有眼動跟蹤系統(tǒng)的頭盔操控小型無人武器，瞄準(zhǔn)攻擊敵方士兵，可解放雙手、減輕操控負(fù)擔(dān)、提高作戰(zhàn)效率。由于人員目標(biāo)體積小、靈活度高，為實現(xiàn)精確打擊需要較高的定位精度。

眼動跟蹤[1，2]是近幾十年來活躍的研究領(lǐng)域，它在人機(jī)交互[3]、駕駛員疲勞監(jiān)測、游戲操作和心理學(xué)等領(lǐng)域有著廣泛的應(yīng)用前景。按硬件構(gòu)成不同，可以將眼動跟蹤系統(tǒng)分為桌面式和頭戴式兩類[4]，桌面式眼動跟蹤系統(tǒng)[5]是當(dāng)前熱點研究方向，但用戶在使用過程中不可轉(zhuǎn)動頭部，輕微的偏移都會導(dǎo)致系統(tǒng)精度顯著下降。頭戴式眼動跟蹤系統(tǒng)[6]具有便攜性，由于其攝像頭只拍攝眼部圖像，圖像清晰度高，瞳孔定位精度高，且允許頭部自由運動降低了對用戶的約束。

文章研究的眼動跟蹤系統(tǒng)實現(xiàn)了對人眼注視方向的準(zhǔn)確估計，具有測量準(zhǔn)確、誤差小且對佩戴人員干擾小的優(yōu)點。

1 眼動跟蹤系統(tǒng)設(shè)計

1.1 基本原理

眼睛結(jié)構(gòu)如圖1所示[7]，主要包括瞳孔、虹膜及鞏膜。文章采用Le Grand眼球模型，Le Grand模型考慮了角膜和眼球曲率的不同，整個眼睛看作是兩個不同曲率球體的疊加。人的視線方向由頭和眼睛的方位共同決定，在頭部保持不動情況下，中央凹的位置固定不變，此時人眼視軸方向的變化主要反映在瞳孔中心位置的變化。

本系統(tǒng)采用瞳孔-角膜反射法，該方法使用一固定紅外光源照射眼球，在角膜上會形成一個紅外光斑，稱為“普爾欽斑點”。由于紅外光源、攝像頭與頭部的相對位置保持不變，因此，斑點的位置也是相對于頭部固定的，并不隨眼球的轉(zhuǎn)動而變化。根據(jù)瞳孔中心與斑點中心的位置關(guān)系可以獲得眼球的運動信息，從而實現(xiàn)對眼球運動的跟蹤。

1.2 系統(tǒng)組成

硬件系統(tǒng)主要由嵌入式處理板、頭盔、固定支架、人眼攝像頭、紅外光源和顯示屏組成，如圖3所示。

人眼攝像頭用以采集眼睛區(qū)域的紅外圖像，選用WX2000型號的工業(yè)級微距攝像頭，可手動調(diào)焦，最大分辨率達(dá)到640×480，鏡頭與顯示屏平面夾角為40度。采用單個紅外光源，安裝在攝像頭附件，光源波長為850nm，在此波長的紅外光照射下，虹膜反射較大，瞳孔基本完全吸收，采集到的人眼圖像中瞳孔和虹膜有較高的對比度，便于后續(xù)圖像的處理。采集到的人眼圖像將傳輸至后端的嵌入式處理板上進(jìn)行相關(guān)的圖像處理和計算，選擇NVIDIA型號為TK1的處理板。

由于該系統(tǒng)預(yù)期應(yīng)用于遠(yuǎn)程無人設(shè)備的操控，通過設(shè)備上的攝像頭將視頻信號傳送至眼動跟蹤系統(tǒng)中的顯示屏，顯示屏直接采用iphone3gs，既可以采集場景圖像又能將圖像實時顯示出來，使用時調(diào)整固定在與人眼合適距離的平行位置上，使用者注視顯示屏?xí)r人眼與顯示屏固定在同一水平線上，其間距為11cm。

使用Linux系統(tǒng)下結(jié)合OPENCV[8]開源代碼庫的開發(fā)語言，計算出人眼的瞳孔中心和普爾欽斑點中心的坐標(biāo)并得到二維偏移向量；然后利用偏移向量與注視參考點坐標(biāo)之間的映射關(guān)系，通過多項式擬合計算出注視點在顯示屏上的坐標(biāo)，基本框圖如圖4所示。

2 特征參數(shù)提取

能否實現(xiàn)準(zhǔn)確的眼動跟蹤主要取決于特征參數(shù)提取的準(zhǔn)確性，主要包括四部分：預(yù)處理圖像、灰度圖閾值分割、Canny算法邊緣化和最小二乘橢圓擬合。

2.1 瞳孔中心坐標(biāo)提取

采集到的人眼圖像中存在的噪聲會對瞳孔邊緣的提取造成很大的影響，通過濾波可以減少圖像上的噪點或者失真，改善圖像質(zhì)量。文章選用高斯濾波，其實質(zhì)是用一個模板掃描圖像中的每一個像素點，用模板確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代模板中心像素點的值，這里高斯內(nèi)核的大小為5×5，處理后的圖像如圖5（b）。為提高圖像處理速度，只需提取瞳孔光斑所在矩形區(qū)域，通過指定矩形的左上角坐標(biāo)和矩形的長寬以定義一個矩形區(qū)域，即ROI區(qū)域，原圖尺寸為640×480，提取后尺寸為100×100，如圖5（c）。

為方便獲得圖像的灰度直方圖，將圖像灰度化如圖5（d）。選取合適的二值化閾值分割點T，將圖像數(shù)據(jù)分為大于T和小于T的兩部分，大于T部分像素點為255，小于T部分像素點為0，可以看出得到的圖像使得人眼圖像特征更加顯著，如圖5（e）。

采用Canny算法邊緣化[9]提取瞳孔輪廓，Canny的目標(biāo)是找到一個最優(yōu)的邊緣檢測算法，使用變分法以滿足低錯誤率、高定位性和最小響應(yīng)。經(jīng)過濾波、增強(qiáng)、檢測得到一系列候選點，如圖5（f）。Canny算子的主要思想是先用高斯函數(shù)對圖像進(jìn)行平滑，再由一階微分的極大值確定邊緣點。其具體過程如下：

（1）首先用二維高斯濾波模板進(jìn)行卷積以消除噪聲，高斯函數(shù)在連續(xù)空間表示為

（2）利用導(dǎo)數(shù)算子找到圖像灰度沿著2個方向的偏導(dǎo)數(shù)并求出梯度的大小為：

（3）計算梯度的方向：

（4）將邊緣方向大致分為水平、垂直、45度、135度這四個方向，通過梯度的方向，找到這個像素梯度方向的鄰接像素。

（5）遍歷圖像，去除非邊緣像素，若某個像素的灰度值與梯度方向上前后兩個像素的灰度值相比不是最大的，那么這個像素值置為0，即該像素不是邊緣。

（6）使用雙閾值算法檢測和連接圖像的邊緣，凡是大于高閾值的一定是邊緣，凡是小于低閾值的一定不是邊緣，如果檢測結(jié)果大于低閾值但又小于高閾值，就要看這個像素的鄰接像素中有沒有超過高閾值的邊緣像素，如果有的話那就是邊緣，否則不是。

最后在確定了瞳孔邊緣后，利用最小二乘法進(jìn)行橢圓擬合[10]，橢圓的平面二次曲線一般方程可以用式（4）來表示

為避免零解，必須限定 才能保證擬合的曲線為橢圓，所以問題可以轉(zhuǎn)化為求點到二次曲線的代數(shù)距離平方和最小，即

由極值原理，欲使f（a，b，c，d，e）最小，必有

（6）

由此可得一個線性方程組，然后結(jié)合約束條件求得方程各系數(shù)的值，得到橢圓中心橫縱坐標(biāo)、長軸和短軸長以及旋轉(zhuǎn)角度，可以得到瞳孔中心坐標(biāo)，如圖5（g）。

2.2 普爾欽斑點坐標(biāo)提取

采用2.1節(jié)的方法能夠同時擬合出瞳孔和斑點的坐標(biāo)，如圖6所示。由于采集的人眼圖像中瞳孔和斑點的對比度非常高，所以在圖像二值化后二者分別呈現(xiàn)為黑色和白色。另外，瞳孔的長短徑遠(yuǎn)遠(yuǎn)大于斑點的長短徑，程序很容易識別出瞳孔和斑點。

3 標(biāo)定

為實現(xiàn)眼動跟蹤，就必須給出使用者注視顯示屏?xí)r的具體位置坐標(biāo)，通過標(biāo)定可以建立人眼特征參數(shù)與注視參考點坐標(biāo)的關(guān)系。標(biāo)定過程[11]主要分兩步：給定一系列確定的注視參考點，使用者通過注視各個點，測量得到瞳孔中心和普爾欽斑點中心坐標(biāo)，可以認(rèn)為瞳孔到普爾欽斑點的二維偏移向量和注視點在注視平面上的位置是一一對應(yīng)的，并確定二者之間的映射關(guān)系；使用者注視新的注視參考點，可以根據(jù)測量得到的新的偏移向量及映射關(guān)系，確定使用者在顯示屏上注視的參考點坐標(biāo)。

假設(shè)注視點坐標(biāo)為（xg，yg），瞳孔中心坐標(biāo)為（xp，yp），反射光斑坐標(biāo)為（xs，ys），偏移向量為（xe，ye）。

（7）

偏移向量與注視點坐標(biāo)滿足以下關(guān)系：

（8）

為求a0～a5，b0～b5這12個未知數(shù)，至少需要12個方程，一組偏移向量與注視點坐標(biāo)可以建立2個方程，因此至少需要使用者注視6個不同的參考點來獲取數(shù)據(jù)，從而確定映射函數(shù)。

4 實驗及結(jié)果分析

4.1 標(biāo)定實驗

在室內(nèi)辦公室環(huán)境中，使用者頭戴眼動跟蹤系統(tǒng)，顯示屏上顯示12個參考點，如圖7所示。

系統(tǒng)標(biāo)定過程中使用者依次注視顯示屏上12個參考點，共采集6組，獲得72張人眼圖像，根據(jù)上一節(jié)提出的標(biāo)定方法，求解映射方程系數(shù)，得到映射方程為：

（9）

4.2 注視點估計實驗

然后注視新的6個注視參考點，采集6組實驗數(shù)據(jù)，將實驗獲取的普爾欽斑點與瞳孔中心坐標(biāo)偏移向量代入上述映射方程，進(jìn)行實驗驗證，計算估計視線與真實視線的誤差，結(jié)果如圖8所示。

圖8 估計視線與真實視線比較

經(jīng)分析可知，水平方向最大誤差為8.143451個像素點，豎直方向最大誤差為11.250186個像素點，圖中存在偏移較大點的原因是輕微的頭部運動產(chǎn)生了誤差，在誤差距離不超過5個像素點時，人眼定位準(zhǔn)確率為90.74%。

5 結(jié)束語

文章提出了一種基于頭戴式眼動跟蹤系統(tǒng)的視線估計方案，在圖像處理的基礎(chǔ)上，研究了瞳孔到普爾欽斑點的二維偏移向量與注視點坐標(biāo)的映射關(guān)系，實驗驗證視線估計準(zhǔn)確率高達(dá)90%以上，實現(xiàn)了高精確度的眼動跟蹤，具有廣闊的應(yīng)用前景。

參考文獻(xiàn)

[1]Duchowski A T. Eye Tracking Methodology：Theory and Practice[M].Eye Tracking Methodology：Theory and Practice. Springer London，2003.

[2]Jacob R J K. The use of eye movements in human-computer interaction techniques： What you look at is what you get[C]. ACM Transactions on Information Systems. 1991：152--169.

[3]Poole A，Ball L J. Eye Tracking in Human-Computer Interaction and Usability Research： Current Status and Future[C]. "Prospects"，Chapter in C. Ghaoui（Ed）：Encyclopedia of Human-Computer Interaction. Pennsylvania：Idea Group，Inc. 2005.

[4]Li X， Wee W G. An efficient method for eye tracking and eye-gazed FOV estimation[C].Proceedings/ICIP ... International Conferenc

e on Image Processing，2009：2597-2600.

[5]董大洼，董蘭芳，余家奎，等.桌面式眼動跟蹤系統(tǒng)研究[J].電子技術(shù)，2014（9）.DOI：10.3969/j.issn.1000-0755.2014.09.001.

[6]龔秀鋒.頭戴式視線跟蹤系統(tǒng)關(guān)鍵技術(shù)研究[D].中國科學(xué)技術(shù)大學(xué)，2010.DOI：10.7666/d.y1705541.

[7]劉瑞安，靳世久，宋維，等.單攝像機(jī)視線跟蹤[J].計算機(jī)應(yīng)用，2006，26（9）：2101-2104.

[8]毛星云.OpenCV3編程入門[M].電子工業(yè)出版社，2015.

[9]Huo Y K，Wei G，Zhang Y D，et al. An adaptive threshold for the Canny Operator of edge detection[C].Image Analysis and Signal Processing （IASP），2010 International Conference on. IEEE， 2010：371-374.

[10]Liu R A，Jin S J，Xiao-Rong W U，et al. Adaptive Regulation of CCD Camera in Eye Gaze Tracking System[J].Optics & Precision Engineering，2007，15（6）：1-4.

[11]Morimoto C H，Koons D，Amit A，et al. Keeping an eye for HCI[C].Computer Graphics and Image Processing，1999. Proceedings. XII Brazilian Symposium on. IEEE，1999：171-176.

作者簡介：宮德麟，男，24歲，漢族，北京理工大學(xué)在讀研究生，兵器科學(xué)與技術(shù)專業(yè)。