視線追蹤系統(tǒng)中基于黎曼幾何的落點補償方法研究

金　純，李婭萍

(1. 重慶郵電大學(xué) 無線傳輸重點實驗室 重慶 400065；2.重慶金甌科技發(fā)展有限責(zé)任公司，重慶 400041)

?

視線追蹤系統(tǒng)中基于黎曼幾何的落點補償方法研究

金純1,2，李婭萍1

(1. 重慶郵電大學(xué) 無線傳輸重點實驗室 重慶 400065；2.重慶金甌科技發(fā)展有限責(zé)任公司，重慶 400041)

摘要：針對非接觸式視線跟蹤系統(tǒng)中注視點估計算法魯棒性差的問題，對單相機雙光源的視線追蹤系統(tǒng)進行了改進。在空間相似三角形注視點估計算法的基礎(chǔ)上，提出一種基于黎曼幾何的視線落點補償方法。在眼球模型結(jié)構(gòu)的基礎(chǔ)上分析了眼球角膜曲面對視線落點偏差的影響。根據(jù)人類眼球生理特點，在黎曼幾何中對眼球曲面結(jié)構(gòu)進行建模，提出以最短測地線長度為邊長構(gòu)造平面三角形，以補償歐式幾何中直線距離造成的視線落點的誤差。利用非線性多項式模型對眼球視軸和光軸之間的偏差進行擬合，得到最終的視線落點。實驗證明，該方法在水平和垂直方向上最大誤差均小于1 cm，對視線落點補償具有顯著效果。

關(guān)鍵詞：視線跟蹤；黎曼幾何；相似三角形；視軸；光軸

0引言

視線跟蹤技術(shù)是利用人類眼球運動信息來達到控制設(shè)備目的的一種科學(xué)應(yīng)用技術(shù)，解決了上肢有殘疾或者雙手因執(zhí)行操作任務(wù)而被占用的人員對計算機等終端設(shè)備操作的難題，近年來迅速獲得國內(nèi)外相關(guān)學(xué)者的廣泛關(guān)注。就目前的視線跟蹤系統(tǒng)而言，盡管其技術(shù)優(yōu)勢明顯，但是由于人類眼球生理結(jié)構(gòu)的復(fù)雜性和用戶自由頭動的需求，使得跟蹤精度和用戶自由度無法滿足實際的應(yīng)用要求[1]。Morinoto等[2]提出一種非接觸式的視線跟蹤方法，采用瞳孔向量反射方法，通過二階多項式擬合方程來確定注視點的位置，該系統(tǒng)在頭部靜止情況下追蹤精度可達到1.5°—2°，目前為止，其應(yīng)用十分廣泛。鄭思儀等[3]提出一種基于眼球結(jié)構(gòu)的視線映射幾何模型設(shè)計，通過光源與角膜反射點得到角膜曲率中心和光軸的空間直線，利用光軸和視軸之間的夾角得到視軸的方向，解決了用戶頭動狀態(tài)下的視線落點精度計算的問題，該系統(tǒng)在距離屏幕35 cm，頭部局限20 cm的大圓內(nèi)，跟蹤精度在水平方向可達1.4°，垂直方向可達1.6°。張鵬翼等[4]使用立體視覺信息的視線追蹤系統(tǒng)設(shè)計，使用神經(jīng)網(wǎng)絡(luò)結(jié)合卡爾曼濾波的方法對瞳孔進行跟蹤，再結(jié)合支持向量回歸對人眼參數(shù)和注視點之間的關(guān)系進行訓(xùn)練，可得到視線映射模型，該系統(tǒng)在相機光軸方向30 cm頭動范圍內(nèi)，追蹤精度可達到1.8°。

但是上述作者所建立的視線跟蹤系統(tǒng)都存在一定的問題，如文獻[2]對用戶頭動十分敏感，頭動狀態(tài)下追蹤精度大大下降。文獻[3]雖然在用戶自由度方面有了提高，但是攝像機和光源等需要保持相對靜止，一旦移動則需要重新標(biāo)定，并且還需要進一步提高三維測量的精度。文獻[4]在訓(xùn)練過程中，算法冗余度和精度不能很好地滿足系統(tǒng)需要，并且在成熟度和實用性方面有所欠缺。

針對以往視線跟蹤系統(tǒng)存在的不足，本文基于單相機雙光源的非接觸式視線跟蹤系統(tǒng)，提出了一種基于黎曼幾何的視線落點誤差補償方法。該方法將眼球曲面在黎曼幾何中進行建模，提出以黎曼幾何中最短測地線的長度構(gòu)造平面三角形，來補償歐式幾何中直線距離造成的視線落點的誤差，通過非線性多項式模型對眼球視軸和光軸之間偏差進行擬合，得到最終的視線落點。該方法解決了眼球的生理結(jié)構(gòu)造成的視線落點誤差的問題，將黎曼幾何應(yīng)用到視線跟蹤系統(tǒng)中，不僅大大提高了系統(tǒng)的精度，而且開創(chuàng)了利用黎曼幾何研究視線跟蹤系統(tǒng)的先河[5]。

1視線追蹤系統(tǒng)

本文提出一種以瞳孔-角膜反射法為視線追蹤方法、注視點估計精度高且對用戶無干擾的單攝像機雙光源視線跟蹤系統(tǒng)，主要由相機、2個近紅外光源、圖像采集卡及計算機組成。系統(tǒng)采用紅外光源照射眼睛，人眼角膜對紅外光有較大的反射率，產(chǎn)生反射光斑。當(dāng)眼睛注視不同方向時，光從不同角度照射到角膜，瞳孔中心隨著視線方向發(fā)生相應(yīng)的變化，角膜反射點的位置固定不變。利用眼球和角膜反射點的這種特性，提取視線特征參數(shù)，通過相應(yīng)的注視點估計方法就可以得到視線的落點位置[6]。

在人眼定位階段，采用基于灰度差的人眼定位方法。利用人臉、角膜反射點和瞳孔之間的灰度差來定位人眼，針對瞳孔以及反射點的形狀特點來消除外界干擾因素對人眼定位的影響[7]。定位人眼區(qū)域后，根據(jù)灰度值、面積、相對位置關(guān)系以及瞳孔結(jié)構(gòu)特性，大致定位出瞳孔區(qū)域，通過灰度值迭代的方式來精確定位瞳孔區(qū)域。在特征參數(shù)提取過程中，首先對瞳孔邊緣進行檢測，然后利用橢圓擬合法和質(zhì)心法確定瞳孔和光斑中心[8]。最后，采用基于空間相似三角形的雙光源注視點估計算法得到視線在屏幕上的落點。

本文的主要內(nèi)容就是在上述算法的基礎(chǔ)上，提出一種基于黎曼幾何的視線落點補償方法。

2視線映射模型及基于弧長的視線落點誤差補償

2.1視線映射模型

基于空間相似三角形的雙光源注視點估計算法的原理是依據(jù)人眼特性以及人眼視覺成像原理，人眼圖像中的瞳孔中心以及2個角膜反射點構(gòu)成的三角形與計算機屏幕上注視點位置以及2個近紅外光源構(gòu)成的三角形之間可以近似看作一對相似三角形，相對應(yīng)各邊成比例，估計出屏幕上注視點的近似位置[9]。

圖1為相似三角形算法原理圖。L是計算機平面，L1和L2是放置在計算機屏幕上的2個紅外光源，Q是計算機平面上注視點位置。E是眼平面，E1和E2分別是2個紅外光源在人眼角膜上形成的反射點，EQ是瞳孔中心。P為相機拍攝人眼圖像平面，PQ為人眼圖像中瞳孔中心，P1和P2為人眼圖像中2個角膜反射點。C是人眼角膜的曲率中心。

Q點坐標(biāo)位置可按(1)式獲得。

(1)

(1)式中：(XQ,YQ)為計算機屏幕上視線落點坐標(biāo)； (XL1,YL1)，(XL2,YL2)分別為2個紅外光源的坐標(biāo)，XL1，YL1，YL2的值均為0，XL2的值為計算機屏幕寬度，可通過測量獲得；(XPQ,YPQ)，(XP1,YP1)，(XP2,YP2)分別為人眼圖像中瞳孔中心和2個反射點的坐標(biāo)，它們的坐標(biāo)值已通過第1節(jié)獲得。

圖1　相似三角形算法原理圖Fig.1　Principle of similar triangles algorithm

2.2基于黎曼幾何的視線落點誤差補償

圖2　立體的人眼結(jié)構(gòu)圖Fig.2　Human eye diagram

黎曼幾何中，光線是按曲線運動的，任意2點之間的最短距離為曲線，即最短測地線。測地線是歐式空間中的直線段在黎曼流形或一般的仿射聯(lián)絡(luò)空間中的推廣。該系統(tǒng)中，以計算機平面上2個光源之間的距離為例，其在眼球曲面上的映射為2個光斑之間的最短測地線的弧長。也就是說，計算機平面上由視線落點和2個光源組成的三角形與眼球曲面上以對應(yīng)映射點之間最短測地線的長度為邊長的三角形是相似的[11]。圖3為基于黎曼幾何的視線落點補償方法原理圖。其中，T為把眼球曲面E展開后形成的平面，且與計算機平面平行。T上三角形為以眼球曲面最短測地線弧長為邊長的三角形，該三角形與人眼眼球角膜曲面上三角形為同胚的，與計算機屏幕三角形是相似的[12]。

設(shè)S1=Π∩Sn是眼球面Sn上任意一個大圓，其中Π是過球心和2個角膜反射點A，B的一個二維平面。存在Sn到其自身的等距φ，使得φ的不動點集恰好是曲線S1上的點構(gòu)成的集合，那么，S1是Sn上的測地線。由于在任意一點沿任意的一個切方向，都有一個大圓通過該點并且與該方向相切，根據(jù)測地線的唯一性，Sn上的測地線只能是大圓或其一部分。若設(shè)大圓S1的參數(shù)方程為γ(t)，根據(jù)定義

(2)

(2)式中,const為一常量。

圖3　基于黎曼幾何的視線落點補償方法原理圖Fig.3　Principle of gaze point compensation algorithmbased on Riemannian geometry

假設(shè)|γ′(t)|=c，c始終為一固定值，且不同用戶曲率值有可能不同，可由測試得到。

則大圓S1上連接A，B 2個點的測地線γ(t)， t∈[t0,t]的弧長為

(3)

求得弧長之后，根據(jù)相似三角形對應(yīng)邊成比例的關(guān)系得到補償后視線落點Q1坐標(biāo)為

(4)

(4)式中：(XQ1,YQ1)為補償后視線落點坐標(biāo)；點Q1坐標(biāo)為人眼光軸映射到計算機屏幕上的落點，而真正的視線落點為視軸到計算機屏幕的映射點，由于光軸和視軸之間的角度變化呈非線性狀態(tài)，最大角度約為5°的夾角[13]，因此，提出非線性多項式模型對它們之間的關(guān)系進行解釋[12]。

(5)

3實驗結(jié)果

本文視線跟蹤系統(tǒng)選取多名測試者對視線估計結(jié)果進行測試。試驗中記錄的注視點是以像素為單位的，首先須將屏幕上觀察到的像素轉(zhuǎn)換為實際的長度。測試過程中，采用的計算機屏幕分辨率為1 366像素×768像素，經(jīng)過測量，屏幕的實際尺寸為410mm×230mm。每個像素的長度在水平方向上為410mm/1366pixel，垂直方向為230mm/768pixel。測試者在距離屏幕60—70cm處，頭部可自由運動，能適應(yīng)的運動范圍約為20cm×17cm×10cm(水平×垂直×前后)。測試過程中，由于人眼光軸和視軸之間的固有偏差以及注視點估計算法中近似的影響，系統(tǒng)需要一個對每個測試者進行校準(zhǔn)的過程，記錄下測試者盯視校準(zhǔn)點時對應(yīng)的視線參數(shù)，求出多項式非線性映射函數(shù)的系數(shù)。本文將計算機屏幕分成相等的9個部分，取每個部分的中心點為校準(zhǔn)點，對9個點進行校準(zhǔn)的結(jié)果如圖4所示。

圖4　用戶校準(zhǔn)結(jié)果Fig.4　Result of the calibration

圖5　補償前后視線誤差對比Fig.5　Contrast of gaze point error with/without compensation

圖6　補償前后視線估計落點對比Fig.6　Contrast of estimated gaze pointwith/without compensation

由圖5和圖6可以得到如下結(jié)論。

1)基于黎曼幾何的視線落點誤差補償方法效果比較明顯，補償前，視線誤差較大，視線估計落點與真實值偏離距離比較遠，仿真圖6中，“×”點分布比較分散，經(jīng)過補償后，視線落點與真實值之間誤差明顯減小，視線落點集中分布在真實值周圍，“·”點比較緊密地聚集在一起。

2)補償前視線落點在X軸上平均誤差為10.674 4mm，Y軸上平均誤差為11.043 3mm；補償后視線落點在X軸上平均誤差為7.655 6mm，Y軸上平均誤差為8.326 5mm。

3)Y軸平均誤差高于X軸的平均誤差，因為垂直分辨率低于水平分辨率。并且，當(dāng)測試者靠近攝像機時，視線誤差會顯著降低，因為隨著距離的縮短，眼睛圖像的分辨率增大，盯視精度得到提高。

4結(jié)論

實驗證明，本文提出的基于黎曼幾何的視線落點誤差補償方法具有較顯著的效果，采用黎曼幾何的觀點對眼球角膜曲面進行分析，研究黎曼幾何和歐式幾何的映射關(guān)系，并利用最短測地線的弧長來彌補角膜曲面上2點之間歐式距離的誤差，使人眼與計算機屏幕之間的映射模型更為精準(zhǔn)，最后對眼球視軸和光軸之間偏差進一步補償。方法具有較高的估計精度，補償后在水平方向平均精度為0.55°，平均誤差為7.655 6 mm；垂直方向上平均精度為0.60°，平均誤差為8.326 5 mm。與補償前系統(tǒng)相比，追蹤精度和用戶自由度得到較大提升。

參考文獻：

[1]TORRICELLI D,CONFORTO S,SCHMID M,et al.A neural-based remote eye gaze tracker under natural head motion[J].Computer Methods Programs Biomed,2008,92(1):66-78.

[2]MORIMOTO C H, KOONS D, AMIT A, et al. Pupil detection and tracking using multiple light sources [J]. Image and Vision Computing, 2000，18(4):331-335.

[3]鄭思儀,王志良,張鵬翼.一種基于眼球結(jié)構(gòu)的視線映射幾何模型設(shè)計[J]. 系統(tǒng)仿真學(xué)報,2012,24(3):638-644.ZHENG Siyi,WANG Zhiliang,ZHANG Pengyi.Design of gazing geometrical model based on eyeball structure[J].Journal of System Simulation,2012,24(3):638-644.

[4]張鵬翼,王志良,鄭思儀,等.使用立體視覺信息的視線追蹤系統(tǒng)設(shè)計[J].北京郵電大學(xué)學(xué)報,2010,33(1):47-51.

ZHANG Pengyi, WANG Zhiliang, ZHENG Siyi，et al. A design of eye gaze tracking system using stereovision information[J].Journal of Beijing University of Posts and Telecommunications, 2010,33(1):47-51.

[5]朱博,遲健男,張?zhí)靷b.視線追蹤系統(tǒng)頭動狀態(tài)下的視線落點補償方法[J].公路交通科技,2013,30(10):105-111.

ZHU Bo, CHI Jiannan, ZHANG Tianxia. Gaze point compensation method under head movement in gaze tracking system[J].Journal of Highway and Transportation Research and Development, 2013,30(10):105-111.

[6]CHUL Lee Eui, RYOUNG Park Kang.A robust eye tracking method based on a virtual eyeball model[J].Machine Vision and Applications,2009,20(5):319-337.

[7]ZHAO Qijie,ZHANG Guodong,CHENG Defu,et al.Relationship between light position and gaze identified parameters in infrared TV based eye gaze tracking system[J].Journal of System Simulation,2011,23(10):2239-2247.

[8]遲健男,王志良,張闖.視線追蹤[M].北京：機械工業(yè)出版社,2011:164-229.CHI Jiannan,WANG Zhiliang,ZHANG Chuang.Eye tracking[M].Beijing:China Machine Press,2011:164-229.

[9]楊彩霞.基于近紅外光源的非接觸式視線跟蹤技術(shù)研究[D].濟南:山東大學(xué),2012.

YANG Caixia. Research of remote gaze tracking technique with near IR illumination[D].Jinan: Shandong University,2012.

[10] 黃亞勤.基于視線跟蹤技術(shù)的眼控鼠標(biāo)研究與實現(xiàn)[D].成都:西華大學(xué),2011.

HUANG Yaqin. The eye-mouse research and implementation based on eye gaze tracking technology[D].Chengdu: Xihua University,2011.

[11] 遲健男,張闖,陳凱,等.一種由粗及精的視線追蹤系統(tǒng)平面視線參數(shù)檢測方法[J].兵工學(xué)報,2012,33(8):902-911.

CHI Jiannan, ZHANG Chuang, CHEN Kai, et al. Planar gaze parameter detection in gaze tracking system with active infrared light source[J].ACTA ARMAMENTARII, 2012,33(8):902-911.

[12] 黃瑩,王志良,涂序彥,等.一種可適應(yīng)自然頭動的視線跟蹤系統(tǒng)的研制及應(yīng)用[J].電子學(xué)報,2009,37(4):764-771.

HUANG Ying, WANG Zhiliang, TU Xuyan, et al. Development and application of a gaze tracking system adapting to natural head-movements[J].ACTA ELECTRONICA SINICA, 2009,37(4):764-771.

[13] SUN Jiande,YANG Caixia,LIU Ju,et al.Gaze tracking based on similarity between spatial triangles and two-step calibration[J].Electronics Letters,2011,47(4):254-255.

Gaze point compensation method based on Riemannian geometry in eye tracking system

JIN Chun1,2, LI Yaping1

(1. Wireless Transmission Key Laboratory, Chongqing University of Posts and Telecommunications, Chongqing 400065, P.R.China;2. Chongqing Jinou Science & Technology Development Co. , Ltd. ,Chongqing 400041,P.R.China)

Abstract:Aiming at the problem of poor robustness of gaze point estimation algorithm of un-contact eye tracking system, we modified the eye tracking system consist of single camera and two light sources. One novel gaze point compensation algorithm in Riemannian space was proposed in this paper based on the estimation algorithm of gaze point in space similar triangles. First we made the analysis of the influence of ocular cornea surface to the gaze point error based on eyeball structure. Then, according to the physiological characteristic of human eyes, the ocular cornea surface was modeled in the system of Riemannian geometry. The triangle constructed with the three shortest geodesics was presented to compensate the error of gaze point in Euclidean geometry eye tracking system. Finally the nonlinear polynomial model was also used to fit the error of eye visual axis and optical axis. In our experiment, the deviation of this algorithm is less than 1 centimeter both in horizontal and vertical directions. The result showed that the algorithm we proposed had significant effect on the compensation of gaze point.

Keywords：eye tracking; Riemannian geometry; similar triangles; visual axis; optical axis

DOI：10.3979/j.issn.1673-825X.2016.03.019

收稿日期：2015-05-01

修訂日期：2015-12-14通訊作者：李婭萍840666078@qq.com

基金項目：高技術(shù)產(chǎn)業(yè)發(fā)展專項(渝發(fā)改技(2014)1177)

Foundation Item：The High Technology Industry Development Project(Chongqing Development and Reform Commission(2014)1177))

中圖分類號：TP391.41;TN925

文獻標(biāo)志碼：A

文章編號：1673-825X(2016)03-0395-05

作者簡介：

金純(1966-)，男，重慶人，教授，研究生導(dǎo)師，主要研究方向為無線通信、眼球追蹤、人工智能、物聯(lián)網(wǎng)等。E-mail: jinchun@jinoux.com。

李婭萍(1989-)，女，河南商丘人，碩士生，主要研究方向為眼球追蹤、人工智能、物聯(lián)網(wǎng)、無線網(wǎng)絡(luò)等。E-mail:840666078@qq.com。

(編輯：王敏琦)