一種視線方向的三維估計(jì)方法*

王長元　王　莉　田寶杰　薛鵬翔

(1.西安工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院　西安　710021)

(2.總參陸航部駐西安地區(qū)軍事代表室　西安　710065)(3.西安工業(yè)大學(xué)理學(xué)院　西安　710021)

?

一種視線方向的三維估計(jì)方法*

王長元1王莉1田寶杰2薛鵬翔3

(1.西安工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院西安710021)

(2.總參陸航部駐西安地區(qū)軍事代表室西安710065)(3.西安工業(yè)大學(xué)理學(xué)院西安710021)

摘要為了得到高性能的視線方向,論文提出了一種基于雙攝像機(jī)和雙光源的三維視線估計(jì)方法,以克服自然頭動較大情況下視線的估計(jì)準(zhǔn)確性。論文提出了一種完全依靠空間幾何計(jì)算實(shí)現(xiàn)用戶視線落點(diǎn)運(yùn)算的方法。首先對攝像機(jī)進(jìn)行標(biāo)定,然后利用已標(biāo)定的攝像機(jī)再對顯示器屏幕和光源的三維位置進(jìn)行標(biāo)定;由于角膜曲率中心和瞳孔中心在同光軸上,所以通過計(jì)算得到角膜曲率中心和虛瞳孔中心來確定光軸的空間方向;其次確定視軸,論文沒有直接估計(jì)光軸和視軸偏差角Kappa,而是通過標(biāo)定一個(gè)3*3的旋轉(zhuǎn)矩陣M間接求得光軸和視軸的關(guān)系,以此確定視軸方向;最后通過計(jì)算得到視軸與屏幕的交點(diǎn),即注視點(diǎn)。

關(guān)鍵詞視線估計(jì); 立體視覺; 系統(tǒng)標(biāo)定; 視線落點(diǎn)

A Line of Sight Direction Three-dimensional Estimation Method

WANG Changyuan1WANG Li1TIAN Baojie2XUE Pengxiang3

(1. College of Computer Science and Engineering, Xi’an Technology University, Xi’an710021)

(2. Military Agent’s Room ZongCan the Aviation Department in Xi’an Area, Xi’an710065)

(3. Faculty of Science, Xi’an University of Technology, Xi’an710021)

AbstractIn order to get high-performance gaze direction, a kind of 3D view estimating method is put forward based on double cameras and double light source, the purpose is to overcome the natural head moving large cases eye estimation accuracy. a method completely depended on the space geometry calculation is proposed to realize the user view point operation. Firstly, the camera is calibrated, and then the calibration of the camera is used to the three-dimensional position of display screen and a light source for calibration. Because of the corneal curvature center and the pupil center on the same axis, so the space of the optical axis direction is calculated by the corneal curvature center and the virtual pupil center to get. Secondly the visual axis is determined, the article does not directly estimation deviation angle of optical axis and visual axisof Kappa, But by rotation matrix of a 3*3Mindirectly obtained the relationship between the optical axis andvisual axis, to determine the visual axis direction. Finally through calculation the intersection of the visual axis and screen, the fixation point is gotten.

Key Wordsthe line of sight estimation, stereo vision, system calibration, the line of sight point

Class NumberTN911.23

1引言

視線追蹤是利用機(jī)械、電子、光學(xué)等各種檢測手段獲取受試者當(dāng)前注視方向的技術(shù)。按照系統(tǒng)構(gòu)成和采用的檢測方法可以粗略劃分為侵入式和非侵入式兩種。

在人機(jī)交互和疾病診斷[1]兩個(gè)領(lǐng)域有著廣泛的應(yīng)用,如助殘、虛擬現(xiàn)實(shí)、認(rèn)知障礙診斷、車輛輔助駕駛、人因分析等。隨著數(shù)字化技術(shù)、計(jì)算機(jī)視覺、人工智能技術(shù)的迅速發(fā)展,基于數(shù)字視頻分析(VideoOculographic,VOG)的非侵入式視線追蹤技術(shù)[2]成為當(dāng)前熱點(diǎn)研究方向。VOG系統(tǒng)普遍使用瞳孔角膜反射方法(The Pupil Center Cornea Reflection Technique,PCCR),采用紅外光源產(chǎn)生角膜反射,通過計(jì)算瞳孔中心與角膜反射之間的向量來估計(jì)視線方向。視線估計(jì)模型可以采用映射模型(通常為非線性多項(xiàng)式模型),也可以采用幾何模型。即基于二維映射模型的視線估計(jì)方法和直接的三維視線估計(jì)方法。

基于二維映射模型的視線估計(jì)方法[3~4],通過一個(gè)經(jīng)過校準(zhǔn)的視線映射函數(shù)來估計(jì)視線方向,映射函數(shù)的輸入是從眼睛圖像提取的一系列二維眼動特征,輸出是視線方向或注視點(diǎn)。二維視線估計(jì)方法有以下幾個(gè)缺點(diǎn): 1) 二維視線估計(jì)依賴于標(biāo)定位置,視線估計(jì)的精度隨著使用者頭部遠(yuǎn)離標(biāo)定位置而迅速下降,所以使用者需要保持頭部靜止; 2) 需要依靠標(biāo)定確定眼睛特征參數(shù)與視線的映射函數(shù),所以標(biāo)定點(diǎn)數(shù)較多。對于直接的三維視線估計(jì)方法[5~6],首先要估計(jì)三維的視線方向,然后通過視線方向和屏幕的交點(diǎn)即可得到盯視點(diǎn)。目前基本上使用一個(gè)或兩個(gè)攝像機(jī)配合多個(gè)光源來估計(jì)三維視線。首先重建眼睛的光軸。隨后通過一個(gè)校準(zhǔn)過程用已知的光軸得到視軸。通過比較分析了多個(gè)系統(tǒng)的不同,理論上得出了三維視線估計(jì)的系統(tǒng)最少配置,一個(gè)攝像機(jī)和兩個(gè)光源配以及一些使用者眼睛的獨(dú)立參數(shù),或是不用參數(shù)情況下使用兩個(gè)攝像機(jī)和兩個(gè)光源。用一個(gè)攝像機(jī)和兩個(gè)光源實(shí)現(xiàn)了一個(gè)視線估計(jì)系統(tǒng)[7],并實(shí)驗(yàn)驗(yàn)證了準(zhǔn)確性。與雙攝像機(jī)直接估計(jì)視線的系統(tǒng)相比,單攝像機(jī)代表了一種重要的簡化,但是這種方法不能適應(yīng)頭動較大的情況。

綜上所述,現(xiàn)存的三維視線估計(jì)方法中,要么需要關(guān)于用戶眼球參數(shù)的獨(dú)立信息,要么需要至少兩攝像機(jī)和兩個(gè)光源的硬件配置。否則就不能解決頭動問題[8]。

但是使用者眼球的獨(dú)立信息,如角膜半徑和瞳孔與角膜中心的距離,是非常小的(一般小于10mm)。在不借助其它儀器的情況下,準(zhǔn)確的間接估計(jì)眼球獨(dú)立參數(shù)很難實(shí)現(xiàn)。即使采用一個(gè)攝像機(jī)和兩個(gè)光源配以使用者眼睛獨(dú)立參數(shù)的方案,在系統(tǒng)標(biāo)定過程中也要使用至少兩個(gè)攝像機(jī)。另外,因?yàn)樾枰烙?jì)角膜曲率中心的空間位置,而角膜曲率中心不可見,需要至少兩個(gè)光源的像去估計(jì)角膜曲率中心的空間位置。所以,兩個(gè)攝像機(jī)和兩個(gè)光源是高性能視線估計(jì)的基本硬件配置。

2系統(tǒng)設(shè)計(jì)方法

2.1視線估計(jì)

本文提出一種基于三維視覺的視線估計(jì)方法[9],包括系統(tǒng)標(biāo)定,眼球光軸與視線估計(jì),用戶標(biāo)定。

2.1.1系統(tǒng)標(biāo)定

系統(tǒng)標(biāo)定首先進(jìn)行攝像機(jī)標(biāo)定[10],本文采用的方法,將事先制作好的棋盤表格標(biāo)定板置于利用兩部相機(jī)構(gòu)造的雙目攝像系統(tǒng)前,轉(zhuǎn)動棋盤表格標(biāo)定板,拍攝得到多組棋盤標(biāo)定板圖像,并且對圖像的角點(diǎn)進(jìn)行提取,如果所有角點(diǎn)提取成功,將其按照一定的順序連接起來,通過計(jì)算像點(diǎn)與模板特征點(diǎn)間的關(guān)系來得到攝像機(jī)的內(nèi)外參數(shù)。然后,利用已標(biāo)定的攝像機(jī)對顯示器屏幕和光源的三維位置進(jìn)行標(biāo)定。由于屏幕和光源在攝像機(jī)的后方,不在攝像機(jī)視場范圍內(nèi),本文采用輔助平面鏡的方式進(jìn)行屏幕和光源標(biāo)定。通過拍攝帶有棋盤格的平面鏡,可以得到重建后的平面鏡三維位置。另一方面,通過平面鏡中反射的帶棋盤格的屏幕的像和光源的像,可以得到重建后的屏幕和光源的像的三維位置。最后,根據(jù)平面鏡的三維位置和像的三維位置,可以求出真實(shí)的屏幕和光源在空間中的三維位置。

2.1.2眼球光軸的確立

1) 角膜曲率中心

針對凸透鏡的特性顯示,當(dāng)入射光線延凸透鏡的曲率中心垂直入射時(shí),光線會沿入射路線反射回去。因此,光源K1,虛圖像P1和角膜曲率中心O在同一直線K1P1O上。同理,另一個(gè)光源K2和它的虛圖像P2及角膜曲率中心O就是在另一直線K2P2O上。直線K1P1和直線K2P2會交于O,那么交點(diǎn)O就是角膜曲率中心。如果兩條直線異面(由于誤差不完全相交),那么求出公垂線,公垂線的中心O就是角膜曲率中心。具體方法是先將K1P1和K2P2寫成兩點(diǎn)式,即

(1)

(2)

為了使式子簡化,設(shè)

則帶入式(1)、式(2)中得:

(3)

(4)

設(shè)公垂線與兩直線的交點(diǎn)M1和M2分別是

因?yàn)镸1M2⊥K1P1和M1M2⊥K2P2,則有(x,y,z)·(A1,B1,C1)=0和(x,y,z)·(A2,B2,C2)=0,即

解得t1,t2;則M1,M2可求。中點(diǎn)為

z中=(z1+z2)/2

2) 虛瞳孔中心

由于虛瞳孔的位置獨(dú)立于攝像機(jī)的位置,所以在給定的兩幅圖像中有同樣的虛瞳孔。相機(jī)獲取到的眼睛圖像中的瞳孔是真實(shí)瞳孔經(jīng)過角膜折射后形成的虛像。使用者注視屏幕,由CCD攝像機(jī)獲取人臉圖像,通過圖像采集卡傳送到主機(jī),主機(jī)通過特征參數(shù)提取和視線映射函數(shù)來得到視線落點(diǎn),顯示在屏幕上。本文通過立體視覺空間三角測量可以估計(jì)得到虛瞳孔的空間位置。

圖1　瞳孔與光軸光路圖

令m1與m2為虛瞳孔中心P0在立體攝像機(jī)中的像,則P0可以通過直線m1o1與m2o2求交獲得,(O1和O2是攝像機(jī)中心)公式為

最后連接角膜球面中心O和瞳孔中心虛像P0,直線P0O就是眼球光軸;根據(jù)用戶標(biāo)定結(jié)果,利用光軸P0O和補(bǔ)償角,得到視線方向PO(計(jì)算視軸與屏幕交點(diǎn)即視線注視點(diǎn))。

2.1.3根據(jù)用戶標(biāo)定,確立視軸

當(dāng)用戶注視屏幕的已知點(diǎn)S時(shí),這個(gè)點(diǎn)的空間坐標(biāo)可以通過屏幕標(biāo)定和標(biāo)系轉(zhuǎn)換得到。視軸和光軸的關(guān)系可表示為

(5)

(6)

由于旋轉(zhuǎn)矩陣M是標(biāo)準(zhǔn)正交的矩陣,所以式(5)可變?yōu)?/p>

(7)

2.1.4視線注視點(diǎn)的確立

視線注視點(diǎn)就是計(jì)算視軸與屏幕交點(diǎn)。本文具體方法如下:已知視線方向直線OP和平面方程A1x+B1y+C1z+D1=0。將OP寫成兩點(diǎn)式:

設(shè)p·x-o·x=L1,p·y-o·y=L2,p·z-o·z=L3,則

設(shè)直線與屏幕得交點(diǎn)Q為

因?yàn)榻稽c(diǎn)Q在平面上,所以符合平面方程,帶入平面方程,則有:

A1(o·x+L1t)+B1(o·y+L2t)

+C1(o·z+L3t)+D1=0

解得

那么交點(diǎn)Q可求。

3結(jié)語

本文通過建立雙攝像機(jī)雙光源視線方向估計(jì)方法,很好地克服了自然頭動下視線落點(diǎn)精度計(jì)算問題。首先對攝像機(jī)進(jìn)行標(biāo)定,然后利用已標(biāo)定的攝像機(jī)再對顯示器屏幕和光源的三維位置進(jìn)行標(biāo)定;所以通過計(jì)算得到角膜曲率中心和虛瞳孔中心來確定光軸的空間方向;其次確定視軸,本文是通過標(biāo)定一個(gè)3*3的旋轉(zhuǎn)矩陣M間接求得光軸和視軸的關(guān)系,以此確定視軸方向;最后通過計(jì)算得到視軸與屏幕的交點(diǎn),即注視點(diǎn)。在雙目攝像機(jī)的共同視野范圍內(nèi),頭部可以自由移動。視線估計(jì)精度較其它三維視線跟蹤方法較高。

參 考 文 獻(xiàn)

[1] T Duchowski. Eye Tracking Methodology: Theory and Practice[M]. New York: Springer-Verlag,2003.

[2] Ruian Liu, Xin Zhou, Nailin Wang. Adaptive regulation of CCDcamera in eye gaze tracking system[C]//Proceedings of the 2009 2nd International Congress on Image and Signal Processing(S978-1-4244-4129-7), Tianjin, China. USA: IEEE,2009:1-4.

[3] Zhu Z, JiQ. Eye and gaze tracking for interactivegraphicdisplay[J]. Machine Vision and Applications,2004,15(3):139-148.

[4] Morimoto H, Mimica M. Eye gaze tracking techniques forinteractive applications[J]. Computer Vision and Image Understanding, Special Issueon Eye Detection and Tracking,2005,98(1):4-24.

[5] Beymer D, Flickner M. Eyegaze tracking usinganactivestereo head[C]//Proceedings of the IEEE Computer Society Conference on Com puter Vision and Pattern Recognition. Madison, Wiscons in, USA,2003:451-458.

[6] Shih S W, Liu J. A novel approach to 3D gaze trackingusing stereo cameras[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics,2004,34(1):234-245.

[7] H Morimoto, A Amir, M Flickner. Detecting eye position andgaze froma single camera and light sources[C]//Proc ICPR. Washington, DC, USA: IEEE Press,2002:314-317.

[8] D. Guestrin, M Eizenman. General theory of remote gaze est-imation using the pupil center and corneal reflections[J]. IEEE Trans Biomed Eng,2006,53(6):1124-1133.

[9] 張闖,遲健男,張朝暉,等.一種基于立體視覺的視線估計(jì)方法[J].電子學(xué)報(bào),2010,38(5):1008-1013.

ZHANG Chuang, CHI Jiannan, ZHANG Zhaohui, et al. A line of sight to estimate method based on stereo vision[J]. Electronic Journals,2010,38(5):1008-1013.

[10] 全厚德,閆守成,張洪才.計(jì)算機(jī)視覺中攝像機(jī)標(biāo)定精度評估方法[J].測繪科學(xué)技術(shù)學(xué)報(bào),2006,23(3):222-224.

QUAN Houde, YAN Shouchen, ZHANG Hongcai. Camera calibration precision evaluation method in computer vision[J]. Journal of Surveying and Mapping Science and Technology,2006,23(3):222-224.

[11] Chen J, Tong Y, Gray W, et al. A robust 3D eye gaze tracking system using noise reduction[C]//Proc. of Eye Tracking Research & Applications Symp,2008:189-196.

中圖分類號TN911.23

DOI:10.3969/j.issn.1672-9722.2016.03.031

作者簡介:王長元,男,博士,教授,研究方向:模式識別與圖像處理。王莉,女,碩士研究生,研究方向:模式識別與圖像處理。田寶杰,男,碩士,高級工程師,研究方向:光電測試技術(shù)。薛鵬翔,男,碩士,講師,研究方向:模式識別與圖像處理。

收稿日期:2015年9月11日,修回日期:2015年10月25日