基于視線追蹤的眼控鼠標(biāo)設(shè)計(jì)*

朱麒文，閆隆鑫，張若蘭，張帥，楊蘭蘭

（東南大學(xué)電子科學(xué)與工程學(xué)院，南京210096）

基于視線追蹤的眼控鼠標(biāo)設(shè)計(jì)*

朱麒文，閆隆鑫，張若蘭，張帥，楊蘭蘭*

（東南大學(xué)電子科學(xué)與工程學(xué)院，南京210096）

以Visual Studio為平臺(tái)，OpenCV計(jì)算機(jī)視覺庫為基礎(chǔ)，輔助以單片機(jī)、傳感器、無線傳輸模塊等自主研發(fā)了一套頭戴式視線追蹤系統(tǒng)，完成瞳孔提取、視線追蹤定位、眨眼檢測等功能，實(shí)現(xiàn)眼球替代鼠標(biāo)完成對電腦的指令。創(chuàng)新性地提出了橢圓擬合與積分投影去噪法等方法，以消除頭部微小移動(dòng)對定位帶來的影響，使系統(tǒng)具有高的精確度和良好的實(shí)用價(jià)值。

信息處理技術(shù)；眼控鼠標(biāo)；視線追蹤技術(shù)；瞳孔提??；圖像處理；opencv

信息加工在很大程度上依賴于視覺，約有80%～90%的外界信息是通過人的眼睛獲得的，人的視線具有直接性、自然性和雙向性等其它信息所無法具備的特點(diǎn)。1901年，Dodge和Cline開發(fā)出第一臺(tái)精確的、非強(qiáng)迫式的眼追蹤設(shè)備［1］。目前，視線跟蹤技術(shù)逐步成熟，應(yīng)用廣泛。主要應(yīng)用于圖片、廣告研究（網(wǎng)頁評(píng)估、設(shè)計(jì)評(píng)估等）、動(dòng)態(tài)分析（航空航天相關(guān)領(lǐng)域、體育運(yùn)動(dòng)、汽車、飛機(jī)駕駛、打字動(dòng)作分析等）、產(chǎn)品測試（廣告測試、網(wǎng)頁測試、產(chǎn)品可用性測試等）、場景研究（商場購物、店鋪裝潢、家居環(huán)境等）和人機(jī)交互等各種領(lǐng)域［2］。

1　視線追蹤技術(shù)簡介及本項(xiàng)目創(chuàng)新之處

視線追蹤裝置按照探測器是否與人體接觸分為兩大類：接觸式和非接觸式。［3～4］二者相比較而言，非接觸式眼控鼠標(biāo)較接觸式系統(tǒng)更容易為使用者所接受，并且也能避免直接接觸可能帶來的物理傷害。而各類方法之間在應(yīng)用背景、帶寬、精度、抗干擾能力等各項(xiàng)指標(biāo)上存在較大差異，其中值得一提的是光學(xué)眼球追蹤法是通過攝像設(shè)備系統(tǒng)獲取眼部圖像信息，利用圖形圖像學(xué)原理定位眼部特征信息（例如瞳孔，內(nèi)外眼角等），通過對比前后獲取的眼部特征信息來分析眼球移動(dòng)的方向、趨勢等。隨著近年來計(jì)算機(jī)處理能力的提升，處理算法優(yōu)化以及圖像處理學(xué)的飛速發(fā)展等因素，該方法越來越收到國內(nèi)外學(xué)者的重視。

本文基于光學(xué)眼球追蹤法研制了一套完整的眼控鼠標(biāo)系統(tǒng)，相比于目前已經(jīng)存在的眼控鼠標(biāo)系統(tǒng)，本設(shè)計(jì)創(chuàng)新之處如下：

（1）構(gòu)建了一套系統(tǒng)支架結(jié)構(gòu)，可以通過各個(gè)關(guān)節(jié)處的調(diào)節(jié)裝置，保證各個(gè)檢測環(huán)節(jié)的準(zhǔn)確性。

（2）提出了一套瞳孔周邊噪點(diǎn)去除方案，有效去除了瞳孔周圍諸如睫毛等干擾點(diǎn)的影響。

（3）提出了一套瞳孔輪廓提取算法，通過曲率計(jì)算，圖像處理等方法準(zhǔn)確提取出瞳孔輪廓。

（4）提出了一套瞳孔坐標(biāo)與電腦鼠標(biāo)坐標(biāo)二者的映射算法，保證鼠標(biāo)坐標(biāo)映射精度。

（5）提出了一種鼠標(biāo)單雙擊檢測與執(zhí)行算法。

2　視線追蹤系統(tǒng)的構(gòu)建

2.1系統(tǒng)原理

在本設(shè)計(jì)中，通過攝像頭采集人眼瞳孔的圖像，經(jīng)過相關(guān)的圖像處理算法，實(shí)現(xiàn)瞳孔輪廓的捕捉和提取，同時(shí)將其傳輸至PC端使用相應(yīng)的算法對提取出的瞳孔輪廓進(jìn)行處理，進(jìn)行視線注意點(diǎn)到顯示器屏幕坐標(biāo)點(diǎn)的映射，從而實(shí)現(xiàn)對視線的追蹤；此外，輔助以接近傳感器和單片機(jī)來完成眨眼的檢測，實(shí)現(xiàn)對應(yīng)的鼠標(biāo)單雙擊的行為。

其具體硬件實(shí)施方案流程如圖1所示。

圖1　項(xiàng)目硬件實(shí)施方案流程圖

2.2硬件系統(tǒng)的選擇

硬件系統(tǒng)主要適用于室內(nèi)環(huán)境下頭戴式視線追蹤系統(tǒng)對人眼注視點(diǎn)的追蹤和眨眼反映的檢測，以視頻圖像為實(shí)行分析和檢測的基礎(chǔ)。硬件部分包括30萬像素的CMOS攝像頭傳感器，配以21°窄角鏡頭、850 nm紅外濾光片、6個(gè)紅外LED進(jìn)行用戶眼部圖像的采集；另外采用TCRT5000紅外反射式接近傳感器進(jìn)行眨眼行為的檢測，并通過藍(lán)牙完成于PC的通信。

2.3硬件系統(tǒng)構(gòu)建

硬件系統(tǒng)由主體頭套部分、瞳孔圖像采集部分支架、眨眼動(dòng)作檢測部分支架、系帶固定部分構(gòu)成，如圖2所示，以上所述各部分依次對應(yīng)圖中1、2、3、4。

其中主體頭套部分，整體呈弧形以與用戶的前額貼合，且在兩側(cè)有系帶固定部分的設(shè)計(jì)，通過在系帶固定部分上系帶固定在用戶的頭部，且在靠中間部位與瞳孔圖像采集部分支架相連，在兩側(cè)分別連接有一個(gè)眨眼動(dòng)作檢測部分支架。

圖2　項(xiàng)目支架系統(tǒng)效果圖

瞳孔圖像采集部分支架，其關(guān)節(jié)處可以在XYZ 3個(gè)平面內(nèi)旋轉(zhuǎn)調(diào)整角度，且與主體頭套部分連接的主支臂可以自由調(diào)節(jié)長度，另一支臂上裝有滑塊用于固定采集人眼瞳孔圖像的ccd攝像頭。

眨眼動(dòng)作檢測部分支架，其關(guān)節(jié)處可以在XYZ 3個(gè)平面上旋轉(zhuǎn)調(diào)整角度，且支臂上裝有滑塊用于固定檢測眨眼動(dòng)作的接近傳感器。

在使用時(shí)，先將主體頭套部分通過綁帶固定在前額上，再運(yùn)行眼控鼠標(biāo)配套的軟件，運(yùn)行之后將在電腦屏幕上顯示攝像頭實(shí)時(shí)采集的圖像，用于配合調(diào)節(jié)瞳孔圖像采集部分支架的長度和角度，以便讓用戶的眼睛部位完全被攝像頭采集到，避免對計(jì)算機(jī)圖像處理過程造成干擾，以及調(diào)節(jié)眨眼動(dòng)作檢測部分支架的角度，和固定在上面的傳感器的方向和位置。多角度和長度調(diào)節(jié)的設(shè)置使得硬件系統(tǒng)能適用于更多具有不同面部特征的用戶。

3　瞳孔提取算法

通常情形下，瞳孔中心與眼部注視點(diǎn)是相對應(yīng)的。自視線追蹤技術(shù)被提出以來，瞳孔提取算法已經(jīng)不再拘泥于Hough變換等常見算法，今年來也提出了大量的新算法，如基于卡爾曼濾波和均值漂移的瞳孔跟蹤方法［3］、分級(jí)瞳孔定位算法［7］、基于Hough變換和梯度信息的人眼視線方向估計(jì)［8］、通過分析光斑和瞳孔中心確定注視點(diǎn)的算法［9］、基于直方圖和像素灰度對瞳孔中心點(diǎn)的判斷［10］。

對于瞳孔輪廓及中心的提取，介于各類噪點(diǎn)（睫毛噪點(diǎn)、傳感器精度影響、信號(hào)噪聲、環(huán)境噪聲等［11］）對結(jié)果可能產(chǎn)生的諸多影響，首先對圖像進(jìn)行去噪處理。為了消除噪點(diǎn)對尋找瞳孔輪廓的影響，本設(shè)計(jì)創(chuàng)新性的提出了一種去除噪點(diǎn)的方法，以消除瞳孔區(qū)域以外部分所存在的噪點(diǎn)對定位的精度產(chǎn)生影響。

關(guān)于瞳孔提取算法已有設(shè)計(jì)在OpenGL下實(shí)現(xiàn)［12］，而本設(shè)計(jì)使用的瞳孔提取算法在基于Opencv開源庫下的visual studio下實(shí)行［5-6］，能夠在圖像清晰度相對較低的情況下，不需要移除角膜反射亮斑并且不做任何圖像前期處理的情況下，精確地檢測出瞳孔，具體實(shí)施方案如下：對于攝像頭所捕捉到的圖像，必然會(huì)存在有睫毛等噪點(diǎn)，使得對二值化后的圖像處理難度加大，如圖3所示。

圖3　攝像頭捕捉的及二值化處理后圖像

對此，提出一套噪點(diǎn)去除算法，對眼球圖像的ROI區(qū)域進(jìn)行X，Y方向的積分投影如圖4所示。

圖4　眼球圖像的ROI區(qū)域分別在X，Y方向積分投影圖

在圖4中，X，Y方向上均存在峰值，以峰值坐標(biāo)O：（X0，Y0）為中心，以步長3向一側(cè)遞減并按照由中心向兩側(cè)的掃描方法尋找左右跳變點(diǎn)即改行瞳孔左右邊界，累計(jì)尋找3組，分別記為

具體取點(diǎn)方式如圖5所示。

圖5　瞳孔圖像取點(diǎn)示意圖

參照橢圓一般方程：

圖6　求得的瞳孔最匹配橢圓示意圖

通過該算法，可以有效的消除瞳孔周圍噪點(diǎn)的影響，同時(shí)可以注意到角膜反射的亮斑使得瞳孔不再是一個(gè)完整的圓形，將會(huì)對后期的瞳孔邊緣檢測產(chǎn)生一定影響，此處采用計(jì)算瞳孔輪廓上各點(diǎn)的曲率，并進(jìn)行相應(yīng)的填補(bǔ)，以保證瞳孔輪廓的完整性。

圖7　光斑處理前后對比圖

對于處理后的圖像，通過濾波等算法后對圖像進(jìn)行輪廓提取，而后使用最佳匹配圓擬合算法，完成瞳孔中心及輪廓的提取。

圖8　最終提取的瞳孔輪廓

4　視線追蹤及映射算法

4.1問題分析

要實(shí)現(xiàn)通過一只眼睛控制鼠標(biāo)在電腦屏幕上移動(dòng)的目的，可以通過兩種方式：根據(jù)瞳孔中心的相對位移控制鼠標(biāo)的移動(dòng)或者建立瞳孔中心位置與鼠標(biāo)在屏幕位置的固定映射函數(shù)。

若通過相對位移控制鼠標(biāo)，為消除控制過程中產(chǎn)生的誤差累積，必須建立閉環(huán)的控制系統(tǒng)，結(jié)構(gòu)相對比較復(fù)雜。

若通過瞳孔中心位置與鼠標(biāo)在屏幕位置的映射函數(shù)來直接控制鼠標(biāo)的位置，控制的精度唯一決定于映射函數(shù)的準(zhǔn)確性。屬于開環(huán)的控制系統(tǒng)，結(jié)構(gòu)相對簡單。

相比之下，建立映射函數(shù)的控制方法，原理簡單，更易實(shí)現(xiàn)。

4.2模型建立

眼睛在注視屏幕上的點(diǎn)時(shí)，瞳孔中心的位置與屏幕上的點(diǎn)存在某種一一映射的關(guān)系。這種映射關(guān)系取決于觀察者眼睛相對屏幕的位置、眼睛的結(jié)構(gòu)、視力水平、屏幕的大小等多方面的因素，它可以通過統(tǒng)計(jì)的方法精確建立，但是必然需要大量采樣，效率鉸低。綜合考慮效率和精度，映射關(guān)系可以根據(jù)少量采樣點(diǎn)通過函數(shù)擬合模型進(jìn)行確立。

假設(shè)瞳孔在攝像頭采集的圖像中的坐標(biāo)為（x，y），鼠標(biāo)在屏幕中的坐標(biāo)為（X，Y），則一定存在某種映射關(guān)系f（x，y），g（x，y），使得X=f（x，y），Y=g（x，y）?？紤]到f（x，y），g（x，y）的具體表達(dá)式難以確定，故使用其一定階數(shù)的Taylor展開式在一定精度范圍內(nèi)進(jìn)行代替。

若函數(shù)f（x，y）在點(diǎn)P（a，b）的鄰域G存在n+1階連續(xù)的偏導(dǎo)數(shù)，根據(jù)二元函數(shù)n階Taylor公式，則?Q（a+h，b+k）∈G，有：

圖9　屏幕上的9個(gè)樣點(diǎn)

圖10　瞳孔中心的位置

取屏幕的9個(gè)等分點(diǎn)作為目標(biāo)樣點(diǎn)（圖9），記錄瞳孔注視這9個(gè)點(diǎn)時(shí)在眼部圖形中的位置（圖10）。由圖可以推斷，在瞳孔中心到屏幕點(diǎn)的映射中線性映射中，線性映射占主要部分，故可以取到Taylor展開的二階項(xiàng)，作為對誤差的補(bǔ)償。取2階的Maclaurin展式：

其中，R2為2階Langrange余項(xiàng)，也是用二階多項(xiàng)式替代（fx，y）的誤差項(xiàng)。

同理：

式（1）、式（2）中的參數(shù)，可以通過線性最小二乘法進(jìn)行確定。

4.3模型求解

若用二階多項(xiàng)式代替（fx，y），g（x，y），則得到如下目標(biāo)函數(shù)：

（X，Y），（x，y）可以分別通過采集鼠標(biāo)在屏幕上、瞳孔在攝像頭圖像中的獲得，故我們?nèi)⑵聊坏确值?個(gè)點(diǎn)（Xi，Y）i作為目標(biāo)點(diǎn)（見圖9），眼睛注視這九個(gè)點(diǎn)，分別獲取九組瞳孔坐標(biāo)（xi，y）i（i=1，2，3…9）。

使用線性最小二乘法，計(jì)算兩組共12個(gè)系數(shù)的值［13］，記：

解

式（5）往往只有唯一解，其解u即為要求的系數(shù)值。

4.4模型改進(jìn)

（1）增加目標(biāo)采樣點(diǎn)的個(gè)數(shù)

9個(gè)等分點(diǎn)，雖然覆蓋了屏幕中央的大部分區(qū)域，但在屏幕的邊緣區(qū)域，映射的非線性性體現(xiàn)的更加明顯。為提高函數(shù)的對非線性映射的響應(yīng)精度，可以在屏幕的邊緣附近增設(shè)采樣點(diǎn)。但這會(huì)影響在中央部分的線性映射的精度，需要綜合考慮。

（2）多次采集瞳孔坐標(biāo)

目前已有醫(yī)學(xué)研究證明，當(dāng)人類的眼睛凝視某一點(diǎn)時(shí)，眼球并不是一直保持不動(dòng)，而是會(huì)有輕微的顫動(dòng)，這些輕微的顫動(dòng)屬于不自覺的顫動(dòng)。因此，當(dāng)眼睛凝視某一點(diǎn)數(shù)秒時(shí)，眼睛的焦聚是屬于群聚的分布，而不是完全落于某一固定目標(biāo)。［3］

所以在采集瞳孔坐標(biāo)時(shí)，對于同一特征點(diǎn)可以采集多次，計(jì)算到這些樣本點(diǎn)距離最小的點(diǎn)作為瞳孔坐標(biāo)的實(shí)際使用坐標(biāo)，從而減少因?yàn)檠劬︻潉?dòng)而導(dǎo)致的誤差。

5　眨眼動(dòng)作檢測算法

對于眨眼動(dòng)作檢測，提出了兩種算法：圖像處理法，傳感器檢測法。

對于圖像處理法而言，眨眼時(shí)瞳孔區(qū)域的大小顯著小于非眨眼時(shí)瞳孔區(qū)域的大小，可據(jù)此判斷是否有眨眼。即通過判斷瞳孔半徑是否小于某個(gè)設(shè)定的閾值來檢測是否有眨眼事件發(fā)生。

該方法依然是基于圖像處理而言的，但此方法存在4個(gè)弊端，即：

（1）對于一幀圖像，前期的瞳孔提取算法已經(jīng)使用了較大的時(shí)間和內(nèi)存，眨眼檢測勢必也將會(huì)增加一定的圖像處理時(shí)間，使得圖像處理速度有所減慢，使得鼠標(biāo)移動(dòng)出現(xiàn)滯后現(xiàn)象。

（2）瞳孔的大小會(huì)隨著外界的光的強(qiáng)弱變化而變化，若突然出現(xiàn)強(qiáng)光，瞳孔大小會(huì)皺縮，使得瞳孔半徑縮小，若半徑小于設(shè)定的閾值，就會(huì)產(chǎn)生誤判，造成判斷錯(cuò)誤。

（3）人自然情況下依然會(huì)眨眼，使用圖像處理的辦法想要判處自然眨眼所帶來的影響難度較大。

（4）不同人的瞳孔并不相同，部分人可能出現(xiàn)自然狀態(tài)下瞳孔大小不同，同時(shí)當(dāng)人眼球向上看時(shí)，大部分眼球被眼皮包裹，露出的瞳孔半徑很小，也會(huì)將向上看時(shí)瞳孔的變化誤判為眨眼，造成判斷錯(cuò)誤。

基于以上諸多問題，本設(shè)計(jì)最終采用傳感器檢測的辦法，這里采用接近傳感器，其工作原理如下：人睜眼時(shí)會(huì)反射傳感器發(fā)射的紅外光，此時(shí)傳感器的輸出為低電平，當(dāng)人眨眼時(shí)，由于眼皮的反射能力較弱，此時(shí)傳感器的輸出將變?yōu)楦唠娖?，同時(shí)，眨眼的時(shí)間長短對應(yīng)于傳感器正脈寬的長短，至此解決了以上問題。

6　實(shí)驗(yàn)數(shù)據(jù)分析

6.1瞳孔中心-屏幕映射函數(shù)

使用屏幕分辨率為1366×768的筆記本電腦顯示屏作為實(shí)驗(yàn)對象，觀察者頭部位于距顯示屏水平約45 cm、豎直約40 cm的位置。屏幕上目標(biāo)采樣點(diǎn)為9個(gè)等分點(diǎn)（見圖9），記錄眼睛注視屏幕上目標(biāo)采樣點(diǎn)時(shí)，瞳孔中心的五組坐標(biāo)（見表1）。瞳孔中心在眼部圖形中的位置如圖11所示。

表1　瞳孔中心坐標(biāo)與對應(yīng)屏幕采樣點(diǎn)的坐標(biāo)

圖11　瞳孔中心在眼部圖像中的位置（截去不必要的部分）

分別采用一次多項(xiàng)式、二次不含交叉線的多項(xiàng)式和完全二次多項(xiàng)式對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行曲線擬合，結(jié)果如下。

表2中的自變量（x，y）區(qū)五組瞳孔中心坐標(biāo)的平均值，X=f（x，y）為瞳孔中心到屏幕點(diǎn)橫坐標(biāo)的映射函數(shù)，Y=g（x，y）為瞳孔中心到屏幕點(diǎn)縱坐標(biāo)的映射函數(shù)。R2是擬合優(yōu)度判定系數(shù)，反應(yīng)了回歸曲線對觀測值的擬合程度。

從以上實(shí)驗(yàn)結(jié)果中可以看出，線性函數(shù)可以解釋大部分瞳孔中心到屏幕上點(diǎn)的映射關(guān)系擬合優(yōu)度系數(shù)在0.9左右。引入二次項(xiàng)后，對擬合誤差有一定的補(bǔ)償效果，但幅度不大（擬合優(yōu)度系數(shù)提高了0.1～0.2）。引入交叉項(xiàng)之后，擬合精度有較大幅度的提高（0.4～0.6），對屏幕點(diǎn)橫縱坐標(biāo)的映射，擬合優(yōu)度均達(dá)到了0.95以上。

所以完全二次多項(xiàng)式，可以在較大的精度范圍作為瞳孔中心-屏幕映射函數(shù)使用。

表2　不同目標(biāo)函數(shù)的擬合結(jié)果

7　總結(jié)

本設(shè)計(jì)中探討的眼控鼠標(biāo)最終以較好的效果實(shí)現(xiàn)了視線方向的追蹤，進(jìn)而完成了鼠標(biāo)的定位，具有較強(qiáng)的穩(wěn)定性?？梢允谷嗽谑褂秒娔X的同時(shí)解放雙手做其他的事情或者放松，同時(shí)也在一定程度上避免了因使用鼠標(biāo)時(shí)機(jī)械固定的姿勢而引起的手腕或其他部位的疾病。此外，本設(shè)計(jì)中所涉及的視線追蹤技術(shù)在軍事、醫(yī)療、交通駕駛等方面也能夠被廣泛地利用。

但是改眼控鼠標(biāo)也有一定局限性，其所建立的瞳孔坐標(biāo)到屏幕坐標(biāo)的映射模型是以使用者的頭部保持不動(dòng)為前提的。在實(shí)際使用中，使用者的頭部必然會(huì)出現(xiàn)不可避免的移動(dòng)，頭部的移動(dòng)會(huì)使得模型得到的映射關(guān)系發(fā)生改變。在以后的研究中需要充分考慮頭部移動(dòng)對注視點(diǎn)估計(jì)的影響，引入頭部運(yùn)動(dòng)補(bǔ)償算法來解決這種影響。同時(shí)，在未來該項(xiàng)目可以融和平面顯示及語音控制功能，使得本項(xiàng)目更加完善。

［1］趙新燦，左洪福，任勇軍.眼動(dòng)儀與視線跟蹤技術(shù)綜述［J］.計(jì)算機(jī)工程與應(yīng)用，2006（12）：118-120.

［2］張昀，牟軒沁.視線跟蹤技術(shù)及基于MATLAB的眼動(dòng)人因?qū)嶒?yàn)開發(fā)和建模方法［J］.工業(yè)工程與管理，2014，19（2）：89-95.

［3］遲健男，王志良，張闖.視線追蹤［M］.北京：機(jī)械工業(yè)出版社，2011：23-41，125-162.

［4］卞鋒，江漫清，張紅.視線跟蹤技術(shù)及其應(yīng)用［J］.人類工效學(xué)，2009，15（1）：48-52.

［5］王福斌，李迎燕，劉杰.基于OpenCV的機(jī)器視覺圖像處理技術(shù)實(shí)現(xiàn)［J］.機(jī)械與電子，2010，2010（6）：54-57.

［6］方玫，喻擎蒼，李華強(qiáng).C++Builder下基于opencv的數(shù)字圖像處理［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2008，29（4）：882-884.

［7］蒲小勃，王月星，鄧宏平.視線跟蹤系統(tǒng)中的分級(jí)瞳孔定位算法［J］.航空學(xué)報(bào)，2012，33（6）：1052-1060.

［8］孫興華，陳國勇，趙春霞.基于Hough變換和梯度信息的人眼視線方向估計(jì)［J］.小型微型計(jì)算機(jī)系統(tǒng)，2007，28（6）：1124-1128.

［9］胡畔，董春鵬，吳曉榮.基于視線跟蹤技術(shù)的眼控鼠標(biāo)［J］.天津師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2007，27（3）：68-71.

［10］重慶市科學(xué)技術(shù)研究院.一種眼控鼠標(biāo)實(shí)現(xiàn)方法及系統(tǒng)［P］：中國，103176607A.2013-06-26.

［11］趙新燦，左洪福，徐興民.視線跟蹤技術(shù)研究［J］.光電工程，2007，34（10）：118-123.

［12］程建川，韓樣，葉丹.車輛模擬行駛中視線跟蹤技術(shù)的實(shí)現(xiàn)［J］.交通運(yùn)輸工程學(xué)報(bào)，2003，3（2）：113-116.

［13］陳恩水，王峰.數(shù)學(xué)建模與實(shí)驗(yàn)［M］.北京：科學(xué)出版社，2008：84-85.

朱麒文（1994-），男，漢族，東南大學(xué)電子科學(xué)與工程學(xué)院本科在讀，傳感網(wǎng)技術(shù)專業(yè)，zqw393@163.com；

閆隆鑫（1993-），男，漢族，東南大學(xué)電子科學(xué)與工程學(xué)院本科在讀，電子科學(xué)與技術(shù)專業(yè)，213123279@seu.edu.com；

張若蘭（1994-），女，漢族，東南大學(xué)電子科學(xué)與工程學(xué)院本科在讀，傳感網(wǎng)技術(shù)專業(yè)，lynx5120555@126.com；

張帥（1993-），男，漢族，東南大學(xué)電子科學(xué)與工程學(xué)院本科在讀，電子科學(xué)與技術(shù)專業(yè)，1198330917@qq.com；

楊蘭蘭（1978-），女，漢族，博士，副教授，東南大學(xué)電子科學(xué)與工程學(xué)院，研究方向?yàn)槲锢黼娮訉W(xué)、顯示科學(xué)與技術(shù)，jujube_yang@seu.edu.cn。

Design of Eye-Controlled Mouse Based on Eye Tracking Technology*

ZHU Qiwen，YAN Longxin，ZHANG Ruolan，ZHANG Shuai，YANG Lanlan*
（School of Electronic Science and Engineering，Southeast University，Nanjing 210096，China）

With the platform of Visual Studio，the basis of OpenCV computer vision library and the assistance of a MCU，sensors and wireless transmission modules，a head-mounted eye tracking system is built.The system accom?plished pupil extraction，eye tracking positioning，blinking detection and other functions which enabled eyes instead of mouse to complete computer instructions.Innovative methods have been presented：integral projection denoising，capturing the pupil center through ellipse fitting algorithm，etc.This series of methods eliminates the influence of slight movement of the head on positioning accuracy，endowing the system with high accuracy and practicality.

information processing technology；eye-controlled mouse；eye tracking technology；pupil extraction；im?age processing；opencv

R339.14

A

1005-9490（2016）02-0235-07

EEACC：7510D；6140C10.3969/j.issn.1005-9490.2016.02.001

項(xiàng)目來源：江蘇省高等學(xué)校大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目

2015-05-28修改日期：2015-07-04