人機交互系統(tǒng)的實時人眼跟蹤技術(shù)研究

馬衛(wèi)華

摘 ?要： 為了解決面向移動設(shè)備的眼動跟蹤技術(shù)存在的計算效率低、跟蹤誤差大等問題，采用改進眼動跟蹤技術(shù)的方法，開展人機交互系統(tǒng)的研究。主要內(nèi)容包含系統(tǒng)總體架構(gòu)、系統(tǒng)用戶登錄、系統(tǒng)功能實現(xiàn)等內(nèi)容設(shè)計，并對系統(tǒng)功能實現(xiàn)展開分析。研究結(jié)果表明，系統(tǒng)各功能及界面實現(xiàn)均滿足用戶要求，可用于指導(dǎo)新手用戶對重要信息的瀏覽，提升用戶理解效率。

關(guān)鍵詞： 人機交互; 人眼跟蹤技術(shù); 圖像處理; 移動設(shè)備; 眼動數(shù)據(jù); 標定

中圖分類號： TN911.73?34; TP314.8 ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）13?0065?04

Research on real?time human eye tracking technology for

human?computer interaction system

MA Weihua

（College of Computer Science and Engineering， Cangzhou Normal University， Cangzhou 061001， China）

Abstract： Since the eye movement tracking technology oriented to mobile devices has the problems of low computational efficiency and large tracking error， the improved eye movement tracking technology is proposed to carry out the research of human?computer interaction system. The main contents include the design of system overall architecture， system user login and system function realization， in which the system function realization is analyzed. The research results show that all functions and interface realization of the system meet the user requirements， and the system can be used to guide the novice users to browse the important information and improve the user understanding efficiency.

Keywords： human?computer interaction; human eye tracking technology; image processing; mobile device; eye movement data; calibration

0 ?引 ?言

隨著科學技術(shù)的迅速發(fā)展，各類智能設(shè)備逐漸融入廣大民眾生活的各個方面，它們的出現(xiàn)和應(yīng)用能大幅度提高人們的工作及其學習效率。雖然智能移動設(shè)備為居民日常生活帶來諸多便利，但也會出現(xiàn)一系列的問題。因此，如何高效率、安全應(yīng)用智能移動設(shè)備成為重要的問題。

依托眼動跟蹤技術(shù)設(shè)計的人機交互系統(tǒng)與傳統(tǒng)交互方法相比較，展現(xiàn)出更直接、高效等優(yōu)勢，從而順利實現(xiàn)所見即所得這一人機交互思想。在此基礎(chǔ)上，借助移動設(shè)備運用眼動跟蹤技術(shù)，采用視線注視點替代手工操作，全方面分析用戶的視覺注意力，從而更便捷地完成人機交互。但智能移動設(shè)備下的眼動跟蹤技術(shù)受到硬件配置的限制，例如：攝像頭分辨率、內(nèi)存等，還難以順利實現(xiàn)精確的眼動跟蹤，一般只是借助外部硬件設(shè)備支持，但這種情況又會加大成本。

因此，本文提出依托移動設(shè)備的眼動跟蹤方法，并研發(fā)與之對應(yīng)的人機交互系統(tǒng)，以期實現(xiàn)高效的眼動跟蹤。

1 ?系統(tǒng)整體架構(gòu)設(shè)計

本次研究中選取服務(wù)器?客戶端建立應(yīng)用原始系統(tǒng)，其網(wǎng)絡(luò)拓撲結(jié)構(gòu)如圖1所示。該系統(tǒng)中主要包含兩類設(shè)備：一類為服務(wù)器，其主要功能用于對用戶賬號、上傳及下載數(shù)據(jù)進行保存;另一類則是客戶端，用于計算、存儲用戶眼動數(shù)據(jù)并展現(xiàn)眼動數(shù)據(jù)可視化結(jié)果[1?2]。

所用智能移動設(shè)備大多都配置相應(yīng)的前置攝像頭，均采用本文所用方法實現(xiàn)眼動跟蹤。采用客戶端?服務(wù)器結(jié)構(gòu)能順利完成用戶之間的眼動數(shù)據(jù)分享。在用戶采用移動設(shè)備時，詳細記錄用戶的眼動數(shù)據(jù)，隨之完成眼動數(shù)據(jù)可視化結(jié)果分享，從而提升用戶瀏覽、理解視覺信息的水平[3?4]。

系統(tǒng)的總體架構(gòu)設(shè)計如圖2所示。共劃分為4個層次，其中，數(shù)據(jù)獲取層依托智能移動設(shè)備的前置攝像頭獲得用戶使用場景的具體步驟;核心計算層則是該系統(tǒng)視線眼動跟蹤計算過程，包含人眼檢測、特征值計算等;網(wǎng)絡(luò)傳輸層旨在完成客戶端和服務(wù)器之間的通信，客戶端依托網(wǎng)絡(luò)傳輸層完成登錄、上傳數(shù)據(jù)等操作;交互應(yīng)用層則是詳細記錄、分析可視化用戶瀏覽相關(guān)信息的眼動數(shù)據(jù)，最終通過眼動數(shù)據(jù)用于指導(dǎo)用戶獲得重要信息，提升交互信息傳遞水平[5?7]。

圖1 ?移動設(shè)備眼動跟蹤人際交互系統(tǒng)拓撲結(jié)構(gòu)

圖2 ?系統(tǒng)總體架構(gòu)設(shè)計

2 ?系統(tǒng)功能及界面實現(xiàn)

本文的應(yīng)用系統(tǒng)功能包含用戶登錄、眼動跟蹤數(shù)據(jù)實現(xiàn)等部分。面向人際交互設(shè)計的眼動跟蹤系統(tǒng)依托Java語言完成開發(fā)，開放工具主要為MyEclipse，Eclipse。其中，MyEclipse主要功能在于完成服務(wù)器開發(fā)工作;Eclipse旨在用來完成移動設(shè)備客戶端開發(fā)工作;服務(wù)器依托tomcat 7.0實現(xiàn)搭建，并完成數(shù)據(jù)存儲。

2.1 ?用戶登錄功能

為促使系統(tǒng)操作起來更方便、快捷，所設(shè)計的系統(tǒng)包含登錄界面布局和驗證服務(wù)器端設(shè)計兩個方面的內(nèi)容。設(shè)計登錄頁面時，要依據(jù)登錄具體流程實施布局，主要由用戶名、密碼等控件組成，使用者輸入自己的賬號及密碼后，進一步打開該類型用戶的操作和權(quán)限功能[8]。登錄模塊操作流程如圖3所示。

為確保所設(shè)計系統(tǒng)操作更方便，設(shè)計的系統(tǒng)登錄界面對不同角色保留一些相似之處，只存在部分視覺方面的差異。用戶輸入自己的賬號及密碼后，系統(tǒng)會自動判定用戶的身份類型，快速打開該類型用戶的操作權(quán)限[9]。普通用戶順利進入系統(tǒng)后，其具有的功能包括查閱相關(guān)信息;管理者登錄系統(tǒng)后，具有管理登錄用戶、公布相關(guān)信息等功能[10]。

圖3 ?用戶執(zhí)行登錄實現(xiàn)流程

2.2 ?系統(tǒng)功能實現(xiàn)

本次研究中利用標定實現(xiàn)移動設(shè)備的眼動跟蹤，隨之，挑選詳細的功能，完成瀏覽后，用戶方能有選擇的將眼動數(shù)據(jù)傳送至服務(wù)器，實現(xiàn)流程如圖4所示。

圖4 ?系統(tǒng)實現(xiàn)流程示意圖

借助該系統(tǒng)獲取的眼動數(shù)據(jù)均是大量抽象的坐標數(shù)據(jù)，如果直接把眼動數(shù)據(jù)展示給用戶，一般情況下用戶很難對其實施快速、直觀的理解和分析。因此，必須針對眼動數(shù)據(jù)展開分析，并直觀表示眼動數(shù)據(jù)特征，便于用戶理解。

本次研究把專家用戶的眼動數(shù)據(jù)可視化結(jié)果展示給用戶，用來指導(dǎo)新手用戶對重要信息完成瀏覽，提升用戶的理解效率。

具體步驟如下：

1） 對數(shù)據(jù)實施過濾處理。在求解眼動注視點過程中，因用戶頭部姿勢改變或環(huán)境突然發(fā)生變化、眼動跟蹤系統(tǒng)自身有一定的誤差，導(dǎo)致注視點計算結(jié)果也會發(fā)生誤差。這種情況下，比對那些明顯的錯誤數(shù)據(jù)實施過濾，本研究中對坐標位置超越用戶瀏覽邊界的數(shù)據(jù)進行刪除。

2） 繪制熱區(qū)圖。熱區(qū)圖代表用戶視線注意力累積分布狀況，也是最直接的表達方法。本研究中依托求解單個像素的透明度改變情況，并將鄰近像素間的影響考慮在內(nèi)，順利完成相應(yīng)的熱區(qū)圖繪制操作，單個像素透明度求解公式如下：

假設(shè)包含[n]個有待繪制的注視點，熱區(qū)圖中單個像素完成[i]個注視點繪制后的透明度為[Ti（i=1，2，…，n）]，[D]表示這個像素點至注視點之間的距離，[S]表示靈敏度，本研究中設(shè)置[S]為50。用戶注視比較多的區(qū)域更亮，而用戶注視少的區(qū)域比較暗，其效果如圖5所示。

圖5 ?熱區(qū)圖和AOI標記結(jié)果

3） 在熱區(qū)圖對感興趣的區(qū)域進行標記，代表該區(qū)域重復(fù)查看次數(shù)。這一步驟中，圖片內(nèi)的感興趣區(qū)域已實現(xiàn)好劃分，每一張圖片內(nèi)可以有多個感興趣區(qū)域，包含多種內(nèi)容區(qū)域。因用戶有時需要對整個圖片實施掃視，但這種行為并非用戶觀察某個細節(jié)的區(qū)域，因此，必須將那些短暫的視線停留數(shù)據(jù)排除在外。本次研究中連續(xù)設(shè)置4個以上的注視點落到同一個感興趣區(qū)域內(nèi)，認為用戶正在查看這一區(qū)域。在用戶進行視線切換時，視線會暫時離開感興趣區(qū)域的起始位置，并進行轉(zhuǎn)移，當用戶每一次切換視線，會對終點感興趣區(qū)域回看次數(shù)加1。完成所有感興趣區(qū)域回看次數(shù)統(tǒng)計工作，根據(jù)回看次數(shù)自高至低依次為紅、黃、綠三種標簽。

4） 最終，對感興趣區(qū)域間的視線轉(zhuǎn)換圖進行繪制，展現(xiàn)出不同感興趣區(qū)域之間的轉(zhuǎn)換關(guān)系。求解感興趣區(qū)域回看次數(shù)時，本次研究中詳細記錄各種感興趣區(qū)域間的轉(zhuǎn)換次數(shù)，并繪制相應(yīng)的視線轉(zhuǎn)換圖，展示各種感興趣區(qū)域的關(guān)系，如圖6所示。

圖6 ?感興趣區(qū)域間的視線轉(zhuǎn)換關(guān)系效果

2.3 ?系統(tǒng)界面實現(xiàn)

本次研究所設(shè)計的面向人機交互的眼動跟蹤系統(tǒng)，在云端創(chuàng)建相應(yīng)的服務(wù)器，用來存儲用戶信息及相關(guān)的眼動數(shù)據(jù)。

系統(tǒng)客戶端開啟界面就是用戶的登錄界面，在這個界面中，如果用戶并未注冊賬號，可通過鼠標點擊注冊按鈕，順利進入用戶的注冊界面，輸入相應(yīng)的用戶名、密碼，并根據(jù)自身身份完成注冊。如果用戶已有賬號，可利用準確的賬號和密碼完成登錄，順利進入系統(tǒng)主界面，如圖7所示。

圖7 ?系統(tǒng)主界面示意圖

在主界面內(nèi)，依托“+”“-”按鈕恰當調(diào)節(jié)人眼區(qū)域二值化閾值，點擊“二值圖”在屏幕右側(cè)展現(xiàn)人眼區(qū)域二值圖，如圖8所示。

在合理調(diào)節(jié)閾值后，通過點擊“標定”按鈕，對前置攝像頭所捕捉的圖像實施最小化處理，并對其完成標定處理。標定順利完成后，點擊屏幕中的任意一個位置就能返回至系統(tǒng)主界面，通過點擊瀏覽按鈕對圖片進行瀏覽操作。

圖8 ?二值圖顯示效果

3 ?結(jié) ?語

眼動跟蹤技術(shù)主要用來分析、記錄用戶注視點坐標，并在心理學、人機交互等方面得到廣泛的使用。本次研究中面向人機交互設(shè)計眼動跟蹤系統(tǒng)，在概述系統(tǒng)設(shè)計架構(gòu)的基礎(chǔ)上，對其用戶登錄、系統(tǒng)功能實現(xiàn)等展開設(shè)計，為類似研究提供一定的參考。

參考文獻

[1] 程時偉，孫志強，陸煜華，等.面向多設(shè)備交互的眼動跟蹤方法[J].計算機輔助設(shè)計與圖形學學報，2016，28（7）：1094?1104.

CHENG Shiwei， SUN Zhiqiang， LU Yuhua， et al. Eye tracking method for multi?device interaction [J]. Journal of computer?aided design and graphics， 2016， 28（7）： 1094?1104.

[2] 程時偉，蔡紅剛，曹斌，等.基于群智感知服務(wù)的眼動數(shù)據(jù)眾包計算[J].計算機集成制造系統(tǒng)，2017，23（5）：1103?1112.

CHENG Shiwei， CAI Honggang， CAO Bin， et al. Crowdsour?cing of eye movement data based on group intelligence perception service [J]. Computer integrated manufacturing systems， 2017， 23（5）： 1103?1112.

[3] 楊慶華，張達磊，荀一，等.面向人機交互的眼動跟蹤方法研究[J].機電工程，2016，33（7）：904?908.

YANG Qinghua， ZHANG Dalei， XUN Yi， et al. Research on eye tracking method for human?computer interaction [J]. Journal of mechanical & electrical engineering， 2016， 33（7）： 904?908.

[4] 程時偉，孫煜杰.面向閱讀教學的眼動數(shù)據(jù)可視化批注方法[J].浙江工業(yè)大學學報，2017，45（6）：610?614.

CHENG Shiwei， SUN Yujie. Visual annotation method of eye movement data for reading teaching [J]. Journal of Zhejiang University of Technology， 2017， 45（6）： 610?614.

[5] 王佳雯，管業(yè)鵬.基于人眼注視非穿戴自然人機交互[J].電子器件，2016，39（2）：253?257.

WANG Jiawen， GUAN Yepeng. Based on human eye gaze non?wearable natural human?computer interaction [J]. Electronic devices， 2016， 39（2）： 253?257.

[6] 潘世豪，趙新燦，王雅萍，等.人體自由運動狀態(tài)下的視線追蹤算法研究[J].計算機應(yīng)用研究，2017，34（3）：911?914.

PAN Shihao， ZHAO Xincan， WANG Yaping， et al. Research on eye tracking algorithm under human free movement [J]. Application research of computers， 2017， 34（3）： 911?914.

[7] 張遠輝，李顏，李孝祿，等.基于雙眼同步運動特征約束的Kalman瞳孔跟蹤算法[J].傳感技術(shù)學報，2018，31（1）：78?83.

ZHANG Yuanhui， LI Yan， LI Xiaolu， et al. Kalman pupil tracking algorithm based on binocular synchronous motion constraint [J]. Chinese journal of sensors and actuators， 2018， 31（1）： 78?83.

[8] 郭政業(yè)，胡雯薔，朱李瑾，等.基于眼球重建異面直線模型的雙目視線跟蹤算法[J].計算機應(yīng)用研究，2016，33（4）：1249?1252.

GUO Zhengye， HU Wenqiang， ZHU Lijin， et al. Binocular line?of?sight tracking algorithm based on eyeball reconstruction heteroplanar linear model [J]. Application research of computers， 2016， 33（4）： 1249?1252.

[9] 張琴.基于瞳孔定位技術(shù)的視覺跟蹤系統(tǒng)的研究[J].微型機與應(yīng)用，2016，35（4）：54?56.

ZHANG Qin. Research on visual tracking system based on pupil location technology [J]. Microcomputer and its applications， 2016， 35（4）： 54?56.

[10] 鄒云海，關(guān)蒲駿，楊波，等.基于FPGA與投影算法的快速眼動跟蹤系統(tǒng)實現(xiàn)[J].四川大學學報（工程科學版），2016，48（3）：100?106.

ZOU Yunhai， GUAN Pujun， YANG Bo， et al. Implementation of fast eye movement tracking system based on FPGA and projection algorithm [J]. Journal of Sichuan University （Engineering science edition）， 2016， 48（3）： 100?106.