人眼對標定界面的注視效果研究

白柯萌，王建中，王洪楓，張晟

(北京理工大學 機電學院，北京 100081)

眼動跟蹤技術(shù)在各個領(lǐng)域中的應(yīng)用越來越廣泛，尤其在無人武器的操控中，可實現(xiàn)看哪打哪[1-6]. 標定是眼動跟蹤技術(shù)的重要環(huán)節(jié)，一般通過人眼注視標定界面上的標定點建立對應(yīng)的視線估計映射函數(shù)來完成[7-8]. 標定界面作為一種人機交互的界面，界面中的不同特征因素對人眼有著不同的刺激，因此研究人眼對標定界面的注視效果也是眼動跟蹤技術(shù)的一大關(guān)鍵.

Wooding[9]于 2002 年建立的眼動儀數(shù)據(jù)庫網(wǎng)站，根據(jù)網(wǎng)站統(tǒng)計結(jié)果，目前世界上共有約 44 家眼動儀研發(fā)與生產(chǎn)單位，對于眼動跟蹤的標定都采用了不同的標定界面. 包括對屏幕的4個頂點進行標定[10]，注視屏幕上顯示的3×3分布的9點標定點完成標定[11-13]，注視屏幕中間固定的一點進行標定[14]，利用共面4彩色標定點分布在屏幕中作為標定界面進行眼動跟蹤的標定[15]，注視屏幕上3×5分布的15個標定點進行標定[16]，注視5×5分布的25個標定點進行標定[17-19]. 其中，文獻[14-15,18-19]使用“+”型標定點，標定界面的背景顏色有黑色、白色、灰色等，標定點顏色有白色、黑色、藍色等，文獻[16-17]使用標定界面背景顏色為白色，“?”型黑色標定點.

上述研究的眼動跟蹤標定界面的背景顏色有黑色、白色、灰色等，標定點顏色有四彩色、白色、黑色等，標定點形狀有“+”、“?”等，未對標定界面的特征統(tǒng)一規(guī)定. 人機交互界面中的顏色、形狀、大小等特征對人的視覺生理有著不同的刺激和影響[20-22]，標定界面的顏色、形狀、大小等特征對人眼都有著不同影響. 因此，本文研究人眼對不同標定界面的注視效果，設(shè)計不同的標定界面，包括背景及標定點顏色、標定點形狀、標定點大小. 利用混合加權(quán)特征對人眼檢測[23]和最小二乘回歸的方法建立視線估計映射模型進行標定[24]和注視測試，以注視準確度和精密度表示注視結(jié)果，計算不同標定界面的注視準確度和精密度[25]，并進行對比分析選出最佳標定界面.

1 標定界面與實驗系統(tǒng)

1.1 標定界面的設(shè)計

不同的顏色對人的視覺生理器官的刺激不同，產(chǎn)生色彩心理反應(yīng). 顏色是標定界面中最基本的要素之一[26]. 顏色的作用，一方面凸顯界面中的重點信息，引導(dǎo)被試者迅速鎖定目標，另一方面不同顏色對被試者有著不同的心理感受，也會影響標定結(jié)果. 在顏色的選擇上，以雙色搭配進行凸顯[27]，使得標定界面的視場簡潔明了，有助于被試者快速定位注視標定點. 形狀和大小也是視覺識別的表征信息，標定點形狀及大小特征影響被試者的認知，進而影注視效果.

① 界面顏色的確定.

應(yīng)用心理學認為，黑色嚴肅、沉靜，白色潔凈、光明，有利于眼動跟蹤標定時被試者保持沉靜，快速定位注視標定點. 以雙色搭配進行凸顯，設(shè)定標定界面的背景分別為黑色、白色、灰色，參考表1所示不同顏色組合的易見度順序[26]，選擇各背景色對應(yīng)的標定點顏色分別為白色、黑色、黃色，如圖1所示.

表1 不同顏色組合的易見度順序Tab.1 Visibility order of different color combination

② 標定點形狀的確定.

形狀構(gòu)成元素包括線段、圓弧、圓、樣條曲線等，即形狀輪廓表征形狀. 輪廓中的角點、傾角等作為形狀中的局部特征具有凸顯性[21,28]，在視野中容易引起注視. 高分辨性和簡單的標定點形狀在標定界面中易凸顯，標定過程中易搜索定位. 按照條狀、面狀、環(huán)狀等整體差異性[21]設(shè)計標定點的形狀和大小，設(shè)定的3類簡單標定點形狀如圖2所示.

③ 標定點大小的確定.

標定點的大小同樣會影響被試者的注視效果，針對23.8寸顯示屏按照30×30,60×60,90×90 pixels設(shè)定小、中、大3種尺寸的標定點，如圖3所示.

綜合以上分析，3種背景和標定點雙色搭配，3種標定點形狀，3種標定點大小相互組合成27組標定界面，如表2所示(例：1號黑環(huán)中界面表示黑色背景、白色環(huán)狀中等大小標定點)，3×3均勻分布9點標定界面的樣式如圖4所示.

表2 標定界面Tab.2 Calibration interface

1.2 實驗裝置

標定及測試系統(tǒng)，如圖5所示，包括NVIDIA Jetson TX2開發(fā)板，用于對眼睛攝像機和武器瞄準攝像機兩路視頻進行處理，同時對眼動跟蹤注視數(shù)據(jù)處理；顯示器(23.8寸，寬×高約為526.89 mm×296.37 mm，分辨率1 920×1 080 pixels)，用于顯示實驗過程中的圖形圖像信息，實驗中屏幕亮度調(diào)整為300 cd/m2；頭部固定架，用于保持被試者頭部的正確位姿. 被試者眼睛與顯示器屏幕的垂直距離為60 cm，屏幕中央與被試者眼高基本水平.

1.3 實驗過程

① 標定.

不考慮實驗過程中不同標定界面的標定結(jié)果會因人而異. 被試者按照圖4所示標定點編號順序，逐一注視顯示屏中的標定點. 每注視一個標定點，眼睛攝像機采集對應(yīng)的眼圖，并通過眼動檢測獲得對應(yīng)的瞳孔中心坐標. 完成9個標定點的注視，即可建立瞳孔中心坐標與標定點坐標之間的映射關(guān)系，即視線估計映射函數(shù)[24].

② 測試.

打開武器瞄準攝像機，其采集的場景圖像在顯示屏中顯示，在此圖像上按照從左至右，從上至下順序依次出現(xiàn)5×5均勻分布的25個位置已知的紅色“+”目標點，每個目標點保持5 s后消失，如圖6所示. 被試者按照屏幕中目標點出現(xiàn)的順序和位置，完成對5×5目標點的注視.

針對27組標定界面標定后注視測試，每組測試3次，標定和測試過程如圖7所示.

2 注視準確度與精密度

圖8所示為5×5均勻分布25點測試的注視點與目標點分布效果.

考慮測試系統(tǒng)的響應(yīng)和被試者對相鄰兩個目標點的注視反應(yīng)，每一個目標點取5 s中后3 s的注視點數(shù)據(jù)作為有效注視點數(shù)據(jù)，每秒輸出5個注視點數(shù)據(jù). 計算每組測試的注視準確度和精密度，并對每組測試3次的結(jié)果取平均，分析不同標定界面對注視結(jié)果的影響. 以準確度為主，兼顧精密度選取最佳標定界面.

2.1 注視準確度

注視準確度是指注視點與目標點之間的偏差角度θi，每一組實驗的注視準確度θ，計算如式(3). 如圖9所示，d為眼屏垂直距離，A(x0,y0)為像素坐標系中屏幕中心坐標，B(xt,yt)為像素坐標系中目標點坐標，C(xs,ys)為像素坐標系中注視點坐標. 將像素坐標轉(zhuǎn)換為物理坐標，屏幕中心點A轉(zhuǎn)換為(x′0,y′0)，目標點B轉(zhuǎn)換為(x′t,y′t)，注視點Cj轉(zhuǎn)換

為(x′s,y′s)，坐標轉(zhuǎn)換關(guān)系如式(1).

(1)

由圖9可知眼睛與目標點及注視點之間關(guān)系，如式(2).

(2)

因此，注視準確度θ計算如式(3)

其中，j為每個目標點對應(yīng)的注視點個數(shù)，m=15(每個目標點采集后3 s 15個注視點數(shù)據(jù)).i為目標點序列，n=25.

注視準確度θ的誤差用均方根誤差(RMSE)計算表示為σ,如式(4).

(4)

2.2 注視精密度

注視精密度以各目標點對應(yīng)的各個注視點每相鄰兩個注視點之間角度偏差θj的均方根(RMS)表示為θiRMS，則每組實驗的注視精密度為θRMS，計算如式(5). 如圖10所示，d為眼屏垂直距離，A(x0,y0)

為像素坐標系中屏幕中心坐標，Cj(xj,yj)為像素坐標系中第j個注視點坐標，Cj+1(xj+1,yj+1)為像素坐標系中第j+1個注視點坐標. 將像素坐標轉(zhuǎn)換為物理坐標，屏幕中心A轉(zhuǎn)換為(x′0,y′0)，注視點Cj轉(zhuǎn)換為(x′j,y′j)，注視點Cj+1轉(zhuǎn)換為(x′j+1,y′j+1)，坐標轉(zhuǎn)換關(guān)系同注視準確度.

由圖10可知眼睛與目標點之間關(guān)系，如式(5)

(5)

因此，注視精密度θRMS計算如式(6)

(6)

式中:j為每個目標點對應(yīng)的注視點個數(shù)，m=15(每個目標點采集后3 s 15個注視點數(shù)據(jù));i為目標點序列，n=25.

注視精密度θRMS誤差用均方根誤差(RMSE)計算表示為

(7)

3 人眼對標定界面的注視效果實驗結(jié)果及分析

3.1 不同標定界面注視準確度分析

圖11為27組標定界面 25點測試的注視準確度及其誤差，表3為27組標定界面25點測試得注視準確度誤差σ. 圖中準確度越小，注視點與目標點的偏差越小. 誤差值越小，注視的準確度值波動越小. 其中，1號黑環(huán)中標定界面的注視準確度最好(0.69°±0.43°).

27組標定界面25點測試，不同顏色的標定界面注視準確度對比如圖12所示，黑/白、白/黑、灰/黃3種標定界面顏色的注視準確度之間有明顯地差異. 黑/白色標定界面的注視準確度整體比較好，并且其中一個界面的注視準確度是27組標定界面中最好的；白/黑色標定界面的注視準確整體變化幅度相對小；灰/黃色標定界面相對整體準確度值偏高，且變化幅度較大.

不同形狀標定點注視準確度對比如圖13所示，環(huán)狀、條狀、面狀3種形狀標定點的注視準確度之間有差異，但整體間的變化幅度不大. 其中條狀標定點的一組標定界面的注視準確度為27組標定界面中的最大值，環(huán)狀標定點的一組標定界面的注視準確度為27組標定界面的最小值.

不同大小標定點注視準確度對比如圖14所示，中、小、大3種大小標定點的注視準確度之間有差異，但整體間的變化幅度不大. 其中大標定點的一組標定界面的注視準確度為27組標定界面中的最大值，中標定點的一組標定界面的注視準確度為27組標定界面中的最小值.

表3 27組標定界面25點測試得注視準確度誤差σTab.3 27 groups of calibration interface 25 points test fixation accuracy error

以上對比表明，標定界面背景及標定點顏色、標定點形狀、標定點大小對注視準確度有不同的影響. 黑色背景與白色標定點的搭配，使得被試者在實驗中保持沉著冷靜，能夠集中注意力；環(huán)狀中等大小的標定點，形狀簡單，標定范圍突出明確，使得被試者的注視點更好地落于標定點處.

3.2 不同標定界面注視精密度分析

圖15為27組標定界面 25點測試的注視精密度及其誤差，表4為27組標定界面25點測試得注視精密度誤差σ′. 圖中精密度越小，注視點數(shù)據(jù)分布越集中. 誤差值越小，精密度值波動越小. 其中，24號灰條大標定界面的注視精密度最好(0.27°±0.083°). 整體之間的注視精密度變化不大，每組實驗中的注視精密度的分散程度差異也不大.

綜上所述，人眼對不同標定界面的注視結(jié)果有不同的影響，背景及標定點顏色，標定點大小對注視結(jié)果也有不同的影響. 對比不同標定界面注視準確度和精密度結(jié)果，以注視準確度為主，兼顧精密度 1號標定界面為最佳標定界面.

表4 27組標定界面25點測試得注視精密度誤差σ′Tab.4 27 groups of calibration interface 25 points test fixation precision error

4 結(jié) 論

本文設(shè)計了不同的標定界面，包括背景及標定點顏色、標定點形狀、標定點大??；確定了實驗的流程和數(shù)據(jù)處理方法；對標定后的不同界面進行5×5的25點注視測試. 實驗結(jié)果表明，不同的標定界面對人眼的注視結(jié)果有影響，且標定界面中不同的特征對注視的結(jié)果也有不同的影響. 對比注視實驗結(jié)果，以注視準確度為主，兼顧精密度，選取準確度最好的1號標定界面為最佳標定界面.

人眼注視效果是眼動跟蹤技術(shù)中的一個關(guān)鍵問題. 未來將進一步研究標定界面中標定點的分布方式和呈現(xiàn)方式對注視結(jié)果的影響. 同時結(jié)合人眼的注視效果，選取有效的注視數(shù)據(jù)，使得最終輸出的注視點數(shù)據(jù)最佳.