• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多用戶眼動跟蹤數(shù)據(jù)的可視化共享與協(xié)同交互*

    2019-10-24 02:09:34程時偉沈嘵權(quán)孫凌云胡屹凜
    軟件學(xué)報 2019年10期
    關(guān)鍵詞:注視點眼動代碼

    程時偉,沈嘵權(quán),孫凌云,胡屹凜

    1(浙江工業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,浙江 杭州 310023)

    2(計算機(jī)輔助設(shè)計與圖形學(xué)國家重點實驗室(浙江大學(xué)),浙江 杭州 310058)

    隨著計算機(jī)支持的協(xié)同工作(computer supported cooperative work)、社會計算(social computing)等相關(guān)技術(shù)及應(yīng)用的迅速發(fā)展,人機(jī)交互活動已不再局限于以單個用戶為中心的交互空間,交互任務(wù)往往需要在多用戶協(xié)同環(huán)境下才能完成.在多人協(xié)同交互過程中,信息的共享機(jī)制不僅有助于協(xié)作者了解彼此的任務(wù)完成情況,還可以促進(jìn)協(xié)同工作效率的提升.針對與視覺認(rèn)知相關(guān)的協(xié)同交互,如何將多用戶的視覺注意資源形成一個有機(jī)的協(xié)作體,通過共享機(jī)制讓個人用戶根據(jù)自身的目標(biāo)、意圖、偏好等因素,匹配其他用戶的視覺注意資源,從而降低自身認(rèn)知負(fù)荷,提高交互效率和主觀體驗,已成為一個新的研究課題.由于眼動跟蹤(eye tracking)數(shù)據(jù)可以表征用戶的交互意圖,且基于眼動跟蹤的交互具有“所見即所得”的特點[1],所以在文本、語音、手勢等形式的交互語義無法準(zhǔn)確表達(dá)的情況下,通過眼動跟蹤數(shù)據(jù)及其可視化在多用戶之間表征視覺行為和交互語義,可以降低語義歧義性,提高多人協(xié)同交互質(zhì)量水平與效率.然而,目前多用戶協(xié)同交互環(huán)境下的視覺認(rèn)知研究相對匱乏,尤其是缺少基于眼動跟蹤的協(xié)同交互方法和關(guān)鍵技術(shù).具體而言就是,如何在協(xié)同環(huán)境下簡單、有效地記錄眼動跟蹤數(shù)據(jù),并在協(xié)作者之間傳輸、分享和表達(dá),進(jìn)而提高交互質(zhì)量和效率的相關(guān)機(jī)制目前還沒有展開加以深入研究.

    為此,在上述研究背景下,本文提出面向多用戶協(xié)同交互的眼動跟蹤技術(shù),實時獲取、計算和傳輸協(xié)同環(huán)境下不同用戶的眼動跟蹤數(shù)據(jù),并通過分析與可視化眼動跟蹤數(shù)據(jù),實現(xiàn)多用戶協(xié)作過程中視覺注意行為和交互意圖的協(xié)同感知.設(shè)計與開發(fā)了一個面向程序代碼協(xié)同審查的多用戶眼動跟蹤交互應(yīng)用系統(tǒng),通過用戶實驗,驗證了本文方法能夠有效地促進(jìn)多用戶協(xié)作效率的提升.

    1 相關(guān)工作

    已有的相關(guān)研究主要集中在以下3 個方面.

    (1)基于聯(lián)合注意理論的協(xié)同交互基礎(chǔ)研究.聯(lián)合注意(joint attention)是指社會協(xié)作者聚焦于一個共同的參考對象(例如,物體、人或者事件),并且觀察其他協(xié)作者對該對象的注意力[2].在這個過程中,注視起著十分重要的作用,使得協(xié)作者共享對感興趣事物或事件的注意[3].聯(lián)合注意不僅強(qiáng)調(diào)協(xié)作個體同時同步關(guān)注同一個對象,而且更強(qiáng)調(diào)協(xié)作者能夠互相感知出他們的視覺關(guān)注存在共同性[4].表征聯(lián)合注意的具體行為主要包括[5]:注視追隨(gaze following),即追隨其他人的注視從而注意到對方關(guān)注的對象;指向關(guān)注對象的模仿(object-directed imitation),即模仿其他人對關(guān)注對象所施加的動作;社會參照(social referencing),即根據(jù)其他人來調(diào)整自己對場景的知覺,從而做出更合理的反應(yīng).參與聯(lián)合注意的方式包括兩種,一種是被動地對其他人的注意指引做出反應(yīng),另一種是主動發(fā)起聯(lián)合注意,這兩種方式都可促進(jìn)個體對外部環(huán)境的理解和生成互動的動機(jī)[5].聯(lián)合注意可以促進(jìn)協(xié)同交互,例如,通過在協(xié)同式搜索任務(wù)過程中分享注視點,可以提高任務(wù)績效[6].特別是在分布式的協(xié)同環(huán)境下,由于語言在描述空間信息時經(jīng)常具有模糊性而影響交流效率,而聯(lián)合注意通過分享注視點信息可以起到更加明確的指示作用,一定程度上消除了語義模糊性,從而強(qiáng)化分散在不同地域協(xié)作者之間的交流,使其在復(fù)雜的協(xié)同式空間搜索任務(wù)中可顯著提高效率[7,8].

    (2)眼動數(shù)據(jù)特征可視化研究.近年來,進(jìn)一步對聯(lián)合注意中所涉及的眼動數(shù)據(jù)特征參數(shù)開展可視化分析研究.例如,用矩陣散點圖來顯示隨時間變化的協(xié)同注意數(shù)據(jù),分析協(xié)作群體中聯(lián)合注意行為在時序上的演進(jìn),例如,不同用戶一開始很難同步,但會逐漸建立起與其他人的高度協(xié)調(diào);或者一個團(tuán)隊開始有很好的同步性,但隨著時間的延續(xù),逐漸產(chǎn)生分歧或沖突,而喪失視覺注意行為上的協(xié)調(diào)性[9].這種可視化方法的缺點是它只適合表達(dá)時序信息,無法表達(dá)交互過程中聯(lián)合注意行為產(chǎn)生的位置等空間信息.力導(dǎo)向網(wǎng)絡(luò)圖節(jié)點表示單個用戶在每一個感興趣區(qū)域內(nèi)的注視點數(shù)目,邊表示在這些感興趣區(qū)域之間的眼跳,可以表達(dá)空間維度相關(guān)的信息[2].比較不同用戶的力導(dǎo)向網(wǎng)絡(luò)圖可以發(fā)現(xiàn),不同的視覺注意分布和轉(zhuǎn)換模式與矩陣散點圖形成互補(bǔ).但是這些可視化形式仍存在表達(dá)不直觀、普通用戶不易于理解的缺點.還有研究人員針對解謎和模擬拆裝任務(wù),給一個用戶顯示另一個用戶在執(zhí)行任務(wù)過程中的單個注視點和注視點軌跡,設(shè)計了基于注視點的區(qū)域縮放指示和動態(tài)軌跡指示等可視化形式[10].此外,我們前期開展的研究,記錄了專家用戶在閱讀文檔時的眼動數(shù)據(jù),然后通過生成可視化批注分享給新手用戶,指導(dǎo)其把握文檔重點內(nèi)容和全文結(jié)構(gòu),可有效提高閱讀理解水平[11].然而,如何根據(jù)視覺注意機(jī)制特征對聯(lián)合注意行為本身的相關(guān)眼動數(shù)據(jù)進(jìn)行處理和可視化,提高用戶在協(xié)同交互中的認(rèn)知水平和操作績效,則有待深入研究.

    (3)應(yīng)用研究.面向教育、汽車駕駛、醫(yī)療影像分析及培訓(xùn)[12]等不同領(lǐng)域開展了具體的應(yīng)用研究,實現(xiàn)了代替語音交互、協(xié)助用戶合作與分工、增強(qiáng)群體認(rèn)知等.例如,在課堂教學(xué)場景下,用兩個眼動跟蹤系統(tǒng)記錄兩兩配對學(xué)生的眼動數(shù)據(jù),并作為聯(lián)合注意資源進(jìn)行分享,實驗結(jié)果表明,對于概念性知識的學(xué)習(xí)內(nèi)容,聯(lián)合注意資源越多,學(xué)習(xí)效果越好[13,14].在汽車駕駛場景下,坐在副駕駛位置的乘客可以給駕駛員提供路況信息,以彌補(bǔ)駕駛員由于視線盲區(qū)造成的信息獲取不充分的缺陷,因此,記錄副駕駛座位上乘客的注視點,并通過可視化方式呈現(xiàn)給駕駛員,可幫助其察覺相關(guān)路況信息,提高駕駛安全性[15,16].在遠(yuǎn)程醫(yī)療場景下,國際化的醫(yī)療會診和手術(shù)團(tuán)隊中的成員來自不同國家和地區(qū),可能會產(chǎn)生語言溝通障礙,為此,在模擬手術(shù)過程中綜合使用語言、眼動發(fā)出協(xié)作指令,使不同成員合作完成目標(biāo)選取任務(wù),實驗結(jié)果表明,眼動比語言協(xié)作的準(zhǔn)確率和效率都會更高[17].在協(xié)同工作場景下,使用眼動儀記錄多用戶協(xié)同完成搜索任務(wù)時的眼動注視點并在公共屏幕上顯示,使得用戶可以看到協(xié)作者正在搜索的區(qū)域,從而有意識地避免重復(fù)和冗余搜索,提高效率[18];分析多個用戶完成協(xié)同搜索任務(wù)時的眼動注視點分布規(guī)律,發(fā)現(xiàn)在不同交互方式下,用戶眼動注視點的分布情況差異較大,尤其是在眼動數(shù)據(jù)可視化共享的情況下,不同用戶的眼動注視點分布呈相互彌補(bǔ)趨勢,分工意識更加明確,任務(wù)完成時間更短;而在其他方式下,不同用戶的注視點則呈相互重疊趨勢,分工意識不明顯[19].

    上述研究工作對協(xié)同人機(jī)交互的具體實踐支持不夠,絕大多數(shù)工作只涉及不同用戶眼動數(shù)據(jù)的可視化方法,以及協(xié)同工作質(zhì)量的預(yù)測和評估[20],尚未針對目標(biāo)搜索、跟蹤、識別、圖像分析等具體任務(wù)的特征,從協(xié)同交互方式和用戶界面設(shè)計,以及具體應(yīng)用系統(tǒng)架構(gòu)和實現(xiàn)機(jī)制的角度來展開具體研究工作.

    2 多用戶協(xié)同眼動跟蹤

    標(biāo)定是實現(xiàn)眼動跟蹤的重要環(huán)節(jié),每位用戶在使用眼動跟蹤設(shè)備前都需要進(jìn)行標(biāo)定,以建立起個人的眼動跟蹤映射模型.本文使用基于瞳孔-普爾欽斑(Pupil center-cornea reflection,簡稱PCCR)向量的9 點標(biāo)定法[21].該方法需要先生成9 個位置已知的標(biāo)定點,然后在用戶注視這些標(biāo)定點時,求解眼動跟蹤注視點映射模型,用于后續(xù)注視點的計算.在多用戶協(xié)同環(huán)境下,隨著用戶的增多,如果對每位用戶都進(jìn)行9 點標(biāo)定,將會增加用戶的工作負(fù)荷和系統(tǒng)的計算資源消耗,并導(dǎo)致系統(tǒng)復(fù)雜性和不確定性升高.因此,本文在前期工作[22]基礎(chǔ)上提出協(xié)同式標(biāo)定方法,簡化標(biāo)定過程,并在此基礎(chǔ)上提出多用戶協(xié)同眼動跟蹤的計算架構(gòu).

    2.1 基于梯度優(yōu)化的協(xié)同標(biāo)定模型

    為了了解個體差異對眼動跟蹤效果的影響,相關(guān)研究通過實驗發(fā)現(xiàn),不同的用戶在同一位置注視同一目標(biāo)的情況下,眼動跟蹤注視點的位置具有較高的一致性[23].因此,PCCR 向量的方向也大致相同,其中的差異性主要是由用戶個體的視線和眼球光軸夾角不同引起的[24],進(jìn)而導(dǎo)致眼動跟蹤映射模型無法通用.為此,本文提出基于梯度優(yōu)化的協(xié)同標(biāo)定模型:首先利用標(biāo)準(zhǔn)的9 點標(biāo)定方法得到一個用戶的眼動跟蹤映射模型,然后利用其他用戶的少量標(biāo)定數(shù)據(jù),基于梯度優(yōu)化算法,對該映射模型進(jìn)行校正,使其具有更好的通用性.具體而言,就是對協(xié)作團(tuán)隊中某位用戶進(jìn)行標(biāo)定,得到跟蹤精度較高的眼動跟蹤映射模型,然后將該模型分發(fā)給其他協(xié)作者,并利用梯度優(yōu)化算法對此模型進(jìn)行優(yōu)化,得到適應(yīng)各協(xié)作者個體差異性的眼動跟蹤映射模型.主要工作可以分成兩部分:獲取基本眼動跟蹤映射模型和訓(xùn)練協(xié)同眼動跟蹤映射模型.下面進(jìn)行詳細(xì)闡述.

    (1)獲取基本眼動跟蹤映射模型.

    讓用戶佩戴眼動跟蹤系統(tǒng)依次注視屏幕上的9 個點,完成標(biāo)定過程,然后計算得到該用戶的眼動跟蹤映射模型系數(shù).進(jìn)一步地,在協(xié)同環(huán)境下實現(xiàn)基本眼動跟蹤映射模型在多用戶之間的傳輸和共享.如圖1 所示,用戶1完成標(biāo)定并得到基本眼動跟蹤映射模型之后,觸發(fā)分發(fā)事件,依次將該模型分發(fā)給協(xié)同環(huán)境中的其他注冊用戶.

    Fig.1 Distribution mechanism of basic eye tracking model in the collaboration environment圖1 協(xié)同環(huán)境下基本眼動跟蹤映射模型分發(fā)機(jī)制

    (2)訓(xùn)練協(xié)同眼動跟蹤映射模型.

    本文利用涅斯捷羅夫梯度加速方法(Nesterov accelerated gradient,簡稱NAG)[25]對基本眼動跟蹤映射模型系數(shù)進(jìn)行優(yōu)化和校正.該方法的優(yōu)點是通過增加動量項參數(shù),加快了計算過程,并且在計算參數(shù)梯度時,在損失函數(shù)中也減去了動量項,進(jìn)一步提高了計算速度.具體而言,先獲取來自某個用戶的眼動跟蹤映射模型(基本眼動跟蹤映射模型),然后要求當(dāng)前用戶在屏幕上做4 點標(biāo)定.將每個標(biāo)定點的屏幕坐標(biāo)和相應(yīng)的PCCR 向量作為一組數(shù)據(jù),然后利用NAG 方法進(jìn)行協(xié)同眼動跟蹤映射模型的訓(xùn)練.計算步驟如下.

    ·Step 1.確認(rèn)優(yōu)化模型的假設(shè)函數(shù)和損失函數(shù).本文設(shè)計的協(xié)同眼動跟蹤映射模型的函數(shù)如下:

    hθ(PX0,PX1),hθ(PY0,PY1)是注視點坐標(biāo)的計算函數(shù),θ0…θ5是最終的計算值,即協(xié)同眼動跟蹤映射模型的系數(shù).其中,

    的系數(shù)a0,...,a5和b0,...,b5是基本眼動跟蹤映射模型系數(shù),x是用戶的PCCR 向量X軸方向的向量,y是用戶的PCCR 向量Y軸方向的向量.上述的協(xié)同眼動跟蹤映射模型函數(shù),以hθ(PX0,PX1)為例,其損失函數(shù)為

    其中,m為訓(xùn)練數(shù)據(jù)的數(shù)量,在本文中取m=4.X為用戶標(biāo)定時真實的屏幕X軸標(biāo)定點;

    ·Step 2.相關(guān)參數(shù)初始化.初始化θ0,θ1,θ2的值和設(shè)置迭代次數(shù),通過多次實驗比較,本文取迭代次數(shù)為10萬次,并將θ0,θ1,θ2的值都設(shè)為0;

    ·Step 3.確定當(dāng)前的損失函數(shù)的梯度表達(dá)式,對于θi,其表達(dá)式為

    ·Step 4.用步長η乘以損失函數(shù),得到當(dāng)前的下降位置,即:

    ·Step 5.累計得到迭代次數(shù),如果迭代次數(shù)到達(dá)預(yù)設(shè)閾值,則停止計算;否則,轉(zhuǎn)到下一步;

    ·Step 6.更新所有的θ,對于θi,用如下表達(dá)式進(jìn)行更新,更新完畢后轉(zhuǎn)入步驟Step 1 繼續(xù)執(zhí)行,直到迭代次數(shù)累計達(dá)到預(yù)設(shè)閾值.

    根據(jù)上述步驟,可以求得協(xié)同眼動跟蹤映射模型的系數(shù)θ0,θ1,θ2,θ3,θ4,θ5,進(jìn)而準(zhǔn)確計算當(dāng)前用戶注視點的坐標(biāo)值.

    (3)模型測試.

    為了驗證協(xié)同眼動跟蹤映射模型的標(biāo)定效果,本文邀請了5 名被試用戶(年齡24 歲~28 歲,無色盲,視力良好),在電腦上進(jìn)行眼動跟蹤測試.使用的電腦屏幕尺寸為35.5cm×30.5cm,屏幕分辨率為1366×786,CPU 頻率為1.7GHz,內(nèi)存為8GB.屏幕上依次顯現(xiàn)4 個標(biāo)定點,待完成標(biāo)定之后,采用21 個測試點測試跟蹤精度(為了保證測試精度的準(zhǔn)確性,測試點與標(biāo)定點處于不同位置).計算用戶在測試點的注視點坐標(biāo),然后計算其與實際坐標(biāo)值之間的誤差.設(shè)定了40cm、60cm、80cm 這3 個測試視距(用戶眼睛到屏幕之間的距離),測試結(jié)果表明,在視距為80cm 時,平均精度最高,為0.69°(標(biāo)準(zhǔn)差為0.32°);在視距為40cm 時,平均精度最低,為1.37°(標(biāo)準(zhǔn)差為0.44°);在視距為60cm 時,平均精度為0.96°(標(biāo)準(zhǔn)差為0.30°).此外,已有9 點標(biāo)定法,在測試視距相近的情況下,得到眼動跟蹤平均精度為0.8°~2.0°[26],而其中精度比本文方法較高的方法,都在硬件配置上比本文方法更復(fù)雜,如加裝了紅外光源以提高眼部圖像成像質(zhì)量和圖像處理效果[27].

    2.2 多用戶協(xié)同眼動跟蹤的計算框架

    對于協(xié)同眼動跟蹤的計算架構(gòu),已有研究開展了初步嘗試,例如讓兩位用戶完成搜索任務(wù),通過兩臺眼動跟蹤設(shè)備連接到一臺電腦主機(jī)實現(xiàn)多用戶眼動跟蹤[18],但其不足在于:(1)硬件接口受到限制,導(dǎo)致能接入的眼動跟蹤設(shè)備數(shù)量有限,從而限制了協(xié)同環(huán)境下的用戶人數(shù),擴(kuò)展性較差;(2)由于不同用戶眼動跟蹤數(shù)據(jù)的記錄和處理都集中在一臺主機(jī)上進(jìn)行,導(dǎo)致主機(jī)計算負(fù)荷較大,計算性能受到影響.

    因此,為了將眼動跟蹤數(shù)據(jù)記錄和處理產(chǎn)生的計算負(fù)荷合理地進(jìn)行分配,并且盡可能地擴(kuò)充協(xié)同環(huán)境下的用戶人數(shù),本文的多用戶協(xié)同眼動跟蹤計算采用客戶端/服務(wù)器(client/sever,簡稱C/S)結(jié)構(gòu),其中,服務(wù)器負(fù)責(zé)記錄客戶端的眼動跟蹤數(shù)據(jù),并且進(jìn)行處理、控制和轉(zhuǎn)發(fā);客戶端則負(fù)責(zé)眼動跟蹤數(shù)據(jù)的計算、請求和可視化.所有的客戶端只與服務(wù)器連接通信,客戶端之間彼此不直接相連,而是通過服務(wù)器進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā),實現(xiàn)相互通信.這種計算架構(gòu)的優(yōu)點是服務(wù)器提供了統(tǒng)一的數(shù)據(jù)轉(zhuǎn)發(fā)模式,并且客戶端所有的數(shù)據(jù)在服務(wù)器端匯聚,方便服務(wù)器進(jìn)行統(tǒng)一的處理和分發(fā).客戶端則支持眼動跟蹤標(biāo)定、眼動跟蹤數(shù)據(jù)計算等具體工作,然后發(fā)送到服務(wù)器.系統(tǒng)框架如圖2 所示.

    Fig.2 Computing framework of multi-user collaborative eye tracking圖2 多用戶協(xié)同眼動跟蹤計算框架示意圖

    此外,上述計算架構(gòu)基于傳輸控制協(xié)議/Internet 互聯(lián)協(xié)議(transmission control protocol/Internet protocol,簡稱TCP/IP)傳輸層設(shè)計了新的網(wǎng)絡(luò)應(yīng)用層通信協(xié)議,用于支持眼動跟蹤協(xié)同交互的需求.眼動跟蹤注視點數(shù)據(jù)的傳輸共分為兩類.

    (1)當(dāng)客戶端計算出眼動跟蹤注視點數(shù)據(jù)之后,把數(shù)據(jù)封裝進(jìn)相應(yīng)的數(shù)據(jù)包發(fā)送到服務(wù)器;

    (2)當(dāng)服務(wù)器處理好眼動跟蹤注視點數(shù)據(jù)之后,把數(shù)據(jù)封裝進(jìn)相應(yīng)的數(shù)據(jù)包再發(fā)送回客戶端.本文的通信協(xié)議使用的數(shù)據(jù)包結(jié)構(gòu)如圖3 所示,由一個數(shù)據(jù)頭、若干個數(shù)據(jù)塊和校驗位組成.其中,數(shù)據(jù)頭中的命令代碼表示該數(shù)據(jù)包的作用;數(shù)據(jù)類型描述數(shù)據(jù)內(nèi)容的數(shù)據(jù)格式;數(shù)據(jù)塊大小表示每個數(shù)據(jù)塊的字節(jié)數(shù)量;數(shù)據(jù)總長度指的是該數(shù)據(jù)內(nèi)容包含的數(shù)據(jù)塊個數(shù).數(shù)據(jù)塊存儲著眼動跟蹤注視點坐標(biāo).校驗位則主要是為了確保數(shù)據(jù)包的完整性和準(zhǔn)確性.

    Fig.3 Packet structure of communication protocol in the network application layer圖3 網(wǎng)絡(luò)應(yīng)用層通信協(xié)議下的數(shù)據(jù)包結(jié)構(gòu)

    3 眼動跟蹤數(shù)據(jù)協(xié)同可視化

    相關(guān)已有研究在多人視頻會話[28,29]、問題探索[30,31]和指令交流[32]等領(lǐng)域使用了眼跳軌跡、注視點光標(biāo)等可視化形式,在本地和遠(yuǎn)程協(xié)同交互環(huán)境下,為用戶提供在線幫助、傳遞信息和指令、促進(jìn)協(xié)作者之間的互相感知和理解.這些研究關(guān)注了協(xié)同交互中眼動跟蹤數(shù)據(jù)的可視化設(shè)計,但未深入研究具體可視化形式作為指示線索在可視性和視覺干擾性方面的矛盾[18],即忽視了聯(lián)合注意資源在視覺表現(xiàn)上對用戶感知和認(rèn)知活動的負(fù)面影響.例如,不合理的可視化形式不僅不能向協(xié)作者提供有效信息,還會造成用戶本身的視覺不適感,分散注意力和降低操作效率.因此,設(shè)計合理的眼動跟蹤數(shù)據(jù)可視化表現(xiàn)形式對于協(xié)同交互顯得尤為重要.

    3.1 眼動跟蹤數(shù)據(jù)協(xié)同可視化設(shè)計

    相關(guān)研究提出了眼動數(shù)據(jù)可視化形式的設(shè)計原則,如既要吸引用戶注意力,準(zhǔn)確表達(dá)眼動特征,又要防止對用戶產(chǎn)生視覺干擾,并進(jìn)行了相關(guān)實驗,結(jié)果表明,類似于光標(biāo)形式的眼動注視點可視化形式效果最佳[18].為此,本文設(shè)計了3 種注視點可視化表現(xiàn)形式:圓點、散點和軌跡.如圖4 所示,圓點具體表現(xiàn)為一個半透明的圓形(例如圓形半徑設(shè)為15 像素,透明度設(shè)置為50%),這種表現(xiàn)形式簡單明了,指向性強(qiáng),所表示的視線指示范圍集中;散點具體表現(xiàn)為若干聚集在一起的紅色圓形(例如,圓形半徑設(shè)為5 像素,4 個圓形排布在一個半徑為20 像素的圓形范圍內(nèi)),這種表現(xiàn)形式覆蓋范圍廣,使用戶更容易關(guān)注到注視點的周圍信息;軌跡具體表現(xiàn)為前一個注視點和后一個注視點之間的連線,使得原本沒有關(guān)聯(lián)的注視點有了直觀的時間順序和空間關(guān)聯(lián).

    Fig.4 Eye tracking data visualization圖4 眼動跟蹤數(shù)據(jù)可視化表現(xiàn)形式

    3.2 實驗與分析

    我們設(shè)計了用戶實驗,探索可視化形式對協(xié)同交互環(huán)境下用戶視覺行為的影響,以及具體哪種可視化形式能夠提高協(xié)同交互效率.

    (1)實驗設(shè)計.實驗招募了6 位被試用戶(5 位男生,1 位女生,平均年齡在25 歲),兩人一組開展實驗.如圖5所示,兩位用戶協(xié)同完成一個視覺搜索任務(wù):圖片中一共有510 個圓,6 個橢圓,用戶需要在所有圓中找出這6 個橢圓,橢圓全部找到之后,記錄任務(wù)完成時間.每一組實驗中,兩個用戶電腦上顯示的內(nèi)容相同,當(dāng)其中一個用戶找出橢圓時,單擊鼠標(biāo)左鍵進(jìn)行確認(rèn),系統(tǒng)會自動用矩形圈出該橢圓,這一過程也同時顯示在另一位用戶的電腦上,使其了解相關(guān)情況.

    Fig.5 Experiment of collaborative visual search task圖5 協(xié)同視覺搜索任務(wù)實驗

    (2)效率分析.在具體實驗過程中,不僅進(jìn)行了無注視點共享和有注視點共享的對比,還針對注視點不同的可視化形式進(jìn)行了對比.實驗結(jié)果表明,不同的眼動跟蹤注視點可視化形式對用戶完成視覺搜索任務(wù)的效率有不同程度的影響.如圖6 所示,在共享情況下,圓點可視化形式條件下任務(wù)完成時間最短,相比沒有眼動注視點共享的情況提高了搜索效率;而其他注視點可視化形式延長了視覺搜索時間,其原因是,散點和軌跡形式理解起來較為困難,且對用戶的視覺干擾較大,從而影響了視覺搜索效率.相反,圓點覆蓋范圍小,可以直觀顯示對方的注視點信息,所產(chǎn)生的視覺干擾也較小.此外,結(jié)合搜索任務(wù)實驗結(jié)果,對被試用戶進(jìn)行了訪談,90%的用戶認(rèn)為圓點形式的可視化共享能夠顯著提高搜索效率.因此,本文最終選擇圓點作為眼動跟蹤數(shù)據(jù)協(xié)同可視化的表現(xiàn)形式.

    Fig.6 Average task completion time (error bars are standard deviation)圖6 任務(wù)平均完成時間(誤差線為標(biāo)準(zhǔn)差)

    (3)行為分析.進(jìn)一步地,分析眼動跟蹤數(shù)據(jù)協(xié)同可視化對用戶視覺行為的影響.首先,在屏幕上劃分用戶感興趣區(qū)域(area of interest,簡稱AOI),并選擇圓點形式顯示協(xié)作者的注視點,同時記錄各自用戶的注視點數(shù)據(jù);然后,在考察用戶視覺行為時,基于交叉重復(fù)度[33]方法分析協(xié)同雙方在同一時間、同一區(qū)域的注視駐留時間與任務(wù)完成時間的關(guān)系.交叉重復(fù)度越大,表明協(xié)同雙方在任務(wù)過程中同一時刻對相同區(qū)域共同關(guān)注的時間越長;反之,表明協(xié)同雙方在任務(wù)過程中同一時刻對相同區(qū)域共同關(guān)注的時間越短.根據(jù)已有工作提出的區(qū)域劃分方法來分析注意力分布疊加特征[33],本文計算用戶交叉重復(fù)度的具體步驟是:把顯示屏幕共分成兩行兩列4 個相同面積的矩形區(qū)域,首先判斷注視點是否位于屏幕的有效區(qū)域內(nèi),然后再判斷注視點所屬具體哪個區(qū)域,并附加相應(yīng)的區(qū)域標(biāo)簽.再依據(jù)注視點的時間戳和注視點的區(qū)域標(biāo)簽得到兩位用戶在同一區(qū)域的停留時間,記為t1;依據(jù)任務(wù)開始和結(jié)束的時間戳得到任務(wù)完成總時間,記為t2.t1和t2的比值即為用戶交叉重復(fù)度c(用百分比形式表示).進(jìn)一步地,計算4個區(qū)域的交叉重復(fù)度,結(jié)果見表1.可知,無注視點共享時用戶之間的交叉重復(fù)度總體上高于有注視點共享時的交叉重復(fù)度.

    Table 1 Calculation example of cross-recurrence表1 交叉重復(fù)度計算結(jié)果示例

    圖7 和圖8 分別給出任務(wù)過程中一段時間內(nèi)有注視點共享和無注視點共享時每個區(qū)域的交叉重復(fù)度,其中,紅線和藍(lán)線分別表示兩位用戶注視點隨時間推移在4 個區(qū)域內(nèi)的轉(zhuǎn)移情況;虛線區(qū)域表示兩位用戶注視點在此區(qū)域重合.可見,無注視點共享時,用戶在4 個區(qū)域之間的轉(zhuǎn)換頻率較高,用戶之間的注釋點覆蓋范圍重合區(qū)域多;而有注視點共享時,用戶在4 個區(qū)域之間的轉(zhuǎn)換頻率較低,用戶之間的注視點覆蓋范圍重合區(qū)域較少,表明用戶的分工意識相對明確.

    Fig.7 Example of cross-recurrence for each AOI with shared gaze visualization圖7 有注視點共享時各區(qū)域的交叉重復(fù)度示例

    Fig.8 Example of cross-recurrence for each AOI without shared gaze visualization圖8 無注視點共享時各區(qū)域的交叉重復(fù)度示例

    此外,通過繪制熱區(qū)圖對有注視點共享和無注視點共享條件下的用戶注視點覆蓋范圍作更加直觀的分析.用戶注視點形成的熱區(qū)圖如圖9 所示,其中,左右兩邊分別是兩個用戶各自注視點形成的熱區(qū)圖.

    結(jié)果表明,在有注視點共享情況下,用戶之間的注視點覆蓋范圍呈互補(bǔ)趨勢;而在無注視點共享情況下,用戶之間的注視點覆蓋范圍呈重疊趨勢.這進(jìn)一步說明,在無注視點共享時,用戶的分工意識相對薄弱,會依據(jù)自己的情況完成任務(wù);但有了注視點共享之后,用戶的分工意識會加強(qiáng),會依據(jù)對方的注視點分布情況動態(tài)規(guī)劃自己的目標(biāo)搜索過程.這與前述基于交叉重復(fù)度所分析的結(jié)論相一致,進(jìn)一步驗證了合理的眼動跟蹤數(shù)據(jù)可視化能夠?qū)f(xié)同交互中多用戶的分工起到促進(jìn)作用,從而能夠提高協(xié)同工作的質(zhì)量和效率[18].

    Fig.9 Heat map based on gaze fixation圖9 用戶眼動跟蹤注視點熱區(qū)圖

    4 應(yīng)用實例

    在軟件工程領(lǐng)域,利用多個眼動跟蹤系統(tǒng)同步記錄程序員們?nèi)绾螌ν欢未a進(jìn)行編程工作,進(jìn)而通過比較合作方式質(zhì)量水平的高低,可以發(fā)現(xiàn)具有較好效果的協(xié)作編程工作與更多的聯(lián)合視覺注意相關(guān)[9].受此啟發(fā),本文以代碼協(xié)同審查為應(yīng)用場景,使用多用戶眼動跟蹤及眼動跟蹤數(shù)據(jù)可視化促進(jìn)協(xié)同工作中的多用戶協(xié)作與分工,提高代碼審查效率.

    4.1 基于眼動跟蹤的代碼協(xié)同審查系統(tǒng)

    系統(tǒng)主要包括兩類可視化功能,一類是實時注視點,即根據(jù)第3 節(jié)的研究,通過圓點形式實時顯示協(xié)作者的注視點;另一類是基于注視點數(shù)據(jù)對代碼審查視圖進(jìn)行可視處理,設(shè)計了代碼行邊框、代碼行背景灰度、代碼行之間連線這3 種可視化屬性.此外,還包括注視點回放、基于時間軸的掃描軌跡回放這兩個可視分析模塊.客戶端通過標(biāo)定之后實現(xiàn)眼動跟蹤,隨后加入局域網(wǎng),多臺客戶端通過服務(wù)器共享數(shù)據(jù),由此建立協(xié)作交互機(jī)制.具體的可視化功能闡述如下.

    1)代碼行邊框

    當(dāng)協(xié)作者視線停留在某行代碼時,當(dāng)前用戶視圖中的相同代碼行會出現(xiàn)邊框,以此告知當(dāng)前用戶協(xié)作者此時正在注視的代碼行.同時,為了表示協(xié)作者對此行代碼的關(guān)注程度,記錄注視駐留時間,并以此來設(shè)置代碼行邊框的寬度,代碼行邊框越寬,表明協(xié)作者在此行代碼的注視駐留時間越長(例如,注視駐留時間每增加1s,邊框?qū)挾染驮黾? 像素).舉例而言,在圖10(a)所示用戶A 視圖中,代碼行1 出現(xiàn)了邊框,表示用戶B 當(dāng)前正在審查此行代碼,其中,淺紅色小圓點為用戶B 的注視點.類似地,圖10(b)所示用戶B 視圖中用戶A 正在查看代碼行2.此外,圖10(a)所示中代碼行1 的邊框較細(xì),表明用戶B 在此行代碼的注視駐留時間較短,而圖10(b)所示中代碼行2邊框較粗,表明用戶A 在此行代碼的注視駐留時間較長.

    2)代碼行背景灰度

    用戶在審查代碼時,不可避免地會對一些重要的代碼行反復(fù)進(jìn)行查看.因此,使用代碼行區(qū)域的背景顏色灰度來表示用戶對此行代碼的查看次數(shù),顏色越深,表示協(xié)作者查看此行代碼的次數(shù)越多.具體地,根據(jù)兩條規(guī)則對代碼行背景灰度進(jìn)行實時調(diào)整:(1)如果用戶注視點進(jìn)入某一行代碼,則該行代碼查看次數(shù)增加1 次,背景灰度值也相應(yīng)增加(例如,灰度值增加15);(2)如果用戶在某一行代碼的注視駐留時間有所增加,則該行代碼背景灰度值也會增加(例如,駐留時間每增加1s,背景灰度值增加10).此外,由于用戶審查代碼時,多數(shù)情況下是從第1行往下依次閱讀各行代碼,如果遵循上述的第1 條規(guī)則,用戶注視點每次從上一行轉(zhuǎn)向緊鄰的下一行時,下一行的背景灰度都會增加,從而導(dǎo)致絕大多數(shù)代碼行的背景灰度都會變化,使得視覺效果過于復(fù)雜,不利于用戶觀察.所以,為了避免這種影響,本文進(jìn)一步規(guī)定:當(dāng)用戶第1 次在看完上一行代碼并接著看下一行代碼時,下一行代碼的查看次數(shù)不增加.但是,如果用戶從下一行代碼返回來查看上一行代碼時,上一行代碼的查看次數(shù)增加1.具體可視化效果如圖11 所示,圖11(a)所示用戶A 視圖中的各行代碼背景灰度深淺各異,表明用戶B 在不同代碼行上的查看次數(shù)不同,其中,代碼行3 顏色較深,說明用戶B 從別處代碼跳轉(zhuǎn)到此行代碼的次數(shù)較多,且在此行代碼的查看時間較長,此行代碼是重點審查區(qū)域之一.類似地,在圖11(b)所示用戶B 的視圖中,可以看到用戶A將代碼行3 和代碼行i作為重點審查區(qū)域.

    3)代碼行之間連線

    由于不同代碼行之間存在邏輯關(guān)系,用戶常在多行代碼之間多次來回查看,這類信息可以揭示用戶在審查代碼過程中的邏輯思維,從而為協(xié)作者提供參考.為此,本文用連線表示兩行代碼之間的聯(lián)系.具體地,當(dāng)用戶在兩個代碼行之間存在注視點轉(zhuǎn)移時,記錄并計算相應(yīng)的轉(zhuǎn)移次數(shù)[11],且每轉(zhuǎn)移1 次,代碼行之間的連線寬度就增加相應(yīng)的寬度(例如10 像素).為了便于區(qū)分,不同代碼行之間的連線顏色也不同.此外,為了降低視覺復(fù)雜度,便于用戶觀察,與上文代碼行背景灰度的處理類似,上下相鄰兩個代碼行之間的首次順序轉(zhuǎn)移,不計入連線寬度值的增加計算.具體的可視化效果如圖12 所示,圖12(a)所示用戶A 視圖中的連線1 關(guān)聯(lián)了代碼行i和代碼行j,表明用戶B 在這兩行代碼之間存在多次的注視點轉(zhuǎn)換.類似地,圖12(b)所示用戶B 視圖中的連線2 關(guān)聯(lián)了代碼行6 和代碼行11,表明用戶A 在這兩行代碼之間也存在多次的注視點轉(zhuǎn)換.

    Fig.11 Visualization of code line background圖11 代碼行背景灰度可視化示意圖

    Fig.12 Visualization of the connections between code lines圖12 代碼行之間連線可視化示意圖

    4)注視點與掃描軌跡回放

    上述3 種可視化屬于代碼實時審查過程中的在線共享,而線下的共享,對促進(jìn)代碼審查方法的學(xué)習(xí)和效果評估同樣也很重要.為此,在完成協(xié)同審查代碼之后,還可以將協(xié)作者在審查代碼過程中的眼動跟蹤數(shù)據(jù)進(jìn)行可視化回放,從而讓協(xié)作者相互學(xué)習(xí)和借鑒相關(guān)的代碼審查技巧,提高自身代碼審查能力.回放功能包括:(1)注視點回放.全程記錄協(xié)同環(huán)境下每位用戶在審查代碼時的注視點運動情況,并實現(xiàn)整個過程的回放;(2)基于時間軸的掃描軌跡回放.顯示用戶時間軸上不同時段內(nèi)注視點所在的代碼行.如下文的圖13 所示,圓點表示用戶的注視點,橫軸為時間軸,從左到右依次顯示不同時間段內(nèi)用戶注視點所在的代碼行.

    4.2 實驗與分析

    我們招募了32 名被試用戶參與實驗(28 名男生,4 名女生,年齡在23 歲~27 歲之間,視力良好),兩人一組協(xié)同審查代碼,雙方戴上眼動跟蹤設(shè)備記錄眼動數(shù)據(jù)(眼動跟蹤設(shè)備的圖像采樣頻率為30 幀/s、視距為35cm、視角精度為1.1o)[26].實驗使用3 臺電腦進(jìn)行測試,其中兩臺作為代碼協(xié)同審查系統(tǒng)的客戶端(屏幕尺寸為35.5cm×30.5cm,分辨率為1366×786,CPU 頻率為1.7GHz,內(nèi)存為8GB),其放置在用戶的正前方,并與用戶頭部距離保持在40cm 左右;另外一臺作為服務(wù)器(屏幕尺寸為35.5cm×30.5cm,屏幕分辨率為1366×786,CPU 頻率為2.21GHz,內(nèi)存為16GB).具體實驗場景如圖14 所示.

    Fig.13 Timeline based scan path playback圖13 基于時間軸的掃描軌跡回放

    Fig.14 Experimental scene圖14 實驗場景

    首先將用戶兩兩劃分為一組,共分為16 組.每組用戶將做兩組實驗,分別是控制組實驗和實驗組實驗.其中,實驗組的用戶在協(xié)同審查代碼時共享眼動注視點可視化(只允許在找到錯誤代碼進(jìn)行口頭提交時進(jìn)行語言交流),而控制組用戶實驗時只能用語言進(jìn)行交流.為了確保語言交流時用戶能夠清楚地聽到對方說話,用戶被安排在一間60m2的實驗室內(nèi),但是互相通過半封閉隔斷分開,以保證不能看到相互之間的計算機(jī)屏幕.在正式開始實驗之前,首先對用戶進(jìn)行簡單培訓(xùn),讓用戶了解系統(tǒng)功能和熟悉相關(guān)操作,然后開始正式實驗.每個控制組和實驗組的實驗又分別包含3 個不同的任務(wù),分別針對簡單、中等、較難這3 種不同難度的代碼進(jìn)行審查.其中,簡單和中等難度的代碼只有1 處錯誤,而較難的代碼有兩處錯誤.實驗從用戶進(jìn)入系統(tǒng)開始計時,兩位用戶通過協(xié)作找出代碼錯誤,并報告所找到的錯誤.若所報告的代碼錯誤不正確,將繼續(xù)尋找真正的錯誤,直到找到為止,屆時計時停止,任務(wù)完成(若超出時間上限,例如20 分鐘,錯誤仍未找到,則中斷任務(wù),且判定此次任務(wù)沒有完成).

    系統(tǒng)以對方用戶的實時注視點為數(shù)據(jù)來源,以代碼行邊框、代碼行背景灰度、代碼行之間連線等信息給當(dāng)前用戶提供可視化分享.實驗中的可視化效果如圖15 所示.

    記錄每組用戶的任務(wù)完成時間、眼動跟蹤數(shù)據(jù)及其表征的視覺行為,以及用戶主觀反饋等,然后分別進(jìn)行分析,具體分析結(jié)果說明如下.

    1)任務(wù)完成時間

    實驗組和控制組的用戶在實驗中分別完成簡單、中等、較難等不同任務(wù).如果不區(qū)分任務(wù)難度,那么以每項任務(wù)為單位,共48 份實驗數(shù)據(jù)樣本,則實驗組任務(wù)完成時間的平均值為249.83s,標(biāo)準(zhǔn)差為120.14s;控制組任務(wù)完成時間的平均值為 313.65s,標(biāo)準(zhǔn)差為 141.02s.進(jìn)一步地,對任務(wù)完成時間作配對 T 檢驗分析,得到t=–4.152,p<0.05,存在顯著性差異,即在不區(qū)分任務(wù)難度時,實驗組用戶的任務(wù)完成時間比控制組要短,說明眼動跟蹤數(shù)據(jù)可視化的分享機(jī)制能夠有效地提高代碼協(xié)同審查的效率.另一方面,如果區(qū)分任務(wù)難度,則每個難度條件下的實驗數(shù)據(jù)樣本各為16 份,任務(wù)完成時間結(jié)果見表2.

    Fig.15 Visualization displayed in the experiment圖15 實驗中可視化效果示意圖

    Table 2 Task completion time analysis under tasks with different difficulty表2 區(qū)分難度的任務(wù)完成時間分析

    進(jìn)一步對任務(wù)完成時間進(jìn)行多因素方差分析,結(jié)果如圖16 所示,在3 種不同任務(wù)難度條件下,也存在顯著性差異,實驗組的任務(wù)完成時間比控制組要短,也進(jìn)一步說明眼動跟蹤數(shù)據(jù)可視化的分享機(jī)制對不同難度的代碼審查具有較好的適應(yīng)性.

    Fig.16 Multi-factor variance analysis of the task completion time圖16 任務(wù)完成時間的多因素方差分析結(jié)果

    2)視覺行為

    我們從交叉重復(fù)度、眼動跟蹤掃描軌跡兩個方面來分析用戶視覺行為.將每一個代碼行設(shè)為一個區(qū)域,計算用戶在該區(qū)域的交叉重復(fù)度,結(jié)果見表3.

    Table 3 Cross-recurrence calculation results of tasks with different difficulty (average)表3 不同任務(wù)難度條件下的交叉重復(fù)度計算結(jié)果(平均值)

    在不同任務(wù)難度條件下,實驗組的交叉重復(fù)度平均值小于控制組的交叉重復(fù)度平均值,說明眼動跟蹤數(shù)據(jù)可視化的共享使用戶在審查代碼時的分工意識更為明確.

    進(jìn)一步地,將每兩位用戶在任務(wù)過程中基于時間軸的掃描軌跡進(jìn)行比較分析,如圖17 所示.圖中,不同顏色的折線代表某兩位用戶的掃描軌跡,用戶在協(xié)同代碼審查過程中的掃描軌跡既存在“跟隨”現(xiàn)象(如圖17(a)所示),又存在掃描軌跡“分離”現(xiàn)象(如圖17(b)所示).例如,在開始階段,用戶通過分工進(jìn)行代碼的快速查找時,掃描軌跡會分離;在縮小錯誤范圍,共同定位具體代碼錯誤時,掃描軌跡會相互跟隨.

    Fig.17 Timeline based scan paths comparison圖17 基于時間軸的掃描軌跡比較分析示例

    3)主觀反饋

    在實驗之后,使用量表和訪談搜集了用戶的主觀體驗和建議.使用5 點量表(1-非常不滿意,5-非常滿意)考察了用戶對代碼協(xié)同審查系統(tǒng)的整體滿意程度,結(jié)果表明,用戶主觀滿意度平均值為3.88,標(biāo)準(zhǔn)差為0.7,表明用戶對系統(tǒng)的滿意度較高.此外,在訪談中發(fā)現(xiàn):(1)對于實時注視點的共享,50%的用戶認(rèn)為很有幫助,因為可以在一個較細(xì)的粒度下實時了解協(xié)作者的視覺行為,而且對自己的視覺干擾較小.(2)對于代碼行邊框這個可視化屬性,47%的用戶覺得此功能對自己的幫助很大,主要是可以了解協(xié)作者關(guān)注的具體代碼行,可以引導(dǎo)雙方共同關(guān)注和確定具體的審查范圍.但也有用戶認(rèn)為,這種可視化效果有時會對自己產(chǎn)生視覺干擾,并建議增加一個可視化開關(guān),允許用戶自己啟動或關(guān)閉這個可視化效果.(3)對于代碼行背景灰度可視化屬性,54%的用戶覺得對自己有很大幫助,可以幫助自己了解協(xié)作者對不同代碼行的關(guān)注程度.(4)針對代碼行之間連線可視化屬性,42%的用戶覺得此功能對自己有很大的幫助,可以幫助自己了解協(xié)作者審查代碼的思路,了解兩行代碼之間的邏輯關(guān)系;但也有用戶認(rèn)為,當(dāng)連線較多時,連線識別起來比較困難,視覺干擾較大.

    5 結(jié) 語

    本文提出了面向多用戶眼動跟蹤的協(xié)同交互方法,具體地,通過基于梯度優(yōu)化的協(xié)同標(biāo)定模型和基于客戶端/服務(wù)器的架構(gòu)實現(xiàn)了多用戶眼動跟蹤注視點的同步記錄、精確計算和數(shù)據(jù)管理.在此基礎(chǔ)上,進(jìn)行眼動跟蹤數(shù)據(jù)協(xié)同可視化探索,提出了針對視覺搜索任務(wù)的可視化設(shè)計.進(jìn)而針對代碼協(xié)同審查應(yīng)用,設(shè)計與開發(fā)了協(xié)同式眼動跟蹤原型系統(tǒng),實現(xiàn)了實時注視點、代碼行邊框、代碼行背景灰度、代碼行之間連線等可視化屬性的共享.用戶實驗結(jié)果表明,代碼錯誤的平均搜索時間比沒有共享機(jī)制下減少了20.1%,顯著提高了協(xié)同代碼審查的效率和協(xié)作分工意識.

    下一步,將針對計算機(jī)支持的協(xié)同工作和社會計算等領(lǐng)域的相關(guān)應(yīng)用,繼續(xù)擴(kuò)大用戶規(guī)模,突破配對協(xié)同(pair-collaboration)[2]的瓶頸,建立聯(lián)合注意資源驅(qū)動下的多用戶協(xié)同工作模型和用戶管理機(jī)制,融合不同用戶的認(rèn)知資源,擴(kuò)展用戶的知覺、學(xué)習(xí)和記憶能力,支持高效、有序的多人協(xié)同交互.此外,深入研究聯(lián)合注意條件下的用戶評估和反饋優(yōu)化問題,關(guān)注眼動跟蹤協(xié)同交互環(huán)境下用戶認(rèn)知負(fù)荷的動態(tài)變化,對聯(lián)合注意驅(qū)動的視覺指示線索進(jìn)行優(yōu)化和動態(tài)自適應(yīng)調(diào)整.

    猜你喜歡
    注視點眼動代碼
    眼動儀技術(shù)在里院建筑特色分析中的應(yīng)用
    基于眼動的駕駛員危險認(rèn)知
    基于ssVEP與眼動追蹤的混合型并行腦機(jī)接口研究
    載人航天(2021年5期)2021-11-20 06:04:32
    基于超復(fù)數(shù)小波和圖像空域的卷積網(wǎng)絡(luò)融合注視點預(yù)測算法
    創(chuàng)世代碼
    動漫星空(2018年11期)2018-10-26 02:24:02
    創(chuàng)世代碼
    動漫星空(2018年2期)2018-10-26 02:11:00
    創(chuàng)世代碼
    動漫星空(2018年9期)2018-10-26 01:16:48
    創(chuàng)世代碼
    動漫星空(2018年5期)2018-10-26 01:15:02
    射擊運動員的反向眼跳研究
    體育時空(2017年6期)2017-07-14 09:24:48
    基于中央凹圖像顯著性和掃視傾向的注視點轉(zhuǎn)移預(yù)測模型
    国产精品亚洲美女久久久| 国产高清有码在线观看视频| 亚洲av成人av| eeuss影院久久| 亚洲精品成人久久久久久| 免费av毛片视频| 久久国产乱子免费精品| av在线蜜桃| 一区二区三区激情视频| 两个人的视频大全免费| 精品人妻偷拍中文字幕| 亚洲美女黄片视频| 国产主播在线观看一区二区| 99热网站在线观看| 国产成人福利小说| 日韩强制内射视频| 狠狠狠狠99中文字幕| 99riav亚洲国产免费| 国产精品嫩草影院av在线观看 | 国产麻豆成人av免费视频| 女人被狂操c到高潮| 亚洲不卡免费看| 精品国内亚洲2022精品成人| 免费看光身美女| 婷婷亚洲欧美| 国产精品不卡视频一区二区| 国国产精品蜜臀av免费| 长腿黑丝高跟| 久久亚洲精品不卡| 男人舔女人下体高潮全视频| 久久中文看片网| 国国产精品蜜臀av免费| 亚洲aⅴ乱码一区二区在线播放| 99riav亚洲国产免费| 欧美色欧美亚洲另类二区| 一卡2卡三卡四卡精品乱码亚洲| 啦啦啦观看免费观看视频高清| 中国美白少妇内射xxxbb| 国语自产精品视频在线第100页| 我的老师免费观看完整版| 无遮挡黄片免费观看| 免费电影在线观看免费观看| 色综合站精品国产| 亚洲av第一区精品v没综合| 俺也久久电影网| 非洲黑人性xxxx精品又粗又长| 精品人妻视频免费看| 久久久久久久午夜电影| 国产美女午夜福利| 搡老熟女国产l中国老女人| 97碰自拍视频| 日日干狠狠操夜夜爽| 欧美中文日本在线观看视频| 欧美绝顶高潮抽搐喷水| 午夜a级毛片| 18禁在线播放成人免费| 一边摸一边抽搐一进一小说| 一级黄片播放器| 午夜久久久久精精品| 波多野结衣巨乳人妻| .国产精品久久| av中文乱码字幕在线| 日韩欧美一区二区三区在线观看| 我的女老师完整版在线观看| 久久久久精品国产欧美久久久| 女人被狂操c到高潮| 国产精品永久免费网站| 国产欧美日韩精品一区二区| 国产精品人妻久久久久久| 国产探花极品一区二区| 色5月婷婷丁香| 欧美激情久久久久久爽电影| 欧美一区二区精品小视频在线| 无遮挡黄片免费观看| 欧美黑人欧美精品刺激| 日本爱情动作片www.在线观看 | 女人十人毛片免费观看3o分钟| 欧美xxxx黑人xx丫x性爽| 免费搜索国产男女视频| 乱系列少妇在线播放| 欧美日韩亚洲国产一区二区在线观看| 人妻丰满熟妇av一区二区三区| 熟妇人妻久久中文字幕3abv| 精品一区二区三区视频在线观看免费| 2021天堂中文幕一二区在线观| 国产私拍福利视频在线观看| 超碰av人人做人人爽久久| 久久九九热精品免费| 干丝袜人妻中文字幕| 国产av麻豆久久久久久久| 在线a可以看的网站| 村上凉子中文字幕在线| 五月玫瑰六月丁香| 在线看三级毛片| 国产免费男女视频| 国产91精品成人一区二区三区| 春色校园在线视频观看| 成人综合一区亚洲| av天堂中文字幕网| 欧美三级亚洲精品| 午夜激情欧美在线| 国内精品宾馆在线| 最近在线观看免费完整版| 久久久久九九精品影院| 亚洲人与动物交配视频| 级片在线观看| 欧美精品啪啪一区二区三区| 在线观看av片永久免费下载| 日日撸夜夜添| 国产精品女同一区二区软件 | 色5月婷婷丁香| 麻豆久久精品国产亚洲av| 亚洲美女视频黄频| 美女xxoo啪啪120秒动态图| 好男人在线观看高清免费视频| 99热这里只有精品一区| 国产伦一二天堂av在线观看| 大型黄色视频在线免费观看| 99热只有精品国产| 欧美丝袜亚洲另类 | 色精品久久人妻99蜜桃| 成人精品一区二区免费| 久久这里只有精品中国| 亚洲成人久久爱视频| 韩国av一区二区三区四区| 3wmmmm亚洲av在线观看| 午夜老司机福利剧场| 人妻久久中文字幕网| 又爽又黄a免费视频| 精品午夜福利在线看| 黄色女人牲交| 亚洲国产精品成人综合色| 欧美丝袜亚洲另类 | 中文亚洲av片在线观看爽| 日韩欧美精品v在线| 国产成人福利小说| av视频在线观看入口| 亚洲av免费高清在线观看| 日韩欧美国产在线观看| 白带黄色成豆腐渣| 老熟妇仑乱视频hdxx| 99久久中文字幕三级久久日本| 国产一区二区亚洲精品在线观看| 欧美性感艳星| 日韩亚洲欧美综合| 校园春色视频在线观看| 少妇高潮的动态图| 亚洲精品在线观看二区| 久久精品影院6| 久久久国产成人免费| 天堂网av新在线| 日韩国内少妇激情av| 日本免费一区二区三区高清不卡| 在线观看一区二区三区| 国产伦精品一区二区三区视频9| 搡老妇女老女人老熟妇| 久久99热6这里只有精品| 成人欧美大片| 不卡一级毛片| 97超视频在线观看视频| 一区二区三区免费毛片| 特大巨黑吊av在线直播| 欧美+日韩+精品| 午夜福利在线在线| 国产一区二区激情短视频| 日韩亚洲欧美综合| 真实男女啪啪啪动态图| 在线天堂最新版资源| 91麻豆精品激情在线观看国产| 亚洲aⅴ乱码一区二区在线播放| 一卡2卡三卡四卡精品乱码亚洲| 国产视频一区二区在线看| 国产精品日韩av在线免费观看| 91麻豆av在线| 一个人看的www免费观看视频| 国产 一区精品| 嫩草影院精品99| 人妻少妇偷人精品九色| 淫妇啪啪啪对白视频| 在线a可以看的网站| 久久精品国产清高在天天线| 久久午夜福利片| 直男gayav资源| 看十八女毛片水多多多| 成人国产麻豆网| 欧美zozozo另类| 蜜桃久久精品国产亚洲av| 黄色配什么色好看| 亚洲国产精品sss在线观看| av在线天堂中文字幕| 午夜激情福利司机影院| 人人妻人人看人人澡| 99国产极品粉嫩在线观看| 国产精品三级大全| 精品一区二区三区视频在线| av黄色大香蕉| av天堂中文字幕网| 国产私拍福利视频在线观看| 久久亚洲真实| 极品教师在线视频| 亚洲成av人片在线播放无| 男女啪啪激烈高潮av片| 国产一区二区激情短视频| 亚洲成人久久爱视频| 看片在线看免费视频| 亚洲专区中文字幕在线| 亚洲精品粉嫩美女一区| 欧美色视频一区免费| 亚洲av成人精品一区久久| 日本黄大片高清| 亚洲av成人av| 可以在线观看的亚洲视频| 中文字幕av在线有码专区| 午夜福利在线在线| 偷拍熟女少妇极品色| 九九爱精品视频在线观看| 亚洲专区中文字幕在线| 亚洲五月天丁香| 看黄色毛片网站| 日韩欧美一区二区三区在线观看| 日本撒尿小便嘘嘘汇集6| av天堂中文字幕网| 欧美性感艳星| 亚洲av中文字字幕乱码综合| 深夜精品福利| 蜜桃久久精品国产亚洲av| 欧美+亚洲+日韩+国产| 日本 欧美在线| 亚洲成av人片在线播放无| www.色视频.com| 国产视频内射| av在线蜜桃| 91久久精品国产一区二区成人| 国产av麻豆久久久久久久| 男女做爰动态图高潮gif福利片| 中文字幕精品亚洲无线码一区| av福利片在线观看| 免费观看人在逋| 亚洲三级黄色毛片| 丰满的人妻完整版| 亚洲人成网站在线播| 久久久久久九九精品二区国产| 99久久无色码亚洲精品果冻| 国产探花极品一区二区| 国产一区二区亚洲精品在线观看| 亚洲在线自拍视频| 久久婷婷人人爽人人干人人爱| 国产日本99.免费观看| 日本-黄色视频高清免费观看| 亚洲七黄色美女视频| 日日摸夜夜添夜夜添小说| 草草在线视频免费看| 国产视频内射| 日韩欧美国产一区二区入口| 成年人黄色毛片网站| 黄色一级大片看看| 一夜夜www| 真人做人爱边吃奶动态| 亚洲av成人av| 日本一本二区三区精品| 男女下面进入的视频免费午夜| 一进一出抽搐动态| 国产熟女欧美一区二区| 国产精品久久视频播放| 免费无遮挡裸体视频| 国产一区二区三区在线臀色熟女| 色av中文字幕| 国产 一区 欧美 日韩| 男人和女人高潮做爰伦理| 国产又黄又爽又无遮挡在线| 国产女主播在线喷水免费视频网站 | 国产精品一区二区三区四区久久| 最后的刺客免费高清国语| 91麻豆av在线| 国产黄片美女视频| 国产免费av片在线观看野外av| 精品欧美国产一区二区三| 免费看光身美女| 99热网站在线观看| 麻豆国产av国片精品| 午夜视频国产福利| 亚洲自拍偷在线| 男女视频在线观看网站免费| 十八禁国产超污无遮挡网站| 精品人妻偷拍中文字幕| 天美传媒精品一区二区| 尤物成人国产欧美一区二区三区| 欧美三级亚洲精品| av在线天堂中文字幕| 日本在线视频免费播放| 国内少妇人妻偷人精品xxx网站| 99在线人妻在线中文字幕| 人人妻人人澡欧美一区二区| www.色视频.com| 亚洲va在线va天堂va国产| 亚洲美女搞黄在线观看 | 亚洲国产精品合色在线| 精品乱码久久久久久99久播| 99精品久久久久人妻精品| 久久久精品欧美日韩精品| xxxwww97欧美| 国产精品乱码一区二三区的特点| 国产精品,欧美在线| 少妇人妻精品综合一区二区 | 我要看日韩黄色一级片| 亚洲av电影不卡..在线观看| 波多野结衣高清无吗| 毛片女人毛片| 日本-黄色视频高清免费观看| 久久午夜福利片| 少妇高潮的动态图| 夜夜爽天天搞| 波野结衣二区三区在线| 一边摸一边抽搐一进一小说| 在线观看免费视频日本深夜| 99riav亚洲国产免费| 亚洲经典国产精华液单| 夜夜爽天天搞| 国产精品1区2区在线观看.| 岛国在线免费视频观看| 人妻制服诱惑在线中文字幕| 岛国在线免费视频观看| 少妇高潮的动态图| 欧美黑人巨大hd| 国产精品国产高清国产av| 国产伦人伦偷精品视频| 欧美绝顶高潮抽搐喷水| 两个人视频免费观看高清| 国产午夜精品论理片| or卡值多少钱| 欧美高清成人免费视频www| 久久久久久国产a免费观看| 亚洲欧美日韩高清在线视频| 美女高潮喷水抽搐中文字幕| 亚洲av成人精品一区久久| 我的女老师完整版在线观看| 国产色爽女视频免费观看| 亚洲av.av天堂| 日本三级黄在线观看| 午夜福利欧美成人| 亚洲精品乱码久久久v下载方式| 一级a爱片免费观看的视频| 97超级碰碰碰精品色视频在线观看| 日韩精品青青久久久久久| 国产精品一区www在线观看 | 中文字幕免费在线视频6| 亚洲成人中文字幕在线播放| 亚洲人成网站在线播| 久久精品国产自在天天线| 欧美成人免费av一区二区三区| 亚洲自拍偷在线| 麻豆av噜噜一区二区三区| av在线观看视频网站免费| 亚洲欧美激情综合另类| 国产精品无大码| 午夜激情福利司机影院| 熟女电影av网| 免费大片18禁| 欧美zozozo另类| a在线观看视频网站| 亚洲人成网站高清观看| 亚洲专区中文字幕在线| а√天堂www在线а√下载| 联通29元200g的流量卡| 最新中文字幕久久久久| 亚洲av免费高清在线观看| 日韩在线高清观看一区二区三区 | 国产精品爽爽va在线观看网站| 国产av一区在线观看免费| 亚洲真实伦在线观看| 久久久色成人| 日韩国内少妇激情av| 亚州av有码| 国产视频内射| 网址你懂的国产日韩在线| 18禁黄网站禁片免费观看直播| 精品欧美国产一区二区三| 成人永久免费在线观看视频| 日韩欧美三级三区| 久久精品国产99精品国产亚洲性色| 色哟哟哟哟哟哟| 亚洲精品国产成人久久av| 久久久久久久久久久丰满 | www.色视频.com| 欧美色欧美亚洲另类二区| .国产精品久久| 国产精品精品国产色婷婷| 99热这里只有是精品50| 精品人妻视频免费看| 欧美色视频一区免费| 欧美不卡视频在线免费观看| 琪琪午夜伦伦电影理论片6080| 亚洲人成网站在线播| 欧美+亚洲+日韩+国产| 嫁个100分男人电影在线观看| 不卡视频在线观看欧美| 精品久久久久久久久av| 在线播放国产精品三级| 欧美日本亚洲视频在线播放| 日本欧美国产在线视频| 伦理电影大哥的女人| 嫩草影院精品99| 午夜精品一区二区三区免费看| avwww免费| 国产亚洲欧美98| 免费观看在线日韩| 午夜爱爱视频在线播放| 波多野结衣高清无吗| 最新在线观看一区二区三区| 亚洲精品成人久久久久久| 蜜桃久久精品国产亚洲av| 色综合亚洲欧美另类图片| 国产色爽女视频免费观看| 久久精品影院6| 小蜜桃在线观看免费完整版高清| 日本免费a在线| 成人国产综合亚洲| 在线观看午夜福利视频| 12—13女人毛片做爰片一| 中文字幕精品亚洲无线码一区| 村上凉子中文字幕在线| 日本三级黄在线观看| 我的女老师完整版在线观看| 美女被艹到高潮喷水动态| 久久久精品欧美日韩精品| 久久精品国产亚洲av涩爱 | 国产黄a三级三级三级人| 看片在线看免费视频| 国产精品精品国产色婷婷| 亚洲成av人片在线播放无| 热99在线观看视频| 无遮挡黄片免费观看| 色精品久久人妻99蜜桃| 伊人久久精品亚洲午夜| 国产精品自产拍在线观看55亚洲| 欧美另类亚洲清纯唯美| 成年女人看的毛片在线观看| 嫩草影院精品99| 国产 一区 欧美 日韩| 亚洲乱码一区二区免费版| 男人和女人高潮做爰伦理| 亚洲最大成人中文| 深爱激情五月婷婷| 久久久久久久久中文| 十八禁网站免费在线| 又爽又黄a免费视频| 久久精品久久久久久噜噜老黄 | 久久精品国产鲁丝片午夜精品 | 国产69精品久久久久777片| 又粗又爽又猛毛片免费看| 精品一区二区三区视频在线| 国产熟女欧美一区二区| 啪啪无遮挡十八禁网站| 国产探花极品一区二区| 亚洲狠狠婷婷综合久久图片| 99热精品在线国产| 亚洲av免费在线观看| 亚洲图色成人| 3wmmmm亚洲av在线观看| 97热精品久久久久久| 亚洲av第一区精品v没综合| 乱码一卡2卡4卡精品| 少妇丰满av| 狂野欧美白嫩少妇大欣赏| 国产精品亚洲一级av第二区| 欧美在线一区亚洲| 不卡视频在线观看欧美| 久久久久国产精品人妻aⅴ院| 深夜精品福利| 老女人水多毛片| 99久久中文字幕三级久久日本| 免费人成在线观看视频色| 18禁在线播放成人免费| 亚洲精品一卡2卡三卡4卡5卡| 好男人在线观看高清免费视频| av中文乱码字幕在线| 免费黄网站久久成人精品| 亚洲自偷自拍三级| 午夜日韩欧美国产| 一个人观看的视频www高清免费观看| 午夜福利在线观看免费完整高清在 | 国产三级在线视频| 亚洲男人的天堂狠狠| 国产精品人妻久久久影院| netflix在线观看网站| 69av精品久久久久久| 一区二区三区激情视频| 韩国av在线不卡| 成人国产麻豆网| 国产探花在线观看一区二区| 在线观看美女被高潮喷水网站| 国产高清不卡午夜福利| 日韩 亚洲 欧美在线| 精品久久久久久久久亚洲 | 99九九线精品视频在线观看视频| av福利片在线观看| 18禁黄网站禁片午夜丰满| 午夜福利欧美成人| 久久久精品大字幕| 欧美性感艳星| 中文亚洲av片在线观看爽| 国产中年淑女户外野战色| 国产高清激情床上av| 免费观看精品视频网站| 日本a在线网址| 亚洲中文字幕日韩| 亚洲成a人片在线一区二区| 丰满的人妻完整版| 人人妻人人看人人澡| 性插视频无遮挡在线免费观看| 91久久精品电影网| 国产精品久久久久久久久免| 美女高潮喷水抽搐中文字幕| 国产伦在线观看视频一区| 国产成人影院久久av| 99国产极品粉嫩在线观看| 国内久久婷婷六月综合欲色啪| 国产黄a三级三级三级人| 人妻制服诱惑在线中文字幕| 99在线视频只有这里精品首页| 色在线成人网| 精品一区二区三区av网在线观看| 男女之事视频高清在线观看| 国内精品美女久久久久久| 免费看日本二区| 亚洲自偷自拍三级| 老司机深夜福利视频在线观看| 男人的好看免费观看在线视频| 免费看a级黄色片| 老师上课跳d突然被开到最大视频| 欧美精品国产亚洲| 国产av麻豆久久久久久久| 国产91精品成人一区二区三区| 床上黄色一级片| 免费人成在线观看视频色| 床上黄色一级片| 亚洲在线观看片| 久久精品影院6| 久久久精品大字幕| 精品乱码久久久久久99久播| 日韩大尺度精品在线看网址| 精品久久久久久久久av| 天堂av国产一区二区熟女人妻| 亚洲无线在线观看| netflix在线观看网站| 一个人免费在线观看电影| 看十八女毛片水多多多| www.www免费av| 国产午夜福利久久久久久| 久久久国产成人免费| 久久精品人妻少妇| 韩国av在线不卡| 五月伊人婷婷丁香| 别揉我奶头 嗯啊视频| 国产精品免费一区二区三区在线| 男女那种视频在线观看| 国产黄a三级三级三级人| 午夜免费男女啪啪视频观看 | 露出奶头的视频| 搞女人的毛片| 日本 欧美在线| 成年女人看的毛片在线观看| 熟女人妻精品中文字幕| 国产精品福利在线免费观看| 欧美极品一区二区三区四区| 香蕉av资源在线| 啦啦啦韩国在线观看视频| 亚洲av一区综合| 午夜福利在线观看免费完整高清在 | 色综合站精品国产| 精品不卡国产一区二区三区| 女人被狂操c到高潮| 国产av不卡久久| 黄色日韩在线| 麻豆av噜噜一区二区三区| 国产男人的电影天堂91| 国产精品一区二区三区四区免费观看 | 欧美3d第一页| 国产av不卡久久| 日韩,欧美,国产一区二区三区 | 日韩精品有码人妻一区| 久久久久久久久中文| 美女cb高潮喷水在线观看| 精华霜和精华液先用哪个| a级一级毛片免费在线观看| 一边摸一边抽搐一进一小说| 亚洲欧美日韩无卡精品| 99精品在免费线老司机午夜| 久久午夜福利片| 亚洲欧美日韩无卡精品| 日日摸夜夜添夜夜添小说| 久久久久国内视频| 无遮挡黄片免费观看| 国产欧美日韩精品一区二区| 在线观看午夜福利视频| 日本色播在线视频| 国产欧美日韩精品一区二区| www.www免费av| 亚洲精品成人久久久久久| 中文字幕高清在线视频| 春色校园在线视频观看| 欧美bdsm另类| 中文字幕av在线有码专区| 99久久精品国产国产毛片| www日本黄色视频网| 午夜日韩欧美国产| 日本欧美国产在线视频| 婷婷六月久久综合丁香| 国产精品99久久久久久久久| 亚洲成人久久爱视频| 丰满人妻一区二区三区视频av| 天天一区二区日本电影三级| 欧美xxxx性猛交bbbb| 国产成年人精品一区二区| 亚洲av二区三区四区|