面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型

黃 進(jìn)，張 浩，田 豐

面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型

黃 進(jìn)1,3，張 浩1,2，田 豐1,3

(1. 中國(guó)科學(xué)院軟件研究所人機(jī)交互北京重點(diǎn)實(shí)驗(yàn)室，北京 100190；2. 中國(guó)科學(xué)院大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，北京 101408；3. 中國(guó)科學(xué)院大學(xué)人工智能學(xué)院，北京 101408)

隨著人機(jī)交互技術(shù)不斷發(fā)展，包含動(dòng)態(tài)內(nèi)容的交互系統(tǒng)，如虛擬/增強(qiáng)/混合現(xiàn)實(shí)、視頻監(jiān)控系統(tǒng)等，逐漸占據(jù)主要地位。面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型受到了越來(lái)越多的關(guān)注，大量的計(jì)算模型被提出，加強(qiáng)了人們對(duì)動(dòng)態(tài)用戶界面的認(rèn)識(shí)和理解。然而，現(xiàn)階段，面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型研究仍在問(wèn)題復(fù)雜度、解釋性、交互底層機(jī)制描述上存在諸多問(wèn)題，極大地限制了動(dòng)態(tài)模型研究的發(fā)展和應(yīng)用。本文通過(guò)對(duì)面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型的研究現(xiàn)狀進(jìn)行分析，對(duì)當(dāng)前存在且急需解決的問(wèn)題進(jìn)行了梳理，并給出了領(lǐng)域未來(lái)發(fā)展的看法，旨在拋磚引玉，為今后面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型研究提供參考。

人機(jī)交互；界面系統(tǒng)；動(dòng)態(tài)場(chǎng)景；動(dòng)態(tài)交互任務(wù)；計(jì)算模型

計(jì)算建模是一種利用計(jì)算機(jī)來(lái)模擬和研究復(fù)雜系統(tǒng)的方法。一個(gè)計(jì)算模型通常包含許多變量，這些變量是所研究系統(tǒng)的特征和屬性。一般來(lái)說(shuō)，計(jì)算模型具有3方面的作用：首先，通過(guò)模型構(gòu)建、參數(shù)估計(jì)和實(shí)驗(yàn)驗(yàn)證解釋系統(tǒng)內(nèi)部的復(fù)雜結(jié)構(gòu)；其次，基于系統(tǒng)當(dāng)前的特征和屬性，對(duì)系統(tǒng)的輸出結(jié)果做出預(yù)測(cè)；最后，通過(guò)單獨(dú)或組合調(diào)整變量并觀察輸出結(jié)果來(lái)進(jìn)行系統(tǒng)模擬，對(duì)系統(tǒng)行為做出仿真。

人機(jī)交互經(jīng)過(guò)了多年發(fā)展，各方面技術(shù)已經(jīng)非常成熟，然而人們對(duì)用戶行為規(guī)律的研究卻相對(duì)滯后，一定程度上制約了交互系統(tǒng)的發(fā)展。因此，近些年來(lái)，越來(lái)越多的學(xué)者開(kāi)始利用計(jì)算建模的方法來(lái)研究人機(jī)交互問(wèn)題，旨在理解用戶行為，預(yù)測(cè)用戶表現(xiàn)，并對(duì)交互過(guò)程進(jìn)行仿真。2021年，國(guó)際計(jì)算機(jī)協(xié)會(huì)人機(jī)交互特別興趣小組ACM SIGCHI，在其最主要的學(xué)術(shù)會(huì)議CHI中設(shè)立了一個(gè)全新的計(jì)算交互分委會(huì)“Computational Interaction Subcommittee”，專注于利用計(jì)算方法研究人機(jī)交互技術(shù)和設(shè)計(jì)，顯示了人機(jī)交互學(xué)術(shù)界對(duì)于計(jì)算模型的重視程度。

隨著人機(jī)交互技術(shù)不斷發(fā)展，包含動(dòng)態(tài)內(nèi)容的交互系統(tǒng)，例如虛擬/增強(qiáng)/混合現(xiàn)實(shí)(Virtual/Augmented/ Mixed Reality，VR/AR/MR)、動(dòng)畫系統(tǒng)、視頻監(jiān)控系統(tǒng)、仿真系統(tǒng)、娛樂(lè)教育系統(tǒng)等，逐漸占據(jù)主要地位，面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型受到了越來(lái)越多的關(guān)注，學(xué)者們構(gòu)建了大量的計(jì)算模型，對(duì)動(dòng)態(tài)交互場(chǎng)景中用戶的時(shí)間表現(xiàn)、精確度和行為進(jìn)行了建模，加強(qiáng)了對(duì)動(dòng)態(tài)用戶界面的認(rèn)識(shí)和理解。然而，現(xiàn)階段面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型研究仍存在諸多問(wèn)題和挑戰(zhàn)，其中包括復(fù)雜動(dòng)態(tài)交互問(wèn)題建模的困難，黑盒模型存在的問(wèn)題，機(jī)制性建模的不足和模型應(yīng)用時(shí)存在的挑戰(zhàn)等，制約了動(dòng)態(tài)模型研究的發(fā)展和應(yīng)用。本文通過(guò)對(duì)面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型研究現(xiàn)狀進(jìn)行分析，對(duì)當(dāng)前存在且亟需解決的問(wèn)題進(jìn)行了梳理，并給出了該領(lǐng)域未來(lái)發(fā)展的看法，旨在拋磚引玉，為今后面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型研究提供參考。

1 研究現(xiàn)狀

1.1 靜態(tài)交互場(chǎng)景的計(jì)算模型

目標(biāo)選擇和軌跡任務(wù)被認(rèn)為是人機(jī)交互中最為基礎(chǔ)的交互任務(wù)，其計(jì)算模型主要包括時(shí)間模型和不確定性模型2類，前者預(yù)測(cè)完成觸控任務(wù)所需時(shí)間，而后者則可以用于計(jì)算成功率。對(duì)于時(shí)間模型，F(xiàn)itts’ Law[1]被證實(shí)是最具魯棒性和廣泛應(yīng)用的時(shí)間模型，完成了如圖1所示的1D目標(biāo)獲取，并對(duì)運(yùn)動(dòng)時(shí)間進(jìn)行了精準(zhǔn)的預(yù)測(cè)，揭示了完成任務(wù)時(shí)間與目標(biāo)大小和目標(biāo)距離的關(guān)聯(lián)[2]，即

其中，MT為完成該任務(wù)所需的平均運(yùn)動(dòng)時(shí)間；A為光標(biāo)起始點(diǎn)到目標(biāo)中心的距離；W為目標(biāo)的寬度；a和b為由指點(diǎn)設(shè)備、操作人員和環(huán)境因素決定的經(jīng)驗(yàn)常數(shù)；對(duì)數(shù)項(xiàng)，被稱之為難度系數(shù)(index of difficulty，ID)。Fitts’ Law最開(kāi)始建立在一個(gè)1D的靜態(tài)觸控任務(wù)中，后來(lái)又被擴(kuò)展到了2D[3-4]、3D[5]以及動(dòng)態(tài)任務(wù)[6]中。

為了預(yù)測(cè)軌跡任務(wù)的時(shí)間表現(xiàn)，ACCOT等[7]對(duì)Fitts’ Law進(jìn)行拓展，提出了Steering Law用于對(duì)軌跡任務(wù)的運(yùn)動(dòng)時(shí)間進(jìn)行預(yù)測(cè)，在如圖2所示的一個(gè)筆直的軌道中，任務(wù)時(shí)間與軌道長(zhǎng)度和軌道寬度的比值呈線性關(guān)系，即

其中，為通道長(zhǎng)度；為通道寬度；a和b是經(jīng)驗(yàn)常數(shù)。

圖2 Steering Law中的筆直通道任務(wù)

利用微分的思想，Steering Law還可以進(jìn)一步拓展到任意光滑軌道中，從而能夠更好地應(yīng)對(duì)急轉(zhuǎn)彎[8]、邊界大小變化通道[9]、以及復(fù)雜管道[10]中。經(jīng)過(guò)推導(dǎo)，Steering Law可以拓展到任意有理通道上，在一般情況下，完成任務(wù)時(shí)間可以表示為無(wú)數(shù)多個(gè)微小的筆直通道的積分。然而，Steering Law的后續(xù)研究發(fā)現(xiàn)，其僅適用于光滑的軌道，而對(duì)嚴(yán)重扭曲或快速變化的軌道預(yù)測(cè)性能不足。因此，許多Steering Law的后續(xù)研究都將主要精力放在處理通道突然發(fā)生變化的情況。例如，文獻(xiàn)[8]對(duì)Steering Law在包含直轉(zhuǎn)角的軌跡任務(wù)的中的表現(xiàn)進(jìn)行了改進(jìn)，文獻(xiàn)[9]討論了通道大小發(fā)生突然變化時(shí)的時(shí)間預(yù)測(cè)模型。

對(duì)于不確定性模型，國(guó)內(nèi)外學(xué)者關(guān)注的焦點(diǎn)在于觸控目標(biāo)選擇時(shí)的落點(diǎn)分布情況，以及由此推算的目標(biāo)選擇成功率。研究者們首先提出了有效寬度和有效距離的概念，即目標(biāo)選擇落點(diǎn)分布中2倍標(biāo)準(zhǔn)差的范圍和均值，進(jìn)而對(duì)Fitts’ Law進(jìn)行修正[11]，提高了特殊情況下Fitts’ Law的預(yù)測(cè)準(zhǔn)確性[12]。WOBBROCK等[13]利用Fitts’ Law和有效寬度，對(duì)落點(diǎn)分布規(guī)律進(jìn)行分析，推導(dǎo)出了一個(gè)1D目標(biāo)獲取的成功率模型(圖3)，揭示了任務(wù)難度系數(shù)和目標(biāo)選擇成功率之間的關(guān)系，即

其中，erf(x)為高斯誤差函數(shù)；MTe為由有效距離和有效寬度計(jì)算出來(lái)的目標(biāo)獲取運(yùn)動(dòng)時(shí)間；a和b是經(jīng)驗(yàn)常數(shù)項(xiàng)。

BI等[14-15]使用雙高斯分布假設(shè)對(duì)小型觸屏設(shè)備交互中的落點(diǎn)分布規(guī)律進(jìn)行建模，對(duì)小型觸控交互中運(yùn)動(dòng)時(shí)間做出更為精確的預(yù)測(cè)。該思想隨后在虛擬鍵盤和文本輸入上面得到了應(yīng)用，有效地改善了鍵盤和文本輸入的精確度[16-17]。

上述模型均為面向靜態(tài)交互場(chǎng)景的計(jì)算模型，而隨著人機(jī)交互技術(shù)不斷發(fā)展，動(dòng)態(tài)交互任務(wù)，例如VR/AR/MR、動(dòng)畫系統(tǒng)中的交互任務(wù)，逐漸占據(jù)主要地位，面向靜態(tài)交互場(chǎng)景的模型的限制越來(lái)越明顯，無(wú)法有效支撐含有動(dòng)態(tài)內(nèi)容的人機(jī)交互界面設(shè)計(jì)與技術(shù)創(chuàng)新。因此，學(xué)者們開(kāi)始著眼于構(gòu)建動(dòng)態(tài)交互場(chǎng)景中的模型，其主要包括動(dòng)態(tài)交互場(chǎng)景中的時(shí)間預(yù)測(cè)模型、錯(cuò)誤率預(yù)測(cè)模型和用戶行為模型。

1.2 時(shí)間預(yù)測(cè)模型

與靜態(tài)場(chǎng)景一致，動(dòng)態(tài)場(chǎng)景中最基礎(chǔ)的交互任務(wù)是移動(dòng)目標(biāo)選擇任務(wù)。對(duì)于移動(dòng)目標(biāo)選擇而言，JAGACINSKI的移動(dòng)目標(biāo)選擇時(shí)間模型[6]是最著名的時(shí)間預(yù)測(cè)模型之一。該模型通過(guò)改進(jìn)的難度系數(shù)解釋目標(biāo)速度的影響，將Fitts’ Law擴(kuò)展到運(yùn)動(dòng)目標(biāo)捕獲中，即

其中，和的含義與Fitts’ Law一致；為目標(biāo)移動(dòng)速度；a，b和c為經(jīng)驗(yàn)常數(shù)。

與Fitts’ Law中的ID相類似，修改后的難度指數(shù)反映了目標(biāo)寬度和速度相互作用與交互時(shí)間之間的關(guān)系。另一個(gè)廣為人知的移動(dòng)目標(biāo)選擇時(shí)間估計(jì)方法來(lái)自文獻(xiàn)[18]，該方法通過(guò)應(yīng)用線性控制模型理論來(lái)推斷運(yùn)動(dòng)目標(biāo)捕獲的困難指數(shù)，利用穩(wěn)態(tài)位置誤差減小目標(biāo)有效寬度，模擬人體獲取運(yùn)動(dòng)目標(biāo)的響應(yīng)，最終估計(jì)完成交互所需時(shí)間。通過(guò)考慮目標(biāo)運(yùn)動(dòng)對(duì)人類時(shí)間準(zhǔn)確度的影響，文獻(xiàn)[19-20]發(fā)現(xiàn)目標(biāo)速度對(duì)不同參與者的目標(biāo)捕獲策略(如追蹤和命中)有不同的影響。并建議用不同的目標(biāo)速度函數(shù)來(lái)估計(jì)目標(biāo)捕獲時(shí)間，而不是用固定的函數(shù)來(lái)處理目標(biāo)速度的影響。HAJRI等[21]還通過(guò)應(yīng)用人類處理器模型[22]來(lái)描述運(yùn)動(dòng)目標(biāo)選擇，推導(dǎo)了一個(gè)2D移動(dòng)目標(biāo)選擇的時(shí)間預(yù)測(cè)模型。該模型在結(jié)合2個(gè)2D靜態(tài)目標(biāo)選擇模型[23-24]的前提下，將橫向和縱向的目標(biāo)移動(dòng)速度引入ID，實(shí)現(xiàn)了2D移動(dòng)目標(biāo)選擇的時(shí)間預(yù)測(cè)。此外，CASALLAS[25]利用數(shù)據(jù)驅(qū)動(dòng)的方式分析了多個(gè)任務(wù)因素與3D移動(dòng)目標(biāo)選擇時(shí)間的相關(guān)關(guān)系，通過(guò)一個(gè)線性函數(shù)對(duì)主要的因素進(jìn)行加權(quán)，得到了一個(gè)預(yù)測(cè)3D移動(dòng)目標(biāo)選擇時(shí)間的模型。

1.3 錯(cuò)誤率預(yù)測(cè)模型

其中，和的含義與式(4)中的含義一致；a，b，c，d，e，f和g為經(jīng)驗(yàn)常數(shù)。

在給定空間選擇落點(diǎn)分布的情況下，通過(guò)對(duì)目標(biāo)選擇區(qū)域內(nèi)概率分布函數(shù)的積分即可以得到錯(cuò)誤率，如圖4所示。

圖4 基于落點(diǎn)分布計(jì)算選擇錯(cuò)誤率[27]

與空間域中獲取目標(biāo)錯(cuò)誤率類似的，對(duì)時(shí)間域中錯(cuò)誤率的建模，可通過(guò)估計(jì)時(shí)間落點(diǎn)分布實(shí)現(xiàn)。文獻(xiàn)[28]通過(guò)假設(shè)用戶在目標(biāo)時(shí)間窗口內(nèi)有一個(gè)隱含的時(shí)間目標(biāo)點(diǎn)，推導(dǎo)出一個(gè)模型來(lái)預(yù)測(cè)時(shí)間指向任務(wù)中的錯(cuò)誤率?；谠摲椒?，提出了多個(gè)衍生模型來(lái)預(yù)測(cè)多線索移動(dòng)目標(biāo)捕獲[32]，包括運(yùn)動(dòng)延遲的移動(dòng)目標(biāo)捕獲[33]，2D移動(dòng)目標(biāo)選擇[34]的錯(cuò)誤率。

1.4 用戶行為模型

盡管上述模型已經(jīng)能夠成功地捕捉用戶交互過(guò)程中的某些瞬間特性(如完成時(shí)間或者整體錯(cuò)誤率)，但是并不涉及用戶交互過(guò)程中的動(dòng)力學(xué)或軌跡的變化[35]。因此，國(guó)內(nèi)外學(xué)者提出了一系列用戶行為模型，用來(lái)描述用戶交互行為的演變過(guò)程。用戶行為模型通?；谟^測(cè)到的用戶表現(xiàn)數(shù)據(jù)，構(gòu)建具有預(yù)測(cè)能力的過(guò)程模型。直線-曲線-拐角模型(curves，line-segments，and corners，CLC)[36]將用戶輸入的手勢(shì)分割成直線、曲線和拐角的組合。該模型對(duì)手勢(shì)中每個(gè)組成部分分別建模：直線由常量、線性或冪函數(shù)建模，曲線由曲率的冪律建模，拐角由基于角度的常數(shù)函數(shù)建模。該模型根據(jù)用戶預(yù)期繪制的形狀，嘗試將手勢(shì)演變過(guò)程進(jìn)行分割，以分段預(yù)測(cè)的形式估計(jì)了用戶完成手勢(shì)所需時(shí)間。這也是對(duì)于手勢(shì)輸入系統(tǒng)性建模與理解最早的工作之一。QUINN和ZHAI[37]通過(guò)對(duì)用戶使用手勢(shì)鍵盤輸入過(guò)程中產(chǎn)生的用戶軌跡進(jìn)行分析，發(fā)現(xiàn)手勢(shì)軌跡的形態(tài)和動(dòng)態(tài)特性可以通過(guò)最小加加速度模型(minimum jerk model)進(jìn)行模擬。通過(guò)該模型模擬的軌跡在圖形形狀和動(dòng)力學(xué)特征上都與原始軌跡高度匹配。同時(shí)基于最小加加速度模型建立了一個(gè)手勢(shì)生成模型，該模型可以對(duì)用戶任意手勢(shì)輸入任務(wù)所作動(dòng)作產(chǎn)生的手勢(shì)軌跡進(jìn)行預(yù)測(cè)。

除了對(duì)用戶手勢(shì)進(jìn)行建模外，國(guó)內(nèi)外學(xué)者也對(duì)不同維度下用戶的基礎(chǔ)目標(biāo)選擇任務(wù)進(jìn)行了過(guò)程建模。OULASVIRTA等[38]使用神經(jīng)力學(xué)模型來(lái)模擬用戶按下按鈕的1D運(yùn)動(dòng)過(guò)程，模型框架如圖5所示。該模型可以模擬4種不同按鈕類型下用戶的力作用并預(yù)測(cè)完成按鈕任務(wù)所需的時(shí)間。總體上較好地模擬了用戶輸入過(guò)程的運(yùn)動(dòng)學(xué)、動(dòng)力學(xué)和用戶性能表現(xiàn)。HUANG等[39]基于最優(yōu)反饋策略，構(gòu)建了一種2D目標(biāo)選擇的軌跡建模模型。該模型將目標(biāo)狀態(tài)作為反饋信息影響對(duì)象的運(yùn)動(dòng)過(guò)程，實(shí)現(xiàn)了對(duì)2D下靜態(tài)和動(dòng)態(tài)目標(biāo)選擇任務(wù)的軌跡建模。BACHYNSKYI和MüLLER[40]針對(duì)3D空間下的用戶目標(biāo)選擇運(yùn)動(dòng)軌跡進(jìn)行研究，探討了三階滯后模型來(lái)模擬空中用戶運(yùn)動(dòng)軌跡的可能性。該模型能較好地模擬用戶交互過(guò)程中的軌跡、速度、加速度等動(dòng)力學(xué)屬性。盡管在建模過(guò)程重剔除了部分對(duì)用戶軌跡結(jié)果影響較小的2個(gè)維度，將三維軌跡映射為一維運(yùn)動(dòng)，但這也是最早的對(duì)用戶3D空間下交互軌跡進(jìn)行建模的嘗試之一。

圖5 文獻(xiàn)[38]中給出的基于神經(jīng)力學(xué)的模型框架

2 問(wèn)題與挑戰(zhàn)

2.1 復(fù)雜動(dòng)態(tài)交互問(wèn)題建模的困難

靜態(tài)交互任務(wù)是比較簡(jiǎn)單的。以Fitts’ Law的1D選擇任務(wù)為例，其僅涉及目標(biāo)大小()和目標(biāo)距離()2個(gè)變量，而當(dāng)問(wèn)題放到2D空間中則變得復(fù)雜得多，因?yàn)檫@樣需要考慮目標(biāo)的長(zhǎng)和寬對(duì)用戶表現(xiàn)得影響，對(duì)于矩形目標(biāo)，同樣的距離(起始位置到目標(biāo)中心)的條件下目標(biāo)處于不同空間方位，實(shí)際用戶表現(xiàn)也會(huì)受到影響[4]。

而對(duì)于動(dòng)態(tài)交互任務(wù)，問(wèn)題的復(fù)雜性則進(jìn)一步增加。以2D移動(dòng)目標(biāo)選擇為例，首先，動(dòng)態(tài)交互場(chǎng)景中，目標(biāo)可能具有移動(dòng)速度、形狀、朝向和初始位置，這些條件的改變均會(huì)導(dǎo)致用戶選擇策略和表現(xiàn)的巨大差異，因此必須考慮的因素顯著增加；其次，在動(dòng)態(tài)交互場(chǎng)景中，目標(biāo)地移動(dòng)速度、形狀、朝向均有可能隨時(shí)發(fā)生動(dòng)態(tài)變化，這種變化同樣會(huì)顯著影響用戶表現(xiàn)；最后，上述各類因素及其隨著時(shí)間推移而發(fā)生的變化將產(chǎn)生無(wú)數(shù)種無(wú)法枚舉的情況，且無(wú)法利用傳統(tǒng)的心理學(xué)實(shí)驗(yàn)方法將其一一進(jìn)行測(cè)試以尋找規(guī)律，這種方法在處理動(dòng)態(tài)任務(wù)建模時(shí)可能束手無(wú)策。本文認(rèn)為，這些挑戰(zhàn)是導(dǎo)致現(xiàn)階段動(dòng)態(tài)場(chǎng)景下的計(jì)算模型魯棒性差、精準(zhǔn)度低的主要原因。

因此，許多學(xué)者開(kāi)始轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)的方式，希望利用黑盒模型和機(jī)器學(xué)習(xí)手段實(shí)現(xiàn)動(dòng)態(tài)交互場(chǎng)景下的用戶表現(xiàn)建模。然而，這種方式卻會(huì)帶來(lái)模型可解釋性差，無(wú)法對(duì)界面設(shè)計(jì)給出指導(dǎo)等問(wèn)題。

2.2 黑盒模型存在的問(wèn)題

隨著交互場(chǎng)景的復(fù)雜化，學(xué)者嘗試用深度學(xué)習(xí)或復(fù)雜的集成模型來(lái)解決用戶動(dòng)態(tài)交互場(chǎng)景下的行為建模問(wèn)題。這類黑盒模型通常具有很高的準(zhǔn)確性，然而，其同樣存在著以下幾個(gè)主要問(wèn)題：

首先，黑盒模型的高準(zhǔn)確率依賴于大量的數(shù)據(jù)集合。學(xué)者通常需要依靠眾包等數(shù)據(jù)采集手段[41]，收集大量的用戶數(shù)據(jù)，以支撐黑盒模型的參數(shù)訓(xùn)練，大規(guī)模的數(shù)據(jù)采集也導(dǎo)致建模成本大大提高。其次，難以挖掘黑盒模型中每個(gè)特征與用戶行為機(jī)制的內(nèi)在聯(lián)系。黑盒模型的高準(zhǔn)確率與特征個(gè)數(shù)以及特征參數(shù)無(wú)法分開(kāi)，但是通常來(lái)講，黑盒模型的工作原理往往難以解釋。由于黑盒模型缺少對(duì)數(shù)據(jù)表現(xiàn)背后的行為機(jī)制的推理，這也使得這類模型難以對(duì)交互設(shè)計(jì)給出指導(dǎo)意見(jiàn)。最后，黑盒模型難以泛化和遷移。一個(gè)有著高準(zhǔn)確率的黑盒模型往往針對(duì)特定的交互任務(wù)，即使在某個(gè)場(chǎng)景中能夠應(yīng)用，該模型也很難在別的交互場(chǎng)景下有著同樣高效的建模效率。

因此，能夠直接反映變量之間關(guān)系的白盒模型雖然預(yù)測(cè)能力通常有限，但是，由于這類簡(jiǎn)單模型具有更好的可解釋性以及更容易理解的內(nèi)部工作原理，仍然是用戶表現(xiàn)建模的主流工具。

2.3 機(jī)制性建模的不足

機(jī)制性建模從用戶行為數(shù)據(jù)數(shù)呈現(xiàn)入手，采取回歸分析、控制理論等建模手段模擬用戶的運(yùn)動(dòng)機(jī)制。常見(jiàn)的機(jī)制性模型的目的是基于觀測(cè)到的用戶表現(xiàn)數(shù)據(jù)，構(gòu)建具有強(qiáng)大預(yù)測(cè)能力的計(jì)算工具，并不試圖模擬內(nèi)部的生物學(xué)原理運(yùn)動(dòng)特征。而在運(yùn)動(dòng)控制和神經(jīng)學(xué)科領(lǐng)域文獻(xiàn)中，人類手部、胳膊的運(yùn)動(dòng)建模仿真已經(jīng)得到了廣泛地研究，部分模型嘗試從肌肉關(guān)節(jié)作用[42-43]等更深層次的運(yùn)動(dòng)機(jī)制中理解和建模用戶的交互行為。雖然該領(lǐng)域與人機(jī)交互領(lǐng)域下的用戶行為有著較高的相似度，但是這種建模方法仍未廣泛地應(yīng)用于人機(jī)交互領(lǐng)域用戶行為建模的研究中。

此外，目前機(jī)制性建模仍停留在單純的感知-運(yùn)動(dòng)控制層次，仍未拓展到認(rèn)知層次。有大量的數(shù)據(jù)表明，人的小腦可以參與到高層次的人類認(rèn)知、運(yùn)動(dòng)控制功能中[44-46]。但是目前機(jī)制性模型僅僅可以對(duì)用戶的行為機(jī)制進(jìn)行解釋，仍未找到用戶行為與用戶認(rèn)知功能間的內(nèi)部聯(lián)系。

2.4 模型應(yīng)用時(shí)存在的困難

人機(jī)交互計(jì)算模型對(duì)于交互技術(shù)的發(fā)展和研究具有重要作用。好的計(jì)算模型能夠預(yù)測(cè)用戶的行為，提供技術(shù)創(chuàng)新支持，對(duì)用戶界面設(shè)計(jì)做出指導(dǎo)。近年來(lái)，人機(jī)交互學(xué)者們針對(duì)動(dòng)態(tài)交互場(chǎng)景提出的計(jì)算模型越來(lái)越多，加強(qiáng)了對(duì)基礎(chǔ)交互現(xiàn)象的理解，然而人們卻很少看到這些模型在交互系統(tǒng)中的直接應(yīng)用，其主要原因有以下幾點(diǎn)：

首先，現(xiàn)存模型主要針對(duì)少數(shù)幾種任務(wù)如移動(dòng)目標(biāo)選擇進(jìn)行建模，對(duì)實(shí)際交互場(chǎng)景中大量使用的一些任務(wù)，如手勢(shì)、身體姿態(tài)、眼動(dòng)頭動(dòng)、物體操縱、移動(dòng)或?qū)Ш降染从谐墒斓哪Ｐ停瑢?dǎo)致在實(shí)際應(yīng)用場(chǎng)景中存在需求卻無(wú)模型可用的情況；其次，現(xiàn)存模型的泛化性較低，往往在實(shí)際交互條件，例如界面布局、設(shè)備尺寸和精度、用戶人群等發(fā)生改變后無(wú)法使用，必須要在特定場(chǎng)景下重新采集數(shù)據(jù)，對(duì)模型參數(shù)重新估計(jì)方可保證模型性能，而這種要求在實(shí)際工程應(yīng)用中往往是不現(xiàn)實(shí)的；最后，現(xiàn)存模型在構(gòu)建時(shí)往往不是以解決實(shí)際應(yīng)用中存在的問(wèn)題出發(fā)的，用其解決實(shí)際問(wèn)題時(shí)一般需要對(duì)該問(wèn)題進(jìn)行小心翼翼地抽象化和形式化以適應(yīng)模型的使用條件，而一旦這種抽象和形式化操作不當(dāng)，有可能極大降低模型表現(xiàn)。這一點(diǎn)很大程度上降低了一般人機(jī)交互從業(yè)者們使用模型的意愿，甚至寧愿依靠自己的經(jīng)驗(yàn)做出界面設(shè)計(jì)判斷而不愿相信模型預(yù)測(cè)結(jié)果。

本文認(rèn)為，人機(jī)交互計(jì)算模型未來(lái)是否能快速發(fā)展，關(guān)鍵在于其能否服務(wù)于實(shí)際，因此，解決以上3個(gè)問(wèn)題是當(dāng)前從事人機(jī)交互建模工作的學(xué)者們需要優(yōu)先考慮的事。

3 總結(jié)與展望

隨著新型用戶界面中動(dòng)態(tài)內(nèi)容的不斷增多，面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型逐漸受到重視，在延續(xù)靜態(tài)任務(wù)交互模型的基礎(chǔ)上，面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型對(duì)基礎(chǔ)交互任務(wù)中用戶的完成時(shí)間、錯(cuò)誤率和行為做出了建模，一定程度上解釋了動(dòng)態(tài)交互場(chǎng)景中的用戶行為，有助于改進(jìn)動(dòng)態(tài)用戶界面的設(shè)計(jì)。

然而，面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型研究仍存在諸多問(wèn)題和挑戰(zhàn)，其中包括復(fù)雜動(dòng)態(tài)交互問(wèn)題建模的困難，黑盒模型存在的問(wèn)題，機(jī)制性建模的不足和模型應(yīng)用時(shí)存在的挑戰(zhàn)等，極大地限制了動(dòng)態(tài)模型研究的發(fā)展和應(yīng)用。如何有效地解決這些問(wèn)題可能是每一位計(jì)算模型領(lǐng)域的學(xué)者們必須深入思考的事。

在此，本文將拋磚引玉，給出動(dòng)態(tài)交互場(chǎng)景中計(jì)算模型的3個(gè)發(fā)展方向和可能的途徑，供讀者參考。

(1) 模型可解釋性的提高鑒于動(dòng)態(tài)交互場(chǎng)景的復(fù)雜性，黑盒模型是一種潛在的用戶建模有效手段。然而人機(jī)交互模型本質(zhì)上需要研究用戶行為背后的行為機(jī)制，并最終給出用戶界面設(shè)計(jì)的指導(dǎo)意見(jiàn)。在建模方法選擇時(shí)，要對(duì)黑盒模型的建模準(zhǔn)確性和可解釋性進(jìn)行權(quán)衡。要解決黑盒模型的可解釋性需要從2個(gè)方向入手：一是從黑盒模型本身角度出發(fā)，研究不同特征參數(shù)對(duì)模型建模的行為表現(xiàn)的影響，進(jìn)而分析黑盒模型是如何依賴于每個(gè)特征，這也是目前深度學(xué)習(xí)領(lǐng)域一個(gè)活躍的研究方向之一；二是可以從理解用戶意圖角度出發(fā)，在黑盒模型基礎(chǔ)上構(gòu)建可解釋性更強(qiáng)的代理模型，用于輔助理解指導(dǎo)人類運(yùn)動(dòng)的認(rèn)知過(guò)程，從而構(gòu)建更為完整的計(jì)算模型工具，最終能夠?yàn)樵O(shè)計(jì)者提供更為完整和有用的建模結(jié)果。

(2) 用戶行為底層機(jī)制的建模。要保證用戶行為模型在動(dòng)態(tài)交互場(chǎng)景下的準(zhǔn)確度，需要進(jìn)一步分析用戶行為下更深層次的用戶表現(xiàn)，構(gòu)建更為底層的用戶行為機(jī)制模型。還需進(jìn)一步模擬人類的生物學(xué)原理運(yùn)動(dòng)特征，甚至構(gòu)建認(rèn)知層面的用戶行為模型。從用戶認(rèn)知層面出發(fā)，要求模型可以模擬用戶在動(dòng)態(tài)交互場(chǎng)景下的認(rèn)知變化，以及不同環(huán)境下用戶的行為策略，從而在認(rèn)知層面指導(dǎo)用戶的關(guān)節(jié)、肌肉行為模型，并最終呈現(xiàn)在用戶的行為表現(xiàn)中。而這種基于更為底層機(jī)制的模型也會(huì)在一定程度上提升用戶行為模型的魯棒性，并且可能使得模型具有較強(qiáng)的泛化遷移能力。

(3) 模型在界面設(shè)計(jì)和交互技術(shù)中的應(yīng)用。正如上文所述，人機(jī)交互計(jì)算模型未來(lái)是否能快速發(fā)展，關(guān)鍵在于其能否服務(wù)于實(shí)際。面向動(dòng)態(tài)交互場(chǎng)景的計(jì)算模型在實(shí)際交互系統(tǒng)中有著廣泛的應(yīng)用前景，在以下幾個(gè)方面將發(fā)揮重要作用：

首先，在動(dòng)態(tài)用戶界面交互設(shè)計(jì)中，人機(jī)交互計(jì)算模型能夠?qū)Π瑒?dòng)態(tài)用戶界面中的用戶表現(xiàn)做出預(yù)測(cè)，進(jìn)而對(duì)界面的動(dòng)態(tài)因素包括物體的動(dòng)態(tài)、軌跡變化、動(dòng)畫快慢等進(jìn)行優(yōu)化；其次，人機(jī)交互計(jì)算模型允許用戶界面通過(guò)理解人類行為，將這類模型融入交互系統(tǒng)的研發(fā)之中，能使計(jì)算系統(tǒng)更好地適應(yīng)用戶偏好，推測(cè)用戶意圖，從而提升交互效率和交互體驗(yàn)；最后，人機(jī)交互計(jì)算模型能夠揭示人類行為規(guī)律，其靈活應(yīng)用能為用戶界面、交互技術(shù)、交互系統(tǒng)和設(shè)備的研發(fā)提供啟示和支持，加快新型交互系統(tǒng)的產(chǎn)生。

[1] FITTS P M. The information capacity of the human motor system in controlling the amplitude of movement[J] Journal of Experimental Psychology: General, 1954, 47(6): 381-391.

[2] MACKENZIE I S. Fitts’ law as a research and design tool in human-computer interaction[J] Human-Computer Interaction, 1992, 7(1): 91-139.

[3] MACKENZIE I S, BUXTON W. Extending Fitts’ law to two-dimensional tasks[C]//CHI’92: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 1992: 219-226.

[4] ZHANG X Y, ZHA H B, FENG W X. Extending Fitts’ law to account for the effects of movement direction on 2d pointing[C]//CHI’12: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2012: 3185-3194.

[5] MYRATA A, IWASE H. Extending Fitts’ law to a three-dimensional pointing task[J]. Human Movement Science, 2001, 20(6): 791-805.

[6] JAGACINSKI R J, REPPERGER D W, WARD S L, et al. A test of Fitts’ law with moving targets[J]. Human Factors, 1980, 22(2), 225-233.

[7] ACCOT J, ZHAI S M, BELIN A E. Beyond Fitts’ law: models for trajectory-based HCI tasks[C]//CHI’97: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 1997: 295-302.

[8] PASTEL R. Measuring the difficulty of steering through corners[C]//CHI’06: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2006: 1087-1096.

[9] YAMANAKA S, STUERALINGER W, MIYASHITA H. Steering through sequential linear path segments[C]//CHI’17: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2017: 232-243.

[10] NANCEL M, LANK E. Modeling user performance on curved constrained paths[C]//CHI’17: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2017: 244-254.

[11] WELFORD A T. Fundamentals of skill[M] London: Methuen, 1968: 1-426.

[12] ZHAI S M, KONG J, REN X S. Speed–accuracy tradeoff in Fitts’ law tasks—on the equivalency of actual and nominal pointing precision[J]. International Journal of Human-Computer Studies, 2004, 61(6): 823-856.

[13] WOBBROCK J O, CUTRELL E, HARADA S, et al. An error model for pointing based on Fitts’ law[C]//CHI’08: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2008: 1613-1622.

[14] BI X J, ZHAI S. Bayesian touch: a statistical criterion of target selection with finger touch[C]//The 26th Annual ACM Symposium on User Interface Software and Technology. 2013: 51-60.

[15] BI X J, LI Y, ZHAI S M. FFitts law: modeling finger touch with fitts’ law[C]//CHI’13: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2013: 1363-1372.

[16] HENZE N, RUKZIO E, BOLL S. Observational and experimental investigation of typing behaviour using virtual keyboards for mobile devices[C]//CHI’12: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press,2012: 2659-2668.

[17] WEIR D, POHL H, ROGERS S, et al. Uncertain text entry on mobile devices[C]//CHI’14: Proceedings of the AVM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2014: 2307-2316.

[18] HOFFNMANN E R. Capture of moving targets: a modification of Fitts’ Law[J]. Ergonomics, 1991, 34(2): 211-220.

[19] TREASILIAN J R, LONERGAN A. Intercepting a moving target: effects of temporal precision constraints and movement amplitude[J]. Experimental Brain Research, 2002, 142(2): 193-207.

[20] TRESILIAN J R. Hitting a moving target: perception and action in the timing of rapid interceptions[J]. Perception & Psychophysics, 2005, 67(1): 129-149.

[21] HAJRI A, FELS S, MILLER G, et al. Moving target selection in 2D graphical user interfaces[C]//2011 IFIP Conference on Human-Computer Interaction. Heidelberg: Springer, 2011: 141-161.

[22] CARD S K, MORAN T P, NEWELL A. The keystroke-level model for user performance time with interactive systems[J]. Communications of the ACM, 1980, 23(7): 396-410.

[23] MACKENZIE I S. Fitts’ law as a research and design tool in human-computer interaction[J]. Human-Computer Interaction, 1992, 7(1): 91-139.

[24] GROSSMAN T, BALAKRISKNAN R. Pointing at trivariate targets in 3D environments[C]//CHI’04: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2004: 447-454.

[25] CASALLAS J S. Prediction of user action in moving-target selection tasks[D]. Ames: Iowa State University, 2015.

[26] WOBBROCK J O, CUTRELL E, HARADA S, et al. An error model for pointing based on Fitts’ law[C]//CHI’08: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2008: 1613-1622.

[27] HUANG J, TIAN F, FAN X M, et al. Understanding the uncertainty in 1D unidirectional moving target selection[C]//CHI’18: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 1-12.

[28] LEE B, OULASVIRTA A. Modelling error rates in temporal pointing[C]//CHI’16: Proceedings of the ACM CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2016: 1857-1868.

[29] ROLIN R A, FOOKEN J, SPERING M, et al. Perception of looming motion in virtual reality egocentric interception tasks[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 25(10): 3042-3048.

[30] HUANG J, TIAN F, LI N L, et al. Modeling the uncertainty in 2D moving target selection[C]//The 32nd Annual ACM Symposium on User Interface Software and Technology. New York: ACM Press, 2019: 1031-1043.

[31] HUANG J, TIAN F, FAN X M, et al. Modeling the endpoint uncertainty in crossing-based moving target selection[C]//2020 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2020: 1-12.

[32] LEE B, KIM S, OILASVIRTA A, et al. Moving target selection: a cue integration model[C]//2018 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 1-12.

[33] LEE I, KIM S, LEE B. Geometrically compensating effect of end-to-end latency in moving-target selection games[C]//2019 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2019: 560: 1-560: 12.

[34] PARK E, LEE B. An intermittent click planning model[C]//2020 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2020: 9: 1-9: 13.

[35] VIVIANI P, FLASH T. Minimum-jerk, two-thirds power law, and isochrony: converging approaches to movement planning[J]. Journal of Experimental Psychology: Human Perception and Performance, 1995, 21(1): 32.

[36] CAO X, ZHAI S. Modeling human performance of pen stroke gestures[C]//2007 SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2007: 1495-1504.

[37] QUINN P, ZHAI S. Modeling gesture-typing movements[J]. Human–Computer Interaction, 2018, 33(3): 234-280.

[38] OULASVIRTA A, KIM S, LEE B. Neuromechanics of a button press[C]//2018 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 4099-4112.

[39] HUANG J, PENG X L, TIAN F, et al. Modeling a target-selection motion by leveraging an optimal feedback control mechanism[J]. Science China Information Sciences, 2018, 61(4): 044101:1-044101:3.

[40] BACHYNSKYI M, MüLLER J. Dynamics of aimed mid-air movements[C]//2020 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2020: 67: 1-67: 12.

[41] SWEARNGIN A, LI Y. Modeling mobile interface tappability using crowdsourcing and deep learning[C]//2019 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2019: 75: 1-75: 11.

[42] CAMPOS F M M O, CALADO J M F. Approaches to human arm movement control—a review[J]. Annual Reviews in Control, 2009, 33(1): 69-77.

[43] SHADMEHR R, WISE S P. The computational neurobiology of reaching and pointing: a foundation for motor learning[M]. Cambridge: MIT Press, 2005: 1-573.

[44] MIDDLETON F A, STRICK P L. The cerebellum: an overview[J]. Trends in Neurosciences, 1998, 21(9): 367-369.

[45] TAMADA T, MIYAUCHI S, IMAMIZU H, et al. Cerebrocerebellar functional connectivity revealed by the laterality index in tool-use learning[J]. Neuroreport, 1999, 10(2): 325-331.

[46] KAWATO M. Internal models for motor control and trajectory planning[J]. Current Opinion in Neurobiology, 1999, 9(6): 718-727.

Computational model for dynamical interaction scenarios

HUANG Jin1,3, ZHANG Hao1,2, TIAN Feng1,3

(1. Beijing Key Lab of Human-Computer Interaction, Institute of Software Chinese Academy of Sciences, Beijing 100190, China;2. School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 101408, China;3. School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 101408, China)

With the development of human-computer interaction (HCI) technology, interactive systems including dynamic content, such as virtual/augmented/mixed reality, video surveillance system, etc., gradually becomes the mainstream. Computational models for dynamic interaction scenarios have attracted more and more attention. HCI researchers proposed numerous models that significantly improve our understanding of dynamical user interfaces. However, there are still many challenges in the research of computational model for dynamical interaction scenarios. The problems of complexity in dynamic interaction scenarios, lack of interpretability, weakness in descripting interaction mechanisms greatly limit the development and application of computational models for dynamical interaction scenarios. We review related work and recent advances in the computing model for dynamic interaction scenarios, summarize existing problems, and offer our predictions for the future development in this field. The purpose of this paper is to provide references for future research on computing models for dynamical interaction scenarios.

human computer interaction; interactive system; dynamic scenarios; dynamic interaction task; computational model

TP 391

10.11996/JG.j.2095-302X.2021030359

A

2095-302X(2021)03-0359-08

2021-04-21；

2021-05-19

21 April 2021；

19 May，2021

國(guó)家自然科學(xué)基金項(xiàng)目(61802379)；中國(guó)科學(xué)院前沿科學(xué)重點(diǎn)研究項(xiàng)目(QYZDY-SSW-JSC041)；中國(guó)科學(xué)院青年創(chuàng)新促進(jìn)會(huì)項(xiàng)目(2020113)

National Natural Science Foundation of China (61802379); Key Research Program of Frontier Sciences CAS (QYZDY-SSW-JSC041); Youth Innovation Promotion Association CAS (2020113)

黃 進(jìn)(1985-)，男，廣西玉林人，助理研究員，博士。主要研究方向?yàn)槿藱C(jī)交互理論、模型和方法。E-mail：huangjin@iscas.ac.cn

HUANG Jin (1985-), male, assistant professor, Ph.D. His main research interests cover human-computer interaction theory, concepts and models. E-mail: huangjin@iscas.ac.cn

田 豐(1976-)，男，陜西延安人，研究員，博士。主要研究方向?yàn)槿藱C(jī)交互、虛擬現(xiàn)實(shí)等。E-mail：tianfeng@iscas.ac.cn

TIAN Feng (1976-), male, professor, Ph.D. His main research interests cover human-computer interaction, virtual reality, etc. E-mail：tianfeng@iscas.ac.cn