體感交互中的基礎點擊任務工效評估

張新勇

(中國人民大學信息學院，北京 100872)

1 引言

近年來，隨著自然用戶界面(Natural User Interface,NUI)、體感交互等概念逐漸為人所熟知，以Kinect為代表的體感設備及其應用逐漸進入人們的日常生活。人們可在游戲娛樂、教育教學[1]、醫(yī)療保健[2]等諸多領域發(fā)現體感設備的典型應用。近年來，除了微軟公司發(fā)布的Kinect設備，因特爾、蘋果等著名公司也推出了類似的設備。同期，市場上也出現了像Leap Motion這樣可感應用戶手指運動的體感設備。這預示著自然人機交互具備了更多更好的技術基礎，將有更加新穎的應用范例面世，前景將更加光明。

在這樣的背景下，有必要從人機交互(Human-computer Interacting,HCI)的角度對以Kinect為代表的新型體感設備的可用性進行深入研究，其中評估相關設備在典型交互任務中的人機工效問題(Human Performance)是一個基礎性的HCI問題。在傳統(tǒng)圖形用戶界面環(huán)境下，以鼠標為代表的點擊設備居于主導地位，它們的人機工效滿足費茨法則(Fitts’ law)的描述[3]，即完成點擊任務的時間MT與任務的難度指數ID線性相關。一維形式的費茨法則常被表示為如下的形式：

(1)

其中a和b為兩個回歸系數；A表示移動距離，W代表目標大小(如帶狀目標的寬度、正方形圓形目標的邊長和直徑等)；對數項被定義為難度指數ID。在HCI領域，費茨法則本身以及以它為理論工具的人機工效評估得到了持久而深入的研究。相對鼠標而言，體感設備的使用一定程度上拓展了交互的空間與自由度。除擺脫了二維桌面狹小物理區(qū)間的限制，體感交互場景常常配備一個大尺寸屏幕作為視覺反饋輸出的載體。忽略體感設備對手部跟蹤的性能局限(如采樣頻率、穩(wěn)定性和精確性等)，若用它取代傳統(tǒng)鼠標執(zhí)行基本的交互控制任務，其中的手眼協(xié)調與控制反饋過程將有別于用戶操控鼠標時的情形。此時，費茨法則的有效性成為一個新的研究問題。換言之，有必要對基于體感設備的基礎交互任務中的人機工效進行深入的研究。

本文設計了一個在65寸大屏幕場景下基于Kinect的簡單的光標運動控制策略。我們通過點擊任務(Pointing Task)實驗，檢驗了費茨法則的有效性；同時，由于運動方向因素對人機工效有不可忽視的影響[4],本文也在實驗設計中充分考慮了這一因素，并進行了深入分析。

2 相關研究

將體感設備作為一種新型的人機交互輸入工具，需要對其進行必要的評估研究，以為交互設計提供參考。本節(jié)從這一角度出發(fā)簡要回顧相關的研究工作。

Libardi等人開發(fā)了一個基于Kinect的可視化應用系統(tǒng)，并按照可用性測試的標準，測試分析了Kinect在旋轉、縮放和平移等不同操作任務中的績效和用戶評價[5]。他們的結果表明，Kinect在操作時間與次數等定量指標，以及體能消耗和舒適度等定性指標方面不及傳統(tǒng)鼠標的使用效率；但是在便利性(Convenience)與恰當性(Adequacy)分方面，Kinect有更高的用戶滿意度。因此，在特定的自然交互場景中，用戶更愿意用Kinect替代鼠標，盡管在桌面交互環(huán)境下Kinect還不能勝過鼠標。

Pino等人通過兩個點擊任務實驗，研究對比了Kinect與鼠標在2D和3D條件下的工效和控制光標的運動軌跡特征[6]。對于2D點擊任務，他們采用了標準的多向點擊布局設計[7]。對于3D點擊任務，他們用一個虛擬立方體的頂點來控制點擊目標的布局。每次測試時，需將光標從立方體的一個定點移動到其對角線頂點的目標上為止。對于Kinect設備，點擊任務的完成均通過其語音信號來觸發(fā)控制。他們的實驗結果表明，在2D條件下，Kinect作為點擊設備的“生產力”(Throughput[7])比鼠標的低39%，但在3D條件下要高出9.7%。須指出的是，當用鼠標來執(zhí)行3D點擊任務時，他們通過滾輪控制光標在z軸方向的運動，這顯然不如Kinect自然直觀。從他們的回歸分析結果看，雖然數據擬合度(R2)均較低，但尚不足以得出Kinect作為點擊設備是否滿足費茨法則的結論。一是他們在實驗中僅設置了5個ID水平，二是擬合分析時并非采用所有被試者在每個ID水平下MT的總體均值。

Fürntratt與Neuschmied也設計了類似的2D點擊任務對Kinect進行了評估研究[8]。但他們的實驗與Pino等人的2D點擊任務實驗相比，主要有三處不同。一是單擊命令的觸發(fā)方式不同，前者的體感設備同時跟蹤被試者的兩只手，其中一只手負責定位所需目標(移動光標)，而另一只負責選擇確認(觸發(fā)單擊命令)。二是實驗界面的視覺空間尺度不同，前者通過投影儀將交互界面投射到幕布上，其視覺空間遠大于后者的19寸TFT顯示器。三是驅動光標的機制不同，前者通過手臂上兩個關節(jié)點的3D空間坐標所確定的直線在2D投影平面上的交點來驅動定位光標，后者僅根據手腕關節(jié)點的相對位移來驅動光標。Fürntratt和Neuschmied設置了兩種軀體關節(jié)點組合模式來控制光標，一個是肘腕組合，另一個是肩腕組合。他們的實驗結果表明，肩腕組合條件下的工效明顯更好?？紤]到體感設備的精度和誤差，我們認為用兩個相對較近關節(jié)點的坐標，如肘和腕，去計算相對較遠的第三點坐標，誤差將會累積和放大。在肩腕模式下，肩膀位置相對較為固定，可在一定程度上降低光標位置誤差的累積和放大，從而得到相對較好的工效。

Polá?ek等人針對大屏幕體感交互場景，設計了在靜態(tài)和動態(tài)界面布局下，通過Kinect跟蹤單手或雙手完成目標點擊任務的方法，并與使用任天堂遙控手柄和傳統(tǒng)鼠標的方式進行了對比[9]。這里的動態(tài)界面指屏幕上的交互元素可隨用戶身體動態(tài)移動，保持與身體的相對位置不變。在他們的實驗中，Kinect通過識別按壓動作來觸發(fā)單擊事件，完成一次點擊測試。他們的結果同樣表明Kinect在工效方面沒有比其它設備表現得更好，新穎的動態(tài)界面也沒取得預期的優(yōu)勢，但他們明確指出基于Kinect的四種點擊任務中的人機工效均明顯服從費茨法則。Yuan等人在立體電視的3D視覺場景中用多向點擊任務評估了Kinect的工效，并與虛擬激光點擊和鼠標點擊進行了對比[10]。所謂虛擬激光，是指整合利用Kinect檢測到的右手三維坐標和任天堂MotionPlus手柄檢測到的姿態(tài)方位信息，使得該手柄可以像激光筆一樣能在屏幕上投射出一個虛擬光點(光標)。他們的實驗結果表明，使用Kinect也較好地服從費茨法則(R2接近0.9)。需指出的是，除了鼠標外，其余兩種方式沒有類似單擊這樣的確認機制，而是通過自動確認完成每次測試，以消除個體差異。Sambrooks和Wilkinson將基于Kinect的手勢操作與觸控和鼠標兩種方式進行了對比[11]，其中Kinect條件下的任務也是采取了自動確認完成的策略。Lim和Jung還進一步考慮了方向因素[12]，實驗結果表明在(接近)水平的方向上Kinect有著相對較好的人機工效。

上述研究將體感交互中的不同點擊方式，或將體感設備與鼠標觸控及其它體感設備進行了評估對比?？梢钥闯?，一致的結果是Kinect在2D點擊任務中的工效并無優(yōu)勢；但其是否服從費茨法則卻模棱兩可。僅文獻[9-10]給出了明確服從的結論，其中文獻[9]采用了原始的ID定義進行數據擬合。Lim和Jung雖然考慮了方向因素，但并未系統(tǒng)分析其對Kinect點擊工效的影響，也未揭示在不同方向上費茨法則是否有效。這些遺留的不確定性為本文的進一步深入研究提供了空間。

3 研究問題的提出

在傳統(tǒng)的人機交互領域中，費茨法則(Fitts' law)是一個簡明且有效的分析GUI中居主導地位的點擊任務人機工效的數學模型，是分析評估人機工效的理論工具，其有效性和價值得到了廣泛驗證和體現[7]。對類似Kinect這樣的體感交互設備，交互無需遙控手柄這類輔助設備，在交互空間中有更大的自由度，使得通過自然手勢來表達交互需求成為可能，也給用戶帶來更新穎自然的體驗。

但基于體感設備的目標選擇(點擊任務)是否仍然滿足費茨法則還需更深入的研究。本文的一個首要任務是研究驗證費茨法則在體感交互場景中的有效性，進而探討其改進的必要性和可能性。同時，考慮到在體感交互過程中，肢體運動軌跡的方向性比在桌面環(huán)境中操控鼠標時表現得更加明確，因此本文關注的另一個重要問題是在體感交互場景下，運動方向對交互的影響，即在不同運動方向上點擊任務的工效差異是否顯著，以及費茨法則在不同方向上是否仍然有效。為此，我們設計了一個體感交互實驗來揭示這些問題。

4 研究方法

4.1 實驗設備

本文的體感交互實驗程序運行在一臺戴爾計算機上(8核CPU，主頻3.4 MHz，8G內存)，操作系統(tǒng)為Windows 7專業(yè)版。主機連接有兩臺顯示器，一臺為22寸戴爾觸控屏，另一臺為65寸的長虹4K智能電視，分辨率都設置為1 920×1 080 像素，但后者才是實驗界面的顯示屏。另外，實驗還配備一個筆式鼠標，其筆頭相當于普通鼠標的左鍵，供被試者握住它時用拇指按壓來觸發(fā)單擊事件。實驗設備配置及環(huán)境見圖1所示。實驗程序用微軟 Visual C++語言開發(fā)，它通過OpenNi 和NiTE(ver 2.2)提供的API接口訪問獲取Kinect的跟蹤數據。

4.2 實驗任務及過程

實驗是一個簡單直觀的點擊任務。即通過手在空中的移動來控制光標，指向所需的目標，并單擊選中它，完成一次測試。在每次任務時，測試啟動按鈕將隨機出現在屏幕上某個預先定義的位置上。該按鈕顯示為一個直徑24 pixels的圓，但其實際有效區(qū)域的直徑是132 pixels(由虛線標出)。被試者被跟蹤(控制光標)的手像握打火機一樣握住筆形鼠標。每次測試首先需要將光標移動到啟動按鈕的有效區(qū)域(并盡快能靠近區(qū)域中心的小圓)，按壓筆式鼠標的筆頭，測試開始按鈕消失，但同時所需正方形目標出現在基于屏幕中心的對稱位置上。被試者需要將光標又快又準的移到目標上，并按下筆頭完成一次測試。如果光標還在目標外就觸發(fā)了單擊事件，則記錄一次錯誤，測試將重新開始。正確和錯誤的測試，有不同的聲音反饋。

Kinect對手的跟蹤是通過推拉動作激活啟動的，有時這種類似推拉門的動作可能未被正確識別，則需反復執(zhí)行。在實驗過程中，Kinect有可能失去對手的跟蹤，則可再次通過推拉動作啟動跟蹤。實驗程序界面的左上角設置了一個“指示燈”來反饋Kinect的跟蹤狀態(tài)。實驗程序也設計了一個光標復位機制。當手不能在一個舒服而恰當的位置控制光標時，可把它放回其最佳活動空間的中心，并同時發(fā)送一個光標復位命令將其重置到屏幕的中心。這類似于使用鼠標時，有時需要抬起鼠標重新放在桌面上一個恰當的位置。

本實驗中，被試者站在距屏幕1.8 m處的正前方，體感設備Kinect固定在屏幕上沿的中心位置。對每個被試者，實驗開始前，需測量被跟蹤的手的可達范圍：前后最遠距離、左右最大寬度和上下最大高度。它們可用于計算光標偏移量的比例系數：

·x軸系數ws = 屏寬 /(s ×手的最大運動寬度)，

·y軸系數hs = 屏高 /(s ×手的最大運動高度)。

其中系數s的作用類似在使用鼠標時可調整其光標速度。經過測試s = 0.8時可獲得較為流暢的光標移動效果。本文采取的是用手的相對偏移量來更新光標位置的控制策略，其機制如下：

①獲取當前光標的位置CP和手的位置HP1(前一時刻手的位置用HP0表示)；

②計算光標的偏移量Offset：

Offset.x=ws×(HP1.x - HP0.x)，

Offset.y=hs×(HP0.y - HP1.y)；

③更新光標位置 CP=CP+Offset；

④暫存手的位置 HP0=HP1。

HP0在每次開始跟蹤時獲得初始值。根據體感設備的數據采樣處理能力，上述控制過程以每秒約30次的頻率被執(zhí)行，從而驅動光標平滑的移動。但是由于Kinect感知能力的局限，所跟蹤目標(手)的速度不能過快，否則將丟失跟蹤目標。

4.3 實驗被試

通過網絡招募的方式，共有18名被試者成功完成了本實驗，其中女性10名，男性8名，平均年齡22.4歲。所有被試者有正常或校正到正常的視力，此前都沒有參加此類測試的經歷。完成測試后每人獲得了20元人民幣的勞務費報酬。

4.4 實驗設計

本實驗是一個可重復多因素組內全交叉設計組成的混合多因素實驗。相應的因素及水平如下:

·目標邊長(W)：60，80，100，120 pixel。

·移動距離(A)：400，600，900 pixel。

·運動方向(θ)：0°，45°，90°，135°，180°，225°，270°，315°。θ的定義見圖1。

將上述因素以全交叉方式，將產生96個組合(4W×3A×8θ)。對于這些組合，每個安排1次測試，組成一個測試組(Block)。實驗時，不同組合以隨機的方式呈現給被試者。每個被試者有8個測試組，持續(xù)時間約1 h。本實驗一共設計了13 824次測試(96 Trials×8 Blocks×18 Subjects)。

5 結果

包含錯誤測試在內，本實驗共收集了14 882次測試的數據，其中共有1 314條錯誤和異常值記錄，共約8.8%。所謂異常值指那些比其同等條件下所有觀測值的平均數大或小超出3σ的值)。下面的分析中排除了這部分數據。我們主要選擇任務完成時間(MT)來對Kinect點擊任務進行評估。它表示從每次測試的開始時刻(即光標移到起始按鈕并進行一次有效點擊時)到結束時刻(光標進入終止按鈕并進行有效點擊時)所耗費的時間。

方差分析表明，運動方向因素θ(F(7,119)=9.369，P<0.001)、移動距離A(F(2,34)=453.285，P<0.001)、目標邊長W對MT(F(3,51)=227.006，P<0.001)都具有非常顯著的影響。θ和A(F(14,238)=5.847，P<0.001)，θ和W(F(21,357)=2.323，P<0.005)，以及A和W(F(6,102)=2.354，P<0.05)兩兩之間對MT的交互效應也很顯著。如圖2所示，MT的平均值隨著A的增大而增大,W的增大而減少。

如圖3所示，MT可按水平方向劃分為3個層次水平：在個水平方向上處在相對最低的水平；在朝上的方向上處于最大的水平；在朝下的方向上整體大于水平條件下的MT，但小于朝上方向上的MT。兩兩對比結果表明，垂直方向90°和270°上的MT除分別與兩個水平方向上的有顯著差異外(P<0.005)，兩者自身間僅具統(tǒng)計意義上的差異(P=0.040)；水平方向0°和180°兩者間之間的MT不具有顯著差異；四個對角線方向均只與兩個水平方向的MT有顯著差異，相互間無顯著差異。

根據公式1的難度指數ID定義，對MT隨ID的總體變化趨勢以及在在不同方向上的趨勢進行了Fitts模型擬合，結果見表1。

表1 不同條件下對MT的Fitts模型擬合結果

根據表1的結果，費茨法則的有效性超出了預期，好于作者目前所知文獻中的結果。如圖5所示，費茨模型能準確地擬合MT的總體變化趨勢，R2超過了0.97。對于在各個不同方向上的MT也能很好的擬合。其中在0°和90°兩個方向上的擬合度R2雖有所下降，但仍在0.86以上。進一步對比分析發(fā)現，在MT均值沒有顯著差異的兩個方向上，其對應的回歸系數可能明顯不同，比如圖6所示的一對往復的運動方向。這暗示用戶在這兩個方向上完成交互任務的性能指標(IP，Index of Performance)并不一致。根據圖中回歸直線的趨勢，當ID較高時，在225°方向上將獲得明顯的速度優(yōu)勢。

6 討論

本文實驗結果表明3D空間中的運動方向對體感交互點擊任務的工效有顯著影響。在數據匯總中無論是否消除方向因素的影響，費茨法則都能足夠準確的表達體感點擊任務的工效。換句話說，本文的實驗“從不同角度”全面檢驗證實了費茨法則在體感交互場景中的有效性，也保證了結果的可靠性。這種可靠性還體現在本文的實驗設置了比其它參考文獻的實驗[6,8-10]多1倍以上的ID水平。

本文實驗結果未打破費茨法則，意味著實驗中所采用的光標驅動方法有效保持了手眼間的協(xié)調性，保持了瞄準運動中的反饋與控制過程的運動特征。實驗中采用筆式鼠標來觸發(fā)單擊事件以確認目標選擇，是為了消除海森堡效應[13]的影響。實驗最初是采用推按動作來模擬單擊操作，測試時發(fā)現在推按過程中(x,y)坐標會變化，導致光標漂移出目標的有效區(qū)域。這種海森堡效應的發(fā)生程度可能會因被試者手臂長度的差異而有所不同。此外，在實驗開始前對每個被試者手部的運動空間范圍都進行了校準，使得控制光標運動的參數處于恰當的設置且是因人而異的，使得每個被試者都能在自己最舒適的運動范圍內控制光標。

7 結束語

本文實驗較為全面的驗證了費茨法則在體感交互場景中的有效性，實驗結果對界面設計實踐具有一定的指導意義：在水平方向選擇點擊目標可達到最佳的工效水平。本文結果對增強現實環(huán)境下的人機工效研究也具有一定的參考意義。下一步，我們將設置更多的方向水平，并考慮目標寬高尺寸比的變化，以更系統(tǒng)的探索界面布局、目標寬度和高度對體感交互的影響。