大觸摸屏上的遠(yuǎn)端目標(biāo)選擇技術(shù)

董立巖,高 洋,李永麗,謝慶軍， 池俊成

(1. 吉林大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,長(zhǎng)春 130012；2. 東北師范大學(xué) 計(jì)算機(jī)科學(xué)與信息技術(shù)學(xué)院,長(zhǎng)春 130117；3. 中國人民解放軍裝甲兵技術(shù)學(xué)院 機(jī)械工程系， 長(zhǎng)春 130117)

隨著觸摸屏技術(shù)的發(fā)展,大觸摸屏已作為商業(yè)產(chǎn)品得到廣泛應(yīng)用. 盡管大觸摸屏可遠(yuǎn)距離通過鼠標(biāo)和鍵盤控制,但這種方式并不能發(fā)揮大屏幕可觸摸的特點(diǎn)[1].

與傳統(tǒng)臺(tái)式機(jī)或筆記本電腦不同,在大屏幕上操作時(shí),圖標(biāo)經(jīng)常會(huì)超出用戶可接觸的范圍. 用戶常要走到遠(yuǎn)端目標(biāo)前進(jìn)行選擇操作,這種不便將導(dǎo)致用戶的生理疲憊及工作中斷. 為了解決該問題,人們提出了許多相關(guān)技術(shù),如使用激光棒做感應(yīng)的交互方式[2]及空中點(diǎn)擊和拇指啟動(dòng)的選擇點(diǎn)擊方法[3],雖然射線監(jiān)測(cè)方法速度快但準(zhǔn)確率并不好;氣泡雷達(dá)技術(shù)[4]允許用戶使用小平板電腦與大屏幕連接,操作者可使用平板電腦上的氣泡鼠標(biāo)操作大屏幕的內(nèi)容;拼接技術(shù)[5]使用一系列手勢(shì)動(dòng)作,將筆式設(shè)備建立網(wǎng)絡(luò)連接并將它們與大屏幕相連,用戶可以自由移動(dòng)大屏幕上的目標(biāo),完成“扔、 拉”等操作. 文獻(xiàn)[6-7]研究表明,把用戶的眼動(dòng)視線作為考慮因素將提高目標(biāo)選擇的準(zhǔn)確率,但僅限于單手交互.

在傳統(tǒng)的大屏幕交互技術(shù)中,有多種方法支持直接操控大觸摸屏,如手式選擇[2]和“吸塵器”技術(shù)[3]. “吸塵器”技術(shù)是在屏幕上顯示一個(gè)圓形圖標(biāo),用戶通過操作該圖標(biāo)將遠(yuǎn)端圖標(biāo)“吸”過來;手式選擇技術(shù)通過畫出與遠(yuǎn)端目標(biāo)相同的圖形選擇目標(biāo). 但這些技術(shù)都較復(fù)雜,尤其針對(duì)目標(biāo)選擇等基礎(chǔ)操作.

本文提出一種簡(jiǎn)單易操作的選擇技術(shù)——移動(dòng)界面. 該技術(shù)采用模擬自然動(dòng)作“夠”的思想,用戶只需用手向待選目標(biāo)滑動(dòng),操作界面即攜帶所有目標(biāo)同時(shí)向用戶的相反方向移動(dòng),當(dāng)待選目標(biāo)移動(dòng)至用戶手邊時(shí),用戶即可點(diǎn)擊選擇.

1 移動(dòng)界面技術(shù)

該技術(shù)基于模仿人類“夠”的動(dòng)作,應(yīng)具有以下特點(diǎn)：1) 對(duì)最基本的選擇任務(wù),點(diǎn)擊顯然是最簡(jiǎn)單直接的操作方式,當(dāng)選擇遠(yuǎn)距離目標(biāo)時(shí),該技術(shù)將作為直接點(diǎn)擊操作的擴(kuò)展方式;2) 用戶首先將手向目標(biāo)所在方向移動(dòng),當(dāng)目標(biāo)移動(dòng)至用戶可觸及的位置時(shí)點(diǎn)擊目標(biāo),這兩步操作可流暢銜接;3) 在用戶向目標(biāo)移動(dòng)手時(shí),如果移動(dòng)方向錯(cuò)誤,則用戶可實(shí)時(shí)改變手的移動(dòng)方向,從而改變目標(biāo)的移動(dòng)方向. 該調(diào)整方式與人類“夠”的動(dòng)作一致.

該技術(shù)通過移動(dòng)方向、 移動(dòng)速度、 啟動(dòng)方法和撤銷方法等參數(shù)控制.

1.1 移動(dòng)方向

界面移動(dòng)方向設(shè)定為與手移動(dòng)方向相反,當(dāng)用戶改變手移動(dòng)方向時(shí),界面移動(dòng)方向也相應(yīng)地改變. 因此,無論目標(biāo)在何位置,用戶只需將手向待選擇的目標(biāo)移動(dòng),其目標(biāo)就會(huì)以更快的速度移動(dòng)至用戶. 與傳統(tǒng)技術(shù)[8-9]控制方向的方法不同,用戶無需像“吸塵器”方法一樣操作桌面上的圖標(biāo)或像手式選擇方法那樣重新啟動(dòng)技術(shù),而是通過改變手移動(dòng)方向?qū)崟r(shí)改變目標(biāo)移動(dòng)方向,如圖1所示.

1.2 移動(dòng)速度

該技術(shù)設(shè)定界面的移動(dòng)速度與手移動(dòng)速度成正比,設(shè)該比值為α=Vinterface/Vhand. 因此,界面移動(dòng)速度由手移動(dòng)速度和α共同決定.α的設(shè)定: 一方面,界面移動(dòng)速度要大于手移動(dòng)速度,這樣才能保證用戶能接觸到較遠(yuǎn)距離的目標(biāo);另一方面,如果界面移動(dòng)速度太快會(huì)導(dǎo)致用戶無法及時(shí)反應(yīng). 為了選擇合適的比值,本文測(cè)試實(shí)驗(yàn)的結(jié)果表明,用戶在α選取4∶1～8∶1時(shí)較穩(wěn)定. 假設(shè)用戶所能觸及的范圍長(zhǎng)度為d,則用戶所能選擇到的目標(biāo)距離范圍L滿足L=α×d,如圖2所示. 最后跟據(jù)大屏幕的硬件條件,大屏幕對(duì)角線長(zhǎng)度和d的比值為4.2∶1,因此設(shè)定α=5,此時(shí)用戶可將大屏幕上最遠(yuǎn)的目標(biāo)移動(dòng)至手邊.

AB和BC分別與DE和EF平行.圖1 手和目標(biāo)的移動(dòng)方向Fig.1 Moving direction of user’s hand and target

圖2 大觸摸屏上手的活動(dòng)范圍d及 可選擇到的目標(biāo)距離范圍α×dFig.2 Range of activities d and the area α×d where targets can be acquired

根據(jù)文獻(xiàn)[10],本文將該比值設(shè)為可多點(diǎn)觸摸調(diào)節(jié)的,即當(dāng)用戶用更多手指時(shí),該速度比也將變大,界面移動(dòng)速度同時(shí)變大. 如當(dāng)使用一個(gè)手指時(shí),速度比為5∶1；當(dāng)使用2根手指時(shí),速度比增加到6∶1,以此類推.

1.3 啟動(dòng)方法

與傳統(tǒng)技術(shù)[9]啟動(dòng)方式類似,該技術(shù)同樣使用畫線的方式啟動(dòng). 當(dāng)用戶在觸摸屏上畫線超過某一長(zhǎng)度時(shí),界面將開始移動(dòng). 鑒于對(duì)用戶可觸及范圍內(nèi)物體最好的選擇方式是點(diǎn)擊操作,該技術(shù)只有在用戶無法夠到目標(biāo)時(shí)才啟動(dòng). 這里將畫線的長(zhǎng)度設(shè)定為用戶觸及范圍的平均值與速度比α的商r,于是在該技術(shù)啟動(dòng)的同時(shí),潛在最近的(距離為d=α×r,見圖2)用戶不能接觸到的目標(biāo)將會(huì)被移動(dòng)至用戶手邊. 這里,用戶在不大幅彎腰的情況下所能夠到的距離為360 mm,因此啟動(dòng)該技術(shù)時(shí)所畫線長(zhǎng)度為72 mm.

1.4 撤銷方法

用戶在操作該技術(shù)的同時(shí),也可能要取消移動(dòng)界面的操作. 因此該技術(shù)設(shè)計(jì)了一種簡(jiǎn)單的撤銷方法,用戶可通過雙擊沒有目標(biāo)的背景區(qū)域?qū)⒉僮鹘缑婊謴?fù). 一旦用戶執(zhí)行了該操作,界面及所有的目標(biāo)都將回到該技術(shù)執(zhí)行前的位置.

2 評(píng)估實(shí)驗(yàn)

為了評(píng)估滑動(dòng)界面 (shiftalbe interface)技術(shù),本文將其與手式選擇(gesture select)技術(shù)和直接選擇(unaided direct picking)技術(shù)做對(duì)比實(shí)驗(yàn). 實(shí)驗(yàn)中,手式選擇技術(shù)通過“$1 recognizer”[11]模式識(shí)別算法實(shí)現(xiàn).

2.1 實(shí)驗(yàn)環(huán)境

選擇9名實(shí)驗(yàn)者參加實(shí)驗(yàn),其中4名女性,全部為24～28歲， 所有實(shí)驗(yàn)者均有鼠標(biāo)操作經(jīng)驗(yàn),但沒有大觸摸屏操作經(jīng)驗(yàn). 實(shí)驗(yàn)所用桌式大屏幕為PQ Labs多點(diǎn)觸摸屏,長(zhǎng)1 328.4 mm,寬750.6 mm,像素為1 920×1 200. 實(shí)驗(yàn)程序用C#語言編寫,運(yùn)行環(huán)境為AMD Athlon X2處理器,2 Gb內(nèi)存.

2.2 實(shí)驗(yàn)方法

實(shí)驗(yàn)中考慮的自變量因素：技術(shù)類型(直接選擇、 收拾選擇、 移動(dòng)界面),輸入方式(筆式輸入、 手式輸入),目標(biāo)方向(左、 右),干擾目標(biāo)數(shù)量(9個(gè)、 49個(gè)). 本文將輸入方式作為自變量是因?yàn)門u等[12]指出手式輸入和筆式輸入有包括速度在內(nèi)很多不同的因素. 同時(shí),3種技術(shù)在實(shí)驗(yàn)中使用了3×3 拉丁方平衡實(shí)驗(yàn).

實(shí)驗(yàn)過程中,實(shí)驗(yàn)者首先點(diǎn)擊開始按鈕,然后目標(biāo)將和干擾一起出現(xiàn)在屏幕上,開始按鈕用于控制用戶和目標(biāo)間的距離. 屏幕中的目標(biāo)將呈紅色,干擾呈綠色. 用戶選中目標(biāo)后,一次任務(wù)才能結(jié)束,選擇的結(jié)果會(huì)在用戶每次完成操作時(shí)顯示,與文獻(xiàn)[9]相同,所有目標(biāo)在每次任務(wù)的開始即可見.

實(shí)驗(yàn)前,實(shí)驗(yàn)者要做一組訓(xùn)練實(shí)驗(yàn). 實(shí)驗(yàn)者被要求快而準(zhǔn)確地完成每次任務(wù),在做完每組實(shí)驗(yàn)后休息10 min. 實(shí)驗(yàn)后,實(shí)驗(yàn)者將填一份調(diào)查表,其內(nèi)容為評(píng)估3種技術(shù)的速度、 準(zhǔn)確率、 疲勞度、 易操作性、 易學(xué)性、 滿意度和渴望使用的程度. 用戶需要對(duì)每種技術(shù)的相關(guān)評(píng)估標(biāo)準(zhǔn)打分,1分最低,7分最高.

2.3 實(shí)驗(yàn)結(jié)果

3種技術(shù)在不同參數(shù)下的選擇時(shí)間實(shí)驗(yàn)結(jié)果如圖3所示. 其中對(duì)時(shí)間有決定性影響的因素包括：技術(shù)類型(F(2,16)=8.26,p<0.01)、 方向(F(1,8)=8.89,p=0.018)、 距離(F(1,8)=25.66,p=0.01)、 干擾數(shù)量(F(1,8)=41.75,p<0.001)、 技術(shù)×方向(F(2,16)=5.09,p=0.05)、 技術(shù)×干擾數(shù)量(F(2,16)=49.86,p<0.001). 滑動(dòng)界面技術(shù)在所有條件下的時(shí)間均顯著優(yōu)于手式選擇技術(shù)和直接選擇技術(shù),而手式選擇技術(shù)和直接選擇技術(shù)并無明顯差異. 輸入方式對(duì)3種技術(shù)均無顯著影響. 方向?qū)瑒?dòng)界面和手式選擇均無顯著影響,但對(duì)直接選擇有顯著影響(p=0.03). 手式選擇技術(shù)明顯受干擾數(shù)量的影響(p<0.001),當(dāng)干擾數(shù)量從9增加到49時(shí),其時(shí)間增加30%. 距離對(duì)3種技術(shù)都有顯著影響,從近距離到遠(yuǎn)距離,滑動(dòng)界面、 直接選擇和手式選擇3種技術(shù)耗時(shí)分別增加7.96%,8.5%和7.94%.

技術(shù)類型對(duì)錯(cuò)誤率也有顯著影響(F(2,16)=7.56,p<0.01). 滑動(dòng)界面、 直接選擇和手式選擇3種技術(shù)的平均錯(cuò)誤率分別為0.001%,5.6%和0.2%. 干擾數(shù)量、 距離和方向?qū)﹀e(cuò)誤率無顯著影響.

圖3 3種技術(shù)在輸入方式、 方向、 干擾數(shù)量和距離4個(gè)參數(shù)下的選擇時(shí)間Fig.3 Input implement,direction,distracter number or distance vs selection time of three technology

實(shí)驗(yàn)者對(duì)技術(shù)類型間的評(píng)估存在明顯差異(F(2,16)=12.29,p<0.01). 對(duì)3種技術(shù)評(píng)價(jià)存在明顯差異的因素還包括疲勞程度(F(2,16)=8.03,p<0.005)和易操作性(F(2,16)=8.93,p<0.005). 其中滑動(dòng)界面技術(shù)在疲勞程度、 易操作性、 滿意度和希望使用程度4個(gè)方面用戶最喜歡,而手式選擇技術(shù)在準(zhǔn)確性和易操作性方面被排在最后.

2.4 實(shí)驗(yàn)分析

由本文實(shí)驗(yàn)結(jié)果可見,滑動(dòng)界面技術(shù)相對(duì)其他兩種技術(shù)在時(shí)間上有明顯優(yōu)勢(shì),其簡(jiǎn)單易操作性是可快速實(shí)現(xiàn)選擇任務(wù)的原因. 在錯(cuò)誤率上,滑動(dòng)界面技術(shù)遠(yuǎn)優(yōu)于手式選擇技術(shù),略差于直接選擇技術(shù). 但直接選擇技術(shù)需要用戶走到遠(yuǎn)端目標(biāo)的位置選擇,由此導(dǎo)致的物理疲勞和工作中斷都給選擇任務(wù)帶來很大操作負(fù)擔(dān).

滑動(dòng)界面技術(shù)最大的特點(diǎn)是模擬現(xiàn)實(shí)生活中的自然行為,簡(jiǎn)單、 易操作. 但目前該技術(shù)只考慮了單選情況,對(duì)于目標(biāo)多而分散的情況,該技術(shù)并沒有很好的解決方案. “吸塵器”技術(shù)和手式選擇技術(shù)的解決方案是將遠(yuǎn)端目標(biāo)壓縮或?qū)ζ涮砑訕?biāo)號(hào),但無法保證用戶仍能清晰地看到目標(biāo)而選擇.

綜上所述,本文設(shè)計(jì)并實(shí)現(xiàn)了一種大觸摸屏上的遠(yuǎn)端目標(biāo)選擇技術(shù). 該技術(shù)的設(shè)計(jì)基于模擬人們生活中的自然動(dòng)作,簡(jiǎn)單、 易操作,并有較高的準(zhǔn)確率. 該技術(shù)很好地解決了用戶選擇遠(yuǎn)端目標(biāo)時(shí)可能帶來的疲勞和工作中斷,并克服了傳統(tǒng)目標(biāo)選擇技術(shù)為快速選擇而導(dǎo)致的操作復(fù)雜等缺點(diǎn). 實(shí)驗(yàn)結(jié)果表明,該技術(shù)既能幫助用戶快速選擇遠(yuǎn)端目標(biāo)又能保持較高的準(zhǔn)確率,且其具有疲勞度低、 易操作等優(yōu)點(diǎn).

[1] Humphreys G,Hanrahan P. A Distributed Graphics System for Large Tiled Displays [C]//Proc IEEE VIS 1999. Los Alamitos: ACM Press,1999: 215-223.

[2] Bezerianos A. View and Space Management on Large Displays [J]. Computer Graphics and Applications,2005,25(4): 34-43.

[3] Alissa N,Bevans A,Tanenbaum J,et al. Futura: Design for Collaborative Learning and Game Play on a Multi-touch Digital Tabletop [C]//Proc of the Fifth International Conference on Tanjible,Embedded,and Embodied Interaction. New York: ACM Press,2011: 93-100.

[4] Aliakseyeu D,Nacenta M,Subramanian S,et al. Bubble Radar: Efficient Pen-Based Interaction [C]//Proc of the Working Confernce on Advanced Visual Inferfaces AVI 2006. New York: ACM Press,2006: 19-26.

[5] Hinckley K,Ramos G,Guimbretiere F,et al. Stitching: Pen Gestures That Span Multiple Displays [C]//Proc of the Working Conference on Advanced Visual Interfaces AVI 2004. New York: ACM Press,2004: 23-31.

[6] Reetz A,Gutwin C,Stach T. Superflick: A Natural and Efficient Technique for Long-Distance Object Placement on Digital Tables [C]//Proc of Graphics Interface GI 2006. New York: ACM Press,2006: 163-170.

[7] NI Tao,Schmidt G S,Staadt O G,et al. A Survey of Large High-Resolution Display Technologies,Techniques and Applications [C]//Proc of IEEE Conference on Virtual Reality. Washington DC: IEEE Press,2006: 223-236.

[8] Andrew B,Hsu-Sheng K. Gesture Select: Acquiring Remote Targets on Large Displays without Pointing [C]//Proc of the SIGCHI Conference on Human Factors in Computing Systems 2011. New York: ACM Press,2011: 187-196.

[9] Bezerianos A,Balakrishnan R. The Vacuum: Facilitating the Manipulation of Distant Objects [C]//Proc of the SIGCHI Conference on Human Factors in Computing Systems 2005. New York: ACM Press,2005: 361-370.

[10] CAO Xiang,Wilson A D,Balakrishnan R,et al. Shape Touch: Leveraging Contact Shape on Interactive Surfaces [C]//Proc TABLETOP. Toronto: IEEE Press,2008: 129-136.

[11] Wobbrock J O,Wilson A,LI Yang. Gestures without Libraries,Toolkits or Training: A $1 Recognizer for User Interface Prototypes [C]//Proc of the 20th Annual ACM Symposium on User Interface Software and Technology. New York: ACM Press,2007: 159-168.

[12] TU Hua-wei,REN Xiang-shi,ZHAI Shu-min. A Comparative Evaluation of Finger and Pen Stroke [C]//Proc of the SIGCHI Conference on Human Factors in Computing Systems 2012. New York: ACM Press,2012: 1287-1296.