光標(biāo)定位技術(shù)的研究

趙 芮

（蘭州大學(xué)信息科學(xué)與工程學(xué)院，甘肅 蘭州 730000）

0 引言

在圖形用戶界面（GUIs）中，光標(biāo)的重要性是毋庸置疑的[1]。很多人機(jī)交互（HCI）任務(wù)都必須借助光標(biāo)才能完成[2]。但是，有時(shí)因?yàn)楣鈽?biāo)所在的界面環(huán)境的影響，我們很難在第一時(shí)間發(fā)現(xiàn)光標(biāo)在窗口中的位置——當(dāng)我們停止控制光標(biāo)一段時(shí)間后再去操縱光標(biāo)時(shí)，這一問(wèn)題尤為嚴(yán)重[3]。在一些特別的應(yīng)用場(chǎng)合，光標(biāo)本身的尺寸非常小，如播放幻燈片時(shí)使用“筆”在幻燈片上做標(biāo)記，此時(shí)的光標(biāo)就是一個(gè)小點(diǎn)；這時(shí)候哪怕我們持續(xù)移動(dòng)光標(biāo)有時(shí)也很難發(fā)現(xiàn)它。另一方面，我們的視覺(jué)器官對(duì)于目標(biāo)的感知能力本身就有一定的局限性[4,5]。特別是人們隨著的年齡逐漸增長(zhǎng)，視力會(huì)有一定程度的下降[6]，發(fā)現(xiàn)光標(biāo)——尤其是在復(fù)雜界面背景中發(fā)現(xiàn)光標(biāo)就變得更加困難，時(shí)不時(shí)地會(huì)出現(xiàn)光標(biāo)“丟失”的情況。當(dāng)這種情況發(fā)生時(shí)，我們只能采取諸如搜索整個(gè)屏幕或者左右晃動(dòng)鼠標(biāo)使光標(biāo)運(yùn)動(dòng)起來(lái)以便找到它。這樣的操作方式其副作用是顯而易見(jiàn)的：搜索屏幕會(huì)浪費(fèi)我們的時(shí)間，使光標(biāo)輕微地運(yùn)動(dòng)在有些時(shí)候并不能幫助我們馬上發(fā)現(xiàn)光標(biāo)，而我們大幅度地晃動(dòng)光標(biāo)有時(shí)又會(huì)使我們失去對(duì)交互對(duì)象的定位。對(duì)于這一問(wèn)題，雖然現(xiàn)在已經(jīng)有很多的相關(guān)研究，但還缺乏全面系統(tǒng)的研究，有些研究[7,8]甚至是通過(guò)外在設(shè)備來(lái)改善——這就增加了我們的交互成本，對(duì)于一般用戶來(lái)說(shuō)并不實(shí)用。在本文中，我們基于視覺(jué)增強(qiáng)的方式，提出了在合理的時(shí)機(jī)增強(qiáng)顯示光標(biāo)自身或者光標(biāo)所在的局部區(qū)域兩大類方法，共13種特效技術(shù)來(lái)幫助我們找到“丟失的”光標(biāo)。這些技術(shù)在使用過(guò)程中，不需要借助于額外的設(shè)備，也不需要增加用戶的額外操作。在本文后面的部分，我們將介紹相關(guān)工作，具體的特效技術(shù)以及測(cè)試結(jié)論。

1 現(xiàn)有的研究結(jié)果

目前，關(guān)于尋找“丟失的”光標(biāo)的研究已經(jīng)有很多了。例如，Ball和 North引用了三種用戶用來(lái)尋找丟失的光標(biāo)的技術(shù)（按照最常用到最不常用的順序）：（1）通過(guò)小范圍移動(dòng)鼠標(biāo)將光標(biāo)由靜止?fàn)顟B(tài)轉(zhuǎn)變?yōu)閯?dòng)態(tài)狀態(tài)，從而刺激用戶的視覺(jué)來(lái)快速定位光標(biāo)位置；（2）通過(guò)花費(fèi)大量時(shí)間掃描顯示器來(lái)尋找光標(biāo)—費(fèi)時(shí)費(fèi)力；（3）移動(dòng)鼠標(biāo)將光標(biāo)移動(dòng)到一個(gè)較為特殊的位置（如：顯示器中心，邊緣或四角）[9]。Roberston則通過(guò)引入一個(gè)類似于Windows鼠標(biāo)聲吶自動(dòng)定位器的 Auto-Locator光標(biāo)來(lái)快速定位光標(biāo)，但是該光標(biāo)需要在顯示器上快速移動(dòng)一段距離才會(huì)被觸發(fā)進(jìn)而定位光標(biāo)的位置[10,11]。Ashdown使用一個(gè)閃爍的星星縮小視覺(jué)搜索范圍來(lái)快速定位光標(biāo)位置[12]。但是在實(shí)驗(yàn)中，參與者認(rèn)為星星一直閃爍會(huì)干擾注意力。Baudisch通過(guò)移動(dòng)鼠標(biāo)時(shí)光標(biāo)加拖尾的效果來(lái)快速找到“丟失”的光標(biāo)[10]。上述研究的方法都有一個(gè)共同點(diǎn)——依靠視覺(jué)搜索來(lái)找到“丟失”的光標(biāo)。Hollinworth研究了一種新技術(shù)，它依靠按鍵盤(pán)或鼠標(biāo)點(diǎn)擊的序列記憶，由用戶控制非自動(dòng)化定位，在其技術(shù)中使用一個(gè)增加QT113觸摸傳感器的標(biāo)準(zhǔn)光學(xué)鼠標(biāo)，無(wú)論何時(shí)當(dāng)鼠標(biāo)被釋放并重新觸摸后，就可以定位光標(biāo)所在位置[7,8]。陳濱等利用微軟Kinect體感設(shè)備進(jìn)行骨骼數(shù)據(jù)采集，開(kāi)發(fā)出一款利用手勢(shì)動(dòng)作控制計(jì)算機(jī)的體感虛擬鼠標(biāo)軟件[13-15]。上述研究都在一定程度上解決了光標(biāo)“丟失”的問(wèn)題，但是依靠視覺(jué)搜索的研究中并沒(méi)有提出所有的可能性，而且也沒(méi)有進(jìn)行系統(tǒng)比較找出最優(yōu)的解決方案，而Hollinworth研究的方法和陳濱研究的方法中都引入了外在的設(shè)備，改變了鼠標(biāo)自身屬性和用戶的使用成本，在現(xiàn)實(shí)使用過(guò)程，找到光標(biāo)后還會(huì)有很多后續(xù)操作，Ball和North在研究中所說(shuō)的方案（3）重定位會(huì)影響后續(xù)操作的連續(xù)性。

2 本文提出的技術(shù)

針對(duì)上述研究存在的各種問(wèn)題，本文提出了不同的解決方案：在光標(biāo)自身或光標(biāo)所在局部區(qū)域中添加增強(qiáng)視覺(jué)顯示的特殊效果來(lái)幫助用戶發(fā)現(xiàn)光標(biāo)。我們同時(shí)還對(duì)所提出的技術(shù)方案在光標(biāo)所處的不同背景中進(jìn)行比較，以尋找最優(yōu)的解決方案。增強(qiáng)光標(biāo)自身顯示效果的技術(shù)方案有：（1）改變光標(biāo)自身的大??；（2）改變光標(biāo)自身的顏色，使其與所在背景顏色有較為明顯的差別；（3）使靜態(tài)光標(biāo)變?yōu)殚W爍的動(dòng)態(tài)光標(biāo)；（4）改變光標(biāo)自身的形狀。增強(qiáng)光標(biāo)所在局部區(qū)域顯示效果的技術(shù)方案有：（1）給光標(biāo)增加拖尾；（2）以光標(biāo)為中心增加光環(huán)（包括靜止、擴(kuò)散、收縮三種方式）；（3）以光標(biāo)為中心增加色暈（包括靜止、擴(kuò)散、收縮三種方式）；（4）以光標(biāo)為中心增加箭頭（包括靜止、閃爍、旋轉(zhuǎn)三種方式）。為了防止在實(shí)驗(yàn)過(guò)程中所添加的特效分散用戶的注意力，我們?cè)O(shè)置了特效的觸發(fā)條件。技術(shù)的應(yīng)用在很多計(jì)算機(jī)操作的場(chǎng)合中效果明顯，例如：在PPT播放過(guò)程中，如果需要重點(diǎn)強(qiáng)調(diào)某一句時(shí)需要用“筆”畫(huà)出一條下劃線，此時(shí)光標(biāo)的狀態(tài)為一個(gè)小點(diǎn)，其位置不容易被發(fā)現(xiàn)，在此情況下采用本文所提出的技術(shù)將會(huì)快速定位光標(biāo)位置，提高交互績(jī)效。

以十字光標(biāo)為例：

（1）技術(shù)方案1、2、3采用放大的圖片，顏色反轉(zhuǎn)的圖片進(jìn)行替換產(chǎn)生相應(yīng)的效果；技術(shù)方案 4采用手狀圖片產(chǎn)生變形效果；

（2）技術(shù)方案5、6、7以光標(biāo)為中心使用paint函數(shù)畫(huà)同心圓，其中方案6從內(nèi)向外循環(huán)繪制產(chǎn)生擴(kuò)散的效果（過(guò)程如圖6所示），方案7從外向內(nèi)循環(huán)繪制產(chǎn)生收縮的效果（過(guò)程如圖7所示）；

（3）技術(shù)方案8、9、10以光標(biāo)為中心使用paint函數(shù)畫(huà)同心圓，并填充同一色系的不同顏色產(chǎn)生色暈的效果，其中方案9從內(nèi)向外循環(huán)繪制產(chǎn)生色暈擴(kuò)散的效果（過(guò)程如圖9所示），方案10從外向內(nèi)循環(huán)繪制產(chǎn)生色暈收縮的效果（過(guò)程如圖10所示）；

（4）技術(shù)方案11、12、13通過(guò)paint繪制紅色箭頭產(chǎn)生相應(yīng)的效果，其中方案 12通過(guò)線程每隔200 ms進(jìn)行整體循環(huán)繪制產(chǎn)生閃爍的效果（過(guò)程如圖12所示），方案13通過(guò)線程每隔200 ms繪制一個(gè)紅色箭頭圖片產(chǎn)生箭頭旋轉(zhuǎn)的效果（過(guò)程如圖13所示）；

（5）在所有的技術(shù)方案中，光標(biāo)都具有兩種不同的狀態(tài)，其狀態(tài)轉(zhuǎn)化如圖14所示：State0為默認(rèn)狀態(tài)下的形狀、State1為特效狀態(tài)。視覺(jué)增強(qiáng)顯示特效可由兩種方式觸發(fā)：一種按下鍵盤(pán)上特定的熱鍵，光標(biāo)狀態(tài)由 State0變?yōu)?State1，特效被觸發(fā)后保持一定的時(shí)間閾值（T）后消失，實(shí)用中用戶可以根據(jù)自己的需要自主設(shè)置；另外一種是晃動(dòng)鼠標(biāo)，設(shè)S為鼠標(biāo)移動(dòng)距離，當(dāng)0mm5 mm時(shí)，鼠標(biāo)狀態(tài)由特效狀態(tài)還原到默認(rèn)狀態(tài)——這樣的設(shè)置不增加用戶的額外操作，且不影響用戶的后續(xù)操作。

（6）圖15為本文所提出技術(shù)的工作流程圖，觸發(fā)特效技術(shù)有兩種情況：一種是觸發(fā)特定的熱鍵，另外一種是晃動(dòng)鼠標(biāo)。熱鍵觸發(fā)的觸發(fā)方式會(huì)在用戶自主按下鍵盤(pán)上的指定熱鍵時(shí)即刻觸發(fā)。這一觸發(fā)時(shí)機(jī)完全由用戶掌握，使用時(shí)比較靈活，用戶可以根據(jù)需要隨時(shí)觸發(fā)顯示特效以幫助自己發(fā)現(xiàn)光標(biāo)。但是，在操作過(guò)程中，需要用戶通過(guò)有意按鍵才能實(shí)現(xiàn)，這就增加了用戶的額外操作。而晃動(dòng)鼠標(biāo)的方式為特效技術(shù)的自適應(yīng)觸發(fā)方式。因?yàn)樘匦е挥性诠鈽?biāo)由靜到動(dòng)的很短的運(yùn)動(dòng)距離（5 mm）內(nèi)自動(dòng)觸發(fā)，所以幾乎不需要增加用戶的額外操作，且對(duì)于用戶在發(fā)現(xiàn)光標(biāo)之后的后續(xù)操作沒(méi)有視覺(jué)干擾。流程圖中光標(biāo)靜止時(shí)間T為預(yù)設(shè)的時(shí)間閾值，可以根據(jù)光標(biāo)的不同形狀和不同使用場(chǎng)景由用戶進(jìn)行自主設(shè)定。只有光標(biāo)靜止時(shí)間超過(guò)T后，晃動(dòng)鼠標(biāo)時(shí)才可以觸發(fā)特效技術(shù)；如果靜止時(shí)間小于 T，晃動(dòng)鼠標(biāo)則不觸發(fā)特效。這樣的設(shè)置方式，主要是防止用戶在持續(xù)移動(dòng)光標(biāo)的過(guò)程中，短暫的停頓后再移動(dòng)光標(biāo)時(shí)視覺(jué)增強(qiáng)特效頻繁出現(xiàn)而對(duì)用戶形成視覺(jué)干擾。另外，對(duì)于不同的光標(biāo)在不同的使用環(huán)境下，不是都需要所有的特效技術(shù)，在使用的過(guò)程中要根據(jù)不同條件設(shè)定相對(duì)應(yīng)的特效技術(shù)。

圖1 光標(biāo)的放大Fig.1 Magnify ing the cursor

圖2 光標(biāo)變色（顏色取反）Fig.2 Reversing the color of the cursor

圖3 光標(biāo)閃爍Fig.3 Flashing the cursor

圖4 光標(biāo)變形Fig.4 Deformin g the cursor

圖5 光標(biāo)添加圓環(huán)Fig.5 Adding rings to the cursor

圖6 光環(huán)擴(kuò)散Fig.6 Adding diffusing rings to the cursor

圖7 光環(huán)收縮Fig.7 Adding shrinking rings to the cursor

圖8 光標(biāo)添加色暈Fig.8 Adding halos to the cursor

圖9 色暈擴(kuò)散Fig.9 Adding diffusing halos to the cursor

圖10 色暈收縮Fig.10 Adding shrinking halos to the cursor

圖11 添加箭頭Fig.11 Adding arrows to the cursor

圖12 箭頭閃爍Fig.12 Adding flashing arrows to the cursor

圖13 箭頭旋轉(zhuǎn)Fig.13 Adding rotating arrows to the cursor

圖14 狀態(tài)轉(zhuǎn)換圖Fig.14 The diagram of state transformations

圖15 軟件流程圖Fig.15 The flowchart of the software

3 結(jié)論

我們對(duì)于所提出的13種技術(shù)，在不同復(fù)雜程度的背景中及光標(biāo)的不同形狀下分別進(jìn)行了測(cè)試。測(cè)試過(guò)程中，我們記錄了用戶發(fā)現(xiàn)光標(biāo)所用的時(shí)間及超時(shí)出錯(cuò)（即被試者在規(guī)定的最長(zhǎng)時(shí)間內(nèi)沒(méi)有發(fā)現(xiàn)光標(biāo)在屏幕上的位置）率。

3.1 時(shí)間

背景復(fù)雜程度不同找到光標(biāo)的時(shí)間也不同，簡(jiǎn)單背景下被試者找到光標(biāo)所需時(shí)間均值為 2113 ms,一般背景下為2221 ms，復(fù)雜背景下為2384 ms。光標(biāo)形狀不同被試者找到光標(biāo)的時(shí)間也不同，由于點(diǎn)狀光標(biāo)像素最小，因此找到點(diǎn)狀光標(biāo)的時(shí)間較長(zhǎng)，均值為3183 ms。其中技術(shù)方案4的效果最為明顯，其相對(duì)于傳統(tǒng)的方式定位光標(biāo)的時(shí)間有了大幅度的縮減。

3.2 錯(cuò)誤率

背景復(fù)雜程度不同找到光標(biāo)的錯(cuò)誤率也不同，簡(jiǎn)單背景下錯(cuò)誤率最低,復(fù)雜背景下錯(cuò)誤率最高。不同的光標(biāo)形狀錯(cuò)誤率也是不同的，雖然點(diǎn)狀光標(biāo)像素較小，但是在特效技術(shù)下出錯(cuò)率反而最小。測(cè)試中，13種技術(shù)方案中的每一種都有出錯(cuò)的情況，但錯(cuò)誤率均不大于1%。

4 結(jié)語(yǔ)

本文針對(duì)計(jì)算機(jī)用戶在圖形用戶界面（GUIs）中有時(shí)會(huì)遇到光標(biāo)“丟失”的情況，提出了13種增加視覺(jué)顯示效果的光標(biāo)定位技術(shù)。同時(shí)，本文的研究中還對(duì)所提出的技術(shù)在不同的操作背景中及不同的光標(biāo)形態(tài)下進(jìn)行了測(cè)試。測(cè)試結(jié)果驗(yàn)證了所提出技術(shù)的有效性。

[1] Chaparro A, Bohan M, Fernandez J, et al. Is the Trackball a Better Input Device for the Older Computer User?[J]. Journal of Occupational Rehabilitation, 1999, 9(1): 33-43.

[2] Hinckley K, Sinclair M. Touch-sensing input devices[C].Proceedings of the SIGCHI conference on Human factors in computing systems: the CHI is the limit, 1999: 223-230.

[3] Vigouroux N, Rumeau P, Vella F, et al. Studying Point-Select-Drag Interaction Techniques for Older People with Cognitive Impairment[C]. Universal Access in Human-Computer Interaction. Addressing Diversity, International Conference, Uahci 2009, Held As, 2009: 422-428.

[4] Kosnik W, Winslow L, Kline D, et al. Visual Changes in Daily Life Throughout Adulthood[J]. Journal of Gerontology,1988, 43(3): P63.

[5] Plude D J, Hoyer W J. Age and the selectivity of visual information processing[J]. Psychology & Aging, 1986, 1(1): 4.

[6] Owsley C, Ball K, Keeton D M. Relationship between visual sensitivity and target localization in older adults[J]. Vision Research, 1995, 35(4): 579-87.

[7] Hollinworth N, Hwang F. Cursor relocation techniques to help older adults find 'lost' cursors[M]. 2011: 863-866.

[8] Hollinworth N. Helping older adults locate 'lost' cursors using FieldMouse[C], 2010: 315-316.

[9] Ball R, North C. Effects of tiled high-resolution display on basic visualization and navigation tasks[C]. CHI '05 extended abstracts on Human factors in computing systems, 2005:1196-1199.

[10] Baudisch P, Cutrell E, G. Robertson G. High-Density Cursor:A Visualization Technique That Helps Users Keep Track of Fast-Moving Mouse Cursors[M]. 2003.

[11] Robertson G, Czerwinski M, Baudisch P, et al. The Large-Display User Experience[M]. 25. 2005: 44-51.

[12] Ashdown M, Oka K, Sato Y. Combining head tracking and mouse input for a GUI on multiple monitors[C]. CHI '05 extended abstracts on Human factors in computing systems,2005: 1188-1191.

[13] 陳濱, 時(shí)巖. 基于Kinect的體感虛擬鼠標(biāo)研究與開(kāi)發(fā)[J].軟件, 2016, (2): 46-49.

[14] 祝繼超, 魯鵬. 一種基于形狀特征的大規(guī)模圖像檢索方法[J]. 軟件, 2012, 33(12): 299-304.

[15] 吳進(jìn). 機(jī)器視覺(jué)中快速模版匹配算法研究[J]. 新型工業(yè)化,2014, (1): 65-69.