非接觸交互界面中三維空間操作區(qū)域分層技術(shù)研究

陳苗云　殷繼彬

摘要：利用 Leap Motion作為獲取手勢(shì)的硬件，并且在其垂直操作區(qū)域，通過獲取手勢(shì)高度信息，操作映射在屏幕上的目標(biāo)任務(wù)，最終達(dá)到獲取交互層次區(qū)域的劃分目的。首先通過實(shí)驗(yàn)得出用戶常用的交互空間區(qū)域，然后在該交互區(qū)域中進(jìn)行分層區(qū)域劃分實(shí)驗(yàn)，最后獲得對(duì)操作精度或時(shí)間要求較高的特殊區(qū)域范圍。通過實(shí)驗(yàn)數(shù)據(jù)的分析得出以下結(jié)論：16層以下為用戶較容易操作的層次交互區(qū)域，并且可根據(jù)交互需求進(jìn)行分層設(shè)置；16～20層的空間區(qū)域用戶較難操作，可以在交互設(shè)計(jì)中將不常用的交互任務(wù)設(shè)計(jì)在此層次區(qū)域內(nèi)。由于操作任務(wù)的錯(cuò)誤率非常高，所用時(shí)間也較多，20層以上的交互空間區(qū)域在交互設(shè)計(jì)中可不予考慮。

關(guān)鍵詞：Leap Motion；人機(jī)交互；手勢(shì)；交互層次區(qū)域

DOIDOI：10.11907/rjdk.173272

中圖分類號(hào)：TP311.5

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2018）009003204

英文標(biāo)題Research on Layered Technology of ThreeDimensional Operating Area in Noncontact Interface

——副標(biāo)題

英文作者CHEN Miaoyun， YIN Jibin

英文作者單位（Faculty of Information Engineering and Automation，Kunming University of Science and Technology，Kunming 650500，China）

英文摘要Abstract：Leap Motion is employed as the hardware for gesture acquisition and in its vertical operation area， the mapped target selection task is operated on the screen by obtaining the height information of gesture， and ultimately achieve the purpose of partitioning the interactive level area. First， the user interaction area is obtained through previous experiments， and then the partition experiment is carried out in the interactive area. Finally， a special area with high operation accuracy or time requirement is obtained through experiments. Through the analysis of the experimental data， we draw the following conclusions that under the 16th floor it is easier for the user to operate on the level of interaction area， and interactive demands can be set according to interactive needs； it is difficult for users to operate from 16 to 20 layers， so interactive tasks that are not commonly used can be designed during these layers. The interactive space area above 20 layers should not be considered in the interactive design because the error rate and the time cost of the operation task is very high.

英文關(guān)鍵詞Key Words：leap motion；human computer interaction；gestures； interactive level area

0引言

如今，人機(jī)交互（Human Computer Interaction，HCI）[1]界面隨著硬件技術(shù)的發(fā)展越來(lái)越趨向自然，更加符合人們的日常操作習(xí)慣。無(wú)論在觸控界面、筆式界面還是基于視覺的交互界面，手勢(shì)（Gesture）[23]是反映其自然交互特征的典型技術(shù)之一。由于手勢(shì)比較直觀，比文字命令更容易記憶，所以本文將以手勢(shì)作為界面實(shí)驗(yàn)獲取信息的方式。

手勢(shì)跟蹤與識(shí)別[4]為人機(jī)交互提供了新的拓寬輸入信息通道的方式。1983 年Grimes[5]在 AT&T; 最先取得了“數(shù)據(jù)手套”的專利，計(jì)算機(jī)可通過其獲取實(shí)驗(yàn)者手的位置等相關(guān)信息；1998 年美國(guó) MIT 媒體實(shí)驗(yàn)室的Starner通過攝像頭直接采集手勢(shì)圖像，對(duì)美國(guó)手語(yǔ)中帶有詞性的40個(gè)詞匯隨機(jī)組成的短句子進(jìn)行識(shí)別[6]。之后眾多研究者開始進(jìn)行基于視覺信息的手勢(shì)識(shí)別研究，我國(guó)手勢(shì)識(shí)別研究起源于 863 項(xiàng)目“多功能感知機(jī)”的研究（19971999）[7]，該交互模式可通過Kinect[8]或Leap Motion[910]等設(shè)備跟蹤雙手加以實(shí)現(xiàn)。

然而，以上對(duì)于增加輸入帶寬的研究?jī)H局限在當(dāng)前單一的工作層界面上，而未進(jìn)一步探索增加可交互界面的相關(guān)技術(shù)。因此，為了拓寬輸入信息帶寬，本文提出一種合理的層次區(qū)域劃分技術(shù)。具體設(shè)計(jì)見圖1，用戶可將手放在各個(gè)層次中，按垂直方向運(yùn)動(dòng)進(jìn)行交互任務(wù)操作?，F(xiàn)階段，很多用于手勢(shì)識(shí)別的硬件已應(yīng)用于具體生活中，其中Leap Motion 手勢(shì)識(shí)別硬件具有精度高、反應(yīng)速度快與數(shù)據(jù)處理速度快[11]等優(yōu)點(diǎn)，因此將其作為本文實(shí)驗(yàn)的硬件設(shè)備。如圖2所示為L(zhǎng)eap Motion可識(shí)別的交互空間。

1相關(guān)研究

根據(jù)現(xiàn)階段交互硬件設(shè)備的劃分，可將人機(jī)交互中用于拓寬輸入信息通道的技術(shù)分為兩種：基于接觸式與非接觸式技術(shù)。

Leigh等[12]提出，由于計(jì)算機(jī)對(duì)每個(gè)用戶觸控接觸點(diǎn)可以精確識(shí)別，所以多個(gè)用戶可在互不干擾的情況下，對(duì)相同的電子交互界面操作交互任務(wù)，該技術(shù)對(duì)多人合作完成同一任務(wù)較適合；Ramos等[13]利用筆壓技術(shù)創(chuàng)建多個(gè)交互操作界面，根據(jù)壓力大小劃分交互層，以此拓寬輸入信息通道；Forlines等[14]設(shè)計(jì)一個(gè)可接觸式雙面電子交互桌面，將交互桌面底部也作為輸入?yún)?shù)獲取的交互區(qū)域。上述研究在人機(jī)交互的接觸式技術(shù)方面拓寬了輸入維度。

與接觸式技術(shù)相反的是，利用手勢(shì)識(shí)別技術(shù)，即在非接觸三維交互技術(shù)上，Guimbretiere等[15]增加了交互界面進(jìn)行交互設(shè)計(jì)研究，利用手勢(shì)在多個(gè)顯示器界面的切換，達(dá)到多屏交互操作的目的；Aliakseyeu等[16]探索筆在不同界面層上進(jìn)行不同任務(wù)操作，該技術(shù)主要采用“偏移校正”方法，以確保在各個(gè)層次中都能很好地控制指針進(jìn)行交互任務(wù)操作。

2空間交互層次區(qū)域劃分實(shí)驗(yàn)

為避免手臂因長(zhǎng)時(shí)間懸空操作帶來(lái)的疲勞感，進(jìn)而能夠?qū)?shí)驗(yàn)采集的數(shù)據(jù)誤差降到最低，本文通過實(shí)驗(yàn)得出用戶在三維空間的常用交互范圍，該范圍大約在84～320mm之間，可作為本文分層區(qū)域?qū)嶒?yàn)的空間交互范圍。

2.1實(shí)驗(yàn)設(shè)備及開發(fā)環(huán)境

實(shí)驗(yàn)設(shè)備為臺(tái)式機(jī)一臺(tái)，Windows 7操作系統(tǒng)，4GB內(nèi)存，實(shí)驗(yàn)硬件為L(zhǎng)eap Motion。本文實(shí)驗(yàn)的軟件環(huán)境為Unity3d開發(fā)環(huán)境，實(shí)驗(yàn)界面大小為1 000*800px，并使用C#腳本語(yǔ)言作為開發(fā)語(yǔ)言。

2.2實(shí)驗(yàn)過程

本次共有12人參與實(shí)驗(yàn)操作，其年齡在23～28歲之間，包括3名女士與9名男士，均慣用右手，且都能夠熟練使用Leap Motion硬件設(shè)備。實(shí)驗(yàn)開始前，為每名實(shí)驗(yàn)者介紹本次實(shí)驗(yàn)具體操作方式，并給出10min時(shí)間供其學(xué)習(xí)與適應(yīng)，在實(shí)驗(yàn)者對(duì)實(shí)驗(yàn)流程熟悉之后開始正式實(shí)驗(yàn)。首先通過測(cè)試實(shí)驗(yàn)得到需要測(cè)定的層數(shù)為16、18、20、22與24，實(shí)驗(yàn)者進(jìn)行以30次為一組的選擇任務(wù)操作，每人需完成3組實(shí)驗(yàn)，所有實(shí)驗(yàn)者共完成1 080次選擇任務(wù)操作。

2.3實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)界面背景為黑色，實(shí)驗(yàn)空間交互范圍為L(zhǎng)eap Motion上方84～320mm之內(nèi)，用戶交互對(duì)象顏色正常狀態(tài)下顯示為白色，隨機(jī)出現(xiàn)的目標(biāo)對(duì)象為綠色，被選中時(shí)顏色狀態(tài)為紅色。

實(shí)驗(yàn)中會(huì)出現(xiàn)兩個(gè)可供交互的目標(biāo)對(duì)象，其寬度為W（14.75，13.11，11.8，10.72，9.83，單位：mm）的目標(biāo)選擇區(qū)域。其中，處在上方的目標(biāo)對(duì)象為起始位置，下方的綠色目標(biāo)對(duì)象為交互終止位置。如圖3所示為實(shí)驗(yàn)初始界面，實(shí)驗(yàn)過程中，實(shí)驗(yàn)者在Leap Motion硬件的垂直方向，通過移動(dòng)手的高度選擇目標(biāo)任務(wù)，一旦手到達(dá)當(dāng)前起始目標(biāo)對(duì)象所在高度區(qū)域，并且目標(biāo)顏色變?yōu)榧t色，如圖5所示，此時(shí)按下按鍵開始計(jì)時(shí)。當(dāng)起始位置的目標(biāo)顏色變?yōu)榘咨珪r(shí)，將手快速移動(dòng)到終止位置，并按下按鍵結(jié)束計(jì)時(shí)，此時(shí)跳轉(zhuǎn)到另一個(gè)實(shí)驗(yàn)界面，重復(fù)上述實(shí)驗(yàn)。在實(shí)驗(yàn)過程中，通過手勢(shì)識(shí)別硬件在屏幕中呈現(xiàn)手的運(yùn)動(dòng)軌跡，并且以黃色反饋給實(shí)驗(yàn)者，如圖4所示。實(shí)驗(yàn)中需要記錄的數(shù)據(jù)包括錯(cuò)誤率、時(shí)間與手的高度信息。

2.4實(shí)驗(yàn)過程與實(shí)驗(yàn)數(shù)據(jù)分析

在實(shí)驗(yàn)得到的數(shù)據(jù)中，剔除時(shí)間數(shù)據(jù)中的78個(gè)異常和錯(cuò)誤數(shù)據(jù)，運(yùn)用數(shù)據(jù)分析軟件SPSS對(duì)相應(yīng)數(shù)據(jù)進(jìn)行單因素方差分析，得到結(jié)果如表1所示。時(shí)間（Time）方差分析表中的顯著性為0，說(shuō)明各層時(shí)間方差在a=0.05水平上有顯著性差異。從圖6可以看出，時(shí)間在22層時(shí)呈快速增長(zhǎng)趨勢(shì)；從圖7可以看出，在層數(shù)達(dá)到22層時(shí)，錯(cuò)誤率已高達(dá)6%以上，因此20層及以上操作范圍在實(shí)際交互界面設(shè)計(jì)中可不作為交互區(qū)域考慮。綜合時(shí)間和錯(cuò)誤率數(shù)據(jù)圖，得出以下結(jié)論：交互層數(shù)在16層時(shí)，錯(cuò)誤率在1%以下，時(shí)間在1.2s左右，可將16層以下區(qū)域作為對(duì)交互精度和速度要求較高的操作任務(wù)活動(dòng)范圍，而將在交互設(shè)計(jì)中不太常用的交互區(qū)域范圍放在16～20層之間。

3特殊操作區(qū)域?qū)嶒?yàn)

在手勢(shì)識(shí)別的硬件可檢測(cè)區(qū)域中，可以找到一個(gè)對(duì)識(shí)別精度、速度及錯(cuò)誤率要求非常高的范圍，用于將來(lái)進(jìn)行特殊任務(wù)操作，每當(dāng)手進(jìn)入Leap Motion的檢測(cè)區(qū)域則會(huì)出現(xiàn)一個(gè)高度信息，并且該高度具有一定范圍，所以通過測(cè)試實(shí)驗(yàn)可以得到相關(guān)數(shù)據(jù)信息，并且根據(jù)數(shù)據(jù)分析得出相應(yīng)結(jié)論。

3.1實(shí)驗(yàn)設(shè)計(jì)與實(shí)驗(yàn)過程

實(shí)驗(yàn)界面如圖8所示，本次實(shí)驗(yàn)采用與實(shí)驗(yàn)1相同的實(shí)驗(yàn)者，實(shí)驗(yàn)者每次通過實(shí)驗(yàn)過程中界面上傳來(lái)的視覺信息反饋進(jìn)行實(shí)驗(yàn)操作。實(shí)驗(yàn)開始時(shí)，點(diǎn)擊開始按鈕（START）開始實(shí)驗(yàn)，實(shí)驗(yàn)者每次將手放在Leap Motion的上方檢測(cè)區(qū)域，當(dāng)看到界面中出現(xiàn)手的虛擬模型時(shí)，通過握拳確定當(dāng)前手的高度，如圖9所示，然后按下Z按鍵記錄此時(shí)的高度數(shù)據(jù)信息，并且每完成一次操作，實(shí)驗(yàn)界面中的Count數(shù)值加1，以此將完成的實(shí)驗(yàn)次數(shù)反饋給實(shí)驗(yàn)者，最后將手移出檢測(cè)范圍，按下結(jié)束按鈕（END），如此重復(fù)操作。一共有12名實(shí)驗(yàn)者，每個(gè)實(shí)驗(yàn)者需要操作任務(wù)30次，所以最終獲得的手勢(shì)高度數(shù)據(jù)共360條。

3.2實(shí)驗(yàn)數(shù)據(jù)及結(jié)果分析

將實(shí)驗(yàn)數(shù)據(jù)通過SPSS數(shù)據(jù)分析軟件進(jìn)行處理，得到如圖10與表2所示的數(shù)據(jù)分析結(jié)果，以及圖11、圖12的數(shù)據(jù)分析結(jié)果。通過圖10發(fā)現(xiàn)KolmogorovSmirnov（K）a 中的p>0.05，并且原假設(shè)是手的高度信息服從正太分布，最后的決策結(jié)果是保留原假設(shè)，所以手的高度服從正態(tài)分布。具體描述信息如表2所示，并且取其95%置信區(qū)間的范圍大約為89～197mm，該范圍可作為交互場(chǎng)景中對(duì)交互精度和速度要求較高的常用及特殊功能交互區(qū)域。

4結(jié)語(yǔ)

對(duì)于人機(jī)交互界面中增加輸入信息通道的相關(guān)技術(shù)研究中，通常是從輸入?yún)?shù)方面考慮，包括觸控輸入到手勢(shì)的非接觸輸入等，而未系統(tǒng)地從交互界面的層數(shù)分層技術(shù)進(jìn)行探究。本文通過兩個(gè)實(shí)驗(yàn)，用戶將手放在Leap Motion硬件感應(yīng)器上方，并且以坐姿狀態(tài)，利用手勢(shì)完成三維空間任務(wù)的選擇操作。為了選擇一個(gè)操作任務(wù)，手臂有時(shí)需要長(zhǎng)時(shí)間懸空，容易產(chǎn)生疲勞感，從而影響實(shí)驗(yàn)質(zhì)量。為避免該情況的發(fā)生，必須找到一個(gè)適宜的三維空間范圍。之前已得到該范圍空間為84～320mm，作為實(shí)驗(yàn)1的操作范圍，常用的操作交互設(shè)計(jì)可放在該區(qū)域內(nèi)。通過實(shí)驗(yàn)2可為特殊應(yīng)用場(chǎng)景提供一個(gè)準(zhǔn)確、快速的操作范圍區(qū)域，從而為對(duì)交互精度要求非常高的界面設(shè)計(jì)提供空間范圍的指導(dǎo)。從實(shí)驗(yàn)1的結(jié)論可以得出，16層以下區(qū)域可作為交互應(yīng)用中最常用的交互設(shè)計(jì)范圍，16～20層之間為交互設(shè)計(jì)中不太常用的交互區(qū)域范圍，20層以上操作范圍在交互層次區(qū)域設(shè)計(jì)中可不予考慮。因此，在非接觸交互界面中，三維空間操作區(qū)域的分層技術(shù)對(duì)于拓寬輸入信息帶寬是可行的。

參考文獻(xiàn)參考文獻(xiàn)：

[1]栗陽(yáng)，關(guān)志偉，陳由迪，等.基于手勢(shì)的人機(jī)交互的研究[J].系統(tǒng)仿真學(xué)報(bào)，2000（5）：528533.

[2]JUDE A，POOR G M，GUINNESS D.Grasp，grab or pinch？ identifying user preference for inairgestural manipulation[C].In Proceedings of the 2016 Symposium on Spatial User Interaction（SUI '16），2016.

[3]BERTHELLEMY M，CAYEZ E，AJEM M，et al.Spotpad，locipad，chordpad and inoutpad：investigating gesturebased input on touchpad[C].Proceedings of the 27th Conference on Interaction HommeMachine（IHM '15），2015.