自然交互技術(shù)的發(fā)展與研究

金永寧

一、前言

我們經(jīng)常在一些影視劇中看到這樣的場景：通過3D立體成像或投影，人可以在空氣中操作數(shù)字化內(nèi)容。當(dāng)前這類影片都是后期采用數(shù)字化方法把這類場景加入原始影片的，仔細(xì)回想一下，我們兒時(shí)很多的科幻場景現(xiàn)在都已經(jīng)變成了現(xiàn)實(shí)，比如手機(jī)和互聯(lián)網(wǎng)等等。然而，通過處理人的行為，尤其是在沒有輸入或者穿戴設(shè)備的情況下對(duì)程序進(jìn)行控制的技術(shù)已經(jīng)悄然融入在人們的生活中，這種技術(shù)統(tǒng)稱為自然交互技術(shù)。

二、自然交互概論

下面先來簡要介紹一下計(jì)算機(jī)用戶界面發(fā)展的三個(gè)階段：

第一個(gè)階段是命令行界面（Command-line Interface，簡稱 CLI），通過使用命令行向機(jī)器發(fā)命令，完成相應(yīng)的操作，如Microsoft的DOS操作系統(tǒng)，這種方式是需要用戶有編程能力（Codified）且思維邏輯嚴(yán)謹(jǐn)（Strict）；第二階段叫作圖形用戶界面（Graphical User Interface，簡稱GUI），即用圖形界面和計(jì)算機(jī)進(jìn)行交互，如微軟的Windows操作系統(tǒng)，用戶需要了解哪種操作對(duì)應(yīng)哪種指令（如單擊鼠標(biāo)左鍵表明選中，雙擊鼠標(biāo)表明打開程序），用戶也可以通過對(duì)輸入設(shè)備的探索來完成對(duì)指令的學(xué)習(xí)；第三階段即本文討論的自然用戶界面（NUI），通過更自然，更直接的方式來操作計(jì)算機(jī)，直觀的說，使用NUI的計(jì)算機(jī)不需要鍵盤或鼠標(biāo)。

自然交互技術(shù)，是支持自然用戶界面的技術(shù)，包括硬件和軟件兩個(gè)方面，縱觀近10年來技術(shù)的發(fā)展，各種新型設(shè)備的出現(xiàn)，科研機(jī)構(gòu)和軟件公司也在不停的進(jìn)行用戶習(xí)慣和交互手勢的研究，蘋果和三星還為此進(jìn)行了專利訴訟，用戶界面技術(shù)也在不停地發(fā)展。但是這些成果距離讓我們的操作變得更加“自然”還離得很遠(yuǎn)，用戶要想順暢的使用這些設(shè)備也必須首先了解設(shè)備的使用方法，比如智能手機(jī)中的放大縮小操作，首先都必須進(jìn)行訓(xùn)練。

三、交互體感設(shè)備的發(fā)展及其比較

1.Microsoft Xbox Kinect

Kinect是微軟在2010年6月14日對(duì)XBOX360體感周邊外設(shè)正式發(fā)布的名字。Natal為開發(fā)代號(hào)。它是一種3D體感攝影機(jī)，同時(shí)導(dǎo)入了即時(shí)動(dòng)態(tài)捕捉、影像辨識(shí)、麥克風(fēng)輸入、語音辨識(shí)、社群互動(dòng)等功能。玩家可以通過這項(xiàng)技術(shù)在游戲中開車、與其他玩家互動(dòng)、通過互聯(lián)網(wǎng)與其他Xbox玩家分享圖片和信息等。

Kinect的組成結(jié)構(gòu)如上圖所示，由3D深度傳感器，顏色攝像機(jī)，麥克風(fēng)陣列和馬達(dá)云臺(tái)組成。3D深度傳感器由紅外激光結(jié)構(gòu)光設(shè)備搭建，可以實(shí)時(shí)獲得場景的深度信息，進(jìn)而可以對(duì)周圍環(huán)境進(jìn)行三維重構(gòu)；顏色攝像機(jī)可以進(jìn)行圖像的采集，然后可以進(jìn)行對(duì)采集的影像進(jìn)行識(shí)別和檢測；麥克風(fēng)輸入可以進(jìn)行語音檢測；馬達(dá)云臺(tái)可以用來校正攝像機(jī)位置和仰角。

開發(fā)Kinect可以使用官方的SDK。該SDK主要針對(duì) Windows7設(shè)計(jì)，內(nèi)含驅(qū)動(dòng)程序、原始感測數(shù)據(jù)流程式開發(fā)接口（Raw Sensor Stream sAPI）、自然用戶接口、安裝文件以及參考數(shù)據(jù)?？勺屖褂肅++、C#或Visual Basic語言搭配Microsoft Visual Studio 2010工具開發(fā)使用。Kinect的開發(fā)也可以使用開源的自然交互庫OpenNI，其中包含了更多對(duì)手勢的識(shí)別和檢測的接口。

2.Asus Xtion PRO

Xtion PRO是華碩針對(duì)PC開發(fā)的一款體感設(shè)備，于2011年6月正式發(fā)布。Xtion PRO和Kinect一樣，使用PrimeSense公司的提供的方案，由3D深度傳感器和顏色攝像機(jī)來構(gòu)成對(duì)世界的三維重構(gòu)和對(duì)圖像的識(shí)別。Xtion PRO沒有馬達(dá)云臺(tái)，麥克風(fēng)也比Kinect設(shè)計(jì)的要弱。

對(duì)于PC開發(fā)用戶來說，Kinect需要獨(dú)立的電源供電，Xtion PRO僅需要一條USB線。Xtion PRO的另一個(gè)特點(diǎn)是體積小，因此更適合小型家用計(jì)算機(jī)。OpenNI即Xtion Pro的原生開發(fā)工具，因此它比Kinect多了手勢檢測的功能。

3.Intel CREATIVE Camera

英特爾Intel公司新推出一款交互姿勢檢測攝像頭CREATIVE Camera，這種設(shè)備很小巧，只有一個(gè)普通攝像頭大小，可以方便的夾在筆記本上面，通過紅外結(jié)構(gòu)光構(gòu)建空間環(huán)境，對(duì)人的三維信息進(jìn)行解算和處理，從而作為一種輸入設(shè)備對(duì)計(jì)算機(jī)進(jìn)行控制。體積比Xtion更小，適合在筆記本上使用，且RGB 攝像頭達(dá)到720p的清晰度，要比Xtion和Kinect成像質(zhì)量更好。目前此產(chǎn)品的SDK已經(jīng)發(fā)布，但產(chǎn)品還沒有對(duì)外公布，因此并不知道實(shí)際測試的結(jié)果和性能，只能透過官方發(fā)布的參數(shù)信息來了解。

4.LEAP

LEAP是LEAP Motion公司于2012年年初發(fā)布的一款手勢控制設(shè)備，此款設(shè)備只有一包口香糖大小，通過USB連接電腦后可以創(chuàng)造出一個(gè)4立方英尺的工作空間。通過對(duì)此空間范圍內(nèi)的物體進(jìn)行精確的檢測生成高質(zhì)量的點(diǎn)云信息，可以分析手的行為和動(dòng)作來控制程序和操作系統(tǒng)。從已發(fā)布的操作視頻可以看到，LEAP性能很好，采集信息準(zhǔn)確且實(shí)時(shí)解算速度很快。2013年9月，在惠普最新推出了最新款的Envy 17 Leap MotionSE超極本中，集成了Leap Motion的手勢操控模塊，用戶可以通過手勢的操作控制計(jì)算機(jī)，搭配指定的軟件，可以實(shí)現(xiàn)不少很有趣的功能，相比獨(dú)立的Leap Motion，整合在Envy 17掌托中的Leap Motion小了大約70%。

四、總結(jié)和展望未來交互技術(shù)的發(fā)展趨勢

縱觀交互技術(shù)的發(fā)展，人們趨向于更自然更酷更炫的交互體驗(yàn)，廠商也在不遺余力的開發(fā)并對(duì)這些新技術(shù)進(jìn)行推廣，例如三星最新的Galaxy S4手機(jī)中使用的眼球翻頁技術(shù)。這類交互體感設(shè)備的推出，使得科幻電影中的人機(jī)交互場景成為可能。國內(nèi)的體感設(shè)備應(yīng)用現(xiàn)在還處在起步的階段，未來有可能會(huì)成為一種行業(yè)標(biāo)準(zhǔn)，如果開發(fā)方式較容易且有趣，亦可以轉(zhuǎn)化為相關(guān)的交互設(shè)計(jì)課程。