基于智能手機(jī)的三維交互技術(shù)探究

王象剛

（東營(yíng)職業(yè)學(xué)院，山東東營(yíng)，257091）

1 智能手機(jī)三維交互框架

智能手機(jī)，尤其是像蘋(píng)果，三星等配有高像素?cái)z像頭、大尺寸多點(diǎn)觸摸屏幕、豐富傳感器的手機(jī)，給大屏幕交互帶來(lái)了新的希望.相比于鼠標(biāo)等傳統(tǒng)設(shè)備，智能手機(jī)具有明顯優(yōu)勢(shì)。智能手機(jī)有著不同于傳統(tǒng)交互設(shè)備特點(diǎn)：傳統(tǒng)交互設(shè)備專(zhuān)用性較強(qiáng)，如鼠標(biāo)的發(fā)明是為了用于WIMP 界面交互，而智能手機(jī)的主要用途是通訊；鼠標(biāo)輸入通道單一，其移動(dòng)與按鍵構(gòu)成全部輸入而智能手機(jī)集成了多個(gè)輸入通道，如攝像頭視頻輸入通道、話(huà)筒語(yǔ)音輸入通道、慣性傳感器運(yùn)動(dòng)輸入道、觸摸屏輸入通道等；傳統(tǒng)鼠標(biāo)交互需要支撐面，因此其交互范圍受到限制，而智能手機(jī)采用無(wú)線(xiàn)方式在三維空間中進(jìn)行交互.通過(guò)分析智能手機(jī)與大屏幕交互過(guò)程中的數(shù)據(jù)流動(dòng)。

所示，它采用客戶(hù)端服務(wù)器架構(gòu)，客戶(hù)端運(yùn)行于手機(jī)上，服務(wù)器端運(yùn)行于公共大屏幕等后端服務(wù)器，客戶(hù)端用Wi-Fi 或者藍(lán)牙與服務(wù)器進(jìn)行通信客戶(hù)端按數(shù)據(jù)流動(dòng)的方向劃分為交互層、應(yīng)用邏輯層、網(wǎng)絡(luò)層.交互層監(jiān)聽(tīng)用戶(hù)的交互操作，將捕獲的觸屏輸入與傳感器輸入傳遞給應(yīng)用邏輯層.應(yīng)用邏輯層含觸屏輸入處理模塊、空間姿態(tài)解算模塊以及消息合成模塊.觸屏數(shù)據(jù)輸入模塊處理交互層發(fā)送過(guò)來(lái)的手指手勢(shì)信息并將其解釋成觸屏消息；空間姿態(tài)解算模塊處理交互層發(fā)送過(guò)來(lái)的傳感器原始數(shù)據(jù)并計(jì)算出設(shè)備的空間姿態(tài)；消息合成模塊將屏消息與空間姿態(tài)通過(guò)定義的交互消息格式合成為交互消息，交由網(wǎng)絡(luò)層負(fù)責(zé)發(fā)出.服務(wù)器端按數(shù)據(jù)流動(dòng)的方向劃分為網(wǎng)絡(luò)層、交互映射層、界面層。

2 三維人際交互分類(lèi)

2.1 基本交互任務(wù)

所謂的基本交互任務(wù)就是我們平常所使用的漫游技術(shù)，或則是系統(tǒng)控制任務(wù)，使用者操作技術(shù)時(shí)三維用戶(hù)界面的基礎(chǔ)，通常也是交互技術(shù)的基本組成部分，比如在系統(tǒng)控制技術(shù)中必須用到選擇技術(shù)來(lái)判定三維物體，而對(duì)于離散點(diǎn)的漫游技術(shù)中，同樣需要連續(xù)的選擇多個(gè)點(diǎn)組成運(yùn)動(dòng)軌跡來(lái)實(shí)現(xiàn)。

2.2 雙手交互技術(shù)

所謂的雙手交互技術(shù)憑借其在行為學(xué)上的優(yōu)勢(shì)而受到較為廣泛的推廣，雙手交互技術(shù)不僅僅能夠提高工作效率和網(wǎng)速，還能將用戶(hù)在日常生活中的技能自然的反映到人機(jī)對(duì)話(huà)中，從而有效的降低用戶(hù)的學(xué)習(xí)壓力和使用難度，比如虛擬制造就是雙手交互技術(shù)比較典型的應(yīng)用。

2.3 多通道交互技術(shù)

多通道交互技術(shù)時(shí)基于人具有多通道感知能力來(lái)發(fā)明的，為用戶(hù)提供形象逼真的感官體驗(yàn)是虛擬環(huán)境研究的關(guān)鍵，從這個(gè)角度來(lái)說(shuō)，虛擬環(huán)境就是研究多通道交互技術(shù)的最佳環(huán)境，比如語(yǔ)音、手勢(shì)都可以作為輸入通道，不難理解，各個(gè)通道之間的融合和用戶(hù)使用意圖的敏銳捕捉是多通道交互技術(shù)的關(guān)鍵。

2.4 二維設(shè)備的交互技術(shù)

基于二維設(shè)備的三維交互技術(shù)可以說(shuō)是從CAD 領(lǐng)域發(fā)展而來(lái)的，現(xiàn)階段主流的CAD 軟件都支持鼠標(biāo)進(jìn)行二維變化，但是二維設(shè)備應(yīng)用不夠靈活，三維界面中的自由度往往需要轉(zhuǎn)化為鼠標(biāo)的操作序列，這就會(huì)降低用戶(hù)的操作效率和交互自然性，二維設(shè)備中最為合適的交互技術(shù)就是指點(diǎn)選擇。目前的三維交互設(shè)備還處于探索階段，還沒(méi)有一種比較完善的輸入裝置能夠像二維圖形界面一樣廣泛的流行開(kāi)來(lái)，但是三維設(shè)備的發(fā)展特別快，目前已經(jīng)由的三維交互設(shè)備主要有立體顯示、3D位置跟蹤設(shè)備等，立體顯示設(shè)備比如我們?nèi)粘Ｊ褂玫目梢苿?dòng)的顯示器等，立體眼鏡是一種特殊的眼鏡，使用者能夠從眼鏡上看到顯示器上的立體圖像，三維的顯示器能夠根據(jù)人眼的區(qū)別顯示兩種圖像。

3 基于慣性傳感器的姿態(tài)解算

對(duì)物體空間姿態(tài)與位置的研究主要來(lái)源于捷聯(lián)慣導(dǎo)系統(tǒng)，軍用系統(tǒng)中借助GPS、全站儀來(lái)輔助計(jì)算.由于設(shè)備的限制，本文只關(guān)注設(shè)備姿態(tài)的計(jì)算，而對(duì)于位置計(jì)算則不做過(guò)多探討.物體的空間姿態(tài)解算的經(jīng)典算法有龍格－庫(kù)塔法以及卡爾曼濾波.龍格－庫(kù)塔法通過(guò)對(duì)陀螺儀的三軸角速度值進(jìn)行積分，可以得出任一時(shí)刻的空間姿態(tài)；其缺點(diǎn)在于陀螺儀精度有限，長(zhǎng)時(shí)間積分會(huì)發(fā)生誤差積累，使計(jì)算結(jié)果隨時(shí)間發(fā)生漂移.爾曼濾波用加速度計(jì)測(cè)量值作為觀(guān)測(cè)值去校正前一狀態(tài)通過(guò)陀螺儀積分計(jì)算出來(lái)的預(yù)測(cè)值，通過(guò)迭代過(guò)程預(yù)測(cè)值被更新并且逼近真實(shí)值；其缺點(diǎn)在于在運(yùn)動(dòng)比較平穩(wěn)的情況下其預(yù)測(cè)效果很好，但是當(dāng)運(yùn)動(dòng)較快等受慣性力情況下，因受加速度計(jì)值快速變化的影響，會(huì)出現(xiàn)抖動(dòng)嚴(yán)重以及收斂較慢等情況，并且迭代過(guò)程計(jì)算量也較大，算法復(fù)雜度較高.針對(duì)上述問(wèn)題，本文提出了一種輕量級(jí)、實(shí)時(shí)準(zhǔn)確的多傳感器融合空間姿態(tài)解算算法.由于手機(jī)運(yùn)動(dòng)過(guò)程總是快速運(yùn)動(dòng)狀態(tài)與準(zhǔn)靜止?fàn)顟B(tài)（手機(jī)運(yùn)動(dòng)速度非常小，接近于靜止?fàn)顟B(tài)）的相互轉(zhuǎn)換，當(dāng)手機(jī)快速運(yùn)動(dòng)時(shí)運(yùn)動(dòng)幅度較大，加速度計(jì)值，因?yàn)闊o(wú)法消除重力分量而不可信，在此狀態(tài)下棄用加速度計(jì)值，用四階龍格－庫(kù)塔法對(duì)陀螺儀數(shù)值進(jìn)行積分求得運(yùn)動(dòng)狀態(tài)下的空間姿態(tài)；而當(dāng)手機(jī)在準(zhǔn)靜止?fàn)顟B(tài)時(shí)，即三軸加速度模值接近重力加速度g時(shí)，加速度計(jì)值結(jié)合磁力計(jì)值用重力分解法解算空間姿態(tài)，可達(dá)到消除當(dāng)前姿態(tài)漂移誤差的目的.整個(gè)計(jì)算過(guò)程是基于四元數(shù)運(yùn)算的，四元數(shù)相比于歐拉角來(lái)說(shuō)，可以避免“萬(wàn)向死鎖節(jié)”，并且相對(duì)于旋轉(zhuǎn)矩陣來(lái)說(shuō)，四元數(shù)只需4 個(gè)數(shù)表示可以簡(jiǎn)化計(jì)算過(guò)程。整個(gè)姿態(tài)解算過(guò)程步驟如圖1：

帶有慣性傳感器、觸摸屏、攝像頭智能手機(jī)，如目前出現(xiàn)的蘋(píng)果、安卓系統(tǒng)的手機(jī)，它們?cè)诰邆渫ㄓ嵐δ艿耐瑫r(shí)，可以很方便地用于遠(yuǎn)距離、大幕的交互.本文基于傳感器與觸屏信息融合的思想，提出2 種交互技術(shù)，分別用于二維交互場(chǎng)景與三維交互場(chǎng)景，達(dá)到用手機(jī)代替?zhèn)鹘y(tǒng)二維交互設(shè)備在這些場(chǎng)景下交互的目的.本文進(jìn)行了相關(guān)應(yīng)用實(shí)例的開(kāi)發(fā)與評(píng)估，從實(shí)驗(yàn)的結(jié)果可以看出，在二維交互應(yīng)用場(chǎng)景中，手機(jī)通過(guò)合適的交互映射技術(shù)，幾乎可以代替?zhèn)鹘y(tǒng)的鼠標(biāo)與鍵盤(pán)進(jìn)行交互；而在三維應(yīng)用場(chǎng)景中，在交互效率、自然性、易學(xué)習(xí)性以及用戶(hù)偏好方面，手機(jī)相比于鼠標(biāo)鍵盤(pán)都有著不可比擬的優(yōu)越性.開(kāi)發(fā)者若基于智能手機(jī)的三維交互框架，能快速地開(kāi)發(fā)出適應(yīng)用戶(hù)需求的應(yīng)用；整個(gè)框架可擴(kuò)展性強(qiáng)，通過(guò)添加相應(yīng)的模塊即可用于特定的交互場(chǎng)景.智能手持設(shè)備除了具有移動(dòng)通訊功能外，也是一類(lèi)具有輸入、輸出集成的多通道交互設(shè)備，在虛擬現(xiàn)實(shí)和普適計(jì)算等領(lǐng)域具有廣泛的應(yīng)用前景。

4 三維交互映射

三維交互映射是將獲取的輸入信息映射成三維交互操作的技術(shù)三維交互技術(shù)可以分為虛擬手（virtual hand）與虛擬射線(xiàn)（virtual pointer）2 種，在“虛擬手”中，用戶(hù)主要通過(guò)“虛擬手”來(lái)觸摸與拾取物體；而在“虛擬射線(xiàn)”中，用戶(hù)主要通過(guò)指向物體來(lái)進(jìn)行交互.本文中可以獲得手機(jī)的空間姿態(tài)［φ，θ，ψ］，但是手機(jī)空間運(yùn)動(dòng)的位移與位置由于傳感器的限制無(wú)法精確計(jì)算，而“虛擬射線(xiàn)”中的第九射線(xiàn)技術(shù)用指點(diǎn)設(shè)備的空間姿態(tài)就可以對(duì)物體進(jìn)行控制，所以本文選擇用第九射線(xiàn)實(shí)現(xiàn)三維交互.經(jīng)典第九射線(xiàn)通過(guò)空間姿態(tài)的映射達(dá)到對(duì)物體3DOF 的控制.具體來(lái)說(shuō)，用ψ 角映射為三維空間x軸上移動(dòng)物體，θ 角映射為y軸上移動(dòng)物體，而φ 角映射z軸上旋轉(zhuǎn)物體.本文通過(guò)把空間姿態(tài)與觸屏信息相結(jié)合，對(duì)第九射線(xiàn)算法進(jìn)行了改進(jìn)，在實(shí)現(xiàn)了在x，y軸上移動(dòng)物體以及z軸旋轉(zhuǎn)物體的同時(shí)，增加了對(duì)物體在z軸上移動(dòng)以及放大縮小的控制。

圖形菜單的轉(zhuǎn)變是三維交互映射中的主要內(nèi)容，將二維的圖形菜單變?yōu)槿S的，是當(dāng)下最為受歡迎的系統(tǒng)控制技術(shù)，這些菜單的原始功能與桌面環(huán)境下的基本相同，通常情況下，二維的菜單具有下拉式、浮動(dòng)式以及彈出式菜單，將二維的菜單轉(zhuǎn)為三維技術(shù)，其中最為關(guān)鍵的就是將菜單選項(xiàng)對(duì)準(zhǔn)相機(jī)，這樣的話(huà)用戶(hù)不管向哪看，都可以看到菜單顯示，這種三維的菜單最大的優(yōu)勢(shì)就是對(duì)于交互技術(shù)能夠靈活的應(yīng)用，并且便于用戶(hù)理解和使用，基本上所有的用戶(hù)都能立刻識(shí)別這些菜單的元素。智能手機(jī)的空間坐標(biāo)分布（如圖2）：

菜單的位置直接影響著用戶(hù)對(duì)設(shè)計(jì)結(jié)果的接受程度，從這個(gè)角度來(lái)說(shuō)，菜單最好是能夠便于用戶(hù)操作。任何操作技術(shù)都是由一定的適用范圍的，比如醫(yī)學(xué)中的操作技術(shù)不能夠在城市規(guī)劃中使用，因此在研究交互技術(shù)之前，我們必須要明確交互任務(wù)，要根據(jù)不同的操作華寧，采用不同的操縱方式，從而實(shí)現(xiàn)不同的交互技術(shù)應(yīng)用。

5 結(jié)語(yǔ)

三維交互技術(shù)將是未來(lái)智能手機(jī)發(fā)展的一個(gè)重要方向，我們要基于現(xiàn)有的技術(shù)水平，不斷的改進(jìn)和創(chuàng)新三維交互技術(shù)與智能手機(jī)的結(jié)合技術(shù)，不斷提升智能手機(jī)的性能和質(zhì)量，更好的滿(mǎn)足用戶(hù)的日常需求，進(jìn)一步豐富智能手機(jī)的功能，實(shí)現(xiàn)更為廣泛的應(yīng)用和推廣。三維交互技術(shù)將是未來(lái)手機(jī)的一個(gè)重要的發(fā)展方向，因此我們要不斷的豐富和完善智能手機(jī)的三維交互技術(shù)，不斷的創(chuàng)新三維交互設(shè)備，充分利用二者的優(yōu)勢(shì)和長(zhǎng)處，徹底的實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)和資源共享。

圖2

[1] 董世海. 人機(jī)交互的進(jìn)展及面臨的挑戰(zhàn)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào).2013

[2] 廖竹華. 裝配仿真的三維交互和用戶(hù)界面設(shè)計(jì)[J].系統(tǒng)仿真學(xué)報(bào).2013

[3] 永剛.桌面環(huán)境下的三維用戶(hù)界面和三維交互技術(shù)[D].中國(guó)科學(xué)院研究生院博士學(xué)位論文.2013

[4] 邢衛(wèi)東. 基于GVS 的城區(qū)漫游系統(tǒng)的開(kāi)發(fā)[J]. 計(jì)算機(jī)應(yīng)用.2011