支持多通道交互的虛擬實驗平臺

鄧景威，吳悅明，鄒序焱，趙熙

（1.廣東工業(yè)大學(xué)機電工程學(xué)院，廣州510006；2.廣州越維信息科技有限公司，廣州510660）

0 引言

虛擬實驗是利用計算機技術(shù)對傳統(tǒng)實驗進行模擬的技術(shù)，是虛擬現(xiàn)實技術(shù)在教育領(lǐng)域的具體應(yīng)用。傳統(tǒng)的實驗教學(xué)由于資金、設(shè)備的原因，造成教學(xué)內(nèi)容陳舊，教學(xué)模式單一，限制了學(xué)生動手能力和創(chuàng)新思維的培養(yǎng)[1]。把實驗教學(xué)放到入虛擬現(xiàn)實環(huán)境中，將打破傳統(tǒng)實驗所面臨的各種物質(zhì)條件限制。

受新冠肺炎疫情的影響，天津大學(xué)師生依托虛擬仿真平臺完成齒輪油泵的拼裝實驗；北京郵電大學(xué)學(xué)生運用虛擬仿真實驗云平臺進行實驗教學(xué)；Ravi Pratap Singh等人[2]認(rèn)為在新冠疫情期間，應(yīng)用虛擬現(xiàn)實技術(shù)可以加快對醫(yī)護人員的培訓(xùn)，保證了安全性和高效性?？梢娞摂M實驗有傳統(tǒng)實驗無可替代的優(yōu)勢。

目前，虛擬實驗的應(yīng)用一般通過多種通道進行交互，運用多通道交互能夠拓寬用戶感知和操作虛擬實驗的途徑。如Tsuda N等人[3]設(shè)計的一個書法教學(xué)平臺，用戶的書寫筆劃被Leap Motion記錄下來，通過佩戴的手部壓力裝置用戶能感受到壓力，在裝置的引導(dǎo)下進行正確的書寫。如SHAO X等人[4]設(shè)計了多感知通道交互的虛擬拆裝系統(tǒng)，用戶在抓取大部件時使用基于Leap Motion的手勢抓取動作，在抓取微小的部件時用戶只要說出部件的名稱，部件就會自動被選中。許明西等人[5]設(shè)計了熱觸覺呈現(xiàn)裝置，該裝置應(yīng)用于鋁熱反應(yīng)虛擬實驗中，當(dāng)氧化鐵粉末和鋁粉在高溫下劇烈反應(yīng)時，熱觸覺呈現(xiàn)裝置就會向用戶的釋放熱風(fēng)，用戶能很自然地感受到實驗的溫感變化效果；Shatha Abu Shanab等人[6]通過對比發(fā)現(xiàn)，基于增強現(xiàn)實技術(shù)的遠(yuǎn)程虛擬實驗更具安全性、易用性，有助于學(xué)生掌握實驗操作方法。

綜上所述，將多種交互方式結(jié)合到虛擬實驗當(dāng)中，可以提高交互的真實感，幫助學(xué)生掌握實驗知識，提高學(xué)習(xí)興趣。

1 支持多通道交互的虛擬實驗平臺結(jié)構(gòu)設(shè)計

本文提出的虛擬實驗平臺使用多種通道進行交互，包括增強現(xiàn)實圖像、嗅覺、溫感和聲音呈現(xiàn)通道，包括基于Leap Motion的手勢交互、鼠標(biāo)鍵盤、語音交互輸入通道，如圖1所示。

圖1 虛擬實驗平臺的各個交互通道

平臺的硬件設(shè)備包括Leap Motion、嗅覺呈現(xiàn)裝置、溫感呈現(xiàn)裝置、計算機、音響、麥克風(fēng)和鼠標(biāo)鍵盤。本平臺在計算機屏幕上進行增強現(xiàn)實圖像呈現(xiàn)。用戶可通過手勢與虛擬實驗器材進行交互。麥克風(fēng)可接收用戶語音指令，控制虛擬實驗的進行。音響、耳機設(shè)備會播放實驗中產(chǎn)生的特效聲音。

2 多感知通道交互方法的實現(xiàn)

2.1 手勢交互方法

本文設(shè)計了“抓”、“放”這兩種靜態(tài)手勢來抓取物體、放下物體，用戶在抓取物體后即可對虛擬實驗器材進行移動、旋轉(zhuǎn)、按壓等操作，完成操作后放下物體即可結(jié)束本次操作動作。這兩種靜態(tài)手勢特征明顯、區(qū)分度高，只需要使用簡單的決策樹分類方法，即可快速準(zhǔn)確地區(qū)分。

Leap Motion能夠?qū)崟r獲取手部關(guān)節(jié)點的位姿信息并把這些信息傳送給計算機，實現(xiàn)用戶的真實手與計算機中的虛擬手同步，實現(xiàn)手勢交互。抓、放手勢的一個主要區(qū)別是手的握緊程度。在手掌平面上，假設(shè)掌心指向除拇指外的四指的方向為vpalm向量，而除拇指外的手指指尖方向為vfinger向量，則vpalm和vfinger的夾角為手指的握緊角，即：

其中i可取1、2、3、4，分別代表食指、中指、無名指和小指的握緊角，如圖2所示。

圖2 握緊角的定義

通過Leap Motion獲取手掌心及五指指尖的姿態(tài)，可以分別計算出除拇指外的四根手指的握緊角，四指的握緊角的加權(quán)平均值反映了手的握緊程度，可以依此來判斷手勢。假設(shè)食指、中指、無名指和小指的握緊角分別為α1、α2、α3、α4，權(quán)重分別是p1、p2、p3、p4，則手的握緊角：

其中，小指的權(quán)重較小。本文的p1、p2、p3、p4分別設(shè)為0.3、0.3、0.3、0.1。α用弧度角表示，取值范圍為0到3.14，當(dāng)α小于0的時候取值為0，當(dāng)α大于3.14的時候取值為3.14。除了握緊角，還需要依據(jù)手指指尖距離來區(qū)分不同的手勢，平臺中的手勢定義如表1所示。

表1中，“抓”的手勢考慮到四種抓物體的方式，以適合不同用戶的操作習(xí)慣。若將表1中手勢“放”的判斷方法改為α小于0.4，則在用戶要放開被抓物體時，需要手張開的幅度很大，導(dǎo)致交互不自然；若將“放”的判斷方法改為α小于1.3，則在用戶要去抓物體時，需要手握得很緊。所以用戶由“抓”的手勢轉(zhuǎn)成“放”的手勢與用戶由“放”的手勢轉(zhuǎn)成“抓”的手勢這兩個情況可使用不同的α值，使用戶松開被抓物體容易，抓住物體也容易，使得手勢交互更為容易和舒適。

表1 手勢定義

2.2 嗅覺的呈現(xiàn)

本平臺使用到了一種盒體形嗅覺呈現(xiàn)裝置，裝置結(jié)構(gòu)如圖3所示。該裝置的工作原理是通過USB接口接收計算機發(fā)送來的指令，指示裝置應(yīng)該釋放或關(guān)閉哪一種氣味，裝置根據(jù)指令啟動特定氣味盒子上的霧化片，霧化片通過霧化作用將氣味盒子內(nèi)的氣味溶液變成氣溶膠，在風(fēng)扇的帶動下氣溶膠迅速在空氣中擴散，3秒左右用戶就能聞到特定的氣味。裝置的5個氣味盒子最多能同時釋放5種不同的氣味。裝置在使用前要先給氣味盒子加入實驗所需的氣味溶液，以便在虛擬實驗中進行釋放。

圖3 盒體形嗅覺呈現(xiàn)裝置

2.3 溫感的呈現(xiàn)

本平臺使用的溫感呈現(xiàn)裝置參考許明西等人[5]設(shè)計的熱觸覺再現(xiàn)裝置，裝置外形如圖4所示。該裝置通過藍(lán)牙通信模塊接收計算機發(fā)送來的指令，指示裝置應(yīng)吹出或關(guān)閉特定溫度的熱風(fēng)，用戶便能感受到特定溫度的熱風(fēng)。

圖4 溫感呈現(xiàn)裝置

3 實驗分析

以中學(xué)果酒果醋制作實驗和鋁熱反應(yīng)實驗為例，對虛擬實驗平臺的虛實融合、手勢交互、嗅覺和溫感呈現(xiàn)等功能進行驗證。實驗環(huán)境布置如圖5所示。

圖5 實驗環(huán)境布置情況

果酒果醋制作實驗幫助學(xué)生掌握微生物有氧呼吸和無氧呼吸的知識，實驗周期長，步驟主要包括清洗葡萄，去除葡萄枝梗，葡萄榨汁，對葡萄汁進行發(fā)酵等。鋁熱反應(yīng)實驗證明鋁的強還原性，反應(yīng)產(chǎn)生大量的熱，具有一定的危險性，步驟包括放置濾紙，倒入氧化鐵粉和鋁粉末，加入少量氯化鉀和鎂條，點燃鎂條等。運行虛擬實驗平臺，實驗者對著麥克風(fēng)說出“開始實驗”，軟件界面會出現(xiàn)相應(yīng)的步驟提示信息。實驗者通過手勢交互操作虛擬實驗器材，計算機顯示器顯示虛擬器材的圖像信息，通過嗅覺、溫感呈現(xiàn)裝置、揚聲器呈現(xiàn)氣味、溫度、聲音信息。

果酒果醋制作實驗中，實驗者蓋上虛擬發(fā)酵瓶蓋子后，蓋子上方出現(xiàn)一個虛擬的日歷，等待日期超過12天，嗅覺呈現(xiàn)裝置就會釋放酒香，如圖6所示。鋁熱反應(yīng)實驗中，實驗者點燃鎂條后，鎂條劇烈燃燒，該反應(yīng)產(chǎn)生大量熱，溫感呈現(xiàn)裝置就會釋放熱風(fēng)，如圖7所示。

圖6 果酒果醋制作實驗的部分操作步驟

圖7 鋁熱反應(yīng)實驗的部分操作步驟

3.1 易用性評價

為驗證虛擬實驗平臺易用性，對實驗學(xué)習(xí)有所幫助，選取了10名機械工程相關(guān)專業(yè)的研究生作為實驗者，每人完成5次果酒果醋制作的虛擬實驗，記錄他們每次實驗的完成時間和錯誤操作次數(shù)。如果實驗者操作的物體不是當(dāng)前應(yīng)該操作的物體，且該操作會對接下來的正確實驗操作產(chǎn)生負(fù)面影響，則認(rèn)為該操作為錯誤操作。如圖8所示，隨著實驗次數(shù)的增加，實驗者對平臺的交互方式和實驗流程越來越熟悉，完成實驗用的時間有所減少。同時，實驗者完成一次實驗的出現(xiàn)錯誤操作的平均次數(shù)也隨著實驗次數(shù)的增加而有所減少，如圖9所示。

圖8 每次實驗平均用時的變化

圖9 每次實驗平均錯誤操作次數(shù)的變化

3.2 主觀問卷評價

選取15名實驗者，每人完成一次果酒果醋制作和鋁熱反應(yīng)實驗，然后以調(diào)查問卷的形式，對平臺的虛實融合、手勢交互、嗅覺呈現(xiàn)等評價指標(biāo)進行主觀評價。為了讓實驗者給出評價分的時候有所依據(jù)，問卷設(shè)置了多個問題，每個問題的各個選項都用具體文字來說明，然后在統(tǒng)計數(shù)據(jù)的時候再將各選項轉(zhuǎn)換成分?jǐn)?shù)。最優(yōu)選項為3分，最差選項為0分，其他選項的評分介于0分到3分之間。評價指標(biāo)及其評分如圖10所示，評價指標(biāo)的評分由相關(guān)問題的平均評分的加權(quán)平均值得到的，最高為3分，最低為0分，如圖10所示。

圖10 實驗者對平臺的評價

從統(tǒng)計數(shù)據(jù)可知，平臺的嗅覺和溫感呈現(xiàn)效果較好。在操作虛擬實驗過程中實驗者能聞到很濃的酒精和醋的氣味，也能明顯感受到溫感呈現(xiàn)裝置吹出的熱風(fēng)。實驗者普遍認(rèn)為在視覺上虛擬實驗器材“擺放”在桌面上。通過手與虛擬器材的遮擋關(guān)系來判斷手在虛擬場景中的位置，從而對虛擬器材進行操作，這種手勢交互方式交互自然，實驗者能輕松地進行操作。不足的地方有顯示器的圖像缺少深度信息，限制了實驗者對手在虛擬空間中的位置判斷。虛擬實驗的流程總體上接近實際實驗，絕大部分實驗者認(rèn)為虛擬實驗對實驗知識的理解和掌握有幫助。

4 結(jié)語

虛擬實驗使因周期過長、或具有危險性而無法開展的傳統(tǒng)實驗在課堂上開展成為可能，讓學(xué)生從被動學(xué)習(xí)轉(zhuǎn)化為主動的探究式學(xué)習(xí)，更好地理解實驗知識。平臺支持自然的手勢交互，支持實驗中嗅覺信息和溫度信息的呈現(xiàn)，提升虛擬實驗的沉浸感，為實驗教學(xué)提供一種可行的方法。