基于數(shù)據(jù)手套的虛擬物理實(shí)驗(yàn)室系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

（東北大學(xué)軟件學(xué)院 遼寧·沈陽 110000）

0 引言

隨著近年來高等教育實(shí)驗(yàn)教學(xué)改革和實(shí)驗(yàn)項(xiàng)目信息化建設(shè)的不斷推進(jìn)，為響應(yīng)國家教育部關(guān)于開展示范性虛擬仿真實(shí)驗(yàn)教學(xué)項(xiàng)目建設(shè)的號(hào)召，充分利用信息技術(shù)與高等教育實(shí)驗(yàn)教學(xué)深度融合、教育資源共建共享的先進(jìn)機(jī)制，拓展實(shí)驗(yàn)教學(xué)內(nèi)容的廣度和深度、延伸實(shí)驗(yàn)教學(xué)的時(shí)間和空間、提升實(shí)驗(yàn)教學(xué)的質(zhì)量和水平，搭建高靈活性、互動(dòng)性、操作復(fù)雜性的物理實(shí)驗(yàn)室系統(tǒng)對數(shù)字化教育平臺(tái)建設(shè)具有重要意義。本文利用包括基于物理的實(shí)時(shí)渲染技術(shù)在內(nèi)的多種數(shù)字還原技術(shù)，結(jié)合應(yīng)用廣泛的虛擬現(xiàn)實(shí)開發(fā)平臺(tái)，以數(shù)據(jù)手套作為交互設(shè)備，通過若干個(gè)典型的中學(xué)物理實(shí)驗(yàn)的仿真還原，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)虛擬物理實(shí)驗(yàn)系統(tǒng)，驗(yàn)證物理實(shí)驗(yàn)在虛擬現(xiàn)實(shí)平臺(tái)的可操作性以及數(shù)據(jù)手套在虛擬物理實(shí)驗(yàn)中便捷、精確和直觀的交互方式。

1 相關(guān)技術(shù)

1.1 Unity引擎

Unity引擎是一款被廣泛使用的實(shí)時(shí)3D開發(fā)工具，由于其成熟的開發(fā)流程、豐富的開發(fā)資源，近年來被用作虛擬現(xiàn)實(shí)內(nèi)容的首選開發(fā)平臺(tái)。其優(yōu)秀的跨平臺(tái)特性也為虛擬現(xiàn)實(shí)和多體感交互開發(fā)提供了便利。

1.2 3DMax

3D Studio Max，常簡稱為3d Max或3ds Max，是Discreet公司開發(fā)的基于 PC平臺(tái)的三維動(dòng)畫渲染和制作軟件。3ds Max是廣為人熟知的3D內(nèi)容制作工具，性價(jià)比較高、易于上手且插件資源豐富，廣泛應(yīng)用于廣告、影視、工業(yè)設(shè)計(jì)、建筑設(shè)計(jì)、三維動(dòng)畫、多媒體制作、游戲、以及工程可視化等領(lǐng)域。

1.3 Substance Painter

Substance Painter是一款基于物理效果的材質(zhì)制作工具，在追求真實(shí)質(zhì)感表達(dá)的3D仿真類項(xiàng)目中，常被用于制作逼真的材質(zhì)效果。

1.4 PBR技術(shù)

PBR全稱是Physically Based Rendering，基于物理的渲染，是時(shí)下非常流行的擬真渲染技術(shù)?；谖锢淼匿秩炯夹g(shù)使用物理原理來模擬光和物質(zhì)之間的相互作用。它是利用真實(shí)世界的原理和理論，通過各種數(shù)學(xué)方法推導(dǎo)或簡化或模擬出一系列渲染方程，并依賴計(jì)算機(jī)硬件和圖形API渲染出擬真畫面的技術(shù)。

1.5 數(shù)據(jù)手套

數(shù)據(jù)手套是一種多模式的虛擬現(xiàn)實(shí)硬件，可進(jìn)行虛擬場景中抓取、移動(dòng)、旋轉(zhuǎn)等操作，也可利用它的多模式性，控制場景漫游。本項(xiàng)目采用的數(shù)據(jù)手套為Noitom Hi5（圖1），采用慣性動(dòng)作捕捉技術(shù)實(shí)現(xiàn)對手部姿態(tài)的獲取。NoitomHi5手套配備7顆9軸高性能慣性傳感器，可達(dá)到低于5ms的延遲，在腕部還提供振動(dòng)模塊，可以在使用時(shí)產(chǎn)生震動(dòng)觸覺反饋，增加虛擬現(xiàn)實(shí)中的沉浸感。

圖1：Noitom Hi5數(shù)據(jù)手套

2 系統(tǒng)設(shè)計(jì)

2.1 場景設(shè)計(jì)

本系統(tǒng)主要由五個(gè)虛擬場景組成：一個(gè)主場景、三個(gè)主題場景和一個(gè)多人合作場景。在場景設(shè)計(jì)上遵循場景風(fēng)格服務(wù)場景功能的原則。

如圖2所示，主場景用于基本實(shí)驗(yàn)操作，為使用者進(jìn)行中學(xué)物理實(shí)驗(yàn)提供虛擬場所，仿真實(shí)驗(yàn)的主要目的則在于通過仿真程序來實(shí)現(xiàn)真實(shí)世界的實(shí)驗(yàn)，在節(jié)省器材資源和降低實(shí)驗(yàn)風(fēng)險(xiǎn)的情況下產(chǎn)生相同于真實(shí)實(shí)驗(yàn)甚至實(shí)現(xiàn)真實(shí)實(shí)驗(yàn)達(dá)不到的效果。

圖2：主場景與實(shí)驗(yàn)器材

為了滿足以上需求，在實(shí)驗(yàn)選取方面，選取以下實(shí)驗(yàn)：（1）驗(yàn)證動(dòng)量守恒定律；（2）牛頓擺球；（3）描述小電珠的伏安特性曲線；（4）影響滑動(dòng)摩擦力大小的因素；（5）利用氣墊導(dǎo)軌驗(yàn)證牛頓第二定律。

主題場景則提供寓教于樂的交互場景，每個(gè)主題場景都以一個(gè)中學(xué)物理知識(shí)模塊為主題，將該模塊內(nèi)的知識(shí)靈活搭配，創(chuàng)造一個(gè)具體的環(huán)境以鍛煉學(xué)生使用本模塊所學(xué)物理知識(shí)解決實(shí)際問題的能力。

2.2 交互功能設(shè)計(jì)

本系統(tǒng)為“多體感”的虛擬物理實(shí)驗(yàn)室系統(tǒng)，“多體感”是指交互方式上將涉及數(shù)據(jù)手套、虛擬現(xiàn)實(shí)平臺(tái)等多元交互設(shè)備的使用。在向虛擬實(shí)驗(yàn)系統(tǒng)中引入復(fù)雜交互設(shè)備的同時(shí)，提高交互設(shè)備為使用者帶來的體驗(yàn)升級(jí)便成為系統(tǒng)開發(fā)的重要內(nèi)容，本部分內(nèi)容將從操作的功能分析、交互設(shè)計(jì)、具體實(shí)驗(yàn)的交互開發(fā)這三個(gè)方面闡述本系統(tǒng)的開發(fā)工作。

2.2.1 操作功能分析

人物漫游：使用者通過VR設(shè)備對虛擬場景進(jìn)行觀察，并可在場景中移動(dòng)的功能。

物體交互：使用者通過數(shù)據(jù)手套與模型交互的功能。通過對數(shù)據(jù)手套進(jìn)行邏輯控制，讓使用者能在虛擬環(huán)境中觸碰、抓取、移動(dòng)、操作實(shí)驗(yàn)器材。

2.2.2 操作功能模塊設(shè)計(jì)

操作功能包括使用者在虛擬場景內(nèi)的移動(dòng)、觀察，以及與實(shí)驗(yàn)器材的交互操作，如抓取、觸摸、旋轉(zhuǎn)等。如圖3所示，本系統(tǒng)在用戶的模型手背上添加了操作按鈕，激活此按鈕后，用戶手掌中心將生成一個(gè)控制移動(dòng)的虛擬搖桿，操作搖桿即可在虛擬場景中任意移動(dòng)。

圖3：控制移動(dòng)的虛擬搖桿

2.2.3 實(shí)驗(yàn)交互功能模塊設(shè)計(jì)

實(shí)驗(yàn)交互功能是對每個(gè)物理實(shí)驗(yàn)操作仿真的具體實(shí)現(xiàn)，包括器材交互和UI交互。對于不同的器材，需要設(shè)計(jì)與其實(shí)際使用相適應(yīng)的交互方式，如電學(xué)元件的連接、砝碼的夾取等。本部分以“探究影響滑動(dòng)摩擦力大小的因素”實(shí)驗(yàn)為例，展示相關(guān)設(shè)計(jì)。

由圖4實(shí)驗(yàn)流程圖可以看出，在該實(shí)驗(yàn)中，用戶需要完成對小車及其上砝碼的放置操作。砝碼的放置需要使用鑷子進(jìn)行夾取，通過限制交互手段、UI提示等多種方法向用戶說明儀器的操作規(guī)范。此外，在UI系統(tǒng)和實(shí)驗(yàn)操作流程中采用正交化的設(shè)計(jì)方式，可以在確保操作自由度的同時(shí)，避免因操作順序錯(cuò)誤出現(xiàn)的邏輯沖突。

圖4：“探究影響滑動(dòng)摩擦力大小的因素”實(shí)驗(yàn)流程

3 系統(tǒng)實(shí)現(xiàn)

3.1 場景模型與特效制作

完成本項(xiàng)目場景制作的PBR流程：使用3ds max進(jìn)行多邊形建模、拆分UV后導(dǎo)入substancepainter完成法線、AO貼圖的制作，繪制材質(zhì)貼圖，最后將模型和材質(zhì)貼圖導(dǎo)入unity引擎中進(jìn)行配置并對場景進(jìn)行打光和烘焙。

在Unity渲染方面，采用靜態(tài)烘焙和實(shí)時(shí)渲染相結(jié)合的方式，對于可運(yùn)動(dòng)的實(shí)驗(yàn)器材采用實(shí)時(shí)渲染，而對于靜止不動(dòng)的場景物體則使用靜態(tài)烘焙節(jié)約性能并合并模型網(wǎng)格。如圖5所示，對于主題場景中的一些特效，如電流激光等，則使用unity的粒子系統(tǒng)實(shí)現(xiàn)。

圖5：電磁學(xué)主題場景中的粒子特效

3.2 實(shí)驗(yàn)器材的物理仿真

（1）小球碰撞驗(yàn)證動(dòng)量守恒：為使小球遵循動(dòng)量定理，在引擎中使用物理材質(zhì)，并將Bounciness屬性設(shè)為最大。賦予小球碰撞體和剛體組件，在剛體組件中設(shè)置質(zhì)量參數(shù)以使引擎進(jìn)行正確的物理計(jì)算。

（2）托盤天平的仿真模擬：天平仿真的一大難題在于物理計(jì)算的精度和模型質(zhì)心的位置問題。最后采用這樣的優(yōu)化方法：在模型部分將托盤天平橫梁的坐標(biāo)軸設(shè)置在其旋轉(zhuǎn)中心，并凍結(jié)將此物體坐標(biāo)軸使其只能繞定軸旋轉(zhuǎn)。天平的效果通過包圍多個(gè)碰撞盒實(shí)現(xiàn)。

（3）描述小電珠的伏安特性曲線：電路的模擬需要通過腳本進(jìn)行邏輯電路處理來實(shí)現(xiàn)。由于每個(gè)部件的旋鈕處都需要判斷是否有導(dǎo)線連接，因此在每一個(gè)部件的導(dǎo)線接口上添加一個(gè)觸發(fā)器進(jìn)行統(tǒng)一管理。

（4）不同粗糙表面的模擬：通過調(diào)節(jié)軌道物理材質(zhì)中有關(guān)動(dòng)摩擦因數(shù)的屬性數(shù)值來實(shí)現(xiàn)。

3.3 數(shù)據(jù)手套交互實(shí)現(xiàn)

3.3.1 數(shù)據(jù)手套的導(dǎo)入配置

本項(xiàng)目直接使用數(shù)據(jù)手套開發(fā)商提供的SDK進(jìn)行開發(fā)。數(shù)據(jù)手套軟件部分的交互邏輯主要分為識(shí)別可交互物體、分類可交互物體、抓取、觸碰等。項(xiàng)目中需要按如下步驟對項(xiàng)目進(jìn)行配置：（1）相關(guān)插件的導(dǎo)入；（2）項(xiàng)目設(shè)置；（3）場景物體的層級(jí)設(shè)置；（4）物理檢測設(shè)置；（5）虛擬現(xiàn)實(shí)配置；（6）數(shù)據(jù)手套模型配置。

3.3.2 數(shù)據(jù)手套的交互配置

場景中數(shù)據(jù)手套交互的物體分為三類：單體物體、按鈕/觸發(fā)器、組合物體。針對不同類別的物體交互配置的步驟如下：

（1）單體物體：向所有可交互單體的根節(jié)點(diǎn)添加用于交互管理的組件，并對特定單體添加用于處理各類交互事件、注冊/取消注冊交互、識(shí)別交互類型和交互物體ID的組件。在完成組件的設(shè)置后，需要設(shè)置單體的層級(jí)、添加剛體組件并設(shè)置物理學(xué)屬性，同時(shí)添加一個(gè)不渲染，但使用相同網(wǎng)格的子物體，設(shè)置為觸發(fā)器，用于對目標(biāo)物體的觸發(fā)檢測。

（2）按鈕/觸發(fā)器：按鈕/觸發(fā)器與單體物體相似，但不需要添加子物體。

（3）組合物體：組合物體組合物體通常包含多個(gè)模型，需要先解散原有的層級(jí)結(jié)構(gòu)，將各部分子模型都調(diào)整為同一層級(jí)，再在該層級(jí)的基礎(chǔ)上，對每個(gè)模型使用單體物體的設(shè)置。

3.3.3 數(shù)據(jù)手套的交互邏輯

虛擬物理實(shí)驗(yàn)操作的交互理念是盡可能還原真實(shí)的操作。所以數(shù)據(jù)手套的交互也將遵循這個(gè)原則。相較于單獨(dú)使用vr controller，數(shù)據(jù)手套在仿真體驗(yàn)方面更接近真實(shí)操作，也更符合用戶的使用習(xí)慣。如圖6所示，利用數(shù)據(jù)手套將現(xiàn)實(shí)中的實(shí)驗(yàn)交互方式映射到虛擬場景中變成了一件相對容易的事情，通過在手部模型上增加觸發(fā)器檢測點(diǎn)，可以與實(shí)驗(yàn)設(shè)備建立起交互聯(lián)系。除數(shù)據(jù)手套SDK所提供的識(shí)別交互物體、觸碰、抓取的交互邏輯外，項(xiàng)目還需解決使用者在使用過程中對于一些設(shè)備的特定交互方式，比如在空手狀態(tài)下不可抓取砝碼，這些特定的邏輯通過腳本檢測加以實(shí)現(xiàn)。

圖6：數(shù)據(jù)手套使用戶能以自然的交互方式操作儀器

4 系統(tǒng)測試

4.1 數(shù)據(jù)手套交互測試

表1：數(shù)據(jù)手套交互測試用例表

分析表1，交互部分的問題可分為兩類：

第一類問題：由于數(shù)據(jù)手套精度無法準(zhǔn)確模擬手指運(yùn)動(dòng)導(dǎo)致一些操作難以模擬。此類問題可通過增加觸發(fā)器與鎖定位置的方法解決。

第二類問題：由于物理模擬存在的限制，導(dǎo)致無法直接用簡單的抓取操作進(jìn)行交互，否則會(huì)有器材部件出現(xiàn)偏移的情況。此類問題主要分三步解決：第一步是以部件的限制軌道作為參考系確認(rèn)部件的運(yùn)動(dòng)方式；第二步將移動(dòng)部件設(shè)置為限制軌道部件的子物體；第三步是根據(jù)第一步確定的運(yùn)動(dòng)方式限制軸向并通過腳本加以修正。

4.2 數(shù)據(jù)手套硬件性能測試

表2：數(shù)據(jù)手套精度測試

表3：數(shù)據(jù)手套靈敏度測試

表4：數(shù)據(jù)手套響應(yīng)范圍測試

表5：數(shù)據(jù)手套容錯(cuò)率測試

表6：數(shù)據(jù)手套連接穩(wěn)定性測試

測試結(jié)果總結(jié)：

有關(guān)數(shù)據(jù)手套的精度，如（表2）（表5）所示，部分情況下手套模型與現(xiàn)實(shí)手部的動(dòng)作并不完全一致，在實(shí)際手指第一指節(jié)旋轉(zhuǎn)90°時(shí)模型手卻已經(jīng)握攏。但不影響本項(xiàng)目所選實(shí)驗(yàn)的交互。如（表3）所示，在不出現(xiàn)定位丟失的情況下，手套的輸出靈敏度可達(dá)到標(biāo)稱的180Hz，可以滿足絕大多數(shù)情況下的使用。（表4）的測試結(jié)果則表明，活動(dòng)場地不宜超過以接收器為圓心、半徑5米的圓形。

綜上所述，手套整體性能表現(xiàn)良好，精度、靈敏度、容錯(cuò)率、穩(wěn)定性（表6）可以充分滿足開發(fā)需求，響應(yīng)范圍雖有限（6m），但也足以支持本項(xiàng)目的開發(fā)需求。

5 總結(jié)

實(shí)踐表明，在進(jìn)行步驟簡化和設(shè)計(jì)修正下，數(shù)據(jù)手套運(yùn)用于虛擬物理實(shí)驗(yàn)室中能夠模擬絕大部分中學(xué)物理實(shí)驗(yàn)的手部操作，結(jié)合擬真的虛擬實(shí)驗(yàn)場景，可以對現(xiàn)實(shí)中的物理實(shí)驗(yàn)進(jìn)行有效還原。數(shù)據(jù)手套與虛擬實(shí)驗(yàn)的有效配合還可以加快實(shí)驗(yàn)速度、提高專注度和沉浸感。但目前數(shù)據(jù)手套的仍存在精度低等諸多問題。總體來說，數(shù)據(jù)手套在仿真教學(xué)中具有廣泛的前景，多體感交互技術(shù)將是現(xiàn)代化教學(xué)的重要趨勢，隨著軟硬件技術(shù)的不斷升級(jí)，細(xì)節(jié)問題終將解決，屆時(shí)，多體感交互與虛擬現(xiàn)實(shí)技術(shù)將在教育領(lǐng)域發(fā)揮更大的作用。