基于虛擬現(xiàn)實(shí)的沉浸式觸覺(jué)交互技術(shù)在野外地質(zhì)實(shí)習(xí)中的實(shí)現(xiàn)

張曉媛，陳 斌

（北京大學(xué) 地球與空間科學(xué)學(xué)院，北京 100871）

0 引言

隨著社會(huì)經(jīng)濟(jì)的飛速發(fā)展，各種不可預(yù)知和極具競(jìng)爭(zhēng)性的挑戰(zhàn)越來(lái)越多。2020 年，突如其來(lái)的新冠肺炎疫情不僅對(duì)各個(gè)傳統(tǒng)行業(yè)產(chǎn)生巨大威脅，也給教育教學(xué)帶來(lái)了不小的影響，例如：實(shí)驗(yàn)儀器操作教學(xué)無(wú)法現(xiàn)場(chǎng)實(shí)踐，野外實(shí)習(xí)教學(xué)無(wú)法親身參與等。但是，虛擬現(xiàn)實(shí)技術(shù)的萌生和發(fā)展很大程度上彌補(bǔ)了這一空缺和不足，很好地滿(mǎn)足了在家學(xué)生“停課不停學(xué)”的需求。

虛擬現(xiàn)實(shí)作為當(dāng)前學(xué)術(shù)界和工業(yè)界的一個(gè)熱門(mén)話(huà)題，也是仿真技術(shù)的一個(gè)重要研究熱點(diǎn)。虛擬現(xiàn)實(shí)技術(shù)使用戶(hù)通過(guò)佩戴眼鏡、頭盔等虛擬設(shè)備進(jìn)入到虛擬環(huán)境中，從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)事物的理解?；谂宕魇皆O(shè)備的虛擬現(xiàn)實(shí)技術(shù)雖然滿(mǎn)足了人們對(duì)視覺(jué)和聽(tīng)覺(jué)的需求，卻忽略了觸覺(jué)感受，導(dǎo)致用戶(hù)在體驗(yàn)時(shí)沉浸感不強(qiáng)。然而在建筑、醫(yī)學(xué)、實(shí)驗(yàn)等特殊的學(xué)習(xí)場(chǎng)景中，對(duì)觸覺(jué)的追求是非常重要的。

在目前的虛擬現(xiàn)實(shí)設(shè)備和研究中，感知更多地集中在手勢(shì)和動(dòng)作上，對(duì)于模擬基本接觸行為、阻力、結(jié)構(gòu)感知等解決方案的制定還不成熟。基于此，本文在虛擬現(xiàn)實(shí)技術(shù)發(fā)展的理論基礎(chǔ)上，利用計(jì)算機(jī)模擬技術(shù)搭建虛擬環(huán)境，設(shè)計(jì)觸覺(jué)反饋交互系統(tǒng)，并開(kāi)發(fā)野外地質(zhì)環(huán)境模型，借助可穿戴式虛擬現(xiàn)實(shí)設(shè)備，統(tǒng)計(jì)分析現(xiàn)場(chǎng)和虛擬環(huán)境條件下用戶(hù)的學(xué)習(xí)感受。最后，闡述基于虛擬現(xiàn)實(shí)的沉浸式觸覺(jué)技術(shù)對(duì)于實(shí)習(xí)實(shí)踐教學(xué)的優(yōu)勢(shì)，以期對(duì)傳統(tǒng)的大型野外地質(zhì)教學(xué)改革提供一些新的方法和思路。

1 理論基礎(chǔ)

1.1 虛擬現(xiàn)實(shí)技術(shù)

虛擬現(xiàn)實(shí)技術(shù)是基于計(jì)算機(jī)圖形學(xué)、人機(jī)交互、傳感器、計(jì)算機(jī)視覺(jué)、心理學(xué)甚至人工智能等發(fā)展起來(lái)的一種交叉學(xué)科。它以計(jì)算機(jī)接收器為主體，在虛擬現(xiàn)實(shí)設(shè)備中創(chuàng)建虛擬環(huán)境。整體上，虛擬現(xiàn)實(shí)技術(shù)具有四方面的特征：

1）多感官性。在虛擬環(huán)境中，用戶(hù)不局限于在視覺(jué)和聽(tīng)覺(jué)感官上得到體驗(yàn)，在嗅覺(jué)、觸覺(jué)上也可以產(chǎn)生同樣的感官體驗(yàn)。

2）沉浸性。它是指用戶(hù)在當(dāng)前虛擬環(huán)境中得到的感官體驗(yàn)程度。理想的虛擬現(xiàn)實(shí)環(huán)境的目標(biāo)就是創(chuàng)建一個(gè)場(chǎng)景來(lái)模擬現(xiàn)實(shí)世界，結(jié)合虛擬現(xiàn)實(shí)技術(shù)的特點(diǎn)，產(chǎn)生特效，讓用戶(hù)沉浸其中。

3）交互性。它是指用戶(hù)在虛擬環(huán)境中與任何物體以自然方式進(jìn)行相互操作。虛擬環(huán)境中物體具有兼容性，用戶(hù)在虛擬環(huán)境中觸摸物體時(shí)，能感覺(jué)到物體自然特征。

4）構(gòu)想性。虛擬現(xiàn)實(shí)環(huán)境中，用戶(hù)可以充分發(fā)揮創(chuàng)新事物的思維能力。

1.2 基于虛擬現(xiàn)實(shí)的觸覺(jué)反饋交互技術(shù)及其應(yīng)用發(fā)展趨勢(shì)

1.2.1 基于虛擬現(xiàn)實(shí)的觸覺(jué)反饋交互技術(shù)

感觸反饋交互是指人的某一部位接觸計(jì)算機(jī)搭建的虛擬場(chǎng)景時(shí)，人機(jī)之間互相傳遞的溫度、壓力等觸覺(jué)信息進(jìn)入人的神經(jīng)系統(tǒng)，從而使大腦清晰成像的一種技術(shù)。工作原理：觸覺(jué)反饋設(shè)備接收虛擬環(huán)境中的傳感信息，通過(guò)振動(dòng)或者力的形式反饋給用戶(hù)；用戶(hù)收到感知后產(chǎn)生動(dòng)作或手勢(shì)，將信號(hào)反饋至觸覺(jué)反饋設(shè)備中；設(shè)備經(jīng)過(guò)計(jì)算機(jī)處理將控制信號(hào)反饋至虛擬環(huán)境；環(huán)境接收到控制信號(hào)后，將其轉(zhuǎn)換為視覺(jué)信號(hào)傳遞至視覺(jué)顯示設(shè)備；最后用戶(hù)通過(guò)可佩戴式眼鏡或頭盔感知三維成像照片，進(jìn)而控制虛擬環(huán)境中的物體。觸覺(jué)反饋原理圖如圖1所示。

圖1 虛擬現(xiàn)實(shí)中的觸覺(jué)反饋工作原理

反饋設(shè)備：基于載體的觸覺(jué)反饋才能得以呈現(xiàn)。目前應(yīng)用較為廣泛的主要有手持式、可穿戴式、陣列反饋設(shè)備三種。

1.2.2 觸覺(jué)反饋交互技術(shù)的發(fā)展趨勢(shì)

在目前的人機(jī)交互研究中，基于虛擬現(xiàn)實(shí)的視覺(jué)和聽(tīng)覺(jué)反饋交互技術(shù)的研究較為成熟，對(duì)于觸覺(jué)反饋研究起步較晚。近年來(lái)，多數(shù)研究圍繞觸覺(jué)反饋研究開(kāi)展：韓國(guó)慶尚大學(xué)研制的利用穿戴式頭盔及觸覺(jué)手套，在3D 訓(xùn)練模擬系統(tǒng)中訓(xùn)練實(shí)習(xí)醫(yī)師及護(hù)士進(jìn)行高危新生兒感染控制；美國(guó)俄亥俄州立大學(xué)在物理教學(xué)實(shí)驗(yàn)中開(kāi)發(fā)出基于振動(dòng)反饋和力反饋的軟/硬件系統(tǒng)，用來(lái)幫助學(xué)生更好地感知砝碼距離杠桿支點(diǎn)遠(yuǎn)近時(shí)力的大小反饋。對(duì)于觸覺(jué)反饋交互技術(shù)的研究，也不只局限于醫(yī)學(xué)、實(shí)驗(yàn)、教學(xué)等方面，未來(lái)會(huì)被應(yīng)用于多維度、多行業(yè)、多學(xué)科交叉的領(lǐng)域中。

2 基于虛擬現(xiàn)實(shí)的觸覺(jué)反饋模型設(shè)計(jì)方案

2.1 設(shè)計(jì)模型

虛擬環(huán)境下觸覺(jué)感知反饋模型的設(shè)計(jì)本質(zhì)上是將被感知物體提取并抽象化為提示信息，進(jìn)而被感知對(duì)象接收并將動(dòng)作反饋至感知物體/自然環(huán)境中的映射過(guò)程。觸覺(jué)反饋的主要目的是將觸覺(jué)信息傳遞給用戶(hù)，用戶(hù)在一系列的觸覺(jué)刺激下的動(dòng)作與觸覺(jué)反饋設(shè)備所要表達(dá)的內(nèi)容達(dá)成一致。

基于虛擬現(xiàn)實(shí)的觸覺(jué)反饋的設(shè)計(jì)模型如圖2 所示。該模型由交互對(duì)象、對(duì)象自然特征、觸覺(jué)感知元素、用戶(hù)4 個(gè)部分組成。系統(tǒng)通過(guò)提取、抽象交互對(duì)象，將其自然特征轉(zhuǎn)換為觸覺(jué)感知元素，同時(shí)觸覺(jué)感知元素形成提示信息傳遞給用戶(hù)，用戶(hù)做出相應(yīng)的感知反饋。

圖2 虛擬現(xiàn)實(shí)中的觸覺(jué)反饋設(shè)計(jì)模型

2.2 設(shè)計(jì)流程

虛擬環(huán)境下的觸覺(jué)反饋設(shè)計(jì)模型可為系統(tǒng)將對(duì)象自然特征和觸覺(jué)感知元素相互映射提供一種思路。本文在已有觸覺(jué)反饋設(shè)計(jì)流程的基礎(chǔ)上，將實(shí)驗(yàn)設(shè)計(jì)流程分為確定設(shè)計(jì)目標(biāo)、設(shè)計(jì)對(duì)象、設(shè)計(jì)感知元素、建立對(duì)象與感知元素間映射、形成設(shè)計(jì)方案、評(píng)估方案等6 個(gè)部分。其中，設(shè)計(jì)目標(biāo)、設(shè)計(jì)對(duì)象、設(shè)計(jì)感知元素為分析問(wèn)題階段，建立對(duì)象與感知元素間映射過(guò)程和形成設(shè)計(jì)方案為解決問(wèn)題階段，評(píng)估方案為結(jié)果評(píng)價(jià)階段。具體設(shè)計(jì)流程如圖3 所示。

圖3 虛擬現(xiàn)實(shí)中的觸覺(jué)反饋模型設(shè)計(jì)流程

3 野外地質(zhì)實(shí)習(xí)實(shí)例場(chǎng)景應(yīng)用

3.1 應(yīng)用背景與數(shù)據(jù)獲取

傳統(tǒng)的野外地質(zhì)教學(xué)往往存在以下幾方面的問(wèn)題：

1）實(shí)習(xí)者缺乏對(duì)實(shí)習(xí)地點(diǎn)的地質(zhì)背景的了解，導(dǎo)致在實(shí)踐教學(xué)時(shí)，實(shí)習(xí)者獲取地質(zhì)知識(shí)效果不理想；

2）通常野外地質(zhì)實(shí)習(xí)路線較長(zhǎng)，地形復(fù)雜，對(duì)于實(shí)習(xí)實(shí)踐者身體和心理都有著極大的考驗(yàn)；

3）受氣候因素的影響，復(fù)雜環(huán)境下的實(shí)習(xí)路線往往存在較大的安全隱患等。

這些因素都極大地影響了野外地質(zhì)實(shí)習(xí)的效果，導(dǎo)致實(shí)習(xí)者無(wú)法得到相應(yīng)的沉浸感，造成教學(xué)效率低下。基于此，本文通過(guò)對(duì)北京昌平虎峪地質(zhì)實(shí)習(xí)點(diǎn)進(jìn)行研究，構(gòu)建了一個(gè)基于虛擬現(xiàn)實(shí)的沉浸式觸覺(jué)反饋交互模型系統(tǒng)，并著重探討了該模型在實(shí)習(xí)區(qū)域不同地層巖性、不同構(gòu)造特征等對(duì)實(shí)習(xí)者帶來(lái)的觸覺(jué)感受反饋程度。

虎峪地區(qū)地處華北平原與燕山山脈交界處，該地區(qū)出露著太古-中元古界地層，地質(zhì)現(xiàn)象非常豐富，是進(jìn)行野外地質(zhì)實(shí)習(xí)的典型剖面之一。本文使用Insta360 Pro2 全景相機(jī)獲取實(shí)習(xí)區(qū)全景影像，在實(shí)習(xí)區(qū)共設(shè)置10 個(gè)全景相機(jī)觀察點(diǎn)，每個(gè)觀察點(diǎn)間距1 m，用以模擬實(shí)習(xí)觀測(cè)路線，如圖4 所示。

圖4 虎峪實(shí)習(xí)區(qū)部分全景影像展示圖

3.2 實(shí)驗(yàn)設(shè)備與場(chǎng)景搭建

野外地質(zhì)虛擬模型是由客戶(hù)端、服務(wù)器端、動(dòng)作捕捉端組成的網(wǎng)絡(luò)體系，虛擬平臺(tái)搭建采用Unity 3D 引擎開(kāi)發(fā)。服務(wù)器端同時(shí)對(duì)應(yīng)多個(gè)服務(wù)器端，以便多用戶(hù)同時(shí)使用。每個(gè)服務(wù)器端都配置有HTC Vive 頭盔，及與之相匹配的由Manus VR 公司生產(chǎn)的虛擬現(xiàn)實(shí)手套。

將全景照片通過(guò)PTGui Pro12 拼接軟件合成8K 分辨率（7 680×3 840）的全景影像，利用3ds MAX 三維圖像編輯軟件創(chuàng)建若干法向量向內(nèi)、分段數(shù)為150 的球體，并將其導(dǎo)入至Unity 3D 中。再將全景影像圖片設(shè)置成無(wú)光照的紋理投影到球體上，就可以完成全景影像場(chǎng)景的搭建。根據(jù)實(shí)際拍攝時(shí)每個(gè)全景影像拍攝點(diǎn)的間距和方位，在系統(tǒng)中設(shè)置多個(gè)不同的球面表示不同的全景場(chǎng)景。用戶(hù)在佩戴虛擬現(xiàn)實(shí)設(shè)備后，可進(jìn)行虛擬漫游及動(dòng)作捕捉，由此獲得良好的沉浸體驗(yàn)。用戶(hù)沉浸式感觸實(shí)例圖如圖5 所示。

圖5 虛擬野外實(shí)習(xí)考察系統(tǒng)中用戶(hù)沉浸式感觸實(shí)例

3.3 應(yīng)用效果與調(diào)查反饋

為了檢驗(yàn)野外地質(zhì)實(shí)習(xí)虛擬模型是否具有良好的有效性及體驗(yàn)感，文中研究設(shè)計(jì)了包含系統(tǒng)性能及體驗(yàn)效果兩方面的問(wèn)卷調(diào)查。其中，系統(tǒng)性能主要指流暢性、動(dòng)作捕捉準(zhǔn)確率兩個(gè)內(nèi)容。流暢性以用戶(hù)使用10 min 以上時(shí)是否出現(xiàn)眩暈和漫游畫(huà)面不連貫為主；動(dòng)作捕捉準(zhǔn)確率表現(xiàn)為用戶(hù)在進(jìn)行漫游時(shí)，觸摸場(chǎng)景/物體是否達(dá)到預(yù)定地點(diǎn)。

體驗(yàn)效果以觸感體驗(yàn)真實(shí)性為主，主要表現(xiàn)在用戶(hù)感觸某一物體時(shí)，是否具有接觸真實(shí)物體的沉浸感。問(wèn)卷中每列項(xiàng)目均以好、中、差分級(jí)評(píng)價(jià)。

問(wèn)卷調(diào)研對(duì)象共50 名，收集到有效調(diào)研反饋共43 份（老師25 人，學(xué)生18 人；男性29 人，女性14 人），如表1 所示。由表1 可知，基于虛擬現(xiàn)實(shí)的沉浸式觸覺(jué)交互技術(shù)在野外地質(zhì)實(shí)習(xí)虛擬模型中得到了良好應(yīng)用，模型在系統(tǒng)流暢性、動(dòng)作捕捉準(zhǔn)確率、觸感體驗(yàn)真實(shí)性等方面都擁有較高的體驗(yàn)價(jià)值。

表1 虛擬野外實(shí)習(xí)考察系統(tǒng)中用戶(hù)沉浸式感觸效果調(diào)查

4 結(jié)語(yǔ)

虛擬現(xiàn)實(shí)技術(shù)在傳統(tǒng)行業(yè)中的應(yīng)用越來(lái)越廣泛，其中，基于虛擬現(xiàn)實(shí)的沉浸式觸覺(jué)交互技術(shù)未來(lái)具有很大的發(fā)展?jié)摿蜕虡I(yè)價(jià)值。本文利用穿戴式虛擬現(xiàn)實(shí)設(shè)備對(duì)地球科學(xué)中的地質(zhì)實(shí)習(xí)方向進(jìn)行了模擬，取得的良好效果體現(xiàn)在：用戶(hù)在使用時(shí)，可充分發(fā)揮主觀能動(dòng)性，極大地提高學(xué)習(xí)動(dòng)力和效率。未來(lái)該技術(shù)可在地質(zhì)類(lèi)學(xué)科及院校中普及。