自然手勢交互技術(shù)在虛擬現(xiàn)實博物館中的應(yīng)用*

文/黃昌正 陳曦 周言明 劉潤鋒

0 引言

歷史文物是先輩勞動與智慧的結(jié)晶，博物館承載著向大眾傳播文物所蘊含歷史文化的社會責(zé)任。歷史文物的保存、展示、運輸均有著嚴(yán)格要求，以防止出現(xiàn)損壞或丟失的情況。隨著技術(shù)的發(fā)展，博物館數(shù)字化發(fā)展經(jīng)歷了從實物到照片存檔、膠片電子影像檔案、數(shù)碼視頻影像檔案等階段，而隨著虛擬現(xiàn)實技術(shù)的快速發(fā)展，虛擬現(xiàn)實博物館建設(shè)日漸成為了一個重要的研究課題。虛擬現(xiàn)實博物館通過三維建模構(gòu)造出文物的虛擬影像并在虛擬現(xiàn)實場景中進行展示，參觀者通過體感交互設(shè)備即可觀賞虛擬現(xiàn)實場景中的虛擬文物，獲得身臨其境的參觀體驗。

當(dāng)前，虛擬現(xiàn)實文物展示所采用的交互設(shè)備多為手柄設(shè)備或體感控制器，雖然可協(xié)助參觀者在虛擬現(xiàn)實場景中完成一些簡單交互操作，但在以沉浸性、交互性和構(gòu)想性為基本特征的虛擬現(xiàn)實場景中，上述設(shè)備所采用的按鍵操作模式使參觀者失去了人手自然交互的代入感。在未來的文物展示與虛擬現(xiàn)實技術(shù)結(jié)合應(yīng)用中，通過穿戴式自然手勢交互設(shè)備，既可提高參觀者的體驗代入感、與文物的互動感，又可將文物更為全面地向參觀者進行展示，大大縮小虛擬與現(xiàn)實的界限，將成為虛擬現(xiàn)實博物館交互模式的主要發(fā)展方向。

1 虛擬博物館發(fā)展沿革

虛擬博物館的發(fā)展歷史包括電子相片、錄影帶、數(shù)碼影像、全景視頻、虛擬現(xiàn)實博物館等過程，從體驗感上進行區(qū)分可分為三大類：二維電子展示博物館、全景VR博物館、虛擬現(xiàn)實博物館。

1.1 二維電子展示博物館

在起步階段，博物館將收藏文物排成照片或視頻，做成電子相冊、數(shù)碼影像形式，配以文字說明或語音介紹，形成電子博物館，供參觀者通過電腦端進行瀏覽。這一階段所采用的技術(shù)手段相對簡單，僅展示文物的圖片、視頻，而圖片、視頻的拍攝視角相對有限，介紹文字雖然可以做得足夠詳實，但是參觀者只能被動地查看所展示的內(nèi)容，容易帶來枯燥乏味的觀感；此外，展示內(nèi)容在缺乏更新素材的情況下往往一成不變。

在這一階段，文物展示領(lǐng)域開始探索不同于實物展示的文物展示形式，但受限于當(dāng)時的技術(shù)條件，其體驗感相比實地參觀博物館相去甚遠，仍需開拓更為新穎的展示形式。

1.2 全景VR博物館

全景VR博物館是虛擬現(xiàn)實博物館的早期形態(tài)，采用全景視頻的方式進行沉浸式瀏覽。其制作方式采用全景拍攝來完成，具有制作周期短、有一定的沉浸感；缺陷是缺乏人與展示文物的互動交互，同時由于全景拍攝采用的是球面的魚眼攝像頭，全景視頻圖像存在畸變，嚴(yán)重影響參觀體驗。

1.3 虛擬現(xiàn)實博物館

當(dāng)前，虛擬現(xiàn)實技術(shù)已發(fā)展得相對成熟，在文旅文創(chuàng)、游戲娛樂等方面已獲得廣泛應(yīng)用，在虛擬文物展示中也開始了一定探索。相比于早期的電子展示博物館的平面化、靈活性差、展示內(nèi)容死板等缺點，虛擬文物展示極為生動有趣，參觀者可在虛擬展館中從不同視角觀察虛擬文物，甚至可通過交互設(shè)備與虛擬文物進行交互，對虛擬文物進行抓取、翻轉(zhuǎn)等操作，獲得沉浸式的參觀體驗。

目前，虛擬現(xiàn)實技術(shù)憑借其在沉浸程度與交互體驗上的巨大優(yōu)勢，預(yù)示著虛擬現(xiàn)實博物館是數(shù)字博物館未來一段時間內(nèi)文物展示的一個重要發(fā)展方向。虛擬展館將是傳統(tǒng)博物館的重要補充，可大大降低博物館在文物維護保養(yǎng)、安全保護、接待參觀者等方面投入的資金和人力成本。隨著虛擬現(xiàn)實技術(shù)、網(wǎng)絡(luò)技術(shù)的進一步發(fā)展，虛擬現(xiàn)實設(shè)備實現(xiàn)小型化與便攜化，虛擬現(xiàn)實博物館的建設(shè)也將擺脫了場地與設(shè)備的限制，人們可以實現(xiàn)隨時隨地地參觀虛擬博物館。

在現(xiàn)有虛擬現(xiàn)實博物館應(yīng)用案例中，參觀者與虛擬文物的交互通常采用交互手柄來完成，通過按鍵操作來達到人與展示文物的互動，雖然能達到較高的沉浸體驗，但是缺乏通過手部自然動作的交互體驗。為了讓更自然的人體交互動作帶入到虛擬現(xiàn)實博物館的交互體驗，需要嘗試更新穎的交互方式來提升虛擬現(xiàn)實博物館的交互體驗。

2 虛擬現(xiàn)實交互技術(shù)分類

2.1 3DOF體感手柄

在虛擬現(xiàn)實發(fā)展初期，“VR Box+智能手機”是普通大眾所理解的虛擬現(xiàn)實，用于觀看VR視頻。由于其缺乏交互，發(fā)展出了3DOF體感手柄，可以實現(xiàn)在“VR Box+智能手機”所營造的虛擬現(xiàn)實環(huán)境中的交互功能。

2.2 6DOF交互手柄

3DOF體感手柄在虛擬現(xiàn)實交互中體現(xiàn)出了一種缺陷，即缺乏空間位置跟蹤能力?；诖私换スδ苄枨?，各個廠家開展了6DOF交互技術(shù)研發(fā)，利用外部輔助定位設(shè)備實現(xiàn)交互手柄的6DOF交互。代表性產(chǎn)品包括HTC VIVE、大鵬DPVR。

2.3 VR自然手勢交互

VR中的自然手勢交互改變了傳統(tǒng)手柄“按鍵+觸摸板”的交互方式，采用與人們?nèi)粘Ｉ钪须p手的動作完全一致的交互操作，無需像手柄交互那樣付出大量學(xué)習(xí)成本，去記住按鍵、觸摸板在不同場景可能具有不同的操作功能。

VR中的自然手勢交互根據(jù)技術(shù)方案不同，分為光學(xué)和慣性兩種動作捕捉手勢交互。光學(xué)動作捕捉手勢交互采用雙目視覺圖像識別技術(shù)，具有手勢識別精度高、使用方便的優(yōu)勢，但是由于光學(xué)動作捕捉的固有缺陷，無法解決遮擋的問題。慣性動作捕捉手勢交互采用了MEMS傳感器動作捕捉技術(shù)，通過穿戴式設(shè)計，完全使用人們的自然手勢交互動作實現(xiàn)與虛擬現(xiàn)實場景進行交互，還可設(shè)置交互力反饋裝置，具有設(shè)備小、精度高、使用方便的特點，同時很好地解決了遮擋的問題，是未來虛擬現(xiàn)實交互產(chǎn)品的重要發(fā)展方向，應(yīng)用前景極為廣闊。典型產(chǎn)品為廣州幻境科技2017年發(fā)布的NullTouch、handy手勢交互產(chǎn)品，已被廣泛應(yīng)用于文旅交互、虛擬主播直播、虛擬展廳文物展示等，如圖1所示。

圖1 VR自然手勢交互產(chǎn)品

3 自然手勢交互在虛擬文物展示中的應(yīng)用

目前已有博物館開始嘗試將虛擬現(xiàn)實技術(shù)應(yīng)用于文物展示，通過三維建?；蛉S掃描生成文物的三維模型，通過高精度三維模型表面紋理處理，可以制作出1:1真實還原的文物模型。結(jié)合虛擬博物館大場景建模，實現(xiàn)高沉浸度的文物虛擬展示，其優(yōu)勢是可以實現(xiàn)大量珍貴文物展示且不受場地限制；虛擬博物館場景還可以根據(jù)文物特點及文化背景營造虛擬的歷史環(huán)境，結(jié)合文物的文字和語音介紹，讓參觀者沉浸在歷史背景環(huán)境中，感受文物的文化氣息。但是在現(xiàn)有的虛擬博物館建設(shè)中，參觀者與文物的交互所采用的交互設(shè)備絕大多數(shù)仍采用手柄樣式，參觀者無法以雙手抓、拿、放、轉(zhuǎn)動或在雙手間交換等自然動作來與文物進行交互操作，交互體驗較差。

圖2所示是參觀者在“南海一號”虛擬現(xiàn)實博物館體驗虛擬文物展示。自然手勢交互技術(shù)則為虛擬文物展示提供了很好的自然動作交互手段，參觀者以雙手自然動作即可完成與虛擬文物的抓、拿、放動作，也可以把虛擬文物拿起后，在雙手間任意交互進行全方位鑒賞；在虛擬場景中還可以營造文物出土環(huán)境，模擬文物挖掘場景，讓參觀者用自己的雙手拿取各種挖掘工具，親自把文物挖掘出來，形成高度逼真的虛擬文物鑒賞交互體驗。

圖2 參觀者在“南海一號”虛擬現(xiàn)實博物館體驗

對于大型或大規(guī)模出土的文物，一般在文物出土地點就地建設(shè)博物館，但是建設(shè)博物館的規(guī)模有限，出于文物保護的目的，可展示的文物數(shù)量有限；同時部分文物的修復(fù)與保護難度大，長時間展示、頻繁搬動等都可能對文物造成不可逆的損壞，因此大量的文物一般處于密封保存狀態(tài)，普通人無法參觀學(xué)習(xí)，且通常博物館的文物展示環(huán)境缺乏氣氛烘托，顯得過于平淡。此時虛擬現(xiàn)實博物館即具有明顯優(yōu)勢，通過在虛擬現(xiàn)實場景下構(gòu)造出與文物歷史、文化內(nèi)涵相融合的展示環(huán)境，通過高精度建模構(gòu)建出與實體文物一致的虛擬文物，參觀者還可基于文物歷史、文化內(nèi)涵與虛擬環(huán)境中的文物進行互動學(xué)習(xí)，有利于歷史文化宣傳與傳承保護，提升參觀者的參觀體驗。

另一方面，歷史文物基本都是從地下挖掘或從水下打撈出來，由于各種自然環(huán)境變化，很多珍貴文物出現(xiàn)了破損，雖然現(xiàn)代工藝可以從體量、質(zhì)地、紋飾、文字、圖案等各方面制作出與文物原件非常接近的復(fù)制品，具有較高的收藏價值，但從法律層面，國家也出臺了《文物復(fù)制拓印管理辦法》，規(guī)定復(fù)制文物后的復(fù)制品應(yīng)該有明確的標(biāo)識，表明復(fù)制年度和“復(fù)制”字樣，但是難以杜絕不法分子利用高精度文物仿制品冒充真品進行詐騙活動，不利于文物市場健康發(fā)展。此外，某些珍貴文物以現(xiàn)代工業(yè)流程也很難進行復(fù)原修復(fù)，或者修復(fù)工作可能會對文物本身造成損傷而不適合修復(fù)，或者因工程巨大而無法進行文物復(fù)原，使得人們無法觀賞文物本身原貌而生出遺憾。虛擬現(xiàn)實技術(shù)的發(fā)展，則很好地解決了此問題，基于文物的材質(zhì)、紋理、圖案、尺寸數(shù)據(jù)等，通過三維建?？梢栽谔摂M環(huán)境中完美地復(fù)原文物。

以圓明園遺址為例，其作為重要的歷史證據(jù)，直接在原址進行修復(fù)是不現(xiàn)實的，而世人面對著遺址又無法真切感受到昔日萬園之園的魅力，因此可通過虛擬現(xiàn)實/增強現(xiàn)實技術(shù)，在不實際改變遺址的情況下對圓明園遺址進行虛擬修復(fù)，讓參觀者可透過遺址與修復(fù)后的虛擬影像，在銘記歷史的同時欣賞圓明園的宏偉。清華大學(xué)建筑學(xué)院郭黛教授和她的團隊采用數(shù)字化建造，用15年時間重現(xiàn)了圓明園的歷史原貌。2017年4月，由香港新銳創(chuàng)作團隊奇諾文化創(chuàng)意有限公司、北京成龍國際集團及臺灣德武國際開發(fā)股份有限公司三方合作，籌備推出共同開發(fā)創(chuàng)作的“走進圓明園的未來”科技體驗展，推出零距離高互動性VR虛擬現(xiàn)實體驗，讓體驗者可以親手打造海宴堂十二獸首，將三百年來中國第一座噴泉“海宴堂”及“十二獸首”的歷史遺跡，通過體驗者的雙手親自重建，栩栩如生的噴泉即刻啟動、再現(xiàn)眼前，讓觀眾親身體驗乾隆皇帝設(shè)計園林的巧思與美學(xué)。

虛擬現(xiàn)實技術(shù)讓原本遙不可及的歷史遺跡、文物或藝術(shù)品變得平易近人，而虛擬現(xiàn)實博物館中參觀者與虛擬文物的互動交互，為枯燥平淡文物賦予了靈魂，使得文物鑒賞兼具了歷史文化底蘊、典雅而又不失娛樂性。

4 結(jié)語

隨著虛擬現(xiàn)實和增強現(xiàn)實軟硬件技術(shù)逐步成熟，虛擬文物展示將是未來文物展示的一種重要發(fā)展方向，是文物歷史文化傳播不可或缺的一員。自然手勢交互技術(shù)在虛擬現(xiàn)實博物館的文物展示中的應(yīng)用，將是賦予文物靈魂的重要手段，將為文旅、文創(chuàng)開創(chuàng)新的發(fā)展方向和局面。