基于虛擬現(xiàn)實技術(shù)的黃梅戲數(shù)字博物館設(shè)計

王 廣 軍，王 鵬 林，賈 玟 卿，楊 笑 笑，陳 曉 慧

（1.安慶師范大學安徽省智能感知與計算重點實驗室，安徽安慶246013；2.安慶師范大學計算機與信息學院，安徽安慶246013；3.安慶職業(yè)技術(shù)學院電子信息系，安徽安慶246001）

黃梅戲是我國重要的非物質(zhì)文化遺產(chǎn)，在眾多戲曲種類中，黃梅戲得益于現(xiàn)代傳播手段如電臺、影視等傳播形式，得到了廣泛地傳播。隨著社會的發(fā)展，新技術(shù)手段和文化娛樂形式日漸豐富多樣，黃梅戲除了保持傳統(tǒng)的戲曲文化優(yōu)勢特色外，也需要在傳播和呈現(xiàn)方式上適應新時代的大眾需求。如何趣味化、互動化、便捷化地展示黃梅戲戲曲值得積極探討。數(shù)字媒體技術(shù)發(fā)展為黃梅戲的多樣呈現(xiàn)提供了新思路，如數(shù)字化的舞臺效果[1]、便捷的移動應用[2]、短視頻[3]等，讓黃梅戲文化的傳播形式能夠與時代同行。

近年來虛擬現(xiàn)實（Virtual Reality，簡稱VR）發(fā)展迅速，應用于各個領(lǐng)域。所謂虛擬現(xiàn)實，即構(gòu)建模擬現(xiàn)實的三維虛擬場景，通過視覺、聽覺、觸覺等方式沉浸虛擬場景之中，達到身臨其境的感受[4-5]。隨著頭戴式虛擬現(xiàn)實顯示器（下文簡稱VR頭顯）如Oculus的出現(xiàn)，讓左右眼封閉于對應的左右屏幕模擬視差的影像中，且追蹤頭部的運動而對應模擬場景影像，形成了極強的虛擬現(xiàn)實沉浸感，從而推動虛擬現(xiàn)實技術(shù)的革命性發(fā)展[6-7]。隨后VR技術(shù)的發(fā)展，Htc Vive、Oculus、暴風魔鏡等VR頭顯設(shè)備如雨后春筍般推出，增強現(xiàn)實、混合現(xiàn)實、擴展現(xiàn)實、自然人機交互等技術(shù)進一步發(fā)展，促進了虛擬現(xiàn)實技術(shù)向各領(lǐng)域延伸和探索[8-10]。

本文采用虛擬現(xiàn)實技術(shù)設(shè)計和開發(fā)黃梅戲VR博物館。研究以安慶市中國黃梅戲博物館為原型[11]，結(jié)合虛擬現(xiàn)實展示特性，設(shè)計黃梅戲VR文化展示知識圖譜。研究通過三維建模技術(shù)、數(shù)字圖像技術(shù)、三維角色動畫等構(gòu)建黃梅戲VR三維虛擬場景，采用Unity開發(fā)VR交互和漫游系統(tǒng)，并輔以語音識別、智能交互等多種交互方式，最后進行多平臺發(fā)布，支持電腦客戶端、網(wǎng)絡端、移動應用等平臺傳播，也實現(xiàn)一系列VR設(shè)備的沉浸體驗。研究把虛擬現(xiàn)實VR技術(shù)應用于黃梅戲數(shù)字化保護和傳播，探索黃梅戲的新表現(xiàn)傳播模式。黃梅戲虛擬博物館打破空間的限制，真正從觀眾體驗性、互動性出發(fā)，實現(xiàn)了更大范圍內(nèi)、更為便捷本真地傳播黃梅戲文化，讓體驗者充分感知黃梅戲文化元素，感受黃梅戲文化的魅力，為互聯(lián)網(wǎng)時代中國傳統(tǒng)非物質(zhì)文化的傳播提供新的方法和思路，同時也可以對博物館的展覽方式以及宣傳推廣工作提供有效借鑒。

一、黃梅戲VR數(shù)字博物館特點

（一）VR數(shù)字博物館

黃梅戲VR數(shù)字博物館元素廣泛且又繁雜，涉及黃梅戲發(fā)展歷史、黃梅戲代表人物、黃梅戲音頻視頻、黃梅戲服裝飾物、黃梅戲樂器、黃梅戲劇本樂譜等方面。不同研究團隊從多種角度對黃梅戲傳播進行研究[12-14]，豐富了黃梅戲文化內(nèi)涵。除了傳統(tǒng)的舞臺表演，黃梅戲影視傳播、黃梅戲美術(shù)設(shè)計、三維動畫、短視頻移動應用等也為黃梅戲傳播提供多維路徑[15-16]。安慶市黃梅戲博物館展示設(shè)計對黃梅戲文化進行了有效梳理，可作為虛擬博物館的三維場景原型和內(nèi)容布局參考。安慶市黃梅戲研究院在黃梅戲數(shù)字資源建設(shè)方面取得了較好的工作。研究團隊在參考真實黃梅戲博物館和中國黃梅戲數(shù)字資源庫的基礎(chǔ)上，結(jié)合數(shù)字媒體虛擬現(xiàn)實技術(shù)設(shè)計黃梅戲VR博物館的文化展示內(nèi)容和交互形式。

（二）VR數(shù)字博物館特色

針對目前黃梅戲?qū)嶓w博物館展示存在的不足[17]，設(shè)計虛擬現(xiàn)實數(shù)字化展示，其特色如下：

（1）黃梅戲VR博物館通過電腦、智能手機就可以查看體驗，傳播便捷，打破了時空限制，隨時隨地可以進行，用戶人群廣泛，極大地降低文化傳播成本。通過多種高新技術(shù)手段呈現(xiàn)塑造的博物館具有良好形象。

（2）文化展示內(nèi)容根據(jù)展品特點針對性設(shè)計，如靜物展品可以設(shè)置文字語音介紹、三維點選、旋轉(zhuǎn)縮放查看、動畫展示等。參觀者在參觀虛擬場景時可以方便獲取全方位的展品信息及其背后的故事。打破了現(xiàn)實中文物易損壞而限制游者與展品零距離接觸的限制，同時突破現(xiàn)實中的距離障礙，讓您足不出戶即可沉浸在洋溢著文化氣息的虛擬仿真的黃梅戲情境中。

（3）數(shù)字博物館以參觀者為主體，注重參與互動。展示模塊在初始布局的基礎(chǔ)上，可以根據(jù)參觀者的興趣自適應且個性化的重新布局，提高文化展示和知識學習的個性特質(zhì)。

（4）獲取用戶對于黃梅戲文化的認知和需求。通過對終端數(shù)據(jù)的收集和分析，獲取用戶對于展示內(nèi)容的關(guān)注度，從而個性化的自動切換推薦展示內(nèi)容，實現(xiàn)個性化的觀賞服務。

二、黃梅戲VR博物館設(shè)計實現(xiàn)

通過綜合分析黃梅戲VR博物館的展示內(nèi)容與特色，設(shè)計系統(tǒng)總體功能結(jié)構(gòu)，從博物館文化展示圖譜、交互設(shè)計、系統(tǒng)設(shè)計三方面分析，如圖1所示。黃梅戲VR博物館是一套應用軟件，開發(fā)過程跟傳統(tǒng)的軟件開發(fā)流程類似，歷經(jīng)系統(tǒng)需求分析、系統(tǒng)分析設(shè)計、素材搜集整理、三維場景構(gòu)建、系統(tǒng)開發(fā)實現(xiàn)、系統(tǒng)運行測試以及產(chǎn)品運維等環(huán)節(jié)，如圖2所示。在系統(tǒng)開發(fā)的實現(xiàn)模塊，研究綜合考慮了以系統(tǒng)常規(guī)功能、智能推送設(shè)計、全景虛實融合、VR漫游交互、多平臺發(fā)布等五個環(huán)節(jié)為主的相關(guān)設(shè)計與實現(xiàn)。本文重點闡述黃梅戲文化與數(shù)字媒體虛擬現(xiàn)實技術(shù)的融合設(shè)計和系統(tǒng)開發(fā)實現(xiàn)。

圖1 系統(tǒng)總體功能結(jié)構(gòu)圖

圖2 系統(tǒng)實現(xiàn)流程圖

（一）展示素材的整理收集與數(shù)字博物館場景構(gòu)建

研究團隊通過多種渠道整理收集得到黃梅戲素材資源，如黃梅戲劇照、黃梅戲全景視頻、黃梅戲博物館照片、黃梅戲發(fā)展史料等。另一方面，與安慶市黃梅戲研究院的黃梅戲數(shù)字資源庫合作，把便于展示的黃梅戲數(shù)字資源融合起來。黃梅戲虛擬現(xiàn)實博物館參考安慶黃梅戲博物館展示的實體內(nèi)容，進行建模設(shè)計，形成黃梅戲文化元素展示庫。針對文化類別，團隊進行大量的資料收集和整理，咨詢黃梅戲研究專家，形成適宜展示的文化元素具體內(nèi)容分類和重要性排序。

虛擬現(xiàn)實的基礎(chǔ)是逼真的三維場景，因此構(gòu)建三維虛擬博物館至關(guān)重要，也是本系統(tǒng)工作量最大的模塊。通過系統(tǒng)設(shè)計，列出需要建模的物品，調(diào)研對象的大小、性質(zhì)、紋理等信息，然后通過三維建模軟件進行三維建模和紋理貼圖。三維建模涉及整個數(shù)字博物館的建筑、環(huán)境物品和黃梅戲展品，黃梅戲展品包括服裝、飾品、樂器、歷史文物、古戲樓場景等。黃梅戲人物建模和動畫是較難的模塊。

（二）交互系統(tǒng)設(shè)計實現(xiàn)

本系統(tǒng)主要采用Unity游戲引擎進行系統(tǒng)開發(fā)。黃梅戲VR博物館是一款數(shù)字化軟件，需要常規(guī)的軟件開發(fā)設(shè)計。

（1）場景管理與界面設(shè)計。所謂場景管理即每一功能頁面的管理，在游戲領(lǐng)域成為關(guān)卡設(shè)計。界面設(shè)計是軟件每個界面的表現(xiàn)，即場景的背景圖片紋理、文字文案、交互按鈕設(shè)計等。系統(tǒng)界面采用統(tǒng)一的風格樣式進行設(shè)計，保證系統(tǒng)的統(tǒng)一性和美觀性。對系統(tǒng)功能進行分解，形成不同的頁面呈現(xiàn)，實現(xiàn)不同按鈕、鏈接之間的有效且有序跳轉(zhuǎn)。能夠有效實現(xiàn)系統(tǒng)各功能模塊進行鏈接和返回操作。如歷史簡介主要羅列黃梅戲歷史文化知識采用文字圖片的形式界面上展示，可以通過按鈕/語音等方式進行前后翻頁查看。唱腔演示主要是設(shè)置多部經(jīng)典黃梅戲表演視頻供游覽者選擇播放，視頻畫面可以利用虛擬博物館中的放映機投放在墻面上，也可以在唱腔展示界面進行二維的全屏覆蓋播放。

（2）用戶管理與數(shù)據(jù)庫設(shè)計。用戶管理涉及用戶注冊、登陸等，便于系統(tǒng)對參觀者信息的了解和對智能推薦提供依據(jù)。同時設(shè)計不同的權(quán)限，例如，管理員可以對普通用戶進行管理等。數(shù)據(jù)庫采用MySQL數(shù)據(jù)進行設(shè)計開發(fā)，涉及三個方面，一是對用戶信息進行存儲管理，二是對系統(tǒng)呈現(xiàn)的信息進行管理，三是對文化元素展品進行管理，如前文所說的每件展品的屬性信息等進行管理。

（3）豐富的交互方式。系統(tǒng)設(shè)計多種交互方式，主要包括鼠標鍵盤的操作、三維手柄的操作、VR頭顯的操作、觸摸屏觸控操作和語音識別交互操作等交互技術(shù)。對于內(nèi)容的交互設(shè)計對按鈕的點擊、對展品的三維點選、三維360觀察、縮放等交互操作。

（4）黃梅戲文化展示基本模塊。此模塊主要通過常規(guī)的如文字、圖片、音視頻等二維的形式介紹黃梅戲文化，便于快速了解黃梅戲文化知識，滿足三維模式不適應人群對黃梅戲文化知識的需求。

（5）黃梅戲博物館三維展示模塊。通過三維建模把黃梅戲文化元素展品設(shè)置在指定的三維虛擬場景中，通過交互漫游的形式逐步漫游學習參觀瀏覽。系統(tǒng)可以通過計算機桌面鼠標鍵盤的交互漫游，即“PC”模式，也可以通過“VR”模式，即戴上頭戴式虛擬現(xiàn)實顯示裝置結(jié)合手柄進行漫游。

黃梅戲狀元帽子是黃梅戲的一個經(jīng)典意象，結(jié)合黃梅戲之鄉(xiāng)安慶又稱“宜”城，相對工整對稱的結(jié)構(gòu)，因此設(shè)計黃梅戲博物館總體俯視圖把這兩點相結(jié)合，具有濃厚的黃梅戲地方特色，如圖3所示。圖3所示只是博物館主體框架，在不同模塊，可以跳轉(zhuǎn)到另一具體場中，打破空間限制，如點擊展品進入該展品的獨立空間，古戲樓穿越可以調(diào)轉(zhuǎn)到虛擬的古代場景漫游等，可以不斷添加擴展新的文化信息。

圖3 黃梅戲VR博物館功能區(qū)設(shè)計（設(shè)計圖與模型實體圖對照）

（6）全景漫游模塊。全景指的是通過真實的圖片、影像進行360度無縫記錄真實情景，可以通過屏幕360度查看。本系統(tǒng)中設(shè)計兩套技術(shù)方案，一種是博物館的全景圖片漫游，即通過拍攝真實博物館全景圖進行不同點位瀏覽。另一種是拍攝黃梅戲現(xiàn)場演出全景視頻，不僅可以看到戲曲舞臺的真實情況，也能夠自由看到臺下觀眾反應和環(huán)境信息，要達到虛擬博物館虛實融合的效果。

（7）黃梅戲主題游戲模塊。本模塊將黃梅戲博物館與游戲設(shè)計元素融合，將黃梅戲外景場館與內(nèi)景場館相連接。通過該黃梅戲主題游戲設(shè)計來激發(fā)游客探索文化展品的興趣。游戲開始于外景場館，體驗者在博物館智能助手小智的引導下依次體驗“語音智能檢索”“VR閱覽”“VR作畫”等趣味性游戲交互功能。同時,“湖心亭-魚戲蓮葉間”的動畫效果可在體驗者較為疲憊時，增加點賞心悅目的味道。玩家在VR博物館智能助手小智的指引下，來到內(nèi)景展廳關(guān)卡。該關(guān)卡的設(shè)計理念以解密游戲的設(shè)計貫穿始終。玩家首先可以近距離欣賞到展廳中的各色展品：諸如二胡、月琴、大鼓等傳統(tǒng)樂器，彩羅衣裙、蟒袍等組成的黃梅戲服裝秀，以“銅雀春深鎖二喬”玉盤為代表的黃梅戲工藝品，然后在AI小智的指引下，找到場景中的黃梅戲菜單通向趣味互動的體感體驗環(huán)節(jié)，讓體驗者化被動為主動，自主去探索黃梅戲妝容、黃梅戲經(jīng)典劇目，實現(xiàn)寓教于樂。至此，游戲結(jié)束。游戲流程如圖4所示。

圖4 游戲交互流程

（8）智能推送與數(shù)據(jù)分析。此模塊是本系統(tǒng)的一大特色，可以根據(jù)用戶參觀中關(guān)注度的不同調(diào)整展品的擺放。博物館有基本的展品布局，但部分具體位置的展品可以變化調(diào)整。用戶在使用系統(tǒng)參觀時，系統(tǒng)可以根據(jù)用戶行為如展品的停留時間、交互按鈕的使用情況等分析用戶的喜好，從而在后面的展示位置中自適應智能化的更換展品，實現(xiàn)不同用戶有不同的參觀體驗，更加具有個性化和科學性。

（9）多平臺發(fā)布。多平臺發(fā)布是本系統(tǒng)的一大優(yōu)勢，以滿足不同環(huán)境體驗需求。通過Unity開發(fā)可以便捷的發(fā)布到計算機客戶端、移動終端安卓系統(tǒng)和蘋果IOS系統(tǒng)APP、網(wǎng)絡WebGL平臺、大屏幕觸控平臺等多種主流平臺，極大地節(jié)省的開發(fā)成本，擴展了系統(tǒng)應用需求。

（三）VR虛擬漫游實現(xiàn)

虛擬漫游是本系統(tǒng)重要內(nèi)容。本系統(tǒng)實現(xiàn)基于計算機（Htc Vive）、基于移動終端（暴風魔鏡）和VR一體機三種方式的VR漫游實現(xiàn)，本節(jié)以Htc Vive為例進行虛擬現(xiàn)實VR漫游介紹。HTC VIVE分為頭顯，手柄，光學傳感器三部分。體驗者只需佩戴頭顯，手持運動控制器（手柄），即可輕松操作該系統(tǒng)，如圖5所示。

圖5 HTC Vive實物圖和結(jié)構(gòu)圖

人的雙眼所觀察的圖像不是完全重合的，存在一定的差距，即視差圖像，因此采用兩臺攝像機按照一定的規(guī)則模擬左右眼獲取圖像視頻，分別投放在VR頭戴式顯示器的左右兩個屏幕，用戶的佩戴顯示器使得左右眼分別只看到左右圖像視頻，即可實現(xiàn)三維立體效果。頭戴式顯示器上設(shè)置陀螺儀設(shè)備，可以實時獲取設(shè)備的朝向，從而推算出用戶所要觀察的方位，這樣可以有效模擬用戶在虛擬的黃梅戲博物館中的位置和朝向，并實時的顯示在對應屏幕中，即可實現(xiàn)VR沉浸式觀察的效果?；贚ighthous定位系統(tǒng)光敏傳感器用于識別頭顯與手柄在實際空間中的定位。Vive交互手柄無需線纜，配備24個感應器、多功能觸摸板、雙階段觸發(fā)器。通過觸碰手柄的按鈕與按鍵觸動觸發(fā)器來發(fā)射信號，使用感應器來接收信號，進行實時交互。手柄與頭顯配有的感應器與觸發(fā)器，進行發(fā)射信號與接收信號，實現(xiàn)實時交互。當配置好Vive與電腦的連通環(huán)境，通過處理手柄及頭盔發(fā)射出的指令信號，Vive設(shè)備將發(fā)出的信號實時可視化地呈現(xiàn)在電腦的虛擬環(huán)境上，同時VR頭顯實時映射虛擬環(huán)境的景象。虛擬與現(xiàn)實映射結(jié)合，即虛擬現(xiàn)實，從而實現(xiàn)黃梅戲三維數(shù)字化博物館的虛擬現(xiàn)實呈現(xiàn)。

三、黃梅戲VR博物館運行與評測

（一）系統(tǒng)特點運行效果分析

本節(jié)以HTC Vive平臺的進行用戶訪問體驗介紹。用戶首先進行用戶信息登錄，之后來到VR模式選擇，根據(jù)選擇的VR模式穿戴合適的VR硬件設(shè)備，成功登錄至系統(tǒng)主頁（即該應用的具體內(nèi)容主頁）。系統(tǒng)主頁部分設(shè)置了以系統(tǒng)說明、知識科普、3D博物館漫游、全景漫游、主題游戲、知識評測為主的六個功能供用戶使用。同時設(shè)置了友情鏈接，可鏈接至黃梅戲相關(guān)咨詢網(wǎng)站。具體訪問流程如圖6所示。

圖6 黃梅戲VR博物館HTC Vive體驗流程圖

部分系統(tǒng)運行效果如圖7所示。

圖7 黃梅戲VR博物館系統(tǒng)運行效果

（二）系統(tǒng)測試

本系統(tǒng)的設(shè)計及開發(fā)目的是采用新技術(shù)促進黃梅戲文化的呈現(xiàn)和傳播，因此系統(tǒng)需要面向用戶進行體驗分析。主要包括兩個方面：在VR體驗方面，通過對參加VR體驗的100例用戶問卷調(diào)查分析，在滿意度方面百分之百對系統(tǒng)的探索和體驗表示滿意，有7例存在暈3D現(xiàn)象，但對系統(tǒng)所呈現(xiàn)的二維文化信息和整體創(chuàng)意表示滿意。對于黃梅戲文化學習方面，均對所呈現(xiàn)的黃梅戲文化知識表示受益匪淺，并對黃梅戲興趣有所提高。對用戶知識評測方面，首次答對率處于正態(tài)分布，符合常規(guī)的知識測試規(guī)律，有效提高了對文化知識的充分了解。對用戶體驗時間方面，VR體驗基本處在5到10分鐘之間，有9次超出10分鐘但沒有超過15分鐘，十分鐘之內(nèi)的眼部反饋可以接受，超出十分鐘的體驗，因個人體質(zhì)不同，存在不同程度的眼部疲勞，但休息后會快速恢復。

系統(tǒng)功能評估方面，目前系統(tǒng)已經(jīng)發(fā)布多個版本多種平臺在部分場合進行應用。研究經(jīng)過不斷測試完善后，系統(tǒng)已經(jīng)穩(wěn)定運行，其中較好的體驗是通過計算機平面界面學習體驗黃梅戲博物館全部功能，然后通過VR模式體驗黃梅戲VR博物館，不僅可以學習黃梅戲文化知識，也能避免對眼睛的不適影響。

四、結(jié) 論

隨著VR技術(shù)發(fā)展和相關(guān)應用研究，其在非物質(zhì)文化遺產(chǎn)創(chuàng)新展示等方面的巨大優(yōu)勢已經(jīng)顯現(xiàn)出來。研究以黃梅戲文化為對象，采用多種數(shù)字媒體技術(shù)手段，基于VR技術(shù)設(shè)計黃梅戲VR數(shù)字博物館展示系統(tǒng)。玩家通過佩戴HTC Vive虛擬現(xiàn)實頭戴式顯示設(shè)備，在適當?shù)目臻g內(nèi)，通過獲取虛擬場景提供的黃梅戲圖片文字動畫等信息，并且可以進行虛擬博物館漫游和交互游戲。運動器控制、語音交互、動作識別、觸覺反饋等交互感知方式，打破傳統(tǒng)博物館的多方限制，讓使用者獲得更完美的互動體驗。團隊進行了系統(tǒng)用戶體驗分析，效果較好。此外，VR技術(shù)不僅可以與傳統(tǒng)戲曲文化相結(jié)合，在其他文化建設(shè)領(lǐng)域也有著巨大的發(fā)展?jié)摿?。虛擬現(xiàn)實技術(shù)與文化的結(jié)合將翻開傳統(tǒng)文化傳承傳播的新篇章，對社會發(fā)展具有重要價值。