莫高窟第249窟VR（虛擬現(xiàn)實）展示系統(tǒng)的設計與實現(xiàn)

金良 薄龍偉 宋利良侍 吳健 俞天秀

內容摘要：敦煌研究院經過多年探索和潛心研究，運用攝影和計算機等技術保護手段，保存和重現(xiàn)莫高窟壁畫、彩塑等文物的數(shù)字信息，形成了大量的數(shù)字成果，通過對外展覽展示的形式呈現(xiàn)給各地的觀眾。然而目前莫高窟的展覽方式缺乏互動性與趣味性，另外受到展覽周期與空間的限制，在展覽過程中無法完整展示文物的相關信息，在參觀過程中大眾都是被動接受，參與性不足。所以設計一套具有生動性、趣味性、互動性的展示系統(tǒng)，在展示莫高窟文物、更好地傳承莫高窟文化方面具有重要意義。

關鍵詞：數(shù)字化;展示系統(tǒng);互動體驗

中圖分類號：K854.3;K870.6? 文獻標識碼：A? 文章編號：1000-4106（2021）04-0133-09

Abstract：After years of intensive research and exploration， photography and computer technologies are now being used by the Dunhuang Academy to protect， preserve， and reproduce the murals， painted statues， and other cultural relics in the Mogao caves. A great amount of digital information has been preserved， much of which is open to the public in the form of exhibitions. There are many shortcomings in the traditional， physical Mogao cave exhibitions that were previously available， however， chief among which was a lack of interaction and organization. Furthermore， limitations on exhibition cycles and spaces severely limited the amount of information that could be displayed about the exhibition items. Generally speaking， the information of the exhibitions is conveyed in a way that forces visitors to be passive observers of the cultural relics in the caves. In consideration of the previous state of these exhibitions， this research believes that designing a set of well-organized， scientific， and interactive display systems is essential to better displaying the cultural relics of Mogao.

Keywords：Digitization; display system; interactive experience

0 前 言

莫高窟的壁畫和彩塑歷經千余年自然因素和人為因素的破壞，已經存在不同程度的病害，游客數(shù)量的持續(xù)增加也給莫高窟帶來了巨大的壓力和挑戰(zhàn)。如何在保護文物的同時向觀眾呈現(xiàn)莫高窟的石窟藝術與歷史文化，使觀眾能與莫高窟進行全方位、近距離的“親密接觸”，將是我們急需解決的問題。本系統(tǒng)借助AR/VR技術，集成莫高窟第249窟現(xiàn)有的數(shù)字化成果，搭建一套可移動的互動體驗系統(tǒng)。本系統(tǒng)具有趣味互動性，沉浸感強;可以解除時空的束縛，身臨其境地感受莫高窟第249窟豐富的人文藝術，讓觀眾了解敦煌的歷史文化與魅力;同時可減少人為因素的影響，更好地保護敦煌莫高窟的文物，通過在各地舉辦的展覽，把不可移動的文物“搬”出莫高窟，讓觀眾可視、可聽、可感地體驗敦煌藝術[1]。

莫高窟傳統(tǒng)展覽通常采用陳列的方式把臨摹作品或數(shù)字化成果展示出來（圖1）。參觀過程中觀眾只能通過文字介紹或現(xiàn)場講解等方式被動地接受，展品信息的傳遞是單向的，從而造成觀眾的主動參與性不足。另外，由于自然和人為因素，很多珍貴的文物產生了“病變”或遭到不同程度的破壞，需要在特定的環(huán)境中展出。因此，借助AR/VR以及多媒體等數(shù)字技術，使不可移動的文物“活”起來，用文物模型代替珍貴的實體文物并呈現(xiàn)給大眾。在展覽過程中，廣泛地應用AR/VR以及多媒體等數(shù)字技術，豐富展示手段，使展覽更加具有生動性和互動性，在參觀過程中調動觀眾的積極性，增強觀眾對展覽內容的了解，因此具有重要的意義[2]。

1 國內外研究綜述

上世紀90年代初期，歐洲一些博物館便開始用虛擬現(xiàn)實技術開展文物的展示活動，例如盧浮宮博物館、普拉多博物館。這種展示模式不但可以妥善解決博物館空間有限的問題，同時還可以將文物的信息詳細展出，使觀眾更加深入、全面地了解文物歷史，強化展示的趣味性及互動性。

由于各方面因素的影響，虛擬現(xiàn)實技術在國內發(fā)展的時間相對較短，但是最近幾年國內諸多企業(yè)以及科研單位開始高度重視虛擬現(xiàn)實技術，并大力推動虛擬現(xiàn)實技術的發(fā)展與應用。1990年“863計劃”把虛擬現(xiàn)實技術的發(fā)展納入其中，近幾年虛擬平臺互動展示被廣泛應用于各個行業(yè)，例如醫(yī)學、教育、新媒體等，均取得了較為突出的應用效果。

2 總體設計

2.1 設計目標

本系統(tǒng)將設計一個用第249窟洞窟模型代替實體洞窟的交互平臺。展覽過程中用戶可在預先劃定好的體驗區(qū)域內任意移動，操作交互手柄查看第249窟的詳細信息并與洞窟模型互動，身臨其境地感受石窟氛圍，其他觀眾可觀看投影屏幕來了解展覽內容。

2.2 總體架構

結合系統(tǒng)設計目標以及展覽需求，設計第249窟VR展示系統(tǒng)的總體架構。主要包括體感交互設備、展覽系統(tǒng)軟件和存儲服務器。

體感交互設備與系統(tǒng)軟件通信，在運行過程中對用戶的行為、用戶的空間位置等信息進行采集;展覽系統(tǒng)軟件對體感交互設備進行精準控制，同時整理分析設備所采集的信息數(shù)據，結合實際需求形成相應的操作指令;存儲服務器主要包括兩種類型：數(shù)據庫服務器、文件服務器。

2.3 系統(tǒng)需求分析

系統(tǒng)借助體感交互設備來獲取用戶的空間位置，對用戶的動作進行快速采集。系統(tǒng)軟件對采集到的數(shù)據進行分析，同時對用戶所做出動作的含義進行快速識別，然后進行邏輯處理，并發(fā)送指令將其映射在文物模型上，文物模型將會根據接受到的指令進行變換。

2.3.1 功能需求分析

本系統(tǒng)最重要的是要實現(xiàn)人機交互，系統(tǒng)應當對用戶行為進行快速識別，然后才可以更快地響應用戶操作，確保用戶獲得較為理想的體驗效果。對上述需求，系統(tǒng)要通過體感交互設備才可以實現(xiàn)對用戶影像、動作進行快速采集的目的，并對人體所作出的一系列動作進行跟蹤，構建一個合理完善的交互界面，同時分析、處理、存儲用戶信息。因此，本系統(tǒng)軟件應具備以下功能：

1. 顯示功能

主要作用是把體感設備識別出的圖像真實、清晰、快速地顯示出來。本系統(tǒng)即把第249窟內部的場景與用戶的動作全部展現(xiàn)，顯示效果與用戶的交互體驗感存在直接關聯(lián)。

2. 交互功能

主要作用是提供交互界面供用戶選擇，用戶操作交互手柄選取感興趣的文物模型進行參觀、瀏覽。

3. 動作識別功能

本系統(tǒng)的“動作” 并非表達想法或闡述具體問題，而是傳輸一些簡單的指令信息，主要是體感交互設備對文物模型進行控制的操作指令。

4. 文物模型控制功能

文物模型控制功能會響應操作指令，例如文物模型會隨著參觀者的動作進行移動、變換等。

2.3.2 性能需求分析

為確保系統(tǒng)運行過程中的安全性與穩(wěn)定性，設計系統(tǒng)時要在滿足功能需求的前提條件下，嚴格規(guī)定其性能需求。主要包括下列五個方面：

運行性能：通常情況下本系統(tǒng)應用場景為科技館、博物館等，此類場所人流量較大，所以系統(tǒng)軟件需具備較快的響應速度。按照所展示的具體內容，讀取速度應當在2秒之內，運行過程中資源消耗量要降到最低。

穩(wěn)定性：系統(tǒng)運行過程中，需要持續(xù)為觀眾提供展示服務，為了提高服務質量、確保時效性，系統(tǒng)必須保持長時間穩(wěn)定運行，同時還應當具備較強的異常處理能力。

安全性：在文物信息存儲方面要確保安全性，本系統(tǒng)采用數(shù)據庫備份，保證數(shù)據的安全。

易用性：本系統(tǒng)在應用中需考慮各年齡段的用戶，為了讓所有人都能夠熟練使用系統(tǒng)，在設計過程時要遵循人性化設計的原則，對內容進行合理化編排。

擴展性：為了更好地滿足各種場景的展示需求，同時方便系統(tǒng)進行業(yè)務擴展，系統(tǒng)應預留易擴展的功能接口。

2.4 系統(tǒng)設計

開發(fā)系統(tǒng)軟件時，要對系統(tǒng)軟件的總體方案進行合理規(guī)劃，為系統(tǒng)提供安全、穩(wěn)定的架構。本小節(jié)主要對以下兩方面內容進行闡述。

2.4.1 總體結構設計

根據系統(tǒng)的功能需求和性能需求分析，可把系統(tǒng)細化為三層：一是用戶層，二是數(shù)據處理層，三是采集層。下圖（圖2）詳細介紹了系統(tǒng)的總體架構。用戶界面層的主要作用是對用戶需求進行分析，為其提供相應的信息數(shù)據，并提示用戶不同操作的具體狀態(tài);數(shù)據處理層的主要作用是分析體感設備采集的數(shù)據;數(shù)據采集層的主要作用是對用戶位置信息進行快速采集與定位[3]。

1. 用戶界面層

主要作用是實現(xiàn)人機交互，為用戶的各種操作行為提供詳細、真實、全面的信息數(shù)據，內部包含多個部分，如UI交互、影像顯示、模型變換等。

（1）UI交互

本系統(tǒng)軟件的人機交互與傳統(tǒng)人機交互之間存在較大差異，傳統(tǒng)人機交互主要是用鍵盤或鼠標響應用戶的操作。本系統(tǒng)是利用用戶位移、手部交互等方式對系統(tǒng)軟件界面進行操作處理，當成功識別用戶的行為后，軟件將會快速響應用戶的一系列操作行為。

（2）影像顯示

系統(tǒng)軟件讀取數(shù)據后，把第249窟的洞窟模型展示在界面上，用文物模型取代實體文物增強互動性，提升用戶的體驗感。

（3）模型變換

主要包括模型的移動、隱藏等功能，可提升參觀活動的趣味性，使用戶在參觀過程中具備較強的參與感，實現(xiàn)與文物模型進行交流互動的目的[4]。

2. 數(shù)據處理層

數(shù)據處理層主要包括兩方面內容，一是動作識別;二是數(shù)據存儲。主要作用是快速處理、傳輸數(shù)據，并將數(shù)據直接存儲于數(shù)據庫中。

（1）動作識別

數(shù)據處理層會對體感交互設備采集的所有信息數(shù)據進行快速分析，然后結合實際情況把用戶從原本的圖像中單獨分割出來，再通過Graham掃描算法提取用戶凸包，根據動作操作協(xié)議，生成操作命令。

（2）數(shù)據存儲

其主要作用是存儲與備份文物信息、模型位置、用戶交互信息等。

3. 數(shù)據采集層

系統(tǒng)軟件在運行過程中，數(shù)據采集層發(fā)揮著不可替代的作用，處在軟件結構的最下層，主要作用是實現(xiàn)用戶坐標數(shù)據的采集、定位并傳輸至處理層。

2.4.2 系統(tǒng)數(shù)據流程

下圖詳細展示了數(shù)據流程（圖3），其中用戶與文件服務器為外部實體，P1為體感設備的數(shù)據處理，主要處理F1交互動作數(shù)據與F2位置信息數(shù)據，生成D1交互數(shù)據與D2位置信息數(shù)據，把數(shù)據發(fā)送給P4并將P4的處理數(shù)據通過F3返回至用戶并在界面顯示。

3 系統(tǒng)軟件模塊設計

為確保系統(tǒng)的各個模塊均可以實現(xiàn)相應的功能，系統(tǒng)設計嚴格遵循模塊化設計的基本思想，把軟件細化為不同模塊，如識別模塊、顯示模塊、模型控制模塊等，不同模塊之間進行有效協(xié)作，形成一套合理、完善的文物模型互動展示軟件。下圖為軟件模塊詳情（圖4）。

3.1 顯示模塊

用戶通過顯示模塊融入到洞窟模型中，因此顯示質量將會對用戶的操作體驗產生直接影響。顯示模塊主要利用體感交互設備對用戶的空間信息數(shù)據進行快速采集，獲取場景中的用戶動作，然后通過文物存儲模塊讀取文物模型，進行虛實融合，從而進一步實現(xiàn)增強現(xiàn)實效果的目的（圖5）。

體感設備獲取第249窟場景的影像與文物模型信息實時疊加，進而形成增強現(xiàn)實的影像，最后將文物模型信息進行渲染，呈現(xiàn)到顯示器上。使用戶能夠切身體驗真實的第249窟場景與虛擬信息交相輝映的生動效果。

3.2 交互模塊

為確保用戶與軟件之間實現(xiàn)深度交流，系統(tǒng)在交互模塊中設計了交互按鈕和文物列表選項。交互按鈕包括菜單按鈕、返回按鈕等。文物列表包括一系列動畫，能夠實現(xiàn)漸入漸出的整體效果，用戶交互體驗得到顯著提升。結合體感設備所具備的特點，把三維坐標數(shù)據輸入，借助系統(tǒng)軟件進行快速處理，取代鼠標實現(xiàn)隔空響應功能。

交互按鈕共包括三種不同的狀態(tài)，即經過、按下、離開，能夠避免意外觸碰而引發(fā)的問題。當用戶與平臺進行交互時，其具體過程為：通過體感交互設備獲取用戶的三維坐標數(shù)據，然后用交互手柄控制虛擬光束去激活交互圖標。如果虛擬光束未處于交互范圍之內，交互圖標將不會響應操作;如進入交互按鈕區(qū)域，交互圖標將會發(fā)亮提示用戶進行操作;如果虛擬光束離開按鈕區(qū)域，那么交互按鈕將會發(fā)生變化，即恢復至初始狀態(tài)。通過移動虛擬光束用戶可選擇自己感興趣的文物模型（圖6）。

交互按鈕被觸發(fā)后，顯示模塊就會響應動作，即把與之相對應的文物模型呈現(xiàn)在界面上（圖7）。

3.3 動作識別模塊

主要作用是對用戶的動作進行快速識別，成功之后將會把相應的指令發(fā)送至文物控制模塊，對文物模型變換進行快速處理。本系統(tǒng)在進行設計的過程中，共設計了四種不同的動作協(xié)議（表1）。若用戶所做出的動作不在這四種動作協(xié)議范圍之內，那么識別模塊就不會做出響應。

3.4 文物控制模塊

根據用戶不同的動作，系統(tǒng)對文物模型變換過程進行嚴格控制，并制定詳細、完善的操作協(xié)議（表2）。若用戶所做出的動作不在這三種動作協(xié)議范圍內，那么識別模塊將不會做出響應。

4 系統(tǒng)實現(xiàn)與測試

依據現(xiàn)有條件和設備，構建合理完善、安全穩(wěn)定的系統(tǒng)軟件平臺，主要包括：顯示器、體感交互設備、數(shù)據庫等。同時還必須依托于相關硬件，下表（表3）詳細列出了軟件的運行環(huán)境。

軟件運行前必須進行一定的準備工作，具體內容包括下列兩個方面：對體感交互設備、PC端等各個方面進行全面檢查，判定是否存在異常狀況;運行軟件系統(tǒng)，檢查體感設備的指示燈是否處于正常工作狀態(tài)。

4.1 功能實現(xiàn)

4.1.1 顯示界面

用體感交互設備采集用戶動作，顯示模塊讀取第249窟的3D模型并在界面顯示。用戶通過移動頭部和手部的動作來模擬真實環(huán)境下的位置變化，查看不同位置、不同角度下文物模型的細節(jié)。系統(tǒng)會根據用戶調用的洞窟模型從服務器選擇模型文件生成主界面，并根據用戶位置信息實時顯示模型（圖8）。

4.1.2? 交互功能

當用戶站在定位器之間，設備啟動紅外定位器，系統(tǒng)可以采集用戶的手柄以及頭部移動的坐標，通過定位器的位置判斷，將移動空間的數(shù)據傳輸給軟件處理并顯示在界面上，最后通過軟件界面查看采集到的視頻流。

通過上述動作采集，體感交互設備跟蹤和定位用戶的動作，把用戶的坐標數(shù)據直接傳輸至交互模塊，再對其坐標數(shù)據進行分析，將結果直接賦值于虛擬光束，此時用戶的手發(fā)生移動，那么虛擬光束會處于高亮狀態(tài)（圖9a）。當用戶將虛擬光束離開當前界面，虛擬光束則會取消高亮狀態(tài)（圖9b）。

4.1.3 動作識別功能

根據本文制定的動作，分別為手柄移動、點擊按鈕及扣動扳機，通過這三種動作，系統(tǒng)會給出相應的效果反饋。

用戶站在定位器之間，分別做出上述三種動作，查看動作識別的效果。動作識別模塊可以識別出用戶按照文物操作協(xié)議做出的動作，如果沒有按照操作協(xié)議做動作則識別失敗。

4.1.4 文物模型控制功能

此模塊功能用來控制文物模型的變換，包括文物模型的移動、出現(xiàn)和隱藏。用戶通過動作識別模塊功能向文物控制模塊發(fā)送控制指令，文物模型能夠出現(xiàn)變換。

用戶通過交互手柄選擇一個文物模型，當用戶扣動交互手柄的扳機時，文物模型會出現(xiàn)并通過圖像增強顯示出來（圖10）。

4.2 系統(tǒng)測試

4.2.1 功能測試

通過實際運行系統(tǒng)，系統(tǒng)的主要功能模塊均已完成且能夠正常運行。系統(tǒng)的功能測試與處理結果如表（表4）所示。

4.2.2 性能測試

通過第二節(jié)的分析可知本系統(tǒng)的性能主要包括以下四方面內容：

穩(wěn)定性：經過反復測試，系統(tǒng)均可以保持正常運行，不會發(fā)生死機或者崩潰等問題，穩(wěn)定性能方面符合標準。

運行性能：顯示模塊、文物控制模塊是耗時最高的兩個部分，通過上一節(jié)的測試，響應速度、運行效率均可以滿足相應的要求，所以運行性能方面符合標準。

安全性：只有工作人員才可以對文物模型信息、用戶信息等進行調閱查看，安全方面符合標準。

易用性：在應用該系統(tǒng)之前，用戶僅需學習相應的操作規(guī)程便可以熟練操作，所以易用性方面符合標準。

4.2.3 軟件實時性驗證

在對體感交互效果進行評價時，軟件的實時性是其最佳的衡量指標。對軟件的實時性來講，其主要受到兩個方面的影響：其一，電腦性能;其二，軟件結構。因此需要對耗時較高的功能進行嚴格測試，如文物模型讀取時間、按鈕觸發(fā)時間等。

通過測試，在大部分時間下CPU的空閑率均在65%以上;文物模型控制模塊、動作識別模塊運行時，CPU負載雖然會有所提高，但并不會對整個軟件的運行產生不良影響。OBJ模型的大小通常為80M，軟件讀取時間為2秒左右，并不會對用戶交互體驗產生影響。此外，文物模型的變換延時時間也不會對用戶的體驗感造成影響，由此可見，軟件的實時性也符合標準。

經過上述測試與分析可知，本系統(tǒng)軟件的各個模塊功能均滿足設計要求。

5 結 語

本系統(tǒng)根據傳統(tǒng)文物展示方面所存在的不足，結合實際需求設計莫高窟第249窟VR展示系統(tǒng)，經過對系統(tǒng)功能進行測試，各功能模塊均滿足要求。但由于本人經驗不足、能力有限，再加上實驗條件、時間等因素，本系統(tǒng)仍存在諸多不足，需進一步優(yōu)化，不足之處具體體現(xiàn)在下列兩個方面：

1. 通過該系統(tǒng)，用戶可以與虛擬文物模型進行實時互動，對模型變換過程進行嚴格控制，但是系統(tǒng)中所包含的文物模型相對較少。在未來的研究中，可以嘗試通過PhotoScan軟件把文物照片直接傳輸至系統(tǒng)，或者利用3D文物掃描的形式把文物直接轉變?yōu)?D模型，如此一來，建模成本、建模時間將大大降低。

2. 系統(tǒng)應用中其可能會產生諸多問題，如在展示的過程中每次只能一個用戶體驗，參觀人數(shù)較多的時候用戶必須排隊。在未來的研究工作中，可以開發(fā)一些以AR技術為基礎的開發(fā)包，使用戶通過個人手機終端便可以實現(xiàn)與虛擬文物模型互動。

參考文獻：

[1]吳健.石窟寺文物數(shù)字化的內涵：融學術、技術、藝術于一體[J].敦煌研究，2015（2）：125-129.

[2]王向強，黃俊，張作運. 基于Kinect虛擬文物互動展示系統(tǒng)的設計與實現(xiàn)[J].微型機與應用，2017，36（2）：41-43，47.

[3]李大丁.體感技術在敦煌藝術交互展示中的應用初探[J].敦煌研究，2015（5）：115-119.

[4]董葉芊.Unity3d產品虛擬展示技術的應用研究[J].無線互聯(lián)科技，2017（17）：144-145.