文化遺產(chǎn)保護的混合現(xiàn)實設(shè)計和實現(xiàn)

鐵　鐘，　朱　翔

(上海工程技術(shù)大學(xué) 藝術(shù)設(shè)計學(xué)院，上海 201620)

0　引　言

隨著計算機技術(shù)的發(fā)展，文化遺產(chǎn)的數(shù)字化保護已經(jīng)在保護過程中被廣泛應(yīng)用，同時個人終端的運算能力增強，基于受眾的數(shù)字化展示設(shè)計手段不斷發(fā)展，對應(yīng)的數(shù)字化技術(shù)正不斷的影響著保護理念的轉(zhuǎn)變[1]。意大利等歐美國家在文化遺產(chǎn)保護數(shù)字化方向投入了大量的研究人員與經(jīng)費，一些最新的國防科技都被引入民用領(lǐng)域，正是這些技術(shù)手段在不斷地改變著我們對于文化遺產(chǎn)保護與修復(fù)的模式。

虛擬現(xiàn)實應(yīng)用于文化遺產(chǎn)保護已經(jīng)有近10年的時間了，但受制于終端硬件，在應(yīng)用和推廣的方面一直處于試驗和研究層面。隨著硬件和軟件的不斷發(fā)展，與虛擬現(xiàn)實相關(guān)的增強現(xiàn)實與混合現(xiàn)實的概念逐漸形成，在技術(shù)層面逐漸被應(yīng)用于文化遺產(chǎn)保護與傳播。混合現(xiàn)實(Mixed Reality)基于虛擬現(xiàn)實(Virtual Reality)發(fā)展而來，不同于虛擬現(xiàn)實的概念，混合現(xiàn)實依附于一定的現(xiàn)實環(huán)境[2]。通過這種技術(shù)手段可以對文化遺產(chǎn)所包含的文化特質(zhì)以及歷史影響所帶來的時間進行全面的展示，這彌補了傳統(tǒng)展示設(shè)計手段的單一性，同時也帶來了數(shù)字化記錄與保護的挑戰(zhàn)[3]。早在1994年，多倫多大學(xué)的保羅·米爾格拉姆(Paul Milgram)和日本學(xué)者岸野文郎(Fumio Kishino)撰寫了一篇題為“混合現(xiàn)實與視覺顯示分類”的論文，在這篇論文中他們定義了“現(xiàn)實-虛擬連續(xù)(Reality-Virtuality Continuum)”的概念用于描述從真實環(huán)境到虛擬環(huán)境的跨度。真實環(huán)境和虛擬環(huán)境分別作為連續(xù)的兩端，位于它們中間的被稱為“混合現(xiàn)實”，其中靠近真實環(huán)境的是增強現(xiàn)實(Augmented Reality)，靠近虛擬環(huán)境的則是增強虛境(Augmented Virtuality)[4]。直到2001年，與文化遺產(chǎn)相關(guān)的增強現(xiàn)實應(yīng)用開始在互聯(lián)網(wǎng)上展開，技術(shù)上主要基于GPS定位系統(tǒng)，由于無線網(wǎng)絡(luò)協(xié)議也就是WiFi技術(shù)剛剛于1999年發(fā)布，并沒有得到廣泛應(yīng)用，所以針對用戶體驗的效果并不十分令人滿意。V. Vlahakis等人建立了一套基于希臘奧林匹亞歷史網(wǎng)站的系統(tǒng)，受制于終端的運算能力，建筑的細節(jié)并沒有展現(xiàn)出來，相關(guān)的交互內(nèi)容也并沒有有效展示[5-6]。

1　文化遺產(chǎn)虛擬場景前期數(shù)據(jù)采集

實現(xiàn)文化遺產(chǎn)虛擬場景的展示設(shè)計主要通過以下幾種方式進行：虛擬現(xiàn)實,通過頭盔顯示器HMD(Head Mounted Display)將采集的視頻素材與制作素材加以呈現(xiàn)。增強現(xiàn)實,通過頭盔顯示器HMD或移動終端將制作內(nèi)容與現(xiàn)實場景加以結(jié)合。混合現(xiàn)實,通過透光式(Optical see-through)HMD與Leap Motion等體感設(shè)備相結(jié)合，將制作內(nèi)容與現(xiàn)實空間產(chǎn)生交互?；旌犀F(xiàn)實成熟的商業(yè)化硬件平臺有最早推出的谷歌眼鏡和微軟推出的全息眼鏡產(chǎn)品HoloLens，透光式HMD允許用戶看到真實的環(huán)境，計算機把生成的圖像疊加顯示于視場中。影像式HMD并不能讓用戶直接看到真實環(huán)境,而是通過HMD上的攝像頭采集環(huán)境影像,然后將計算機生成的虛擬圖像融合后顯示出來[7]。

無論使用移動終端或者頭盔顯示器呈現(xiàn)最終的展示方式都需要對原始數(shù)據(jù)進行定位與采集，通過相機設(shè)備將識別的對象參數(shù)加以定位。由于移動終端計算能力的限制，必須控制終端所在位置，如果進行實時計算對終端的計算處理能力有一定要求，不利于推廣與展示。以朱家角場景設(shè)計制作為例，首先使用4臺A7S相機，配合8～15焦段的魚眼鏡頭，拍攝出4個方向原始素材。在NUKE中對原始素材進行修正，使用Autopano對素材進行合并，導(dǎo)出素材再次進行修正。計算出固定角度素材場景的深度通道，反求出攝像機中心位置(視角位置)的參數(shù)，將二維畫面進行三維轉(zhuǎn)換。制作內(nèi)容動畫，將計算出的現(xiàn)實場景中物體位置與攝像機位置的參數(shù)導(dǎo)入三維軟件中加以匹配。最終將制作好的內(nèi)容導(dǎo)入EasyAR SDK等引擎中進行交互內(nèi)容制作。

2　混合現(xiàn)實系統(tǒng)設(shè)計與實現(xiàn)

現(xiàn)有的混合現(xiàn)實設(shè)計都基于個人移動終端，雖然體驗性不如虛擬現(xiàn)實的模擬性，但隨著技術(shù)和硬件的發(fā)展會推動相關(guān)產(chǎn)業(yè)的發(fā)展。以受眾為中心可以較快的速度進行普及，所以在應(yīng)用上整體高于虛擬現(xiàn)實技術(shù)。整套系統(tǒng)設(shè)計分為：①現(xiàn)實空間數(shù)據(jù)采集；②素材拼接與混合計算；③交互內(nèi)容制作與匹配[8-9]。

2.1　現(xiàn)實空間數(shù)據(jù)采集與拍攝

使用4臺A7s相機在同一水平位置，拍攝4個方向的素材。也可以使用運動相機GoPro進行拍攝，但是素材質(zhì)量會影響后期體驗效果。素材導(dǎo)出后使用Adobe Premiere進行素材對齊與剪切，再導(dǎo)入AutoPano Video Pro進行初步融合，包括對與使用鏡頭以及焦段的設(shè)置Detect(檢測)。素材再導(dǎo)入AutoPano Giga優(yōu)化RMS值，這其中包括控制點與水平基線的優(yōu)化?？梢钥吹疆嬅嬷?，由于鏡頭與光線角度的不同，拼合時明暗交錯十分明顯，如果在正午時分光照充足的情況下這種現(xiàn)象會更明顯。最終渲染輸出的素材導(dǎo)入到NUKE中將邊緣的攝像機支架的部分進行擦除地磚的位置進行對齊縫合,最終可以看到合成的畫面。修整前后的畫面如圖1、2所示。

圖1　未修整的合成畫面

2.2　深度通道計算與景深效果

后期交互內(nèi)容的制作依據(jù)拍攝素材進行內(nèi)容制作，為了實現(xiàn)三維效果需要進行二維轉(zhuǎn)三維的渲染，首先要計算出深度通道的數(shù)據(jù)，調(diào)節(jié)最終畫面的深度即可創(chuàng)造新的景深效果，需要根據(jù)拍攝時相機參數(shù)來設(shè)定立體程度的間隔值。基于運動估計的深度圖生成最終畫面，運算過程中基于塊的運動估計算法獲得運動矢量。使用Graph-Based顏色分割算法來修正深度圖，并在后處理中采用數(shù)字形態(tài)學(xué)、高斯濾波等方法提高深度圖質(zhì)量，最后使用深度圖適當(dāng)擴展的改進算法來提高最終修復(fù)圖像的質(zhì)量。虛擬視點繪制中需要用到的4種空間坐標(biāo)系，給出投影變換公式。然后結(jié)合二維轉(zhuǎn)三維視頻實際，采用簡化的DIBR算法合成虛擬視點位置的圖像[10-12]?？梢钥吹侥壳拔募纳疃韧ǖ辣队嬎愠鰜?，而不參與交互制作的部分場景可以直接進行屏蔽，如圖3所示在NUKE中將計算好的深度貼圖與素材匹配。

圖3　在NUKE中將計算好的深度貼圖與素材匹配

2.3　畫面超分辨率和統(tǒng)計預(yù)測的混合算法

渲染出深度通道的文件可以將深度通道合并在帶有通道格式的序列幀文件中，通過超分辨率和統(tǒng)計預(yù)測的混合算法提高原有素材的分辨率。基于原有的視頻像素，在識別兩個不同的情況后之后軟件會開始畫質(zhì)提升的步驟：對比前后幾幀，是不是有可能圖像會發(fā)生改變。如果圖像畫面有可能改變，那么在對像素點數(shù)據(jù)分析后會立即應(yīng)用統(tǒng)計預(yù)測算法，計算得到空白畫面的顏色像素值，填充空白像素，再做畫質(zhì)提升。如果圖像畫面不發(fā)生改變，那么基于目前的像素點直接做拓展后，再應(yīng)用應(yīng)用統(tǒng)計預(yù)測算法檢驗。提升分辨率的混合算法的流程圖如圖4所示，A為分析100個像素點前后5幀的變化情況，B則為識別每個像素點周圍上下左右的值并倍增像素進行檢驗后的結(jié)果。

圖4混合算法的流程圖

3　混合現(xiàn)實引擎交互內(nèi)容制作

3.1　目標(biāo)圖像定位

基于混合現(xiàn)實的SDK有Vuforia、EasyAR和ARToolKit等，如果最終的混合現(xiàn)實系統(tǒng)需要進行移動終端的交互設(shè)計，還需要對于文化遺產(chǎn)場景進行細微定位，使用ARtoolkit對攝像機標(biāo)定進行注冊，最終三維的場景與現(xiàn)實場景通過移動終端的攝像機進行匹配[13]。但ARtoolkit的識別定位需要非常明顯的Target，這會影響受眾的體驗，在這個項目中嘗試使用EasyAR SDK進行定位，EasyAR可以從日常生活中的常見有紋理三維物體或平面圖像進行實時識別與跟蹤，也可以從標(biāo)準(zhǔn)OBJ模型文件動態(tài)生成跟蹤目標(biāo)，對三維物體的物理尺寸沒有嚴格限制，這些物體可以是不同的形狀或結(jié)構(gòu)。生成的數(shù)據(jù)可對接Unity3D等引擎進行交互內(nèi)容制作。首先使用EasyAR在target上面顯示三維內(nèi)容和視頻需要加載配置來設(shè)置target，通過異步方式加載和卸載target到tracker，不會阻塞調(diào)用線程，因而可以動態(tài)增量加載。使用圖像本身生成target，使用json格式來存儲target的配置。json包含了所有可以被使用的配置項：target圖像路徑、target名字、target大小以及target的uid?？梢允褂枚鄠€跟蹤目標(biāo)來跟蹤不同的目標(biāo)，完整的數(shù)據(jù)集接口示例如下：

{

"images": [

"path/to/zhujiajiao00.jpg",

"path/to/zhujiajiao01.png",

"zhujiajiao02.jpg",

{

"image" : "path/to/zhujiajiao03.jpg"

},

{

"image" : "zhujiajiao04.png",

"name" : "zhujiajiao"

},

{

"image" : "idback.jpg",

"name" : "idback",

"size" : [8.56, 5.4],

"uid" : "uid-string"

},

"c:/win/absolute/path/to/zhujiajiao05.png",

"/unix/absolute/path/to/zhujiajiao06.jpg"

]

}

3.2　CG交互內(nèi)容制作

使用MAYA等三維軟件將復(fù)原內(nèi)容的部分進行CG角色制作，通過跟蹤軟件對于拍攝素材的攝像機機位進行比對，全景圖片制作成HDRI(High-Dynamic Range)高動態(tài)范圍文件作為三維場景的照明信息，HDRI擁有比普通RGB格式圖像(僅8bit的亮度范圍)更大的亮度范圍，可以還原現(xiàn)實場景的光線參數(shù)，渲染出的三維物體會具有與現(xiàn)實素材一致的光照效果。最終將三維制作的素材與拍攝素材進行合成，圖5可以看到CG角色最終合成畫面的效果。

圖5　CG角色最終合成畫面

4　結(jié)　語

數(shù)字化時代對于傳統(tǒng)的美學(xué)規(guī)律和認知都發(fā)生了顛覆性的嬗變，對于現(xiàn)實空間的虛擬化重新定義了“建筑”的概念外延，拓展了傳統(tǒng)物理展示空間的概念，使受眾重新認識建筑和空間之間的關(guān)系[14]。維特魯威對于建筑的評價標(biāo)準(zhǔn)為“實用、堅固、美觀”。這三個標(biāo)準(zhǔn)對于混合現(xiàn)實所構(gòu)建的空間概念有著不同的意義和特質(zhì)。受眾對于這種新的空間概念的接受程度決定了混合現(xiàn)實的發(fā)展空間?！霸谖覀兊臅r代，空間關(guān)系已經(jīng)取代了時間關(guān)系，成為把握人類現(xiàn)實的核心范疇。空間不是抽象的、同一的秩序，而是由多元的、異質(zhì)的關(guān)系構(gòu)成的[15]。”對于空間的理解都是基于我們的認識范疇，混合現(xiàn)實拓展了我們對于信息的接受方式。在信息化的社會背景下，網(wǎng)絡(luò)所帶來的平行性、交互性、開放性、共享性等諸多因素致使交互技術(shù)逐漸個人化，以及UCD(User Centered Design)模式在混合現(xiàn)實設(shè)計中對于受眾感官和心理層次的影響逐漸擴大，受眾交互操作和心理行為將會引導(dǎo)混合現(xiàn)實設(shè)計發(fā)展趨勢。

參考文獻(References)：

[1]尤基萊托. 建筑保護史[M].北京：中華書局, 2011:21-22.

[2]周明全. 文化遺產(chǎn)數(shù)字化保護技術(shù)及應(yīng)用[M]. 北京：高等教育出版社, 2011:3-5.

[3]潘云鶴, 魯東明. 文化遺產(chǎn)的數(shù)字化保護:技術(shù)與應(yīng)用[M]. 杭州：浙江大學(xué)出版社, 2009:5-6.

[4]Milgram P, Kishino F. A taxonomy of mixed reality visual displays[J]. Ieice Transactions on Information & Systems, 1994, 77(12):1321-1329.

[5]Ippolito A, Cigola M. Handbook of research on emerging technologies for digital preservation and information modeling[M]. IGI Global Disseminator of Knowledge, 2017:256-258.

[6]Vlahakis V, Ioannidis N, Karigiannis J,etal. Archeoguide: An augmented reality guide for archaeological sites[J]. IEEE Computer Graphics & Applications, 2002, 22(5):52-60.

[7]Han J Y. Development of HMD-based 360° VR content of korean heritage[J]. Indian Journal of Science & Technology, 2016, 9(24).

[8]羅斌, 王涌天, 沈浩,等. 增強現(xiàn)實混合跟蹤技術(shù)綜述[J]. Acta Automatica Sinica, 2013, 39(8):1185-1201.

[9]黃進, 韓冬奇, 陳毅能,等. 混合現(xiàn)實中的人機交互綜述[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2016, 28(6):869-880.

[10]Pietroni E. An augmented experiences in cultural heritage through mobile devices: “Matera tales of a city” project[C]//International Conference on Virtual Systems and Multimedia. IEEE, 2012:117-124.

[11]Falvo P G. In the mirror of the wonder of Luca Giordano: Multisensory experience itinerary with impact assessment at Palazzo Medici Riccardi (Florence, Italy)[C]//International Conference on Virtual Systems and Multimedia. IEEE, 2012:11-18.

[12]Wang L, Champion E. Chinese culture approached through touch: Chinese cultural heritage learnt via touch-based games[C]//International Conference on Virtual Systems and Multimedia. IEEE, 2012:87-94.

[13]童小念, 范利君. 增強現(xiàn)實系統(tǒng)中注冊技術(shù)特征匹配算法的改進[J]. 中南民族大學(xué)學(xué)報(自然科學(xué)版), 2012, 31(3):85-88.

[14]呂燕茹, 張利. 新媒體技術(shù)在非物質(zhì)文化遺產(chǎn)數(shù)字化展示中的創(chuàng)新應(yīng)用[J]. 包裝工程, 2016, 37(10):26-30.

[15]汪行福. 空間哲學(xué)與空間政治——?？庐愅邪罾碚摰年U釋與批判[J]. 天津社會科學(xué), 2009(3):11-16.