基于AR技術(shù)在南京明故宮遺址數(shù)字化復(fù)原的技術(shù)研究

摘 要：增強(qiáng)現(xiàn)實（Augmented Reality，簡稱“AR”）是通過真實的世界與虛擬現(xiàn)實技術(shù)相疊加和“縫合”來刺激人的感官去感受這個世界。闡述了明故宮復(fù)原技術(shù)中要利用的三種增強(qiáng)現(xiàn)實系組成形式，即定點監(jiān)控式、光學(xué)透視式、視頻透視式以及增強(qiáng)現(xiàn)實利用的最關(guān)鍵的組成部分進(jìn)行了分析。

關(guān)鍵詞：AR技術(shù)；明故宮數(shù)字化復(fù)原；三維跟蹤注冊技術(shù)

1 AR技術(shù)的概述

增強(qiáng)現(xiàn)實（Augmented Reality，簡稱“AR”）[1]在臺灣也被稱為擴(kuò)增現(xiàn)實，是虛擬現(xiàn)實（Virtual Reality）隨著科技發(fā)展延伸出來的一種新的領(lǐng)域。1997年，第一次提出了學(xué)術(shù)界認(rèn)同的增強(qiáng)現(xiàn)實的定義。增強(qiáng)現(xiàn)實是一種環(huán)境，它同時包括了真實世界和虛擬世界，它是一種通過實時地計算攝影機(jī)影像的方位并加上相應(yīng)圖像的技術(shù)，這種技術(shù)的目標(biāo)是在顯示屏幕上把虛擬世界疊加、融合在現(xiàn)實世界并進(jìn)行互動。增強(qiáng)現(xiàn)實的最終目的是通過加強(qiáng)人的聽覺、視覺、觸覺、嗅覺等感官感受，讓用戶真實世界能力變強(qiáng)，最后進(jìn)行真實世界和虛擬現(xiàn)實世界的切換，達(dá)到以假亂真的視覺效果。最早增強(qiáng)現(xiàn)實技術(shù)運用在發(fā)達(dá)國家，二十世紀(jì)九十年代已經(jīng)有了初步的研究，目前，其主要運用在軍事、醫(yī)療、工業(yè)、古跡復(fù)原和數(shù)字化遺產(chǎn)保護(hù)等各個領(lǐng)域。

2 增強(qiáng)現(xiàn)實系統(tǒng)的關(guān)鍵部分

2.1 增強(qiáng)現(xiàn)實基礎(chǔ)系統(tǒng)

增強(qiáng)現(xiàn)實系統(tǒng)的最基本的組成部分主要有[2]：（1）真實的場景圖像的獲??；（2）圖像最后的融合；（3）顯示器設(shè)備的顯示；（4）3D虛擬對象的數(shù)據(jù)庫；（5）實時3D轉(zhuǎn)換和渲染等環(huán)節(jié)。這也是增強(qiáng)現(xiàn)實最常用的基本流程中的方式之一。

2.2 增強(qiáng)現(xiàn)實關(guān)鍵組成部分

根據(jù)增強(qiáng)現(xiàn)實的系統(tǒng)的流程，我們不難發(fā)現(xiàn)三維跟蹤注冊信息的定位和顯示虛實融合是增強(qiáng)現(xiàn)實最為關(guān)鍵的組成部分。

三維跟蹤注冊技術(shù)主要分為三種途徑[3]：（1）計算機(jī)視覺上的三維跟蹤注冊技術(shù)；（2）硬件設(shè)備上的三維跟蹤注冊技術(shù)；（3）計算機(jī)和硬件設(shè)備兩種途徑的三維跟蹤注冊技術(shù)?，F(xiàn)在較為流行也比較常見的途徑主要是基于計算機(jī)視覺上的三維跟蹤注冊技術(shù)，其中包括有、無標(biāo)點的跟蹤注冊。而基于計算機(jī)視覺上的三維跟蹤注冊技術(shù)是系統(tǒng)在真實場景的中的視頻圖像序列的每一幀中，并以此來顯示目標(biāo)對象的圖像所在的幀為位置關(guān)系，通過對目標(biāo)對象的圖像所在幀的特征進(jìn)行有特征點檢測、識別匹配與實時場景跟蹤的方法來實時獲取攝像機(jī)與真實場景環(huán)境的位置坐標(biāo)關(guān)系，并以此來更新虛擬三維圖像到真實環(huán)境中目標(biāo)圖像的坐標(biāo)關(guān)系來進(jìn)行實時的轉(zhuǎn)換和渲染，然后進(jìn)行實時的兩者真實和虛擬融合后的圖像，最終實現(xiàn)三維計算機(jī)視覺上的展示“真實”場景。

增強(qiáng)現(xiàn)實系統(tǒng)中的三維跟蹤注冊是需要三維虛擬對象并準(zhǔn)確疊加、融合在現(xiàn)實環(huán)境中的關(guān)鍵性技術(shù)，在這個流程中，增強(qiáng)現(xiàn)實系統(tǒng)通過攝像機(jī)捕獲真實場景真實圖像來獲取真實場景實時的坐標(biāo)信息，三維跟蹤注冊的坐標(biāo)數(shù)據(jù)等信息直接來源于攝像機(jī)鏡頭對圖像信息的捕獲，但如果攝像機(jī)鏡頭的內(nèi)部參數(shù)不準(zhǔn)確，將會造成嚴(yán)重影響三維注冊信息的匹配精度，甚至可能會導(dǎo)致注冊信息獲取的失敗。所以，要進(jìn)行增強(qiáng)現(xiàn)實系統(tǒng)的攝像頭的內(nèi)部和外部參數(shù)的謹(jǐn)慎設(shè)定，以免影響整體的注冊信息的失敗。換而言之，也就是增強(qiáng)系統(tǒng)的三維注冊技術(shù)最重要的部分就是確定內(nèi)部和外部參數(shù)這個過程。

而顯示設(shè)備主要是基于增強(qiáng)現(xiàn)實技術(shù)對南京數(shù)字化明故宮的研究，主要有手持定點觀察式；手持?jǐn)?shù)據(jù)PDA式；可穿戴式HMD式這三種顯示展示方式，穿戴HMD式有兩種視頻圖像表現(xiàn)類型分別是光學(xué)透視式和視頻透視式[4]。

3 南京明故宮數(shù)字復(fù)原增強(qiáng)現(xiàn)實系統(tǒng)

南京明故宮自我國明朝開國皇帝朱元璋在位期間修建的宮殿，前后修建時間約為二十余年，在中世紀(jì)曾被稱為“世界第一宮殿”。古今中外聞名的南京在這塊歷史文化肥沃的土地上，應(yīng)該盛開最厚重的花朵。因此，應(yīng)該把握優(yōu)勢，握得先機(jī)。南京明故宮數(shù)字化復(fù)原該研究，據(jù)調(diào)查現(xiàn)實至今未有真正開發(fā)啟動該項目的實施，一直處于空缺的狀態(tài)。明故宮歷史遺跡至今遺留少之又少，而實體復(fù)原廢力、廢金，略顯不切實際，而基于AR技術(shù)的數(shù)字化南京明故宮復(fù)原既便于保存又可以根據(jù)增強(qiáng)現(xiàn)實的娛樂性特點拉動南京旅游行業(yè)的市場生機(jī)與活力。目前，參觀者只能通過圖片來了解南京明故宮的曾經(jīng)的輝煌歷史歷程。而利用AR技術(shù)，不僅可以再現(xiàn)明故宮的恢宏壯觀，展示中華文明的博大精深，而且可以讓人們更能潛移默化的接觸到時代科技的發(fā)展帶來的變化，是發(fā)展文化旅游產(chǎn)業(yè)的未來的一個趨勢和動力，與廢墟下的石礎(chǔ)相比較而言更能給參觀者帶來深刻視覺上的享受和體驗。基于增強(qiáng)現(xiàn)實技術(shù)對南京數(shù)字化明故宮的研究，主要有三種不同的增強(qiáng)現(xiàn)實的戶外系統(tǒng)： 定點觀察式；手持可移動式；可穿戴頭盔式。

3.1 定點觀察式戶外增強(qiáng)現(xiàn)實系統(tǒng)

定點式觀察式戶外增強(qiáng)現(xiàn)實系統(tǒng)運用在南京明故宮遺址的現(xiàn)場，如在奉天門、謹(jǐn)身殿遺址周圍，定點觀察式戶外增強(qiáng)現(xiàn)實系統(tǒng)的位置是固定的，定點觀察式戶外增強(qiáng)現(xiàn)實系統(tǒng)具有系統(tǒng)穩(wěn)定性能好，易被人群接受，推廣較容易。運用實時的單用戶旋轉(zhuǎn)鏡筒式選定宮殿遺址的部分石礎(chǔ)等遺址上的虛擬三維景物模型，通過鏡頭焦點調(diào)整、光線的亮度調(diào)節(jié)、真實世界和虛擬世界的切換、仿真現(xiàn)場的聲音、視頻進(jìn)行實時現(xiàn)場進(jìn)行融合。

其系統(tǒng)結(jié)構(gòu)主要有三個部分組成，分別是硬件跟蹤注冊設(shè)備、虛擬三維景物數(shù)據(jù)庫、CCD電荷耦合攝像頭、二自由度轉(zhuǎn)向臺、計算機(jī)中轉(zhuǎn)工作站以及光學(xué)系統(tǒng)等。CCD電荷耦合攝像頭和硬件跟蹤注冊設(shè)備處于固定的轉(zhuǎn)向臺上，轉(zhuǎn)向臺可以旋轉(zhuǎn)和俯仰兩個角度。

南京明故宮遺址數(shù)字化復(fù)原定點觀察式AR系統(tǒng)工作流程，首先通過攝像頭的傳感器感應(yīng)捕捉真實場景的圖像和方位信息；然后通過計算機(jī)中轉(zhuǎn)站使真實場景和虛擬三維數(shù)據(jù)庫進(jìn)行疊加和融合匹配關(guān)聯(lián)的圖像信息；最后通過光學(xué)系統(tǒng)原理制作出的LCD觀景臺上觀看最終的視覺明故宮的現(xiàn)代技術(shù)和歷史的完美縫合。

3.2 手持可移動式增強(qiáng)現(xiàn)實系統(tǒng)

手持可移動式增強(qiáng)現(xiàn)實系統(tǒng)，主要是借助移動設(shè)備終端顯示虛擬和真實融合后的增強(qiáng)現(xiàn)實的景象。移動設(shè)備終端主要是指可以進(jìn)行視頻捕捉和識別真實場景的手持PDA、智能手機(jī)等設(shè)備。由于系統(tǒng)涉及到全球跟蹤定位、無線通信、位置的計算和服務(wù)，首先南京明故宮遺址現(xiàn)場要確保參觀人數(shù)足夠的無線速度，以及具有該識別攝像頭功能的智能手機(jī)以此代替CCD電荷耦合攝像頭的功能性能。游客利用現(xiàn)場提供的智能手機(jī)、手持PDA首先對準(zhǔn)的真實場景明故宮的遺址，進(jìn)行圖像獲取和顯示，通過無線傳輸?shù)胶笈_的網(wǎng)絡(luò)服務(wù)器上。然后網(wǎng)絡(luò)服務(wù)器運算運用三維仿真數(shù)據(jù)庫篩選匹配圖像注冊的信息進(jìn)行最終的信息相互縫合和疊加，最后將信息又通過無線傳回游客手持PDA顯示器上。

在獲取三維仿真數(shù)據(jù)庫和真實場景數(shù)據(jù)庫的環(huán)節(jié)上，可以利用時下最熱門的APP下載提供客戶端，將硬件手機(jī)或平板上的攝像功能和軟件的場景識別功能二者相鋪相成最后達(dá)到方便便捷讓游客可以自助篩選每一個遺址（下轉(zhuǎn)第頁）（上接第頁）的看點。APP運用界面設(shè)計可以具有多種功能性，例如在APP運用中可以定時推送、普及明故宮的歷史人文信息即便于游客理解也可以增加游客對增強(qiáng)現(xiàn)實的最終效果的反饋；還可以在運用中將視聽環(huán)節(jié)板塊添加進(jìn)去，使用戶更加貼切真實場景視覺感受。此外可以開發(fā)具有互動性的娛樂性和互動性的游戲增加趣味性能。手持可移動式增強(qiáng)現(xiàn)實系統(tǒng)雖然具有經(jīng)濟(jì)、實惠、方便的優(yōu)點，但也存在著匹配速度延遲等問題，在實踐中仍需要不斷完善和解決。

3.3 可穿戴頭盔式增強(qiáng)現(xiàn)實系統(tǒng)

南京明故宮遺址復(fù)原利用可穿戴頭盔式增強(qiáng)現(xiàn)實系統(tǒng)（Head-mounted displays，簡稱HMD），HMD式增強(qiáng)現(xiàn)實系統(tǒng)，其突出優(yōu)勢主要表現(xiàn)在參觀者可以在遺址任意行走移動。其視覺震撼效果列于三系統(tǒng)之首，原因歸結(jié)于可穿戴式頭盔，將視覺、聽覺的融合與真實場景的感官體驗上更具有完美的虛擬與真實場景的融合視覺效果。其工作原理主要分為視頻透視和光學(xué)透視兩種類型。

視頻透視原理，頭盔顯示器是主要是由CCD電荷耦合攝像頭制作而成，其原理與定點觀察戶外增強(qiáng)現(xiàn)實系統(tǒng)最大的不同之處也就是是否具有移動性，相識之處也就是通過攝像頭進(jìn)行捕捉真實景物的方位信息，進(jìn)行三維跟蹤注冊信息獲取，最后利用計算機(jī)中轉(zhuǎn)站進(jìn)行轉(zhuǎn)換和篩選數(shù)據(jù)在該過程也就是需要的就是所謂的三維虛擬數(shù)據(jù)庫和真實場景的數(shù)據(jù)匹配和融合的過程。而光學(xué)透視可以在利用HMD式系統(tǒng)觀察時可以通過人眼直接觀察真實場景現(xiàn)場。根據(jù)三維注冊信息的投影和渲染后的三維場景，經(jīng)過三維光學(xué)圖形圖像的融合器件與真實場景的光學(xué)路線的融合，左后呈現(xiàn)在用戶的眼前。雖然利用光學(xué)透視式原理，可穿戴頭盔式增強(qiáng)現(xiàn)實系統(tǒng)具有簡單、視覺分辨率較高、視覺誤差下等優(yōu)點，但是制作起來成本高、價格偏高、進(jìn)度要求高、視野也相對較狹窄等美中不足之處。目前，在南京明故宮遺址的復(fù)原上可以在一些建筑結(jié)構(gòu)簡單、比較小的一些場景又具有代表性的遺址進(jìn)行有選擇性的運用該項技術(shù)。

4 結(jié)論和展望

目前，南京明故宮數(shù)字化復(fù)原還處于未被實際實施增強(qiáng)現(xiàn)實開發(fā)方案當(dāng)中，這一缺口有待實際性的項目開發(fā)。增強(qiáng)現(xiàn)實技術(shù)不僅對南京遺產(chǎn)保護(hù)具有不可替代的作用，又對南京當(dāng)?shù)芈糜畏?wù)性行業(yè)具有不可低估的經(jīng)濟(jì)效益，同時展示了中華文化的民族魅力，向整個世界揮舞著中國科學(xué)技術(shù)的進(jìn)步和發(fā)展的旗幟。在未來增強(qiáng)現(xiàn)實系統(tǒng)將會成為文物保護(hù)行業(yè)成為一種發(fā)展趨勢，值得更多的博物館和文物保護(hù)中心借鑒運用。

參考文獻(xiàn)：

[1] 增強(qiáng)現(xiàn)實技術(shù)[DB/OL] .互動百科， http：//baike.baidu.com/

link？url=B-s1uuFOnVDYkokkQ_HYlrgH2z9XdH7YltXjozgMvnLBgAKlYcnj9i41z6svTzbaSNCsSj07UVfhZovdhpOEOK.

[2] 王涌天，鄭偉，劉越，常軍.基于增強(qiáng)現(xiàn)實技術(shù)圓明園現(xiàn)場數(shù)字重建[J].

[3] 施琦，王涌天，陳靖.一種基于視覺的增強(qiáng)現(xiàn)實三維注冊算法[J].中國圖像圖形學(xué)報，2002，7（7）：679-683.

[4] 姚京頻.基于AR技術(shù)的南京明故宮遺址數(shù)字化復(fù)原[J].人間.