基于投影技術(shù)的虛擬文物展示系統(tǒng)①

姜穎道, Joonsung Yoon, 陳德賀, 李顏慧

1(青島黃海學(xué)院 藝術(shù)學(xué)院, 青島 266427)

2(崇實大學(xué) 信息技術(shù)學(xué)院, 首爾 06978)

基于計算機(jī)技術(shù)的數(shù)字媒體技術(shù)的發(fā)展及應(yīng)用加快了數(shù)字博物館研究的進(jìn)展及發(fā)展.尤其是文物的數(shù)字化研究, 采用激光掃描和攝影測量等采集技術(shù), 真實精準(zhǔn)地重建文物的三維模型[1,2].目前, 大部分博物館展覽系統(tǒng)使用帶有頭部跟蹤技術(shù)的立體3D顯示來實現(xiàn)基于雙目視差和運(yùn)動視差的3D效果.但這種展覽方式用戶需佩戴3D眼鏡或頭戴式顯示器(HMD)等特殊護(hù)目鏡, 僅限于用戶小范圍的深度感知, 不能同時支持多個用戶體驗[3].在裸眼3D圖像研究方面, 日本的Yoshida等提出了一種新穎的裸眼桌面3D圖像顯示系統(tǒng).該圖像利用水平視差和視差屏障, 在平板上呈現(xiàn)漂浮的虛擬物體, 滿足了多個用戶在不同角度的觀覽[4].然而, 在清晰度、分辨率和幀速率方面, 視點(diǎn)數(shù)量和圖像質(zhì)量之間存在權(quán)衡, 無法完整展現(xiàn)文物本身的真實感.

在博物館展覽中投影映射技術(shù)是最受歡迎也是最常用的一種投影技術(shù).這種技術(shù)通過預(yù)先制作好的視頻或圖形投射到物體表面上來創(chuàng)造文物的數(shù)字內(nèi)容.通過具有3D形狀的投影面可以獲得自然的隱喻深度,并且通過投影圖像可以動態(tài)地改變目標(biāo)面的外觀[1].基于投影方式的數(shù)字展覽讓多個用戶在不佩戴任何設(shè)備的情況下觀看和與三維虛擬物體進(jìn)行交互, 因此它非常適合博物館的數(shù)字展覽.為了更好地將投影映射技術(shù)應(yīng)用于博物館的數(shù)字展覽, 獲得高質(zhì)量的投影效果,首先需要高度控制的照明環(huán)境.在博物館或展覽館的一般照明條件下, 由于環(huán)境光的影響, 投影圖像的顏色范圍受到限制.其次, 由于其他展品的遮擋, 常常會限制投影面積的范圍、展品的擺放和投影儀的位置.此外, 由于參觀者的不注意, 會進(jìn)入投影區(qū)域, 影響其他參觀者的“沉浸”.最后, 現(xiàn)有的投影展覽方式是物體投影表面是靜態(tài)的, 其投影內(nèi)容是固定的, 無法滿足動態(tài)的展覽風(fēng)格.為了創(chuàng)造更具動態(tài)性和戲劇性的數(shù)字內(nèi)容, 需要提高物理投影面的自由度.

基于上述問題, 本文提出了一種新的三維數(shù)字展示系統(tǒng), 解決了傳統(tǒng)意義上的基于投影展覽系統(tǒng)的局限性: 環(huán)境光的影響、物體遮擋及由靜態(tài)投影面導(dǎo)致的內(nèi)容受限等問題.

1 系統(tǒng)概述

該系統(tǒng)由以下幾個設(shè)備來構(gòu)成——兩個分辨率為1024×768和1400 ANSI流明的數(shù)字光處理(DLP)投影儀(LG mini-beam PF1500), 兩臺可以拍攝2048×1536分辨率的圖像、可達(dá)60 fps的電荷耦合器件的(CCD)攝像機(jī)(東芝TELI BU 302MCF), 物理模型是用硅模塑和石膏澆鑄制成的, 其表面涂有白色漫反射噴霧, 以提供最佳的投影表面.旋轉(zhuǎn)杠由電機(jī)(MDrive NEMA34)和安裝在電機(jī)上的光學(xué)編碼器(YUMO E6B2)組成, 用于精確跟蹤動態(tài)三維投影面的旋轉(zhuǎn)角度.對于半鍍銀鏡子, 需要透明的, 但需要高反射的材料, 以便提供高清晰度的3D全息圖像(見圖1).

圖1 系統(tǒng)原理圖及其原型系統(tǒng)

系統(tǒng)以目標(biāo)物體的3D數(shù)字模型(高質(zhì)量的紋理)為輸入, 表示原始對象的外觀.為了生成精確的幾何透視和具有原始形狀視差的虛擬圖像, 該系統(tǒng)使用了目標(biāo)對象的物理模型并將其固定在旋轉(zhuǎn)缸上, 創(chuàng)建了動態(tài)三維投影面.本系統(tǒng)采用了多投影儀像機(jī)系統(tǒng)的幾何定標(biāo)和光度補(bǔ)償方法對在沒有紋理的模型表面上渲染原始對象的真實圖像外觀.最后, 將運(yùn)動投影面上的投影圖像通過半鍍銀鏡進(jìn)行傳輸, 生成3D全息動圖像(見圖2).

圖2 三維數(shù)字文物展示系統(tǒng)的整體框架圖

2 幾何與輻射定標(biāo)

為了將真實的圖像投影到實際物體上, 而不產(chǎn)生幾何變形和輻射畸變, 采用了多投影儀像機(jī)系統(tǒng)的幾何定標(biāo)和光度補(bǔ)償方法.

2.1 幾何定標(biāo)

幾何定標(biāo)技術(shù)是求取投影像素與投影表面間的映射關(guān)系, 以進(jìn)一步分析系統(tǒng)中的顏色偏差因素, 同時保證投影內(nèi)容正確地顯示于目標(biāo)區(qū)域內(nèi)[2].

為了正確地將3D數(shù)字模型的外觀圖像投射到實際物體上, 并生成精確的投影圖像, 需要準(zhǔn)確地定標(biāo)投影儀相機(jī), 3D數(shù)字模型和物體投影曲面之間的所有幾何關(guān)系.該系統(tǒng)首先采用結(jié)構(gòu)化光學(xué)視覺系統(tǒng)標(biāo)定方法對投影儀像機(jī)進(jìn)行標(biāo)定[3].將灰度編碼結(jié)構(gòu)光投射到具有已知維度的棋盤格上, 并通過配對的攝像機(jī)拍攝被投射的模式.通過解碼拍攝的圖案來估算棋盤格的角點(diǎn)處的對應(yīng)像素, 從而使用這些對應(yīng)關(guān)系來計算投影儀的內(nèi)在參數(shù)和投影儀像機(jī)的外在參數(shù)[4-6].定標(biāo)完成后, 采用主動式三維立體(active stereo 3D)重構(gòu)方法, 通過標(biāo)定后的投影儀相機(jī), 獲得一個靜態(tài)投影面的局部三維點(diǎn)云.在攝像機(jī)坐標(biāo)系中, 為了估算3D數(shù)字模型在虛擬空間中有關(guān)采集點(diǎn)云的初始造型, 采用四點(diǎn)一致性集合(4-Point Congruent Sets, 4PCS)方法[7],估算兩個三維數(shù)據(jù)集之間的粗略初始造型, 并使用迭代最近點(diǎn)(Iterative Closest Point, ICP)算法進(jìn)行細(xì)化[8],計算3D數(shù)字模型與投影面有效對齊的變換矩陣.圖3所示, 通過將給定的三維模型轉(zhuǎn)換為投影儀坐標(biāo)系, 并利用所獲得的定標(biāo)參數(shù)將其映射到投影儀的圖像表面上, 從而在投影儀的視角下渲染出正確的投影圖像, 其中, 圖3(a)為使用棋盤格和結(jié)構(gòu)光模式定標(biāo)投影儀相機(jī)的實驗裝置, 圖3(b)是使用定標(biāo)的投影儀攝像機(jī)獲取投影面的3D點(diǎn)云, 圖3(c)為3D數(shù)字模型和獲取的點(diǎn)云之間的位姿估計結(jié)果, 圖3(d)是在投影儀視角下生成的投影圖像.

圖3 幾何定標(biāo)

2.2 光度補(bǔ)償

當(dāng)應(yīng)用多投影映射來再現(xiàn)精確的外觀時, 由于系統(tǒng)組件的非線性光譜響應(yīng)和多個投影儀的重疊區(qū)域,可能會發(fā)生輻射畸變.為了解決這些問題, 本文采用光度補(bǔ)償方法, 使用色彩混合矩陣, 實現(xiàn)具有真實感和無縫外觀的3D全息圖像.

為了預(yù)測和補(bǔ)償輻射畸變, 本文利用擴(kuò)展顏色混合矩陣(extended color-mixing matrix)來導(dǎo)出3D數(shù)字展示系統(tǒng)的輻射模型[9].這種顏色混合矩陣可以表示多投影儀相機(jī)以及它們與投影表面的相互作用而產(chǎn)生的光譜響應(yīng)的耦合.在這個輻射模型中, 本文只對多投影儀和攝相機(jī)在對應(yīng)的表面點(diǎn)之間模擬了局部光調(diào)制.擴(kuò)展的顏色矩陣由每個顏色混合矩陣的線性組合來確定, 而該線性混合組合捕捉了投影儀和攝像機(jī)之間的光譜響應(yīng)的所有耦合.擴(kuò)展的混色矩陣表示了多臺投影儀和一臺攝像機(jī)的每個顏色通道之間的相互影響,以及它們與3D投影表面和半鍍銀鏡的相互作用[10].例如, 已知一個擴(kuò)展的顏色混合矩陣, 可以預(yù)測從攝像機(jī)視點(diǎn)所看到的多臺投影儀的投影圖像的顏色, 使我們能夠為每個投影儀生成補(bǔ)償圖像, 以補(bǔ)償整個系統(tǒng)的輻射畸變.

為了獲得一個真實展示設(shè)定的擴(kuò)展顏色混合矩陣,本文對多投影儀的投影標(biāo)準(zhǔn)顏色樣本進(jìn)行了色彩失真樣本的測量, 而投影和捕獲的圖像樣本的像素對應(yīng)關(guān)系由多投影儀-相機(jī)系統(tǒng)的幾何定標(biāo)來定義[11].首先,利用來自多投影儀-攝像機(jī)的多個標(biāo)準(zhǔn)輸入顏色樣本及其在用戶視角下的相應(yīng)測量樣本, 計算每個像素的擴(kuò)展顏色混合矩陣.然后, 利用顏色混合矩陣的偽逆矩陣來計算顏色補(bǔ)償矩陣.最后, 使用補(bǔ)償矩陣生成每個像素所需顏色的投影儀補(bǔ)償圖像.

為了驗證由補(bǔ)償投影圖像生成的全息圖像的顏色保真度, 本文生成了一個彩色圖表的浮動圖像, 其中色卡圖像的每個色塊都有參考CIELAB值.使用兩臺投影儀將彩色圖表圖像投影到平面上, 并顯示兩臺投影儀的投影區(qū)域部分重疊, 如圖4(a)所示.本文使用誤差度量CIE 2000DEΔE*00來測量參考圖像和捕獲的浮動圖像之間的色差[12].圖4(d)所示補(bǔ)償結(jié)果的比色誤差為ΔE*00=9.59, 未補(bǔ)償結(jié)果的比色誤差為ΔE*00=14.027, 如圖4(c)所示.從圖4(d), 圖3(c)中的實驗結(jié)果可見, 補(bǔ)償后的結(jié)果很好地再現(xiàn)了原始顏色, 而沒有補(bǔ)償?shù)慕Y(jié)果顯示了更多的誤差.

圖4 光度補(bǔ)償評估

圖5顯示了使用3D投影面創(chuàng)建3D浮動圖像時光度補(bǔ)償效果的實驗結(jié)果.實驗使用一個表面為白色的青瓷作為實體模型, 并使用兩個投影儀將真實物體的高質(zhì)量紋理投射到模型表面上.如圖5(b)所示, 無光度補(bǔ)償?shù)?D浮動圖像在重疊區(qū)域出現(xiàn)顏色不匹配, 因單個投影的圖像被累積, 產(chǎn)生的顏色變得比原始顏色更亮.圖5(c)所示, 由于光度補(bǔ)償, 形成了更真實的圖像.

圖5 光度補(bǔ)償效果的實驗結(jié)果

由于感知深度是由3D投影面產(chǎn)生的, 因此本系統(tǒng)所生成的3D浮動圖像不僅可以提供水平方向的連續(xù)視差, 而且還可以提供垂直方向的連續(xù)視差.多個用戶可以在不戴3D眼鏡的情況下, 可同時觀察到無縫外觀和逼真的3D深度效果.為了驗證該系統(tǒng)的3D深度效果, 本文比較了原始物體的深度圖像和商業(yè)光學(xué)透明顯示設(shè)備全息圖(SMAXscreen SH27042)的全息圖像,對3D全息圖像的深度圖像進(jìn)行了測量并用深度直方圖來表示.深度圖像測量是運(yùn)用SfM (Structure from Motion)方法, 從多個視角所獲得的圖像, 利用Visual-SfM軟件進(jìn)行3D重建[13].如圖6(b)投影3D展示系統(tǒng)生成的3D全息圖像所示, 本文所提出的3D全息圖像的深度直與原始對象的直非常接近, 而相比之下, 圖6(c)商業(yè)光學(xué)透明顯示設(shè)備生成的全息圖浮動圖像所示中全息圖產(chǎn)生的深度直分布在非常窄的范圍內(nèi), 這表明浮動物體幾乎是平坦的.這也證明本文所提出的3D全息圖像能夠很好地表示與原始形狀非常接近的感知深度.

圖6 青瓷模型的三維深度效果比較

如圖7所示, 使用相同的設(shè)置, 青瓷的各種圖案可以通過改變投影紋理來展示.許多不同的紋理圖案可以使用一個設(shè)置來展示, 而不需要任何額外的空間和裝置等.這正是在博物館環(huán)境中使用投影映射技術(shù)的突出優(yōu)點(diǎn)之一.

圖7 青瓷呈現(xiàn)出各種紋理.不同的紋理被投影到同一個3D投影面上

3 展示系統(tǒng)效果測試

目前, 常見的基于投影系統(tǒng)的展示通常設(shè)置在可控環(huán)境當(dāng)中, 也就是展示事物不會受到周圍光線和周圍物的影響.然而, 在真正的博物館文物展示環(huán)境中,因為受到多個文物與文物之間的屬性、形狀、展示方式等原因, 對展示文物的周圍燈光及參觀者參觀空間難免會進(jìn)行取舍.本文所提出的投影顯示系統(tǒng)通過引入一種新的光學(xué)透視顯示設(shè)計.圖8(b)中所示的結(jié)構(gòu)與圖8(a)所示的傳統(tǒng)投影展覽中直接暴露于環(huán)境光的投影面不同, 本文所提出的系統(tǒng)是通過將投影面位置與展覽區(qū)分開, 使投影面安全地位于半鍍銀鏡下, 并將投影圖像通過半鍍銀鏡傳輸, 產(chǎn)生具有三維效果的全息圖像.這樣即能將環(huán)境光的影響降至最低, 同時也很好地防止周圍物影子的遮擋, 從而在真實場景上實現(xiàn)具有真實感的疊加數(shù)字圖像.

圖8 傳統(tǒng)的展覽模式和新的展覽模式

3.1 周圍光線與障礙物影響測試

為了驗證本文所提出的展示系統(tǒng)對周圍環(huán)境光的魯棒性, 我們?yōu)檎箙^(qū)設(shè)置了常用于博物館展示文物的50 lx、150 lx和450 lx的照明條件.表1顯示了使用照度計(測光儀L-478D)在展區(qū)位置和投影表面測量的環(huán)境光強(qiáng)度.在相同的照明條件下, 投影區(qū)的測量強(qiáng)度約為展區(qū)的1/10.因此, 本文所提出的系統(tǒng)在投影面受環(huán)境光的影響是極小的.

表1 投影面和展覽區(qū)的照度測量值 (lx)

圖9所示, 在傳統(tǒng)的基于投影的展覽中, 投影面位于展區(qū)內(nèi), 通常包含許多其他的展覽對象.它需要足夠的環(huán)境光來顯示真實對象, 因此很難為投影貼圖建立適當(dāng)?shù)恼彰?如圖9(b)所示, 如果提供足夠的環(huán)境光來觀察真實物體, 那么投影物體的表面就產(chǎn)生光飽和.投影內(nèi)容也可能由于其他展示對象而發(fā)生遮擋, 從而可能由于遮擋造成的陰影而出現(xiàn)未覆蓋的投影區(qū)域.因此, 傳統(tǒng)的基于投影方式的展覽更傾向于使用有限空間和暗光, 如圖9(a).然而, 本文所提出的顯示方法即使在普通環(huán)境光照和存在“障礙物”的情況下也能提供高質(zhì)量的3D全息圖像.由于該系統(tǒng)能很好地處理環(huán)境光和障礙物的影響, 使博物館環(huán)境下的數(shù)字展覽更具吸引力和沉浸感.如圖9(c)所示, 即使在一般博物館照明條件為450 lx的情況下, 本系統(tǒng)生成的3D全息圖像也能真實地表示虛擬物體的紋理和深度.

圖9 傳統(tǒng)展覽模式與新展覽模式在不同照明條件下的投影結(jié)果

3.2 虛擬對象動態(tài)變化測試

文物數(shù)字展覽的一個主要優(yōu)勢在于它能夠通過提供傳統(tǒng)展覽難以實現(xiàn)的動態(tài)和交互式內(nèi)容來吸引參觀者的注意力.傳統(tǒng)的基于二維顯示的數(shù)字展覽展示的是一個虛擬空間中的虛擬物體.它可以很容易地將其形狀和大小改變?yōu)椴煌男螤詈痛笮?然而, 在基于投影的數(shù)字展覽中, 虛擬物體的形狀取決于物理投影面的形狀, 導(dǎo)致投影內(nèi)容的自由度受到物理投影面的限制.為了提供動態(tài)變化的投影內(nèi)容, 本系統(tǒng)利用了一個機(jī)械移動的投影面和使用基于傳感器跟蹤技術(shù)的實時投影映射.這種移動的投影面可以產(chǎn)生動態(tài)的3D全息圖像來表達(dá)自然的感知深度, 從而提供更具沉浸感的體驗.

如圖10(a)所示, 為了創(chuàng)建佛像動態(tài)表面, 在旋轉(zhuǎn)杠上安裝一個佛像實物模型(三維投影面), 并在旋轉(zhuǎn)杠安裝光電編碼器跟蹤投影面運(yùn)動, 將360°旋轉(zhuǎn)的運(yùn)動分解為脈沖信號.根據(jù)移動佛像投影面, 用旋轉(zhuǎn)矩陣表示測量的旋轉(zhuǎn)z角, 實現(xiàn)3D數(shù)字模型的形態(tài)同步.這種基于傳感器的跟蹤雖然解決了很快地跟蹤運(yùn)動表面, 但仍然存在由于渲染計算時間延遲的問題.為了彌補(bǔ)渲染時間延長的問題, 模擬旋轉(zhuǎn)曲面的運(yùn)動, 預(yù)先計算旋轉(zhuǎn)曲面的形態(tài), 并預(yù)先渲染投影圖像, 實現(xiàn)投影儀的投影圖像與運(yùn)動投影面精確對齊, 無失真, 讓參觀者可以看到3D虛擬對象的360°視圖.圖10(b)-圖10(d)顯示了從不同側(cè)面拍攝的佛像模型的動態(tài)3D全息圖像.

圖10 安裝在旋轉(zhuǎn)杠上的佛像實物模型和從不同角度拍攝的佛像

綜合上述, 本系統(tǒng)比起現(xiàn)有投影展示系統(tǒng)有以下幾方面優(yōu)勢.本系統(tǒng)比起商業(yè)光學(xué)透明顯示設(shè)備生成的全息圖浮動圖像在運(yùn)動視差、空間感知和色彩保真度方面更加符合用戶的感知體驗; 大多數(shù)傳統(tǒng)的基于投影的展覽系統(tǒng)因環(huán)境照明條件和“障礙物”等問題都安裝在一個獨(dú)立的房間, 照明條件較為黑暗的空間當(dāng)中.而本系統(tǒng)即使在普通環(huán)境光照和存在“障礙物”的情況下也能提供高質(zhì)量的3D全息圖像.由于該系統(tǒng)能很好地處理環(huán)境光和障礙物的影響, 使博物館環(huán)境下的數(shù)字展覽更具吸引力和沉浸感; 在基于投影的數(shù)字展覽中, 虛擬物體的形狀取決于物理投影面的形狀, 導(dǎo)致投影內(nèi)容的自由度受到物理投影面的限制.而本系統(tǒng)根據(jù)移動投影面同步三維數(shù)字模型的姿態(tài), 提供動態(tài)變化的投影內(nèi)容, 使投影儀的投影圖像與移動投影面精確對齊, 不失真.

4 研究的局限性

目前, 該系統(tǒng)可以生成高達(dá)30 cm3、具有24 bit RGB顏色、分辨率為每英寸72像素(PPI)的虛擬物體.通過擴(kuò)展一些硬件設(shè)備, 可以相對容易地增加3D全息圖像的大小.但本系統(tǒng)也存在以下幾種局限性:(1)目標(biāo)物體的形狀非常復(fù)雜, 包括具有自身遮擋和銳利的凹形區(qū)域, 則投影圖像無法正確覆蓋整個投影表面; (2)虛擬物體的顏色范圍被限制在投影儀的色域和黑色級別內(nèi).因此, 某些用于光度補(bǔ)償?shù)念伾隽送队皟x的色域范圍, 則無法準(zhǔn)確再現(xiàn); (3)旋轉(zhuǎn)臺可以將投影面旋轉(zhuǎn)到180 °/s, 因此在不干擾用戶沉浸感的情況下, 可以非?？焖?、順利地完成視點(diǎn)的更改或虛擬對象的切換.然而, 在當(dāng)前系統(tǒng)中, 不能同時顯示多個對象并旋轉(zhuǎn)其中的每個對象, 因為當(dāng)前系統(tǒng)只能支持一個優(yōu)選的旋轉(zhuǎn)軸.

5 總結(jié)

本文提出了一種能夠顯示具有真實感3D圖像的新型數(shù)字投影展示系統(tǒng).該系統(tǒng)中多投影相機(jī)系統(tǒng)的幾何校正使該系統(tǒng)能夠正確地將物體的紋理圖像投影到動態(tài)實物模型表面上, 而不會產(chǎn)生幾何畸變.利用擴(kuò)展顏色混合矩陣建立了一個整體光譜響應(yīng)的輻射模型,為每個投影儀生成補(bǔ)償圖像, 補(bǔ)償整個系統(tǒng)的輻射失真.同時, 為了解決一般博物館環(huán)境中環(huán)境光的影響和“障礙物”的存在對投影展覽的限制, 把光學(xué)透明顯示引入到該系統(tǒng)中進(jìn)行了測試.

測試結(jié)果表明在不同光照條件下, 本系統(tǒng)投影面受極小的環(huán)境光影響, 具有較強(qiáng)的魯棒性.為了改變被動展覽模式, 本系統(tǒng)還利用了機(jī)械旋轉(zhuǎn)杠使文物實物模型具有動態(tài)投影面和使用傳感器跟蹤技術(shù), 展示了具有紋理和形狀變化的文物.