一種融合交互投影技術(shù)的沉浸式虛擬展示應(yīng)用

鄧戀

（北京郵電大學(xué)數(shù)字媒體與設(shè)計藝術(shù)學(xué)院，北京100876）

為滿足公眾對沉浸式虛擬展示心靈沉浸體驗，解決已有沉浸式虛擬展示交互性差、沉浸感低的問題，本文提出一種融合交互投影的沉浸式虛擬展示技術(shù)，從而創(chuàng)建一個具有互動性、趣味性和參與性的展示環(huán)境，實現(xiàn)展示內(nèi)容與參觀者的現(xiàn)場互動體驗，提高展示體驗的交互性、沉浸感，給參觀者帶來心靈沉浸體驗，為沉浸式虛擬展示奠定基礎(chǔ)。

1 融合交互投影的沉浸式虛擬展示技術(shù)概述

本文提出的融合交互投影的沉浸式虛擬展示技術(shù)以投影技術(shù)、人機交互技術(shù)為基礎(chǔ)，在展示設(shè)計需求的推動下，以現(xiàn)實物體為投影介質(zhì)，實現(xiàn)融合投影及人機交互，提高展示的沉浸感及交互性，輔助展示設(shè)計的完成。其中，投影技術(shù)利用幾何校正、邊緣融合等算法將待投影圖像進行處理，通過多投影儀將二維圖像無縫平滑、無畸變地投影到投影表面上，實現(xiàn)融合效果；人機交互技術(shù)借助Kinect 獲取人體骨骼框架及節(jié)點坐標(biāo)，由節(jié)點坐標(biāo)計算動作特征關(guān)節(jié)角度，定義具有動作角度閾值及持續(xù)時間的姿勢模板，再運用姿勢匹配算法進行動作識別，在展示設(shè)計需求的推動下，改變投影內(nèi)容，實現(xiàn)場景交互。融合交互投影的沉浸式虛擬展示技術(shù)基本實現(xiàn)流程如圖1 所示。

圖1 融合交互投影的沉浸式虛擬展示技術(shù)流程

2 融合交互投影的沉浸式虛擬展示技術(shù)實現(xiàn)

2.1 投影技術(shù)

投影技術(shù)解決的兩個關(guān)鍵問題是投影畸變及亮度突變。投影畸變主要由于投影儀斜對投影表面，未能實現(xiàn)垂直投射。如圖2 左所示，此時投影儀垂直投射于墻壁接縫處，相對于兩邊墻面傾斜，產(chǎn)生投影畸變。亮度突變是由于多個投影儀重疊投射的投影區(qū)域處照亮的像素較多而產(chǎn)生的現(xiàn)象。如圖2 右所示，兩個投影儀重疊投射區(qū)域亮度明顯高于單個投影儀作用的區(qū)域亮度，產(chǎn)生白色亮條。為解決以上兩個問題，本文采用幾何校正及邊緣融合算法，得到具有無畸變的平滑投影畫面。

圖2 投影畸變及亮度突變

2.1.1 幾何校正

幾何校正的目的是預(yù)處理待投影畸變圖像，將發(fā)生畸變的投影點映射到正確的位置，形成無畸變的投影畫面。本文將投影表面分為兩類：投影平面及復(fù)雜投影表面。對于投影平面，本文采用基于單應(yīng)性矩陣的幾何校正方法，求得待投影圖像與投影平面的映射關(guān)系，實現(xiàn)幾何校正。對于復(fù)雜投影表面，本文首先將投影表面及待投影圖像根據(jù)畸變特征點進行區(qū)域劃分，形成子平面的集合，然后對各個子區(qū)間使用基于單應(yīng)性矩陣的幾何校正方法預(yù)處理待投影圖像，消除畸變。下文將對基于單應(yīng)性矩陣的幾何校正方法及區(qū)域劃分進行介紹。

2.1.1.1 基于單應(yīng)性矩陣的幾何校正

單應(yīng)性矩陣是一個3*3 的矩陣，用于描述兩個平面之間的映射關(guān)系[1]。設(shè)待投影圖像中有一點P，坐標(biāo)為(x,y)，投影表面對應(yīng)點坐標(biāo)為(X,Y)，待投影圖像和投影表面間的單應(yīng)性矩陣為H，則兩面之間的變換關(guān)系可以表示為：

為了保證H 的唯一性，令其最后一項為1，此時H 為具有八個自由度的單應(yīng)性矩陣。為了求得H，至少需要四組待投影圖像和投影表面的點對信息。本文將棋盤格角點作為特征點，向投影表面投射黑白棋盤格圖像，使用角點檢測法獲取角點信息，選取棋盤格圖像第一個角點、第r 個角點、第r(c-1)+1 個角點及第rc 個角點作為所需點對，其中r 為棋盤格角點行數(shù)、c 為棋盤格角點列數(shù)。然后將H-1左乘待投影圖像，實現(xiàn)幾何校正。

2.1.1.2 區(qū)域劃分

本文將投影表面局部區(qū)域形態(tài)發(fā)生明顯變化的邊界點作為畸變特征點，以劃分各個子區(qū)域。為了便于獲得畸變特征點位置，將棋盤格圖像作為待投影圖像對投影表面進行投射，并盡量使棋盤格角點與投影表面形態(tài)發(fā)生明顯變化的邊界對齊。如圖3 左所示，投影圖像以BC 作為邊界點，在BC 連線兩側(cè)發(fā)生明顯形變。則B 點、C 點為所求畸變特征點，投影表面劃分為ABCD 及BCEF 兩個子區(qū)域，對應(yīng)待投影圖像劃分如圖3 右不同顏色面積區(qū)域所示。

圖3 非曲面復(fù)雜投影表面區(qū)域劃分

以待投影圖像左上角為坐標(biāo)原點，建立uv 坐標(biāo)系，則待投影圖像區(qū)域劃分公式表示為：

其中u 表示劃分區(qū)域起始點像素在u 軸上的值，v 表示劃分區(qū)域起始點像素在v 軸上的值，w 表示劃分區(qū)域?qū)挾?，h 表示劃分區(qū)域高度。

2.1.2 邊緣融合

經(jīng)過幾何校正的圖像在重疊投影時，由于重疊區(qū)域亮度疊加，形成具有白色亮條接縫的亮度突變現(xiàn)象。為了解決該問題，本文使用邊緣融合方法，將各個待投影圖像重疊區(qū)域像素點亮度值乘以一個衰減系數(shù)，使得投影畫面在重疊區(qū)域進行亮度疊加后的效果和單投影儀作用效果相同。

邊緣融合函數(shù)表示為：

其中，f(x)作為右側(cè)投影重疊區(qū)域的融合函數(shù)，1-f(x)作為左側(cè)投影融合區(qū)域的融合函數(shù)。將左右兩個待投影圖像重疊區(qū)域利用融合函數(shù)進行亮度衰減后，得到亮度一致的投影畫面。

2.2 人機交互技術(shù)

人機交互技術(shù)借助Kinect 設(shè)備實現(xiàn)，主要由骨骼框架及關(guān)節(jié)點坐標(biāo)獲取、特征角度計算、姿勢匹配和動作識別等幾個部分組成。首先，通過Kinect 獲取人體骨骼框架并計算骨架關(guān)節(jié)點的空間坐標(biāo)；然后，利用關(guān)節(jié)點坐標(biāo)計算特征角度；最后定義具有動作角度特征及持續(xù)時間的姿勢模板，將當(dāng)前動作角度及動作時間與姿勢模板進行匹配，從而實現(xiàn)動作識別。

2.2.1 骨骼框架及關(guān)節(jié)點坐標(biāo)獲取

Kinect 骨骼框架識別及關(guān)節(jié)點坐標(biāo)獲取以景深數(shù)據(jù)為基礎(chǔ)[3]。首先，由Kinect 投射紅外光譜，通過空間中紅外光譜的反饋，計算待標(biāo)定人體深度值，形成具有景深數(shù)據(jù)的深度圖；然后，從深度圖中識別出“人體”目標(biāo)區(qū)域；最后，從深度圖像目標(biāo)區(qū)域中逐像素點掃描，判斷人體骨骼位置，形成人體骨骼框架并得到各個關(guān)節(jié)的坐標(biāo)[4-5]。

2.2.2 特征角度計算

本文利用角度特征[5,6]作為姿勢判斷依據(jù)。以抬起右手為例，設(shè)腕節(jié)點與肘節(jié)點形成的骨骼向量為Vi，肘節(jié)點和肩節(jié)點形成的骨骼向量為Vj，則兩個骨骼向量的夾角表示如下：

當(dāng)設(shè)定姿勢模板后，在進行姿勢匹配及動作識別時，首先判斷當(dāng)前動作角度是否在規(guī)定的角度閾值范圍內(nèi)，然后判斷動作是否在持續(xù)時間內(nèi)完成，若條件全部滿足，則姿勢匹配成功；若當(dāng)前動作角度不在規(guī)定角度閾值范圍內(nèi)或在規(guī)定持續(xù)時間內(nèi)動作還未完成，則匹配失敗，需重新開始匹配[7]。匹配成功后即可通過肢體動作控制投影展示內(nèi)容，實現(xiàn)場景互動。

2.3 交互投影技術(shù)與沉浸式虛擬展示的融合

沉浸式虛擬展示設(shè)計包含展示設(shè)計與用戶沉浸體驗設(shè)計兩個部分，展示設(shè)計是指依據(jù)具體展示主題要求進行設(shè)計，以符合展示主題傳播與使用的需要；用戶沉浸體驗設(shè)計是指通過外在感官與內(nèi)在交互內(nèi)容的沉浸式設(shè)計，提高用戶的沉浸體驗[8]。因此，交互投影技術(shù)與沉浸式虛擬展示的融合準則為按照展示設(shè)計需求，實現(xiàn)展示主題表達及沉浸體驗。交互投影技術(shù)與沉浸式虛擬展示融合模型如圖4 所示。

圖4 交互投影技術(shù)與沉浸式虛擬展示融合模型

展示設(shè)計按照展示主題進行設(shè)計，一方面需要考慮展示內(nèi)容以表達主題思想，另一方面需要考慮展示方法，以呈現(xiàn)及推動展示主題發(fā)展。融合交互投影技術(shù)的沉浸式虛擬展示，選擇交互投影的展示方法，將展示內(nèi)容用投影畫面的形式呈現(xiàn)給觀眾，結(jié)合展示主題發(fā)展的需要引導(dǎo)觀眾與展示內(nèi)容交互，通過投影內(nèi)容的改變推進展示主題發(fā)展，達到主題傳播目的。

沉浸體驗是生理與認知共同作用達到的全身心投入的狀態(tài)[8]。生理沉浸來源于生理感受，如嗅覺、視覺、觸覺等。認知沉浸[8]來自于用戶在內(nèi)容的認知中自我意識與內(nèi)容達到完美融合，從而進入一種全身心思考的狀態(tài)。交互投影技術(shù)將二維投影圖像投影在真實物體上，實現(xiàn)融合效果，具有逼真的畫面，讓用戶從生理上達到沉浸體驗。同時，通過自然的肢體動作實現(xiàn)與場景的交互融合，達到認知沉浸效果。

3 一種融合交互投影的沉浸式虛擬展示技術(shù)應(yīng)用

本文將融合交互投影的沉浸式虛擬展示技術(shù)運用于大屏幕投影墻、洞穴式展示空間及三維瓷瓶等方面進行展示設(shè)計。

圖5 以敦煌藝術(shù)為展示主題，利用融合交互投影的沉浸式虛擬展示技術(shù)將反彈琵琶虛擬舞蹈呈現(xiàn)在平面投影墻。

圖6 以龜茲樂舞為展示主題，利用融合交互投影的沉浸式虛擬展示技術(shù)將虛擬龜茲樂舞展廳投射在洞穴式展示空間，形成沉浸式投影環(huán)境。同時將用戶右手模擬為鼠標(biāo)，通過Kinect進行追蹤，當(dāng)右手移動到可觸發(fā)展示物上方時，通過握拳姿勢實現(xiàn)對展示物的介紹。

圖7 以瓷器文化為展示主題，利用融合交互投影的沉浸式虛擬展示技術(shù)將瓷器二維投影圖像投射在瓷瓶表面，實現(xiàn)投影融合，達到生理沉浸效果。并通過Kinect 捕獲觀眾肢體行為，實現(xiàn)瓷瓶紋樣的切換、語音介紹功能，這種展示設(shè)計模式即能表現(xiàn)展示主題，又能引發(fā)觀眾思考，實現(xiàn)認知沉浸。

圖5 融合交互投影的敦煌藝術(shù)沉浸式虛擬展示

圖6 融合交互投影的龜茲樂舞沉浸式展示

圖7 融合交互投影的瓷器文化沉浸式虛擬展示

4 結(jié)論

本文為滿足公眾對沉浸式虛擬展示的沉浸式體驗要求，提高展示的交互性及沉浸感，提出一種融合交互投影的沉浸式虛擬展示技術(shù)，在展示設(shè)計需求的推動下，將二維投影圖像與投影表面融合，利用肢體行為控制投影畫面，產(chǎn)生場景交互，實現(xiàn)具有生理沉浸、認知沉浸的交互性沉浸式虛擬展示。交互投影技術(shù)在沉浸式虛擬展示中的使用有利于解決展示物品不便移動、不宜曝光等問題，在文物保護及文化傳承方面有一定的作用。

致謝：本篇論文得到了北京郵電大學(xué)世紀學(xué)院移動媒體與文化計算北京市重點實驗室大力支持，為論文提供了反彈琵琶視頻及龜茲樂舞展廳素材資源，非常感謝！