基于游戲引擎的柱面主動(dòng)立體多投影顯示系統(tǒng)

沈劍鋒, 姜忠鼎

(復(fù)旦大學(xué) 上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室， 上海 201203)

?

基于游戲引擎的柱面主動(dòng)立體多投影顯示系統(tǒng)

沈劍鋒, 姜忠鼎

(復(fù)旦大學(xué) 上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室， 上海 201203)

為了使面向柱面的主動(dòng)立體多投影顯示系統(tǒng)能夠覆蓋用戶更多的視野空間，營造強(qiáng)烈的沉浸感，為人們帶來震撼的視覺體驗(yàn)。游戲引擎是互動(dòng)圖形應(yīng)用的集成化開發(fā)工具，能夠提高多投影顯示系統(tǒng)的開發(fā)效率，降低系統(tǒng)復(fù)雜度。然而，現(xiàn)有基于游戲引擎只支持主動(dòng)立體顯示的圖形系統(tǒng)中間件，不支持柱面多投影顯示系統(tǒng)。因此，基于游戲引擎，整合了多投影校正技術(shù)、柱面全方位立體影像生成技術(shù)以及主動(dòng)立體顯示技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了面向柱面的主動(dòng)立體多投影顯示系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)具有良好的顯示效果。

柱面顯示； 立體成像； 多投影校正； 游戲引擎

0 引言

隨著圖形技術(shù)和顯示技術(shù)的快速發(fā)展，人們對(duì)顯示系統(tǒng)要求越來越高。多投影顯示系統(tǒng)以其尺寸大、分辨率高、支持多人同時(shí)觀看等特點(diǎn)，在教育、娛樂、仿真、虛擬現(xiàn)實(shí)以及數(shù)據(jù)可視化等領(lǐng)域有著越來越廣泛的應(yīng)用。多投影顯示系統(tǒng)的顯示表面可能有多種形狀，其中面向柱面的多投影顯示系統(tǒng)能夠覆蓋用戶更多的視野空間，結(jié)合柱面立體影像生成技術(shù)和主動(dòng)立體顯示技術(shù)為用戶提供強(qiáng)烈的沉浸感。

游戲引擎是互動(dòng)圖形應(yīng)用的集成化開發(fā)工具，提供了高性能的基礎(chǔ)系統(tǒng)、豐富的功能和高效的開發(fā)流程。基于游戲引擎開發(fā)多投影顯示系統(tǒng)，能夠提高開發(fā)效率，簡化系統(tǒng)復(fù)雜度。Unity[1]和Unreal[2]是目前主流的商業(yè)游戲引擎，功能強(qiáng)大，且具有很好的擴(kuò)展性。

基于游戲引擎開發(fā)面向柱面的主動(dòng)立體多投影顯示系統(tǒng)具有重要意義，開發(fā)此類系統(tǒng)涉及的技術(shù)點(diǎn)包括多投影校正技術(shù)，立體影像生成技術(shù)和主動(dòng)立體顯示技術(shù)等。然而，現(xiàn)有基于游戲引擎且支持主動(dòng)立體顯示的圖形系統(tǒng)中間件不支持柱面顯示表面。MiddleVR for Unity[3]是基于Unity引擎的圖形系統(tǒng)中間件，提供簡單易用的接口幫助開發(fā)者進(jìn)行虛擬現(xiàn)實(shí)應(yīng)用的創(chuàng)作。MiddleVR能夠生成平面立體影像并進(jìn)行主動(dòng)立體顯示。然而，MiddleVR不支持帶有重疊區(qū)的多投影拼接融合，因而無法直接運(yùn)行在柱面多投影系統(tǒng)中。MiddleVR可以借助桌面融合技術(shù)在柱面多投影系統(tǒng)中運(yùn)行，但必須依賴于專業(yè)顯卡。此外，MiddleVR不能生成柱面全方位立體影像，應(yīng)用范圍有限。CaveUDK[4]是針對(duì)Unreal游戲引擎的虛擬現(xiàn)實(shí)框架，支持用戶頭部跟蹤和多種交互設(shè)備，但僅用于開發(fā)CAVE系統(tǒng)。本文基于Unity游戲引擎，整合了柱面多投影校正技術(shù)、柱面全方位立體影像生成技術(shù)和主動(dòng)立體顯示技術(shù)，設(shè)計(jì)實(shí)現(xiàn)了面向柱面的主動(dòng)立體多投影顯示系統(tǒng)，并通過實(shí)驗(yàn)驗(yàn)證了系統(tǒng)的顯示效果。相比MiddleVR，本文系統(tǒng)支持帶有重疊區(qū)的柱面多投影校正，不依賴專業(yè)顯卡和桌面融合技術(shù)，能夠生成柱面全方位立體影像，同時(shí)提供主動(dòng)立體和紅藍(lán)立體輸出，便于調(diào)試。

1 系統(tǒng)架構(gòu)

基于游戲引擎的柱面主動(dòng)立體多投影顯示系統(tǒng)整體架構(gòu)如圖1所示。

圖1 基于游戲引擎的柱面主動(dòng)立體多投影顯示系統(tǒng)架構(gòu)

本系統(tǒng)主要分為兩個(gè)子系統(tǒng)，分別是柱面多投影校正系統(tǒng)和面向柱面顯示表面的三維圖形應(yīng)用。

柱面多投影校正系統(tǒng)：柱面投影校正系統(tǒng)在離線階段進(jìn)行柱面多投影校正，使所有投影機(jī)的輸出畫面對(duì)齊，且重疊區(qū)過渡平滑，所有投影畫面共同顯示一幅完整的柱面影像。系統(tǒng)以文件形式輸出投影校正數(shù)據(jù)。本文使用文獻(xiàn)[5]中基于交互式網(wǎng)格編輯的多投影校正技術(shù)。

面向柱面顯示表面的三維圖形應(yīng)用：面向柱面顯示表面的三維圖形應(yīng)用是柱面多投影顯示系統(tǒng)中實(shí)時(shí)運(yùn)行的程序，基于Unity引擎開發(fā)，主要包含如下5個(gè)部分：

1) 虛擬場景：虛擬場景是系統(tǒng)的基本組成部分，虛擬場景內(nèi)容根據(jù)應(yīng)用的具體需求進(jìn)行開發(fā)。本文系統(tǒng)的虛擬場景是一個(gè)射擊類游戲場景。

2) 集群同步模塊：集群同步模塊負(fù)責(zé)在多個(gè)節(jié)點(diǎn)之間逐幀同步虛擬場景中的游戲?qū)ο蠛蚒I，并確保各節(jié)點(diǎn)同步刷新畫面。本文直接使用文獻(xiàn)[6-8]中基于Master-Slave架構(gòu)的集群同步技術(shù)。

3) 柱面立體影像生成模塊：該模塊使用基于多視點(diǎn)的全方位柱面立體影像生成方法[9-10]為虛擬場景實(shí)時(shí)生成柱面立體影像。

4) 幾何與顏色校正模塊：該模塊負(fù)責(zé)在程序啟動(dòng)時(shí)讀取投影校正數(shù)據(jù)，并在運(yùn)行時(shí)根據(jù)投影校正數(shù)據(jù)對(duì)生成好的柱面立體影像進(jìn)行幾何與顏色校正。

5) 主動(dòng)立體顯示插件：該插件以主動(dòng)立體的方式將校正后的畫面輸出到每臺(tái)投影機(jī)，并通過硬件同步技術(shù)解決集群中多節(jié)點(diǎn)之間左右眼畫面不同步的問題。

下文中，我們介紹多投影校正系統(tǒng)，柱面立體影像生成模塊以及主動(dòng)立體顯示插件。

2 柱面多投影校正系統(tǒng)

本文采用基于交互式網(wǎng)格編輯的多投影校正方法。該方法為每臺(tái)投影機(jī)創(chuàng)建一張變形網(wǎng)格，通過手工編輯的方式使各個(gè)投影機(jī)的網(wǎng)格對(duì)齊后均勻分布在投影幕上，如圖 2所示。

圖2 投影幾何校正示意圖

接著，根據(jù)網(wǎng)格重疊關(guān)系計(jì)算投影畫面的亮度衰減，使畫面重疊區(qū)平滑過渡。系統(tǒng)最終為每臺(tái)投影機(jī)生成一張變形網(wǎng)格和一張用于保存亮度衰減值的Alpha貼圖。面向柱面顯示表面的三維圖形應(yīng)用在啟動(dòng)時(shí)讀取這些校正數(shù)據(jù)，并在運(yùn)行中實(shí)時(shí)對(duì)柱面立體影像進(jìn)行校正輸出，如圖 3所示。

圖3 程序內(nèi)幾何與顏色校正示意圖

3 柱面立體影像生成模塊

人們在觀察柱面時(shí)，需要通過不斷旋轉(zhuǎn)觀察角度來觀察柱面的不同區(qū)域。Peleg等人提出的多視點(diǎn)全方位立體影像生成方法模擬了這一過程，令立體相機(jī)在柱面中央進(jìn)行多次旋轉(zhuǎn)，從不同的視點(diǎn)分別拍攝不同的柱面區(qū)域，并將生成的一系列平面立體影像拼接為柱面立體影像。

本文基于上述方法，在三維立體應(yīng)用中為虛擬場景生成柱面立體影像。我們依據(jù)柱面投影幕的形狀大小，在虛擬場景中生成一個(gè)柱面成像表面。接著，將柱面剖分為若干片段，針對(duì)每個(gè)柱面片段在拍攝環(huán)上生成一對(duì)左右眼透視相機(jī)，如圖 4所示。

圖4 柱面剖分及立體相機(jī)示意圖

120度柱面被剖分為8個(gè)片段，從拍攝環(huán)出發(fā)的實(shí)線和虛線分別表示左眼相機(jī)和右眼相機(jī)的水平視域。

柱面立體影像實(shí)際為一張左眼柱面影像和一張右眼柱面影像。生成左右眼柱面影像時(shí)，我們首先將所有左右眼相機(jī)捕捉的矩形畫面直接拼接為左右眼原始影像，然后通過柱面重映射的方法，找到左右眼柱面影像每個(gè)像素點(diǎn)在左右眼原始影像中對(duì)應(yīng)的紋理坐標(biāo)，采樣出顏色，并填充到左右眼柱面影像中，如圖 5所示。

圖5 全方位柱面立體影像生成過程示意圖

上述映射關(guān)系可以用查找表(Lookup Table)來保存，查找表本質(zhì)為一張紋理，大小和左右眼柱面影像相同，二者像素點(diǎn)一一對(duì)應(yīng)。查找表的每個(gè)像素保存的不是顏色信息，而是左右眼柱面影像中每個(gè)像素在左右眼原始影像中對(duì)應(yīng)的紋理坐標(biāo)。這種映射關(guān)系在運(yùn)行時(shí)保持不變，因此我們可以在初始化階段預(yù)計(jì)算得到查找表，并在運(yùn)行時(shí)根據(jù)查找表快速生成柱面立體影像。

由于相機(jī)使用斜投影方式且相鄰相機(jī)的位置存在差異，上述方法生成的左右眼柱面影像在柱面剖分位置會(huì)存在折痕。對(duì)此，我們在剖分柱面時(shí)令相鄰相機(jī)的水平視域產(chǎn)生重疊，如圖 6所示。

圖6 帶重疊區(qū)的柱面剖分及立體相機(jī)示意圖

接著，在柱面重映射過程中，對(duì)于重疊區(qū)內(nèi)的點(diǎn)，我們從重疊區(qū)對(duì)應(yīng)的兩個(gè)相機(jī)拍攝片段中采樣出顏色進(jìn)行融合，融合所需的權(quán)重值根據(jù)該點(diǎn)到重疊區(qū)兩側(cè)的距離進(jìn)行計(jì)算，越靠近的片段權(quán)重值越高。這種使重疊區(qū)漸變過渡的方法能削弱甚至消除折痕。這里的權(quán)重值也可以在初始化階段算好，并寫入查找表。查找表使用4通道浮點(diǎn)數(shù)紋理，其中R和G通道保存紋理坐標(biāo)，B通道保存權(quán)重值，A通道暫不使用。由于重疊區(qū)的存在，左眼和右眼柱面影像都需要兩張查找表，查找表的使用方式，如圖 7所示。

圖7

為立體影像生成查找表的過程包含大量浮點(diǎn)數(shù)坐標(biāo)計(jì)算，CPU算法耗時(shí)較長，會(huì)導(dǎo)致程序啟動(dòng)緩慢。本文系統(tǒng)基于可編程圖形渲染管線，在著色器中進(jìn)行柱面重映射和顏色權(quán)重計(jì)算，利用顯卡的浮點(diǎn)計(jì)算能力和并行計(jì)算能力，大幅縮短了查找表的生成時(shí)間。

3 面向游戲引擎的主動(dòng)立體顯示技術(shù)

立體顯示技術(shù)通過模擬人類左右眼視差產(chǎn)生立體感，常見的立體顯示技術(shù)包括紅藍(lán)立體，偏振立體和主動(dòng)立體等。紅藍(lán)立體顯示會(huì)產(chǎn)生色差，影響觀看體驗(yàn)。偏振立體使用兩組投影機(jī)分別顯示左右眼畫面，需要特制的投影幕，成本較高。主動(dòng)立體技術(shù)則能避免上述問題。

主動(dòng)立體顯示技術(shù)本身比較簡單，只需在渲染階段將左右眼畫面分別渲染到左右眼后臺(tái)緩沖區(qū)即可。然而，Unity引擎沒有提供主動(dòng)立體顯示功能，由于引擎未開源，我們也無法修改其窗口管理和渲染系統(tǒng)的代碼。因此，我們采用變通方法，利用插件技術(shù)實(shí)現(xiàn)主動(dòng)立體顯示。

主動(dòng)立體顯示技術(shù)通常使用OpenGL圖形庫中與QuadBuffer有關(guān)的函數(shù)，因此Unity程序需使用OpenGL內(nèi)核。在應(yīng)用初始化階段，主動(dòng)立體插件首先創(chuàng)建立體模式的OpenGL窗口，并通過wglShareLists函數(shù)得到Unity渲染系統(tǒng)的OpenGL上下文使用權(quán)限。接著，Unity程序會(huì)創(chuàng)建兩張RenderTexture用于渲染每幀的左右眼畫面，我們通過GetNativeTexturePtr函數(shù)獲取RenderTexture在OpenGL系統(tǒng)中的紋理ID，并將該ID告知主動(dòng)立體插件。在渲染階段，主動(dòng)立體插件通過紋理ID獲取每幀的左右眼畫面，將其渲染到立體窗口的后臺(tái)緩沖區(qū)，最后通過wglSwapLayerBuffers函數(shù)輸出畫面。這樣，我們就借用插件創(chuàng)建的窗口輸出了主動(dòng)立體游戲畫面，整體流程如圖 8所示。

為了便于調(diào)試，我們還可以通過配置文件讓插件輸出紅藍(lán)立體畫面。

由于集群系統(tǒng)存在網(wǎng)絡(luò)延遲和硬件差異，單純的軟件同步技術(shù)無法保證所有節(jié)點(diǎn)交換前后臺(tái)換緩沖區(qū)的時(shí)間嚴(yán)格一致，此外，各個(gè)節(jié)點(diǎn)顯卡自動(dòng)切換左右眼畫面的時(shí)間也存在差異，這些問題可以用硬件同步技術(shù)來解決。硬件方面，我們?yōu)榧褐忻總€(gè)節(jié)點(diǎn)安裝一塊硬件同步卡，同步卡與顯卡相連，不同節(jié)點(diǎn)的同步卡使用RJ45網(wǎng)線串聯(lián)。軟件方面，我們只需在插件初始化階段，以立體窗口的設(shè)備上下文為參數(shù)，調(diào)用OpenGL擴(kuò)展庫中的wglJoinSwapGroupNV和wglBindSwapBarrierNV函數(shù)，即可開啟硬件同步。

圖8 通過插件在Unity引擎中實(shí)現(xiàn)主動(dòng)立體顯示的流程圖

4 實(shí)驗(yàn)結(jié)果

4.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)環(huán)境，如圖 9所示。

圖9 實(shí)驗(yàn)測試環(huán)境示意圖

主機(jī)A與主機(jī)B接入同一局域網(wǎng)，主機(jī)A連接兩臺(tái)投影機(jī)，主機(jī)B連接一臺(tái)投影機(jī)。3臺(tái)投影機(jī)投射在半徑4米，高2.6米，120度張角的柱面投影幕上。

系統(tǒng)硬件配置如下：主機(jī)A配備Intel Core i7-4970處理器，16GB內(nèi)存。主機(jī)B配備Intel Core i5-2320處理器，8GB內(nèi)存。主機(jī)A和主機(jī)B均配備了NVIDIA Quadro K4200顯卡和Quadro Sync同步卡。3臺(tái)投影機(jī)均為麗訊標(biāo)清投影機(jī)，支持主動(dòng)立體顯示。網(wǎng)絡(luò)環(huán)境為百兆局域網(wǎng)。系統(tǒng)的開發(fā)和運(yùn)行環(huán)境為Microsoft Windows 7-64bit操作系統(tǒng)，Unity 5.4.5以及Microsoft Visual Studio 2015。

4.2 實(shí)驗(yàn)結(jié)果

本節(jié)從柱面多投影校正系統(tǒng)，柱面立體影像生成模塊，主動(dòng)立體顯示插件三方面進(jìn)行實(shí)驗(yàn)。

(1) 柱面多投影校正系統(tǒng)

本文使用交互式網(wǎng)格編輯的方式對(duì)柱面多投影系統(tǒng)進(jìn)行校正，幾何與顏色校正前后的投影網(wǎng)格，以及圖片顯示效果，如圖 10所示。

(a)幾何校正前的投影網(wǎng)格(b)幾何校正后的投影網(wǎng)格

(c)幾何與顏色校正前的圖片顯示效果(d)幾何與顏色校正后的圖片顯示效果

圖10 幾何與顏色校前后效果對(duì)比

(2) 柱面立體影像生成模塊

我們在系統(tǒng)中使用120度的柱面成像表面，剖分為8個(gè)片段，片段重疊角為5度。左右眼相機(jī)拼接出的原始影像，圖 11所示。左右眼相機(jī)使用的查找表，如圖 12所示。根據(jù)查找表生成的左右眼柱面影像，如圖 13所示。合成出的柱面紅藍(lán)立體影像，如圖 14所示。

我們實(shí)現(xiàn)了柱面立體影像查找表(Lookup Table)生成方法的CPU算法和GPU算法，并通過實(shí)驗(yàn)對(duì)比二者的性能。我們統(tǒng)計(jì)了兩種算法在不同分辨率下的平均耗時(shí)。結(jié)果如圖 15所示。

(a) 所有左眼相機(jī)拼接成的原始影像

(b) 所有右眼相機(jī)拼接成的原始影像

圖11 左右眼相機(jī)拼接成的原始影像

圖12 左右眼柱面影像的查找表

(a) 左眼柱面影像

圖13 根據(jù)查找表生成的柱面影像

圖14 左右眼柱面影像合成出的柱面紅藍(lán)立體影像

圖15 柱面立體影像的查找表(Lookup Table)生成算法性能對(duì)比

CPU算法的耗時(shí)與查找表分辨率正相關(guān)，耗時(shí)較長。而GPU算法的耗時(shí)始終保持在3～4毫秒，性能明顯優(yōu)于CPU算法。

(3) 主動(dòng)立體顯示與硬件同步

為了驗(yàn)證主動(dòng)立體顯示效果和硬件同步效果，我們在分別在場景左眼畫面的上半部分和右眼畫面的下半部分顯示出當(dāng)前幀的幀號(hào)，然后用相機(jī)抓拍程序運(yùn)行時(shí)畫面。開啟硬件同步后，1/30秒的低速快門拍攝的游戲畫面，可以看到相機(jī)捕捉到了左右眼疊加的主動(dòng)立體畫面(兩行幀號(hào))，如圖 16所示。

圖16 開啟硬件同步后，1/30秒低速快門拍到的畫面

關(guān)閉硬件同步后，使用1/125秒的高速快門拍攝的兩幅游戲畫面。如圖 17所示?？梢钥吹阶髠?cè)和中部畫面的幀號(hào)與右側(cè)畫面的幀號(hào)錯(cuò)位，說明左右眼畫面不一致。開啟硬件同步后，使用1/125秒的高速快門拍攝的游戲畫面，可以看到系統(tǒng)在同一時(shí)刻顯示的左右眼畫面保持一致，如圖 18所示。

4.3 系統(tǒng)運(yùn)行效果

在柱面多投影系統(tǒng)中運(yùn)行主動(dòng)立體應(yīng)用的最終效果，如圖 19所示。

5 總結(jié)

本文基于Unity游戲引擎，整合了多投影校正技術(shù)、柱面全方位立體影像生成技術(shù)、面向游戲引擎的主動(dòng)立體顯示技術(shù)，設(shè)計(jì)實(shí)現(xiàn)了面向柱面的主動(dòng)立體多投影顯示系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，系統(tǒng)具有良好的柱面立體影像生成效果和主動(dòng)立體顯示效果，硬件同步技術(shù)則保證了立體畫面的嚴(yán)格一致性。未來系統(tǒng)將整合基于相機(jī)反饋的柱面投影校正技術(shù)，提升投影校正的效率和準(zhǔn)確性，并在更大規(guī)模的集群中進(jìn)行測試。

[1] Unity Game Engine [EB/OL]. [2017-04-16]. http://www.unity3d.com/

[2] Unreal Engine 4[EB/OL]. [2017-04-16]. https://www.unrealengine.com/what-is-unreal-engine-4.

[3] MiddleVR for Unity[EB/OL]. [2017-04-16]. http://www.middlevr.com/middlevr-for-unity/

[4] Lugrin J, Charles F, Cavazza M. CaveUDK: a VR game engine middleware[J]. Virtual Reality Software and Technology, 2012.

[5] 陸明, 陳恒, 姜忠鼎. 面向矩形融合區(qū)校正的多投影顯示系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 微型電腦應(yīng)用, 2015(11):1-4.

[6] 羅璇, 馮一洲, 姜忠鼎. 一種面向網(wǎng)絡(luò)游戲的沉浸式顯示框架[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2011, 28(12):1-4.

[7] 謝文斌. 基于游戲引擎的沉浸式立體顯示游戲框架設(shè)計(jì)與實(shí)現(xiàn)[D]. 上海：復(fù)旦大學(xué), 2013.

[8] 宋輝，姜忠鼎. 基于游戲引擎的圖形用戶界面集群渲染系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 微型電腦應(yīng)用, 2016(10):5-9

[9] Peleg S, Ben-Ezra M. Stereo Panorama with a single camera [A]. In: Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition [C]. USA:IEEE, 1999:395-401, vol.1.

[10] Peleg S, Ben-Ezra M, Pritch Y. Omnistereo: Panoramic stereo imaging [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23 (3):279-290.

Cylindrical Multi-projector Active Stereo Display System Based on Game Engine

Shen Jianfeng, Jiang Zhongding

(Shanghai Key Laboratory of Data Science, Fudan University, Shanghai 201203, China)

Cylindrical multi-projector system can create strong sense of immersion. Development of this system based on game engine can greatly improve the efficiency and reduce the complexity. However, the existing game engine supports only middleware of active stereo display system, does not support multi-projector system for cylindrical surface. In this paper, we integrate the multi-projector correction technique, stereo image generation technique and active stereo display technique, design and implement a multi-projector active stereo display system for cylindrical surface based on game engine. Experiments show that the system has good display effect.

Cylindrical display; Stereoscopic imagine; Multi-projector correction; Game engine

國家自然科學(xué)基金項(xiàng)目(60803064)

沈劍鋒(1991-)，男，碩士研究生，研究方向：計(jì)算機(jī)圖形學(xué)和虛擬現(xiàn)實(shí)。 姜忠鼎(1976-)，男，副教授，研究方向：計(jì)算機(jī)圖形學(xué)和虛擬現(xiàn)實(shí)。

1007-757X(2017)07-0001-06

TP313

A

2017.04.01)