基于網(wǎng)格的球面虛擬實(shí)景空間搭建方法

葉強(qiáng)強(qiáng)，余 燁，張 靜，劉曉平

(合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽合肥230009)

虛擬實(shí)景空間是采用基于圖像的虛擬空間繪制技術(shù)得到的空間，由于構(gòu)成空間廣闊性的要求，虛擬實(shí)景空間的構(gòu)成元素多為全景圖，隨著時(shí)間的更新而變換適當(dāng)?shù)膱?chǎng)景，從而達(dá)到在虛擬空間中漫游的效果，如Apple公司的Quick Time VR［1］和張茂軍等搭建的HVS［2］就是很早的虛擬實(shí)景空間系統(tǒng)．根據(jù)構(gòu)造模型的不同，虛擬實(shí)景空間可分為3類:柱面虛擬實(shí)景空間［3-4］、立方體虛擬實(shí)景空間和球面虛擬實(shí)景空間，由于球面虛擬實(shí)景空間具有可視范圍廣、符合人眼的觀看習(xí)慣等特點(diǎn)，已經(jīng)成為國(guó)內(nèi)外的研究熱點(diǎn)［5-9］．

目前構(gòu)造球面虛擬實(shí)景空間的方式通常是先將獲得圖像投影到球面上，再在球面上進(jìn)行圖像拼接，如文獻(xiàn)［5］、［6］就是利用普通相機(jī)獲得圖像，然后考慮圖像在球面上的拼接;文獻(xiàn)［7］、［8］是將魚(yú)眼相機(jī)獲得圖像投影到球面上，然后求得投影圖像在球面上的拼接關(guān)系．與這些構(gòu)造方法不同，本文先通過(guò)單幅圖像構(gòu)造球面網(wǎng)格，然后將圖像以紋理繪制的模式映射到球面上，并通過(guò)調(diào)節(jié)網(wǎng)格來(lái)調(diào)節(jié)圖像邊緣處的拼接，最終實(shí)現(xiàn)球面虛擬實(shí)景空間的構(gòu)造，過(guò)程如圖1所示．

圖1 構(gòu)造球面虛擬實(shí)景的方法Figure 1 Themethod of constructing spherical virtual image

1 初始模型建立

本文采用的相機(jī)鏡頭為超廣角鏡頭，其拍攝的視角較大．根據(jù)此鏡頭的特點(diǎn)，本文構(gòu)成球面虛擬實(shí)景空間的數(shù)據(jù)采集的方式為:側(cè)面每旋轉(zhuǎn)72°拍攝一張圖片(共拍攝5張圖片，經(jīng)實(shí)驗(yàn)圖片和圖片間會(huì)有重合區(qū)域，采用不同的鏡頭拍攝圖片的張數(shù)也不相同)，朝向頂部拍攝一張照片．

1．1 網(wǎng)格點(diǎn)的選取

獲得圖像以后，需要進(jìn)行平面網(wǎng)格點(diǎn)的選?。紫却_定網(wǎng)格的大小，網(wǎng)格的大小將影響最終繪制的效果，本文采用的網(wǎng)格大小為橫向meshWidth=128，縱向meshHeight=96;然后根據(jù)網(wǎng)格點(diǎn)的數(shù)目，求得網(wǎng)格點(diǎn)對(duì)應(yīng)的像素點(diǎn)，這里選取的網(wǎng)格點(diǎn)為均勻的網(wǎng)格點(diǎn)，因而對(duì)應(yīng)的像素點(diǎn)在圖像上也是分布均勻的．設(shè)圖像的像素尺寸為imageWidth×imageHeight，則各網(wǎng)格點(diǎn)(i，j)對(duì)應(yīng)的像素點(diǎn)為:

采用相機(jī)采集的圖像存在畸變，難以用于求得球面上對(duì)應(yīng)的網(wǎng)格，需要對(duì)其進(jìn)行畸變校正［10］，如圖2所示．

1．2 空間網(wǎng)格的繪制

空間網(wǎng)格的繪制建立在獲取空間網(wǎng)格點(diǎn)的基礎(chǔ)上，需要獲取空間網(wǎng)格點(diǎn)，即將獲得平面網(wǎng)格點(diǎn)轉(zhuǎn)換為空間網(wǎng)格點(diǎn)．由透視原理可知，平面上的網(wǎng)格點(diǎn)和球面上網(wǎng)格點(diǎn)的連線正好通過(guò)此球面的球心，如圖3所示．

圖2 校正前后圖像對(duì)比Figure 2 Image contrast before and after correction

圖3 空間網(wǎng)格獲取方式Figure 3 Space grid accessmethod

圖3中所有的點(diǎn)都是空間中的點(diǎn)，平面γ是相切于球面的平面．由于單鏡頭對(duì)應(yīng)的圖像以像素坐標(biāo)的形式存在，需要將像素坐標(biāo)轉(zhuǎn)換為三維的平面坐標(biāo)，通過(guò)測(cè)量相機(jī)的視角可以求得像素對(duì)應(yīng)到平面γ三維空間位置，像素點(diǎn)所對(duì)應(yīng)的區(qū)域如圖3所示的區(qū)域σ，選取的網(wǎng)格點(diǎn)也會(huì)對(duì)應(yīng)到區(qū)域σ內(nèi)．A點(diǎn)為其中的一個(gè)網(wǎng)格點(diǎn)，M點(diǎn)位區(qū)域的中心點(diǎn)，A'點(diǎn)是A點(diǎn)對(duì)應(yīng)于球面上的網(wǎng)格點(diǎn)，O點(diǎn)為球心，求得半徑為R，則

通過(guò)公式可得到鏡頭對(duì)應(yīng)的網(wǎng)格，將鏡頭對(duì)應(yīng)的圖片以紋理映射的方式映射在各個(gè)網(wǎng)格上，即可實(shí)現(xiàn)球面虛擬實(shí)景空間的初步搭建．

1．3 圖像邊緣融合

由于網(wǎng)格和網(wǎng)格之間會(huì)出現(xiàn)重合的區(qū)域，直接的紋理映射會(huì)導(dǎo)致先前映射的紋理被后映射的紋理覆蓋，需要對(duì)網(wǎng)格的邊緣處進(jìn)行處理．本文采用調(diào)節(jié)網(wǎng)格點(diǎn)的深度信息來(lái)處理這種情況，即處理圖像邊緣處的融合，網(wǎng)格點(diǎn)的深度信息和網(wǎng)格點(diǎn)所處的區(qū)域有關(guān)，如圖4所示．其中ABCD和EFGH為拍攝2個(gè)方向?qū)?yīng)的網(wǎng)格，其在球面上相交的區(qū)域?yàn)镋FCD，O為球面的中心，則所需進(jìn)行深度信息調(diào)整的區(qū)域?yàn)镋FCD．假設(shè)網(wǎng)格點(diǎn)P和Q之間有N個(gè)網(wǎng)格點(diǎn)，則第i個(gè)點(diǎn)的深度信息在2個(gè)網(wǎng)格上分別為

圖4 網(wǎng)格重合區(qū)域Figure 4 Mesh superposition area

2 模型改進(jìn)

初始建立的模型在圖像和圖像拼接處會(huì)出現(xiàn)場(chǎng)景缺失和錯(cuò)位現(xiàn)象，本節(jié)將對(duì)初始的模型進(jìn)行改進(jìn)．與普通球面虛擬實(shí)景構(gòu)造方法相比，本文采用網(wǎng)格來(lái)控制場(chǎng)景的顯示，通過(guò)改變網(wǎng)格點(diǎn)的位置來(lái)改變場(chǎng)景的位置．首先對(duì)網(wǎng)格點(diǎn)整體的位置進(jìn)行調(diào)整，實(shí)現(xiàn)解決場(chǎng)景缺失問(wèn)題實(shí)現(xiàn)完整場(chǎng)景顯示;然后對(duì)于邊緣處局部位置出現(xiàn)紋理錯(cuò)位的現(xiàn)象，通過(guò)調(diào)整局部網(wǎng)格點(diǎn)來(lái)調(diào)節(jié)，最終實(shí)現(xiàn)模型的改進(jìn)．

2．1 網(wǎng)格的整體調(diào)整

初始構(gòu)造的模型會(huì)在邊緣處出現(xiàn)場(chǎng)景缺失的現(xiàn)象，網(wǎng)格的整體調(diào)節(jié)通過(guò)對(duì)網(wǎng)格進(jìn)行放縮處理，使得缺失的場(chǎng)景再次出現(xiàn)．本文采用的方法是側(cè)面拍攝5次和頂部拍攝1次，側(cè)面圖片和圖片邊緣處的場(chǎng)景缺失和網(wǎng)格的寬度有關(guān)，所以對(duì)于側(cè)面網(wǎng)格只需要改變網(wǎng)格寬度，如圖5(a)所示．頂部網(wǎng)格由于要和側(cè)面各個(gè)網(wǎng)格都存在相交區(qū)域，因而需要對(duì)頂部網(wǎng)格整體縮放，如圖5(b)所示．根據(jù)本文建立的坐標(biāo)系，各坐標(biāo)的變化方案為:x→x'， y→y'， z→z．

圖5 網(wǎng)格的整體調(diào)整Figure 5 Overall adjustment of grids

網(wǎng)格的放縮即為網(wǎng)格點(diǎn)位置的變化，通常方法是以中心點(diǎn)為目標(biāo)，所有的網(wǎng)格點(diǎn)向內(nèi)或向外移動(dòng)．由于各個(gè)網(wǎng)格點(diǎn)移動(dòng)的距離不相同，靠近網(wǎng)格中間點(diǎn)的網(wǎng)格點(diǎn)移動(dòng)的距離要比處于網(wǎng)格邊緣處的網(wǎng)格點(diǎn)移動(dòng)的距離小得多，為了保證網(wǎng)格大小統(tǒng)一，靠近內(nèi)部網(wǎng)格點(diǎn)的移動(dòng)將影響外部的網(wǎng)格點(diǎn)移動(dòng)．本文采用了一種間接的方法進(jìn)行網(wǎng)格的放縮，如圖6所示．

圖6 網(wǎng)格調(diào)整原理圖Figure 6 The theory diagram of adjusting grid

圖6(b)采用了間接的方法進(jìn)行網(wǎng)格的縮放，先將整體的網(wǎng)格按照OM的方向移動(dòng)到某個(gè)位置，此時(shí)與網(wǎng)格點(diǎn)A點(diǎn)對(duì)應(yīng)的網(wǎng)格點(diǎn)為A″，網(wǎng)格中心點(diǎn)M對(duì)應(yīng)的網(wǎng)格點(diǎn)為M';然后將網(wǎng)格點(diǎn)M'移回M，而對(duì)于其他的網(wǎng)格點(diǎn)如A，則按照A″O的方向移動(dòng)到點(diǎn)A'，其中 A'滿足的關(guān)系為:A'A″∶OA'=MM'∶OM．

可行性驗(yàn)證:假設(shè)想將網(wǎng)格放縮為原來(lái)網(wǎng)格的λ倍，即所有網(wǎng)格點(diǎn)之間的距離變?yōu)樵瓉?lái)網(wǎng)格點(diǎn)之間距離的λ倍，則只需要 MM'∶OM=1-λ∶λ即可，證明如下:

如圖7(a)所示，A和B為網(wǎng)格上的兩網(wǎng)格點(diǎn)，假設(shè)移動(dòng)后的兩網(wǎng)格點(diǎn)分別為A'和B'．圖7(b)所示為(a)的抽象模型，則可得以下的關(guān)系:

圖7 可行性驗(yàn)證模型Figure 7 Themodel of feasibility verification

即改變之后的網(wǎng)格點(diǎn)間距離是原來(lái)網(wǎng)格點(diǎn)間距離的λ倍，假設(shè)A點(diǎn)為原來(lái)網(wǎng)格上的網(wǎng)格點(diǎn)，A'為移動(dòng)后的網(wǎng)格點(diǎn)，M為原來(lái)網(wǎng)格中心點(diǎn)，則移動(dòng)公式為OA'=λOA+(1-λ)OM．

2．2 網(wǎng)格的局部調(diào)整

網(wǎng)格的局部調(diào)整就是對(duì)網(wǎng)格上部分網(wǎng)格點(diǎn)的位置進(jìn)行變動(dòng)，而對(duì)于其他網(wǎng)格點(diǎn)的位置不進(jìn)行變動(dòng)，用網(wǎng)格點(diǎn)的變動(dòng)而改變對(duì)應(yīng)場(chǎng)景的變動(dòng)，從而解決紋理錯(cuò)位的現(xiàn)象．本文采取了漸進(jìn)的方式對(duì)局部網(wǎng)格點(diǎn)進(jìn)行調(diào)整，不但調(diào)節(jié)出現(xiàn)紋理錯(cuò)位的區(qū)域，而且對(duì)于未出現(xiàn)紋理錯(cuò)位的區(qū)域邊緣區(qū)域也進(jìn)行相應(yīng)的調(diào)整．

網(wǎng)格的局部調(diào)節(jié)相當(dāng)于網(wǎng)格整體調(diào)節(jié)的局部操作，即按照網(wǎng)格整體調(diào)節(jié)的思想對(duì)處于網(wǎng)格局部的部分網(wǎng)格點(diǎn)進(jìn)行調(diào)整，假設(shè)需要將原有網(wǎng)格的局部縮放λ倍，則網(wǎng)格點(diǎn)調(diào)整公式為

對(duì)于處于紋理錯(cuò)位邊緣區(qū)域的網(wǎng)格點(diǎn)，則按照其距離紋理錯(cuò)位邊緣的距離進(jìn)行調(diào)整，這里的距離即為之間相隔網(wǎng)格點(diǎn)的個(gè)數(shù)加1，設(shè)定邊緣處包括點(diǎn)數(shù)為M，超出M以外的點(diǎn)則不進(jìn)行調(diào)整，假設(shè)邊緣區(qū)域的網(wǎng)格點(diǎn)距離紋理錯(cuò)位區(qū)域的距離為d，設(shè)μ是需要調(diào)節(jié)的倍數(shù)，則

即對(duì)于此網(wǎng)格點(diǎn)調(diào)整公式為

3 實(shí)驗(yàn)結(jié)果及分析

本文采用的硬件設(shè)備為:大廣角單反相機(jī)一部、用于承載相機(jī)的三角架一個(gè)、PC機(jī)一臺(tái)(處理器為Intel Xeon CPU W3520@2．67 GHz，內(nèi)存為 4G DDR3，顯卡為 NVIDIA Quadro FX1800 768M)．所采用的編程平臺(tái)為Visual Studio 2008，采用Mircosoft DirectX 9．0對(duì)虛擬場(chǎng)景進(jìn)行搭建，如圖8(a)所示為初始搭建模型顯示的球面虛擬實(shí)景．通過(guò)鼠標(biāo)的拖動(dòng)，實(shí)現(xiàn)場(chǎng)景的360°觀看．

初始搭建的模型會(huì)在很多的地方出現(xiàn)紋理錯(cuò)位和缺失的現(xiàn)象，如圖8(a)所示的場(chǎng)景B就會(huì)出現(xiàn)紋理錯(cuò)位和缺失的現(xiàn)象，采用本文提出的網(wǎng)格整體調(diào)整和網(wǎng)格局部調(diào)整可以解決這些問(wèn)題，如圖8(b)所示．通過(guò)網(wǎng)格的整體調(diào)整和網(wǎng)格的局部調(diào)整，基本解決了網(wǎng)格錯(cuò)位的現(xiàn)象．搭建的球面虛擬實(shí)景，可以實(shí)現(xiàn)圖片和圖片邊緣處的拼接和融合，同時(shí)搭建的程序?qū)C(jī)器要求較低．

圖8 模型改進(jìn)效果對(duì)比Figure 8 Improving contrast

文獻(xiàn)［7］采用了2幅魚(yú)眼圖像構(gòu)建全景圖，本文的方法與之相比分辨率更高且畸變更?。绮捎? 600×1 200像素的照片進(jìn)行構(gòu)造，本文的方法像素可以達(dá)到5 400×2 700，而文獻(xiàn)［7］構(gòu)造的最高像素為3 600×1 200;同時(shí)魚(yú)眼鏡頭局部畸變較大，像素信息分布不均勻，有較大的局限性．

圖9和圖10是本文分別在室外和室內(nèi)構(gòu)建的全景圖，與文獻(xiàn)［9］構(gòu)建的同場(chǎng)景的全景圖相比，其在水平方向上場(chǎng)景顯示較好，但與本文方法相比缺少頂部的場(chǎng)景信息，因而本文方法實(shí)用性更強(qiáng)．

圖9 室外全景圖Figure 9 Outdoor panorama

圖10 室內(nèi)全景圖Figure 10 Indoor panorama

4 總結(jié)與展望

本文提出了一種搭建球面虛擬實(shí)景的方法，該方法與傳統(tǒng)球面虛擬實(shí)景搭建方法有所不同，首先對(duì)通過(guò)相機(jī)鏡頭獲得的圖片進(jìn)行校正處理，然后通過(guò)校正后圖像構(gòu)建球面網(wǎng)格，通過(guò)紋理映射的方式實(shí)現(xiàn)球面虛擬實(shí)景的搭建．同時(shí)針對(duì)初始搭建的球面虛擬實(shí)景出現(xiàn)場(chǎng)景缺失和紋理錯(cuò)位等問(wèn)題，提出了網(wǎng)格的整體調(diào)整和網(wǎng)格的局部調(diào)整方法，并對(duì)出現(xiàn)的問(wèn)題加以解決．本文所搭建的球面虛擬實(shí)景的采集設(shè)備較為普遍，構(gòu)建成本低;同時(shí)本文采用的方法具有可復(fù)現(xiàn)性，針對(duì)不同鏡頭只要對(duì)模型進(jìn)行調(diào)整便可以實(shí)現(xiàn)球面虛擬實(shí)景的搭建．

在網(wǎng)格調(diào)整的過(guò)程中，頂部網(wǎng)格將受到側(cè)面5個(gè)網(wǎng)格變化的影響，所以本文對(duì)頂部網(wǎng)格的調(diào)節(jié)還是會(huì)出現(xiàn)紋理錯(cuò)位的現(xiàn)象;同時(shí)由于底部場(chǎng)景采集較為困難，所以本文搭建的球面虛擬實(shí)景會(huì)缺失底部場(chǎng)景，這些問(wèn)題都將在以后的工作中加以研究．

［1］CHEN SE．QuickTime VR-An image based approach to virtual reality navigation［C］∥SIGGRAPH'95．Los Angeles，USA，1995:29-38．

［2］張茂軍，鐘力．HVS:一種基于實(shí)景圖像的虛擬現(xiàn)實(shí)系統(tǒng)［J］．小型微型計(jì)算機(jī)系統(tǒng)，1999，20(7):490-495．

［3］殷潤(rùn)民，李伯虎，柴旭東．自適應(yīng)柱狀全景圖拼接［J］．中國(guó)圖象圖形學(xué)報(bào)，2008，13(6):1911-1196．

［4］CHEN Haipeng，SHEN Xuanjing，WU Yihong，et al．Bionicmosaic method of panoramic image based on compound eye of fly［J］．Journal of Bionic Engineering，2011，8(4):440-448．

［5］SHUM Heungyeung，SZELISKI Richard．Systems and experiment paper:Construction of panoramic imagemosaics with global and local alignment［J］．International Journal of Computer Vision，1999，36(2):101-130．

［6］BROWNMatthew，LOWEDavid G．Automatic panoramic image stitching using invariant features［J］．International Journal of Computer Vision，2007，74(1):59-73．

［7］DENG Xiaoming，WU Fuchao，WU Yihong，etal．Automatic spherical panorama generation with two fisheye images［C］∥WCICA'08．Chongqing，China，2008:5955-5959．

［8］王俊杰，徐小剛，胡運(yùn)發(fā)，等．魚(yú)眼投影在虛擬實(shí)景中的應(yīng)用研究［J］．小型微型計(jì)算機(jī)系統(tǒng)，2004，25(2):287-290．

［9］李艷麗，向輝．穩(wěn)健的球面全景圖全自動(dòng)生成算法［J］．計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2007，19(11):1393-1398．

［10］楊必武，郭曉松．?dāng)z像機(jī)鏡頭非線性畸變校正方法綜述［J］．中國(guó)圖象圖形學(xué)報(bào)，2005，10(3):269-274．