基于全景圖像的漫游系統(tǒng)技術(shù)實(shí)現(xiàn)

陳 真，蔡 浩，張 飛

（汕頭大學(xué)工學(xué)院，廣東 汕頭 515063）

0 引言

隨著科技的發(fā)展，多媒體可包含的信息種類越發(fā)豐富，表現(xiàn)的效果也更加多元化.近年來出現(xiàn)的全景漫游顯示以其真實(shí)、全面、直觀的表現(xiàn)特點(diǎn)，成為了多媒體顯示的趨勢.全景漫游顯示包括全景圖像生成和全景漫游兩部分：全景圖像生成是指通過全景相機(jī)對圖像進(jìn)行獲取、拼接而生成的全視角圖像；全景漫游是指在全視角圖像里進(jìn)行場景切換，模擬瀏覽不同的場景.

目前，全景漫游顯示在眾多領(lǐng)域取得了豐碩成果[1]：在旅游領(lǐng)域，與互聯(lián)網(wǎng)結(jié)合可以使用戶足不出戶觀天下；在軍事領(lǐng)域，同地理信息的結(jié)合可以模擬仿真作戰(zhàn)；在房地產(chǎn)領(lǐng)域，可以使用戶獲得真實(shí)性的感官體驗(yàn).隨著虛擬顯示技術(shù)的大眾化以及虛擬現(xiàn)實(shí)技術(shù)的興起，全景漫游顯示技術(shù)與人們的社會生活將會聯(lián)系的愈加緊密.

1 全景漫游系統(tǒng)簡介

全景漫游[2]是以靜態(tài)圖像為基礎(chǔ)，生成水平方向360°環(huán)視、垂直方向180°俯仰的立體環(huán)境，平且能夠通過互聯(lián)網(wǎng)進(jìn)行瀏覽、新型可交互的媒體技術(shù).在普通圖像中，由于圖像的角度和拍攝位置被拍攝者控制，不由觀看者的意志而改變，因此觀看者并不能很好的沉浸在拍攝者所拍攝的場景當(dāng)中，缺乏身臨其境的感受.

全景漫游系統(tǒng)采用圖像拼接技術(shù)，將多張有重疊部分的圖像拼接成一幅比原來每張圖像信息量都要多的圖像.目前國內(nèi)外基于圖像的全景漫游技術(shù)主要是運(yùn)行三維實(shí)景技術(shù)實(shí)現(xiàn)，也就是使用相機(jī)對相隔一定距離的實(shí)際場景進(jìn)行多角度的環(huán)視拍攝，每個場景都拼接生成360°影像，并按照實(shí)際情況關(guān)聯(lián)每個場景，讓觀看者可以在每個場景之間進(jìn)行切換瀏覽.在全景圖像的生成拼接上，目前拼接模型有基于球體、圓柱體等，拼接流程上也有半自動標(biāo)注匹配點(diǎn)進(jìn)行拼接、全自動圖像拼接、比較成熟的全景拼接軟件有微軟的Photosynth，AutoSticth和諾基亞的Panorama.

在全景漫游上，谷歌推出的谷歌街景就是在原有的谷歌地圖基礎(chǔ)之上加入了全景功能.其原理就是在一輛車的車頂上擺放一組全景圖像采集工具，車輛在路面上行駛，按照一定的密度對街道圖像進(jìn)行采集，并且生成的全景圖像在瀏覽器中可以360°觀看并可以通過鼠標(biāo)點(diǎn)擊瀏覽器中的前后左右的箭頭來進(jìn)行場景切換瀏覽.隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，可以使用虛擬現(xiàn)實(shí)頭盔，通過雙目視差原理，帶給觀看者身臨其境的體驗(yàn).

2 軟硬件支撐平臺

本文采用GoPro omni相機(jī)采集全景圖像信息，PTGui進(jìn)行全景圖片集成，Pano2VR構(gòu)建全景系統(tǒng)，DevalVR player用于全景圖像的瀏覽.

GoPro omni相機(jī)前、后、左、右、上、下共六個方向各安裝一臺Hero4運(yùn)動相機(jī)，通過內(nèi)建系統(tǒng)將6個相機(jī)構(gòu)成一個整體，使各個角度拍攝到的照相信息處于同一個視點(diǎn)，并且能夠?qū)崿F(xiàn)像素級同步.

PTGui是一款圖像拼接工具，可以實(shí)現(xiàn)全景圖像集成，通過手動添加控制點(diǎn)以及優(yōu)化器優(yōu)化，最后經(jīng)過平滑融合處理，獲得高質(zhì)量的全景圖像.

Pano2VR是一款全景圖像轉(zhuǎn)換和編輯軟件，補(bǔ)丁功能可以有效對全景圖片中的局部“黑洞”進(jìn)行提取和插入修補(bǔ)，消除三腳架、拍攝人員等影響.

DevalVR player是一款3D圖片顯示軟件，將具有全景視圖效果的二維圖片展示出三維立體全景效果，還可以實(shí)現(xiàn)手動旋轉(zhuǎn)、細(xì)節(jié)觀察等功能.

3 全景圖片的生成與可視化的關(guān)鍵技術(shù)

構(gòu)建全景漫游系統(tǒng)首先要獲得各個場景的全景圖片[3]，生成全景圖片的基本步驟如圖1所示，具體包括圖像的采集，圖像的投影變換，圖像的拼接優(yōu)化和輸出4個步驟.

圖1 全景圖像系統(tǒng)生成流程

3.1 圖像信息的采集

采集全景圖像[4]指的是使用相機(jī)獲取圖像的過程，常用的方式有兩種.一種是用普通相機(jī)以一個視點(diǎn)為圓心進(jìn)行水平方向360°以及天空和地面的拍攝，然后進(jìn)行圖片信息處理.這種方法對拍攝要求較高：拍攝時要求盡可能小的改變相機(jī)的視點(diǎn)，并且由于拍攝時間較長可能引發(fā)場景的細(xì)微變動，使后期的圖像拼接難度加大，產(chǎn)生明顯拼接痕跡，使得真實(shí)感下降.第二種是用專業(yè)全景攝影器材進(jìn)行場景信息采集.這種方式可以減少獲取信息時產(chǎn)生的時差，操作方便簡潔，但相機(jī)價格較高.本文的圖像采用第二種方式，使用具有6鏡頭的GoPro omni相機(jī)來進(jìn)行全景圖像的采集，采集到的全景圖片如圖2所示.

圖2 零散全景信息圖片

3.2 圖像的投影變換

圖像投影變換指的是對圖像信息進(jìn)行投影模型，初步生成全景圖投影模型.投影的實(shí)質(zhì)是將實(shí)際場景的圖像坐標(biāo)系映射到一個圓柱體坐標(biāo)系.具體思路是首先將以視點(diǎn)為中心的全景圖像坐標(biāo)系平移和旋轉(zhuǎn)到圓柱體坐標(biāo)系，然后計(jì)算平面圖像與圓柱面圖像的函數(shù)映射表達(dá)式，最后求解平面圖像與柱體模型的對應(yīng)關(guān)系.

3.2.1 圖像投影

本文采用柱面投影模型[5].柱面投影模型是將拍攝到的圖像投影到一個圓柱面上，即把場景信息存儲在一個圓柱面上.柱面投影模型如圖3所示.

圖3 柱面投影模型

平面圖像與圓柱面的對應(yīng)關(guān)系如公式（1）所示：

b表示實(shí)際場景圖像的寬，h表示實(shí)際場景圖像的高，f是獲取全景信息相機(jī)設(shè)備的焦距，（x′，y′）是柱面上任意點(diǎn)，（x，y）是平面圖像上相對應(yīng)的點(diǎn).

3.2.2 控制點(diǎn)匹配

經(jīng)過投影變換，初步生成了全景圖像模型.雖然這個模型能夠?yàn)g覽全景圖像，但在圖像接縫部位存在著畸變，例如不完整的房屋、有裂痕的行人等缺陷，造成全景圖像真實(shí)感和沉浸感的下降.為了保持全景圖像中的場景信息同實(shí)際場景一致，需要對圖像進(jìn)行控制點(diǎn)匹配處理，修正圖像拼接中的畸變.

控制點(diǎn)匹配[6]就是對圖像拼接部位的重疊部分進(jìn)行匹配計(jì)算的過程，通常分為兩種方式.第一種方式基于像素點(diǎn)進(jìn)行匹配：根據(jù)投影模型的參數(shù)，計(jì)算拼接區(qū)域重疊部分點(diǎn)的平均誤差和方差，再根據(jù)參數(shù)比較平均誤差和方差的變化率，迭代計(jì)算使誤差變化率最小的初始參數(shù)，確定匹配區(qū)域進(jìn)行圖像的拼接.這種方式計(jì)算量大，實(shí)現(xiàn)簡單，適用性強(qiáng)，但圖像匹配效果可靠性不夠.第二種方式基于圖像的特征匹配：首先提取圖像重疊區(qū)域的特征信息，比如特殊的點(diǎn)、突出的線段、物體邊緣或頂角等，根據(jù)特征點(diǎn)之間的對應(yīng)關(guān)系計(jì)算重疊區(qū)域的對應(yīng)關(guān)系，建立全景圖像的匹配映射.

相比于像素點(diǎn)的匹配，基于特征的匹配算法[7]主要有以下優(yōu)點(diǎn)：

（1）對位置變化敏感，對應(yīng)關(guān)系和匹配更準(zhǔn)確，得到的全景圖像真實(shí)性更高；

（2）計(jì)算量更小，需要的匹配拼接特征點(diǎn)比像素點(diǎn)要少的多；

（3）圖像噪聲小，更好的適應(yīng)圖像灰度變化，匹配完成后失真更少.

但是基于特征的匹配也存在著一些缺點(diǎn)，例如處理草原、天空等重疊區(qū)域特征不明顯的圖像，特征點(diǎn)的提取會變得困難，相應(yīng)出現(xiàn)較大的誤差，最后造成匹配后的全景圖像失真.因此在實(shí)際處理過程中，為減小誤差，手動選取特征點(diǎn)進(jìn)行匹配，可以獲取更好的效果.圖4為自動配和手動匹配的對比.

圖4 自動匹配與手動對比圖

3.2.3 圖像的融合

圖像融合是指對圖像在像素級進(jìn)行融合，減少圖像重疊區(qū)域的拼接痕跡，提高圖像的真實(shí)性，常用以下兩種方式：

（1）漸入漸出圖像融合法：對重疊區(qū)域的像素值加權(quán)平均，減小重疊區(qū)域的像素值差異.加權(quán)平均公式（2）如下：

其中I1（x）、I2（x）為相鄰兩幅圖像的灰度函數(shù)，W1（x）、W2（x）為兩幅圖像的加權(quán)值，x為圖像I1、I2的重疊區(qū)域.如圖5所示，在迭代計(jì)算過程中，W1（x）的值從0漸變到1，相對應(yīng)的W2（x）的值從1漸變到0，實(shí)現(xiàn)圖像的平滑過度，消除拼接痕跡.

（2）帶閾值的漸入漸出圖像融合法：在基于漸入漸出圖像融合法上加入一個閾值K，將平滑前的灰度值與加權(quán)后的平均值作差，若差值小于K，則取加權(quán)后的灰度值為該點(diǎn)的灰度值；若大于K，則取加權(quán)之前的灰度值為該點(diǎn)的灰度值，減小重疊區(qū)域的像素值變化，使圖像融合平滑，如圖6所示.

圖5 漸入漸出圖像融合法過程

圖6 帶閾值的漸入漸出圖像融合法

加權(quán)后重疊區(qū)域的像素值為：

I（x）為重疊區(qū)域的灰度值，圖像L1、L3在重疊區(qū)域L2中對應(yīng)的灰度值分別為I1（x）、I2（x）.

將重疊區(qū)域分為A、B、C三部分，計(jì)算各個區(qū)域的像素值并與加權(quán)后平均值作差，與閥值對比，選取融合后的像素I（x）.三部分的像素值計(jì)算公式（3）如下：

本文采用帶閾值的漸入漸出圖像融合法處理圖像，雖然通過基本的漸入漸出法可以有效消除拼接痕跡，但同時在重疊區(qū)域可能產(chǎn)生重影，使圖像變得模糊不清，因此通過采用帶閾值的漸入漸出圖像融合法可以進(jìn)一步提高圖像清晰度，消除拼接邊界的色彩差.如圖7所示是融合前后的全景圖像對比圖.

圖7 融合前后對比圖

3.3 圖像的拼接優(yōu)化

為得到更加平滑的融合圖，需要對控制點(diǎn)進(jìn)行匹配優(yōu)化[8].根據(jù)控制點(diǎn)平均距離可以從以下3個方面對整體的控制點(diǎn)進(jìn)行優(yōu)化匹配處理：

（1）位移優(yōu)化：分為水平位移和垂直位移，通過對投影后圖像的控制點(diǎn)水平方向和垂直方向分析對比，選取出平均控制點(diǎn)距離最小的對應(yīng)組，對控制點(diǎn)進(jìn)行微調(diào)，使其對應(yīng)關(guān)系更精確；

（2）鏡頭畸變優(yōu)化：針對相機(jī)拍攝時可能存在的不同時、不同步、鏡頭焦距不同的情況，進(jìn)行對比優(yōu)化處理，減少控制點(diǎn)受平移和旋轉(zhuǎn)的影響；

（3）視點(diǎn)優(yōu)化：相機(jī)拍攝時難以保證各個方向的視點(diǎn)精確在同一位置，需要對匹配好的控制點(diǎn)進(jìn)行視點(diǎn)分析優(yōu)化，使各方向的視點(diǎn)同主方向盡可能保持一致，減少由于視點(diǎn)引起的對應(yīng)點(diǎn)匹配度差的情況.

優(yōu)化處理前后的全景圖像對比結(jié)果如圖8所示.

采集的全景圖像中，可能存在不需要的信息，例如拍攝人員、遮蔽物等；還存在著一些需要突出顯示的信息，例如關(guān)鍵地理位置、明顯標(biāo)記物等，這時候就需要蒙版處理.所謂蒙版處理就是將全景圖像中無用的信息去除，重要的信息突出的過程[2].

全景圖像生成后在相機(jī)所處位置下會出現(xiàn)三角支架，如果采用蒙版處理遮擋住三角支架，會在全景圖像的底部出現(xiàn)“黑洞”現(xiàn)象，這種存在與全景圖像整體環(huán)境不協(xié)調(diào)的漏洞區(qū)域的現(xiàn)象簡稱為“黑洞”.本文采用Pano2VR對全景圖像中的“黑洞”區(qū)域進(jìn)行補(bǔ)丁提取，Adobe Photoshop CS6對“黑洞”區(qū)域進(jìn)行處理，使“黑洞”區(qū)域同周圍環(huán)境相適應(yīng)，最后使用Pano2VR將修補(bǔ)處理后的補(bǔ)丁圖片插入到全景圖像中，從而消除掉出現(xiàn)的“黑洞”區(qū)域.

圖8 優(yōu)化器優(yōu)化前后全景圖局部對比

3.4 全景圖像的集成與輸出

根據(jù)圖像投影的類型，全景圖像的集成與輸出[10]可以分為以下3種模型.

（1）球面投影圖：將圖像的位置點(diǎn)坐標(biāo)同球面的球面坐標(biāo)對應(yīng)起來形成的全景圖片.

（2）柱形投影圖：球面投影的一種簡化形勢，它是將拍攝到的全景信息形成的圖像投影在一個圓柱面上，相當(dāng)于把場景信息存儲在一個圓柱面上.

（3）立方體投影圖：把全景圖全部圖像信息直接分解為前后上下左右6個面，全景瀏覽時就是把6個面結(jié)合起來形成一個封閉立方體來實(shí)現(xiàn)全視角[10]瀏覽.

4 全景系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

基于圖像的全景系統(tǒng)以全景圖像為顯示界面，通過鼠標(biāo)和界面功能鍵實(shí)現(xiàn)場景切換.本文采用Pano2VR構(gòu)建基于圖像的全景系統(tǒng).

基于圖像的全景系統(tǒng)有兩種顯示方式：一種是基于視頻播放器的flash文件顯示格式；第二種是基于網(wǎng)頁的HTML文件顯示格式.兩種顯示格式都包含五個模塊：全視角瀏覽模塊、局部區(qū)域縮放瀏覽模塊、文字音頻介紹模塊、全景場景切換模塊以及校園地圖導(dǎo)航模塊.

（1）全視角瀏覽模塊、局部區(qū)域縮放瀏覽模塊、文字音頻介紹模塊：在單個全景圖像場景中，利用Pano2VR的皮膚編輯器添加特殊功能鍵實(shí)現(xiàn)任意視角瀏覽、區(qū)域縮放、背景介紹等功能.

（2）全景場景切換模塊：利用熱點(diǎn)鏈接[11]，實(shí)現(xiàn)相鄰全景場景的切換，全景場景的切換結(jié)合地圖導(dǎo)航模塊實(shí)現(xiàn).

（3）地圖導(dǎo)航模塊：在各個全景場景中添加地圖之后，利用地圖同全景場景的位置對應(yīng)關(guān)系實(shí)現(xiàn)地圖導(dǎo)航以及任意場景切換.

系統(tǒng)總體設(shè)計(jì)如圖9所示.

5 總結(jié)

隨著計(jì)算機(jī)圖形圖像技術(shù)、網(wǎng)絡(luò)傳輸技術(shù)的發(fā)展，基于全景圖像的漫游技術(shù)將會變得日益普及.本文構(gòu)建了基于圖像的全景漫游系統(tǒng)，具有“逼真、自然、交互性強(qiáng)”的特點(diǎn)，使得觀看者能夠沉浸在全景系統(tǒng)中，按照自己的視角來觀察整個環(huán)境的細(xì)節(jié)，在教育、旅游、博物館展示等方面具有較強(qiáng)的實(shí)用性.

圖9 全景漫游系統(tǒng)總體框架

但是基于目前的技術(shù)限制，本文所構(gòu)建的基于圖像的全景漫游系統(tǒng)，是由多副全景圖像構(gòu)成的漫游結(jié)點(diǎn)構(gòu)成，而漫游結(jié)點(diǎn)[12]是由拍攝者所選定，觀察者并不能完全按照自己的意愿瀏覽整個環(huán)境.除此之外，本系統(tǒng)是基于互聯(lián)網(wǎng)的瀏覽器構(gòu)建，觀察者使用電腦終端來觀看.雖然構(gòu)成系統(tǒng)的圖像均為360°全景圖像，但是由于觀察是在二維平面上觀察，所以造成了沉浸感的大大降低.

隨著技術(shù)的日益成熟，全景漫游將在人們的社會生活中越來越常見.并且隨著VR、AR、MR技術(shù)的進(jìn)步，全景展示的方式也將變得更加豐富，展示的終端也將由電腦終端、手機(jī)屏幕等二維場景過渡至VR頭盔和MR頭盔等方式，大大增強(qiáng)觀察者的沉浸式體驗(yàn)感.并在交互的方式上，也將由目前的鼠標(biāo)鍵盤轉(zhuǎn)換為手勢識別等更加自然、人性化的交互方式.

通過上述研究，本文構(gòu)建了基于圖像的全景漫游系統(tǒng)，實(shí)現(xiàn)全景瀏覽、場景漫游、路線規(guī)劃、地圖導(dǎo)航等功能，給瀏覽者以真實(shí)性、沉浸式的全景瀏覽體驗(yàn)，具有一定的科研價值和實(shí)用價值.