一種可量測立體全景的構(gòu)建方法

孫 敏，董 娜，余京蕾，2，鄭 暉，3

(1．北京大學(xué)遙感所，北京100871;2．北京市第一六一中學(xué)，北京100031;3．中國礦業(yè)大學(xué)(北京)地球科學(xué)與測繪工程學(xué)院，北京100083)

一、引 言

全景可以提供真實現(xiàn)實360°方位的瀏覽效果，如Google Earth上的街景，可以彌補衛(wèi)星影像單一的高空視圖，可在地面的多方位瀏覽實景。國內(nèi)外研究者研發(fā)了許多利用全景進(jìn)行現(xiàn)場監(jiān)控的裝置和應(yīng)用軟件甚至系統(tǒng)，如國內(nèi)一些公安部門將全景應(yīng)用于小區(qū)安全調(diào)查。

在商業(yè)領(lǐng)域，也出現(xiàn)了一些全景相機與全景獲取裝置，如圖1所示，這些相機與獲取裝置采用不同的方法，在拍攝時可一次性獲取360°的影像，并可實現(xiàn)自動拼接。

圖1 一些典型的全景相機及全景獲取裝置

目前這些設(shè)備構(gòu)建的全景其原理是通過將拼接后的全方位影像投影到幾何體，包括立方體、圓柱體、球體等，從而構(gòu)建一個三維的模型，將觀察點設(shè)在該模型的中心，從而使觀察者可以瀏覽到全方面的景觀。顯然這種方法構(gòu)建的全景并不具有真實的立體效果，同時這種全景并不能提供給用戶具體的位置和場景中目標(biāo)的其他屬性，對于測繪與地理信息系統(tǒng)領(lǐng)域的學(xué)者而言，其與地理信息系統(tǒng)有相當(dāng)大的差距。

從地理信息系統(tǒng)角度而言，盡管現(xiàn)有三維地理信息系統(tǒng)可以提供非常逼真的現(xiàn)實仿真效果，但這種三維地理信息系統(tǒng)的構(gòu)建是一項非常耗費人力與物力的過程，且其主要目的旨在提供逼真的現(xiàn)實環(huán)境仿真效果，與之相比，全景則可以非常簡便地對真實環(huán)境加以表達(dá)，盡管全景并不具有真實的空間信息，但在視覺效果上，卻優(yōu)于前者，且數(shù)據(jù)獲取簡便快捷。

為此，本文提出一種可以與地理信息系統(tǒng)相融合的立體全景構(gòu)建方法，一方面在視覺上提供逼真的三維效果，另一方面可使之與地理信息系統(tǒng)簡便整合，并在需要的情況下，提供空間量測功能。

國內(nèi)有人針對立體量測的需要，研發(fā)了一種可量測系統(tǒng)[1]，但其原理是通過上下移動全景獲取裝置而得到立體，這種上下視差構(gòu)造的立體不適合人眼水平觀察。

此外，在立體全景的研究方面，Peleg等人10年前就提出了使用單個相機構(gòu)造立體全景的方法[2]，但該方法旨在構(gòu)造一種視覺立體，并沒有考慮后期可量測的應(yīng)用。為了實現(xiàn)較好的量測精度，應(yīng)具備較長的基線。Wang等人提出了一種可以改變視差的立體影像生成方法[3]，而Huang等人提出了一種在瀏覽過程中改變視差的方法[4]，其目的均是為了便于瀏覽，因為立體全景影像在瀏覽過程中，由于縮放會改變視差，所以適當(dāng)?shù)卣{(diào)整視覺有利于改善立體觀察效果。

與這些研究成果相比，本項研究旨在探討一種一方面可以提供理想的立體瀏覽效果，另一方面可以提供具有一定量測精度的立體全景構(gòu)建與量測方法。下面首先闡述立體全景模型構(gòu)建的基本原理與過程。

二、立體全景模型構(gòu)建

在本項研究中，立體全景是攝影測量中立體相對概念的延伸，普通全景在一個固定位置旋轉(zhuǎn)360°拍攝，而立體全景需要在兩個位置進(jìn)行拍攝，下面闡述如何獲取理想的立體全景數(shù)據(jù)。

1．立體全景數(shù)據(jù)獲取

如圖2(a)所示，如果使用現(xiàn)有全景相機，則構(gòu)建立體全景只能采用在兩個位置處分別安放全景相機，或使用普通相機在兩個位置處理分別旋轉(zhuǎn)360°拍攝，其結(jié)果是在兩個相機位置中心的連線方向，由于不存在視差，因而沒有立體觀察效果，也難以進(jìn)行量測。

在本研究工作中，采用圖2(b)的方案，即將兩臺相機放置于一條基線上，兩臺相機同時對稱地繞基線上的某個中心旋轉(zhuǎn)360°拍攝，由于拍攝過程中，相機投影軸保持平行不變，因而不僅保證了全方面視差的存在，而且當(dāng)相機位置固定準(zhǔn)確時，可一次性獲取較好的核線影像，在2(a)的情況下，還需要對兩幅全景影像進(jìn)行匹配校正，以確保立體觀察時所需的核心排列。

圖2

考慮后續(xù)量測的需要，研制了一個立體全景獲取裝置，如圖3(a)所示，該裝置頂部放置相機的基線板上具有精確到毫米的刻度，相機可以滑動，從而在拍攝前人為確定其基線長度;其次在基線板中心，安置了一款MTI動態(tài)陀螺，其不僅可以實時測量姿態(tài)信息，也可以測量位置信息，從而使拍攝后的全景具備位置與方位信息，在后續(xù)量測過程中，可以快速地獲取目標(biāo)物的真實位置信息。

由于兩個相機同步獲取對應(yīng)的影像，因此在對序列影像分別進(jìn)行自動拼接后，按基線與人眼瞳距的比例，可自動合成紅綠立體影像(在三維顯示器上可合成真彩色立體影像)，如圖3(b)所示為合成的立體全景局部效果。

2．立體全景的構(gòu)建

如圖4所示，拼接后的全景圖通過紋理映射到圓柱面上，在瀏覽過程中，將觀察點固定在圓柱體的中心，則用戶視覺上會有一定的三維沉浸感。顯然這種三維效果僅僅是由于影像內(nèi)容與紋理的適當(dāng)形變產(chǎn)生的，用戶觀察的本質(zhì)上仍然是一張二維的圖像。為了使觀察效果具有真實的立體感，用上一節(jié)獲取的立體全景影像替代普通全景影像，映射到圓柱面上，則得到立體全景模型，用戶利用紅綠眼鏡觀察可得到具有真實沉浸感的立體效果。

圖3 本項研究制作的北京大學(xué)東操場立體全景(局部)

圖4 全景模型的構(gòu)建方法(上圖是普通全景模型構(gòu)建，下圖是立體全景模型構(gòu)建，兩者的區(qū)別在于，前者使用單張全景圖，而后者使用立體全景圖。)

三、立體全景模型的量測方法

如圖5所示，由攝影測量理論可知，立體像對可構(gòu)成前方交會，當(dāng)基線長度L已知，兩相機內(nèi)參數(shù)已知，同名像點坐標(biāo)已知時，則目標(biāo)點P的坐標(biāo)可以簡便地求出，此時P點坐標(biāo)可選基線AB的中心點C為參考原點，AB為X軸，過C點垂直于AB的方向為Y軸。假設(shè)基線中心點C的坐標(biāo)已知，且Y軸相對于北方向的方位已知，則不難得到P點的真實地理位置。

設(shè)目標(biāo)點平面位置為M(x，y)，基線長為B，相機焦距為f，視差為d，目標(biāo)點在左視圖上的水平坐標(biāo)為a;又設(shè)基線中心點位為S(x，y)，過S垂直與基線的方位為θ，則M的坐標(biāo)可簡便地由下式得到

在全景情況下，像對不再是單幅影像，而是由序列影像拼接形成的一幅完整影像，假定360所拍攝影像幅數(shù)為n，則如圖5所示，可將圓柱面全景近似為一個n邊形，每邊的張角為2π/n。由于每幅影像在拍攝時同步記錄了其方位參數(shù)，故每條邊的影像可視為一個獨立的立體像對單獨處理，從而使全景的量測問題轉(zhuǎn)換為單幅立體像對的量測問題。

圖5 立體像對上同名點的簡單計算原理

四、試 驗

為了驗證本文所提方法，開發(fā)了一套量測軟件，如圖6左邊所示為其界面，用戶讀入全景，可在全屏模式下瀏覽使用紅綠眼鏡觀察立體，在量測時切換到窗口模式下。由于量測時需要選取同名點，使用兩幅原始全景影像更有利于同名點的選取，因此讀入左側(cè)全景，并在小窗口內(nèi)放大鼠標(biāo)所在位置，同步在另一小窗口內(nèi)放大右側(cè)全景對應(yīng)的位置，從而用戶可以十分方便地使用鼠標(biāo)選擇同名點。通過同名點可得到左右視差，即可方便地利用第3節(jié)所述內(nèi)容求得所量測點的三維位置。

圖6展示的即為構(gòu)建的北大操場的立體全景，為了驗證量測的精度，選取Google Earth影像地圖上對應(yīng)的北大操場部分，就其上一些建筑物的特征點進(jìn)行了量測，量測了實際測站點到這些特征點的距離，并與立體全景量測的結(jié)果進(jìn)行了比對，如圖7所示。

圖6

圖7 立體全景量測距離與在Google Earth影像地圖上量測的實際距離比對結(jié)果

結(jié)果表明，立體全景測量結(jié)果與實際距離相比存在較大的誤差。其原因是多方面的，在本項研究工作中，假定固定在圖3(a)基線板上的兩部相機其主光軸處于平行狀態(tài)，且垂直于基線，同時相機內(nèi)參數(shù)的校正是精確無誤的;此外，在量測計算時假定全景是由圖5(c)所示的n邊形構(gòu)成的，且MTI傳感器的測量誤差也沒有加以考慮，從而測量的結(jié)果存在較大的誤差，在后續(xù)的工作中，這些因素均需作進(jìn)一步深入的研究。

五、結(jié) 論

在本項研究中提出了一種簡單的構(gòu)建可量測立體全景的方法，為全景的可量測性提供了一種行之有效的解決途徑。目前的量測精度較低的主要原因是基線中心的位置與姿態(tài)，以及兩部相機間的姿態(tài)關(guān)系測量誤差較大，且采用了普通數(shù)碼相機，對相機沒有進(jìn)行較為嚴(yán)格的檢校，此外，盡管采用了可以調(diào)整長度的基線，但長度仍然較短，對于稍遠(yuǎn)目標(biāo)前會交會所形成的頂角仍然非常小，致使影像點坐標(biāo)的量測誤差對結(jié)果的影響非常嚴(yán)重，這些問題，將在后續(xù)的研究過程中做深入的探討。盡管如此，對于大多數(shù)對測量精度要求不高的應(yīng)用領(lǐng)域(如公安監(jiān)控、考古調(diào)查、旅游娛樂、交通運輸?shù)鹊?，該量測結(jié)果完全可以提供較好參考。

[1]河南博斐科技有限公司．公安現(xiàn)場三維全景重建及測量系統(tǒng)[EB/OL]．[2012-07-11]．http：∥ www．bofeitech．com/cpshow．a(chǎn)sp?id=409

[2]PELEG S，EZRA M B，PRITCH Y．OmniStereo：Panoramic Stereo Imaging[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001，23(3)：279-290．

[3]WANG C，SAWCHUK A A．Region Based Stereo Panorama Disparity Adjusting[C]∥Proceedings of the IEEE Eighth Workshop on Multimedia Signal Processing．Victoria：[s．n．]，2006：186-191．

[4]HUANG F，KLETTER．Stereo Panorama Acquisition and Automatic Image Disparity Adjustment for Stereoscopic Visualization[J]．Multimedia Tools and Applications，2010，47(3)：353-377．