單幅圖像空間化研究

張興國，劉學軍

(1.南京師范大學虛擬地理環(huán)境教育部重點實驗室，南京 210046;2.信陽師范學院城市與環(huán)境科學學院，信陽 464000)

0 引言

隨著數碼采集設備的日益普及，圖像和視頻數據得到了廣泛應用。在公安、城市規(guī)劃、文物保護、旅游、交通及林業(yè)等行業(yè)，基于圖像或視頻的需求旺盛。當前，核心需求主要集中于圖像的三維重建、圖像的量測及視頻監(jiān)控等方面。對于GIS行業(yè)而言，圖像和視頻數據已成了最重要的數據源，將其與傳統(tǒng)的地形圖、遙感影像及DEM等相結合，可形成從頂視到側視全方位的空間表達方式。在GIS行業(yè)，應用圖像和視頻的方式正在發(fā)生變革，傳統(tǒng)的方式僅僅將其作為重要的信息源，實現簡單的查詢和瀏覽功能，對其所含信息缺乏有效挖掘。近年來，基于圖像和視頻的分析及其GIS集成應用開始引起廣泛重視[1－2]。對于傳統(tǒng)的圖形圖像、計算機視覺等領域，基于圖像和視頻的三維重建已取得了一些重要的研究成果，如 Bundler，PMVS，Photosynth，PhotoPopup及Make3D等[3－6]。但將現有研究應用于GIS空間數據采集、空間分析方法、成果展示等方面尚存在許多問題，如何實現圖像和視頻在地理空間框架內的有機融合，是個急需解決的問題。

本文以單幅圖像為研究對象，重點探討了空間化方法及其應用技術。首先，從單幅圖像本身的特點及研究現狀出發(fā)，介紹了單幅圖像空間化的概念;然后，提出了一種單幅圖像空間化方法，主要包括分類器構建、滅線位置估計及地面三維坐標計算、圖像與地圖映射;最后，基于VC，MATLAB，ArcGIS Engine及PhotoPopup等工具，以大學校園為實驗場，對該方法進行了驗證，并對映射精度進行了探討。

1 單幅圖像空間化概念

單幅圖像對于地理空間的表達是透視的方式，地理對象“遠小近大”。這種表達方式符合人們日常觀察習慣，易于理解和交流。對于豐富多彩的單幅圖像，人們并不滿足于單純的可視化。對于工程技術人員而言，基于單幅圖像的非接觸式量測、三維重建及虛實融合等深層次應用更為重要，可大幅降低生產成本、提高工作效率和安全性。但是，單幅圖像在成像過程中損失了深度信息，要滿足這些應用需求是非常困難的。

目前，單幅圖像的量測主要包括基于單應的量測和基于幾何關系的量測[7]。前者可實現2個平面間的映射，根據圖像坐標求取物方坐標，從而實現幾何量測;后者通過中心投影的不變量并結合已知的幾何結構信息進行空間對象的量測。單幅影像三維重建主要通過對單幅影像提取目標的顏色、形狀、共面性等二維、三維幾何信息，而利用少量已知條件獲取該目標的空間三維信息。目前，單幅影像的三維重建主要包括基于特征統(tǒng)計學習方法、基于形狀恢復技術和基于影像幾何投影信息的方法[8]。各方法側重點不同，前者更注重量測的可行性，但自動化程度較低;后者更注重三維外觀，但量測無法保障。

單幅圖像空間化不僅要確定拍攝點位在地理空間中的位置，而且要實現圖像中地理對象與GIS中地理對象的映射，實現2種視圖的有機融合，即互映射。單幅圖像的空間化，首先需解決單幅圖像的三維重建，然后結合拍攝點位坐標和方位角將圖像與地圖、遙感影像等關聯起來。

本研究以平面地圖為主，研究單幅圖像空間化的方法。眾所周知，平面地圖采用正射投影的方式，將三維地理空間投影到平面上，其坐標系為平面直角坐標系統(tǒng)。而單幅圖像在采集時，相機主光軸常以近似平行地面的方式進行采集，其中常含有地面，若這個地面為平面則易于轉換到平面地圖中。例如圖1(a)為單幅圖像，圖1(b)為遙感影像，其中圖1(b)路面上的小圓點即為圖1(a)上路面邊緣所對應的位置。同時，將平面地圖中的地理對象放入圖像的地面中，是個相反的過程。

圖1 單幅圖像空間化Fig.1 Single image geo－spatial mapping

2 單幅圖像空間化方法

與立面和天空相比，地面，特別是路面，在顏色、紋理、位置等方面具有明顯的特征，通過數字圖像處理、統(tǒng)計學及機器學習等方法可以實現地面的自動提取。結合人們拍攝習慣和相機參數約束，可以恢復地面三維坐標。本文吸收PhotoPopup三維重建方法的優(yōu)點[4]，考慮空間化的需求，設計了一種單幅圖像空間化的方法。其基本過程包括:地面自動識別、滅線位置估計及地面三維坐標計算、圖像與地圖映射，如圖2。

圖2 單幅圖像空間化方法流程圖Fig.2 Flow chart of single image geo－ spatial mapping method

2.1 分類器的構建

1)樣本采集及超像素分割。首先，收集大量的單幅圖像，這些圖像滿足主光軸近似平行地面的約束。然后，對這些圖像進行超像素分割[9]，如圖3所示。

圖3 圖像超像素分割Fig.3 Suppixel segmentation

2)分類器構建。首先，通過交互界面，指定每一幅圖像的每一超像素的類別(地面和非地面)，并計算其特征，包括顏色、紋理及位置等;然后，基于這些數據進行訓練，并構建決策樹。

3)分類器的使用?；谒鶚嫿ǖ臎Q策樹，就可以對一幅圖像的地面區(qū)域進行自動提取了。具體過程包括:單幅圖像超像素分割，各個超像素特征計算，基于決策樹類別判斷。如圖4。

圖4 地面自動提取及滅線估計Fig.4 Automatic extraction of the ground and the location estimation of vanishing line

圖中實線所含區(qū)域為基于分類器自動提取的路面區(qū)域;虛線為估計的滅線位置。三維空間中相互平行的一組平面必相交于同一條無窮遠直線，這條無窮遠直線在透視投影下的投影直線稱為滅線[10]。

在工程實踐中僅需進行一次分類器的構建，將相關模型保存起來，后期即可長期使用。當模型無法滿足某工程需求時，可再次訓練。

2.2 滅線位置估計及地面三維坐標計算

在攝像機約束方面，可以基于場景中的平行線、道路區(qū)域等估計滅線的位置，如圖4中虛線為估計的滅線位置。若計算失敗，默認設置為0.5，即單幅圖像的中心。然后，根據拍攝者高度、視角及滅線位置，求解圖像中地面區(qū)域對應的三維坐標，從而恢復地面的三維姿態(tài)。如圖5，可得出水平視角、垂直視角、主光軸傾角、拍攝者高度與局部地面坐標的關系。該坐標系以拍攝者所在位置為原點，以視平線方向為Y軸，X軸與Y軸垂直，并以拍攝者右手方向為正向。

圖5 局部地平面坐標計算示意圖Fig.5 Coordinate calculation of the local ground

其計算公式為

式中:α為垂直視角;β為水平視角;h0為攝影中心至地平面的高度;θ和φ夾角依據圖像坐標近似估計。

2.3 圖像與地圖映射

通過對單幅圖像中地面的自動提取及局部坐標計算，就可以將地面區(qū)域轉換到2D地圖中，主要包括:攝像機拍攝點位和主光軸的方位角的確定、實現局部坐標系至投影坐標系的轉換，即

式中:X，Y為地圖平面直角坐標;x0，y0為拍攝點位的地圖平面直角坐標;x，y為單幅影像三維重建后的局部地面坐標;?為主光軸與北方向的夾角，即方位角。

3 實驗分析

本文選取大學校園為實驗場，相關數據包括近似水平拍攝的單幅圖像60幅、QuickBird高清遙感影像及分層矢量化地圖(WGS84 UTM 50N投影坐標系統(tǒng));實驗環(huán)境包括MATLAB，VC，ArcGIS Engine和 PhotoPopup。

3.1 地面區(qū)域提取分析

對所采集的60幅圖像中的20幅進行超像素分割，基于所選擇的特征(顏色、紋理及位置系列參數)進行訓練，獲取決策樹。對剩下的40幅進行地面自動提取實驗，其中有2幅因墻壁與地面的顏色和紋理近似造成識別錯誤，有3幅因陰影問題造成地面區(qū)域邊緣處錯誤，其余圖像均能較好提取出地面區(qū)域。

3.2 單幅圖像地面區(qū)域空間化精度分析

滅線位置的求取主要依據PhotoPopup中的方法，基于圖像中的平行線的信息估計滅點位置，如果失敗可將所識別出的地面區(qū)域的圖像坐標J的最小值作為其位置。為了分析單幅圖像空間化精度，選取5幅圖像，對其滅線位置，選取圖像中特定點位(設定 5個點，圖像坐標為:A(400，500)，B(400，400)，C(400，280)，D(600，280)，E(600，400))的映射誤差進行對比，采用點位位置偏差距離分析本實驗中映射誤差。圖像采集相關參數設定為:拍攝高度為1.70 m，垂直視角40°，圖像大小均為800像素×600像素，均采用近似平行地面的方式拍攝。表1為實驗結果，其中滅線坐標為歸一化值，A到E點的位置偏差為根據某點滅線估計值和真實值所計算的相同點位的距離。

表1 單幅圖像空間化精度分析Tab.1 Accuracy analysis of the single image mapping

分析表1可知:

1)滅線的估計值與真實值(手工獲取)相差最大是4點，為0.142，轉換為像素值為85個像素;最小點為5點，僅僅為4個像素。

2)滅線位置差值對點位偏差影響較大，最大偏差處于C和D點位，距離達121 m，滅線提取依賴于場景本身。

3)A至C點位從近到遠，位置偏差也從小到大。

4 結論與討論

單幅圖像空間化使得圖像中的地面具備了地理參考，對于其深入應用具有重要意義。如基于圖像可實現簡單的地面量測，采集一些地理對象的數據，如路面及其附近的特征點、線和面等;如地圖中地理對象到圖像中的映射，將虛擬對象放入圖像中，對于GIS可視化、規(guī)劃、虛擬仿真、商業(yè)、娛樂等具有重要意義;如視頻監(jiān)控領域，基于圖像的GIS空間化，可實現圖像中動態(tài)目標在地圖中的映射，在地理空間中進行可視化、行為特征量化表達等。本研究重點就地面的空間化進行了探討，所映射的地圖為平面地圖。當前研究尚存在如下問題:

1)因超像素聚類算法的初始化參數的選取是隨機的，致使圖像類別劃分具有不確定性，從而影響基于模式識別的類別決策。在后續(xù)的工作中，需加強面向圖像空間化的穩(wěn)定的圖像分類方法研究。

2)滅線位置的精確估計對于其空間化至關重要，細微的差異對所計算的坐標都會產生較大的影響。在以后研究中，需進一步加強單幅影像精確、穩(wěn)定滅線位置估計算法的研究。同時，結合拍攝習慣，在工程應用中亦可嘗試滅線位置的統(tǒng)計分析，獲取平均滅線位置，滿足一定的需求。

3)對于單幅圖像整體三維精細恢復及其三維空間化的研究尚未開展。實現三維空間中單幅影像、影像序列及視頻等的空間化，并達到GIS行業(yè)應用需求，是后續(xù)研究急需開展的工作。

[1]閭國年，劉學軍，吳 勇.發(fā)展影視 GIS，推進 GIS社會化進程——兼論GIS中的“世界”觀察與表達方式[C]//《測繪通報》測繪科學前沿技術論壇論文集.北京:《測繪通報》編輯部，2008.Lv G N，Liu X J，Wu Y.Develop image－ video GIS，promote the socialization process:Discuss the style of viewing and expressing the world[C]//Bulletin of Surveying and Mapping，Proceedings of Surveying Science Frontier.Beijing:Bulktin of Surveying and Mapping，2008.

[2]孔云峰.地理視頻數據模型及其應用開發(fā)研究[J].地理與地理信息科學，2009，25(5):12－16.Kong Y F.Research on the geoVideo data model and its application development[J].Geography and Geo－ Information Science，2009，25(5):12－16.

[3]Hoiem D，Efros A A，Hebert M.Automatic photo pop－ up[C]//Proceedings of the ACM SIGGRAPH.New York:ACM，2005:577－584.

[4]Saxena A，Chung S，Ng Y A.Learning depth from single monocular images[C]//NIPS 18，2005.

[5]Snavely N，Seitz S M，Szeliski R.Photo tourism:Exploring photo collections in 3D[C]//Proceedings of the ACM SIGGRAPH.New York:ACM，2006:835－846.

[6]Yasutaka Furukawa，Jean Ponce.Accurate，dense，and robust multi－ view stereopsis[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Minneapolics:IEEE，2007:1－8.

[7]劉學軍，王美珍，甄 艷，等.單幅圖像幾何量測研究進展[J].武漢大學:信息科學版，2011，36(8):941－947.Liu X J，Wang M Z，Zhen Y，et al.Geometric measurement based on single image:A survey[J].Geomatics and Information Science of Wuhan University，2011，36(8):941－947.

[8]孫宇陽.基于單幅圖像的三維重建技術綜述[J].北方工業(yè)大學學報，2011，23(1):9－13.Sun Y Y.A survey of 3D reconstruction based on single image[J].Journal of North China University of Technology，2011，23(1):9－13.

[9]Felzenszwalb P，Huttenlocher D.Efficient graph－ based image segmentation[J].Intemational Journal of Computer Vision，2004，59(2):167－181.

[10]韓艷麗.單目視覺建筑物三維建模方法的研究[D].上海:同濟大學，2006.Han Y L.Researching on approaches of architecture’s 3D reconstruction based on a single vision[D].Shanghai:Tongji University，2006.