航空面陣數(shù)字影像多基線立體匹配及協(xié)同處理

張 麗，湯曉濤，李 綱

1.信息工程大學地理空間信息學院，河南 鄭州，450052；2.西安測繪研究所，陜西 西安，710054；3.地理信息工程國家重點實驗室，陜西 西安，710054

?

航空面陣數(shù)字影像多基線立體匹配及協(xié)同處理

張 麗1,2,3，湯曉濤2,3，李 綱1,2,3

1.信息工程大學地理空間信息學院，河南 鄭州，450052；2.西安測繪研究所，陜西 西安，710054；3.地理信息工程國家重點實驗室，陜西 西安，710054

多基線立體匹配技術(shù)是獲取可靠DSM產(chǎn)品的有效手段之一。本文針對面陣航空數(shù)字影像設計了多基線立體匹配的技術(shù)流程，根據(jù)算法特點提出了基于GPU-CPU的協(xié)同處理方案；利用構(gòu)建的專業(yè)級GPU并行計算平臺，對協(xié)同處理方案進行了實驗驗證。結(jié)果表明，提出的方案在保證DSM產(chǎn)品高精度的同時，大幅提高了多基線立體匹配的計算效率和整體處理能力。

多基線立體匹配；GPU-CPU；協(xié)同處理；計算效率

1 引 言

多基線立體匹配技術(shù)由于增加了多余觀測量，較好地解決了影像的誤匹配問題[1,2]，從而成為提高DSM/DEM精度以及生產(chǎn)自動化程度的有效手段之一。然而，多基線立體匹配在提高匹配可靠性的同時，由于影像數(shù)量的增加、多種匹配策略的應用等也帶來了計算量的大幅增加，使其并行實現(xiàn)成為當前一個重要的研究方向。其中，利用GPU處理平臺提高影像匹配的計算效率引起了廣大學者和研究人員的關(guān)注[3-7]。他們的研究實踐證明，利用GPU處理平臺對于提高多基線立體匹配這種數(shù)據(jù)密集型和計算密集型任務的效率，效果是非常明顯的。

為此，本文結(jié)合具體項目要求，重點對航空面陣數(shù)字影像多基線立體匹配技術(shù)進行研究，設計了多基線立體匹配的技術(shù)流程，提出了基于GPU-CPU的協(xié)同處理技術(shù)方案，并利用構(gòu)建的高性能GPU并行計算平臺，驗證了算法和方案的處理精度、計算效率和處理能力。

2 航空面陣影像的多基線立體匹配技術(shù)

2.1 多基線立體匹配的技術(shù)流程

利用航空面陣光學遙感影像多基線匹配進行快速提取同名匹配點的技術(shù)流程如圖 1所示，主要包括預匹配處理、多基線立體匹配模型構(gòu)建、輔助約束算法的使用、GPU并行解算等四個部分。

①對影像進行分析，為多基線立體匹配與DSM自動提取過程提供數(shù)據(jù)支持、匹配初值支持。

②構(gòu)建多基線立體匹配模型，將不同視角下的多張目標區(qū)重疊影像納入同一匹配系統(tǒng)，利用信息互補技術(shù)，減少信息盲區(qū)，降低誤匹配率，提高匹配可靠性；篩選重疊影像，降低計算冗余，提高匹配效率。

③充分利用輔助信息數(shù)據(jù)、多種約束策略和優(yōu)化措施，進一步提高多基線立體匹配的可靠性和精度。

④根據(jù)GPU-CPU并行處理平臺，對多基線立體匹配任務和數(shù)據(jù)進行劃分，實現(xiàn)粗粒度并行，縮短匹配處理的整體運算周期；針對GPU硬件特性，對多基線立體匹配算法進行并行化分析與集成，實現(xiàn)多基線立體匹配的GPU細粒度并行解算，提高多基線立體匹配的計算效率。

圖1 光學遙感影像多基線立體匹配流程圖

2.2 影像預匹配處理

影像預匹配處理內(nèi)容主要包括：航帶分析與排序、多基線匹配立體構(gòu)建、影像金字塔制作、SIFT特征點提取與匹配等四個過程。

①航帶分析與排序

一個測區(qū)由多個航帶構(gòu)成，由于影像分布于不同的航帶，且各張影像并非按順序讀取，因此，在多基線立體匹配提取DSM之前，需要對載入的影像數(shù)據(jù)進行航帶分析與排序。具體步驟如下：

步驟一：根據(jù)影像的四個角點的像坐標、測區(qū)平均高程、外方位參數(shù)，計算各張影像四個角點的地面坐標；

步驟二：根據(jù)影像四個角點的地面坐標，分析影像的航帶數(shù)目，并將載入的影像數(shù)據(jù)進行排序。

②多基線匹配立體構(gòu)建

根據(jù)航帶分析與排序后的影像，分別以每一張影像為基準(不包括航帶首張影像和末張影像)，計算相鄰影像的重疊度，創(chuàng)建多基線匹配立體系統(tǒng)；由于航空影像數(shù)據(jù)的航向重疊與旁向重疊一般較高，每一個影像立體中可能有10張以上的影像與基準影像重疊，為了降低多基線立體匹配的計算量，匹配時使用重疊度最高的前5張重疊影像。

③影像金字塔制作

為了縮短匹配時間，匹配過程采用由粗到精的匹配策略，且從上層金字塔影像匹配獲得的高程信息用于約束和引導下一層金字塔影像的匹配。本文采用3像元平均的方式制作影像金字塔，金字塔層次包括最底層為4層。

④SIFT特征點提取與匹配

通過SIFT特征匹配，在基準影像和搜索影像上提取空間尺度不變的特征點，建立基準影像和搜索影像的相互關(guān)系，為多基線密集匹配提供初值。

2.3 航空面陣數(shù)字影像的多基線立體匹配模型及策略方法

針對航空面陣數(shù)字影像，普遍采用的立體匹配模型分為基于單立體匹配與融合的多視匹配模型和基于多立體整體匹配的多視匹配模型兩類。本文采用基于單立體匹配與融合的多視匹配模型，該模型的具體匹配過程如圖 2所示[8]。其基本思想是：在一組重疊影像中，取中央影像作為基準影像，其余的待搜索影像分別與之構(gòu)成立體像對；先利用帶幾何約束條件的相關(guān)系數(shù)法對各立體像對進行匹配；再利用松弛法整體影像匹配技術(shù)，進一步確定基準影像上的特征點在搜索影像上的同名點；然后通過帶選權(quán)迭代粗差檢測功能的多光線前方交會方法，實現(xiàn)各立體像對匹配結(jié)果在物方空間的融合，從而獲得準確的高程信息。

圖2 基于單立體像對匹配結(jié)果的物方融合的流程圖[8]

文獻[3]把用來提高多基線匹配可靠性、精度和效率而利用的輔助數(shù)據(jù)、匹配策略和匹配方法等歸結(jié)為多基線匹配的策略方法體系，并研究構(gòu)建了多基線匹配的策略方法體系，給出了多光線前方交會的基本思想和解算方法。本文在多基線立體匹配過程中使用的策略與方法如圖3所示，各項措施的實施過程如下所述。

幾何約束Ⅰ：制作金字塔影像，利用特征點提取算子，在原始影像上提取特征點，進行影像金字塔預匹配和多基線立體匹配，保留精確的匹配成果，構(gòu)建不規(guī)則三角網(wǎng)TIN；以每一個三角形為匹配面元，由該面元的三個頂點高程值，內(nèi)插每一個匹配基元的高程初值，確定匹配的搜索范圍。

輔助數(shù)據(jù)約束Ⅱ、幾何約束Ⅲ：利用GPS/IMU數(shù)據(jù)，根據(jù)影像的構(gòu)像方程，實時計算每一個匹配基元的核線影像，將多基線匹配從二維空間變?yōu)橐痪S搜索空間，提高匹配速度。

幾何約束Ⅳ：根據(jù)匹配基元的高程初值，變換匹配窗口的幾何屬性，包括大小、位置、形狀等，盡量保持匹配窗口內(nèi)容的一致性。

幾何約束Ⅴ、Ⅵ：通過概率松弛約束條件，對匹配結(jié)果進行檢查；在多基線最小二乘匹配過程中，加入共線條件方程和直線匹配走向幾何約束，將匹配結(jié)果的精度提高到子像素級。

圖3 多基線立體匹配策略方法的使用

2.4 基于GPU-CPU的協(xié)同處理方案

GPU-CPU協(xié)同處理的關(guān)鍵是合理分配二者的計算任務。其中，流程控制等順序型任務由CPU來完成，而針對大數(shù)據(jù)量執(zhí)行的相同操作則交給GPU來并行執(zhí)行。對于處理算法中數(shù)據(jù)并行程度高且計算密集的部分，將其改寫為能夠在GPU上執(zhí)行的“核”函數(shù)；然后通過配置語句由CPU端主程序調(diào)用該“核”函數(shù)，從而實現(xiàn)GPU內(nèi)部的超多線程細粒度并行處理，充分發(fā)揮GPU的并行計算優(yōu)勢。對于多基線立體匹配任務，通過分析各個步驟的算法特點，確定其處理模式如圖4所示。其中，航帶分析與排序、多基線匹配立體構(gòu)建采用單CPU處理模式；影像金字塔制作，采用多CPU并行處理模式；SIFT特征點提取與匹配和多基線立體匹配過程中涉及到的匹配測度計算、像點灰度值內(nèi)插，最小二乘解算計算量最為集中，采用多CPU、多GPU協(xié)同處理模式。

圖5給出了多基線立體匹配過程的GPU-CPU整體處理模式，具體步驟包括：

①對于構(gòu)建的多個多基線匹配立體系統(tǒng)，采用粗粒度數(shù)據(jù)并行的方式，按照GPU節(jié)點(GPU卡)的數(shù)量對構(gòu)建的多基線立體系統(tǒng)進行平均分配或近似平均分配。

②對于單個多基線匹配立體系統(tǒng)，把基準影像中的所有像點對應于一個GPU線程格網(wǎng)，而其中的多個像點組成一個線程塊，且每個線程塊中的像點利用一個線程來計算。該過程中單個像點的多基線匹配工作利用一個線程來完成，并且一個線程塊同時處理多個像點，整體上屬于細粒度算法并行計算模式，而對于GPU則屬于基于GPU的粗粒度并行模式。

圖4 多基線立體匹配處理的并行模式

圖5 多基線立體匹配GPU-CPU協(xié)同處理整體模式

3 實驗分析

3.1 實驗數(shù)據(jù)與實驗參數(shù)

實驗采用兩套航空面陣影像數(shù)據(jù)來驗證本技術(shù)方案的處理效率和精度。數(shù)據(jù)一為UCD面陣數(shù)字相機獲取的江蘇寶應地區(qū)的航空影像，影像獲取時間為2006-11-06；數(shù)據(jù)二為Z/I DMC面陣數(shù)字相機獲取的河南某地區(qū)的航空影像，影像獲取時間為2009-12-19。具體參數(shù)見表 1。

表1 實驗數(shù)據(jù)參數(shù)

3.2 實驗平臺

實驗平臺主要由1個管理/存儲節(jié)點、三個計算節(jié)點和相應的網(wǎng)絡設備組成。其中，每個計算節(jié)點配置2塊專業(yè)級高性能GPU顯卡，形成6個計算節(jié)點，具體配置見表2。

表2 實驗平臺硬件配置

序號功能型號配置數(shù)量1GPU計算節(jié)點Xr2201GE5-2620?2，8GB?8，K20?2，Intel240GBSSD?1，32管理/存儲節(jié)點Xr22301E5-2620?2，8GB?8，240GBSSD?2，Quadro2000?1，2TB?10134網(wǎng)絡部分H3CH1224RH3C24port千兆交換機1mellanxIS5023IB40GB18PortsSwtich15HCAcardmellanxMHQH19B-XTR1Port40Gb/sQSFPInfiniBandNetworkAda?ptorCard5

3.3 實驗結(jié)果

①處理效果和精度

UCD影像和DMC影像生成的DSM局部放大圖分別如圖 6和圖 7所示，87個控制點統(tǒng)計的UCD影像、17個均勻分布的控制點統(tǒng)計的DMC影像的DSM點云精度結(jié)果見表3。從圖 6可以看出，雖然UCD影像中建筑物比較密集，但從影像中自動提取的DSM點云較好地保持了實驗區(qū)中實際地物的形狀；從圖 7可以看出，雖然實驗區(qū)屬于山地、且山腳下建筑物比較密集，但從影像中自動提取的DSM點云仍然較好地保持了實驗測區(qū)中實際山地的地形地貌和建筑物的形狀。精度統(tǒng)計結(jié)果和直觀的影像處理結(jié)果表明了本文所采用技術(shù)方法的有效性。

圖6 UCD影像多基線立體匹配點云局部放大圖

圖7 DMC影像多基線立體匹配點云局部放大圖

表3 DSM點云精度分析表

影像類型最大殘差絕對值(m)最小殘差絕對值(m)中誤差(m)XYZXYZXY平面ZUCD0．320．260．530．0340．0320．0570．0710．0430．0830．092DMC0．830．711．060．120．090．160．170．140．220．27

②處理效率和能力

基于GPU-CPU的多基線立體匹配協(xié)同處理內(nèi)容及其處理時間如表 4所示。從表中可以看出，164張UCD影像構(gòu)建的154個、203張DMC影像構(gòu)建的189個多基線立體系統(tǒng)近乎平均地分配至6個GPU計算節(jié)點。

表4 多基線立體匹配協(xié)同處理內(nèi)容及時間

影像類型GPU節(jié)點編號計算硬件處理像對數(shù)重疊度(張)匹配點數(shù)(萬個)內(nèi)插格網(wǎng)間距(m)DSM點云大小(MB)處理時間(s)UCD影像節(jié)點1GPU26≈202500×26×50．52．7×2662820節(jié)點2GPU26≈202500×26×50．52．7×2662820節(jié)點3GPU26≈202500×26×50．52．7×2662820節(jié)點4GPU26≈202500×26×50．52．7×2662820節(jié)點5GPU25≈202500×25×50．52．7×2560410節(jié)點6GPU25≈202500×25×50．52．7×2560410DMC影像節(jié)點1GPU32≈152600×32×51．057．0×3286025節(jié)點2GPU32≈152600×32×51．057．0×3286025節(jié)點3GPU32≈152600×32×51．057．0×3286025節(jié)點4GPU31≈152600×31×51．057．0×3183400節(jié)點5GPU31≈152600×31×51．057．0×3183400節(jié)點6GPU31≈152600×31×51．057．0×3183400

表5 遙感影像多基線立體匹配協(xié)同處理的處理能力

影像類型測區(qū)大小(km2)匹配時間(h)匹配點數(shù)(億)影像數(shù)量(張)協(xié)同處理平臺計算能力按面積計(km2/h)按點數(shù)計(108point/h)按影像計(image/h)UCD4．9517．45192．51640．2811．039．40DMC129．9523．90249．62035．4410．448．49

表 5為處理能力的統(tǒng)計結(jié)果：對于地面分辨率為0.1m的UCD面陣航空影像，每小時能夠處理9.40張影像上的11.03億個像點，獲取0.28km2范圍內(nèi)(整個測區(qū)長4.15km，寬1.91km)的地面DSM點云。對于地面分辨率為0.25m的DMC面陣航空影像，每小時能夠處理8.49張影像上的10.44億個像點，獲取5.44km2范圍內(nèi)(整個測區(qū)長11.5km，寬11.3km)的地面DSM點云。

表6 多基線立體匹配時間對比

影像類型匹配點數(shù)單GPU-CPU處理時間(s)單CPU處理時間(s)UCD影像4000×4000×5148030500DMC影像4000×4000×5156031220

表 6為GPU-CPU混合協(xié)同處理模式與單CPU處理模式下耗用時間的對比。可以看出，與單CPU相比，CPU-GPU協(xié)同處理的加速比達到了20倍以上。

4 結(jié) 論

本文對航空面陣數(shù)字影像的多基線立體匹配的技術(shù)流程和策略方法進行了簡要闡述，重點給出了GPU-CPU協(xié)同處理方案，并通過實際數(shù)據(jù)驗證了本文的技術(shù)方法、計算效率和整體處理能力。結(jié)果表明，本文提出的協(xié)同處理方案在保證DSM產(chǎn)品高精度的同時，能夠大幅提高多基線立體匹配的計算效率。與單CPU處理模式相比，采用專業(yè)級的單GPU，多基線立體匹配的計算加速比達到了20倍；采用3個計算節(jié)點的GPU-CPU混合集群遙感影像協(xié)同處理系統(tǒng)，多基線立體匹配的整體處理能力大大躍升。

[1]張力，張繼賢．基于多基線影像匹配的高分辨率遙感影像DEM的自動生成[J]．武漢大學學報·信息科學版，2008，33(9)：943-946.

[2]張永生，范大昭，紀松．用于ADS40傳感器的多視覺立體匹配算法模型[J]．測繪科學技術(shù)學報，2007，24(2)：83-86．

[3]紀松．多視匹配策略與優(yōu)化方法研究[D]．鄭州：信息工程大學，2012．

[4]張麗，湯曉濤，戴晨光．多視匹配方法的計算任務分析及其GPU并行實現(xiàn)[J]．測繪科學技術(shù)學報，2013，30(5)：480-483．

[5]楊靖宇．攝影測量數(shù)據(jù)GPU并行處理若干關(guān)鍵技術(shù)研究[D]．鄭州：信息工程大學，2011．

[6]肖漢，張祖勛．基于GPGPU的并行影像匹配算法[J]．測繪學報，2010，39(1)：46-51．

[7]田斐，崔玉連.快速互信息匹配及GPU實現(xiàn)[J].電光與控制，2010，17(2)：63-67.

[8]袁修孝，明洋．一種綜合利用像方和物方信息的多影像匹配方法[J]．測繪學報，2009，38(3)：216-222．

Multi-baseline Stereo Matching and Cooperative Processing for the Digital Aerial Frame Image

Zhang Li1,2,3,Tang Xiaotao2,3, Li Gang1,2,3

1. Institute of Geospatial Information, Information Engineering University, Zhengzhou 450052, China 2. Xi’an Research Institute of Surveying and Mapping, Xi’an 710054, China 3. State Key Laboratory of Geo- information Engineering, Xi’an 710054, China

Multi-baseline stereo matching is one of the most effective methods to generate reliable DSM. This paper designs the multi-baseline stereo matching technique flow in view of the digital aerial frame image and proposes the cooperative processing scheme based on the characteristic of the multi-baseline stereo matching algorithm. Besides the paper tests and verifies the scheme by the professional GPU parallel computing platform. The results show that the scheme ensures DSM high accuracy and at the same time it greatly improves the computational efficiency and entirety processing capacity of multi-baseline stereo matching.

multi-baseline stereo matching； GPU-CPU；cooperative processing； computational efficiency

2014-12-24。

張麗(1973—)，女，副研究員，主要從事攝影測量方面的研究。

P231

A