利用網(wǎng)絡(luò)圖進(jìn)行高分辨率航空多視影像密集匹配

閆 利，費(fèi) 亮，陳長(zhǎng)海，葉志云，朱睿希

武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢 430079

?

利用網(wǎng)絡(luò)圖進(jìn)行高分辨率航空多視影像密集匹配

閆 利，費(fèi) 亮，陳長(zhǎng)海，葉志云，朱睿希

武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢 430079

提出了一種基于網(wǎng)絡(luò)圖的高分辨率航空多視影像密集匹配算法。首先利用影像間的重疊關(guān)系和方向確定候選立體像對(duì)并構(gòu)建網(wǎng)絡(luò)圖；在立體像對(duì)密集匹配階段，引入導(dǎo)向中值濾波采用由粗到精的改進(jìn)半全局匹配(SGM)算法進(jìn)行雙向視差圖生成；最后基于所有立體像對(duì)構(gòu)建的網(wǎng)絡(luò)圖完成多視影像間的密集點(diǎn)云生成及融合。試驗(yàn)選取了ISPRS的Vaihingen航空影像和ISPRS/EuroSDR項(xiàng)目的蘇黎世傾斜下視影像進(jìn)行試驗(yàn)，結(jié)果表明：本文算法對(duì)高分辨率多視影像密集匹配是有效可行的，無(wú)論在匹配完整性、效率、精度上都能獲取較好的結(jié)果，重建的密集點(diǎn)云平均反投影誤差的中誤差可以達(dá)到亞像素級(jí)精度，實(shí)際精度可以達(dá)到1.5倍GSD，并且在建筑物、植被、水體等視差不連續(xù)、弱紋理或重復(fù)紋理區(qū)域也取得了較好的匹配結(jié)果。

高分辨率;多視影像;密集匹配;半全局匹配;網(wǎng)絡(luò)圖

隨著相機(jī)技術(shù)的進(jìn)步和新的匹配算法的提出，在攝影測(cè)量和計(jì)算機(jī)視覺領(lǐng)域誕生了許多基于影像的三維重建商業(yè)軟件，如Street Factory、Smart3D、PhotoScan、Pixel4d等，而多視密集匹配是自動(dòng)三維重建的關(guān)鍵步驟之一。多視影像密集匹配一般指在完成測(cè)區(qū)的光束法區(qū)域網(wǎng)平差后，進(jìn)行逐像素的匹配，獲取與原始影像對(duì)應(yīng)地面分辨率同等精度的密集點(diǎn)云和數(shù)字表面模型(DSM)。與激光掃描等直接獲取三維信息的方式相比，通過影像密集匹配獲取三維點(diǎn)云的方式成本較低，同時(shí)，影像密集匹配的方式還能獲取豐富的紋理信息。另一方面，與激光掃描獲取的點(diǎn)云不同的是密集匹配生成的點(diǎn)云通過多余觀測(cè)的方式獲取，因此其每一離散點(diǎn)的精度都可以進(jìn)行評(píng)定。基于影像的三維重建技術(shù)由于其輕巧、便捷、成本低等優(yōu)點(diǎn)，且能夠生成與LiDAR相媲美的帶紋理點(diǎn)云數(shù)據(jù)，因此被廣泛用于三維建模、制圖、導(dǎo)航、機(jī)器人、礦產(chǎn)及救援等領(lǐng)域。

多視影像密集匹配算法按照處理單元的不同可以分為基于立體像對(duì)的算法[1-4]和基于多視對(duì)應(yīng)的算法[5-11]，前者首先對(duì)所有立體像對(duì)進(jìn)行匹配生成視差圖，再進(jìn)行多視匹配結(jié)果的融合；后者通常在多視影像間利用強(qiáng)約束關(guān)系進(jìn)行匹配，再利用區(qū)域生長(zhǎng)算法向四周擴(kuò)散。按照優(yōu)化策略的不同也可分為基于局部匹配的算法和基于全局匹配的算法，前者使用了一個(gè)表面光滑的隱式假設(shè)，它們對(duì)窗口內(nèi)的像素計(jì)算一個(gè)固定視差；相反，所謂的全局算法使用顯示的方程來(lái)表達(dá)光滑性假設(shè)，之后通過全局最優(yōu)問題來(lái)求解[12]，全局算法的效果要優(yōu)于局部算法，但是算法復(fù)雜度也要高于局部算法。代表算法有動(dòng)態(tài)規(guī)劃法(Dynamic Programming)、置信傳播法(Belief Propagation)及圖割法(Graph Cut)等。文獻(xiàn)[1—2，13]提出的半全局匹配(SGM)算法也是應(yīng)用能量最小化策略，該算法的思想是基于點(diǎn)的匹配代價(jià)，利用多個(gè)一維方向的計(jì)算來(lái)逼近二維計(jì)算，通過對(duì)視差的不同變化加以不同懲罰保證了平滑性約束，因此對(duì)噪聲具有較好的穩(wěn)健性。半全局匹配算法顧及了算法的效率和精度，其計(jì)算精度優(yōu)于局部算法，計(jì)算時(shí)間優(yōu)于全局算法。文獻(xiàn)[14]對(duì)目前流行的4款密集匹配軟件SURE、MicMac、PMVS、PhotoScan進(jìn)行了試驗(yàn)，其中SURE[4]屬于一種基于立體像對(duì)的多視密集匹配方法，首先利用tSGM算法計(jì)算每個(gè)立體像對(duì)的視差影像，接著對(duì)視差影像進(jìn)行融合生成最終點(diǎn)云；MicMac[6,15]是一種多分辨率多視匹配方法，支持基于像方和物方幾何兩種匹配策略，在匹配結(jié)束后采用能量最小化策略來(lái)重建表面；PMVS[9]采用一種基于光照一致性的多視匹配方法，首先進(jìn)行初始匹配生成種子面元，接著通過區(qū)域生長(zhǎng)來(lái)得到一個(gè)準(zhǔn)稠密的面元結(jié)果，最后通過濾波來(lái)剔除局部粗差點(diǎn)；而PhotoScan則采用一種近似SGM的半全局匹配算法。文獻(xiàn)[14]研究結(jié)果表明采用SGM策略的SURE和PhotoScan在算法精度和效率上要優(yōu)于PMVS和MicMac。國(guó)內(nèi)對(duì)于多視密集匹配的相關(guān)研究還比較少，文獻(xiàn)[16]提出一種基于對(duì)極幾何和單應(yīng)映射雙重約束及SIFT特征的寬基線立體匹配算法，文獻(xiàn)[17]提出一種像方特征點(diǎn)和物方平面元集成的多視影像匹配方法，但上述算法都是基于特征來(lái)進(jìn)行影像匹配，只能獲取稠密或準(zhǔn)密集點(diǎn)云。文獻(xiàn)[18]提出一種融合SIFT和SGM的傾斜航空影像密集匹配方法，利用匹配的SIFT特征作為SGM優(yōu)化計(jì)算的路徑約束條件，減少錯(cuò)誤匹配代價(jià)的傳播并加速最優(yōu)路徑搜索過程。

傳統(tǒng)的SGM多視密集匹配算法[2]在進(jìn)行多視影像視差融合時(shí)通常將所有視差影像投影到一個(gè)公共投影面上并進(jìn)行中值濾波獲取最終的視差圖，這種做法只適用于所有相機(jī)的攝站中心近似在同一平面上并且所有相機(jī)的方向近似一致的情況。另一方面，由于在生成密集點(diǎn)云的過程中并未充分利用冗余觀測(cè)值，雖然在視差融合過程中進(jìn)行了中值濾波，生成的密集點(diǎn)云依然存在大量的粗差點(diǎn)，需要通過濾波進(jìn)行后處理。本文提出了一種基于網(wǎng)絡(luò)圖的多視影像密集匹配算法，在算法的整體思路上接近SURE方法：首先根據(jù)影像間的重疊關(guān)系進(jìn)行立體像對(duì)網(wǎng)絡(luò)圖的構(gòu)建，接著對(duì)滿足影像重疊率閾值的立體像對(duì)執(zhí)行tSGM算法計(jì)算兩者間的視差影像，最后依據(jù)網(wǎng)絡(luò)圖可生成顧及所有重疊影像的物方密集點(diǎn)云?；诰W(wǎng)絡(luò)圖的多視影像密集匹配使用網(wǎng)絡(luò)圖中的所有重疊影像通過多片前方交會(huì)來(lái)計(jì)算物方點(diǎn)云，利用冗余觀測(cè)值信息可以有效剔除密集匹配中的粗差點(diǎn)，大大減小了后續(xù)濾波的難度和耗時(shí)。

1 基于網(wǎng)絡(luò)圖的高分辨率多視影像密集匹配

基于網(wǎng)絡(luò)圖的多視影像密集匹配主要包括多視影像網(wǎng)絡(luò)圖構(gòu)建、立體像對(duì)視差圖計(jì)算、基于網(wǎng)絡(luò)圖的單視密集點(diǎn)云生成以及多視密集點(diǎn)云融合4個(gè)部分。首先利用影像間的重疊關(guān)系構(gòu)建網(wǎng)絡(luò)圖并確定候選匹配像對(duì)列表，接著利用改進(jìn)的tSGM算法進(jìn)行立體像對(duì)間的雙向視差圖生成，進(jìn)而基于網(wǎng)絡(luò)圖進(jìn)行單視密集點(diǎn)云生成，最后對(duì)所有單視點(diǎn)云進(jìn)行融合處理得到最終的密集匹配結(jié)果。

1.1 多視影像網(wǎng)絡(luò)圖構(gòu)建

圖1 多視影像網(wǎng)絡(luò)圖結(jié)構(gòu)示意圖Fig.1 The schematic diagram of multi-view graph network structures

1.2 立體像對(duì)視差圖計(jì)算

1.2.1 核線影像生成

在對(duì)立體像對(duì)進(jìn)行視差計(jì)算前，需要首先對(duì)兩幅影像進(jìn)行核線矯正[19-21]，將二維的匹配搜索降低為一維搜索。假設(shè)相機(jī)的內(nèi)參數(shù)矩陣為K，已定向的左右影像外方位元素分別為Rl、Cl和Rr、Cr(Rl、Rr為外方位角元素構(gòu)建的旋轉(zhuǎn)矩陣，Cl、Cr為外方位線元素)，基線向量B=Cr-Cl，則原始左右影像變換至核線影像的旋轉(zhuǎn)矩陣Rrect按式(1)計(jì)算

(1)

可得左右核線影像的旋轉(zhuǎn)矩陣為

則可得原始左右影像到核線影像的單應(yīng)變換矩陣為

(2)

在獲取上述單應(yīng)變換矩陣后，原始影像上的像點(diǎn)xo與矯正后核線影像上的對(duì)應(yīng)像點(diǎn)xr滿足

(3)

即可按照間接微分糾正法獲取左右影像對(duì)應(yīng)的核線影像。

1.2.2 半全局匹配SGM[2]

立體像對(duì)的密集匹配問題是在兩幅影像上逐像素尋找同名像點(diǎn)的過程，利用核線影像，傳統(tǒng)的二維搜索可以簡(jiǎn)化為同一掃描行上的一維搜索。令參考影像和匹配影像分別記為Ib和Im，則兩幅影像上的同名像點(diǎn)的視差滿足：d=xm-xb，SGM算法的目標(biāo)是估計(jì)立體像對(duì)的視差使得全局代價(jià)函數(shù)最小化。全局代價(jià)函數(shù)E(D)計(jì)算公式為

(4)

Lri(xb,d)=C(xb,d)+min[Lr(xb-ri,d),

Lri(xb-ri,d-1)+P1,

Lri(xb-ri,d+1)+P1,

Lri(xb-ri,i)+P2]-

minkLr(xb-ri,k)

(5)

式中，最后一項(xiàng)用于保證Lri(xb,d)

(6)

最后，取每個(gè)像素的累計(jì)視差最小值對(duì)應(yīng)視差dfinal=mindS(xb,d)作為視差影像D的視差結(jié)果以使得全局代價(jià)函數(shù)最小化。

1.2.3 改進(jìn)的金字塔層級(jí)匹配策略

(7)

圖2 影像局部區(qū)域密集匹配不同階段視差結(jié)果影像和不同中值濾波最終結(jié)果Fig.2 The dense matching results of different processing stages for local area

突變區(qū)域和無(wú)效區(qū)域，再次利用導(dǎo)向中值濾波對(duì)上述區(qū)域進(jìn)行插值。圖2給出了影像局部區(qū)域不同階段的視差結(jié)果影像，從左到右依次為原始影像、SGM初始匹配視差影像、中值濾波后的視差影像以及斑塊修復(fù)后的最終結(jié)果影像；同時(shí)，還給出了導(dǎo)向中值濾波和傳統(tǒng)中值濾波結(jié)果對(duì)比影像。從局部放大圖可以看出，利用改進(jìn)的導(dǎo)向中值濾波生成的視差圖與原始影像上的物體輪廓細(xì)節(jié)保持了高度的一致性。在本文的算法中，考慮到網(wǎng)絡(luò)圖中邊的方向性，需要同時(shí)輸出參考影像和匹配影像對(duì)應(yīng)的視差影像(圖3)。

圖3 核線立體像對(duì)及其密集匹配視差影像示例Fig.3 Stereo dense matching results of epipolar images

1.3 基于網(wǎng)絡(luò)圖的單視密集點(diǎn)云生成

(8)

圖4 基于網(wǎng)絡(luò)圖的影像間像素幾何對(duì)應(yīng)關(guān)系傳遞Fig.4 The geometric correspondence relationship across multi-view images based on graph network

由于轉(zhuǎn)換后的像點(diǎn)坐標(biāo)為浮點(diǎn)值，因此在獲取對(duì)應(yīng)視差值時(shí)需要進(jìn)行雙線性內(nèi)插。另外，計(jì)算過程中視差圖需要根據(jù)有向圖的方向來(lái)選擇。按照上述思路，在網(wǎng)絡(luò)圖中獲取從影像i節(jié)點(diǎn)出發(fā)的所有有向邊，即可獲取xi在所有匹配影像上同名像點(diǎn)集合，則根據(jù)

xi=Pi·Xi

(9)

式中，xi為同名像點(diǎn)坐標(biāo)；Pi為像點(diǎn)所在影像的已標(biāo)定內(nèi)外方位元素構(gòu)成的投影矩陣。利用多片前方交會(huì)便可計(jì)算得到xi對(duì)應(yīng)的物方點(diǎn)坐標(biāo)Xi以及其對(duì)應(yīng)的平均反投影誤差σr，反投影誤差按式(10)計(jì)算

(10)

式中，(x,y)為原始影像像點(diǎn)坐標(biāo)；(x′,y′)為利用多片前交物方點(diǎn)反投影到原始影像的像點(diǎn)坐標(biāo)。

雖然在立體像對(duì)視差圖生成過程中利用左右一致性檢驗(yàn)、斑塊剔除和中值濾波處理，依然會(huì)存在一些粗差點(diǎn)，通過設(shè)置多片前方交會(huì)的最少影像數(shù)目N(默認(rèn)取3)和像點(diǎn)平均反投影誤差閾值ε(默認(rèn)取5.0像素)可以有效剔除潛在的粗差點(diǎn)，大大減少后續(xù)濾波處理的復(fù)雜度和耗時(shí)；此外，由于多片前交過程中充分利用了冗余觀測(cè)值信息，相比于直接利用立體像對(duì)生成點(diǎn)云或視差融合的方法，重建的密集點(diǎn)云精度更高。另一方面，由于采樣網(wǎng)絡(luò)圖的方式，同一物方點(diǎn)從不同的影像節(jié)點(diǎn)出發(fā)，其最終搜索到的同名像點(diǎn)列表都是相同的，使得不同的單視影像生成的密集點(diǎn)云坐標(biāo)系統(tǒng)完全一致，不存在微小的偏移量，降低了后續(xù)的多視密集點(diǎn)云融合的難度。

1.4 多視密集點(diǎn)云融合

經(jīng)過上述步驟可以獲取每張影像對(duì)應(yīng)的單視密集點(diǎn)云，由于受視角、遮擋、誤匹配等因素的影響，不同影像生成的單視點(diǎn)云需要進(jìn)行融合，以使得重疊區(qū)域的點(diǎn)云趨于完整。一方面，由于多視密集點(diǎn)云在視差變化劇烈的建筑物邊緣、植被以及遮擋區(qū)域依然存在一些誤匹配點(diǎn)，需要對(duì)融合后的點(diǎn)云進(jìn)行噪聲去除；另一方面，由于多視密集點(diǎn)云之間含有一定的重疊度，導(dǎo)致點(diǎn)云密度很大，需要對(duì)融合后的點(diǎn)云進(jìn)行格網(wǎng)重采樣。本文的多視密集點(diǎn)云融合具體思路如下：

(1) 采用開源軟件PCL中的點(diǎn)云濾波方法對(duì)各單視密集點(diǎn)云進(jìn)行噪聲去除，由于本文的算法在前面步驟中已經(jīng)剔除了大部分的粗差點(diǎn)，因此該步驟只需要將剩余的一些噪聲和離散點(diǎn)剔除。

(2) 根據(jù)所有單視密集點(diǎn)云的外包盒求取整個(gè)測(cè)區(qū)的最小外包盒，設(shè)定目標(biāo)格網(wǎng)的采樣分辨率，生成等間距的采樣格網(wǎng)點(diǎn)。

(3) 逐一遍歷格網(wǎng)點(diǎn)，獲取覆蓋該格網(wǎng)點(diǎn)有效的單視密集點(diǎn)云數(shù)據(jù)，利用K-d樹搜索獲取其鄰域范圍內(nèi)的M個(gè)鄰近點(diǎn)，利用單視密集點(diǎn)云生成過程中獲取的物方點(diǎn)反投影誤差作為優(yōu)先級(jí)測(cè)度，保留鄰域反投影誤差最小的點(diǎn)作為采樣點(diǎn)。

2 試驗(yàn)與分析

2.1 試驗(yàn)數(shù)據(jù)

試驗(yàn)選擇ISPRS提供的Vaihingen城市機(jī)載航空影像(http:∥www2.isprs.org/commissions/comm3/wg4/detection-and-reconstruction.html)和ISPRS/EuroSDR項(xiàng)目蘇黎世的傾斜下視影像(http:∥www.ifp.uni-stuttgart.de/ISPRS-EuroSDR/ImageMatching/index.html)作為試驗(yàn)數(shù)據(jù)，影像集的相關(guān)描述見表1。其中，Vaihingen數(shù)據(jù)集同時(shí)含有機(jī)載LiDAR參考點(diǎn)云數(shù)據(jù)，用于本文算法的實(shí)際精度評(píng)定。蘇黎世數(shù)據(jù)采用Leica RCD30傾斜相機(jī)平臺(tái)獲取，影像數(shù)據(jù)的測(cè)區(qū)范圍及其重疊關(guān)系如圖5所示，研究目標(biāo)區(qū)域?yàn)閳D中紅色矩形框范圍內(nèi)的區(qū)域，該區(qū)域的影像重疊率大部分為8°重疊，冗余觀測(cè)值信息豐富，有利于獲取高精度的密集點(diǎn)云結(jié)果。基于Win7 64位系統(tǒng)采用VC++2010、CUDA 6.0開發(fā)了多視影像密集匹配軟件Mogas-SURF，硬件平臺(tái)為Dell Precision T7600工作站，處理器為Intel Xeon E5-2650、主頻2.0GHz，內(nèi)存64GB，顯卡為16GB NVIDIA GeForce GTX TITAN?？紤]到內(nèi)存占用和處理時(shí)間，本文對(duì)原始影像均進(jìn)行一次降采樣進(jìn)行密集匹配試驗(yàn)。

表1 密集匹配試驗(yàn)影像集數(shù)據(jù)描述

圖5 試驗(yàn)影像數(shù)據(jù)集及其重疊關(guān)系覆蓋圖Fig.5 The coverage and overlap relationships of test image datasets

本文通過多視影像網(wǎng)絡(luò)圖構(gòu)建過程中立體像對(duì)重疊度閾值的不同，設(shè)計(jì)了3種不同配置方案的密集匹配試驗(yàn)(圖6)：第1種情形僅考慮航帶內(nèi)的相鄰影像構(gòu)成的立體像對(duì)，第2種情形考慮航帶內(nèi)左右各2張影像構(gòu)建的立體像對(duì)，第3種情形在第2種情形基礎(chǔ)上增加航帶間的旁向重疊立體像對(duì)。

圖6 基于網(wǎng)絡(luò)圖的3種密集匹配配置方案Fig.6 Three kind of matching configurations for multi-view dense matching based on graph network

2.2 密集點(diǎn)云生成及精度分析

2.2.1 蘇黎世數(shù)據(jù)試驗(yàn)

密集匹配點(diǎn)云的內(nèi)符合精度可以利用多片前方交會(huì)過程中的平均反投影誤差來(lái)反映，以蘇黎世的影像-954為例，其對(duì)應(yīng)的單視密集點(diǎn)云結(jié)果如圖7所示，從左到右依次為彩色點(diǎn)云、按高程渲染的偽彩色點(diǎn)云、按平均反投影誤差渲染的偽彩色圖。

對(duì)上述密集匹配點(diǎn)云的平均反投影誤差進(jìn)行統(tǒng)計(jì)：整幅影像的平均反投影誤差中誤差σ0為0.60像素，每個(gè)物方點(diǎn)的平均反投影誤差分布如圖7(c)所示：從圖中結(jié)果可以看出，絕大部分點(diǎn)的平均反投影誤差在1.0像素以內(nèi)，誤差較大的點(diǎn)一般位于高大建筑物、植被等邊緣遮擋區(qū)域，與文獻(xiàn)[12,14]得到的結(jié)論相一致。這是上述區(qū)域在立體像對(duì)的視差圖生成時(shí)容易出現(xiàn)噪聲、漏洞等情況，而進(jìn)行左右一致性檢驗(yàn)時(shí)粗差點(diǎn)一般也位于該類區(qū)域，雖然能夠經(jīng)過中值濾波獲取近似視差，但該部分視差的可信度較低，導(dǎo)致最終的平均反投影誤差較大，該部分殘差較大的物方點(diǎn)可以在多視密集點(diǎn)云融合過程中得以進(jìn)一步剔除。

為了比較3種不同配置下的密集匹配結(jié)果，分別對(duì)候選立體像對(duì)數(shù)目、點(diǎn)云數(shù)目、密集匹配耗時(shí)、平均反投影誤差中誤差等因素進(jìn)行了統(tǒng)計(jì)(見表2)，其中點(diǎn)云數(shù)目?jī)H取影像-954密集匹配結(jié)果為例。

表2 3種配置方案的密集匹配結(jié)果統(tǒng)計(jì)

Tab.2 The statistical results of dense matching by three configurations

方案候選立體像對(duì)數(shù)目點(diǎn)云數(shù)目(影像-954)密集匹配耗時(shí)/min平均反投影誤差中誤差/像素①2411574821≈580.60②4511018062≈1010.70③6212136501≈1351.08

從上述結(jié)果可以看出，增加重疊度較小的航線內(nèi)立體像對(duì)和旁向立體像對(duì)對(duì)于密集匹配多片前交過程中生成的有效點(diǎn)云數(shù)目影響不大，反而使得重建點(diǎn)云的精度下降。通常情況下，交會(huì)角越大，重建精度越高，但是在進(jìn)行密集匹配時(shí)，由于重疊度較小的立體像對(duì)基高比較大，導(dǎo)致影像間的遮擋區(qū)域增多，而遮擋區(qū)域的視差精度一般較低，使得這部分點(diǎn)云在多片前交的過程中由于反投影誤差超限而被剔除；而由于本文算法利用網(wǎng)絡(luò)圖的傳遞性，利用高精度的相鄰立體像對(duì)匹配視差可以獲取節(jié)點(diǎn)距離大于1的非鄰接影像節(jié)點(diǎn)的匹配對(duì)應(yīng)關(guān)系，優(yōu)于直接利用小重疊度的立體像對(duì)密集匹配精度。將多片前方交會(huì)過程中物方點(diǎn)的平均反投影誤差作為多視密集點(diǎn)云融合的鄰域選擇優(yōu)先級(jí)測(cè)度，對(duì)目標(biāo)區(qū)域的多視密集點(diǎn)云進(jìn)行融合，結(jié)果如圖8所示(方案①結(jié)果)。

2.2.2 Vaihingen數(shù)據(jù)試驗(yàn)

由于實(shí)際定位精度除了受到匹配精度的影響，同時(shí)會(huì)受到基高比的影響，僅利用反投影誤差不能完全反映密集匹配的實(shí)際精度，因此選取Vaihingen數(shù)據(jù)中包含植被和建筑的目標(biāo)區(qū)域利用參考LiDAR點(diǎn)云對(duì)本文算法進(jìn)行了驗(yàn)證，同時(shí)比較了3種方案的實(shí)際精度，結(jié)果如圖9所示。

從試驗(yàn)結(jié)果可以看出，本文算法獲取的密集點(diǎn)云與機(jī)載LiDAR參考點(diǎn)云從整體效果來(lái)看是一致的，3種方案密集匹配點(diǎn)云的中誤差分別為1.50 GSD、1.75 GSD、1.87 GSD，這與上文利用反投影誤差來(lái)評(píng)價(jià)得到的結(jié)論是一致的。通過比較3種方案下的點(diǎn)位誤差分布圖可以看出，方案②與方案①相比并未增加用于前方交會(huì)的影像數(shù)目，由于受寬基線立體像對(duì)密集匹配精度較差帶來(lái)的影響，因此整體精度低于方案①；方案③與方案①相比，增加了旁向影像用于前方交會(huì)，從圖中可以看出，在一些局部區(qū)域點(diǎn)位精度要優(yōu)于方案①，但旁向立體像對(duì)大交會(huì)角導(dǎo)致遮擋區(qū)域的匹配精度進(jìn)一步降低，重建密集點(diǎn)云的完整性和整體精度比方案①差。另一方面，考慮到Vaihingen數(shù)據(jù)的影像航向重疊度僅為60%，而更高的重疊度有利于進(jìn)一步提高密集點(diǎn)云的點(diǎn)位精度。單個(gè)立體像對(duì)密集匹配的平均耗時(shí)約為2 min，總的密集匹配耗時(shí)與候選立體像對(duì)數(shù)目成正比，采用方案①在保證更高精度的同時(shí)，可以大大減少密集匹配耗時(shí)。在進(jìn)行航線規(guī)劃時(shí)，建議增加航向重疊度，同時(shí)保證一定的旁向重疊，在獲取高精度的密集點(diǎn)云的同時(shí)提高外業(yè)飛行效率。如果是無(wú)人機(jī)航飛，由于姿態(tài)變化較大，需要適當(dāng)增加旁向重疊度。

2.2.3 與SURE、PhotoScan結(jié)果對(duì)比

為了比較本文算法與當(dāng)前流行的密集匹配軟件精度和效果，利用蘇黎世數(shù)據(jù)分別選取了屋頂平面和房屋橫斷面兩個(gè)研究對(duì)象(如圖10、圖11所示)，圖中給出的本文算法和SURE的結(jié)果點(diǎn)云是未經(jīng)過濾波后處理的密集匹配點(diǎn)云，而PhotoScan軟件由于無(wú)法獲取中間數(shù)據(jù)，直接給出最終的點(diǎn)云數(shù)據(jù)。密集點(diǎn)云的地面分辨率GSD為0.12 m，本文算法采用方案①，SURE和PhotoScan采用默認(rèn)設(shè)置，通過輸出日志可知其使用方案③。由于本文方法與SURE整體思路較為接近，首先進(jìn)行兩者的密集匹配結(jié)果比較：從圖10、11中結(jié)果可以看出，SURE軟件生成的點(diǎn)云存在明顯的“重影”現(xiàn)象(見圖中的紅色橢圓區(qū)域)，而本文算法點(diǎn)云結(jié)果很清晰，未出現(xiàn)該現(xiàn)象。究其原因，由于SURE在同一區(qū)域的點(diǎn)云生成過程中，使用不同的影像集來(lái)前方交會(huì)獲取，因此生成的點(diǎn)云之間會(huì)存在微小偏移量，而本文算法采用了網(wǎng)絡(luò)圖的結(jié)構(gòu)，同一區(qū)域的點(diǎn)云無(wú)論從哪張主視圖影像計(jì)算都能獲得相同的前方交會(huì)影像集，因此生成的點(diǎn)云可以“無(wú)縫”融合。

研究對(duì)象a為一水平屋頂，可認(rèn)為具有相同的高程值，由于SURE結(jié)果包含了多層重復(fù)點(diǎn)云，無(wú)法直接計(jì)算每個(gè)點(diǎn)的高程偏差，因此對(duì)點(diǎn)云按照1倍GSD進(jìn)行重采樣，取鄰域內(nèi)到平均高程面最小的點(diǎn)最為保留點(diǎn)。分別對(duì)本文算法、SURE和PhotoScan 3種方式獲取的密集點(diǎn)云進(jìn)行殘差統(tǒng)計(jì)，其對(duì)應(yīng)的高程偏差RMSE分別為0.11、0.12、0.10 m(如圖10所示)。從結(jié)果統(tǒng)計(jì)可以看出，雖然本文算法使用了更少的匹配像對(duì)，但在匹配精度上與SURE和PhotoScan相當(dāng)，均在1倍GSD以內(nèi)。

研究對(duì)象b為一房屋橫斷面，可以從另一方面反映匹配的垂直方向精度，分別對(duì)3種算法獲取的結(jié)果點(diǎn)云數(shù)據(jù)在橫斷面上進(jìn)行最鄰近采樣并疊加顯示，其結(jié)果如圖12所示。從上述結(jié)果可以看出，3種算法均能夠很好地反映出屋頂?shù)恼w輪廓。Detail1和Detail2分別為屋頂?shù)奶齑?平面區(qū)域)和屋脊所在區(qū)域，從局部細(xì)節(jié)圖上可以看出，本文算法在局部細(xì)節(jié)上的性能優(yōu)于SURE和PhotoScan；在屋頂?shù)恼w光滑度方面，PhotoScan算法表現(xiàn)最好，本文算法和SURE均出現(xiàn)了細(xì)微的 “抖動(dòng)”。從PhotoScan點(diǎn)云的整體效果上看，推測(cè)應(yīng)該是其對(duì)結(jié)果點(diǎn)云進(jìn)行了平滑處理的原因。

2.3 特殊區(qū)域匹配結(jié)果

建筑物邊緣、植被、水體等視差不連續(xù)、弱紋理或重復(fù)紋理區(qū)域?qū)儆诹Ⅲw匹配中的困難區(qū)域[12,14]，本文算法在上述區(qū)域也能夠獲取比較理想的匹配結(jié)果(圖13)，圖中分別給出了按高程渲染的偽彩色圖以及不同視角下的三維彩色點(diǎn)云。由于在改進(jìn)的tSGM算法中引入了導(dǎo)向中值濾波，可以很好地保持目標(biāo)的邊緣特性，同時(shí)利用多片前交過程中物方點(diǎn)的平均反投影誤差約束密集點(diǎn)云的生成，使得最終的點(diǎn)云具有很高的可信度；另外，對(duì)無(wú)效視差或噪聲區(qū)域利用周圍有效視差通過導(dǎo)向?yàn)V波進(jìn)行了插值，因此在弱紋理或重復(fù)紋理區(qū)域也能夠獲取比較理想的視差結(jié)果。

3 結(jié)論和展望

本文提出了一種基于網(wǎng)絡(luò)圖的高分辨率多視影像密集匹配技術(shù)，針對(duì)低重疊度寬基線立體像對(duì)不直接進(jìn)行密集匹配而利用網(wǎng)絡(luò)圖的傳遞性獲取影像間的匹配對(duì)應(yīng)關(guān)系，不僅減少了密集匹配階段的立體像對(duì)數(shù)目提高了效率，同時(shí)密集匹配結(jié)果點(diǎn)云的完整性和精度更高；另一方面，由于網(wǎng)絡(luò)圖的使用，使得不同主視圖影像前方交會(huì)生成的密集點(diǎn)云可以無(wú)縫“融合”。利用ISPRS提供的Vaihingen和Zürich參考影像數(shù)據(jù)集進(jìn)行了試驗(yàn)，結(jié)果表明：本文算法對(duì)高分辨率多視影像密集匹配是有效可行的，無(wú)論在匹配完整性、效率、精度上都能獲取較好的結(jié)果，重建的密集點(diǎn)云平均反投影誤差的中誤差可以達(dá)到亞像素級(jí)精度，實(shí)際精度可以達(dá)到1.5倍GSD。由于在密集匹配階段引入導(dǎo)向中值濾波來(lái)代替原有的中值濾波，使得密集匹配算法具有更好的邊緣保持特性，在建筑物、植被、水體等視差不連續(xù)、弱紋理或重復(fù)紋理區(qū)域也取得了較好的匹配結(jié)果。后續(xù)將進(jìn)一步研究如何提高寬基線立體像對(duì)的密集匹配精度和高分辨率立體像對(duì)密集匹配的效率，本文的相關(guān)研究和結(jié)論為傾斜多視影像密集匹配提供了良好的基礎(chǔ)。

圖7 影像-954密集匹配結(jié)果Fig.7 The dense matching results of image-954

圖8 多視密集點(diǎn)云融合結(jié)果Fig.8 The fused result of multi-view point clouds

圖10 屋頂平面研究對(duì)象及密集匹配結(jié)果Fig.10 The test planar roof with its multi-view dense matching results are presented

圖11 房屋橫斷面研究對(duì)象及密集匹配結(jié)果Fig.11 The test profile of roof with its multi-view dense matching results are presented

圖12 研究對(duì)象b對(duì)應(yīng)3種算法的剖面疊加及局部細(xì)節(jié)圖Fig.12 The profiles of roof derived from the proposed method,SURE and PhotoScan are presented as well as the superposition of details

圖13 特殊區(qū)域(建筑、水體、植被等)密集匹配結(jié)果Fig.13 The multi-view dense matching result in difficult areas with sharp discontinuities,weak textureness or repeat textureness

致謝：感謝ISPRS/EuroSDR項(xiàng)目及斯圖加特大學(xué)攝影測(cè)量研究所提供的傾斜影像試驗(yàn)數(shù)據(jù)。

[1] HIRSCHMULLER H.Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information[C]∥Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05).San Diego,CA: IEEE,2005,2: 807-814.

[2] HIRSCHMULLER H.Stereo Processing by Semiglobal Matching and Mutual Information[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(2): 328-341.

[3] GEHRKE S,MORIN K,DOWNEY M,et al.Semi-Global Matching: An Alternative to LIDAR for DSM Generation[C]∥Proceedings of the 2010 Canadian Geomatics Conference and Symposium of Commission I.Calgary,AB,Canada: [s.n.],2010,2: 6.

[4] ROTHERMEL M,WENZEL K,FRITSCH D,et al.SURE: Photogrammetric Surface Reconstruction from Imagery[C]∥Proceedings LC3D Workshop.Berlin: [s.n.],2012: 8.

[5] ZHANG Li.Automatic Digital Surface Model (DSM) Generation from Linear Array Images[D].Mitteilungen: Swiss Federal Institute of Technology (ETH) Zürich,2005.

[6] PIERROT-DESEILLIGNY M,PAPARODITIS N.A Multiresolution and Optimization-based Image Matching Approach: An Application to Surface Reconstruction from SPOT5-HRS Stereo Imagery[C]∥IAPRS vol XXXVI-1/W41 in ISPRS Workshop On Topographic Mapping from Space (With Special Emphasis on Small Satellites).Ankara,Turquie: [s.n.],2006.

[7] GOESELE M,SNAVELY N,CURLESS B,et al.Multi-View Stereo for Community Photo Collections[C]∥Proceedings of the 11th International Conference on Computer Vision.Rio de Janeiro: IEEE,2007: 1-8.

[8] REMONDINO F,MENNA F.Image-Based Surface Measurement for Close-Range Heritage Documentation[C]∥Proceedings of the International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences.Beijing: [s.n.],2008,37: 199-206.

[9] FURUKAWA Y,PONCE J.Accurate,Dense,and Robust Multiview Stereopsis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(8): 1362-1376.

[10] VU H H,LABATUT P,PONS J P,et al.High Accuracy and Visibility-Consistent Dense Multiview Stereo[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(5): 889-901.

[11] TOLDO R,FANTINI F,GIONA L,et al.Accurate Multiview Stereo Reconstruction with Fast Visibility Integration and Tight Disparity Bounding[C]∥Proceedings of the International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences.Trento,Italy: [s.n.],2013: 243-249.

[12] HAALA N.The Landscape of Dense Image Matching Algorithms[M]∥FRITSCH D.Proceedings of Photogrammetric Week 2013.Stuttgart: [s.n.],2013.

[13] HIRSCHMüLLER H.Semi-Global Matching-Motivation,Developments and Applications[C]∥Photogrammetric Week 11.Stuttgart,Germany: [s.n.],2011: 173-184.

[14] REMONDINO F,SPERA M G,NOCERINO E,et al.State of the Art in High Density Image Matching[J].The Photogrammetric Record,2014,29(146): 144-166.

[15] DESEILLIGNY M P,CLERY I.Apero,An Open Source Bundle Adjusment Software for Automatic Calibration and Orientation of Set of Images[C]∥Proceedings of the International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences.Trento,Italy: [s.n.],2011: 269277.

[16] 楊化超,姚國(guó)標(biāo),王永波.基于SIFT的寬基線立體影像密集匹配[J].測(cè)繪學(xué)報(bào),2011,40(5): 537-543.

YANG Huachao,YAO Guobiao,Wang Yongbo.Dense Matching for Wide Base-line Stereo Images Based on SIFT[J].Acta Geodaetica et Cartographica Sinica,2011,40(5): 537-543.

[17] 王競(jìng)雪,朱慶,王偉璽.多匹配基元集成的多視影像密集匹配方法[J].測(cè)繪學(xué)報(bào),2013,42(5): 691-698.

WANG Jingxue,ZHU Qing,WANG Weixi.A Dense Matching Algorithm of Multi-View Image Based on the Integrated Multiple Matching Primitives[J].Acta Geodaetica et Cartographica Sinica,2013,42(5): 691-698.

[18] 吳軍,姚澤鑫,程門門.融合SIFT與SGM的傾斜航空影像密集匹配[J].遙感學(xué)報(bào),2015,19(3): 431-442.

WU Jun,YAO Zexin,CHENG Menmen.Airborne Oblique Stereo Image Dense Matching by Integrating SIFT and SGM Algorithm[J].Journal of Remote Sensing,2015,19(3): 431-442.

[19] LOOP C,ZHANG Zhengyou.Computing Rectifying Homographies for Stereo Vision[C]∥Proceedings of the Computer Society Conference on Computer Vision and Pattern Recognition.Fort Collins,CO: IEEE,1999: 1.

[20] POLLEFEYS M,KOCH R,VAN GOOL L.A Simple and Efficient Rectification Method for General Motion[C]∥Proceedings of the 7th IEEE International Conference on Computer Vision.Kerkyra: IEEE,1999,1: 496-501.

[21] MONASSE P,MOREL J M,TANG Zhongwei.Three-Step Image Rectification[C]∥BMVC 2010-British Machine Vision Conference.Aberystwyth,United Kingdom: BMVA Press,2010: 89.1-89.10.

(責(zé)任編輯：張艷玲)

A Multi-view Dense Matching Algorithm of High Resolution Aerial Images Based on Graph Network

YAN Li，F(xiàn)EI Liang，CHEN Changhai，YE Zhiyun，ZHU Ruixi

School of Geodesy and Geomatics,Wuhan University,Wuhan 430079,China

A multi-view dense matching algorithm of high resolution aerial images based on graph network was presented.Overlap ratio and direction between adjacent images was used to find the candidate stereo pairs and build the graph network,then a Coarse-to-Fine strategy based on modified semi-global matching algorithm (SGM) was adapted to calculate the disparity map of stereo pairs.Finally,dense point cloud was generated and fused using a multi-triangulation method based on graph network.In the experiment part,the Vaihingen aerial image dataset and the oblique nadir image block of Zürich in ISPRS/EuroSDR project were used to test the algorithm above.Experiment results show that out method is effective for multi-view dense matching of high resolution aerial images in consideration of completeness,efficiency and precision,while the RMS of average reprojection error can reach subpixel level and the actual deviation is better than 1.5 GSD.Due to the introduction of guided median filter,regions of sharp discontinuities,weak textureness or repeat textureness like buildings,vegetation and water body can also be matched well.

high resolution；multi-view;dense matching；SGM；graph network

The National Public Welfare Foundation for Surveying,Mapping and Geoinformation Industry Research (No.201512008); The Fundamental Research Funds for the Central Universities (No.2015214020201)

YAN Li(1966—)，male，PhD，professor，majors in photogrammetry and remote sensing.

FEI Liang

閆利，費(fèi)亮，陳長(zhǎng)海，等.利用網(wǎng)絡(luò)圖進(jìn)行高分辨率航空多視影像密集匹配[J].測(cè)繪學(xué)報(bào)，2016,45(10)：1171-1181.

10.11947/j.AGCS.2016.20160068.

YAN Li，F(xiàn)EI Liang，CHEN Changhai，et al.A Multi-view Dense Matching Algorithm of High Resolution Aerial Images Based on Graph Network[J].Acta Geodaetica et Cartographica Sinica,2016,45(10):1171-1181.DOI:10.11947/j.AGCS.2016.20160068.

P237.3

A

1001-1595(2016)10-1171-11

測(cè)繪地理信息公益性行業(yè)科研專項(xiàng)(201512008)；中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金(2015214020201)

2016-02-24

修回日期：2016-06-21

閆利(1966—)，男，博士，教授，研究方向?yàn)閿z影測(cè)量與遙感。

E-mail：lyan@sgg.whu.edu.cn.

費(fèi)亮

E-mail：lfei@whu.edu.cn