顧及紋理特征的航空影像自適應(yīng)密集匹配方法

朱 慶，陳崇泰，胡 翰，丁雨淋

1. 西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756； 2. 西南交通大學(xué)高速鐵路運(yùn)營安全空間信息技術(shù)國家地方聯(lián)合工程實(shí)驗(yàn)室，四川 成都 611756； 3. 香港理工大學(xué)土地測量與地理資訊學(xué)系，香港 999077； 4. 香港中文大學(xué)太空與地球信息科學(xué)研究所，香港 999077； 5. 深圳市數(shù)字城市工程研究中心，廣東 深圳 518034

顧及紋理特征的航空影像自適應(yīng)密集匹配方法

朱 慶1,2，陳崇泰1,5，胡 翰1,3，丁雨淋1,4

1. 西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756； 2. 西南交通大學(xué)高速鐵路運(yùn)營安全空間信息技術(shù)國家地方聯(lián)合工程實(shí)驗(yàn)室，四川 成都 611756； 3. 香港理工大學(xué)土地測量與地理資訊學(xué)系，香港 999077； 4. 香港中文大學(xué)太空與地球信息科學(xué)研究所，香港 999077； 5. 深圳市數(shù)字城市工程研究中心，廣東 深圳 518034

半全局匹配實(shí)質(zhì)是在視差連續(xù)性假設(shè)下的離散優(yōu)化方法。為克服視差斷裂帶影響，依賴一組參數(shù)控制視差不一致性。若參數(shù)過小，在平面內(nèi)難以保證視差連續(xù)性，產(chǎn)生明顯噪聲，導(dǎo)致凹凸不平現(xiàn)象；若參數(shù)過大，將致使物體表面過于平滑，難以保留視差斷裂等重要特征。為克服上述問題，本文提出了一種顧及紋理特征的自適應(yīng)密集匹配方法：首先，檢測影像紋理特征并定量表達(dá)紋理豐富性程度；其次，依據(jù)紋理豐富程度與視差差異存在正相關(guān)的規(guī)則知識，實(shí)現(xiàn)匹配參數(shù)依據(jù)紋理信息的自適應(yīng)選擇；最后，采用上述參數(shù)進(jìn)行自適應(yīng)的半全局匹配。通過ISPRS基準(zhǔn)數(shù)據(jù)集和國產(chǎn)SWDC-5獲取的傾斜影像進(jìn)行試驗(yàn)分析證明，本文方法能夠有效減少低紋理區(qū)域匹配噪聲，同時(shí)更有效保留邊緣特征。

影像密集匹配；半全局匹配；紋理特征；自適應(yīng)方法

航空影像密集匹配點(diǎn)云，由于其具有色彩、紋理信息，并且點(diǎn)云密度高，已成為三維城市重建的重要數(shù)據(jù)源[1-2]。特別是隨著半全局匹配算法(semi-global matching，SGM)[3]的出現(xiàn)與發(fā)展，SGM以其高效、快速的特點(diǎn)，已被廣泛用于商用攝影測量軟件[4]。然而，影像密集匹配質(zhì)量受物體遮擋、視差斷裂、影像噪聲、紋理缺乏以及光照條件不一致等因素影響，在實(shí)際應(yīng)用中，點(diǎn)云粗糙、缺漏、無法保留邊緣線等現(xiàn)象明顯[5-6]，如圖1所示。

圖1 密集匹配點(diǎn)云噪聲及邊緣缺失問題Fig.1 Noise and losses of edge problems of point cloud from dense matching

影像密集匹配主要包含4個(gè)主要步驟[5]：匹配代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算和視差優(yōu)化。針對以上步驟，目前主要有兩種不同的策略：①局部方法，其視差計(jì)算僅依賴于局部信息，因此為提高可靠性通常采用點(diǎn)、線等匹配基元進(jìn)行多視影像匹配[6-10]，其最終結(jié)果通常也呈現(xiàn)為準(zhǔn)密集匹配(quasidense)點(diǎn)；②全局方法[11-13]，在進(jìn)行核線糾正之后，通過構(gòu)建合適的能量函數(shù)，將密集匹配轉(zhuǎn)化為在視差連續(xù)性約束下的離散優(yōu)化問題，此策略不僅效率更高，且點(diǎn)云密度更大，Middlebury基準(zhǔn)測試中性能較為優(yōu)異的算法[11,13]均屬于此類。通常全局優(yōu)化問題可以通過馬爾可夫隨機(jī)場(Markov random field，MRF)表達(dá)，MRF中似然概率(likelihood term)表達(dá)匹配代價(jià)的損失值，而先驗(yàn)概率(priori term)則表達(dá)視差連續(xù)性、遮擋等關(guān)系的損失值[12]。

事實(shí)上，上述MRF模型鄰域?yàn)槎S影像，該優(yōu)化問題是NP完全的(NP-complete)，雖然存在一些近似優(yōu)化方法，如圖割(graph cut，GC)[13]、置信度傳播(loopy belief propagation，LBP)[12]等，然而其計(jì)算效率仍然較低，對大規(guī)模航空影像并不適用。不同于MRF，動(dòng)態(tài)規(guī)劃則對單一掃描線進(jìn)行優(yōu)化，能在多項(xiàng)式時(shí)間內(nèi)達(dá)到全局解[5]，因此動(dòng)態(tài)規(guī)劃也被廣泛應(yīng)用于稀疏的特征點(diǎn)、線匹配[14-15]和密集匹配之中[16]。不過正因動(dòng)態(tài)規(guī)劃算法的一維特性，不同掃描線之間斷層現(xiàn)象明顯。為克服上述問題，SGM[3]將單一掃描線的動(dòng)態(tài)規(guī)劃，推廣為16方向，從而近似地表達(dá)全局關(guān)系，并在動(dòng)態(tài)規(guī)劃之中同時(shí)引入視差連續(xù)性約束。另一方面，由于SGM算法不需復(fù)雜的優(yōu)化算法，易于硬件實(shí)現(xiàn)，隨著通用圖形處理器(general purpose graphics processing unit，GPGPU)技術(shù)的發(fā)展，SGM也被廣泛應(yīng)用于GPU實(shí)現(xiàn)，相對CPU算法，速率能提高10倍以上[17]。正由于其較高效率，SGM被廣泛應(yīng)用于航空影像，生成密集匹配點(diǎn)云[18-20]。

然而，無論采用MRF或動(dòng)態(tài)規(guī)劃進(jìn)行全局優(yōu)化，都依賴于一系列參數(shù)控制連續(xù)性約束權(quán)重，如GC[13]采用單一參數(shù)λ和SGM采用雙參數(shù)P1和P2[3]。該參數(shù)的選擇對最終的匹配結(jié)果有較大影響：若參數(shù)過大，將導(dǎo)致無法保持建筑物邊緣等重要斷裂線特征；反之，在平滑區(qū)域會(huì)產(chǎn)生噪聲，造成凹凸不平現(xiàn)象。傳統(tǒng)方法對一景立體像對均采用相同參數(shù)，然而對于航空影像，地物種類錯(cuò)綜復(fù)雜，視差范圍變化較大，同一參數(shù)難以適應(yīng)不同的地物條件，降低匹配點(diǎn)云質(zhì)量。文獻(xiàn)[4]已指出，在密集匹配過程中可顧及影像灰度、紋理信息調(diào)整匹配參數(shù)，提高對不同地形條件的自適應(yīng)能力。傳統(tǒng)SGM算法[3]的參數(shù)P2會(huì)隨梯度變化改變，而SURE[20]則采用Canny算子檢測邊緣自適應(yīng)調(diào)整參數(shù)。上述自適應(yīng)方法可一定程度緩解上述問題，但仍對影像灰度噪聲敏感。

鑒于單一匹配參數(shù)存在的問題，本文提出一種顧及紋理特征的立體影像自適應(yīng)密集匹配方法。該方法在紋理豐富程度與視差連續(xù)性變化存在相關(guān)性的知識約束下，首先，通過紋理檢測算法定量表達(dá)影像紋理特征；其次，利用影像的紋理特性，建立紋理特征與匹配參數(shù)之間逐像素的對應(yīng)關(guān)系，實(shí)現(xiàn)匹配參數(shù)的自適應(yīng)選擇；最后，依據(jù)上述影像相關(guān)的匹配參數(shù)，實(shí)現(xiàn)自適應(yīng)的半全局匹配，同時(shí)降低低紋理區(qū)域點(diǎn)云噪聲并保留邊緣斷裂特征。

1 方法

1.1 基本原理

由于SGM已被大量實(shí)際應(yīng)用證明具有優(yōu)于其他方法的匹配性能[4,18]，因此本文也采用SGM算法，并做出相應(yīng)改進(jìn)，本文提出方法的整體流程如圖2所示。首先生成核線影像對，然后計(jì)算匹配代價(jià)并提取紋理信息，代價(jià)聚合過程中依據(jù)紋理信息自適應(yīng)調(diào)整匹配參數(shù)，最后生成視差圖。

圖2 紋理感知SGM算法流程Fig.2 Flow chart of the texture aware SGM algorithm

由于核線關(guān)系將同名點(diǎn)約束在同一直線上，因此影像匹配通常定義在視差空間之中，僅優(yōu)化每個(gè)像素的視差值。實(shí)際應(yīng)用中，預(yù)先對影像進(jìn)行水平核線糾正，其整體算法效率較動(dòng)態(tài)核線更高，因此本文預(yù)先對影像進(jìn)行核線糾正處理[21]。在代價(jià)計(jì)算中，由于census變換也可近似看作是一種單像素的匹配代價(jià)，同時(shí)具有優(yōu)異的匹配性能和計(jì)算效率，在與單像素代價(jià)的對比中也具有優(yōu)異性能[22]，被廣泛應(yīng)用于密集匹配算法當(dāng)中[23-26]，因此本文采用9×7窗口內(nèi)的census變換作為匹配代價(jià)。具體實(shí)現(xiàn)中僅需存儲(chǔ)對應(yīng)核線影像的64位census編碼，而作為匹配代價(jià)的漢明距離[22]則可采用SSE指令實(shí)時(shí)計(jì)算。

SGM采用了多路徑動(dòng)態(tài)規(guī)劃方法，單個(gè)方向的聚合公式如下所示[3]

(1)

式中，Lr(p,d)表示像素p沿路徑r的匹配代價(jià)，d為視差；Lr(p-r,d)表示當(dāng)前路徑r上p的前一個(gè)點(diǎn)的匹配代價(jià)；P1是前后像素點(diǎn)視差差異為1時(shí)的懲罰參數(shù)，P2是視差差異大于1時(shí)的懲罰參數(shù)。同時(shí)，P2根據(jù)前后像素點(diǎn)的灰度梯度自適應(yīng)調(diào)整，并確保P2>P1。

參數(shù)P1、P2的選擇對最終匹配結(jié)果有較大影響，其大小決定視差圖的平滑程度。當(dāng)參數(shù)較大時(shí)，視差平滑，但在視差斷裂區(qū)域無法保留邊緣細(xì)節(jié)；反之若參數(shù)過小，匹配代價(jià)權(quán)重增大，可能因影像噪聲導(dǎo)致視差粗糙。由于地物錯(cuò)綜復(fù)雜，僅依靠梯度自適應(yīng)調(diào)整參數(shù)難以顧及復(fù)雜的視差變化，因此本文通過分析核線影像的紋理信息，使參數(shù)P1、P2隨紋理信息自適應(yīng)調(diào)整：在紋理缺乏區(qū)域施加較大視差連續(xù)性約束；而在紋理豐富區(qū)域，保留更大的匹配代價(jià)權(quán)重，以保留邊緣信息。

1.2 紋理信息提取方法

紋理特指影像上色調(diào)變化的頻率，實(shí)質(zhì)上也可反映影像的細(xì)部特征[27]。紋理感知的自適應(yīng)密集匹配方法的根本前提是，影像色調(diào)、灰度信息變化頻率與對應(yīng)視差圖的變化頻率存在正比例關(guān)系。低紋理對應(yīng)變化頻率較低區(qū)域，因此可采用較大平滑性約束。反之，紋理豐富區(qū)域，則需采用較小平滑性約束，以保留邊緣結(jié)構(gòu)處的視差突變。

為定量表達(dá)上述色調(diào)變化的頻率大小，可采用不同方向、不同尺度的濾波器[27]，影像信息熵[28]等方法檢測。自適應(yīng)密集匹配算法均利用物體邊緣(contour)會(huì)產(chǎn)生視差斷裂的先驗(yàn)知識，因此在物體邊緣處調(diào)整連續(xù)性約束參數(shù)(P1，P2)大小。已有方法通常僅利用梯度信息獲取物體邊緣，然而此類方法在細(xì)小邊緣也會(huì)產(chǎn)生較強(qiáng)的邊緣響應(yīng)強(qiáng)度[27]。為克服上述問題，并顧及計(jì)算效率，借鑒梯度幅度相似性的紋理檢測方法[29]，本文直接采用局部規(guī)則窗口內(nèi)水平和豎直兩方向的梯度絕對值之和與標(biāo)準(zhǔn)差表達(dá)紋理豐富程度。前者實(shí)質(zhì)為邊緣檢測算子，不同之處在于低通濾波的均值處理；后者性質(zhì)和紋理基元(texton)[27]類似，可一定程度上減小細(xì)小邊緣的響應(yīng)強(qiáng)度。綜上所述，本文紋理信息采用式(2)確定

(2)

圖3列出了兩個(gè)典型區(qū)域的影像采用梯度、Canny算子和本文方法檢測出的影像紋理特征。圖3中紅色矩形表示未檢測出的有效邊緣區(qū)域，而黃色方框表示過度分割區(qū)域。如圖所示，梯度對噪聲十分敏感，在平面區(qū)域也能產(chǎn)生較大的梯度值，如圖3(b)所示；Canny僅可檢測二值化邊緣，而無法定量描述像素的紋理信息，同時(shí)算法本身受到2個(gè)參數(shù)影響，采用固定的參數(shù)在不同區(qū)域容易出現(xiàn)邊緣缺失和冗余邊緣的現(xiàn)象，如圖3(c)所示。與此不同，本文方法定量表達(dá)紋理豐富程度，并且該值相比于梯度和Canny更為平滑，不易受到噪聲的影響，如圖3(d)所示。

1.3 顧及紋理特征的自適應(yīng)密集匹配

圖4列出了影像紋理信息與視差圖的對應(yīng)關(guān)系，從該圖可見，在屋頂、地面等區(qū)域通常視差較為一致，對應(yīng)的紋理強(qiáng)度也相對較弱；而房屋邊緣、微小物體、植被等區(qū)域，視差通常存在劇烈突變，而對應(yīng)的邊緣區(qū)域紋理信息也較為強(qiáng)烈。同時(shí)，SGM的懲罰參數(shù)P1、P2與相鄰像素間的視差變化頻率存在反比例關(guān)系，即低紋理區(qū)域需要較大的參數(shù)加強(qiáng)視差平滑性約束，而高紋理區(qū)域需要較小的參數(shù)來保留邊緣結(jié)構(gòu)處的視差突變。因此，本文根據(jù)紋理信息自適應(yīng)調(diào)整懲罰參數(shù)，對紋理屬性不同的像素施加不同程度的平滑約束，以此能夠正確反映現(xiàn)實(shí)世界中物體實(shí)際深度變化。

一種簡單的自適應(yīng)調(diào)整策略是獲得影像紋理特征值范圍后，采用線性內(nèi)插逐像素計(jì)算懲罰參數(shù)。這種方法理論上能夠反映紋理和懲罰參數(shù)的對應(yīng)關(guān)系，但實(shí)際上存在以下缺點(diǎn)：①線性內(nèi)插需要額外的內(nèi)存記錄與影像同等尺寸的參數(shù)矩陣；②需額外的內(nèi)插與存取操作；③內(nèi)插可能會(huì)造成低紋理大參數(shù)和高紋理小參數(shù)等錯(cuò)誤的對應(yīng)關(guān)系。針對線性內(nèi)插的這些缺點(diǎn)，本文借鑒SURE的二值化策略[20]，對紋理信息采用二值化處理，單個(gè)像素僅需要一個(gè)字節(jié)標(biāo)識紋理屬性，高低紋理區(qū)域分別對應(yīng)固定的懲罰參數(shù)。不同于固定閾值二值化處理方式，本文采用一種自適應(yīng)二值化處理方法[30]，利用局部鄰域高斯加權(quán)和方法計(jì)算局部閾值

(3)

式中，k(x,y)是高斯卷積核；t(x,y)是紋理信息；G(x,y)是高斯濾波后的紋理結(jié)果，作為像素(x,y)紋理屬性劃分的局部閾值；h(x,y)是自適應(yīng)閾值處理后的二值紋理影像，0代表像素(x,y)屬于低紋理區(qū)域，255則表示該像素屬于高紋理區(qū)域。

圖5比較了固定閾值和自適應(yīng)閾值的紋理二值化結(jié)果。由圖5可知，固定閾值結(jié)果(圖5(b))在屋頂?shù)图y理區(qū)域檢測結(jié)果不理想。其原因?yàn)榧y理檢測使用的是基于窗口的方法，靠近邊緣的像素在自身窗口內(nèi)仍保持高頻率的色調(diào)變化，使固定閾值難以區(qū)分邊緣和鄰近的像素。而自適應(yīng)閾值二值化(c)使每個(gè)像素閾值局部自適應(yīng)，檢測邊緣更細(xì)，保留更多低紋理區(qū)域，有效地控制了視差斷裂范圍。

在代價(jià)聚合階段，根據(jù)前后兩點(diǎn)的紋理屬性重新確定懲罰參數(shù)。具體而言，若當(dāng)前像素p和聚合方向上前一像素p-r都屬于低紋理區(qū)域，則選取較大的懲罰參數(shù)保證視差連續(xù)；若p和p-r都屬于高紋理區(qū)域或者紋理屬性不同，這時(shí)候傳遞給當(dāng)前像素的視差信息不再可靠，應(yīng)該選取較小的懲罰參數(shù)允許視差突變，具體公式如下

(4)

2 試驗(yàn)分析

2.1 試驗(yàn)數(shù)據(jù)

為驗(yàn)證本文算法有效性，采用不同區(qū)域、不同相機(jī)類型影像測試，如圖6所示，表1列出試驗(yàn)區(qū)域主要信息，其中分辨率一欄括號中內(nèi)容為側(cè)視影像分辨率范圍。

表1 試驗(yàn)區(qū)域數(shù)據(jù)信息

金陽區(qū)域傾斜影像：采用SWDC-5獲取5組相機(jī)影像數(shù)據(jù)，包含一個(gè)下視相機(jī)和4個(gè)45°角傾斜相機(jī)。影像為8位深度的彩色RGB影像，像幅大小為8176×6132像素，航高約為600 m，設(shè)計(jì)航向重疊度為60%，旁向重疊度為50%，下視相機(jī)和側(cè)視相機(jī)焦距分別為50 mm和80 mm，在此配置之下，下視地面分辨率約為8 cm，側(cè)視地面分辨率范圍約為8～16 cm。

蘇黎世區(qū)域傾斜影像：采用Leica RCD-30 Oblique獲取5組相機(jī)影像數(shù)據(jù)，包含一個(gè)下視相機(jī)和4個(gè)35°角傾斜相機(jī)。影像為16位深度的彩色RGB影像，像幅大小為9000×6732像素，航高約為520 m，設(shè)計(jì)航向重疊度為70%，旁向重疊度為50%，下視相機(jī)和側(cè)視相機(jī)焦距均為53 mm，下視地面分辨率為 6 cm，側(cè)視地面分辨率范圍為6～13 cm。

斯圖加特區(qū)域下視影像：采用Z/Ⅰ DMCII相機(jī)獲取影像數(shù)據(jù)，影像為16位深度的近紅外偽彩色影像，像幅大小為7680×13 824，航高約為500 m，設(shè)計(jì)航向重疊度和旁向重疊度均為60%，相機(jī)焦距為120 mm，地面分辨率為8 cm。

慕尼黑區(qū)域下視影像：采用DMC Ⅱ 230相機(jī)獲取影像數(shù)據(jù)，選取16位深度的彩色RGB影像，像幅大小為15 552×14 144像素，航高約為515 m，設(shè)計(jì)航向重疊度和旁向重疊度均為80%，相機(jī)焦距為91 mm，地面分辨率約為10 cm。

2.2 對比與分析

試驗(yàn)第1部分比較了不同大小參數(shù)和自適應(yīng)參數(shù)得到的試驗(yàn)結(jié)果，匹配參數(shù)如表2所示，大小參數(shù)匹配的算法采用原始的自適應(yīng)梯度SGM。試驗(yàn)結(jié)果如圖7至圖10所示，其中圖(a)為試驗(yàn)區(qū)域示意圖，藍(lán)色方框標(biāo)識道路或者屋頂?shù)鹊图y理區(qū)域，紅色方框標(biāo)識建筑物邊緣等高紋理區(qū)域；圖(b)為小參數(shù)密集匹配點(diǎn)云結(jié)果；圖(c)為大參數(shù)密集匹配點(diǎn)云結(jié)果；圖(d)為本文算法獲得的點(diǎn)云結(jié)果；圖(e)為低紋理區(qū)域小參數(shù)匹配和本文算法結(jié)果剖面圖；圖(f)為高紋理區(qū)域大參數(shù)和本文算法結(jié)構(gòu)的剖面圖。其中圖(e)和圖(f)坐標(biāo)軸橫軸為剖面對比區(qū)域的長度，縱軸為區(qū)域上點(diǎn)坐標(biāo)的Z值，單位均為米。

表2 試驗(yàn)參數(shù)

下視影像中道路和屋頂?shù)鹊图y理區(qū)域，深度變化較緩，但在側(cè)視影像中，這些區(qū)域深度有明顯變化。將側(cè)視影像經(jīng)核線重采樣糾正到水平像平面后，這些區(qū)域會(huì)產(chǎn)生多個(gè)內(nèi)插像素，相鄰像素深度變化仍然保持緩慢，因此自適應(yīng)參數(shù)理論上也可顧及側(cè)視影像。如圖7(b)所示，在藍(lán)框標(biāo)識的低紋理區(qū)域內(nèi)，小參數(shù)結(jié)果點(diǎn)云不夠平順，起伏較為明顯；自適應(yīng)梯度SGM在這些低紋理區(qū)域僅增大P2，并未改變P1大小，平滑性約束不強(qiáng)。由于這些平面區(qū)域的紋理較弱，本文算法在匹配階段選取較大的P1和P2，加強(qiáng)視差平滑性約束，如圖7(d)所示，對應(yīng)區(qū)域點(diǎn)云相對平坦。

如圖8(c)所示，在紅框標(biāo)識的建筑物邊緣區(qū)域，大參數(shù)視差結(jié)果過于平滑，深度變化緩慢，使邊緣像素深度計(jì)算錯(cuò)誤，易產(chǎn)生噪聲，且建筑物丟失直角特征。由于邊緣紋理較為豐富，本文算法在匹配階段選取較小的P1和P2，在邊緣處允許深度突變，如圖8(d)所示，相同區(qū)域可很好地保留直角特征，同時(shí)在平緩區(qū)域抑制了噪聲。若采用較小參數(shù)，在平面區(qū)域會(huì)導(dǎo)致點(diǎn)云粗糙或誤匹配，如圖9(e)所示，而自適應(yīng)參數(shù)能正確施加較大平滑性約束，標(biāo)記出誤匹配點(diǎn)。

試驗(yàn)的第2部分定性比較了本文自適應(yīng)參數(shù)SGM與SURE密集匹配結(jié)果，匹配參數(shù)均使用默認(rèn)值，采用金陽區(qū)域下視影像作為試驗(yàn)數(shù)據(jù)，對比結(jié)果由圖11給出。SURE采用的tSGM是對自適應(yīng)梯度SGM的改良，通過Canny算子檢測邊緣，并在邊緣處減小參數(shù)P2，從而達(dá)到保留邊緣特征的目的；通過動(dòng)態(tài)調(diào)整像素的視差搜索范圍使得平面區(qū)域點(diǎn)云更加平滑[20]。從圖11中可以看出，SURE算法的匹配點(diǎn)云結(jié)果在道路區(qū)域點(diǎn)云缺漏現(xiàn)象明顯，如紅框所示，此現(xiàn)象是由于SURE匹配時(shí)對道路區(qū)域平滑性約束不夠強(qiáng)，易產(chǎn)生可靠性不高的點(diǎn)以及噪聲點(diǎn)，在雙向匹配一致性檢查時(shí)被剔除，造成點(diǎn)云缺漏；另一方面，由于邊緣未被完整檢測，導(dǎo)致某些邊緣的平滑約束仍然較大，造成匹配錯(cuò)誤，個(gè)別建筑物邊角缺失，如黃框所示。而本文提出的自適應(yīng)參數(shù)得到的結(jié)果在道路區(qū)域更為完整，也保留了更多的建筑物邊角特征，整體上優(yōu)于SURE生成的點(diǎn)云。

本文試驗(yàn)第3部分，為定量驗(yàn)證本文方法的可靠性和有效性，選用質(zhì)量較好的LiDAR點(diǎn)云與自適應(yīng)密集匹配點(diǎn)云進(jìn)行對比，同時(shí)比較密集匹配點(diǎn)云與25 cm格網(wǎng)分辨率DSM間差距，其中機(jī)載LiDAR和DSM均來源于ISPRS基準(zhǔn)測試[31]。圖12顯示具體對照結(jié)果，其中，圖12(a)、(c)顯示所選取對比區(qū)域，圖12(b)、(d)分別為對應(yīng)區(qū)域剖面圖，橫軸為沿剖線方向長度，縱軸為三維坐標(biāo)Z值，單位均為米。如圖12所示，在道路區(qū)域，本文算法點(diǎn)云結(jié)果更接近于LiDAR點(diǎn)云，兩者起伏情況相近；在建筑物邊緣區(qū)域，直角特征基本吻合。圖13定量描述密集匹配點(diǎn)云與DSM間差異，其中圖13(a)、(c)為所選對比區(qū)域，圖13(b)、(d)為密集匹配點(diǎn)云與DSM間差異。由表3可見，兩者的差異并不明顯，特別是在道路等低紋理區(qū)域，差異僅有厘米級，僅在紋理復(fù)雜區(qū)域，存在誤差較大的個(gè)別點(diǎn)，但總體上點(diǎn)云與DSM仍十分一致，進(jìn)一步證明了本文算法的正確性。

表3 斯圖加特密集匹配點(diǎn)云和DSM數(shù)據(jù)對比 Tab.3 Comparison between dense matching and DSM m

本文定量比較了原始自適應(yīng)梯度SGM，顧及紋理的SGM和LiDAR點(diǎn)云數(shù)據(jù)[31]間差異。圖14(a)為試驗(yàn)區(qū)域點(diǎn)云結(jié)果，圖14(b)、(c)分別為原始自適應(yīng)梯度和顧及紋理SGM的密集匹配結(jié)果與LiDAR點(diǎn)云的M3C2(multiscale model to model cloud comparison)距離[32]的直方圖統(tǒng)計(jì)結(jié)果，其中圖表標(biāo)題列出誤差統(tǒng)計(jì)的均值與標(biāo)準(zhǔn)差。如圖14所示，傳統(tǒng)方法精度與本文方法精度差異并不明顯，其原因?yàn)長iDAR點(diǎn)云相對于密集匹配點(diǎn)云較為稀疏，致使圖14(b)、(c)直方圖形狀整體上較為相似。進(jìn)一步統(tǒng)計(jì)直方圖的均值和方差，可見密集匹配點(diǎn)云和LiDAR點(diǎn)云差異不明顯，同時(shí)兩種方法精度十分接近。事實(shí)上該精度值主要與平差結(jié)果相關(guān)，然而該統(tǒng)計(jì)結(jié)果也從另一個(gè)側(cè)面說明本文方法的可行性。本文方法并不致力于提高SGM的匹配精度，主要目的為降低平坦區(qū)域噪聲，并減少視差斷裂處的缺漏情況，如上述定性分析所示。

2.3 效率分析

本次試驗(yàn)設(shè)備為戴爾Precision M6700工作站，處理器為Intel(R) Core(TM) i7-3720QM 2.60 GHz，內(nèi)存為8 GB；開發(fā)環(huán)境為Visual Studio 2013，使用C++編程實(shí)現(xiàn)SGM算法。由于內(nèi)存限制，影像需要分塊處理，且對各分塊采用OpenMP并行加速處理。表4為本文算法與原始自適應(yīng)梯度SGM算法的效率對比。在代價(jià)聚合階段，使用SIMD(single instruction multiple data)指令加速處理[33]。

表4 效率對比

3 結(jié) 論

本文在半全局匹配算法的基礎(chǔ)上，提出了一種紋理感知的自適應(yīng)參數(shù)算法：檢測并定量描述影像的紋理信息，根據(jù)紋理信息自適應(yīng)計(jì)算逐像素的懲罰參數(shù)，并自適應(yīng)選擇參數(shù)匹配。試驗(yàn)表明，本文提出的算法在低紋理區(qū)域點(diǎn)云結(jié)果更為平坦，同時(shí)能更好保留建筑物邊緣的直角特征。由于沒有破壞算法的基本框架和數(shù)據(jù)結(jié)構(gòu)，保留了其使用SIMD技術(shù)加速計(jì)算的能力。采用ISPRS的基準(zhǔn)測試數(shù)據(jù)集以及實(shí)際應(yīng)用生產(chǎn)中的SWDC-5傾斜攝影系統(tǒng)獲取的影像進(jìn)行試驗(yàn)驗(yàn)證表明，本文方法能顯著提高密集匹配點(diǎn)云在低紋理區(qū)域的質(zhì)量，同時(shí)在視差斷裂處保留物體的直角邊緣特征。

圖3 不同方法檢測出的紋理特征Fig.3 Texture feature from various methods

圖4 影像紋理與視差的對應(yīng)關(guān)系Fig.4 Relationship between texture and disparity

圖5 紋理信息二值化結(jié)果對比Fig.5 Texture binarization results comparison

圖6 試驗(yàn)區(qū)域影像Fig.6 Experiment images

圖7 金陽傾斜影像對比Fig.7 Comparison for Jinyang images

圖8 蘇黎世傾斜影像對比Fig.8 Comparison for Zürich images

圖9 斯圖加特影像對比Fig.9 Comparison for Stuttgart images

圖10 慕尼黑下視影像對比Fig.10 Comparison for München images

圖11 SURE與本文方法點(diǎn)云結(jié)果對比Fig.11 Comparison between SURE and proposed method

圖12 斯圖加特密集匹配點(diǎn)云和LiDAR點(diǎn)云對比Fig.12 Comparison between dense matching and LiDAR

圖13 斯特加特密集匹配點(diǎn)云和DSM對比Fig.13 Comparison between dense matching and DSM

圖14 自適應(yīng)梯度與顧及紋理SGM對比Fig.14 Comparison between adaptive gradient SGM and SGM concerned with texture feature

[1] LEBERL F,IRSCHARA A,POCK T, et al.Point Clouds: LiDAR Versus 3D Vision[J]. Photogrammetric Engineering & Remote Sensing, 2010, 76(10): 1123-1134.

[2] HAALA N. The Landscape of Dense Image Matching Algorithms[C]∥Photogrammetric Week 2013. Stuttgart, Germany: [s.n.], 2013.

[3] HIRSCHMULLER H.Stereo Processing by Semiglobal Matching and Mutual Information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 328-341.

[4] REMONDINO F, SPERA M G, NOCERINO E, et al. State of the Art in High Density Image Matching[J]. The Photogrammetric Record, 2014, 29(146): 144-166.

[5] SCHARSTEIN D, SZELISKI R. A Taxonomy and Evaluation of Dense Two-frame Stereo Correspondence Algorithms[J]. International Journal of Computer Vision, 2002, 47(1-3): 7-42.

[6] 王競雪, 朱慶, 王偉璽. 多匹配基元集成的多視影像密集匹配方法[J]. 測繪學(xué)報(bào), 2013, 42(5): 691-698. WANG Jingxue, ZHU Qing, WANG Weixi. A Dense Matching Algorithm of Multi-view Image Based on the Integrated Multiple Matching Primitives[J]. Acta Geodaetica et Cartographica Sinica, 2013, 42(5): 691-698.

[7] VU H H, LABATUT P, PONS J P,et al.High Accuracy and Visibility-consistent Dense Multiview Stereo[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(5): 889-901.

[8] 楊化超, 姚國標(biāo), 王永波. 基于SIFT的寬基線立體影像密集匹配[J]. 測繪學(xué)報(bào), 2011, 40(5): 537-543. YANG Huachao, YAO Guobiao, WANG Yongbo. Dense Matching for Wide Base-line Stereo Images Based on SIFT[J]. Acta Geodaetica et Cartographica Sinica, 2011, 40(5): 537-543.

[9] HOSNI A, BlEYER M, GELAUTZ M. Secrets of Adaptive Support Weight Techniques for Local Stereo Matching[J]. Computer Vision and Image Understanding, 2013, 117(6): 620-632.

[10] YANG Qingxiong. A Non-local Cost Aggregation Method for Stereo Matching[C]∥Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI: IEEE, 2012: 1402-1409.

[11] YANG Qingxiong. Stereo Matching Using Tree Filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(4): 834-846.

[12] SUN Jian, SHUM H Y, ZHENG Nanning. Stereo Matching Using Belief Propagation[M]∥HEYDEN A, SPARR G, NIELSEN M, et al. Computer Vision—ECCV 2002. Berlin: Springer, 2002: 510-524.

[13] KOLMOGOROV V, ZABIH R. Computing Visual Correspondence with Occlusions Using Graph Cuts[D]. Ithaca: Cornell University, 2001.

[14] 鄭肇葆. 數(shù)字影像匹配的動(dòng)態(tài)規(guī)劃方法[J]. 測繪學(xué)報(bào), 1989, 18(2): 100-107. ZHENG Zhaobao. Image Matching Method via Dynamic Programming[J]. Acta Geodaetica et Cartographica Sinica, 1989, 18(2): 100-107.

[15] 張祖勛, 張劍清, 吳曉良. 跨接法概念之?dāng)U展及整體影象匹配[J]. 武漢測繪科技大學(xué)學(xué)報(bào), 1991, 16(3): 1-11. CHANG Zhuxun, CHANG Jianqing, WU Xiaoliang. Develeping of Bridging Mode and Global Image Matching[J]. Journal of Wuhan Technical University of Surveying and Mapping, 1991, 16(3): 1-11.

[16] BIRCHFIELD S, TOMASI C. Depth Discontinuities by Pixel-to-pixel Stereo[J]. International Journal of Computer Vision, 1999, 35(3): 269-293.

[17] BANZ C, BLUME H, PIRSCH P. Real-time Semi-global Matching Disparity Estimation on the GPU[C]∥Proceedings of the IEEE International Conference on Computer Vision Workshops. Barcelona, Spain: IEEE, 2011: 514-521.

[18] ALOBEID A, JACOBSEN K, HEIPKE C. Comparison of Matching Algorithms for DSM Generation in Urban Areas from IKONOS Imagery[J]. Photogrammetric Engineering & Remote Sensing, 2010, 76(9): 1041-1050.

[19] CAVEGN S,HAALA N,NEBIKER S,et al.Benchmarking High Density Image Matching for Oblique Airborne Imagery[J]. International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, XL-3(3): 45-52.

[20] ROTHERMEL M,WENZEL K,FRITSCH D,et al.SURE: Photogrammetric Surface Reconstruction from Imagery[C]∥Proceedings of LC3D Workshop. Berlin: [s.n.], 2012.

[21] FUSIELLO A, TRUCCO E, VERRI A. A Compact Algorithm for Rectification of Stereo Pairs[J]. Machine Vision and Applications, 2000, 12(1): 16-22.

[22] HIRSCHMULLER H, SCHARSTEIN D. Evaluation of Stereo Matching Costs on Images with Radiometric Differences[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(9): 1582-1599.

[23] HIRSCHMULLER H, BUDER M, Ernst I. Memory Efficient Semi-global Matching[C]∥ISPRS Annals of Photogrammetry,Remote Sensing and Spatial Information Sciences.Melbourne,Australia:ISPRS,2012,I-3: 371-376.

[24] HUMENBERGER M, ZINNER C, KUBINGER W. Performance Evaluation of a Census-based Stereo Matching Algorithm on Embedded and Multi-core Hardware[C]∥Proceedings of 6th International Symposium on Image and Signal Processing and Analysis. Salzburg: IEEE, 2009: 388-393.

[25] RANFTL R, GEHRIG S, POCK T, et al. Pushing the Limits of Stereo Using Variational Stereo Estimation[C]∥Proceedings of 2012 IEEE Intelligent Vehicles Symposium. Alcala de Henares: IEEE, 2012: 401-407.

[26] MEI Xing, SUN Xun, ZHOU Mingcai, et al. On Building an Accurate Stereo Matching System on Graphics Hardware[C]∥Proceedings of the IEEE International Conference on Computer Vision Workshops. Barcelona, Spain: IEEE, 2011: 467-474.

[27] MALIK J, BELONGIE S, LEUNG T, et al. Contour and Texture Analysis for Image Segmentation[J]. International Journal of Computer Vision, 2001, 43(1): 7-27.

[28] ZHU Qing, WAN Neng, WU Bo. A Filtering Strategy for Interest Point Detecting to Improve Repeatability and Information Content[J]. Photogrammetric Engineering & Remote Sensing, 2007, 73(5): 547-553.

[29] XUE Wufeng, ZHANG Lei, MOU Xuanqin, et al. Gradient Magnitude Similarity Deviation: A Highly Efficient Perceptual Image Quality Index[J]. IEEE Transactions on Image Processing, 2014, 23(2): 684-695.

[30] SZELISKI R. Computer Vision: Algorithms and Applications[M]. London: Springer-Verlag, 2011: 2601-2605.

[31] ROTTENSTEINER F, SOHN G, GERKE M, et al. Results of the ISPRS Benchmark on Urban Object Detection and 3D Building Reconstruction[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 93: 256-271.

[32] LAGUE D, BRODU N, LEROUX J. Accurate 3D Comparison of Complex Topography with Terrestrial Laser Scanner: Application to the RANGITIKEI Canyon (N-Z)[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2013, 82: 10-26.

[33] CONTE G,TOMMESANI S, ZANICHELLI F. The Long and Winding Road to High-performance Image Processing with MMX/SSE[C]∥Proceedings of the 5th IEEE International Workshop on Computer Architectures for Machine Perception. Padova: IEEE, 2000: 302-310.

(責(zé)任編輯：張艷玲)

An Adaptive Dense Matching Method for Airborne Images Using Texture Information

ZHU Qing1,2,CHEN Chongtai1,5,HU Han1,3,DING Yulin1,4

1. Faculty of Geosciences and Environmental Engineering,Southwest Jiaotong University,Chengdu 611756,China; 2. State-Province Joint Engineering Laboratory of Spatial Information Technology of High-speed Rail Safety,Southwest Jiaotong University,Chengdu 611756,China; 3. Department of Land Surveying and Geo-information,Hong Kong 999077,China; 4. Institute of Space and Earth Information Science,Hong Kong 999077,China; 5. Shenzhen Research Center of Digital City Engineering,Shenzhen 518034,China

Semi-global matching (SGM) is essentially a discrete optimization for the disparity value of each pixel, under the assumption of disparity continuities. SGM overcomes the influence of the disparity discontinuities by a set of parameters. Using smaller parameters, the continuity constraint is weakened, which will cause significant noises in planar and textureless areas, reflected as the fluctuations on the final surface reconstruction. On the other hands, larger parameters will impose too much constraints on continuities, which may lead to losses of sharp features. To address this problem, this paper proposes an adaptive dense stereo matching methods for airborne images using with texture information. Firstly, the texture is quantified, and under the assumption that disparity variation is directly proportional to the texture information, the adaptive parameters are gauged accordingly. Second, SGM is adopted to optimize the discrete disparities using the adaptively tuned parameters. Experimental evaluations using the ISPRS benchmark dataset and images obtained by the SWDC-5 have revealed that the proposed method will significantly improve the visual qualities of the point clouds.

dense image matching;semi-global matching;texture feature;adaptive method Foundation support： The National Natural Science Foundation of China (Nos.41501421；41631174；61602392); The Foundation of Key Laboratory for Geo-Environmental Monitoring of Coastal Zone of the National Administration of Surveying, Mapping and Geoinformation; Open Research Fund of State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing (No.15I01)

ZHU Qing(1966—)，male，PhD，Professor，PhD supervisor，majors in dynamic GIS and VGE.

HU Han

朱慶，陳崇泰，胡翰，等.顧及紋理特征的航空影像自適應(yīng)密集匹配方法[J].測繪學(xué)報(bào)，2017,46(1)：62-72.

10.11947/j.AGCS.2017.20150608. ZHU Qing,CHEN Chongtai,HU Han,et al.An Adaptive Dense Matching Method for Airborne Images Using Texture Information[J]. Acta Geodaetica et Cartographica Sinica,2017,46(1):62-72. DOI:10.11947/j.AGCS.2017.20150608.

P231

A

1001-1595(2017)01-0062-11

國家自然科學(xué)基金(41501421；41631174；61602392)；空間信息智能感知與服務(wù)深圳市重點(diǎn)實(shí)驗(yàn)室(深圳大學(xué))開放基金；測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室(武漢大學(xué))基金(15I01)

2015-12-01

朱慶(1966—)，男，博士，教授，博士生導(dǎo)師，研究方向?yàn)槎嗑S動(dòng)態(tài)GIS與虛擬地理環(huán)境。

E-mail： zhuq66@263.net

胡翰

E-mail： huhan19880715@163.com

修回日期： 2016-12-08