傾斜影像與垂直影像的逐層自動(dòng)密集匹配

張 麗，龔 輝，紀(jì) 松，張振超

1.西安測繪研究所，陜西 西安，710054;

2.地理信息工程國家重點(diǎn)實(shí)驗(yàn)室，陜西 西安，710054;

3.信息工程大學(xué)地理空間信息學(xué)院，河南 鄭州，450052

1 引 言

多視角數(shù)字航空攝影測量技術(shù)是國際攝影測量領(lǐng)域近幾年來發(fā)展起來的一項(xiàng)高新技術(shù)，它突破了傳統(tǒng)的、單一的、近似垂直視角觀察世界的局限，同時(shí)從一個(gè)垂直、多個(gè)傾斜等不同的角度進(jìn)行嚴(yán)密的幾何成像，經(jīng)過高精度三維重建處理，形成具有準(zhǔn)確地理空間信息和真實(shí)紋理信息的三維景觀，為用戶提供了一個(gè)符合人眼視覺習(xí)慣、真實(shí)直觀的高精度三維地理場景。密集匹配是多視角影像實(shí)景三維重建處理的關(guān)鍵環(huán)節(jié)，可靠性和速度直接影響著三維重建的整體精度和效率。多視角影像密集匹配包含單一鏡頭影像的密集匹配以及垂直影像和傾斜影像之間的密集匹配。由于垂直影像獲取的是空間物體的頂面信息，傾斜影像獲取的是側(cè)面、立面信息，將垂直影像與傾斜影像進(jìn)行匹配，會帶來以下四個(gè)方面的困難和挑戰(zhàn)：①數(shù)據(jù)量大。對于五鏡頭多視角相機(jī)來說，一組垂直影像需要與四組傾斜影像匹配，而且多視角相機(jī)在獲取數(shù)據(jù)時(shí)，一般要求達(dá)到75%以上的重疊度，數(shù)據(jù)量大幅增加。② 特征的幾何變形劇烈。傾斜攝影角度通常在30°以上，導(dǎo)致同一地物在垂直影像和傾斜影像上的形狀具有較大的差異。③成像比例尺差異較大。垂直攝影影像和傾斜攝影影像之間的成像比例尺具有較大的差異，分辨率變化較大。④影像光照差異較大、輻射差異明顯。由于各鏡頭的攝影角度不同，獲取影像時(shí)的光照條件差異較大，導(dǎo)致各鏡頭影像輻射差異明顯。綜上所述，由于多視角相機(jī)獲取的影像存在地物幾何特征變形劇烈、成像比例尺差異大、旋轉(zhuǎn)和輻射信息差異明顯等問題，傳統(tǒng)的基于灰度和多數(shù)基于特征的影像匹配模型與算法應(yīng)用于垂直影像和傾斜影像密集匹配時(shí)，成功率和可靠性大大降低，甚至失敗。為此，在傾斜航空影像與垂直航空影像的密集匹配過程中，需要對現(xiàn)有算法進(jìn)行優(yōu)化和改進(jìn)。文獻(xiàn)[1]利用多視角影像對多種基于特征的影像匹配方法進(jìn)行了分析，發(fā)現(xiàn)ASIFT(affine scale invariant feature transform)算法匹配出來的正確點(diǎn)數(shù)最多，但匹配成功率仍然很低，只有34.1%。文獻(xiàn)[2]提出傾斜立體影像的Shi-Tomasi特征匹配方法。首先利用SIFT(scale invariant feature transform)算法進(jìn)行初始匹配并估計(jì)單應(yīng)矩陣，然后使用單應(yīng)矩陣對傾斜影像進(jìn)行射影變換，在下視影像和糾正后的傾斜影像上提取特征點(diǎn)，并使用NCC測度進(jìn)行匹配。正確匹配點(diǎn)對數(shù)和匹配正確率較SIFT算法和ASIFT算法均有大幅提升，誤差在1個(gè)像素之內(nèi)的匹配點(diǎn)數(shù)可以達(dá)到45%左右，但是該方法匹配出來的點(diǎn)數(shù)仍不能達(dá)到逐像素匹配程度。為了實(shí)現(xiàn)垂直影像和傾斜影像的自動(dòng)密集匹配，本文采用了特征匹配引導(dǎo)下的基于灰度的密集匹配方法，同時(shí)引入金字塔匹配策略，提出了一種逐層自適應(yīng)密集匹配方法，實(shí)現(xiàn)了傾斜影像和垂直影像的逐像素密集匹配，實(shí)驗(yàn)結(jié)果表明，精度在1個(gè)像素以內(nèi)的匹配點(diǎn)數(shù)達(dá)到了75%以上。

2 匹配流程與關(guān)鍵算法實(shí)現(xiàn)過程

算法整體采用三層影像金字塔分層匹配策略，流程如圖1所示。上層同名點(diǎn)對、影像幾何變形關(guān)系沿著金字塔傳遞到原始層，最后在原始層上實(shí)現(xiàn)逐像素匹配。由于傾斜影像幾何變形嚴(yán)重，且同一張影像不同位置變形程度不一致，采用傳統(tǒng)的灰度匹配方法計(jì)算出的同名點(diǎn)相關(guān)系數(shù)值很小，因此，采用特征匹配引導(dǎo)下的整體幾何糾正附加局部幾何糾正的策略，金字塔上面兩層采用特征匹配，原始層采用逐像素灰度匹配。算法主要包括以下7個(gè)步驟：①對垂直影像(左像)和傾斜影像(右像)分別降采樣兩次得到三層影像金字塔，自下而上為第0層(原始層)、第1層(中間層)、第2層(最高層)。②在第2層上，影像經(jīng)過兩次低通濾波，細(xì)節(jié)信息已被大量過濾，主要表現(xiàn)出整體結(jié)構(gòu)信息，而且影像尺寸小，匹配速度加快;由于左、右影像間尺度差異和幾何變形差異較大，采用抗尺度和旋轉(zhuǎn)變換的ASIFT算法對影像進(jìn)行特征匹配。③ 對于ASIFT算法匹配出來的同名特征點(diǎn)，利用RANSAC(random sample con-sensus)準(zhǔn)則進(jìn)行過濾，剔除粗差，保證匹配結(jié)果可靠。④利用第2層傳遞到第1層的ASIFT特征點(diǎn)，在第1層計(jì)算兩張影像間的幾何變形關(guān)系，利用幾何關(guān)系把右像往左像糾正，即等效下視糾正，消除影像之間的整體變形，再把糾正后右像上的像點(diǎn)按照投影逆變換關(guān)系反算到該層原始右影像上，為保證糾正和反算精度，插值方法采用雙線性內(nèi)插。⑤對于第1層上的左像和等效下視糾正后的右像采用高效的SURF(speeded up robust features)特征匹配得到大量子像素級精度的同名點(diǎn)，同樣利用RANSAC準(zhǔn)則對SURF匹配結(jié)果進(jìn)行過濾。⑥在第0層，利用上面兩層傳遞下來的特征點(diǎn)，構(gòu)建狄洛尼(Delaunay)三角網(wǎng)，然后逐三角形進(jìn)行糾正，補(bǔ)償影像之間的局部變形。⑦采用基于灰度的匹配方法，對影像進(jìn)行逐三角形密集匹配，生成密集點(diǎn)云數(shù)據(jù)。

圖1 垂直影像與傾斜影像逐層自適應(yīng)匹配總體流程

2.1 特征點(diǎn)匹配

目前常用的特征匹配方法為SIFT算法[3]，它較好地克服了場景平移旋轉(zhuǎn)、尺度縮放引起的圖像變形等問題，但SIFT算法適用于特征變形比較小的區(qū)域。由于垂直影像和傾斜影像之間地物幾何特征變形比較大，解決方法是使用具有仿射不變特征的匹配方法，實(shí)驗(yàn)研究表明，ASIFT算法匹配出來的正確點(diǎn)對相對較多[1]，因此，對于最上層金字塔影像采用ASIFT特征匹配方法。ASIFT仿射變換算法是在匹配前先對相機(jī)視軸方向進(jìn)行模擬以補(bǔ)償幾何變形，再利用SIFT算法進(jìn)行匹配。

對于第1層金字塔影像，經(jīng)過等效下視糾正后，已經(jīng)消除了影像的整體變形，采用SURF算子進(jìn)行特征匹配。SURF算子由Herbert Bay[4]等在2006年提出，本質(zhì)上是對 SIFT算子的改進(jìn)，與SIFT算法一樣，對光照、旋轉(zhuǎn)、縮放等因素具有不變性，但其速度較SIFT算法有較大提升，主要包括建立積分圖像、利用箱式濾波器建立尺度空間、進(jìn)行快速Hessian極值點(diǎn)檢測、生成Haar小波建立描述子、通過距離進(jìn)行匹配等5個(gè)步驟[5，6]。

2.2 等效下視糾正

根據(jù)特征點(diǎn)匹配結(jié)果，解算傾斜影像的旋轉(zhuǎn)矩陣R，對傾斜影像按照R進(jìn)行糾正，形成“近似水平”的等效影像，即等效下視影像。設(shè)等效下視影像上某點(diǎn)的像空間坐標(biāo)為(u，v，ω)，該點(diǎn)在傾斜影像上的坐標(biāo)為(x，y，-f)，則有：

糾正后所有像點(diǎn)在同一平面上，ω=-f，可得到下視影像與傾斜影像平面坐標(biāo)間的對應(yīng)關(guān)系：

2.3 原始層匹配

原始層匹配的主要思想是利用上面兩層傳遞來的可靠的特征匹配點(diǎn)作為約束構(gòu)建不規(guī)則三角網(wǎng)，在每個(gè)三角形內(nèi)進(jìn)行局部糾正，補(bǔ)償多視角傾斜影像嚴(yán)重的幾何變形，然后再采用基于灰度的匹配算法獲取密集點(diǎn)云。原始層匹配過程及策略如下。

步驟一：特征點(diǎn)篩選

特征點(diǎn)對(三角網(wǎng)約束的結(jié)點(diǎn))的分布至關(guān)重要。分布太稀疏，約束補(bǔ)償作用不明顯，灰度匹配成功率低;分布太密集，約束三角形多，局部糾正次數(shù)多，計(jì)算復(fù)雜。因此，ASIFT和SURF匹配結(jié)果在原始層疊加以后需要進(jìn)行進(jìn)一步篩選。特征點(diǎn)篩選的核心思想是對所有特征點(diǎn)對進(jìn)行兩兩判定，當(dāng)左、右影像上兩對特征點(diǎn)距離小于閾值，則剔除一對。對于第i對與第j對同名點(diǎn)，ΔDLij為左像上兩個(gè)特征點(diǎn)的距離，ΔDRij為右像上兩個(gè)特征點(diǎn)的距離，剔除原則如下：

① 如果ΔDLij＜T1或ΔDRij＜T1，則同名特征分布過密，剔除任意一對。T1是重復(fù)冗余閾值，根據(jù)匹配測度進(jìn)行設(shè)定，文中取5個(gè)像素。

② 如果ΔDLij＜T2或ΔDRij＜T2，則特征距離太近，對三角網(wǎng)約束影響不顯著，剔除任意一對。T2是特征點(diǎn)最小距離閾值，常根據(jù)地形狀況和匹配精度要求來選取，主要根據(jù)搜索范圍確定，一般取傳遞范圍的3倍方差，且T2＞T1。

③ 如果ΔDLij＞T2且ΔDRij＞T2，則兩對特征同時(shí)保留。

步驟二：不規(guī)則三角網(wǎng)構(gòu)建

不規(guī)則三角網(wǎng)(triangulated irregular network)約束的理論基礎(chǔ)是視差的連續(xù)性，即在同一場景中，由于地形的自然過渡，使左、右影像的整體視差變化也必然是連續(xù)的。對于某個(gè)待匹配點(diǎn)，其所在的三角形約束了其在右像上的同名點(diǎn)的大致位置，如果對左、右影像分別構(gòu)網(wǎng)，由于幾何形變大，經(jīng)常會出現(xiàn)主、輔三角形鏈碼不一致的情形。本文采用狄洛尼三角網(wǎng)進(jìn)行地形擬合，為保證左、右影像上特征點(diǎn)構(gòu)網(wǎng)方式完全對應(yīng)，首先對左像特征點(diǎn)構(gòu)網(wǎng)，再按照左像構(gòu)網(wǎng)的鏈碼序列對右像構(gòu)網(wǎng)。

每對三角形實(shí)際在左、右兩張影像上對應(yīng)的大體上是同一地區(qū)。幾何糾正補(bǔ)償是以每個(gè)小三角形面片為單元進(jìn)行的。利用特征點(diǎn)對左像構(gòu)建狄洛尼三角網(wǎng)后，再利用左像上三角形與特征點(diǎn)的對應(yīng)關(guān)系，對右像的同名特征點(diǎn)構(gòu)建狄洛尼三角形。

步驟三：基于灰度的密集匹配

根據(jù)視差連續(xù)性原則，左影像三角形內(nèi)任一像點(diǎn)在右影像上的同名點(diǎn)一定位于右像相應(yīng)三角形內(nèi)部或周邊。對于左、右影像上的一對相應(yīng)三角形，分別求出外接矩形長和寬，分別以長、寬的最大值作為局部糾正單元，即矩形面片糾正。為了保證有足夠周邊像素參與計(jì)算相關(guān)系數(shù)，須把糾正單元再向外拓展一定數(shù)量的像素(相關(guān)系數(shù)計(jì)算窗口大小的一半)。對左面片上狄洛尼三角形確定的范圍內(nèi)的每一點(diǎn)，以右面片的同一坐標(biāo)點(diǎn)為中心，開取n×n大小的搜索窗口，計(jì)算左面片點(diǎn)與右面片參考點(diǎn)之間的相似性測度，相似性測度局部極大且大于閾值的點(diǎn)，即為同名點(diǎn)。本文采用歸一化互相關(guān)測度NCC作為相似性測度，它對匹配窗口尺度變化、像素微小偏移具有較好的適應(yīng)性，取n=13。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)采用AMC580多視角數(shù)字相機(jī)在嵩山航空攝影測量與遙感檢校場的兩組影像進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)采用的影像均截取自10328×7760的原始影像，數(shù)據(jù)信息見表1。

表1 實(shí)驗(yàn)數(shù)據(jù)信息

按照影像金字塔匹配策略，每層經(jīng)過篩選后最終得到的可靠匹配點(diǎn)對數(shù)及第0層構(gòu)建的狄洛尼三角形數(shù)見表2。其中，實(shí)驗(yàn)1是下視與后視匹配，第2層用ASIFT匹配篩選后剩余64對同名特征點(diǎn)，第1層過濾后剩余100對同名點(diǎn)，傳遞到第0層后，可以構(gòu)建出含186個(gè)三角形的狄洛尼三角網(wǎng)，最終在第0層上進(jìn)行逐像素的密集匹配，共得到214028對同名點(diǎn)。實(shí)驗(yàn)2是下視和前視影像匹配，第2層得到68對同名點(diǎn)，第1層過濾后剩余178對同名點(diǎn)，第0層上構(gòu)建出340個(gè)三角形，匹配得到317551對同名點(diǎn)。兩組實(shí)驗(yàn)匹配成功率均超過了75%。

表2 匹配點(diǎn)數(shù)及Delaunay三角形數(shù)

實(shí)驗(yàn)1、2各層的最終匹配結(jié)果如圖2、3所示。兩組結(jié)果圖中，(a)與(b)分別為第2層、第1層的同名點(diǎn)對;(c)為在第0層上構(gòu)建的狄洛尼三角網(wǎng);(d)為間隔20個(gè)像素的格網(wǎng)匹配效果;(e)為第0層同名點(diǎn)生成的點(diǎn)云。

圖2 實(shí)驗(yàn)1匹配結(jié)果

圖3 實(shí)驗(yàn)2匹配結(jié)果

從圖2和圖3可以看出，匹配結(jié)果很好地反映了地形特征，通過人工檢查，匹配精度均在一個(gè)像素以內(nèi)，說明了本文方法的有效性。兩組實(shí)驗(yàn)中圖(a)的ASIFT特征匹配結(jié)果分布與圖(b)的SURF特征匹配結(jié)果的分布情況類似，說明在紋理缺乏的區(qū)域都很難成功實(shí)現(xiàn)特征匹配。在圖3(a)與(b)中，兩層影像在右上角的植被區(qū)域都沒有成功匹配出同名點(diǎn)，構(gòu)建狄洛尼三角網(wǎng)時(shí)，這樣的低紋理區(qū)域往往被少量大面積的三角形所約束，在后續(xù)密集匹配中難以實(shí)現(xiàn)成功匹配，所以圖3(e)中右上角區(qū)域匹配點(diǎn)云較為稀疏。

4 結(jié) 論

針對傾斜影像和垂直影像之間存在分辨率差異大、幾何特征變形嚴(yán)重和尺度不統(tǒng)一等問題，提出了一種逐層自適應(yīng)密集匹配算法，算法整體上采用金字塔分層策略，對于匹配結(jié)果層層篩選、層層優(yōu)化、漸進(jìn)加密，實(shí)現(xiàn)了基于像方的全自動(dòng)密集匹配，取得了較高的匹配成功率，匹配結(jié)果可靠。多視角航空攝影測量密集匹配的目標(biāo)是獲取全區(qū)域完整稠密的點(diǎn)云數(shù)據(jù)，本文算法獲取的匹配點(diǎn)云一方面可作為側(cè)面與頂面這種過渡區(qū)域的“過渡點(diǎn)云”，同時(shí)可為“下視與下視”、“傾斜與傾斜”這兩種點(diǎn)云數(shù)據(jù)的融合提供控制。

[1]袁修孝，陳時(shí)雨.傾斜航攝影像匹配方法探究[J].測繪地理信息，2015，40(6)：1-5.

[2]趙琛琛，龔志輝，龍怡燦等.傾斜立體影像的 Shi-Tomasi特征匹配[J].測繪科學(xué)技術(shù)學(xué)報(bào)，2015，32(1)：66-71.

[3]Lowe D G.Distinctive Image Features from Scale-invariant Keypoints[J].International Journal of Computer Vision，2004，60(2)：91-110.

[4]Herbert Bay，Tinne Tuvtellars，Luc Van Gool.SURF：Speeded up Robust Feature[C].Proceedings of European Conference on Computer Vision.Australia：Springer Berlin Heidelberg，2006.

[5]石善球.基于Harris和SURF的遙感圖像匹配方法研究[J].測繪與空間地理信息，2013，36(8)：52-57.

[6]胡同喜，牛雪峰，譚洋等.基于SURF算法的無人機(jī)遙感影像拼接技術(shù)[J].測繪通報(bào)，2015(1)：55-58.