DEM輔助下的傾斜航攝影像匹配方法

常 越，鄧 非，2，李天爍

(1.武漢大學(xué) 測繪學(xué)院，湖北 武漢 430079； 2.國家領(lǐng)土主權(quán)與海洋權(quán)益協(xié)同創(chuàng)新中心，湖北 武漢 430079)

DEM輔助下的傾斜航攝影像匹配方法

常 越1，鄧 非1，2，李天爍1

(1.武漢大學(xué) 測繪學(xué)院，湖北 武漢 430079； 2.國家領(lǐng)土主權(quán)與海洋權(quán)益協(xié)同創(chuàng)新中心，湖北 武漢 430079)

在傾斜航空攝影測量中，傾斜影像間由于視角差異較大，具有較大幾何變形，而具備仿射尺度不變性的ASIFT算法存在效率較低的問題，提出一種DEM輔助下的傾斜航攝影像匹配方法。該方法通過利用影像的粗略外方位元素和測區(qū)的DEM數(shù)據(jù)，首先對傾斜影像進(jìn)行仿射變換來減弱幾何變形；然后通過SIFT特征匹配算法來獲取同名點對，并使用RANSAC剔除誤匹配；最后將同名點對根據(jù)單應(yīng)矩陣反算回原影像，以基礎(chǔ)矩陣估計法剔除誤匹配，獲得最終匹配點對。通過對多組數(shù)據(jù)進(jìn)行實驗，結(jié)果表明，該算法的計算效率較高，獲得的匹配點對在數(shù)量和分布情況上也更為理想。

傾斜影像匹配；DEM；仿射變換；尺度不變特征變換算法；誤匹配剔除

傾斜航空攝影測量突破了傳統(tǒng)攝影測量垂直拍攝獲取影像的作業(yè)模式，憑借其多視角的攝影方式，可獲得豐富的建筑物立面信息，且成果滿足三維數(shù)字城市建設(shè)的需要，因而在近年來得到了廣泛地推廣和應(yīng)用，成為當(dāng)前城市自動三維建模的熱點技術(shù)[1-7]。但與此同時，通過該方法獲得的傾斜影像，存在局部幾何變形大、影像間具有較大仿射畸變、地物遮擋及影像分辨率不一致等問題，這些問題對影像之間的匹配造成困難。因此，如何從傾斜影像中快速、準(zhǔn)確地獲取可靠的同名點對，是傾斜航空攝影測量技術(shù)的關(guān)鍵問題之一，也是制約著傾斜航空攝影測量技術(shù)發(fā)展的重要原因[8]。

根據(jù)傾斜航空攝影測量成像的特點，傾斜影像的匹配方法應(yīng)該具備仿射不變[9]、旋轉(zhuǎn)不變以及尺度不變的特性。目前，主流的匹配方法有Harris-Affine特征匹配、Hessian-Affine特征匹配以及MSER(最穩(wěn)定極值區(qū)域)算法等對原始的傾斜影像進(jìn)行仿射不變性區(qū)域提取，再進(jìn)行描述匹配的方法[10]。其中，Harris-Affine特征匹配[11]在匹配前要先進(jìn)行Harris角點檢測，然后通過迭代求出仿射不變區(qū)域，并剔除不穩(wěn)定點對，得到具有仿射不變性的Harris特征點。Hessian-Affine特征匹配[12]也類似于此，不同之處在于使用了Hessian算子檢測，更傾向于斑點特征。而MSER算法則是通過對比極大穩(wěn)定區(qū)域(仿射不變區(qū)域)描述符來獲取同名點對。這三種方法效率較高，但匹配得到的點對數(shù)量偏少，在處理視角變化較大的影像時，匹配效果并不理想，甚至無正確匹配點對。此外，Affine Scale Invariant Feature transform (ASIFT)特征匹配是通過垂直和水平方向上的旋轉(zhuǎn)模擬現(xiàn)實的仿射變換，生成系列模擬影像后再進(jìn)行SIFT特征點的提取和描述。該方法規(guī)范化了六個仿射變換參數(shù)，對于影像的旋轉(zhuǎn)、縮放、光照的變化有較強的魯棒性[13]，對傾斜影像的匹配效果較好，但是由于針對序列模擬影像的匹配非常耗時，效率較低，因此難以直接應(yīng)用到實際項目中去。

對于ASIFT算法復(fù)雜度高，效率低的問題，可以考慮引入影像粗略外方位元素，生成少量模擬影像，以提高影像匹配效率。傾斜影像與垂直影像或傾斜影像間因拍攝角度的差異，存在著較大的幾何畸變、尺度差異以及旋轉(zhuǎn)變化，因此，本文提出了一種DEM輔助下的傾斜航攝影像匹配方法，該方法利用了傾斜影像粗略的外方位元素以及航攝區(qū)域的DEM數(shù)據(jù)(本文采用免費的低分辨率DEM數(shù)據(jù))，首先通過將傾斜影像投影到攝區(qū)的DEM上，對傾斜影像進(jìn)行仿射糾正，然后再進(jìn)行SIFT(scale invariant feature transform)特征匹配[14]，并對匹配點對中的誤匹配進(jìn)行剔除。

此外，本文在進(jìn)行仿射糾正前，首先通過求解地面投影線框間的重疊度，自動挑選出重疊度超過閾值的影像進(jìn)行匹配，從而建立影像間的相互關(guān)聯(lián)性，為批量影像間的匹配提高效率。同時，本文仿射糾正獲得的影像也是根據(jù)計算重疊線框獲取的重疊區(qū)域的影像(重疊區(qū)域含有緩沖區(qū))，這對后面的SIFT匹配過程也起到了提高效率的作用。

1 算 法

算法的實現(xiàn)過程如圖1所示，主要分為三個階段：①DEM輔助下的傾斜航攝影像仿射糾正，獲取原始影像重疊區(qū)域糾正后的影像；②對糾正后的影像進(jìn)行SIFT特征匹配和RANSAC法剔除錯誤點對，得到同名點對；③將同名點對根據(jù)單應(yīng)矩陣反算回原影像，以基礎(chǔ)矩陣估計法剔除誤匹配，獲得最終結(jié)果。

圖1 匹配算法流程

1.1 DEM輔助下的傾斜航攝影像仿射糾正

傾斜航攝影像的突出特點就是由多角度拍攝而得，不同拍攝角度得到的影像間具有較大仿射畸變。因此DEM輔助的傾斜影像仿射糾正就是為了減弱這種變形，提高匹配的可靠性與效率。需要的初始數(shù)據(jù)包括：待匹配的左右影像、影像的粗略外方位元素、以及低分辨率的測區(qū)DEM(可通過免費數(shù)據(jù)源獲取，其坐標(biāo)系應(yīng)與外方位元素坐標(biāo)系相同)。

1)首先根據(jù)影像的粗略外方位元素，分別將左、右影像投影到測區(qū)的DEM上，即求解攝影光束與DEM的交點(如圖2所示)，得到左、右影像上的點對應(yīng)的物方坐標(biāo)(Xi,Yi,Zi)。

圖2 攝影光束與DEM相交示意圖

2)根據(jù)求得的影像物方坐標(biāo)的平面坐標(biāo)值Xi，Yi，可得到左、右影像的地面投影線框，從而求得左、右影像的重疊區(qū)域，得到重疊區(qū)域的AABB包圍盒，并給予一定的緩沖區(qū)，形成糾正后影像的覆蓋區(qū)域S。

3)保持該區(qū)域(含緩沖區(qū))地面投影線框的幾何特征，根據(jù)垂直影像的分辨率，將其按比例縮放至影像，此時，糾正后影像的四個頂點對應(yīng)于原影像的四點(xi,yi)，可通過物方點坐標(biāo)(Xi,Yi,Zi)利用共線方程反算求得(四個頂點的物方點即為糾正后影像的覆蓋區(qū)域S的四個角點)：

(1)

式中:Xs,Ys,Zs為外方位線元素;a1,a2,a3,b1,b2,b3,c1,c2,c3可由外方位角元素求得。然后根據(jù)這四點在原影像和糾正后影像的坐標(biāo)關(guān)系，分別計算出左、右影像仿射變換矩陣H左,H右。

4)進(jìn)行仿射變換，得到左、右影像變換后的影像。并對影像中的無效點(變換時未進(jìn)行賦值的像元)，進(jìn)行判斷并插值計算。

以如圖3所示的傾斜影像(a)和下視影像(b)為例進(jìn)行試驗，從糾正后的影像圖(c)、(d)可以看出：通過該方法，可以有效地減弱幾何和尺度上的變形，便于后面的影像匹配。此外，本文方法得到變換后的影像僅為重疊區(qū)域，這對后續(xù)的匹配無論在準(zhǔn)確度上還是在效率上都能起到良好的作用。

圖3 DEM輔助下的傾斜影像仿射糾正示例

1.2 SIFT特征匹配

在完成仿射糾正變換后，本文采用對尺度縮放、旋轉(zhuǎn)、亮度變化都具備較強抵抗性的SIFT特征匹配算法對兩張糾正后的影像進(jìn)行匹配。匹配的過程包含兩個階段：SIFT特征向量的提取和SIFT特征向量的匹配[15]。

特征的提取可以概括為以下4個步驟：

第一步，通過高斯濾波函數(shù)來構(gòu)建尺度空間L(x,y,σ)，并通過計算高斯差分(DOG)尺度空間來檢測潛在的極值點。其中高斯差分算子式為

(2)

第二步，通過對尺度空間函數(shù)的泰勒展開來精確極值點在尺度空間的位置，在該步驟中，低對比度點將被過濾且關(guān)鍵點的邊緣響應(yīng)將被消除，以提高穩(wěn)定性。

第三步，進(jìn)行方向的分配。按照高斯加權(quán)的方法統(tǒng)計特征點區(qū)鄰域像素的梯度方向直方圖，該直方圖的峰值就是特征點的主方向。對此，特征點的描述時就可以主方向為依據(jù)，以確保旋轉(zhuǎn)的不變性。

第四步，生成SIFT特征向量，實質(zhì)上生成一個128維的代表著高斯加權(quán)的鄰域劃分區(qū)塊梯度方向和大小的向量。

SIFT特征向量的匹配以特征向量間的歐氏距離為相似性度量，通過將距離最小點與距離第二小點間的比值與閾值進(jìn)行對比來判斷是否為正確的匹配。

傳統(tǒng)的SIFT特征匹配算法是由CPU串行實現(xiàn)，本文為提高匹配的效率，選用了GPU進(jìn)行并行加速，與CPU混合實現(xiàn)整個算法過程[16]，加快算法的運行。

1.3 誤匹配剔除

盡管SIFT特征匹配具有一定的穩(wěn)定性，其匹配的結(jié)果中仍存在一些誤匹配點對，需要進(jìn)行剔除。本文首先采用隨機抽樣一致性(RANSAC)算法，對糾正后影像的誤匹配點對進(jìn)行初始剔除。然后將經(jīng)過初步去除誤匹配的同名點對根據(jù)本文1.1節(jié)的逆步驟，將同名點對分別反算回原始影像，得到其在原始影像上的點坐標(biāo)值。再利用基礎(chǔ)矩陣(fundamental matrix)估計法對同名點對進(jìn)行篩選，得到最終結(jié)果。

2 實驗與效果分析

2.1 實驗準(zhǔn)備

為證明上述方法的有效性，本文使用VS2010實現(xiàn)了該算法，并選取了一套貴州省六盤水市的傾斜航攝影像進(jìn)行了測試。這套數(shù)據(jù)由航空攝影測量儀獲取，分為下視影像和多組傾斜影像，影像大小為6 000像素×4 000像素。在這里，列舉了3張具有代表性的城區(qū)范圍的影像，如圖4所示。其中，影像(a)和(b)為視角不同的兩張傾斜影像，傾斜影像1為后視影像，傾斜影像2為左視影像，影像(c)為下視影像。程序的運行環(huán)境為：Windows 7、GTX960、16G、i7-CPU。

圖4 實驗數(shù)據(jù)縮略圖

對于傾斜影像間的匹配，大致可以分為三類：不同視角的傾斜影像與傾斜影像的匹配、傾斜影像與下視影像的匹配以及下視影像與下視影像的匹配。而下視影像間仿射畸變小、匹配效果較好，不作為本文考慮內(nèi)容。因此，根據(jù)上面列舉的3張影像，本文的實驗可分成以下兩組進(jìn)行：①下傾斜影像1和下視影像；②傾斜影像1和傾斜影像2。并對這兩組數(shù)據(jù)分別利用SIFT算法、ASIFT算法以及本文算法所得到的匹配結(jié)果進(jìn)行對比分析。對匹配結(jié)果進(jìn)行評價時，既要考慮匹配的效果，又要考慮匹配的效率，因此匹配的標(biāo)準(zhǔn)包括以下三個部分：匹配點對的數(shù)量與分布、匹配點對的正確率以及匹配過程的耗時。其中匹配點對是否正確需要在ENVI 軟件中逐對的人工目視檢查和判斷(城區(qū)影像具有多平面場景，因而不能簡單地通過計算出均方根誤差來判斷匹配點對的正確性)。

2.2 實驗結(jié)果與分析

通過三種方法得到的匹配結(jié)果如圖5所示，將匹配相關(guān)結(jié)果進(jìn)行統(tǒng)計可得到表1，從圖5和表1的結(jié)果可以發(fā)現(xiàn)：①采用本方法得到的正確點對數(shù)分別是SIFT算法和及ASIFT算法的約7倍和5倍左右，且從匹配點對的分布情況來看，采用本文方法所得到同名點對分布更加均勻。②ASIFT算法針對傾斜影像的匹配正確率較高，本文算法略優(yōu)于ASIFT算法，而SIFT算法對不同傾角的傾斜影像匹配效果較差，這也是說明了其并不具備仿射不變性。③從匹配效率來看，SIFT算法的效率最高；而ASIFT算法由于匹配算法復(fù)雜度較高，匹配過程耗時非常大，效率非常低；相比而言，采用本文的方法，效率較高。

圖5 三種方法分別對兩組數(shù)據(jù)的匹配效果

表1 三種方法分別對兩組數(shù)據(jù)的匹配結(jié)果

通過對實驗結(jié)果的分析，本文提出的方法要優(yōu)于SIFT算法和ASIFT算法。由于通過利用攝區(qū)低分辨率DEM和影像初始外方位元素對影像進(jìn)行了仿射變換，減弱了傾斜影像間的幾何變形，使算法具有仿射不變性，可獲得更為準(zhǔn)確的匹配結(jié)果，與此同時，算法在復(fù)雜度上要比ASIFT算法簡單的多，所以在效率上得到很明顯地提高。

3 結(jié)束語

本文針對傾斜影像間幾何變形較大的問題，提出了一種DEM輔助下的傾斜航攝影像匹配方法。該方法首先通過將影像投影到攝區(qū)的DEM上實現(xiàn)對傾斜影像的仿射糾正以削弱幾何上的變形，然后將經(jīng)過SIFT特征匹配和RANSAC誤匹配剔除后的匹配點對反算回原始影像，再利用基礎(chǔ)矩陣估計法剔除誤匹配，得到最終的同名點對。經(jīng)實驗驗證，該方法匹配的效率遠(yuǎn)高于ASIFT匹配算法，且從匹配得到的點對數(shù)量、分布及正確率來看，匹配效果較好。下一步可針對SIFT算法內(nèi)部進(jìn)行優(yōu)化，如采用具有視點不變性的Harris角點來建立SIFT描述符等方法，以達(dá)到更好的匹配效果；也可嘗試?yán)脭?shù)字表面模型(DSM)數(shù)據(jù)對影像進(jìn)行仿射變換，對比匹配效果。

[1] RUPNIK E, NEX F, REMONDINO F. Oblique Multi-Camera Systems-Orientation and Dense Matching Issues[J]. ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, XL-3/W1(3):107-114.

[2] 王偉, 黃雯雯, 鎮(zhèn)姣. Pictometry傾斜攝影技術(shù)及其在三維城市建模中的應(yīng)用[J]. 測繪與空間地理信息, 2011, 34(3):181-183.

[3] 楊國東, 王民水.傾斜攝影測量技術(shù)應(yīng)用及展望[J].測繪與空間地理信息,2016,39(1):13-15,18.

[4] H?HLE J. Oblique Aerial Images and Their Use in Cultural Heritage Documentation[J]. ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2013, xl-5/w2(XL-5/W2).

[5] 李鎮(zhèn)洲, 張學(xué)之. 基于傾斜攝影測量技術(shù)快速建立城市三維模型研究[J]. 測繪與空間地理信息, 2012, 35(4).

[6] 王卿, 郭增長, 李豪,等. 多角度傾斜攝影系統(tǒng)三維量測方法研究[J]. 測繪工程, 2014, 23(3):10-14.

[7] 楊國東, 王民水. 傾斜攝影測量技術(shù)應(yīng)用及展望[J]. 測繪與空間地理信息, 2016, 39(1):13-15.

[8] WIEDEMANN A, MORé J. Orientation Strategies for Aerial Oblique Images[J]. 2012, XXXIX-B1(1):1-33.

[9] MIKOLAJCZYK K，CORDELIA S. A Performance Evaluation of Local Descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(10)：1 615-1 630

[10] MIKOLAJCZYK K, TUYTELAARS T, SCHMID C, et al. A Comparison of Affine Region Detectors[J]. International Journal of Computer Vision, 2005, 65(1-2):43-72.

[11] MIKOLAJCZYK K，CORDELIA S. Scale and Affine Invariant Interest Point Detectors[J]. International Journalof Computer Vision，2004，60(1)：63_86

[12] MIKOLAJCZYK K，SCHMID C. An Affine Invariant Interest Point Detector[J]. Lecture Notes in Computer Science，2002，2 350：128_142

[13] MOREL J M, YU G. ASIFT: A New Framework for Fully Affine Invariant Image Comparison[J]. Siam Journal on Imaging Sciences, 2009, 2(2):438-469.

[14] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(60):91-110.

[15] 王佩軍. 攝影測量學(xué):測繪工程專業(yè)[M]. 武漢：武漢大學(xué)出版社, 2005.

[16] 王瑞, 梁華, 蔡宣平. 基于GPU的SIFT特征提取算法研究[J]. 現(xiàn)代電子技術(shù), 2010, 33(15):41-43.

[責(zé)任編輯：李銘娜]

Matching method for oblique aerial image assisted by DEM

CHANG Yue1, DENG Fei1，2, LI Tianshuo1

(1.School of Geodesy & Geomatics,Wuhan University,Wuhan 430079,China； 2.Collaborative Innoation Center for Territorial Sovereignty and Maritime Rights,Wuhan University,Wuhan 430079,China)

In the oblique aerial photogrammetry, the oblique images have large geometric deformation due to the great differences of the viewing angles. However, the algorithm with affine scaling invariance like ASIFT algorithm is less efficient. Therefore, this paper presents a DEM-assisted oblique aerial image matching method. Firstly, the geometrical deformation is weakened by affine transformation of the oblique image by making full use of the rough Exterior Orientation (EO) elements and DEM data. Secondly, Scale Invariant Feature Transform ( SIFT) algorithm is used to match the corrected images to get the corresponding points, and then the false matches in them are eliminated by using the RANdom SAmple Consensus (RANSAC) algorithm．Finally, the homography matrix is used to calculate the corresponding point coordinates on the original image, and the mismatches are eliminated with Fundamental Matrix Estimation method in order to obtain the final corresponding points. Experiments conducted on many sets of oblique images demonstrate that the corresponding points obtained by the proposed algorithm are significantly improved in the computation efficiency, quantity and distribution.

oblique image matching；DEM；affine transformation；scale invariant feature transform(SIFT)；mismatching elimination

著錄：常越，鄧非，李天爍，等.DEM輔助下的傾斜航攝影像匹配方法[J].測繪工程，2017，26(11)：18-22.

10.19349/j.cnki.issn1006-7949.2017.11.004

2016-10-18

國家自然科學(xué)基金資助項目(41271431，41401536)；國家科技支撐計劃課題(2012BAJ23B03).

常 越(1993-)，女，碩士研究生.

鄧 非(1976-)，男，教授，博士.

TP75

A

1006-7949(2017)11-0018-05