改進(jìn)SIFT的傾斜無(wú)人機(jī)影像匹配方法

張占平，武風(fēng)英，包鵬章

（1.青海省基礎(chǔ)測(cè)繪院，青海 西寧 810001）

傾斜攝影測(cè)量技術(shù)通過(guò)在航空測(cè)量平臺(tái)上搭載不同視角的傳感器同時(shí)獲取地物更加精準(zhǔn)的信息，為智慧城市的三維重建提供豐富的側(cè)面紋理信息，成為城市三維重建數(shù)據(jù)采集的熱點(diǎn)技術(shù)[1]。但不同視角的傾斜影像間存在局部幾何形變大、旋轉(zhuǎn)角度大、影像地物遮擋等問(wèn)題，為多視角、多航帶間影像的匹配帶來(lái)挑戰(zhàn)[2-3]。因此，如何快速獲取可靠、準(zhǔn)確的同名點(diǎn)成為制約傾斜航空攝影測(cè)量技術(shù)發(fā)展的問(wèn)題。

傳統(tǒng)的具有尺度、旋轉(zhuǎn)不變性的SIFT匹配算法應(yīng)用在幾何形變較大的傾斜無(wú)人機(jī)影像存在較大問(wèn)題：①匹配同名點(diǎn)較少、分布不均勻。②影像分辨率高，導(dǎo)致影像上存在大量相似或重復(fù)場(chǎng)景利用局部特征描述子，計(jì)算獲取同名點(diǎn)的誤匹配率增大。③算法內(nèi)存消耗較大、計(jì)算效率低。針對(duì)傾斜無(wú)人機(jī)影像局部幾何形變較大問(wèn)題，文獻(xiàn)[4-6]提出POS與DEM輔助下的傾斜影像匹配算法，利用DEM數(shù)據(jù)糾正傾斜影像，該方法在弱紋理或影像存在大量相似區(qū)域匹配結(jié)果較差。文獻(xiàn)[7]通過(guò)透視變化對(duì)影像進(jìn)行預(yù)處理消除不同視角間影像存在的尺度、旋轉(zhuǎn)及幾何變形，一定程度上提高匹配的正確率；針對(duì)同名點(diǎn)分布不均勻問(wèn)題，文獻(xiàn)[8]對(duì)特征點(diǎn)提取算法進(jìn)行改進(jìn)，提出利用影像信息熵的方式控制特征點(diǎn)的分布；文獻(xiàn)[9]通過(guò)劃分影像格網(wǎng)的方式確保特征點(diǎn)的分布均勻；針對(duì)同名點(diǎn)的誤匹配率較高問(wèn)題；文獻(xiàn)[10]采用一種從粗到精的匹配策略，通過(guò)多重約束提高同名點(diǎn)的匹配正確率，但該方法在初始匹配正確率較低時(shí)，計(jì)算出錯(cuò)誤的約束條件可能導(dǎo)致最終的匹配結(jié)果更差；文獻(xiàn)[11]通過(guò)對(duì)匹配正確率較高的點(diǎn)進(jìn)行分塊構(gòu)建多個(gè)基準(zhǔn)點(diǎn)與基準(zhǔn)方向，多條件約束初始匹配結(jié)果，為后期空三處理提供可靠的同名點(diǎn)；文獻(xiàn)[12]提出漸進(jìn)式的匹配方法，通過(guò)初始匹配同名點(diǎn)集構(gòu)建Delaunay三角網(wǎng)，采用局部幾何糾正的方式糾正影像，結(jié)合特征點(diǎn)的主方向、局部Ransac剔除誤匹配點(diǎn)的方法提高匹配精度。

針對(duì)上述問(wèn)題，本文提出一種穩(wěn)健的傾斜無(wú)人機(jī)影像匹配算法，該方法從影像預(yù)處理、特征提取、特征匹配3個(gè)方面進(jìn)行改進(jìn)。利用影像自帶的POS數(shù)據(jù)與公開(kāi)的DEM數(shù)據(jù)對(duì)影像進(jìn)行幾何處理，消除影像的幾何變形差異；通過(guò)影像分塊與影像信息熵結(jié)合的方式控制特征點(diǎn)的數(shù)量與分布；采用約束、引導(dǎo)結(jié)合的匹配策略進(jìn)行同名特征點(diǎn)的提取。

1 基本原理

傾斜影像傾斜角度與旋轉(zhuǎn)角度較大等特點(diǎn)給其影像匹配帶來(lái)了極大的困難，致使配準(zhǔn)點(diǎn)對(duì)少、誤匹配多等問(wèn)題。針對(duì)以上問(wèn)題，采用先糾正后匹配的處理方法。

1.1 POS數(shù)據(jù)約束下的影像正射糾正

影像對(duì)應(yīng)的POS數(shù)據(jù)記錄了獲取數(shù)據(jù)時(shí)刻影像粗略的位置和姿態(tài)信息、以及空開(kāi)的SRTM數(shù)據(jù)。

1）利用影像的粗略的外方位角元素構(gòu)建影像的旋轉(zhuǎn)矩陣R，以及外方位線元素構(gòu)建平移向量T，在影像上均勻選取25個(gè)像點(diǎn)坐標(biāo)利用投影關(guān)系（1）將影像上的點(diǎn)分別投影到SRTM上。

式中， a1、a2、a3、b1、b2、b3、c1、c2、c3構(gòu)成旋轉(zhuǎn)矩陣R；Xs、Ys、Zs構(gòu)成平移向量T。

2）通過(guò)求解25個(gè)點(diǎn)的像方坐標(biāo)與對(duì)應(yīng)的物方坐標(biāo)，依據(jù)映射模型（2），利用最小二乘算法求解投影模型參數(shù)F；依據(jù)投影模型參數(shù)將影像的四角點(diǎn)的物方平面坐標(biāo)（Xi、Yi），分別求取立體影像對(duì)對(duì)應(yīng)地面點(diǎn)的最小外界矩形覆蓋的地面區(qū)域。

式中，x、y為像方坐標(biāo)；X、Y為對(duì)應(yīng)的物方坐標(biāo)；m0、m1、m2、n0、n1、n2為投影模型參數(shù)。

3）為了保證投影后影像的幾何特征不變，利用相機(jī)焦距與航高參數(shù)計(jì)算影像的水平糾正的分辨率，依據(jù)此分辨率在糾正后的影像上物方坐標(biāo)（X,Y）應(yīng)用投影模型參數(shù)F反算到像方，并在像方進(jìn)行雙線性內(nèi)插求取對(duì)應(yīng)的像素值。糾正效果見(jiàn)圖1。

圖1 近似水平糾正

1.2 分塊提取特征點(diǎn)

文獻(xiàn)[9]分析SIFT算法在提取特征點(diǎn)時(shí)容易出現(xiàn)弱紋理或紋理單一區(qū)域特征點(diǎn)數(shù)量較少甚至沒(méi)有特征點(diǎn)，而紋理豐富區(qū)域出現(xiàn)大量多余的特征點(diǎn)的情況。因此，提取足夠數(shù)量且分布均勻的特征點(diǎn)能有效地提高匹配算法的效率。根據(jù)糾正后影像重疊區(qū)域大小均勻劃分影像塊的大小，并利用影像塊的信息熵確定影像塊內(nèi)的特征點(diǎn)的數(shù)量。重疊區(qū)域內(nèi)所有特征點(diǎn)的數(shù)目為PNum由格網(wǎng)的大小和重疊區(qū)域影像大小共同 決定。

式中，W為影像重疊區(qū)域的寬度；H為影像重疊區(qū)域的高度；wg為格網(wǎng)分塊的大小。wg的取值較小，會(huì)導(dǎo)致特征點(diǎn)數(shù)量較多，匹配耗時(shí)；wg的取值較大時(shí)，導(dǎo)致匹配結(jié)果較差。本文選取wg為45，首先根據(jù)1.1部分確定傾斜影像近似正射糾正的影像映射關(guān)系Hl、Hr計(jì)算影像的重疊區(qū)域A；然后計(jì)算重疊區(qū)域內(nèi)影像信息熵與每塊影像信息熵，根據(jù)公式（4）計(jì)算該影像塊內(nèi)分配的特征點(diǎn)的數(shù)目。針對(duì)Harris角點(diǎn)對(duì)尺度變化因子差異較大、且對(duì)噪聲敏感問(wèn)題，本文采用文獻(xiàn)[13]所提出的尺度自適應(yīng)的Harris特征點(diǎn)提取算法，進(jìn)行Harris角點(diǎn)提取。

式中，Numi為第i影像塊內(nèi)提取特征點(diǎn)的數(shù)量；Si為第i影像塊對(duì)應(yīng)的影像信息熵。

1.3 多層次約束的匹配策略

不同視角的傾斜無(wú)人機(jī)影像雖然經(jīng)過(guò)近似正射糾正，特征點(diǎn)均勻分布處理誤匹配難以避免。文中采用一種多層次自適應(yīng)約束的匹配策略，利用Ransac算法計(jì)算影像的仿射變換矩陣F，在剔除誤匹配點(diǎn)的同時(shí)估算糾正后影像的仿射變換矩陣及初始同名點(diǎn)，然后根據(jù)新的F在影像的局部區(qū)域進(jìn)行二次匹配，以確定更多的匹配同名點(diǎn)，并對(duì)新增的同名點(diǎn)使用LSM匹配方法提取精確的同名點(diǎn)。主要包含以下3個(gè)步驟：

1）初始匹配，根據(jù)特征點(diǎn)的描述子，利用雙向最鄰近與次近鄰的比值法（NNDR）計(jì)算獲取初始匹配，為保證匹配足夠多的同名點(diǎn)，NNDR的取值為0.85。

2）仿射變換模型引導(dǎo)匹配，如圖2所示，對(duì)待匹配影像上任意特征點(diǎn)a1采用仿射變換模型參數(shù)F計(jì)算配準(zhǔn)影像上像素點(diǎn)a2，以a2為圓心，根據(jù)影像POS數(shù)據(jù)的精度，通過(guò)設(shè)置局部搜索半徑r（本文r=40pixel）保證了特征點(diǎn)的唯一性，雖然仿射變換是一種二維影像映射模型，但無(wú)人機(jī)影像覆蓋區(qū)域較小，局部區(qū)域地形或地物高度變化不會(huì)太大，因此可以獲得正確的匹配點(diǎn)對(duì)。

圖2 仿射變換模型引導(dǎo)匹配

為有效剔除匹配點(diǎn)中存在的誤匹配點(diǎn)，基于公 式（5）的仿射變換模型誤差一致性檢查，對(duì)仿射變換模型引導(dǎo)匹配獲取的匹配點(diǎn)重新計(jì)算仿射變換模型參數(shù)a10、a11、a12、b10、b11、b12，其中xref、yref為參考影像的像點(diǎn)坐標(biāo)，xinp、yinp為仿射變換模型計(jì)算出的待匹配影像的像點(diǎn)坐標(biāo)。采用均方根誤差作為匹配精度計(jì)算以及誤匹配點(diǎn)自動(dòng)剔除的依據(jù)（剔除誤差大于3倍均方根誤差），計(jì)算公式如（6）所示，其中N為匹配 點(diǎn)數(shù)。

3）精匹配階段，采用文獻(xiàn)[14]提出的立體影像LSM匹配算法，通過(guò)LSM 迭代方法來(lái)補(bǔ)償同名像點(diǎn)的定位誤差，同時(shí)剔除不能正確收斂的點(diǎn)，對(duì)正確的同名點(diǎn)進(jìn)行精確定位，優(yōu)化特征匹配結(jié)果。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文提出算法對(duì)于影像幾何變形大、存在大量相似紋理的傾斜無(wú)人機(jī)影像匹配的有效性。所有的實(shí)驗(yàn)程序都是在系統(tǒng)環(huán)境為win7 操作系統(tǒng)、16G內(nèi)存、i7-CPU，VS2010的開(kāi)發(fā)環(huán)境下進(jìn)行。本文采用多旋翼無(wú)人機(jī)上搭載的5個(gè)相機(jī)拍攝西寧某區(qū)域的多視影像數(shù)據(jù)，影像大小為5 456像元×3 632像元，相對(duì)航高約為320m。利用ENVI軟件在每組立體影像對(duì)上人工均勻選取20組同名點(diǎn)，然后采用仿射變換模型方法計(jì)算仿射變換模型參數(shù)作為影像間的模型變換參數(shù)，最后按公式（6）統(tǒng)計(jì)匹配精度。從匹配時(shí)間、匹配精度和匹配正確率3個(gè)方面評(píng)價(jià)匹配算法。其中正確匹配點(diǎn)數(shù)與初始匹配的點(diǎn)數(shù)的比值表達(dá)算法的匹配性能，比值與算法的性能成正比[15]。傾斜影像的匹配主要包括不同視角和相同視角兩大類，其實(shí)相同視角下的下視與下視影像的幾何畸變較小采用SIFT的匹配算法得結(jié)果滿足實(shí)際應(yīng)用的需求。因此，本文選取3張影像組成2組實(shí)驗(yàn)進(jìn)行：①下視影像與傾斜影像1；②下視影像與傾斜影像2。對(duì)2組實(shí)驗(yàn)分別利用ASIFT算法、本文算法的匹配結(jié)果進(jìn)行綜合對(duì)比分析。實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果為程序運(yùn)行20次的平均 結(jié)果。

2.2 結(jié)果與分析

兩種匹配算法對(duì)應(yīng)的匹配結(jié)果見(jiàn)圖3，并統(tǒng)計(jì)結(jié)果的匹配正確率、匹配時(shí)間以及匹配精度見(jiàn)表1，由圖4 及表1可知：①兩組測(cè)試數(shù)據(jù)采用本文方法獲得匹配正確率比傳統(tǒng)的ASIFT算法分別高8.32%、7.62%，且獲得的同名點(diǎn)對(duì)分布更加的均勻，第二組效果相對(duì)第一組較差因?yàn)榈诙M為不同視角獲取的傾斜影像視角差別較大；②由于ASIFT算法通過(guò)模擬不同角度獲取的影像匹配效果較好，但算法復(fù)雜度高計(jì)算效率低，本文算法約為ASIFT算法的效率的350倍，匹配效率大幅度提高；③從算法的匹配精度來(lái)說(shuō)，本文提出的算法的匹配精度優(yōu)于ASIFT算法達(dá)到亞像元的 高精度。

圖4 2組數(shù)據(jù)匹配結(jié)果

表1 兩組數(shù)據(jù)對(duì)應(yīng)兩種匹配方法的結(jié)果

圖3 實(shí)驗(yàn)數(shù)據(jù)

通過(guò)兩組實(shí)驗(yàn)數(shù)據(jù)的對(duì)比可知，利用公開(kāi)的SRTM數(shù)據(jù)結(jié)合影像的POS數(shù)據(jù)對(duì)傾斜影像進(jìn)行近似水平糾正，可以消除傾斜數(shù)據(jù)間的幾何變形，使算法間接具有與ASIFT算法相同的仿射不變性，獲得準(zhǔn)確的匹配結(jié)果。通過(guò)多層次的約束匹配策略進(jìn)一步提高本文方法的匹配正確率，結(jié)合最小二乘匹配方法提高同名點(diǎn)定位精度。

3 結(jié) 語(yǔ)

針對(duì)傾斜影像存在較大的視角差異以及幾何變形導(dǎo)致難以獲取穩(wěn)定的同名點(diǎn)問(wèn)題，本文提出一種穩(wěn)健的傾斜影像匹配算法。該方法通過(guò)DEM數(shù)據(jù)輔助處理原始傾斜影像數(shù)據(jù)，消除影像的仿射變形問(wèn)題，再對(duì)重疊區(qū)域的影像均勻分塊確保同名點(diǎn)分布均勻，最后通過(guò)多層次的匹配約束策略獲得較好的匹配結(jié)果。下一步將針對(duì)影像局部仿射畸變不一致問(wèn)題進(jìn)行研究，優(yōu)化整體進(jìn)行近似水平糾正策略，進(jìn)一步減少影像的幾何變形的影響。