基于改進(jìn)SIFT算法的無人機(jī)遙感影像匹配

趙啟兵， 王養(yǎng)柱， 胡永浩

(北京航空航天大學(xué)自動(dòng)化科學(xué)與電氣工程學(xué)院，北京 100191)

0 引言

無人機(jī)低空遙感系統(tǒng)主要由飛行器平臺(tái)、自動(dòng)飛行控制系統(tǒng)、遙控遙測(cè)系統(tǒng)、遙感設(shè)備(高/多光譜相機(jī))、地面站等5部分組成［1］。無人機(jī)遙感系統(tǒng)具有使用靈活、操作方便、維護(hù)簡單等特點(diǎn)及宜于長航時(shí)飛行和高危區(qū)域作業(yè)等方面的優(yōu)勢(shì)，目前已在軍事偵察、地圖測(cè)繪、森林防火等領(lǐng)域得到廣泛應(yīng)用。無人機(jī)遙感影像匹配(景象匹配)可采取兩種方法［2］:1)利用遙感設(shè)備攝像時(shí)無人機(jī)的6個(gè)外方位信息(空間位置和姿態(tài))進(jìn)行匹配，但由于載荷、成本等方面的限制，無法裝載高精度的導(dǎo)航和平衡控制系統(tǒng)，使得飛機(jī)位置和姿態(tài)信息無法精確得到，匹配精度難以保證;2)直接對(duì)遙感影像本身進(jìn)行處理，即通過尋找圖像上的同名特征點(diǎn)進(jìn)行匹配，這種方法的匹配精度和穩(wěn)定性很大程度上依賴于特征點(diǎn)的選取和匹配算法。

近些年，尺度不變特征變換［3］(Scale Invariant Feature Transform，SIFT)在視覺導(dǎo)航、三維目標(biāo)重建、醫(yī)學(xué)圖像配準(zhǔn)、目標(biāo)識(shí)別等領(lǐng)域應(yīng)用得十分廣泛［4－6］。SIFT是一種穩(wěn)定的局部特征匹配算法，由Lowe在1999年提出，并于2004年總結(jié)完善。該算法引入了尺度空間、梯度直方圖、特征描述符等概念，由其提取出的特征點(diǎn)具有良好的尺度和旋轉(zhuǎn)不變性，并對(duì)一定程度的光照和視角變化具有魯棒性。Mikolajczyk等人將多種局部描述子作了評(píng)價(jià)和比較，通過實(shí)驗(yàn)表明SIFT及其擴(kuò)展算法在同類描述子中具有最強(qiáng)的穩(wěn)健性［7］。然而該算法中的每個(gè)特征點(diǎn)使用128維的特征向量(描述符)進(jìn)行描述，增加了算法的復(fù)雜性和時(shí)間代價(jià)，很難運(yùn)用到實(shí)時(shí)性要求較高的景象匹配導(dǎo)航和制導(dǎo)中。針對(duì)上述不足，研究者做了不同的改進(jìn)，如Yan Ke等人［8］提出利用主成分分析的PCA-SIFT方法，但在沒有任何先驗(yàn)知識(shí)的情況下，該算法反而增加了計(jì)算量;Delponte等人［9］提出用SVD方法進(jìn)行特征匹配，但匹配過程復(fù)雜，且不能用于寬基線匹配;劉立等人［10］提出的SSIFT算法，雖在匹配時(shí)間上有所縮短，但匹配精度不高;曹娟等人［11］提出的D2oG算法，對(duì)特征信息匱乏的圖像，限制其匹配精度。

本文采用同心圓環(huán)劃分特征鄰域，對(duì)特征點(diǎn)描述符進(jìn)行降維簡化，并利用雙向匹配思想［12］和馬氏距離［2］對(duì)初始匹配點(diǎn)對(duì)進(jìn)行去誤匹配處理，提高匹配精度。實(shí)驗(yàn)結(jié)果表明，該方法在保證匹配精度的前提下，較SIFT算法在實(shí)時(shí)性方面有一定的提高。

1 SIFT特征匹配算法

SIFT是一種利用圖像局部特征信息進(jìn)行匹配的算法，主要包括3個(gè)步驟:1)特征點(diǎn)檢測(cè);2)特征描述符生成;3)特征向量匹配。

其中特征點(diǎn)檢測(cè)是算法實(shí)現(xiàn)尺度縮放和角度旋轉(zhuǎn)不變的核心所在。首先用變核高斯函數(shù)對(duì)圖像進(jìn)行卷積運(yùn)算，通過降采樣處理構(gòu)建高斯金字塔。DoG金字塔由高斯金字塔的相鄰層相減得到，如圖1所示。

圖1 DoG金字塔局部極值檢測(cè)Fig.1 Detecting of local extremum in DoG pyramid

接著在DoG金字塔中，將各階中間層的像素點(diǎn)與其三維鄰域內(nèi)的26個(gè)點(diǎn)進(jìn)行比較，找出極值點(diǎn)作為候選特征點(diǎn)，并通過三維二次函數(shù)擬合獲取亞像素級(jí)定位精度;同時(shí)剔除低對(duì)比度的特征點(diǎn)以及不穩(wěn)定的邊緣響應(yīng)點(diǎn)。然后將特征點(diǎn)鄰域內(nèi)的梯度方向直方圖最大值所對(duì)應(yīng)的方向作為該特征點(diǎn)的主方向。此時(shí)的特征點(diǎn)已具有3個(gè)描述信息:位置、尺度和方向，從而保證了所提取出的特征點(diǎn)具有尺度和旋轉(zhuǎn)不變性。

特征點(diǎn)描述符表征了特征點(diǎn)鄰域內(nèi)小尺度的特征信息分布，SIFT算法利用128維的特征向量對(duì)特征點(diǎn)進(jìn)行描述。最后通過基于歐氏距離的最近鄰比率匹配算法找到匹配點(diǎn)對(duì)，進(jìn)而計(jì)算Homography矩陣，得到兩幅圖像間的變換參數(shù)并匹配定位。

2 改進(jìn)的SIFT算法

由于SIFT算法本身的復(fù)雜性以及較多的參數(shù)設(shè)置，文獻(xiàn)［3］通過大量實(shí)驗(yàn)，給出了這些參數(shù)的經(jīng)驗(yàn)值。在實(shí)際調(diào)試程序時(shí)，會(huì)發(fā)現(xiàn)這些參數(shù)的改變對(duì)整個(gè)算法的復(fù)雜性影響較小。由表1可知，SIFT算法在構(gòu)建DoG空間和生成特征描述符上占用了大量時(shí)間?；诖耍疚膶?duì)生成特征描述符環(huán)節(jié)進(jìn)行簡化，降低維數(shù)，減少計(jì)算量，提高實(shí)時(shí)性;并對(duì)最初匹配點(diǎn)對(duì)進(jìn)行剔除誤匹配點(diǎn)對(duì)處理，提高匹配精度;最后通過最小二乘法求取Homography矩陣，獲取兩幅圖像間的變換參數(shù)。

表1 SIFT算法各環(huán)節(jié)所需時(shí)間Table 1 The time required for each stage of SIFT algorithm

2.1 簡化特征描述符

文獻(xiàn)［3］中就特征描述符的生成環(huán)節(jié)，提到了采用σ為描述窗口一半的高斯加權(quán)函數(shù)對(duì)梯度模值進(jìn)行加權(quán)處理的方法，使得離特征點(diǎn)較近的像素對(duì)特征描述符的生成貢獻(xiàn)大，而離特征點(diǎn)較遠(yuǎn)的像素對(duì)特征描述符的生成貢獻(xiàn)小。高斯加權(quán)函數(shù)滿足正態(tài)分布，因而上述利用高斯加權(quán)函數(shù)對(duì)特征點(diǎn)鄰域的加權(quán)處理，可理解成從特征點(diǎn)開始呈高斯分布的同心圓，其高斯加權(quán)值隨著同心圓半徑的增加而減小。據(jù)此，本文提出以特征點(diǎn)為圓心，構(gòu)建若干不同半徑同心圓環(huán)，將特征點(diǎn)鄰域劃分成幾個(gè)子區(qū)域的方法。分別計(jì)算各子區(qū)域的梯度方向直方圖，并按從內(nèi)環(huán)到外環(huán)的順序排列，以突出離特征點(diǎn)較近的像素對(duì)描述符生成的貢獻(xiàn)作用。

簡化特征描述符生成的具體步驟如下。

1)以特征點(diǎn)為圓心，8像素為半徑(以保持和原SIFT算法生成特征描述符所需鄰域范圍一致)，確定特征點(diǎn)的鄰域范圍。然后再分別以2像素、4像素和6像素為半徑，形成4個(gè)不同半徑的同心圓環(huán)，將鄰域劃分成4個(gè)子區(qū)域。如圖2所示，每一小格代表一個(gè)像素值。

2)分別計(jì)算各個(gè)子區(qū)域內(nèi)像素的梯度模值和方向，并將其投射到12個(gè)方向上，形成梯度方向直方圖。將內(nèi)環(huán)的12維向量作為特征向量前12個(gè)元素，次內(nèi)環(huán)的12維向量作為特征向量第13到第24個(gè)元素。依次向外，可形成4×12=48維的特征向量，即簡化的特征描述符。

圖2 簡化特征點(diǎn)鄰域劃分Fig.2 Division of feature points’neighborhood

3)為保證特征描述符的旋轉(zhuǎn)不變性，將上述所得特征向量進(jìn)行排序處理。設(shè)D是特征點(diǎn)的特征向量(特征描述符)，D1，D2，D3，D4依次是內(nèi)環(huán)到外環(huán)的特征向量，即 D=(D1，D2，D3，D4)，其中:Di={di1，di2，…，di12}，i=1，2，3，4。找出內(nèi)環(huán)直方圖中 bin 的最大值，若d11是最大值，則無需做任何處理，否則同時(shí)將D1，D2，D3，D4內(nèi)的元素循環(huán)左移，直至 D1中 bin 值最大的元素在D1的第一位。

4)為減少光照的影響，可對(duì)上述排序后的描述符進(jìn)行歸一化處理。

2.2 特征匹配和模型估計(jì)

原SIFT算法利用最近鄰與次近鄰距離比值ratio尋找匹配點(diǎn)對(duì)，將ratio小于某個(gè)閾值的對(duì)應(yīng)點(diǎn)對(duì)作為正確匹配點(diǎn)對(duì)，否則剔除。文獻(xiàn)［12］通過對(duì)大量的遙感影像進(jìn)行試驗(yàn)表明，即使采用較小的ratio值仍然無法排除遙感影像中的一些錯(cuò)誤匹配點(diǎn)對(duì)。同一特征點(diǎn)可能有一個(gè)主方向和一個(gè)以上的輔方向，在SIFT算法中都是將其歸為不同的特征點(diǎn)，從而產(chǎn)生了重復(fù)匹配情況。同時(shí)SIFT算法在兩個(gè)特征點(diǎn)集之間尋找匹配點(diǎn)對(duì)時(shí)，采用了窮舉搜索(Exhaustive Search)方法，可能產(chǎn)生一對(duì)多、多對(duì)一的匹配情況，此外還有其他一些誤匹配情況。因此對(duì)這些誤匹配點(diǎn)對(duì)進(jìn)行剔除處理，對(duì)后續(xù)計(jì)算以及模型估計(jì)精度都十分有利。

本文采用雙向匹配思想和馬氏距離優(yōu)化匹配算法，對(duì)誤匹配點(diǎn)對(duì)進(jìn)行剔除，提高匹配精度。圖3和圖4是分別采用原SIFT算法和匹配精度優(yōu)化算法提取出的匹配點(diǎn)對(duì)(圖中各個(gè)小圓圈的中心即為匹配特征點(diǎn)的位置)。通過人工目視可以看出，滿足要求的誤匹配點(diǎn)對(duì)基本上已被剔除。

為了更加清晰地表明優(yōu)化后的匹配點(diǎn)對(duì)以及兩幅圖像之間的仿射關(guān)系，將圖3、圖4中的匹配點(diǎn)顯示在同一坐標(biāo)系下，如圖5所示。

圖3 原SIFT特征匹配點(diǎn)對(duì)共45對(duì)(取ratio為0.48)Fig.3 45 pairs of matching points by original SIFT(ratio=0.48)

圖4 匹配精度優(yōu)化后的匹配點(diǎn)對(duì)共35對(duì)Fig.4 35 pairs of matching points by the optimized algorithm

圖5 匹配特征點(diǎn)的比較結(jié)果Fig.5 Comparison of the matching feature points

圖中:“△”和“□”代表原SIFT算法提取的對(duì)應(yīng)匹配點(diǎn)對(duì);“☆”和“+”代表篩選后兩幅圖像中的匹配點(diǎn)對(duì)。從圖5可以看出，絕大部分匹配點(diǎn)對(duì)重合，有少量的匹配點(diǎn)對(duì)被剔除，同時(shí)兩幅圖像中的特征點(diǎn)分布以及構(gòu)成的形體基本滿足仿射變換形式。

最后通過最小二乘法，求解Homography矩陣，估計(jì)兩幅圖像之間的變換模型。本文所采用的遙感影像主要存在角度旋轉(zhuǎn)、尺度縮放和平移變形，可采用式(1)估計(jì)變換參數(shù)。

式中:(x，y)為參考圖像中某點(diǎn)的坐標(biāo);(u，v)為待匹配圖像中與之對(duì)應(yīng)的坐標(biāo);θ為圖像的旋轉(zhuǎn)角度(順時(shí)針為正);s為圖像的縮放尺度;(tx，ty)為兩者間的坐標(biāo)平移量。

將兩幅圖像中所有匹配點(diǎn)對(duì)綜合考慮，并將式(1)改寫成如下形式。

將式(2)記成 Ax=b，利用最小二乘法求得x=［ATA］－1ATb。上式4個(gè)變換參數(shù)可由3對(duì)以上不共線的匹配點(diǎn)對(duì)計(jì)算得到，進(jìn)而確定兩幅圖像間的平移、縮放、旋轉(zhuǎn)等變化量。

3 仿真結(jié)果分析

為使實(shí)驗(yàn)結(jié)果具有可對(duì)比性，所有仿真實(shí)驗(yàn)都是在CPU為Intel Core2 1.86 GHz，內(nèi)存1 G，顯存256 M 的PC機(jī)上，以vs2005和OpenCV2.0結(jié)合編程實(shí)現(xiàn)。實(shí)驗(yàn)用圖來源于某型號(hào)無人機(jī)高空航拍的高/多光譜圖像，分辨率為1 m。

本文在事先知道圖像變換參數(shù)的情況下，通過實(shí)驗(yàn)驗(yàn)證本文算法對(duì)遙感影像匹配的有效性。實(shí)驗(yàn)將從尺度縮放、角度旋轉(zhuǎn)、目標(biāo)定位以及算法運(yùn)行時(shí)間等4個(gè)方面進(jìn)行比較。限于篇幅，本文選取部分遙感影像，對(duì)其匹配效果和實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析說明。圖6～圖8分別顯示了圖像尺度縮放、角度旋轉(zhuǎn)和兩者皆有的匹配情況。圖中的小圓圈標(biāo)記特征匹配點(diǎn)對(duì)，紅色的邊框表示右側(cè)圖像在左側(cè)圖像中的位置(可通過上述求得的Homography矩陣，將右側(cè)圖像的邊緣像素投射到左側(cè)圖像中獲得)。

圖6 圖像間存在尺度縮放的匹配結(jié)果Fig.6 Matching result of images with scale zooming

圖7 圖像間存在角度旋轉(zhuǎn)的匹配結(jié)果Fig.7 Matching result images with angle rotating

圖8 圖像間存在尺度縮放+角度旋轉(zhuǎn)的匹配結(jié)果Fig.8 Matching result of images with scale zooming＆angle rotatiing

表2～表4分別列出了模型的估計(jì)參數(shù)，算法運(yùn)行時(shí)間等。其中匹配坐標(biāo)是指上述幾組匹配圖像中右側(cè)圖像的左上角在左側(cè)圖像中的像素坐標(biāo)(以左側(cè)圖像的左上角為坐標(biāo)原點(diǎn))，運(yùn)行時(shí)間是指特征點(diǎn)的檢測(cè)時(shí)間。

表2 圖像縮放參數(shù)比較Table 2 Image scaling parameters

表3 圖像旋轉(zhuǎn)參數(shù)比較Table 3 Image rotating parameters

可以看出，該方法在圖像尺度縮放、角度旋轉(zhuǎn)等幾何變形上與原SIFT算法具有相同的匹配定位精度，同時(shí)在算法實(shí)時(shí)性方面有一定的提高。

表4 圖像縮放+旋轉(zhuǎn)參數(shù)比較Table 4 Image scaling＆rotating parameters comparison

4 結(jié)束語

本文分析了SIFT算法在遙感影像匹配中實(shí)時(shí)性方面的不足，從特征描述符的生成著手，降低特征向量維數(shù)，減少計(jì)算時(shí)間，并對(duì)匹配點(diǎn)對(duì)進(jìn)行篩選，提高模型估計(jì)精度。實(shí)驗(yàn)結(jié)果表明，該算法在實(shí)時(shí)性方面優(yōu)于SIFT算法，但存在著與SIFT算法同樣的缺陷，即對(duì)相似或?qū)ΨQ環(huán)境，其匹配精度較低，如何加入顏色等全局元素將是下一步的研究重點(diǎn)。

［1］陳信華.SIFT特征匹配在無人機(jī)低空遙感影像處理中的應(yīng)用［J］.現(xiàn)代測(cè)繪，2007，30(6):10-12.

［2］陳裕，劉慶元.基于SIFT算法和馬氏距離的無人機(jī)遙感圖像配準(zhǔn)［J］.測(cè)繪與空間地理信息，2009，32(6):50-53.

［3］LOWE D G.Distinctive image features from scale invariant keypoints［J］.International Journal of Computer Vision，2004，60(2):91-110.

［4］LOWE D G.Local feature view clustering for 3D object recognition［C］//IEEE Conference on Computer Vision and Pattern Recognition，2001:682-688.

［5］LOWE D G.Object recognition from local scale-invariant features［C］//InternationalConference on Computer Vision，1999:1150-1157.

［6］LOWE D G.Fitting parameterized three-dimensional models to images［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，1991，13(5):441-450.

［7］MIKOLAJCZYK K，SCHMID C.A performance evaluation of local descriptors［J］.IEEE Trans Pattern Analysis and Machine Intelligence，2005，27(10):1615-1630.

［8］SUKTHANKAR R.PCA-SIFT:A more distinctive representation for local image descriptors［C］//Proceedings Conference Computer Vision and Pattern Recognition，2004:511-517.

［9］DELPONTE E，LSGRO F，ODONE F，et al.SVD-matching using SIFT features［J］.Graphical Models，2006，68(5):415-431.

［10］劉立，彭復(fù)員，趙坤，等.采用簡化SIFT算法實(shí)現(xiàn)快速圖像匹配［J］.紅外與激光工程，2008，37(1):181-183.

［11］曹娟，李興瑋，林偉廷，等.SIFT特征匹配算法改進(jìn)研究［J］.系統(tǒng)仿真學(xué)報(bào)，2010，22(11):2760-2763.

［12］李芳芳，肖本林，賈永紅，等.SIFT算法優(yōu)化及其作用于遙感影像自動(dòng)配準(zhǔn)［J］.武漢大學(xué)學(xué)報(bào)，2009，34(10):1245-1249.