SIFT遙感影像快速配準方法

丁海燕，劉合輝，劉春菊

（1. 61175部隊，武漢 430074）

SIFT遙感影像快速配準方法

丁海燕1，劉合輝1，劉春菊1

（1. 61175部隊，武漢 430074）

針對SIFT算法存在內(nèi)存消耗多、運算速度慢的問題，采用金字塔和分塊策略，首先對原始影像進行粗配準，然后再作分塊影像匹配，在匹配過程中根據(jù)局部熵過濾掉冗余特征點，并使其均勻分布于影像，以實現(xiàn)精確配準。對錯誤匹配點先利用相關(guān)系數(shù)初步剔除錯誤點，再利用極線約束對錯誤匹配點進行精細剔除，最后將RANSAC算法應用于剩下的匹配點，進一步提高匹配精確度。

SIFT；影像配準；極線約束；點特征

影像配準是多源數(shù)據(jù)融合、變化檢測、影像鑲嵌、運動檢測和目標識別等諸多遙感應用的前期工作，其結(jié)果好壞直接影響后續(xù)工作的質(zhì)量[1]。基于灰度的配準算法對幾何形變較為敏感，難以解決遙感影像中不連續(xù)、陰影、被遮蔽以及不同波段之間影像配準的問題[2]?；谔卣鞯呐錅仕惴ㄍㄟ^提取點、線、面特征來實現(xiàn)影像之間的配準，可以在一定程度上解決上述問題。在基于點特征的影像配準算法中，SIFT（尺度不變特征變換）算法具有尺度和旋轉(zhuǎn)不變性[3]，對于較大范圍內(nèi)的仿射形變、三維視點變化、噪聲和明度變化可以提供穩(wěn)健的匹配，在影像配準中得到了廣泛應用。

1 SIFT算法原理步驟

SIFT算法是一種提取圖像局部特征的算法，通過在高斯差分尺度空間（difference of gaussian，DOG）尋找極值點作為關(guān)鍵點，提取尺度、亮度、旋轉(zhuǎn)不變量?；赟IFT點特征的提取與匹配算法由點特征提取、特征描述子計算和特征匹配3步組成[4]。

1）對原始影像采用不同標準差σ進行高斯平滑，然后對平滑后的影像求差，得到高斯差分影像。在差分影像上取灰度值極大或極小的點作為特征點。高斯平滑公式如式（1）[5]：

2）以特征點為中心，取給定高寬的影像區(qū)域，計算該區(qū)域內(nèi)每個像元的梯度方向和梯度強度。統(tǒng)計不同梯度方向上的梯度強度總和，以此構(gòu)成特征向量。

3）計算待配準影像和參考影像上不同特征點的特征向量的歐氏距離，將距離最小的特征點作為初始匹配點，并根據(jù)最鄰近和次鄰近的歐氏距離之比剔除誤匹配點。

2 提高SIFT運算效率與特征點分布均勻性

2.1 金字塔和分塊策略

在原始影像的基礎(chǔ)上構(gòu)建影像金字塔，采取由粗到精的策略，從上層金字塔開始匹配，然后遞推到下一層，并為下一層金字塔的匹配提供控制參數(shù)，具體思路如下：

1）對原始影像進行重采樣，生成高寬均小于給定閾值的縮小影像，并利用SIFT特征匹配實現(xiàn)縮小影像之間的配準，獲得初始變換參數(shù)。

2）對原始待配準影像進行重采樣，生成初步消除縮放、平移和旋轉(zhuǎn)形變之后的粗配準影像，確定粗配準影像和參考影像的重疊區(qū)域，在重疊區(qū)內(nèi)對待配準和參考影像進行分塊。

3）在分塊影像中分別提取SIFT特征點，并進行特征匹配。

4）收集各分塊影像的匹配點并剔除粗差，得到最終的匹配點集，解算幾何變換模型參數(shù)，生成精確配準影像。

2.2 過濾冗余特征點并均勻分布剩余特征點

遙感影像具有數(shù)據(jù)量大和紋理信息豐富的特點，影像匹配可以得到大量的SIFT特征匹配點[6]，但匹配點數(shù)目過多也可能帶來一些問題，如解算幾何模型參數(shù)時存在冗余，實際所需要的控制點數(shù)目可能遠小于匹配點數(shù)目；會增加后續(xù)特征匹配的運算量，導致運算效率下降。

影像配準的成功率和可靠性在很大程度上取決于特征點的質(zhì)量與分布情況，因此，在兼顧效率與精度的情況下，應在剔除冗余數(shù)據(jù)點的同時保證特征點分布均勻，具體思路如下：

1）確定所需特征點的總數(shù)N。太多的點會增加匹配的計算量，而太少的點可能會導致匹配失敗。

2）根據(jù)標準SIFT生成高斯尺度空間，該空間包含ON個組，每個組包含LN層，初始尺度因子為σ0。對每一層利用標準SIFT算法提取特征點作為初始候選點，剔除對比度區(qū)間前15%不可靠的特征點。由式（2）計算所需特征點個數(shù)Nol[2]：

將當前尺度層影像劃分為規(guī)則格網(wǎng)，并且根據(jù)式（3）計算每個格網(wǎng)單元所需的特征點個數(shù)n_celli：

式中，Ei表示格網(wǎng)單元i的信息量（熵），由式（4）計算得到；WE和Wn分別表示信息量和所需特征數(shù)量的權(quán)重，MCi為平均對比度[7]。

每一格網(wǎng)單元保留3×n_celli個高對比度點，拋棄其他低對比度的點。由標準SIFT算法計算保留點的精確位置和尺度，然后用閾值T=10的主曲率分析方法去除質(zhì)量較低的特征點。由式（4）計算剩余特征點的信息量熵，然后在格網(wǎng)單元里選取信息量熵最大的n_celli個特征點。

3）由標準SIFT算法計算提取的特征點的主方向并生成特征描述子。

2.3 算法并行實現(xiàn)

由于多核環(huán)境采用的是共享存儲模式，易于實現(xiàn)算法級別上的并行，本文針對各環(huán)節(jié)的特點分別進行并行化。在各處理步驟之間保持串行處理，在具體實現(xiàn)每一步驟時，則根據(jù)處理單元數(shù)目以像元或者特征點為單元進行并行計算。

3 剔除SIFT錯誤匹配點

經(jīng)過以上步驟得到的SIFT匹配點依然會存在大量的錯誤匹配點，這些錯誤匹配點對圖像定位、圖像配準和圖像特征庫的建立等都會產(chǎn)生嚴重的影響，所以研究如何刪除錯誤匹配點具有重要意義。

3.1 相關(guān)系數(shù)初剔除

給出基準圖像中的特征點x（u，v），使用中心位于該點、尺寸大小為（2n+1）×（2m+1）的窗口作為目標窗口，對該特征點在待配準圖像中對應的一個或多個特征點xi'（u'，v'）在大小為（2n+1）×（2m+1）的搜索窗口完成一個相關(guān)操作。其中，相關(guān)系數(shù)由公式（5）給出[2]：

式中，E（x）是以特征點為中心的（2n+1）×（2m+1）大小的矩形區(qū)域內(nèi)（相關(guān)窗口）的灰度均值。

由于在初步建立的特征匹配關(guān)系中，存在“一對多”或“多對一”的匹配關(guān)系，因此要保留相關(guān)系數(shù)最大的匹配點對，去除其他的匹配關(guān)系，建立一對一的匹配關(guān)系。

3.2 對極幾何約束

對極幾何關(guān)系可以用基礎(chǔ)矩陣F來描述,該矩陣包含了相機所有的內(nèi)部和外部參數(shù)信息，獨立于場景結(jié)構(gòu)，僅由兩幅圖像中的對應點就可以求出。因此，對極幾何關(guān)系的求解可歸結(jié)為如何精確、魯棒地估計F。

假設(shè)同一場景的兩幅影像為I、I'，mi和 mi'分別為一空間點M在兩幅影像中的投影點，則mi'必定位于mi在圖像 I'中的對極線l'（ l'=Fm）上，即

由于實際中存在噪聲、錯誤匹配以及計算誤差，使得對應點不能恰好位于對應極線上，它們之間存在一定的距離。當用殘差mi'TFMi來表征誤差的大小時，矩陣F的估計就轉(zhuǎn)化為用最小二乘法求解使殘差最小的無約束最優(yōu)化問題。

M-Estimators算法根據(jù)每個點對估計基礎(chǔ)矩陣的貢獻不同，對其進行加權(quán)處理[5]，降低誤差大的點對估計基礎(chǔ)矩陣的影響。M-Estimators算法對每個點的殘差進行加權(quán)處理，以此抑制大殘差的外點（outliers）對矩陣F估計過程的影響。用ri表示殘差mi'TFMi，則M-Estimators算法就是求解下面的表達式：

其中，wi是權(quán)重函數(shù),由式（8）給出；σ為殘差中誤差。

算法具體步驟如下：

1）用最小二乘法估計初始的基礎(chǔ)矩陣F，特征點對的權(quán)值均為1。

2）計算每個特征點對的殘差，大于閾值T1時去除該點對。

3）用剩余特征點對計算新的基礎(chǔ)矩陣F、權(quán)值函數(shù)wi。

4）轉(zhuǎn)步驟2，直到所有特征點對的殘差小于閾值T2。 5）最后對剩余的匹配點對應用RANSAC算法進一步剔除錯誤點，使匹配精度進一步提高。

4 基于優(yōu)化SIFT算法的影像配準

基于優(yōu)化SIFT算法的影像配準流程為：首先利用上述優(yōu)化算法獲得匹配點對，然后將匹配點對作為后續(xù)影像配準的同名點對,并利用最小二乘法求解配準模型變換參數(shù),以實現(xiàn)影像精確自動配準。

5 實驗分析與結(jié)論

為了評價算法改進部分對配準精度和效率的影響，本文選取正寧地區(qū)的無人機黃土影像（2 848×4 272像素）進行了實驗。在實驗過程中，預先通過人工選擇或者匹配得到控制點解算幾何變換模型，然后根據(jù)變換模型判定匹配點是否正確。影像采用一次多項式幾何模型，判定的粗差閾值設(shè)定為2個像元。剔除粗差后，以匹配點集的均方根誤差（RMSE）評價配準精度，正確率和均方根誤差分別為：

式中，Vxi和Vyi分別為待配準影像上第i個匹配點X方向和Y方向的殘余誤差，n為匹配點的數(shù)目。

如圖1所示，標準SIFT匹配點對582對,其中存在有大量交叉連接線，在攝像機視角變化不大的情況下，一般為錯誤匹配點對。經(jīng)過相關(guān)系數(shù)、極線約束、RANSAC剔除粗差點對和過濾冗余點后，取均勻分布的正確匹配點對120對，如圖2所示。表1為正確匹配點對的像片坐標和X、Y方向殘差。實驗結(jié)果說明此優(yōu)化SIFT算法匹配正確率有著很大提高，同時匹配點對在重疊區(qū)域分布較好。以此算法得到的匹配點對進行配準，得到結(jié)果如圖3，其全局RMSE為1.57，說明此優(yōu)化算法配準精度很好。

同時，在采用了金字塔和分塊、特征點過濾和并行化策略后，速度有了很大提升。選擇一臺Intel 4核CPU，主頻3.1 GHz，內(nèi)存4.00 GB，操作系統(tǒng)為Microsoft Windows 7的計算機執(zhí)行設(shè)計程序。在4核并行下，處理時間由13 859 ms下降到了3 353 ms。

圖1 標準SIFT結(jié)果

圖2 正確匹配點對

表1 正確點對像片坐標和X、Y方向殘差

圖3 配準拼接結(jié)果

6 結(jié) 語

本文針對SIFT算法在遙感影像配準中存在內(nèi)存消耗多、運算速度慢的問題，從金字塔和分塊策略、特征點過濾和并行化3個方面對原算法進行了改進。實驗證明，改進后的算法對大范圍遙感影像之間的配準具有較好的適應性，算法效率也得到顯著提高。對于SIFT算法存在大量錯誤點對的問題，從相關(guān)系數(shù)、極線約束和RANSAC 3個方面進行優(yōu)化，通過比較，改進后算法能夠較好地剔除粗差點，提升配準精度。不過，算法改進部分對配準精度的影響存在一定的隨機性，因而在實際應用中應當根據(jù)精度和效率的需要合理設(shè)置參數(shù)。

[1] 張曼祺.基于線特征的多源遙感影像配準研究[M].南京:河海大學,2006

[2] 張劍清,潘勵,王樹根.攝影測量學[M].武漢:武漢大學出版社,2003

[3] LOWE D G. Distinctive Image Features from Scale-invariant Key Points[J]. International Journal of Computer Vision,2004, 60(2):91–110

[4] MOREL J M,YU G.ASIFT:a New Framework for Fully Affine Invariant Image Comparison[J].Siam Journal on Imaging Sciences,2009, 2(2): 438–469

[5] KAN K,SUKTHANKAR R. PCA-SIFT: a More Distinctive Representation for Local Image Descriptors[D]. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society,2004

[6] 李芳芳,肖本林,賈永紅,等．SIFT算法優(yōu)化及其用于遙感影像自動配準[J].武漢大學學報（信息科學版）,2009,34(10): 1 245-1 249

[7] JI Hua, WU Yuanhao,SUN Honghai,et al. SIFT Feature Matching Algorithm with Global Information[J]. Optics and Precision Engineering, 2009, 17(2): 439-444

P237

B

1672-4623（2017）02-0069-03

10.3969/j.issn.1672-4623.2017.02.022

2015-04-15。

丁海燕，高級工程師，研究方向為地理信息系統(tǒng)。