基于面積比不變量的遙感圖像配準(zhǔn)算法

顏 普，唐慶偉

（1.智能建筑與建筑節(jié)能安徽省重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230022；2.安徽建筑大學(xué) 電子與信息工程學(xué)院，安徽 合肥 230601）

遙感圖像配準(zhǔn)常用于遙感圖像的變化檢測(cè)、圖像融合、全景圖合成、環(huán)境監(jiān)測(cè)、目標(biāo)識(shí)別等任務(wù)[1]。一般而言，遙感圖像配準(zhǔn)的結(jié)果會(huì)極大地影響后續(xù)算法的性能[2]，因此，遙感圖像配準(zhǔn)要求獲得高效且精確的結(jié)果。

特征匹配是遙感圖像配準(zhǔn)中較為基礎(chǔ)且重要的一步[1-4]，其中尺度不變特征變換（SIFT）是最成功的獲取初始特征匹配的算法[5]，這是由于SIFT算法對(duì)圖像縮放和旋轉(zhuǎn)具有不變性，對(duì)圖像光照變化和視角變換具有部分不變性。由于遙感圖像成像的復(fù)雜性，在初始匹配中不可避免地存在大量錯(cuò)誤匹配，而這些錯(cuò)誤匹配會(huì)對(duì)配準(zhǔn)結(jié)果產(chǎn)生負(fù)面影響，因此，消除錯(cuò)誤匹配是提高遙感圖像配準(zhǔn)性能的有效途徑。大多數(shù)研究者利用特征點(diǎn)的幾何約束和空間信息來消除錯(cuò)誤匹配，文獻(xiàn)[6]提出著名的隨機(jī)一致性采樣（RANSAC）算法以剔除錯(cuò)誤匹配。該算法通過反復(fù)迭代，隨機(jī)選取初始匹配集中的一個(gè)最大一致性子集，該子集是在初始匹配集中剔除錯(cuò)誤匹配后的正確匹配集，但當(dāng)錯(cuò)誤匹配數(shù)較多時(shí)，使用RANSAC 算法將耗費(fèi)大量時(shí)間。文獻(xiàn)[7]提出一種圖形變換匹配（GTM）算法來剔除錯(cuò)誤匹配，該算法分別在兩幅待配準(zhǔn)圖像上構(gòu)建K 最近鄰圖（KNN），每次迭代去除K 近鄰圖中結(jié)構(gòu)差異最大的匹配，直到K 近鄰圖的結(jié)構(gòu)一致。文獻(xiàn)[8]提出了一種基于向量域一致性（VFC）的錯(cuò)誤匹配去除算法，該算法在貝葉斯框架下將每個(gè)樣本與一個(gè)潛在變量聯(lián)系起來，將求取正確匹配問題表示成最大后驗(yàn)估計(jì)問題，并利用期望最大化（EM）算法求得最優(yōu)解。文獻(xiàn)[9]提出了一種基于一致空間映射（CSM）的錯(cuò)誤匹配去除算法，該算法將一致空間變換的求解表示為一個(gè)最大似然問題，并利用EM 算法求得最優(yōu)的空間變換，最后利用求得的最優(yōu)空間變換濾除錯(cuò)誤匹配。文獻(xiàn)[2]在RANSAC 算法的基礎(chǔ)上，提出一種快速一致性采樣（FSC）算法，該算法通過迭代選擇正確匹配和迭代去除不精確匹配兩個(gè)策略來提高圖像配準(zhǔn)的性能，從高正確率的SIFT 匹配集中迭代隨機(jī)選擇三個(gè)匹配對(duì)，計(jì)算待配準(zhǔn)圖像間的變換模型參數(shù)，使用此模型參數(shù)剔除低正確率的SIFT 匹配集中的錯(cuò)誤匹配。

以上方法均需要進(jìn)行大量的迭代次數(shù)來獲取精確的特征匹配，限制了配準(zhǔn)效率。為了進(jìn)一步提高遙感圖像配準(zhǔn)的運(yùn)算速度和配準(zhǔn)性能，本文提出一種基于面積比不變量的遙感圖像配準(zhǔn)算法，該算法在不需要進(jìn)行迭代的情況下便可獲取正確率較高的特征匹配，并通過后期實(shí)驗(yàn)驗(yàn)證了本文算法的優(yōu)越性。

1 面積比不變量

當(dāng)物體本身尺寸遠(yuǎn)小于物體與傳感器的距離時(shí)，物體在傳感器上所成圖像間的變換可近似為仿射變換[10]。因此，遙感衛(wèi)星所拍攝的遙感圖像間可選擇仿射變換模型來估計(jì)其變換模型參數(shù)。仿射變換模型可以表示為：

2 基于面積比不變量的錯(cuò)誤匹配快速去除算法

圖1 衡量錯(cuò)誤匹配的例子

圖2 以一組遙感圖像為例，展示本文提取精確匹配的過程。圖2（a）是由SIFT 算法（距離比參數(shù)設(shè)置為0.9）獲取的初始特征匹配集S，圖2（b）為利用一次面積比約束后提取的特征匹配集S0。可以看出，S0中已剔除了絕大部分錯(cuò)誤匹配，存在極少數(shù)的錯(cuò)誤匹配，因此，圖2（c）再次利用面積比進(jìn)行約束，得到精確的特征匹配集S1。此時(shí)S1中都是精確的特征匹配，不存在錯(cuò)誤匹配，同時(shí)可以觀察到S1中匹配較少。這是由于鄰域內(nèi)的誤匹配可誤刪除一些正確匹配，利用S1中精確的匹配可獲取圖像間的仿射變換模型參數(shù)，把經(jīng)變換后誤差小于2 個(gè)像素的匹配作為正確匹配，如圖2（d）所示。

圖2 提取正確匹配的過程示例

3 基于面積比不變量的遙感圖像配準(zhǔn)算法

為了去除錯(cuò)誤匹配，提高遙感圖像配準(zhǔn)的性能和效率，本文提出了一種基于面積比不變量的遙感圖像配準(zhǔn)算法，具體步驟如下：

①輸入?yún)⒖紙D像和待配準(zhǔn)圖像；

②分別從參考圖像和待配準(zhǔn)圖像提取SIFT 特征點(diǎn)；

③利用最近鄰距離比策略獲得初始特征匹配；

④剔除重復(fù)的特征匹配以避免三角形面積為零的情況；

⑤利用公式（2）和（3）分別構(gòu)建每對(duì)匹配的中值KNN 圖；

⑥利用中值KNN 圖計(jì)算每對(duì)匹配的面積比不變量；

⑦利用公式（5）計(jì)算每對(duì)匹配的鄰域結(jié)構(gòu)誤差。如果該誤差小于所設(shè)閾值，則該匹配正確，否則為錯(cuò)誤；

⑧為避免得到的匹配集中存在少量錯(cuò)誤匹配，重復(fù)一次⑤-⑦步驟，得到更加精確的特征匹配，并利用公式（6）在初始匹配中獲取所有正確匹配；

⑨利用最小二乘法和⑧中的正確匹配結(jié)果求解兩幅圖像間的仿射變換模型參數(shù)；

⑩利用⑨中的仿射變換模型參數(shù)對(duì)待配準(zhǔn)圖像進(jìn)行重采樣和雙線性插值，獲得精確的遙感圖像配準(zhǔn)結(jié)果。

本文算法流程圖如圖3 所示。

圖3 算法流程圖

4 實(shí)驗(yàn)結(jié)果與分析

本文使用五組遙感圖像進(jìn)行實(shí)驗(yàn)，如圖4 所示，左邊為參考圖像，右邊為待配準(zhǔn)圖像。圖4（a）是不同視角下拍攝的兩幅遙感圖像，圖4（b）是存在較大角度差異的兩幅遙感圖像。圖4（c）來自CIAP 數(shù)據(jù)庫(kù)[14]，兩幅圖像間具有較小的重疊區(qū)域，圖4（d）和圖4（e）來自PAN 數(shù)據(jù)庫(kù)[14]，圖像間存在較大的視角變化和地形起伏變化（如建筑物和山脈）。

圖4 實(shí)驗(yàn)圖像

本文將最近鄰距離比為0.9時(shí)的SIFT算法匹配結(jié)果作為初始匹配，使用均方根誤差（RMSE）[2]、準(zhǔn) 確 率（Precision）[15]、召 回 率（Recall）[15]、BPP（1.0）[2]和運(yùn)行時(shí)間（TIME）作為評(píng)價(jià)標(biāo)準(zhǔn)。本文算法包含兩個(gè)參數(shù)K 和ε，K 是特征點(diǎn)鄰域個(gè)數(shù)，約束特征點(diǎn)的局部鄰域結(jié)構(gòu)，ε的大小可判斷初始特征匹配的正確性。顯然，K 值越大，ε越小，所得匹配集的準(zhǔn)確率越高，而召回率越低，反之亦然。為了同時(shí)兼顧準(zhǔn)確率和召回率，根據(jù)文獻(xiàn)[14]的建議，本文設(shè)置K=4，ε=6。

為驗(yàn)證本文算法的有效性，將本文算法、RANSAC 算 法、GTM 算 法、VFC 算 法、CSM 算 法和FSC 算法進(jìn)行比較。由于VFC 算法、CSM 算法和FSC 算法使用隨機(jī)策略，實(shí)驗(yàn)中取10 次運(yùn)行數(shù)據(jù)的平均值作為對(duì)比結(jié)果。運(yùn)行時(shí)間是指從提取SIFT 特征到完成遙感圖像配準(zhǔn)所需的時(shí)間。實(shí)驗(yàn)均在相同實(shí)驗(yàn)環(huán)境下（Intel Core CPU 2.80GHz，8GB 內(nèi)存，MATLAB2019b）重復(fù)50 次取平均值作為對(duì)比結(jié)果。上述6 種配準(zhǔn)算法在5 類評(píng)價(jià)標(biāo)準(zhǔn)上的對(duì)比結(jié)果如表1 所示。

由表1 可知，本文算法取得最低或非常接近最低的均方根誤差。在兼顧較高的準(zhǔn)確率和召回率方面，本文算法表現(xiàn)得最好。雖然其他算法可能得到較高的召回率或準(zhǔn)確率，但對(duì)應(yīng)的準(zhǔn)確率或召回率卻降低了。除在第三組圖像中，GTM 算法取得最低的BPP（1.0）值，其他組均由本文算法取得最低的BPP（1.0）值。這是由于GTM 算法僅僅獲取極少的17 對(duì)正確匹配（初始匹配為546 對(duì)），17對(duì)正確匹配誤差均小于1，BPP（1.0）值為0，但也導(dǎo)致其召回率極低，限制了GTM 算法的性能。在運(yùn)行時(shí)間方面，除第四組圖像外，本文算法均達(dá)到最低，這是因?yàn)楸疚乃惴o需大量迭代即可得到精確的特征匹配，而其他算法均需要不同次數(shù)的迭代以獲取相對(duì)高正確率的特征匹配。如在第一組圖像中，RANSAC 算法需迭代203 次，GTM 算法需迭代186 次，VFC 算法需迭代10 次，CSM 算法需迭代15 次，F(xiàn)SC 算法需迭代500 次。雖然FSC 算法迭代次數(shù)較多，但作為一種快速的一致性采樣算法，運(yùn)行速度較快，特別在特征匹配數(shù)較多的圖像組表現(xiàn)較好，如第四組和第五組圖像，詳見文獻(xiàn)[2]?？梢钥闯?，本文算法的運(yùn)行時(shí)間并未表現(xiàn)出較強(qiáng)的優(yōu)勢(shì)，這是因?yàn)檫@兩組圖像獲取大量的初始匹配（分別為1836 和2097 對(duì)匹配），導(dǎo)致本文算法在構(gòu)造中值KNN 圖上耗費(fèi)了一定時(shí)間。同時(shí)，RANSAC算法也取得了不錯(cuò)的結(jié)果，這是因?yàn)殄e(cuò)誤匹配數(shù)沒有達(dá)到50%以上，并且RANSAC 算法運(yùn)行到最大迭代次數(shù)，導(dǎo)致其運(yùn)行時(shí)間一般較長(zhǎng)。圖5 為本文算法在五組遙感圖像上的匹配和配準(zhǔn)結(jié)果。為更好地顯示配準(zhǔn)效果，將配準(zhǔn)后圖像與參考圖像簡(jiǎn)單拼接，可以看出本文算法取得了較好的結(jié)果。

圖5 本文算法在實(shí)驗(yàn)圖像上的匹配和配準(zhǔn)結(jié)果

表1 幾種配準(zhǔn)算法性能的對(duì)比結(jié)果

5 結(jié)論

針對(duì)遙感圖像配準(zhǔn)中如何快速有效去除錯(cuò)誤匹配的問題，提出一種基于面積比不變量的遙感圖像配準(zhǔn)算法，該算法不需要迭代即可得到較為精確的特征匹配，大大提升了遙感圖像配準(zhǔn)的效率。實(shí)驗(yàn)結(jié)果證明，本文算法在均方根誤差、準(zhǔn)確率、召回率、BPP（1.0）和運(yùn)行時(shí)間等方面均表現(xiàn)出良好的性能，是一種快速、有效的遙感圖像配準(zhǔn)算法。