一種改進(jìn)SIFT的SAR與可見(jiàn)光圖像配準(zhǔn)算法

石聰聰, 楊學(xué)志, 董張玉, 王守峰

(1.合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230601; 2.工業(yè)安全與應(yīng)急技術(shù)安徽省重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230601)

隨著高分辨率遙感衛(wèi)星對(duì)地觀測(cè)研究的逐步推進(jìn),積累的多源遙感數(shù)據(jù)數(shù)量在不斷增加,而遙感圖像配準(zhǔn)是實(shí)現(xiàn)圖像融合、變化檢測(cè)、圖像鑲嵌和目標(biāo)識(shí)別等的前期準(zhǔn)備工作,于是對(duì)遙感圖像配準(zhǔn)的需求大大增加,尤其對(duì)于多源遙感衛(wèi)星圖像的配準(zhǔn)研究尤為重要。在多源遙感圖像配準(zhǔn)研究中,合成孔徑雷達(dá)(synthetic aperture radar,SAR)圖像具有穿透性強(qiáng)、全天候、紋理信息豐富等優(yōu)點(diǎn),但其缺乏光譜信息,且目標(biāo)的微波反射特性導(dǎo)致相同物體的SAR圖像可能呈現(xiàn)不同的表現(xiàn)形式。而可見(jiàn)光圖像富含豐富的光譜信息,目視效果較好,但易受到大氣狀況影響,特別在陰雨天氣時(shí)會(huì)被云層遮擋導(dǎo)致成像質(zhì)量較差[1-3]。根據(jù)上述SAR圖像與可見(jiàn)光圖像的優(yōu)劣勢(shì),開(kāi)展SAR圖像與可見(jiàn)光圖像的配準(zhǔn)研究有著重大意義。

現(xiàn)有遙感圖像配準(zhǔn)方法基本分為基于區(qū)域灰度信息配準(zhǔn)與基于特征信息配準(zhǔn)兩類(lèi)。其中,基于區(qū)域灰度信息配準(zhǔn)算法主要包括:互相關(guān)法、互信息法與序列相似度檢測(cè)算法等[4]。因?yàn)榛趨^(qū)域灰度信息配準(zhǔn)算法對(duì)灰度變化比較敏感,尤其針對(duì)非線性光照變化,將大大降低算法性能,并且計(jì)算復(fù)雜度較高,抗旋轉(zhuǎn)性與抗形變性較差[5],所以在SAR圖像與可見(jiàn)光圖像配準(zhǔn)研究中較少采用?；谔卣餍畔⑴錅?zhǔn)算法中較為常用的算法是文獻(xiàn)[6]提出的尺度不變特征變換算法(scale invariant feature transform,SIFT)。SIFT算法具有尺度不變性、旋轉(zhuǎn)與仿射不變性,并且對(duì)于噪聲也有一定的魯棒性，但在SAR圖像與可見(jiàn)光圖像配準(zhǔn)中表現(xiàn)不佳,主要原因是SAR圖像存在較多的乘性相干斑噪聲,導(dǎo)致SAR圖像提取到的特征點(diǎn)質(zhì)量較差無(wú)法達(dá)到匹配要求。文獻(xiàn)[7]提出一種基于相位一致性與非線性擴(kuò)散的改進(jìn)SIFT算法來(lái)抑制SAR圖像的斑點(diǎn)噪聲。文獻(xiàn)[8]提出一種將Harris算子與指數(shù)加權(quán)平均值(ratio of exponentially weighted averages,ROEWA)結(jié)合的改進(jìn)SIFT算法來(lái)提高SAR圖像特征點(diǎn)的穩(wěn)定性。文獻(xiàn)[9]提出基于非下采樣contourlet變換(non-subsampled contourlet transform,NSCT)與SIFT相結(jié)合的遙感圖像配準(zhǔn)算法,通過(guò)NSCT算法提高算法速度。文獻(xiàn)[10]提出基于非下采樣Shearlet變換(non subsampled shearlet transform,NSST)和加速分割檢測(cè)特征(features from accelerated segment test,FAST)結(jié)合的配準(zhǔn)算法,從而解決圖像配準(zhǔn)速度較慢的問(wèn)題,但只注重了速度提升,提取特征點(diǎn)數(shù)量與質(zhì)量都不夠高,準(zhǔn)確率低于傳統(tǒng)SIFT算法,并且只針對(duì)同源圖像配準(zhǔn),異源圖像尤其SAR與可見(jiàn)光圖像配準(zhǔn)效果不佳。

針對(duì)上述問(wèn)題,本文提出一種基于NSST與改進(jìn)SIFT算法相結(jié)合的SAR圖像與可見(jiàn)光圖像配準(zhǔn)算法。首先,為了有效去除SAR圖像的乘性相干斑噪聲,本文采用目前針對(duì)SAR圖像濾波效果較好的PPB(probabilistic patch-based)算法[11],在濾除相干斑噪聲的同時(shí)保持圖像邊緣信息。然后通過(guò)NSST變換提取SAR圖像與可見(jiàn)光圖像的低頻信息圖像。之后對(duì)可見(jiàn)光圖像低頻圖像采用SIFT算法提取特征點(diǎn),對(duì)SAR圖像低頻信息圖像采用Harris 算子和 ROEWA 邊緣檢測(cè)算法相結(jié)合提取特征點(diǎn),通過(guò)快速近似最近鄰搜索(fast library for approximate nearest neighbors algorithm,FLANN)算法對(duì)SAR圖像與可見(jiàn)光圖像特征點(diǎn)描述子進(jìn)行粗匹配得到初始匹配點(diǎn)。最后,采用改進(jìn)的隨機(jī)抽樣一致算法(random sampling consensus algorithm,RANSAC)算法剔除初始匹配結(jié)果中的誤匹配點(diǎn),進(jìn)一步提升匹配的準(zhǔn)確率與速度。

1 本文算法

1.1 PPB濾波

PPB是一種空域?yàn)V波方法,該算法在最大似然估計(jì)的框架下得到加權(quán)平均公式,并定義塊權(quán)值的計(jì)算公式,通過(guò)迭代方法逐步修改先驗(yàn)信息,最終收斂至最佳去斑結(jié)果[12]。

(1)

PPB濾波是通過(guò)概率論推導(dǎo)給出了任意噪聲分布下的最優(yōu)圖塊相似性度量,因此可以在去除加性噪聲與乘性噪聲的同時(shí)有效保持邊緣特性。本文選擇PPB濾波可以在SAR圖像進(jìn)行SIFT提取特征點(diǎn)前有效去除相干斑噪聲的影響,從而提高特征點(diǎn)提取的數(shù)量與質(zhì)量。

1.2 NSST變換提取圖像低頻信息

NSST變換是非正交變換[13],離散化過(guò)程主要分為:基于非下采樣金字塔濾波(non-subsampled pyramid,NSP)的多尺度分解和基于改進(jìn)的剪切波濾波(shear filter,SF)多方向分解[14]。

多尺度分解通過(guò)進(jìn)行NSP得到低、高頻系數(shù)分量,之后每層進(jìn)行NSP都是在上一層次的低頻中進(jìn)行迭代操作,以得到圖像中的奇異點(diǎn),之后進(jìn)行k次反復(fù)分解,最終形成大小為1個(gè)低頻和k個(gè)高頻,形成的高低頻分量大小相同。

多方向分解運(yùn)用標(biāo)準(zhǔn)的SF器,將偽極化網(wǎng)格系統(tǒng)對(duì)應(yīng)到笛卡爾坐標(biāo)系統(tǒng)上,之后再經(jīng)過(guò)傅里葉變換實(shí)現(xiàn)二維卷積步驟,以此避免標(biāo)準(zhǔn)SF器存在的下采樣步驟,達(dá)到平移不變目的。具體操作實(shí)現(xiàn)過(guò)程為:

(1) 將偽極化網(wǎng)絡(luò)系統(tǒng)映射到笛卡爾坐標(biāo)上。

(2) 采用“Meyer”構(gòu)建窗函數(shù),形成SF器。

(3) 將k個(gè)高頻子圖像和“Meyer”構(gòu)建的窗函數(shù)進(jìn)行卷積,然后獲取方向子圖像。

NSST離散化過(guò)程如圖1所示。

圖1 NSST離散化過(guò)程圖

與NSCT不同的是,NSST采用笛卡爾坐標(biāo)系統(tǒng),直接運(yùn)用逆傅里葉變換完成二維卷積操作,避免了下采樣的環(huán)節(jié),故NSST平移不變性更強(qiáng)[15]。本文采用NSST提取低頻信息。

1.3 SIFT特征檢測(cè)和描述1.3.1 傳統(tǒng)SIFT特征點(diǎn)檢測(cè)算法

傳統(tǒng)SIFT算法步驟為:

(1) 尺度空間極值檢測(cè)。搜索所有尺度上的圖像位置，通過(guò)高斯微分函數(shù)來(lái)識(shí)別潛在的對(duì)于尺度和旋轉(zhuǎn)不變的興趣點(diǎn)。

(2) 關(guān)鍵點(diǎn)定位。在每個(gè)候選的位置上,通過(guò)一個(gè)擬合精細(xì)的模型來(lái)確定位置和尺度，關(guān)鍵點(diǎn)的選擇依據(jù)于它們的穩(wěn)定程度。

(3) 方向確定。用直方圖統(tǒng)計(jì)鄰域像素的梯度方向,直方圖峰值即為該關(guān)鍵點(diǎn)的主方向。將坐標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)的主方向,以確保旋轉(zhuǎn)不變性。

(4) 關(guān)鍵點(diǎn)描述。在關(guān)鍵點(diǎn)鄰域劃分成的小區(qū)域內(nèi)計(jì)算梯度方向和模值,生成梯度方向直方圖,由各個(gè)小區(qū)域梯度方向直方圖建立關(guān)鍵點(diǎn)的特征向量,即為描述子。

差分高斯尺度圖像的像極值檢測(cè)如圖2所示。

圖2 尺度空間極值點(diǎn)檢測(cè)示意圖

利用特征點(diǎn)鄰域內(nèi)所有像素點(diǎn)的梯度方向分布特性為特征點(diǎn)指定方向,使特征點(diǎn)具有旋轉(zhuǎn)不變性。其中:LX=L(x+1,y)-L(x-1,y);Ly=L(x,y+1)-L(x,y-1),那么

(2)

(3)

(2)式、(3)式分別為相應(yīng)點(diǎn)的梯度模值和梯度方向,L為關(guān)鍵點(diǎn)所在的尺度空間值。

1.3.2 改進(jìn)SIFT特征點(diǎn)檢測(cè)算法

由于SAR圖像存在乘性噪聲,SAR圖像在擁有高反射率區(qū)域獲取幅值很大的梯度時(shí),傳統(tǒng)SIFT在提取梯度時(shí)會(huì)出現(xiàn)一定的偏差,影響后續(xù)特征點(diǎn)匹配。針對(duì)上述問(wèn)題改進(jìn)的SIFT算法[8]提出了新的梯度算法,使梯度幅值和方向?qū)Π唿c(diǎn)噪聲有較好的魯棒性。因此,本文參考該算法提取SAR與可見(jiàn)光圖像特征點(diǎn),用于后續(xù)匹配特征點(diǎn)匹配。

本文采用Harris 算子和 ROEWA 邊緣檢測(cè)算法相結(jié)合的方法提取特征點(diǎn)。具體步驟為:

(1) 比例算子計(jì)算梯度。給定圖像中任一像素點(diǎn)M(a,b),使用對(duì)多尺度邊緣信息更加精確的指數(shù)加權(quán)平均算子,得到像素M點(diǎn)一定范圍內(nèi)像素點(diǎn)幅度值的指數(shù)加權(quán)均值,即

(4)

(5)

其中:H為圖像;γ為指數(shù)加權(quán)的系數(shù),作用相當(dāng)于傳統(tǒng)SIFT算法中的尺度因子；R、R+、R-為指數(shù)加權(quán)函數(shù)在該方向上的積分范圍。Y方向上的Fy+與Fy-(4)式、(5)式,只需將積分范圍從x軸換至y軸。像素點(diǎn)M(a,b)沿水平方向梯度Gx,γ=log(Fx+/Fx-),沿垂直方向梯度Gy,γ=log(Fy+/Fx-)。

像素點(diǎn)M(a,b)的梯度幅值和梯度方向分別為:

(6)

θγ=arctan(Gy,γ/Gx,γ)

(7)

(2) 建立多尺度SAR-Harris空間。根據(jù)求得的梯度按照SAR-Harris尺度空間表達(dá)式構(gòu)建尺度空間,表達(dá)式為:

(8)

(3) 在多尺度SAR-Harris空間中檢測(cè)極值點(diǎn)。與傳統(tǒng)SIFT相同,對(duì)于構(gòu)建好的SAR-Harris尺度空間,極值點(diǎn)的判定規(guī)則仍為與鄰域內(nèi)26個(gè)鄰域點(diǎn)做比較,判斷該點(diǎn)是否為最值。在關(guān)鍵點(diǎn)鄰域劃分成的小區(qū)域內(nèi)計(jì)算梯度方向和模值,生成梯度方向直方圖,由各個(gè)小區(qū)域梯度方向直方圖建立關(guān)鍵點(diǎn)的特征向量,即為描述子。

1.3.3FLANN算法

傳統(tǒng)SIFT算法在特征點(diǎn)匹配時(shí)采用的是基于最近鄰距離匹配算法,對(duì)于128維高維特征點(diǎn)描述子,算法復(fù)雜度較高,計(jì)算量繁重。本文為提高匹配的效率與速度,并保證匹配的精度,引入FLANN算法[16]，利用FLANN算法對(duì)特征點(diǎn)間的歐式距離進(jìn)行特征點(diǎn)初始匹配。

FLANN模型的特征空間通常是一個(gè)n維的實(shí)向量空間，命名為Rn,其核心是尋找基于歐氏距離的相鄰點(diǎn)。特征點(diǎn)m和n的子向量分別用Sm和Sn表示,則D(m,n)的歐氏距離如下式:

D(m,n)=〈Sm-Sn·Sn-Sm〉

(9)

Rn中的所有D(m,n)都存儲(chǔ)在若干個(gè)基于KD(k-dimensional)樹(shù)部分的結(jié)構(gòu)中。在整個(gè)KD樹(shù)中搜索到接近查詢點(diǎn)的最小歐式距離,從而有效地搜索到參考點(diǎn)的最近點(diǎn),最后得到特征點(diǎn)初始匹配點(diǎn)集。

1.3.4 改進(jìn)的RANSAC樣一致算法

為了進(jìn)一步提高匹配效率,本文采用RANSAC剔除初始匹配點(diǎn)對(duì)中的誤匹配。傳統(tǒng)RANSAC[17]算法充分利用所有的初始匹配點(diǎn)對(duì),根據(jù)一個(gè)配準(zhǔn)允許的誤差將匹配點(diǎn)對(duì)分隔為內(nèi)點(diǎn)與外點(diǎn),然后利用內(nèi)點(diǎn)數(shù)據(jù)的一致性特點(diǎn)來(lái)進(jìn)行參數(shù)估計(jì)。但是,如果直接使用RANSAC進(jìn)行估計(jì),運(yùn)行效率很低,因此本文改進(jìn)RANSAC算法來(lái)剔除誤匹配點(diǎn),在傳統(tǒng)RANSAC基礎(chǔ)上,將初始匹配點(diǎn)集根據(jù)匹配結(jié)果質(zhì)量由高到低進(jìn)行排序,并根據(jù)特征點(diǎn)初始匹配結(jié)果選取參與RANSAC抽樣的點(diǎn)集。計(jì)算初始匹配點(diǎn)集的均值與方差,根據(jù)離散程度,調(diào)整參與后續(xù)RANSAC計(jì)算的樣本。將匹配度最高的初始匹配點(diǎn)優(yōu)先采樣,這樣使得最有可能的最佳匹配參數(shù)較早地產(chǎn)生。步驟如下:

(1) 對(duì)匹配點(diǎn)對(duì)的歐式距離點(diǎn)集進(jìn)行排序。

(2) 從最高品質(zhì)方程數(shù)據(jù)集抽取假定的采樣。

(3) 根據(jù)從小到大的順序依次在所有數(shù)據(jù)點(diǎn)上驗(yàn)證假設(shè)。

結(jié)束條件是當(dāng)最優(yōu)解概率小于設(shè)定閾值U時(shí)結(jié)束,一般U設(shè)定為5%。

1.3.5 本文算法步驟

為了得到較多的特征點(diǎn)與匹配點(diǎn),本文提出了一種有效的SAR圖像與可見(jiàn)光圖像配準(zhǔn)算法,其具體實(shí)現(xiàn)步驟如下:

(1) 輸入可見(jiàn)光圖像與SAR圖像。

(2) 對(duì)SAR圖像進(jìn)行PPB濾波。

(3) 對(duì)可見(jiàn)光圖像與SAR圖像進(jìn)行NSST變換。

(4) 對(duì)低頻圖像通過(guò)改進(jìn)的SIFT提取特征點(diǎn)。

(5) 利用FLANN算法匹配特征點(diǎn)。

(6) 采用改進(jìn)的RANSAC算法剔除誤匹配點(diǎn)對(duì)。

算法流程如圖3所示。

圖3 本文算法框架圖

2 實(shí)驗(yàn)結(jié)果與分析

本文通過(guò)2組SAR圖像和可見(jiàn)光圖像的配準(zhǔn)實(shí)驗(yàn)對(duì)提出的算法進(jìn)行精度和速度的評(píng)價(jià),并與傳統(tǒng)SIFT算法和文獻(xiàn)[10]算法作對(duì)比。

實(shí)驗(yàn)數(shù)據(jù)截取于2018年8月份安徽省淮河段遙感圖像。實(shí)驗(yàn)數(shù)據(jù)如下:SAR圖像采用國(guó)產(chǎn)高分三號(hào)全極化條帶2(FSII)成像模式的雷達(dá)衛(wèi)星圖像,分辨率為10 m;光學(xué)圖像采用國(guó)家高分一號(hào)全色圖像,分辨率為2 m。匹配結(jié)果如圖4、圖5所示。

圖4 第1組配準(zhǔn)結(jié)果

圖5 第2組配準(zhǔn)結(jié)果

評(píng)價(jià)結(jié)果見(jiàn)表1所列,本文獲取的SAR圖像特征點(diǎn)是最多的,正確配準(zhǔn)率相比SIFT算法與文獻(xiàn)[10]算法均有較大的提升。速度相比文獻(xiàn)[10]略慢是因?yàn)镾IFT算法相比于FAST算法復(fù)雜度較高,運(yùn)算時(shí)間較長(zhǎng),但本文算法速度相比于傳統(tǒng)SIFT算法提升2倍以上,原因是NSST提取低頻信息,降低了后續(xù)運(yùn)算的數(shù)據(jù)量,并且本文采用FLANN算法與改進(jìn)的RANSAC算法,大大提升了匹配的運(yùn)算效率。第1組實(shí)驗(yàn)中,傳統(tǒng)SIFT算法正確率為76%,文獻(xiàn)[10]算法正確率為66%,本文算法正確率是86%;第2組實(shí)驗(yàn)中,傳統(tǒng)SIFT算法正確率為72%,文獻(xiàn)[10]算法正確率為63%,本文算法正確率為88%;針對(duì)兩組實(shí)驗(yàn)數(shù)據(jù)本文算法相比于傳統(tǒng)SIFT算法正確率均提升10%以上。正確率提高的原因是改進(jìn)的SIFT算法有效地濾除了相干斑噪聲的影響,提取到的SAR圖像特征點(diǎn)有較強(qiáng)的魯棒性,從而保證了配準(zhǔn)的精度。

3 結(jié) 論

本文針對(duì)SAR圖像與可見(jiàn)光圖像配準(zhǔn)存在提取特征質(zhì)量不高、匹配精度不高與耗時(shí)較長(zhǎng)的問(wèn)題,提出了一種NSST與改進(jìn)SIFT算法相結(jié)合的配準(zhǔn)算法。實(shí)驗(yàn)結(jié)果顯示:

(1) 采用PPB濾波對(duì)SAR圖像進(jìn)行預(yù)處理,有效地濾除了乘性相干斑噪聲。

(2) 通過(guò)NSST變換提取圖像低頻信息,能在保證有效提取穩(wěn)定特征點(diǎn)的前提下,提高了運(yùn)算速度。

(3) 采用Harris 算子和 ROEWA 邊緣檢測(cè)算法相結(jié)合的算法提取特征點(diǎn),在梯度比例方式下多尺度Harris特征點(diǎn)檢測(cè),得到的SAR圖像特征點(diǎn)魯棒性較高。

(4) 改進(jìn)的RANSAC算法剔除誤匹配點(diǎn),進(jìn)一步提高了匹配正確率并提升了速度。

綜上所述,本文提出的算法在SAR圖像與可見(jiàn)光圖像配準(zhǔn)的精度與速度上都比傳統(tǒng)SIFT算法有明顯提升。

但本文僅在步驟上對(duì)SIFT算法進(jìn)行了改進(jìn),對(duì)于SIFT算法配準(zhǔn)內(nèi)部步驟,比如特征點(diǎn)檢測(cè)與描述符描述方面未做改善,因此下一步研究將針對(duì)SIFT算法內(nèi)部步驟進(jìn)行改進(jìn)與創(chuàng)新,從而在算法本質(zhì)上進(jìn)一步提升配準(zhǔn)的速度與精度。