一種適用于SAR圖像配準(zhǔn)的改進(jìn)SIFT算法*

遲英朋，劉 暢

(中國科學(xué)院電子學(xué)研究所，北京 100190； 中國科學(xué)院大學(xué)，北京 100049)

合成孔徑雷達(dá)(synthetic aperture radar, SAR)圖像配準(zhǔn)是圖像融合、地物分類、三維重構(gòu)以及地圖修正等工作的基礎(chǔ)，近年來國內(nèi)外學(xué)者一直在不斷進(jìn)行研究和探索。目前，SAR圖像配準(zhǔn)技術(shù)根據(jù)配準(zhǔn)要素的不同可以分為基于灰度的方法、基于變換域的方法和基于特征的方法[1-2]。基于灰度的方法利用圖像的灰度信息對圖像的相似程度進(jìn)行度量，該方法實(shí)現(xiàn)簡單，易于操作，但其應(yīng)用范圍較窄，計算量較大[3]；基于變換域的方法通常以傅里葉變換或者小波變換為基礎(chǔ)，進(jìn)行頻域或小波域內(nèi)的配準(zhǔn)，該方法對于圖像幅度存在微小平移、旋轉(zhuǎn)和縮放時效果較好，其運(yùn)算速度快，易于硬件實(shí)現(xiàn)，并且具有一定程度的抗噪性[4-5]；基于特征的方法是遙感圖像配準(zhǔn)中應(yīng)用最多的配準(zhǔn)方法，該方法不受灰度的影響，通過提取點(diǎn)特征、線特征或者面特征對圖像進(jìn)行匹配，魯棒性強(qiáng)，匹配效果好[6-8]。其中，尺度不變特征變換(scale invariant feature transform, SIFT)算子是目前公認(rèn)的最為穩(wěn)定的特征匹配算子。但是，該算子由于使用高斯差分(difference of Gaussian, DoG)算子，因而具有很強(qiáng)的邊緣響應(yīng)，雖然在算法中采用主曲率的方法進(jìn)行邊緣點(diǎn)剔除，但檢測出的特征點(diǎn)中仍存在邊緣響應(yīng)點(diǎn)殘留。針對上述問題以及SAR圖像存在陰影和斑點(diǎn)噪聲等問題，本文通過增加邊緣檢測和剔除、陰影檢測和剔除以及預(yù)處理等模塊對SIFT算法進(jìn)行改進(jìn)。通過多次實(shí)驗(yàn)驗(yàn)證，該算法能夠提升配準(zhǔn)的準(zhǔn)確度。借助該算法，本文對同一區(qū)域的多幅SAR圖像進(jìn)行配準(zhǔn)和非相干疊加融合，可有效提升SAR圖像的等效視數(shù)，抑制相干斑噪聲。

1 SIFT算法簡介

SIFT算法是Lowe教授提出并完善的圖像特征點(diǎn)檢測和描述算法[9-11]。該算法在圖像發(fā)生平移、旋轉(zhuǎn)以及尺度變換時仍然具有較好的魯棒性，且對噪聲也具有一定的穩(wěn)定性，其主要流程可以分為：尺度空間的構(gòu)建、特征點(diǎn)的檢測和描述、特征點(diǎn)的匹配。

實(shí)現(xiàn)尺度變換的唯一線性核是高斯尺度核，因此可以用原始圖像與一個可變尺度二維高斯函數(shù)的卷積運(yùn)算定義圖像的尺度空間：

L(x,y,σ)=G(x,y,kσ)*I(x,y)，

(1)

式中：G(x,y,kσ)為尺度可變高斯函數(shù)，I(x,y)為原始圖像，*為卷積運(yùn)算，k為尺度變化量。為保證檢測到的特征點(diǎn)的穩(wěn)定性，一般采用不同的高斯差分核與圖像卷積生成高斯差分尺度空間：

D(x,y,σ) =(G(x,y,kσ)-G(x,y,σ))*I(x,y)

=L(x,y,kσ)-L(x,y,σ).

(2)

故采用相應(yīng)的降采樣方法與尺度空間相結(jié)合構(gòu)建圖像的高斯差分金字塔結(jié)構(gòu)。在進(jìn)行特征點(diǎn)檢測時，每個檢測點(diǎn)必須與相鄰的所有點(diǎn)，即其本層的8鄰域點(diǎn)以及上下兩層各9個像素點(diǎn)共26個點(diǎn)比較，以保證檢測出的特征點(diǎn)的準(zhǔn)確性。對檢測到的特征點(diǎn)，統(tǒng)計鄰域梯度方向直方圖，確定其主方向。需要注意的是，有些特征點(diǎn)除主方向外，還存在輔方向，它對于后續(xù)匹配的穩(wěn)定性至關(guān)重要。

特征點(diǎn)的描述是在特征點(diǎn)周圍取16像素×16像素的區(qū)域，然后將該區(qū)域劃分為多個4像素×4像素的區(qū)域，在每個區(qū)域內(nèi)計算8方向梯度方向直方圖，得到128維特征描述子。最后，將描述子向量門限化和規(guī)范化，從而改善圖像灰度值整體漂移的情況。得到圖像的特征向量后，采用歐氏距離對兩幅圖像進(jìn)行特征點(diǎn)匹配，當(dāng)距離小于預(yù)設(shè)的閾值時就將其作為匹配特征點(diǎn)。

2 基于邊緣檢測和陰影檢測的改進(jìn)SIFT算法

通過多次實(shí)驗(yàn)可以發(fā)現(xiàn)，將SIFT算法直接應(yīng)用到SAR圖像中檢測出的特征點(diǎn)數(shù)量有限，并且質(zhì)量不好，錯誤匹配情況出現(xiàn)概率很高。為解決這個問題，本文提出基于邊緣檢測和陰影檢測的改進(jìn)SIFT算法。算法的流程圖如圖1所示，首先對SAR圖像進(jìn)行相干斑抑制和圖像增強(qiáng)預(yù)處理，在構(gòu)造高斯尺度空間時對邊緣和陰影進(jìn)行檢測并剔除，然后對特征點(diǎn)檢測和描述，最后同名點(diǎn)進(jìn)行匹配并計算變換矩陣對待配準(zhǔn)圖像進(jìn)行幾何變換得到配準(zhǔn)后圖像。

圖1 算法流程圖Fig.1 Flow chart of the algorithm

2.1 圖像預(yù)處理

由于SAR系統(tǒng)固有的成像模式，相干斑噪聲總是伴隨著圖像的形成而產(chǎn)生，這些斑點(diǎn)噪聲會干擾圖像中特征點(diǎn)的檢測，降低特征點(diǎn)檢測的準(zhǔn)確性，進(jìn)而影響到SAR圖像配準(zhǔn)的效果。本文采用增強(qiáng)Lee濾波[12]對SAR圖像進(jìn)行平滑處理，Lee濾波的基本思想是利用圖像局部統(tǒng)計特性控制濾波器的輸出，使濾波器自適應(yīng)于圖像的變化。增強(qiáng)Lee濾波算法在SAR圖像均勻區(qū)域采用均值濾波進(jìn)行平滑處理；在不均勻區(qū)域采用Lee濾波進(jìn)行平滑處理，保持圖像的細(xì)節(jié)信息；在包含分離點(diǎn)目標(biāo)的區(qū)域不進(jìn)行任何平滑處理，因此，增強(qiáng)Lee濾波算法在平滑SAR圖像時還具有一定的細(xì)節(jié)保持能力。

SAR圖像的灰度分布集中在較窄的范圍內(nèi)，為展寬灰度，突出圖像特征，需要對圖像進(jìn)行增強(qiáng)處理。本文采用直方圖均衡化對圖像進(jìn)行增強(qiáng)處理，SAR圖像在經(jīng)過直方圖均衡化后，圖像對比度變大，灰度分布變得更加均衡，而在原圖像中難以分辨的細(xì)節(jié)信息也有了一定的加強(qiáng)。

2.2 邊緣檢測和剔除

在構(gòu)建高斯尺度空間時，SIFT算法使用DoG算子，其邊緣響應(yīng)會嚴(yán)重地影響SAR圖像配準(zhǔn)算法的準(zhǔn)確性，如果不消除這種響應(yīng)，采用該算法檢測到的特征點(diǎn)在SAR圖像邊緣處分布較多，并且這些點(diǎn)的存在都是近鄰的，這樣會造成一定程度的失配、錯配現(xiàn)象。在SIFT算法中采用主曲率的方法檢測邊緣響應(yīng)點(diǎn)并剔除。表1列出部分實(shí)驗(yàn)結(jié)果，對其進(jìn)行分析可知，主曲率方法僅可去除一部分邊緣響應(yīng)點(diǎn)，SIFT算法檢測出的特征點(diǎn)中仍然含有較多的邊緣響應(yīng)點(diǎn)。

表1 SIFT特征點(diǎn)與邊緣點(diǎn)數(shù)量對比Table 1 Comparison of the numbers of SIFT feature points and edge points

針對主曲率方法不能將檢測到的特征點(diǎn)中邊緣響應(yīng)點(diǎn)完全消除的問題，本文首先采用指數(shù)加權(quán)均值比(ratio Of exponentially weighted averages, ROEWA)算子[13-14]對SAR圖像的邊緣區(qū)域進(jìn)行檢測并剔除。ROEWA算子是由Fj?rtoft提出的一種適用于SAR圖像的邊緣檢測算子。該算子使用在多邊緣模型基礎(chǔ)上設(shè)計的一種基于最小均方誤差的指數(shù)平滑濾波器進(jìn)行均值估計，使用該濾波器計算得到的均值是根據(jù)一定權(quán)值計算出來的均值。在離散的情形下，可以通過一個因果濾波器f1(x)和一個非因果濾波器f2(x)來實(shí)現(xiàn)該濾波器，此時該濾波器可表示為

x=1,2,…,N.

(3)

式中：0

f1(x)=ae1(x)+bf1(x-1),x=1,2,…,N，

(4)

f2(x)=ae2(x)+bf2(x+1),x=N,N-1,…,1.

(5)

式中：e1(x)和e2(x)為濾波器的輸入信號；b=e-α；a=1-b。

該濾波器又被稱為無限對稱指數(shù)濾波器，可以將其擴(kuò)展到二維空間，表達(dá)式如下

f2d(x,y)=f(x)f(y).

(6)

在計算水平方向邊緣強(qiáng)度分量時，采用一維平滑濾波器f(y)對圖像的每一列進(jìn)行濾波，再利用因果濾波器f1(x)和非因果濾波器f2(x)對每一行進(jìn)行濾波，這樣便可以獲得水平方向邊緣強(qiáng)度因果和非因果指數(shù)加權(quán)均值：

μX1=f1(x)*[f(y)?I(x,y)]，

(7)

μX2=f2(x)*[f(y)?I(x,y)].

(8)

式中：I(x,y)為原始圖像；*表示X向(水平方向)的卷積運(yùn)算，?表示Y向(垂直方向)的卷積運(yùn)算。在式(7)和式(8)中，輸入信號與f1和f2的卷積運(yùn)算可以簡化成遞歸運(yùn)算。假設(shè)濾波器f1和f2的輸入信號為e1和e2，則卷積s1和s2的遞歸式如下所示：

s1(x)=a[e1(x)-s1(x-1)]+

s1(x-1),x=1,2,…,N，

(9)

s2(x)=a[e2(x)-s2(x+1)]+

s2(x+1),x=N,N-1,…,1.

(10)

X方向和Y方向的4種指數(shù)加權(quán)均值都可以由式(7)～式(10)與(3)式聯(lián)立求得。這樣，水平方向的邊緣強(qiáng)度分量可以得到

(11)

同理，可以得到垂直方向的邊緣強(qiáng)度分量，在得到水平和垂直方向的邊緣強(qiáng)度分量之后，通過簡單地運(yùn)算就可以得到最終的邊緣強(qiáng)度為

(12)

采用ROEWA算子對SAR圖像進(jìn)行邊緣檢測的效果如圖2所示，其中，黑色部分代表邊緣區(qū)域，白色部分代表非邊緣區(qū)域。SIFT算法需要構(gòu)建高斯差分金字塔，該過程可以分為圖像高斯平滑、圖像降采樣以及同組圖像相鄰層相減3部分完成。為了將邊緣檢測圖像融入該過程，對邊緣檢測得到的圖像進(jìn)行降采樣處理。

圖2 邊緣檢測效果Fig.2 Edge detection results

值得注意的是，本文算法在進(jìn)行邊緣檢測和剔除時，并沒有對檢測到的邊緣進(jìn)行細(xì)化處理。如果對邊緣進(jìn)行細(xì)化的話，為保證徹底消除邊緣響應(yīng)的影響，在剔除邊緣的同時需要檢測邊緣的鄰域并進(jìn)行剔除操作，這樣不僅在邊緣細(xì)化時會耗費(fèi)大量的時間，而且在邊緣鄰域檢測時也會耗費(fèi)一定的時間，極大地降低算法的效率。而且在使用SIFT算法檢測特征點(diǎn)時能夠得到足夠的特征點(diǎn)，因此剔除未經(jīng)細(xì)化處理的邊緣不會對算法產(chǎn)生顯著的影響。

2.3 陰影檢測和剔除

在對SAR圖像進(jìn)行配準(zhǔn)時，由于在不同圖像中，陰影區(qū)域的大小、形狀以及方向會隨著入射角度以及照射方向的不同等發(fā)生改變，從而直接影響SAR圖像配準(zhǔn)的精度。因此，為降低陰影對配準(zhǔn)精度的影響，改進(jìn)算法對SAR圖像陰影區(qū)域通過最大類間方差法[15-16](OTSU)進(jìn)行檢測并剔除。最大類間方差法能夠自適應(yīng)地確定閾值，將SAR圖像分為前景區(qū)域和背景區(qū)域兩部分。

g=ω0ω1(μ0-μ1)2.

(13)

式(13)就是類間方差的表達(dá)式。式中：ω0表示前景區(qū)域占整幅圖像的比例，μ0表示其平均灰度，ω1表示背景區(qū)域占整幅圖像的比例，μ1表示其平均灰度。遍歷整個灰度級，找到使類間方差最大的灰度值，即為陰影分割所需閾值T。在遍歷時多次重新計算前景、背景占比及其平均灰度，會耗費(fèi)大量的時間，因此，本文采用前一閾值下的計算結(jié)果迭代計算新閾值下的結(jié)果。

(14)

(15)

(16)

(17)

(18)

式中：N0表示前景區(qū)域的像素個數(shù)，N表示整幅圖像總像素個數(shù)，SUM0表示前景區(qū)域像素總灰度值，μ0表示前景區(qū)域平均灰度值，GT+1表示灰度為T+1的像素個數(shù)，T是從0到254的灰度值。上述表達(dá)式迭代求出前景占比及其平均灰度，同理，背景占比及其平均灰度也可迭代求解，遍歷整個灰度級得出類間方差的結(jié)果，當(dāng)使得g最大時，T+1就是進(jìn)行陰影分割時所需閾值。在一定程度上，該方式能夠節(jié)省運(yùn)算時間，提升算法效率。

使用改進(jìn)的最大類間方差法對SAR圖像進(jìn)行陰影檢測的效果如圖3(b)所示，其中，黑色部分代表陰影區(qū)域，白色部分代表非陰影區(qū)域。但是使用OTSU算法得出的分割結(jié)果中含有偽陰影點(diǎn)和偽非陰影點(diǎn)，同時在陰影區(qū)域和非陰影區(qū)域內(nèi)部還存在斷裂結(jié)構(gòu)和空洞，可以通過形態(tài)學(xué)閉運(yùn)算改善分割效果，連接斷裂結(jié)構(gòu)，形成較大連通區(qū)域，形態(tài)學(xué)處理結(jié)果如圖3(c)所示。

圖3 陰影檢測效果Fig.3 Shadow detection results

得到陰影檢測圖像之后，同樣對其進(jìn)行降采樣處理，然后與邊緣檢測降采樣處理結(jié)果一起融入到尺度空間的構(gòu)建過程中。在特征點(diǎn)檢測之前首先判斷待檢測像素點(diǎn)是否屬于邊緣區(qū)域或陰影區(qū)域，如果判斷該點(diǎn)屬于此區(qū)域，則將該點(diǎn)舍棄，不對該點(diǎn)進(jìn)行檢測；相反，如果判斷該點(diǎn)不屬于此區(qū)域，則保留該點(diǎn)并繼續(xù)判斷該點(diǎn)是否為極值點(diǎn)，值得注意的是，在確定極值點(diǎn)時，要使用未經(jīng)邊緣和陰影剔除的尺度空間進(jìn)行判斷。遍歷整個空間，得到特征點(diǎn)集，為后續(xù)配準(zhǔn)工作奠定基礎(chǔ)。

2.4 跳過第一尺度檢測

使用SIFT算法對SAR圖像多次進(jìn)行特征點(diǎn)檢測實(shí)驗(yàn)，部分實(shí)驗(yàn)結(jié)果如圖4和表2所示，其中，綠色圓圈表示最終被認(rèn)定為匹配點(diǎn)的特征點(diǎn)，而紅色圓圈表示最終未被認(rèn)定為匹配點(diǎn)的特征點(diǎn)。對比實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，在高斯金字塔第一尺度空間進(jìn)行檢測時，雖然能夠檢測出大量的特征點(diǎn)，但是其中匹配點(diǎn)所占比例不高，在后續(xù)的處理工作中，該尺度空間檢測到的特征點(diǎn)即使被認(rèn)定為匹配點(diǎn)，也存在很大比例的錯誤匹配點(diǎn)。而且在SAR圖像中存在著不可避免的相干斑噪聲，在構(gòu)建尺度空間時，采用高斯級聯(lián)濾波器，所以尺度越大，噪聲被濾除的效果越明顯。因此，去掉第一尺度空間進(jìn)行檢測雖然使檢測出的特征點(diǎn)數(shù)量減少，但基本上不會影響正確匹配點(diǎn)的數(shù)量，反而能夠提高正確匹配點(diǎn)的比例，降低相干斑噪聲的影響，同時減少特征點(diǎn)檢測的耗時。

圖4 特征點(diǎn)檢測效果Fig.4 Detection results of feature points

評價指標(biāo) 圖像1(保留) 圖像1(去除)圖像2(保留)圖像2(去除)檢測特征點(diǎn)數(shù)量13093252512434匹配點(diǎn)數(shù)量1325413254特征點(diǎn)與匹配點(diǎn)之比9.92∶16.02∶119.03∶18.04∶1

2.5 待配準(zhǔn)圖像的幾何校正

完成特征點(diǎn)檢測之后，使用128維特征描述子對特征點(diǎn)進(jìn)行描述，然后以歐氏距離作為其相似性度量，利用KD樹的數(shù)據(jù)結(jié)構(gòu)搜索最近鄰點(diǎn)和次近鄰點(diǎn)，再使用隨機(jī)抽樣一致(random sample consensus, RANSAC)算法剔除錯誤匹配點(diǎn)，從而生成同名特征點(diǎn)對。考慮到配準(zhǔn)效果與算法效率的平衡，采用仿射變換模型[17]對待配準(zhǔn)圖像進(jìn)行幾何校正。其變換模型如下

(19)

將得到的同名特征點(diǎn)對代入仿射變換模型中，求得仿射變換矩陣，再將待配準(zhǔn)圖像代入上式進(jìn)行變換完成幾何校正，得出配準(zhǔn)后圖像。

3 實(shí)驗(yàn)結(jié)果與分析

本文所選用的實(shí)驗(yàn)數(shù)據(jù)為中國科學(xué)院電子學(xué)研究所實(shí)測的多組SAR圖像，采用SIFT算法與改進(jìn)SIFT算法分別對其進(jìn)行實(shí)驗(yàn)，圖5所示為其中兩組圖像使用在同一參數(shù)下的兩種算法進(jìn)行特征點(diǎn)檢測和匹配的結(jié)果。

圖5 特征點(diǎn)匹配對比效果Fig.5 Comparison of feature point matching results

改進(jìn)SIFT算法消除邊緣響應(yīng)點(diǎn)占總特征點(diǎn)的比例如圖6所示，其中，橫坐標(biāo)為圖像編號，縱坐標(biāo)為消除的邊緣響應(yīng)點(diǎn)占比。可以發(fā)現(xiàn)，改進(jìn)SIFT算法能夠消除25%左右的邊緣響應(yīng)點(diǎn)，使算法檢測出的特征點(diǎn)更加穩(wěn)定，利于后續(xù)配準(zhǔn)工作的進(jìn)行。

圖6 消除邊緣響應(yīng)點(diǎn)占比Fig.6 Proportion of eliminated edge response points

對特征點(diǎn)匹配結(jié)果通過匹配對數(shù)、正確匹配對數(shù)、匹配正確率、空間分布質(zhì)量、均方根誤差以及執(zhí)行時間進(jìn)行評價，其結(jié)果如表3所示。其中，空間分布質(zhì)量表征算法檢測出的特征點(diǎn)分布的分散程度，其計算公式如下

(20)

(21)

式中：R和F分別為配準(zhǔn)前后的圖像灰度值，M和N則為圖像的高度和寬度。

表3 特征點(diǎn)匹配評價結(jié)果Table 3 Evaluation results of feature point matching

將改進(jìn)算法應(yīng)用于SAR圖像配準(zhǔn)，其中，第1組圖像的像素分別為793×321和669×301，匹配對數(shù)量由20對增加到59對，正確匹配率由55%提升至98%，第2組圖像的像素分別為450×287和424×246，匹配對數(shù)量由53對增加到197對，

正確匹配率由74%提升至99%，且兩組圖像的RMSE減小，空間分布質(zhì)量增大。該實(shí)驗(yàn)結(jié)果表明，兩種算法相比，在同一參數(shù)下，改進(jìn)算法能夠大幅度提高匹配對數(shù)量和匹配的正確率，而且空間分布質(zhì)量較改進(jìn)之前也有大幅度的提升，配準(zhǔn)精度也隨之提高。由于增加了預(yù)處理、邊緣檢測和剔除以及陰影檢測和剔除等3個模塊，對算法進(jìn)行分析并且對比表3執(zhí)行時間可知，改進(jìn)算法的時間復(fù)雜度與SIFT算法仍在同一個量級上，但有所增加，所以實(shí)時性效果并不是特別理想。

將第1組SAR圖像進(jìn)行配準(zhǔn)最終的結(jié)果如圖7所示。其中，圖7(a)是參考圖像，圖7(b)是待配準(zhǔn)圖像1，圖7(c)是待配準(zhǔn)圖像1配準(zhǔn)之后的結(jié)果，圖7(g)是將參考圖像和配準(zhǔn)后圖像1進(jìn)行非相干疊加融合之后的結(jié)果。

圖7 圖像配準(zhǔn)和融合結(jié)果Fig.7 Image registration and fusion results

借助于本文算法，在參考圖像指定的前提下，還可以對多幅SAR圖像進(jìn)行配準(zhǔn)，圖7(d)是待配準(zhǔn)圖像2，圖7(e)是待配準(zhǔn)圖像2與參考圖像檢測出的特征點(diǎn)的匹配結(jié)果，圖7(f)是待配準(zhǔn)圖像2以圖7(a)作為參考圖像配準(zhǔn)之后的結(jié)果，圖7(h)是將3幅圖像進(jìn)行非相干疊加融合的結(jié)果。對非相干疊加融合圖像采用等效視數(shù)作為評價指標(biāo)進(jìn)行評價的結(jié)果如表4所示，通過對比可以發(fā)現(xiàn)，將圖像配準(zhǔn)后非相干疊加，圖像的等效視數(shù)增大，類似于多視處理的效果，而且在疊加后其等效視數(shù)接近于理論值，進(jìn)一步印證了改進(jìn)SIFT算法的配準(zhǔn)精度。

表4 圖像非相干疊加評價結(jié)果Table 4 Evaluation results of image incoherent superposition

4 結(jié)束語

本文算法是在SIFT算法基礎(chǔ)上，針對SAR圖像的特點(diǎn)進(jìn)行相應(yīng)預(yù)處理并將邊緣檢測與陰影檢測融合到算法中，提高算法的配準(zhǔn)精度和穩(wěn)定性，使算法能夠更好地適用于SAR圖像的配準(zhǔn)工作，為后續(xù)圖像融合、地物分類、三維重建以及地圖修正等工作提供了很好的基礎(chǔ)。但該算法僅適用于多幅SAR圖像之間的配準(zhǔn)，對光學(xué)圖像與SAR圖像之間的配準(zhǔn)有待進(jìn)一步研究。