基于大尺度雙邊SIFT的SAR圖像同名點自動提取方法

王山虎 尤紅建 付 琨

①(中國科學院電子學研究所 北京 100190)

②(中國科學院空間信息處理與應(yīng)用系統(tǒng)技術(shù)重點實驗室 北京 100190)

③(中國科學院研究生院 北京 100190)

1 引言

同名點提取在SAR圖像配準、區(qū)域網(wǎng)平差、信息融合、目標檢測和識別等領(lǐng)域具有重要應(yīng)用。不同成像條件會導致兩幅同一場景的圖像間存在灰度和幾何變化：斑點噪聲、不同時相、不同波段、不同極化方式會導致圖像間的灰度差異；不同分辨率、不同視角會導致圖像間的幾何變化，因此SAR圖像同名點提取難度較大?，F(xiàn)階段SAR圖像同名點提取主要采用半自動的人機交互方式，效率較低，而且數(shù)量、精度和點的分布往往不能滿足要求。

近年來，利用具有不變性的檢測子和描述子匹配特征點的方法成為同名點自動提取的研究熱點[1,2]。該類方法首先利用檢測子提取圖像中穩(wěn)定的點[3,4]、線[5]或面[6]特征；然后根據(jù)特征點的鄰域采用描述子[7]形成特征向量，描述子需具備較強的區(qū)分力，即不同圖像區(qū)域?qū)?yīng)的特征向量明顯不同，同時描述子需對噪聲和局部形變不敏感，即相似區(qū)域的特征向量需相近；最后采用相似性度量準則[8]建立同名點。SIFT(Scale Invariant Feature Transform)[3]是該類方法的典型代表，它首先檢測圖像高斯尺度空間中穩(wěn)定的塊點(blob)，然后利用梯度方向直方圖計算特征點主方向并形成描述子，具有旋轉(zhuǎn)、尺度以及局部仿射和灰度不變性。文獻[9]將 SIFT應(yīng)用于遙感圖像配準，并結(jié)合遙感圖像的特點改進了匹配策略，取得了較好的效果。文獻[10]對 SIFT在SAR圖像配準中的應(yīng)用能力進行了系統(tǒng)性的評價，指出SIFT可在多種成像條件下的SAR圖像間提取同名點。但由于SAR圖像復雜的成像條件，特別是斑點噪聲的存在，導致 SIFT檢測到大量的虛假特征點，這些點隨機性強，易造成誤匹配和少匹配，影響了同名點自動提取的性能。

針對以上問題，本文分析了 SIFT提取的特征點和同名點在各個尺度上的分布，進而直接在大尺度上檢測特征，減小了斑點噪聲的影響；但大尺度上特征點數(shù)量少且定位精度差，因此本文提出了一種新的基于各向異性尺度空間的同名點自動提取方法BFSIFT(Bilateral Filter SIFT)。該方法首先分析了雙邊濾波器[11]和各向異性擴散(PM)方程[12]的聯(lián)系，進而基于雙邊濾波器以非迭代的方式建立圖像的各向異性尺度空間，在降斑的同時保留了圖像細節(jié)；然后在大尺度上檢測并描述 SIFT特征，弱化了斑點噪聲的影響，減少了不宜匹配的特征的數(shù)量；最后采用雙向匹配策略建立同名點，提高了正確匹配的概率。與原始 SIFT方法相比，在保持同名點精度的同時，大大增加了同名點的數(shù)量。本文設(shè)計了3組實驗，分別提取兩幅不同視角、不同波段和視角以及不同時相和極化方式的 SAR圖像的同名點，結(jié)果驗證了本文算法的適用性和有效性。

2 SIFT原理

SIFT算法主要分為3個部分[3]：(1)尺度空間極值點檢測和定位；(2)主方向計算和描述子生成；(3)特征匹配。下面具體闡述各個部分的原理。

2.1 尺度空間極值點檢測及定位

圖像的特征是在一定尺度范圍內(nèi)出現(xiàn)的，不同尺度下圖像的特征不同，因此為了在存在尺度變換的圖像間提取同名點，需建立圖像的尺度空間。高斯核是建立尺度空間的唯一線性核，通過方差不斷增大的高斯函數(shù)與圖像卷積，可建立圖像的尺度空間表達。其表達式為

其中L(x,y,σ)為高斯尺度空間，I(x,y)為原圖像，G(x,y,σ)為標準差為σ的高斯函數(shù)，*代表卷積運算。

SIFT采用高斯拉普拉斯算子(LoG)檢測圖像中的塊點，并用高斯差分尺度空間(DoG)近似，其表達式為

其中k為尺度變化量。忽略常數(shù)k的影響，則D(x,y,σ)為圖像的歸一化高斯拉普拉斯響應(yīng)。在差分尺度空間里檢測極值點，相當于在尺度空間里檢測拉普拉斯響應(yīng)的極值點，計算量大為減小。

圖像的尺度空間分為若干組(octave)，如圖1所示，相鄰兩組之間圖像尺寸相差2倍。每組分為若干層(interval)，高斯函數(shù)標準差逐層遞增，最底層和最高層尺度相差2倍，不同組的相同層采用相同的高斯核進行模糊。建立圖像的尺度空間后，在DoG內(nèi)檢測極值點作為候選特征點，如圖2所示，每個像素與本層8鄰域和上下兩層相同位置處3×3鄰域相比，篩選出極值點。然后去除易受噪聲影響的對比度較低的點和不易匹配的邊緣點，同時利用泰勒展開式提高特征點的定位精度。

2.2 主方向計算及描述子生成

根據(jù)特征點所在的尺度圖像，選擇與尺度成比例的鄰域并統(tǒng)計其梯度方向直方圖。將梯度方向劃分成 36份，用像素點的梯度幅值累加其梯度方向份，幅值最大份的方向為鄰域主方向。根據(jù)特征點的主方向，旋轉(zhuǎn)鄰域到水平方向，并統(tǒng)計其分塊梯度方向直方圖。將鄰域劃成4×4子塊，將梯度方向劃成8份，如圖3所示(僅顯示了2×2子塊)，統(tǒng)計每塊的梯度方向直方圖，連接得到128維描述子， 4×4子塊的劃分增強了描述子的區(qū)分力。

圖1 SIFT尺度空間

圖2 極值點檢測

圖3 梯度方向直方圖

在計算分塊梯度方向直方圖時，對整個區(qū)域高斯加權(quán)，同時采用雙線性插值的方法，每個像素點的梯度以一定的權(quán)重劃分到鄰近的4個子塊和2個方向中，大大提高了應(yīng)對微小形變的能力，增強了描述子的魯棒性。描述子利用梯度信息，消除了亮度變化的影響；對整個描述子歸一化，消除了對比度變化的影響。非線性灰度變化對梯度幅值影響較大，但對方向影響較小，故抑制直方圖中梯度幅值較大的點，增強了應(yīng)對非線性灰度變化的魯棒性。

2.3 匹配

生成描述子后，利用描述子間的歐式距離建立匹配對。Lowe[3]建議用比值法即如果特征點與其最近鄰和次近鄰的距離之比小于指定閾值，則判定該特征點和其最近鄰為匹配點。該方法的正確率要高于簡單的基于最近鄰閾值的方法。因為描述子維數(shù)較高，所以Lowe采用Best Bin First(BBF)方法來加快匹配過程，最后通過 Random Sample Consensus(RANSAC)算法篩選出正確的匹配點。

3 大尺度雙邊SIFT

3.1 大尺度SIFT

SAR圖像是相干處理得到的，因此圖像上存在大量的乘性斑點噪聲，導致了圖像的灰度失真，影響了空間和輻射分辨率。斑點噪聲對SAR圖像同名點提取的影響主要體現(xiàn)在兩個階段：一是在檢測子階段，斑點噪聲會導致在原始分辨率圖像上檢測到大量的塊點，這些點中很大一部分并不是實際的特征，而是斑點噪聲，由于斑點噪聲的隨機性，這些點重復率很差，不易匹配。同時因其數(shù)量巨大，影響了后續(xù)的匹配速度。二是在匹配階段，斑點噪聲模糊了特征點的鄰域，降低了鄰域的可區(qū)分性，易造成誤匹配和少匹配。因此，濾除斑點噪聲對SAR圖像同名點提取尤為重要。尺度空間建立時，高斯函數(shù)模糊圖像的同時會減少斑點噪聲，對圖像的降采樣相當于多視處理，會進一步減少斑點噪聲。因此為了去除斑點噪聲的影響，可直接在大尺度上提取同名點。

3.2 雙邊SIFT

高斯函數(shù)并不是理想的斑點噪聲濾除函數(shù)，它在抑制斑點噪聲的同時，會濾除邊緣等細節(jié)，導致在大尺度上特征點減少；同時大尺度圖像較為模糊，導致特征點定位不精確。雙邊濾波器在濾除噪聲的同時能保留圖像細節(jié)，因此，本文考慮采用雙邊濾波器建立各向異性尺度空間，然后在不易受斑點噪聲影響的大尺度上提取同名點。下面闡述方法的原理。

3.2.1 各向異性尺度空間為了解決高斯尺度空間模糊圖像細節(jié)信息的問題，Perona和Malik[12]構(gòu)造了基于偏微分方程的各向異性尺度空間，如式(3)，我們稱其為PM方程。

其中?是梯度算子，div是散度算子，|·|代表幅度，I0是原始圖像，It是尺度為t的圖像，c(x)是擴散系數(shù)，如式(4),K是一個可調(diào)參數(shù)。

像素點的梯度幅值控制擴散系數(shù)，如果|?I|＜＜K，則c(|?I|)趨向于1，方程轉(zhuǎn)化為線性熱擴散方程，可有效去除噪聲；如果|?I|＞＞K，則c(|?I|)趨向于0，方程轉(zhuǎn)化為全通濾波器，可有效保持邊緣。

3.2.2 雙邊濾波器雙邊濾波器[11]是一個非迭代的簡單的非線性邊緣保持濾波器。傳統(tǒng)的低通濾波器假設(shè)像素灰度值空間變化緩慢，通過鄰域加權(quán)平均可得到去噪后的灰度值。均值濾波器鄰域權(quán)重系數(shù)相同，高斯濾波器權(quán)重則隨距離增加而減小。在平坦區(qū)域，像素灰度空間變化緩慢的假設(shè)是正確的，而且信號間相關(guān)性強于噪聲，故加權(quán)平均可有效去除噪聲。但對邊緣等細節(jié)信息，灰度值空間變化劇烈，該假設(shè)不成立，加權(quán)平均會導致細節(jié)信息丟失。雙邊濾波器融合了鄰域像素與中心像素的空間臨近性和灰度相似性，是邊緣保持濾波器，表達式如式(5)。

其中p和q代表像素空間位置，Ip和Iq代表灰度值，Gσs和Gσr分別代表標準差為σs和σr的空間高斯核和灰度高斯核，Wp為歸一化系數(shù)，BF[I]p為p點雙邊濾波后的灰度值。

在平坦區(qū)域，鄰域灰度值較為接近，灰度高斯核影響較小，故雙邊濾波器轉(zhuǎn)化為高斯濾波器；在邊緣等細節(jié)區(qū)域，與中心像素灰度值相近的權(quán)重大，不相近的權(quán)重小，有效地保持了邊緣。圖4給出了一個實例，原始圖像上的白點為灰度值較高的階梯邊緣點，其灰度相似性系數(shù)也為階梯狀，總系數(shù)為半高斯形狀，濾波后的結(jié)果顯示該濾波器有很好的細節(jié)保持能力。

圖4 雙邊濾波器效果圖

3.2.3 雙邊尺度空間基于 PM 方程以數(shù)值迭代的方式建立尺度空間，耗時長、效率低且容易不收斂。考慮PM方程和雙邊濾波器的聯(lián)系：PM方程中的擴散系數(shù)為常數(shù)時，方程轉(zhuǎn)化為線性熱擴散方程，其唯一閉合解是原圖像與高斯函數(shù)的卷積。若以數(shù)值迭代的方式解該方程，其解也應(yīng)該是相應(yīng)尺度的圖像。因此，雖然迭代過程中鄰域內(nèi)各個像素的權(quán)重取決于局部梯度，但用高斯掩模不迭代也可達到同樣的效果。PM 方程的非線性擴散系數(shù)由該點的梯度幅值和參數(shù)K控制，梯度幅值大表示有邊緣存在，則權(quán)重小不擴散，可保留邊緣，去噪和保留邊緣的程度可由K折中處理；雙邊濾波器的灰度高斯核有類似的作用，鄰域像素與中心像素灰度值不相似，則權(quán)重小，相當于不擴散，同樣保持了邊緣，σr的作用相當于K。因此，PM 方程迭代的效果等同于雙邊濾波器的空域高斯濾波，非線性擴散等同于灰度高斯濾波，雙邊濾波器以非迭代的方式實現(xiàn)了各向異性擴散。

基于以上分析，我們采用雙邊濾波器建立尺度空間，類似高斯尺度空間的構(gòu)造過程，空間高斯核尺度不斷增加，灰度高斯核不變。相鄰兩個尺度圖像如下式

兩式相減得差分尺度空間，然后利用 SIFT方法提取并描述特征。

圖5給出了高斯和雙邊尺度空間對比圖，二者均是第1組第2層的圖像，雙邊濾波器灰度高斯核標準差為0.1。由圖可見高斯濾波后圖像較為模糊，物體輪廓等細節(jié)信息丟失，導致特征點定位不準確，而雙邊濾波后圖像保持了較為清晰的邊緣，有利于特征點提取和定位。

3.2.4 最優(yōu)參數(shù)確定BFSIFT中的空間高斯核控制圖像的尺度，本文采用與 SIFT高斯核相同的確定方法。灰度高斯核控制各向異性擴散程度，本文選了30對SAR圖像，包含不同平臺、不同時相、不同波段、不同極化、不同升降軌、不同分辨率、不同視角等多種成像條件，采用實驗的方法確定，結(jié)果如圖6所示?？梢钥闯?，標準差為0.2時同名點數(shù)量最多，效果最好。在此參數(shù)下，鄰域內(nèi)與中心像素灰度差大于 0.4的點不參與加權(quán)平均。標準差越小，高斯函數(shù)越尖銳，參與加權(quán)平均的鄰域像素點越少，灰度值較為接近的權(quán)重越大。但SAR圖像存在斑點噪聲，故標準差不能過小，保留細節(jié)的同時還需去噪，實驗表明 0.2是一個較合適的折中值。

圖5 尺度空間對比圖

3.3 雙向匹配

在采用比值法進行匹配時，經(jīng)常會有多個點對應(yīng)一個點的現(xiàn)象，如圖7(a)所示，影響了匹配結(jié)果，因此本文采用雙向匹配，即兩次比值法，待匹配圖像中的A點對應(yīng)的匹配點是參考圖像中的B點，同時B點匹配點是A點，這樣才確定A和B是一對匹配點。通過雙向匹配策略，有效地提高了匹配點的正確率。正確同名點的比例低于一半時，RANSAC算法失效，如圖7(b)所示，同名點篩選失敗，雙向匹配有效地去除了錯誤點對，可得到正確的同名點，如圖7(c)所示。

4 不同變化 SAR圖像的同名點自動提取實驗

為了驗證本文所提算法的有效性和適用性，本節(jié)設(shè)計了3組實驗，分別提取兩幅不同視角、不同波段和視角以及不同時相和極化方式的斜距 SAR圖像的同名點；因圖像間的變換關(guān)系未知時，無法精確衡量同名點的精度，因此本節(jié)還設(shè)計了一組實驗專門分析算法所提同名點的精度。具體結(jié)果及分析如下。

4.1 不同視角實驗

圖6 不同高斯標準差下同名點結(jié)果

圖7 單向和雙向匹配效果對比圖

圖8 不同視角下同名點提取數(shù)量對比圖

表1 3種方法的性能比較

圖8給出了SIFT, OSIFT和BFSIFT 3種算法在兩幅不同視角的機載X波段SAR圖像中的同名點提取結(jié)果，其中OSIFT代表組從1開始。表1給出了各組內(nèi)特征點和同名點的具體數(shù)量，表中僅列出了特征較少的圖像的特征點數(shù)量。可以看出，SIFT在第0組檢測到了大量的特征點，但同名點卻很少，OSIFT去掉了第0組的特征點，但第1組比SIFT還多5個同名點，這表明第0組特征點受斑點噪聲的影響較大，隨機性強，不易匹配，同時數(shù)量巨大，增加了大尺度特征點匹配時的搜索空間，減小了正確匹配的概率，影響了描述子的區(qū)分力。OSIFT和SIFT同名點數(shù)相當，但匹配時間遠短于SIFT，表明在大尺度上提取同名點十分有效。BFSIFT每組內(nèi)的特征點和同名點數(shù)量均比OSIFT多，總的同名點數(shù)幾乎是OSIFT的5倍，表明雙邊尺度空間比高斯尺度空間更有效。雙邊濾波器是非線性濾波器，并且BFSIFT的特征點數(shù)量比OSIFT多，所以BFSIFT耗時比OSIFT多。

4.2 不同視角、不同波段實驗

斜距圖像近端和遠端對應(yīng)的地距分辨率不同，近端視角小，地距分辨率低，因此不同視角的斜距圖像具有不同的地距分辨率。地物對不同波段的電磁波有不同的散射特性，在圖像上表現(xiàn)為不同的灰度值。為了驗證算法在不同視角和波段條件下的有效性，本文選取兩幅不同視角的機載X和P波段斜距圖像提取同名點，結(jié)果如表2和圖9所示。

由表2可見，SIFT和OSIFT算法提取同名點失敗，BFSIFT雖耗時稍多，但成功提取了8個同名點。P波段圖像易受民用電磁波信號的干擾，圖像信噪比差，因此影響了算法的性能。在SAR制圖應(yīng)用中，電線桿等地物在P波段圖像中定位較好，而X波段則不行，因此在P波段和X波段圖像融合應(yīng)用中，本文算法是理想選擇。

4.3 不同極化、不同時相實驗

地物對不同極化的電磁波有不同的散射系數(shù)，在圖像上表現(xiàn)為不同的灰度值，不同時相會導致圖像局部區(qū)域變化，因此為了驗證算法在不同極化方式和不同時相條件下的有效性，本文選取兩幅日本ALOS的不同時相且僅有部分重疊的HH和HV圖像提取同名點，兩幅圖像的獲取時間分別是2007年3月3日和2009年5月18日，結(jié)果如表3和圖10所示。由表可見，BFSIFT提取的同名點數(shù)量最多，OSIFT耗時最少。雙邊大尺度空間保留了圖像細節(jié)，因此提取了較多的特征點，其數(shù)量與 SIFT相當，因此耗時遠大于OSIFT。在同名點數(shù)量要求不高但對提取速度要求較高的應(yīng)用領(lǐng)域，OSIFT是較好的選擇。在圖像配準應(yīng)用中，兩幅SAR斜距圖像的變化關(guān)系不能用一個整體的變換模型來擬合，需要分塊處理，因此需要較多的同名點，在此情況下，BFSIFT是較好的選擇。

表2 不同視角和波段同名點提取結(jié)果

圖9 不同視角和波段下BFSIFT提取的同名點

表3 不同極化、不同時相同名點提取結(jié)果

4.4 精度分析

圖像間的變換模型未知時，無法準確衡量同名點的精度。如果根據(jù)同名點集(X,Y)用最小二乘的方法擬合出變換模型，然后據(jù)此將X變換到X'，最后利用X'與Y的位置誤差衡量同名點精度，則該方法衡量的其實是同名點擬合變換模型的程度，并不是真正的精度。如果人為變換一幅SAR圖像，則原始圖像與變換圖像間的變換關(guān)系可確定，但破壞了不同SAR圖像間斑點噪聲的隨機性。本文利用主輔兩個通道的干涉SAR圖像，采用上采樣和互相關(guān)的方法配準，因配準后圖像可產(chǎn)生干涉條紋，故可認為兩幅圖像是精確配準的。主輔兩幅圖像斑點噪聲特性不同，變換關(guān)系已知，故可精確衡量同名點間的精度。結(jié)果如表4所示。

圖10 不同極化、不同時相同名點提取結(jié)果

表4 3種算法精度對比

因圖像間僅存在微小變化，所以3種算法均提取到大量的同名點，BFSIFT去掉了尺度空間的第0組，仍提取了最多的同名點，說明雙邊尺度空間更有效。SIFT提取的同名點遠多于 OSIFT，表明大量的同名點位于尺度空間第0組，相比大尺度圖像內(nèi)的同名點，這些小尺度內(nèi)的點定位更精確，所以BFSIFT精度略低于SIFT; BFSIFT尺度空間定位性能優(yōu)于OSIFT，故精度好于OSIFT。

5 結(jié)束語

本文提出了一種新的基于雙邊濾波器的各向異性尺度空間構(gòu)造方法，既有效地去除了斑點噪聲，又能保留圖像細節(jié)，在大尺度上檢測特征并引入雙向匹配的策略提取同名點，在保持同名點精度的同時，大大增加了同名點的數(shù)量。在多種成像條件下提取同名點，包括不同波段、不同極化、不同時相、不同視角、局部重疊等多種導致圖像灰度和幾何變化的成像條件，以及山地平原等多種場景，實驗結(jié)果驗證了算法的有效性和適用性。

雙邊尺度空間提取的特征點中只有較少一部分是同名點，因此如何濾除不易匹配的特征點進而提高同名點提取速度，是今后需要進一步研究的問題。

[1]Tuytelaars T and Mikolajczyk K. Local invariant feature detectors: a survey[J].Computer Graphics and Vision, 2007,3(3): 177-280.

[2]Mikolajczyk K and Schmid C. A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[3]Lowe D G. Distinctive image features from scale-invariant keypoints [J].International Journal of Computer Vision,2004, 60(2): 91-110.

[4]Liu C, Yuen J, and Torralba A. SIFT flow: dense correspondence across scenes and its applications[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011, 33(5): 978-994.

[5]Lei H and Zhen L. Feature-based image registration using the shape context[J].International Journal of Remote Sensing,2010, 31(8): 2169-2177.

[6]Martin V, Mar fill R, and Bandera A. Affine image region detection and description [J].Journal of Physical Agents,2010, 4(1): 45-54.

[7]Gupta R, Patil H, and Mittal A. Robust order-based methods for feature description[C]. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,San Francisco, USA, 2010: 334-341.

[8]Pele O and Werman M. The quadratic-chi histogram distance family[C]. The 11th European Conference on Computer Vision (ECCV 2010), Crete, Greece, 2010: 749-762.

[9]Li Q L, Wang G Y, Liu J G,et al.. Robust scale-invariant feature matching for remote sensing image registration[J].IEEE Geoscience and Remote Sensing Letters, 2009, 6(2):287-291.

[10]陳爾學, 李增元, 田昕, 等. 尺度不變特征變換法在SAR影響匹配中的應(yīng)用[J]. 自動化學報, 2008, 34(8): 861-868.Chen Er-xue, Li Zeng-yuan, Tian Xin,et al.. Application of scale invariant feature transform to SAR image registration[J].Acta Automatic Sinica, 2008, 34(8): 861-868.

[11]Tomasi C and Manduchi R. Bilateral filtering for gray and color images[C]. Proc. International Conference on Compute Vision, Bombay, India, 1998: 839-846.

[12]Peroma P and Malik J. Scale space and edge detection using anisotropic diffusion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629-637.