許可樂,唐濤,蔣詠梅
(國防科技大學電子科學與工程學院,湖南長沙410073)
圖像配準是指依據(jù)一些相似性度量,決定圖像間的變換參數(shù),使從不同傳感器、不同視角、不同時間獲取的同一場景的2幅或多幅圖像變換到同一坐標系,并在像素層上得到最佳匹配的過程.近年來,利用穩(wěn)定的特征描述子匹配成為圖像配準領域研究的熱點和難點之一,特別是Lowe利用尺度不變特征轉(zhuǎn)換(scale-invariant feature transform,SIFT)方法提取的圖像特征被成功應用于光學圖像配準領域,并得到廣泛認可[1].
合成孔徑雷達(synthetic aperture radar,SAR)圖像配準與光學圖像的配準既有相通之處,又有自身的一些特點.整體而言,相對于光學圖像,SAR圖像中同名特征點的自動提取更加困難.首先,由于SAR圖像的信噪比遠低于光學圖像,導致SAR圖像中的特征點自動提取存在困難,特別是其固有的斑點噪聲嚴重影響特征點的提取性能,冗余、錯誤的偽特征點的存在也嚴重影響了后續(xù)特征點的匹配工作,一旦特征點失配,形成錯誤的同名點,則圖像配準基本失效[2-3].另外,由于待配準的SAR圖像往往比較大,如果直接應用SIFT方法提取SAR圖像的特征進行圖像配準,精度和時效性往往都較差.
以往SAR圖像對SIFT算法的改進方法都存在以下2個問題:1)跳過SIFT差分尺度空間的第1階尺度,提取特征點數(shù)目較少;2)存在相當數(shù)量的誤匹配.針對上述2個問題,本文基于多尺度Gabor濾波器組及對比度雙門限特征點精化(Gabor-SIFT)方法,提出了一種新的SAR圖像特征點提取方法,實驗結果的分析與比較驗證了算法的有效性.
SIFT包含3個主要步驟:特征提取、特征描述和特征匹配.首先在高斯差分尺度空間中進行極值檢測,以初步確定關鍵點位置和所在尺度.在每個候選特征點所在位置,通過泰勒展開確定關鍵點的精確位置和尺度.剔除低對比度的關鍵點和不穩(wěn)定的邊緣響應點(因為DoG算子會產(chǎn)生較強的邊緣響應),以增強匹配穩(wěn)定性和提高抗噪聲能力.利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數(shù),使算子具備旋轉(zhuǎn)不變性,并利用聯(lián)合鄰域信息生成SIFT特征向量.最后采用關鍵點特征向量的歐式距離作為2幅圖像中關鍵點的相似性判定度量.
為了將SIFT算子更好地應用于SAR圖像特征提取,很多學者提出了改進方法.Ke[4]在假設提取的圖像特征服從Gaussian分布的情況下,利用核主成分分析(principal component analysis,PCA)的方法對SIFT特征降維構建了PCA-SIFT描述子,實現(xiàn)了特征的快速匹配.Li[5]對SIFT特征的尺度和方向進行限制,提出一種新的描述子SR-SIFT,實現(xiàn)了遙感圖像的穩(wěn)健配準,然而其算法復雜度較高.Delponte將SIFT方法和奇異值分解方法(singular value decomposition,SVD)結合,把圖像的譜信息融入到匹配過程中,利用SIFT特征描述子的歐式距離構建相似矩陣,此方法比直接利用點坐標之間的歐式距離匹配更穩(wěn)健,但對于視覺和尺度差別較大的圖像,結果不是很理想[6-7].Schwind[8]提出 SIFT-Octive 算法(scale invariant feature transform-octive,SIFTOCT),該算法在特征點的提取時跳過尺度空間第一階尺度,以保證提取特征點的精確度和降低特征點提取的時間復雜度,其余過程與SIFT相同.但該算法特征點提取個數(shù)較少.
為了克服SIFT-OCT算法特征點提取數(shù)目較少的問題,Wang提出BFSIFT算法,該算法通過雙邊濾波器(bilateral filter)建立各向異性的尺度空間,然后基于雙組配合策略和隨機抽樣一致算法(random sample consensus,RANSAC)算法進行特征匹配,該算法的特征點提取數(shù)目較SIFT-OCT有所增加[9].
SIFT算子是在Gaussian濾波基礎上創(chuàng)建Gaussian差分尺度空間.但是目前此類方法所選用的高斯微分核函數(shù)主要針對的是Blob模型的特征點,無法對圖像頻域信息進行方向選擇,經(jīng)常會遺失部分頻域內(nèi)的方向信息,導致其適應性降低.Gabor濾波器成為描述視覺信號接收場響應模型的一個強有力的工具,具有時域和頻域的聯(lián)合最佳分辨率,并且較好地模擬了人類視覺系統(tǒng)的視覺感受特性[10].空間域Gabor函數(shù)可以寫成:
由于目標圖像對不同尺度、不同角度的Gabor響應不同,因此,如果目標特征在原始尺度具有一定的可區(qū)分性,對圖像進行多尺度分析,可以有效提高目標的識別率.增加多個尺度的信息可以豐富目標特征,但是持續(xù)增大尺度,會使不同目標的差異變小,而且太多的尺度也會給計算增加負擔.在本文后續(xù)實驗中,尺度層數(shù)選為O=3,且x坐標變化尺度、y坐標變化尺度選取相同.Gabor函數(shù)對整個頻譜的選擇特性與DoG算子一樣,但進行了方向劃分.實驗結果將會表明,多尺度Gabor濾波器組相對Gaussian濾波器具有更好的細節(jié)保持特性,將多尺度Gabor濾波器取代傳統(tǒng)Gaussian濾波器會增加特征點提取數(shù)目.
由于不同SAR系統(tǒng)的成像視角、范圍及時間都有變化,因此它們獲取的同一地區(qū)的圖像內(nèi)容會有差異,很難基于這些圖像來定量評估特征點檢測與匹配算法的性能.通常的做法是對某一原始圖像進行仿射等幾何變換以及照度變換來獲得多幅測試圖像.本文比較特征點的重復率,在找到原始圖像a與測試圖像b間的匹配點對集合R的重復率就表示正確匹配的點對個數(shù)NR與特征點提取個數(shù)的比值,其中提取特征點的數(shù)目為待配準2幅圖像中特征點的數(shù)目中較小的一個,下文實驗結果中表意相同[10].
式中:|·|為集合的樣本數(shù).
乘法模型是建模和分析SAR圖像的常用模型.乘積模型認為,在一定的條件下,雷達回波是斑點噪聲和后向散射這2個隨機過程共同作用的結果.SAR圖像被建模為2個獨立隨機變量R和u的乘積,R為建模區(qū)域的后向散射,u為建模圖像的斑點,則:
兩邊同時取自然對數(shù),則式(3)變?yōu)?/p>
為了驗證SAR圖像灰度值作對數(shù)變換對特征點數(shù)目以及正確匹配點的影響,本文分別選取多幅不同波段、不同分辨率和不同極化方式的SAR圖像進行特征點提取數(shù)目和正確匹配點對數(shù)目的比較.為了使實驗結果具有更好的對比說明性,以大小為750×515,不同波段、不同分辨率和不同極化方式的特征點提取進行實驗,表1、2為實驗對比果.
表1 灰度值對數(shù)變換前后特征點提取數(shù)目Table 1 Number of the feature points extracted before and after the logarithmic transformation
表2 灰度值對數(shù)變換前后正確匹配點對數(shù)目Table 2 Number of the correct-matched feature points extracted before and after the logarithmic transformation
實驗結果表明,在對SAR圖像進行SIFT特征提取之前進行對數(shù)變換能夠有效地提高特征點提取數(shù)目和正確匹配點對的數(shù)目.分析其原因為:SAR圖像的噪聲模型為乘性噪聲模型,對圖像取對數(shù)變換能夠在數(shù)學意義上將乘性噪聲轉(zhuǎn)化成加性噪聲,SIFT算子中通過擬和三維二次函數(shù)以精確確定關鍵點的位置和尺度,同時剔除低對比度的關鍵點和不穩(wěn)定的邊緣響應點的步驟都提高了算子對加性噪聲的抗干擾能力.以下實驗都是基于對SAR圖像進行對數(shù)變換的基礎上進行的.
由于SAR圖像中存在嚴重的斑點噪聲現(xiàn)象,直接用基于Gabor濾波器建立的尺度空間提取候選的特征點依然存在著一定數(shù)量的偽特征點.為了得到穩(wěn)定的特征點,僅刪除Gabor差分尺度空間中響應值低的點和刪除邊緣效應是不夠的.針對SAR圖像,本文采用抑制偽特征點的方法.
刪除低對比度的特征點的同時剔除對比度過高的特征點,這樣可以很好地抑制偽特征點.針對SAR圖像對比度上限的選擇,選取了不同場景(如森林、海洋、草地等)下,不同波段的SAR圖像進行了配準實驗.實驗結果表明,在對比度上限取4.2時,重復率取值相對較大,本文在實驗中對比度上限選為4.26.表3為不同波段、不同分辨率、不同極化方式下重復率變化情況.
表3 不同波段、不同分辨率、不同極化方式下重復率變化Table 3 Repeatability in different bands,different resolutions,and different polarization modes
為了更加清晰地闡述本文算法,給出本文算法流程圖,如圖1.
圖1 Gabor-SIFT算法流程Fig.1 Flow chart of Gabor-SIFT
實驗利用不同波段、不同分辨率及不同極化方式下的實測數(shù)據(jù),對本文所提Gabor-SIFT算法進行性能的評估.
圖2中2幅不同波段的SAR圖像用于本算法特征點提取的測試,圖2(a)為X波段,圖2(b)為C波段.X波段的圖像大小為750×515,C波段圖像大小為600×412,表4為本文所述算法(Gabor-SIFT)與文獻[9]所述方法及直接用Gabor濾波器進行濾波、再進行SIFT特征提取的特征點檢測數(shù)目及匹配時間的比較.
圖2 不同波段下特征點提取與匹配結果Fig.2 Results of the feature points extraction and match in different bands
表4 不同波段正確匹配點對數(shù)目與特征點數(shù)目提取結果Table 4 Number of correct-match points and result of feature points extraction in different band
從表4分析可知,無論是特征點提取的數(shù)目還是正確匹配對數(shù)目,本文所述方法比直接應用多度Gabor濾波器與SIFT算子直接方法,或是BFSIFT算法都有較大幅度的提高.但由于BFSIFT跳過尺度空間第1階尺度進行,所以本文所述算法在時間復雜度比BFSIFT略高.在一般情況下,尺度空間中往往在第1階尺度包含信息最多,為了保證提取足夠多的特征點數(shù)目,本文建議不宜跳過第1階尺度.
圖3(a)為BFSIFT特征點提取與匹配結果圖像,分辨率為3 m×3 m;圖3(b)為Gabor-SIFT特征點提取與匹配結果圖像,分辨率為1 m×1 m.結果表明,本文所述方法在不同分辨率下,無論在特征點提取數(shù)目上,還是在正確匹配點對數(shù)目上較BFSIFT算法均有較大提高.與不同波段下相同,本文所述方法在時效性上略差.此外,在圖像大小相差不大的情況下,不同分辨率下,不同波段、不同極化方式特征點數(shù)目明顯減少.表5為不同分辨率下正確匹配點對數(shù)目與特征點數(shù)目提取結果及特征提取時間.
圖3 不同分辨率下特征點提取與匹配結果Fig.3 Results of the feature points extraction and match in different resolutions
表5 不同分辨率正確匹配點對數(shù)目與特征點數(shù)目提取結果及特征提取時間對比Table 5 Number of correct-match points,result of feature points extraction and the time consumed in different resolutions
圖4(a)的極化方式為HH,為BFSIFT特征點提取與匹配結果,圖4(b)的極化方式為HV,為本文所述方法特征點提取與匹配結果.結果表明不同極化方式下,本文所述方法較BFSIFT除在時間復雜度外的各項指標均有所提高,尤其是正確匹配對數(shù)目,如表6.
表6 不同極化方式正確匹配點對數(shù)目與特征點數(shù)目提取結果及特征提取時間對比Table 6 Number of correct-match points,result of feature points extraction and the time consumed in different polarization modes
圖4 不同極化方式下特征點提取與匹配結果Fig.4 Results of the feature points extraction and match in different polarization modes
在SAR圖像幾何畸變較大的情況下,相當數(shù)量的正確匹配對數(shù)目對配準結果有直接影響,因此在不同極化方式下本文算法優(yōu)于BFSIFT算法.
為了改進SIFT算子應用到SAR圖像中的特征點提取數(shù)目較少和存在一定數(shù)量的誤匹配點對的問題,本文相對BFSIFT算法,在提取特征點數(shù)量性、準確性上均有較大提高.理論分析及實驗證明可以得出以下結論:
1)多尺度Gabor濾波器相比Gaussian濾波器更好地保持SAR圖像細節(jié),從而會令尺度空間的特征點提取數(shù)目顯著增加.
2)對SAR圖像灰度值進行對數(shù)變換,能夠有效地增加特征點提取數(shù)目和正確匹配點個數(shù).
3)在圖像大小相差不大的情況下,不同分辨率、不同波段、不同極化方式下特征點數(shù)目明顯減少.此外,選取的都是不同條件下大場景的SAR圖像進行特征點提取與匹配,仍沒有很好解決在小場景的SAR圖像(例如MASTAR數(shù)據(jù)庫圖像切片)進行特征點提取與匹配問題,這也有待進一步深入研究.
[1]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.
[2]XIONG B,CHEN J M,KUANG G,et al.Estimation of the repeat-pass ALOS PALSAR interferometric baseline through direct least square ellipse fitting[J].IEEE Transactions on Geoscience and Remote Sensing,2012,50(9):1-8.
[3]SURI S,REINARTZ P.Mutual-information-based registration of TerraSAR-X and Ikonos imagery in urban areas[J].IEEE Transactions on Geoscience and Remote Sensing,2010,48(2):939-949.
[4]KE Y,SUKTHANKAR R.PCA-SIFT:a more distinctive representation for local image descriptors[C]//Proceedings of Conference on Computer Vision and Pattern Recognition.Washington DC,USA,2004:1980-1987.
[5]LI Q L,WANG G Y,LIU J G,et al.Robust scale-invariant feature matching for remote sensing image registration[J].IEEE Geoscience and Remote Sensing Letters,2009,6(2):287-291.
[6]PALENICHKA R M,ZAREMBA M B.Automatic extraction of control points for the registration of optical satellite and LiDAR images[J].IEEE Transactions on Geoscience and Remote Sensing,2010,48(7):2864-2879.
[7]LU G,YAN Y,KOU Y,et al.Image registration based on criteria of feature point pair mutual information[J].IET Image Process,2011,5(6):560-566.
[8]SCHWIND P,SURI S,REINARTZ P,et al.Applicability of the SIFT operator for geometrical SAR image registration[J].International Journal of Remote Sensing,2010,31(8):1959-1980.
[9]WANG Shanhu,YOU Hongjian,F(xiàn)U Kun.BFSIFT:a novel method to find feature matches for SAR image registration[J].IEEE Geoscience and Remote Sensing Letters,2012,9(4):649-653.
[10]雷琳,王壯,粟毅.基于多尺度Gabor濾波器組的不變特征點提取新方法[J].電子學報,2009,37(10):2314-2319.LEI Lin,WANG Zhuang,SU Yi.A new invariant feature detector based on multi-scale Gabor filter bank[J].Acta Electronica Sinica,2009,37(10):2314-2319.
[11]LIU Li,F(xiàn)IEGUTH P.Texture classification from random features[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,10(5):1109-1120.
[12]DUAN C,MENG X,TU C,et a1.How to make local image features more eficient and distinctive[J].IET Computer Vision,2008,2(3):98-102.