采用非線性尺度空間濾波和SIFT的遙感影像配準方法

施文灶， 毛政元

(1. 福州大學 空間數據挖掘與信息共享教育部重點實驗室， 福建 福州 350002；

2. 福建師范大學 光電與信息工程學院， 福建 福州 350108；

3. 福州大學 地理空間信息技術國家地方聯合工程研究中心， 福建 福州 350002；

4. 福州大學 福建省空間信息工程研究中心， 福建 福州 350002)

?

采用非線性尺度空間濾波和SIFT的遙感影像配準方法

施文灶1,2,3,4， 毛政元1,3,4

(1. 福州大學 空間數據挖掘與信息共享教育部重點實驗室， 福建 福州 350002；

2. 福建師范大學 光電與信息工程學院， 福建 福州 350108；

3. 福州大學 地理空間信息技術國家地方聯合工程研究中心， 福建 福州 350002；

4. 福州大學 福建省空間信息工程研究中心， 福建 福州 350002)

摘要：針對傳統點特征匹配算法存在運算時間長和配準精度低的問題，提出一種基于非線性尺度空間濾波和尺度不變特征轉換(SIFT)點特征配準算法.首先，通過非線性尺度空間濾波對基準影像和待配準影像分別進行預處理，保留其邊緣信息并去除噪聲.其次，采用SIFT算法對預處理后的兩幅影像進行特征點提取，通過最近鄰和次近鄰的歐式距離比值法進行雙向匹配，得到匹配特征點.最后，對待配準影像進行仿射變換.結果表明：該方法的總體運行時間比傳統SIFT點特征配準算法降低63.2%，且配準精度大幅提高.

關鍵詞：遙感影像； 非線性尺度空間濾波； 尺度不變特征轉換； 配準； 仿射變換

遙感影像配準是遙感影像變化檢測、多源數據融合、運動檢測和目標識別等一系列應用研究涉及的核心內容[1-4].提高配準的質量與自動化程度對于充分挖掘和有效利用海量遙感影像數據的地理信息具有極其重要的意義.平均平方差、統計相關、歸一化互相關、不變矩、快速傅里葉變換相關等基于灰度的傳統配準方法，雖然在一些中低分辨率遙感影像的配準中得到廣泛的應用，但這類方法存在灰度變化敏感、抗噪性能差和計算復雜度高等缺點，應用范圍受到嚴重制約.針對這些問題，一些學者提出基于點特征的遙感影像配準算法[5-15].然而，當待配準影像存在較大的幾何變形時，基于點特征的配準算法的正確匹配率明顯下降.此外，該類方法應用于高空間分辨率遙感影像配準時，存在大量的錯誤匹配點.本文提出一種基于非線性尺度空間濾波和尺度不變特征轉換(SIFT)的影像配準方法.

1基本原理

基于非線性尺度空間濾波和SIFT影像配準方法的算法流程，如圖1所示,包括基于非線性尺度空間濾波的預處理、SIFT特征點提取和特征點雙向匹配等3個部分.

圖1　算法流程圖Fig.1　Flow chart of the algorithm

1.1　算法原理

非線性尺度空間濾波采用基于各向異性熱擴散方程構造遙感影像的非線性尺度空間，其迭代方程為

式(1)中:I為待處理的影像；N(It)，S(It)，E(It)，W(It)分別表示4個方向上的偏導，計算式為N(Ix,y)=Ix,y-1-Ix,y，S(Ix,y)=Ix,y-1+Ix,y，E(Ix,y)=Ix-1,y-Ix,y，W(Ix,y)=Ix+1,y-Ix,y，其取值越大，代表邊界的可能性越大；cNx,y，cSx,y，cEx,y,cWx,y分別表示4個方向上的導熱系數，計算式為cNx,y=exp(-(‖N(I)‖2/k2)，cSx,y=exp(-(‖S(I)‖2/k2)，cEx,y=exp(-(‖E(I)‖2/k2)，cWx,y=exp(-(‖W(I)‖2/k2)，當方向變化越大時，其取值越小，從而達到保留邊緣的目的，k為方向平滑系數；λ為平滑控制系數，取值越大，影像越平滑，越不易保留邊緣.

對遙感影像進行非線性尺度空間濾波，隨著迭代次數增加，影像越平滑，像素之間的灰度差異越小，整幅影像的所有波段像素灰度標準差將減小.根據這一特點，驗證標準差(δ)在不同λ和k的取值下，隨迭代次數(n)的變化情況，如圖2所示.

由圖2(b)，(c)可知：λ，k的取值越小，整幅影像達到同一標準差(即相同的平滑程度)所需的迭代次數越多，運算量越大；隨著λ，k的取值增大，部分邊緣信息被濾除，綜合信息量和計算量對算法效果的影響，通過對大量遙感影像進行實驗，確定使算法平均效果達到最佳的λ，k的取值分別為0.15和15.00.

(a) 原圖 (b) λ的不同取值 (c) k 的不同取值圖2　標準差在不同λ和k的取值下隨迭代次數的變化曲線Fig.2　Variation curve of standard deviation with diverse λ and k response to iterations

利用式(1)對圖2(a)進行5 000次迭代，得到影像的標準差曲線，如圖3所示.圖3中：當迭代次數為782時，標注差曲線達到最小值33.6.為了實現迭代的自動停止，將標準差曲線出現第1個谷點作為迭代的停止判斷條件.

圖3　標準差隨迭代次數的變化曲線　Fig.3　Variation curve of standard deviation response to iterations

1.2　SIFT算法

SIFT算法[16-17]是一種提取局部特征的算法，在尺度空間尋找極值點，提取位置穩(wěn)定、尺度不變性、旋轉不變性和較少亮度依賴的SIFT描述子,其算法流程，如圖4所示.

圖4　SIFT算法流程圖Fig.4　Flow chart of SIFT

圖4中：尺度空間構建是一個初始化操作，通過生成尺度空間創(chuàng)建原始影像的多層表示,以保證尺度不變性；為了減少搜索特征點的計算量，通過高斯拉普拉斯(LoG)進行近似，可快速地檢測到高斯差分(DoG)影像(尺度空間的每兩幅相鄰影像做減法操作)的極大極小值，即特征點.由于低亮度的區(qū)域是性能不好的特征點，所以使用Harris Corner檢測器進行提煉，提高算法的魯棒性；接著，為每個特征點分配一個方向，并做進一步計算，取消方向的影響，使算法具有旋轉不變性；最后，利用位置上的尺度和旋轉不變性，生成能夠唯一地識別特征點的向量，即描述子.為得到這樣的SIFT描述子，算法將特征點周圍16 px×16 px的窗口分解為16個4 px×4 px的子窗口.在每個4 px×4 px的子窗口中，計算出梯度的大小和方向，并用一個8個柱體的直方圖統計子窗口的平均方向，得到一個128維的向量，并對其進行歸一化.

1.3　特征點雙向匹配

搜索圖1的特征點集1到特征點集2中的所有滿足條件的特征點，記為S1；反之，搜索圖1的特征點集2到特征點集1中所有滿足條件的特征點，記為S2.其計算方法為

式(2)中:lnearest為特征點的最近鄰歐式距離;lS-nearest為特征點的次近鄰歐式距離；distRatio為閾值，取值越小，則滿足條件的特征點向量描述越接近，產生誤匹配點的可能性越大，反之，取值越大，可以提高匹配點的正確性，文中將其設定為0.7.通過計算，將S=S1∩S2作為特征匹配點.

2試驗與分析

試驗采用的計算機CPU為AMD Athlon(tm) Ⅱ X2 245，2 GB內存，操作系統為Windows XP.采用Matlab R2012a進行算法的編程和調試.試驗數據為2012年11月6日和2012年8月1日深圳市的兩期PLEIADES影像，包含紅、綠、藍3個波段，分辨率為0.5 m·px-1，各選取600 px×600 px的試驗區(qū)域，分別記為1#影像和2#影像，該區(qū)域內包含了綠色植被、永久性建筑物和臨時性建筑物等類型.

比較SIFT-BM(SIFT+雙向匹配)和NSF-SIFT-BM(非線性尺度空間濾波+SIFT+雙向匹配)兩種配準方法的性能，其效果對比圖，如圖5所示.圖5中：x,y為坐標軸.以1#影像為基準影像，2#影像為待配準影像，利用算法提取的匹配點對2#影像進行仿射變換.為了比較配準前后的效果，利用canny算子分別提取1#影像、2#影像和仿射變換后的2#影像的邊緣，并進行疊加，如圖5(e)所示.由圖5(e)可知：配準前的1#影像(深色)和2#影像(淺色)中同一地物的邊緣在空間位置上偏離較大，說明兩幅影像之間的配準程度低.

應用SIFT-BM進行影像配準，影像之間存在較多的誤配準對，如圖5(a)所示，得到的2#影像仿射變換結果及其邊緣與2#影像的邊緣疊加,如圖5(c)，(f)所示.顯然，SIFT-BM配準算法完全失敗.

應用NSF-SIFT-BM進行影像配準，如圖5(b)所示.由圖5(b)可知：兩幅影像之間共有7對匹配點，且均是正確的同名點(方塊).仿射變換后的2#影像與1#影像的配準程度非常好，如圖5(d)所示.由于兩期影像中拍攝角度和氣候條件等方面存在差異，因此，用canny邊緣檢測算法提取的邊緣相差較大.但對于圖5(g)中兩幅影像保留較為完整的邊緣部分(橢圓包含的區(qū)域)，其邊緣接近完全重合，說明NSF-SIFT-BM處理后的影像配準精度較高.

(a) SIFT-BM (b) NSF-SIFT-BM (c) SIFT-BM仿射變換

(d) NSF-SIFT-BM仿射變換 (e) 配準前兩幅影像的邊緣疊加 (f) SIFT-BM配準后 (g) NSF-SIFT-BM配準后圖5　SIFT-BM和NSF-SIFT-BM配準算法效果對比Fig.5　Registration algorithm effect comparison of SIFT-BM and NSF-SIFT-BM

為了更合理地對比兩種配準算法的配準精度，提出一種基于算法仿射變換矩陣均方誤差(AT-MSE)的方法對其進行評價.AT-MSE可以衡量待配準影像的配準結果相對于基準影像的變化程度，其值越小，說明算法仿射變換矩陣對應的配準模型具有更好的精確度.兩幅相同影像之間的的期望仿射變換矩陣為

定義

式(4)中:Tn，En分別為算法仿射變換矩陣和期望仿射變換矩陣的元素取值.SIFT-BM和NSF-SIFT-BM的算法性能參數對比，如表1所示.表1中：n1為SIFT特征點數；n2為雙向匹配后的特征點數；t為運行時間.

表1　SIFT-BM和NSF-SIFT-BM的性能對比

由于高分辨率遙感影像普遍存在“同物異譜”和“異物同譜”現象，直接采用SIFT算法提取不變特征，會得到大量的錯誤匹配點，嚴重影響配準精度.因此，通過非線性尺度空間濾波預處理去除噪聲的同時，可保留邊緣信息，使提取的SIFT特征點具有數量少、抗仿射變換強等優(yōu)點，減少了匹配的運算量.由表1可知：通過非線性尺度空間濾波進行預處理，兩幅影像的特征點數分別從5 676和5 531減少為359和266；NSF-SIFT-BM算法總體的運行時間比SIFT-BM降低了63.2%；AT-MSE從97.07下降到17.87，表明配準精度有了顯著的提升.由于能夠保證用NSF-SIFT-BM提取的SIFT特征點數遠少于用SIFT-BM提取的SIFT特征點數，因此，如果增大圖像尺寸，算法縮短配準時間的優(yōu)勢依然存在.

3結束語

針對高分辨率遙感影像提出一種基于非線性尺度空間濾波和SIFT的配準方法，并通過雙向匹配篩選特征點提高準確性，為基于點特征的遙感影像配準提供新的思路與實現途徑.試驗結果表明：文中方法具有特征點搜索空間小、參數易確定、算法時間復雜度低等優(yōu)勢，在克服現有基于點特征的遙感影像配準方法普遍存在的自動化程度低、計算量大、抗干擾能力弱等局限性的同時，提高了配準精度.后續(xù)研究將考慮把算法擴展至大幅面高分辨率遙感影像之間的配準.

參考文獻：

[1]BROWNLG.Asurveyofimageregistrationtechniques[J].AcmComputingSurveys,1992,24(4):325-376.

[2]ZITOVAB,FLUSSERJ.Imageregistrationmethods:Asurveyimageviscomput[J].ImageandVisionComputing,2003,21(11):977-1000.

[3]POHLC,VanGENDERENJL.Reviewarticlemultisensorimagefusioninremotesensing:Concepts,methodsandapplications[J].InternationalJournalofRemoteSensing,1998,19(5):823-854.

[4]HOLDENM.Areviewofgeometrictransformationsfornonrigidbodyregistration[J].IEEETransactionsonMedicalImaging,2008,27(1):111-128.

[5]張遷,劉政凱,龐彥偉,等.基于SUSAN算法的航空影像的自動配準[J].測繪學報,2003,32(3):245-250.

[6]羅楠,孫權森,耿蕾蕾,等.一種擴展SURF描述符及其在遙感圖像配準中的應用[J].測繪學報,2013,42(3):383-388.

[7]YANWeidong,SHEHongwei,YUANZhanbin.RobustregistrationofremotesensingimagebasedonSURFandKCCA[J].JournaloftheIndianSocietyofRemoteSensing,2014,42(2):291-299.

[8]TEKEM,TEMIZELA.Multi-spectralsatelliteimageregistrationusingscale-restrictedSURF[C]∥20thInternationalConferenceonPatternRecognition.Istanbul:IEEEPress,2010:2310-2313.

[9]SONGZhili,ZHANGJunping.RemotesensingimageregistrationbasedonretrofittedSURFalgorithmandtrajectoriesgeneratedfromLissajousfigures[J].GeoscienceandRemoteSensingLetters,2010,7(3):491-495.

[10]KIMAL,SONGJH,KANGSL,etal.Matchingandgeometriccorrectionofmulti-resolutionsatelliteSARimagesusingSURFtechnique[J].KoreanJournalofRemoteSensing,2014,30(4)：431-440.

[11]岳春宇,江萬壽.幾何約束和改進SIFT的SAR影像和光學影像自動配準方法[J].測繪學報,2012,41(4):570-576.

[12]YULe,ZHANGDengrong,HOLDENEJ.Afastandfullyautomaticregistrationapproachbasedonpointfeaturesformulti-sourceremote-sensingimages[J].ComputersandGeosciences,2008,34(7):838-848.

[13]ZHENGYi,CAOZhiguo,XIAOYang.Multi-spectralremoteimageregistrationbasedonSIFT[J].ElectronicsLetters,2008,44(2):107-108.

[14]GONCALVESH,CORTE-REALL,GONCALVESJA.AutomaticimageregistrationthroughimagesegmentationandSIFT[J].IEEETransactionsonGeoscienceandRemoteSensing,2011,49(7):2589-2600.

[15]HASANM,JIAX,ROBLES-KELLYA,etal.Multi-spectralremotesensingimageregistrationviaspatialrelationshipanalysisonsiftkeypoints[C]∥GeoscienceandRemoteSensingSymposium.Honolulu:IEEEPress, 2010:1011-1014.

[16]LOWEDG.Objectrecognitionfromlocalscale-invariantfeatures[C]∥TheProceedingsoftheSeventhIEEEInternationalConferenceonComputerVision.Kerkyra:IEEEPress,1999:1150-1157.

[17]LOWEDG.Distinctiveimagefeaturefromscaleinvariantkeypoints[J].InternationalJournalofComputerVision,2004,60(2):91-110.

(責任編輯： 錢筠英文審校： 吳逢鐵)

RemotelySensedImageryRegistrationBasedon

NonlinearScale-SpaceFilteringandSIFT

SHIWenzao1,2,3,4，MAOZhengyuan1,3,4

(1.KeyLabofSpatialDataMiningandInformationSharingofMinistryofEducation,FuzhouUniversity,Fuzhou350002,China;

2.CollegeofPhotonicandElectronicEngineering,FujianNormalUniversity,Fuzhou350108,China;

3.NationalEngineeringResearchCentreofGeospatialInformationTechnology,FuzhouUniversity,Fuzhou350002,China;

4.SpatialInformationEngineeringResearchCentreofFujianProvince,FuzhouUniversity,Fuzhou350002,China)

Abstract：To solve the problems of long executing time and low registration accuracy of the traditional point feature matching algorithm, this article proposed an improved scale-invariant feature transform (SIFT) point feature matching approach based on the nonlinear scale-space filtering. Firstly, the reference image and the to-be-registered one were respectively preprocessed with the nonlinear scale-space filter filtering. Secondly, feature points were extracted from the two images by means of the SIFT algorithm. Then, matched feature points were obtained through a bilateral matching by the ratio of Euclidean distances of the nearest neighbor to that of the next nearest one. Finally, an affine transformation was carried out to the to-be-registered image. Experimental results show that the executing time of the proposed method reduces 63.2% compared with the traditional SIFT point feature matching algorithm, and the registration accuracy is significantly improved.

Keywords：remotely sensed imagery； nonlinear scale-space filtering； scale-invariant feature transform； registration； affine transformation

基金項目：國家自然科學基金資助項目(61275006， 41201427)； “十二五”國家科技支撐計劃項目(2013BAC08B02-01)； 國家重點基礎研究發(fā)展計劃項目(2006CB708306)； 福建省教育廳科研基金資助項目(JB14038)

通信作者：施文灶(1982-)，男，講師，博士研究生,主要從事高空間分辨率遙感影像信息提取的研究.E-mail:swz@fjnu.edu.cn.

收稿日期：2015-09-10

中圖分類號：P 237

文獻標志碼：A

doi:10.11830/ISSN.1000-5013.2016.01.0038

文章編號：1000-5013(2016)01-0038-05