圖像多尺度配準(zhǔn)的小波域SURF算法

衛(wèi)建龍，田錚，2，延偉東，范明

1.西北工業(yè)大學(xué)理學(xué)院，西安 710129

2.中國科學(xué)院遙感應(yīng)用研究所遙感科學(xué)國家重點(diǎn)實(shí)驗(yàn)室，北京 100101

圖像多尺度配準(zhǔn)的小波域SURF算法

衛(wèi)建龍1，田錚1，2，延偉東1，范明1

1.西北工業(yè)大學(xué)理學(xué)院，西安 710129

2.中國科學(xué)院遙感應(yīng)用研究所遙感科學(xué)國家重點(diǎn)實(shí)驗(yàn)室，北京 100101

針對SURF描述子僅利用特征點(diǎn)的局部鄰域信息而對于局部場景發(fā)生變化的圖像容易產(chǎn)生誤匹配的現(xiàn)象，提出了圖像多尺度配準(zhǔn)的小波域SURF算法。該方法對圖像進(jìn)行小波分解，利用低分辨率上得到的變換參數(shù)剔除高分辨率上的錯(cuò)誤匹配，得到精確匹配點(diǎn)對，對圖像進(jìn)行配準(zhǔn)。實(shí)驗(yàn)結(jié)果表明，該方法能有效地剔除誤匹配點(diǎn)，提高圖像配準(zhǔn)的精度。

圖像配準(zhǔn)；加速穩(wěn)健特征（SURF）；小波域；多尺度

1 引言

常用的描述子包括：不變矩描述子[4]、Fourier描述子[5]、線特征描述子[6]、SIFT描述子[7]、PCA-SIFT描述子[8]、GLOH描述子[9]、ICA-SIFT描述子[10]、SURF描述子[11]等。其中Lowe提出的SIFT局部特征描述子對于圖像的平移、尺度、旋轉(zhuǎn)及一定的視角變化都具有良好的不變性，因此被廣泛應(yīng)用于圖像配準(zhǔn)領(lǐng)域。但是SIFT算法明顯的缺點(diǎn)是計(jì)算量大，時(shí)間復(fù)雜度很高，導(dǎo)致對SIFT特征提取和匹配所消耗的時(shí)間很長。因此Bay等人基于SIFT提出了SURF描述子，SURF與SIFT描述子類似，也具有對尺度和旋轉(zhuǎn)的穩(wěn)健性，并且在大大降低時(shí)間復(fù)雜度的基礎(chǔ)上也能保證特征點(diǎn)的提取質(zhì)量。Luo Juan等人用實(shí)驗(yàn)證明了由于SURF算法采用了積分圖像、DoH近似及降低特征描述向量的維數(shù)使得SURF算法與SIFT相比在速度上有明顯優(yōu)勢[12]，但是其匹配正確率卻并不高，存在誤匹配。

圖像多尺度配準(zhǔn)的特點(diǎn)是在圖像的不同尺度上提取特征并建立特征間的對應(yīng)關(guān)系。而小波變換良好的時(shí)頻分析特性，使得小波域多尺度方法得到了較廣泛的應(yīng)用。Gang Hong介紹了一種基于小波的高分辨率遙感圖像的配準(zhǔn)方法[13]。在特征點(diǎn)檢測階段，利用小波的多分辨率的性質(zhì)由細(xì)到粗產(chǎn)生金字塔圖像來表示參考圖像和待配準(zhǔn)圖像，通過尋找小波系數(shù)能量的局部最大值可以得到很多顯著的特征點(diǎn)；在特征點(diǎn)匹配階段，首先利用規(guī)范化的互相關(guān)方法初始化特征點(diǎn)之間的匹配關(guān)系，然后利用概率松弛方法剔除誤匹配。

由于大多數(shù)的基于小波多尺度的圖像配準(zhǔn)方法都沒有綜合利用不同尺度上得到的變換參數(shù)，因此本文基于SURF描述子研究了圖像多尺度配準(zhǔn)的小波域SURF算法，綜合利用了不同尺度上的特征匹配信息，以減少誤匹配對數(shù)，提高正確匹配率。通過在光學(xué)遙感圖像及SAR圖像上的應(yīng)用，驗(yàn)證了本文方法在剔除誤匹配方面的有效性和可行性。

2 SURF算法

2008年Bay等人提出了SURF描述子，SURF算法整體流程與SIFT類似，但在每個(gè)步驟中采用了與SIFT不同的方法。SURF算法主要包含下面四個(gè)步驟：

（1）特征檢測：特征檢測方法也是基于尺度空間理論。Bay等人將Hessian矩陣中Gauss二階微分與圖像的卷積轉(zhuǎn)化為盒子濾波運(yùn)算，并用積分圖像來加速卷積以提高計(jì)算速度，用Hessian矩陣求出極值后，在3×3×3的立體鄰域內(nèi)進(jìn)行3D非最大值抑制，找到候選特征點(diǎn)，然后在尺度空間和位置空間進(jìn)行插值運(yùn)算，得到穩(wěn)定的特征點(diǎn)位置及其尺度值。

（2）主方向確定：為了得到主方向值，Bay設(shè)計(jì)了一個(gè)以特征點(diǎn)為中心，張角為π/3的扇形滑動(dòng)窗口，以步長0.2 rad左右，旋轉(zhuǎn)滑動(dòng)窗口，并對滑動(dòng)窗口內(nèi)圖像Haar小波響應(yīng)值dx、dy進(jìn)行累加，主方向?yàn)樽畲驢aar響應(yīng)累加值所對應(yīng)的方向，對得到的特征點(diǎn)逐個(gè)進(jìn)行計(jì)算，可得每一個(gè)特征點(diǎn)的主方向。

（3）特征描述向量的生成：以特征點(diǎn)為中心，沿主方向?qū)?0 s×20 s的圖像劃分為4×4個(gè)子塊。利用尺寸為2 s的Haar小波對每個(gè)子窗口圖像進(jìn)行響應(yīng)值計(jì)算，分別得到沿主方向的響應(yīng)值dy和垂直于主方向的響應(yīng)值dx。然后以特征點(diǎn)為中心，對dy和dx進(jìn)行Gauss加權(quán)計(jì)算，其中σ=3.3 s。最后分別對每個(gè)子塊的響應(yīng)值進(jìn)行統(tǒng)計(jì)，得到每個(gè)子塊的向量：

事實(shí)上，作者對自身事跡的書寫，首先是對人們堅(jiān)持追求幸福的有力呼吁，其次也是對時(shí)代變化的反映。易卜生的“娜拉”后，是因?yàn)榍f萬個(gè)“娜拉”在中國出現(xiàn)，這才推翻了媒妁之言父母之命；同樣的，也是因?yàn)榍f萬個(gè)像“我”一般大膽追求幸福的新女性之存在，這才推動(dòng)近代婚戀觀念徹底向現(xiàn)代化方向蛻變?？梢詳嘌?，張雅文女士所要寫的，不僅僅是某一個(gè)體幸福，更是時(shí)代的幸福。

由于共有4×4個(gè)子塊，SURF特征描述子共由4×4× 4=64維特征向量組成，再對向量進(jìn)行歸一化，從而使其對光照也具有一定的穩(wěn)健性。

（4）特征匹配：從兩幅圖像中檢測出特征點(diǎn)并得到64維的SURF描述子后，此時(shí)采用最近距離與次近距離之比作為特征點(diǎn)間的相似性度量，設(shè)定閾值，小于這個(gè)閾值的被認(rèn)為是匹配點(diǎn)對。當(dāng)然可以通過降低閾值的方式來增加SURF特征匹配的穩(wěn)定性，但應(yīng)注意，若閾值很小，那么匹配對數(shù)會很少，影響配準(zhǔn)效果。

對于局部場景發(fā)生變化的圖像，如地震前后或者包含噪聲的圖像，SURF算法在進(jìn)行特征匹配時(shí)，也會產(chǎn)生誤匹配，為了提高正確匹配率，本文提出了圖像多尺度配準(zhǔn)的小波域SURF算法。

3 圖像多尺度配準(zhǔn)的小波域SURF算法

在對SURF特征進(jìn)行匹配時(shí)通過調(diào)節(jié)閾值參數(shù)可以獲得大量的匹配點(diǎn)對，但是由于SURF本身就是一種特征描述子，它僅利用了特征點(diǎn)的局部信息，忽略了全局信息，對于具有特殊成像機(jī)理的圖像而言（例如SAR圖像），由于受到斑點(diǎn)噪聲和局部場景變化的影響，會產(chǎn)生一定數(shù)目的誤匹配，針對這個(gè)問題，本文研究了圖像多尺度配準(zhǔn)的小波域SURF算法。小波變換可將圖像逐層分解為低頻和高頻部分，低頻部分包含圖像的整體結(jié)構(gòu)信息，高頻部分包含圖像的局部細(xì)節(jié)信息。經(jīng)過小波變換后的低分辨率圖像受圖像局部細(xì)節(jié)影響大大降低，這也使得在該尺度上提取的SURF特征更加穩(wěn)健。利用在低分辨率下獲得的變換參數(shù)作為初始變換參數(shù)，然后利用這些初始值指導(dǎo)高分辨率下的特征匹配，剔除其中明顯的誤匹配，通過設(shè)定閾值即可獲得相對精確的匹配對。圖像多尺度配準(zhǔn)的小波域SURF算法步驟如下所示。

圖像多尺度配準(zhǔn)的小波域SURF算法：

步驟1對參考圖像和待配準(zhǔn)圖像進(jìn)行N層小波分解。

步驟2對參考圖像和待配準(zhǔn)圖像的第i=N層低頻子圖像分別提取SURF特征，并進(jìn)行特征匹配，得到該尺度下的匹配對，估計(jì)初始變換參數(shù)。

步驟3對第i=N-1層低頻子圖像提取SURF特征，然后進(jìn)行特征匹配，并利用上層得到的初始變換參數(shù)剔除誤匹配，并更新變換參數(shù)。

步驟4重復(fù)步驟3，直至參考圖像和待配準(zhǔn)圖像，剔除誤匹配，并估計(jì)變換參數(shù)。

步驟5得到最終的變換參數(shù)后，利用雙線性插值法將待配準(zhǔn)圖像重采樣至參考圖像的坐標(biāo)系下即可得到配準(zhǔn)結(jié)果。

在上述步驟中，需要注意在步驟2中對第i=N層低頻子圖像提取SURF并匹配時(shí)，鑒于其中也有可能存在誤匹配，而且它是最底層的，無法利用上層的變換參數(shù)，此時(shí)可以利用最小二乘法剔除與變換參數(shù)距離最大的匹配對，直到所有的匹配對與變換參數(shù)的差異小于某個(gè)特定的像素閾值為止。在步驟3中剔除誤匹配是通過剔除與上層的變換參數(shù)距離大于某個(gè)閾值的匹配對來完成的。經(jīng)過上述步驟，就能得到比原始SURF方法更高的正確匹配率，降低誤匹配對對變換參數(shù)的影響。

4 實(shí)驗(yàn)結(jié)果及分析

本文中所有實(shí)驗(yàn)均由MATLAB7.0實(shí)現(xiàn)，運(yùn)行計(jì)算機(jī)的處理器為Intel CoreTMi5-2400 CPU@3.1 GHz，內(nèi)存2.99 GB。為了驗(yàn)證本文方法在剔除誤匹配方面的有效性，下面分別針對光學(xué)遙感圖像和SAR圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn)。實(shí)驗(yàn)首先采用SURF匹配算法對參考圖像和待配準(zhǔn)圖像進(jìn)行特征匹配，可以得到原始圖像最初的匹配對，然后利用本文提出的多尺度配準(zhǔn)的小波域SURF算法，利用上層得到的變換參數(shù)，逐層剔除誤匹配，直至最后參考圖像和待配準(zhǔn)圖像的配準(zhǔn)。

圖1 SURF算法初始匹配對，距離比為0.75

（1）光學(xué)遙感圖像的配準(zhǔn)

圖1（a）（b）所示為兩幅Landsat TM圖像，大小均為600×600；對于SURF算法，當(dāng)距離比為0.55時(shí)在兩幅圖中僅可以找出6個(gè)匹配對，隨著參數(shù)的增大會出現(xiàn)更多的匹配，但其中明顯的誤匹配數(shù)目也隨之增加，如圖1（c）所示，無法進(jìn)行有效的參數(shù)估計(jì)；應(yīng)用本文方法對參考圖像和待配準(zhǔn)圖像進(jìn)行N=2層小波分解，提取SURF特征，并利用最小二乘法剔除錯(cuò)誤匹配，可以得到8個(gè)精確的初始匹配對，如圖2（a）所示，計(jì)算初始的變換參數(shù)，并利用這個(gè)初始的變換參數(shù)剔除第一層小波分解上的誤匹配，得到50個(gè)精確的匹配對，如圖2（b）所示，計(jì)算變換參數(shù)，利用這個(gè)變換參數(shù)剔除第零層小波分解圖像上的誤匹配，可得到最終的46個(gè)精確的匹配對，如圖2（c）所示，利用這46個(gè)匹配對估計(jì)參考圖像和待配準(zhǔn)圖像間的變換參數(shù)，對圖像進(jìn)行重采樣并得到最終的配準(zhǔn)結(jié)果，如圖2（d）所示。圖3所示為另外兩幅Landsat TM圖像的配準(zhǔn)結(jié)果，初始匹配對為164對，存在錯(cuò)誤匹配，利用本文方法逐層剔除誤匹配，得到最終的28個(gè)精確匹配對，如圖3（c）所示。對于光學(xué)遙感圖像，在剔除誤匹配時(shí)本文中設(shè)定像素閾值為4，因?yàn)橄袼亻撝堤〉脑捵罱K得到的正確匹配點(diǎn)對個(gè)數(shù)非常少，會影響配準(zhǔn)精度。

圖2 本文算法得到的配準(zhǔn)結(jié)果（光學(xué)遙感影像1）

圖3 本文算法得到的配準(zhǔn)結(jié)果（光學(xué)遙感影像2）

圖4 本文算法得到的配準(zhǔn)結(jié)果（唐家山堰塞湖SAR影像）

圖5 本文算法得到的配準(zhǔn)結(jié)果（白水河水庫SAR影像）

表1 結(jié)果比較1（正確匹配對與錯(cuò)誤匹配對個(gè)數(shù)）

表2 結(jié)果比較2（配準(zhǔn)誤差與運(yùn)行時(shí)間1））

（2）SAR圖像的配準(zhǔn)

2008年5月我國四川汶川地區(qū)發(fā)生了大地震，本文使用汶川地震前后唐家山堰塞湖及其周邊地區(qū)的圖像，對兩幅圖像進(jìn)行配準(zhǔn)得到432個(gè)初始匹配對，存在錯(cuò)誤匹配，利用本文方法逐層剔除誤匹配，得到最終的51個(gè)精確匹配對。圖4為本文方法所得到的結(jié)果。圖5為對綿陽市白水河水庫震前和震后的圖像利用本文方法得到的配準(zhǔn)結(jié)果。對于SAR圖像，其本身提取的SURF特征點(diǎn)數(shù)較多，因此在剔除誤匹配時(shí)可將像素閾值設(shè)定相對較小，本文中設(shè)為1.5。

對于上面的光學(xué)遙感圖像和SAR圖像，將本文方法與原始的SURF方法及小波域SIFT方法[14-15]進(jìn)行了比較，對比結(jié)果如表1和表2所示。

由表1和表2的結(jié)果可以看出，無論是對于光學(xué)遙感圖像還是SAR圖像，小波域SURF算法都能較好地剔除原始SURF算法中的錯(cuò)誤匹配，提高了配準(zhǔn)精度；運(yùn)行時(shí)間比原始SURF算法長是因?yàn)楸疚乃惴▽D像進(jìn)行了小波分解，對于各層不同分辨率的分解圖像都要進(jìn)行SURF特征提取，并不是只對原始圖像進(jìn)行特征提取。

本文算法與小波域SIFT算法相比，配準(zhǔn)精度要優(yōu)于小波域SIFT算法，并且對于兩幅SAR圖像而言，RMSE均小于一個(gè)像素，說明本文方法在應(yīng)用于SAR圖像配準(zhǔn)時(shí)也較為有效。在運(yùn)行時(shí)間上，對于特征點(diǎn)數(shù)較少的光學(xué)遙感圖像而言二者的運(yùn)行時(shí)間相差不大，但是對于SAR圖像而言，由于其提取的特征點(diǎn)數(shù)較多，本文算法的效率明顯高于小波域SIFT算法。

5 結(jié)論

由于SURF描述子僅利用了特征點(diǎn)的局部鄰域信息，對于局部場景發(fā)生變化的圖像容易產(chǎn)生誤匹配，進(jìn)而影響變換參數(shù)的估計(jì)及最終的配準(zhǔn)精度。針對這個(gè)問題，本文研究了圖像多尺度配準(zhǔn)的小波域SURF算法，先對圖像進(jìn)行小波分解，然后利用低分辨率圖像上得到的變換參數(shù)剔除高分辨率圖像上的錯(cuò)誤匹配，得到相對精確的匹配點(diǎn)對，提高了正確匹配率。通過在真實(shí)圖像上的實(shí)驗(yàn)結(jié)果分析，驗(yàn)證了本文方法的有效性和可行性。

[1]Brown L G.A survey of image registration techniques[J]. ACM Computing Surveys，1992，24（4）：326-376.

[2]延偉東.SAR圖像配準(zhǔn)的幾類結(jié)構(gòu)模式匹配方法研究[D].西安：西北工業(yè)大學(xué)，2012.

[3]劉向增.SAR圖像配準(zhǔn)的幾類穩(wěn)健局部特征描述子研究[D].西安：西北工業(yè)大學(xué)，2011.

[4]Wang S，Xiao J，Jiao L，et al.Fast and accurate automatic SAR image registration using seven invariant moments and improved chain coding of region boundaries[C]//Proceedings of SPIE MIPPR 2007：Multispectral Image Processing，2007.

[5]Castro E D，Morandi C.Registration of translated and rotated images using finite fourier transforms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1987，9（5）：700-703.

[6]Wang Z，Wu F，Hu Z.MSLD：a robust descriptor for line matching[J].Pattern Recognition，2009，42（5）：941-953.

[7]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[8]Ke Y，Sukthankar R.PCA-SIFT：a more distinctive representation for local image descriptors[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2004：506-513.

[9]Mikolajczyk K，Schmid C.A performance evaluation of local descriptors[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（10）：1615-1630.

[10]Duan C，Meng X，Tu C.How to make local image featuresmoreefficient anddistinctive[J].IET Computer Vision，2008，2（3）：178-189.

[11]Bay H，Ess A，Tuytelaars T，et al.Speeded-Up Robust Features（SURF）[J].Computer Vision and Image Understanding，2008，110（3）：346-359.

[12]Juan L，Gwun O.A comparison of SIFT，PCA-SIFT and SURF[J].International Journal of Image Processing，2009，3（4）：143-152.

[13]Hong Gang，Zhang Yun.Wavelet-based image registration technique for high-resolution remote sensing images[J]. Computers&Geosciences，2008，34：1708-1720.

[14]武建明，田錚，劉向增.圖像多尺度配準(zhǔn)的小波域SIFT方法[J].西北工業(yè)大學(xué)學(xué)報(bào)，2011，29（1）：17-21.

[15]武建明.SAR圖像多尺度配準(zhǔn)的兩類變換域SIFT方法[D].西安：西北工業(yè)大學(xué)，2011.

WEI Jianlong1,TIAN Zheng1，2,YAN Weidong1,FAN Ming1

1.School of Science,Northwestern Polytechnical University,Xi’an 710129,China
2.State Key Laboratory of Remote Sensing Science,Institute of Remote Sensing Applications,Chinese Academy of Sciences, Beijing 100101,China

A method to correct Speed-Up Robust Features（SURF）mismatching combining wavelet transform with SURF is proposed to solve the mismatching in the registration of the images broken in the locate structure.This paper applies wavelet decomposition to the images.It utilizes the transformation parameters derived from images of lower resolution,and a number of mismatching points of higher resolution are eliminated.Then images are registrated using the exact matching points.The experimental results on optical-remote sensing images and SAR images show that the proposed algorithm can eliminate the mismatching points effectively and enhance the registration accuracy.

image registration;Speed-Up Robust Features（SURF）;wavelet domain;multiscale

A

TP391

10.3778/j.issn.1002-8331.1211-0273

WEI Jianlong,TIAN Zheng,YAN Weidong,et al.Image multiscale registration in wavelet domain using SURF. Computer Engineering and Applications,2014,50（21）：200-204.

國家自然科學(xué)基金（No.60972150，No.61201323）；西北工業(yè)大學(xué)基礎(chǔ)研究基金（No.JC20110277）。

衛(wèi)建龍（1987—），男，在讀碩士，主要研究方向：圖像處理與模式識別；田錚（1946—），女，教授，主要研究方向：遙感圖像處理與模式識別，譜圖理論，非線性時(shí)間序列的理論與方法，多尺度隨機(jī)模型等；延偉東（1979—），男，博士，講師，主要研究方向：遙感圖像處理。E-mail：841217489@qq.com

2012-11-23

2013-01-10

1002-8331（2014）21-0200-05

CNKI出版日期：2013-03-13，http://www.cnki.net/kcms/detail/11.2127.TP.20130313.0946.008.html