基于SURF算法的多波束和側(cè)掃聲納圖像配準(zhǔn)與融合

侯　雪，周興華，唐秋華，王愛學(xué)

（1.山東科技大學(xué)，山東　青島　266590；2.國家海洋局第一海洋研究所，山東　青島　266061；3.武漢大學(xué)，湖北　武漢　430079）

?

基于SURF算法的多波束和側(cè)掃聲納圖像配準(zhǔn)與融合

侯雪1，2，周興華2，唐秋華2，王愛學(xué)3

（1.山東科技大學(xué)，山東青島266590；2.國家海洋局第一海洋研究所，山東青島266061；3.武漢大學(xué)，湖北武漢430079）

摘要：利用SURF（Speeded-up Robust Features）算法對多波束和側(cè)掃聲吶圖像配準(zhǔn)時(shí)，因?yàn)閳D像分辨率差異大而導(dǎo)致配準(zhǔn)困難，通過對低分辨率的圖像進(jìn)行升采樣，使圖像配準(zhǔn)達(dá)到了較好的效果；另外，對SURF算法中粗匹配的距離測度函數(shù)進(jìn)行改進(jìn)，提高了SURF算法的配準(zhǔn)速度；然后利用RANSAC算法實(shí)現(xiàn)了多波束與側(cè)掃聲納圖像的精準(zhǔn)配準(zhǔn)；最后對配準(zhǔn)后的圖像進(jìn)行小波變換融合，利用信息熵和平均梯度對圖像融合效果進(jìn)行了評價(jià)，并通過實(shí)例數(shù)據(jù)驗(yàn)證了該算法的有效性。

關(guān)鍵詞：多波束圖像；側(cè)掃聲納圖像；高低分辨率匹配；融合；SURF算法；RANSAC算法；曼哈頓距離

多波束測深系統(tǒng)（Multi-beam Echo Sounder，MBES）不但能夠獲取高精度水深地形數(shù)據(jù)，同時(shí)能夠獲取海床地貌圖像信息，其圖像位置精度較高，但分辨率較低；側(cè)掃聲吶（Side Scan Sonar，SSS）主要采用拖拽方式獲取高分辨率地貌圖像，但位置精度較差。對二者的圖像進(jìn)行融合，可對海底進(jìn)行準(zhǔn)確的定性、定量分析和全面解釋（趙建虎等，2008）。國內(nèi)外學(xué)者在多波束圖像和側(cè)掃聲納圖像匹配和融合方面的研究相對較少。在國外，Bas等（1997）使用cham fer配準(zhǔn)方法配準(zhǔn)MBES合成影像和SSS影像，Daniel等（1998）利用成對的目標(biāo)和陰影進(jìn)行SSS圖像的匹配，但僅適用于同源的、未經(jīng)斜距改正的聲納圖像。在國內(nèi)，陽凡林等（2006）提出了基于等深線和輪廓線的同名特征點(diǎn)配準(zhǔn)法，但需采用具有測深功能的新型SSS；郭軍（2013）將SURF（Speeded Up Robust Features）算法與RANSAC（Random Sample Consensus）算法結(jié)合，對多波束和側(cè)掃聲納區(qū)塊圖像進(jìn)行配準(zhǔn)和融合研究。趙建虎等（2013）利用SURF算法實(shí)現(xiàn)了多波束和側(cè)掃聲吶區(qū)塊圖像的配準(zhǔn)和融合，但其對多波束和側(cè)掃聲吶圖像分辨率相差較大而會導(dǎo)致配準(zhǔn)效果較差的問題并未涉及。

針對多波束和側(cè)掃聲吶圖像進(jìn)行配準(zhǔn)時(shí)，圖像分辨率相差較大，而導(dǎo)致的出現(xiàn)較多的誤匹配點(diǎn)（曾朝陽等，2014），甚至配準(zhǔn)失敗的問題，本文采用雙線性插值對多波束圖像進(jìn)行升采樣預(yù)處理，使兩幅圖像的分辨率基本保持一致，再對多波束圖像和側(cè)掃聲吶圖像進(jìn)行匹配，減少了特征點(diǎn)的誤匹配率。

對傳統(tǒng)距離測度進(jìn)行了改進(jìn)，用曼哈頓距離來代替歐式距離，在保證了配準(zhǔn)精度的情況下，提高了SURF算法的運(yùn)行速度。

1圖像配準(zhǔn)

基于SURF算法的圖像配準(zhǔn)流程如圖1所示：

圖1　算法流程圖

1.1圖像預(yù)處理

由于多波束測深系統(tǒng)的換能器到海底的距離遠(yuǎn)大于側(cè)掃聲吶的換能器到海底的距離，因此側(cè)掃聲吶圖像的分辨率明顯高于多波束圖像的分辨率。而SURF算法在圖像特征提取和配準(zhǔn)時(shí)，僅考慮了特征點(diǎn)的局部信息，忽略了圖像的幾何結(jié)構(gòu)，因而對分辨率相差較大的圖像進(jìn)行配準(zhǔn)時(shí)，會出現(xiàn)較多的誤匹配。通過實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)使多波束圖像和側(cè)掃聲吶圖像的分辨率接近時(shí)，配準(zhǔn)效果將得到明顯的改善。因此，本文在圖像配準(zhǔn)前，對多波束圖像進(jìn)行預(yù)處理，通過插值方法對多波束圖像進(jìn)行升采樣。常用的插值方法有最近鄰插值，雙線性插值和雙三次插值。其中最近鄰插值是最簡單的一種插值方法，計(jì)算效率高，但效果比較差；雙線性插值效率和效果均適中；而雙三次插值雖然效果精確，但耗時(shí)較長。本文選擇精度和速度適中的雙線性插值。假設(shè)p＇為待插值的非格網(wǎng)點(diǎn)，非格網(wǎng)點(diǎn)的灰度值可以用其周圍的四個(gè)點(diǎn)的灰度值線性內(nèi)插得到，假設(shè)（0，0）、（1，0）、（0，1）、（1，1）是p＇的4個(gè)相鄰點(diǎn)，p＇的輸出值計(jì)算公式如式1：

具體插值過程如圖2所示：

圖2　雙線性插值

1.2特征點(diǎn)檢測

由于SURF圖像匹配算法最大的優(yōu)點(diǎn)是在圖像旋轉(zhuǎn)、尺度變換、仿射變換和視角變換等條件下具有良好的不變性（Bayetal，2006），因此采用SURF算法進(jìn)行聲納圖像特征點(diǎn)檢測。該算法由特征點(diǎn)檢測、特征點(diǎn)描述兩部分組成。首先將圖像轉(zhuǎn)化為積分圖像，依次用不同尺度的模板對積分圖像做卷積，把這些響應(yīng)記錄下來，就得到了由對應(yīng)不同尺度σ的響應(yīng)圖，從而構(gòu)成了3維尺度空間（x，y，σ）。在3維尺度空間中，在每個(gè)3×3×3的局部區(qū)域里，進(jìn)行非最大值抑制，只有比臨近的26個(gè)點(diǎn)的響應(yīng)值都大的點(diǎn)才被選為興趣點(diǎn)。至此，得到特征點(diǎn)的位置和尺度信息（x，y，σ）。后一階段為獲得定位的特征點(diǎn)分配方向，并使用特征矢量來描述特征點(diǎn)。

1.3圖像匹配

圖像匹配算法包括包括粗匹配和精匹配，其實(shí)質(zhì)是估計(jì)待匹配點(diǎn)和目標(biāo)匹配點(diǎn)之間的相似性程度。

（1）粗匹配算法是利用最近鄰比次近的方法獲取粗匹配點(diǎn)對。選取匹配興趣點(diǎn)的依據(jù)就是SURF算法為每個(gè)興趣點(diǎn)所構(gòu)建的描述子向量。假設(shè)PA是圖像A中任意一個(gè)特征點(diǎn)，PB是圖像B中任意一個(gè)特征點(diǎn)，它們的描述子向量分別為DescrA、DescrB，DescrAi、DescrBi分別是它們第個(gè)分量，則PA和PB之間的距離定義為：

按照公式（2），把A圖中某點(diǎn)PA與B圖中的所有點(diǎn)之間的距離計(jì)算一遍。假設(shè)ND表示最近距離，NND表示次近距離，則最近鄰比次近鄰之比Rod=ND/NND。設(shè)定一個(gè)閾值threshold，該閾值一定是一個(gè)小于1的正數(shù)。根據(jù)試驗(yàn)結(jié)果，threshold∈[0.6，0.8]是個(gè)比較理想的范圍。

本文對距離測度函數(shù)進(jìn)行了研究，設(shè)向量X = （x1，x1…，xN）和Y =（y1，y1…，yN）的距離為d（X，Y）。歐氏距離公式為，計(jì)算復(fù)雜度為O（N2）；曼哈頓距離公式為計(jì)算復(fù)雜度為O（N log2N2）。通過比較發(fā)現(xiàn)，曼哈頓距離測度的復(fù)雜度小于歐式距離測度（張宇等，2009）。因此本文嘗試將粗匹配中的距離測度函數(shù)用曼哈頓距離代替，通過實(shí)驗(yàn)證明，改進(jìn)的匹配方法在保證了配準(zhǔn)精度的前提下，提高了配準(zhǔn)速度。

（2）精匹配求解高精度的變換參數(shù)必須具備的一個(gè)重要前提是沒有誤配，如果讓誤配點(diǎn)對參與變換參數(shù)的求解會嚴(yán)重的影響參數(shù)精度，即使只有一個(gè)錯誤匹配點(diǎn)對。因此，需要在粗配準(zhǔn)的結(jié)果中剔除誤配準(zhǔn)點(diǎn)對。本文采用基于仿射變換矩陣的RANSAC算法進(jìn)行圖像精匹配。

利用RANSAC算法求得的變換矩陣精度與坐標(biāo)系有關(guān)，當(dāng)圖像存在噪聲時(shí)，估計(jì)結(jié)果的精度會受到較為嚴(yán)重的影響。對待配準(zhǔn)圖像的坐標(biāo)系進(jìn)行歸一化可以顯著改善估計(jì)的精度（Hartley et al， 1992），采用了這種歸一化的坐標(biāo)系，有效的改善了圖像噪聲的影響。

在剔除誤匹配后，根據(jù)最大匹配點(diǎn)對利用最小二乘準(zhǔn)則來計(jì)算圖像的空間變換模型。本文分別采用仿射變換和二次多項(xiàng)式這兩種空間變換模型，來對比配準(zhǔn)效果。二次多項(xiàng)式配準(zhǔn)模型按式（4）將像素點(diǎn)（x，y）映射為像素點(diǎn)（u，v）：

式中，ai（i=0，1，…，5），bi（i=0，1，…，5）為變換參數(shù)。由式（4）可以看出，計(jì)算二次多項(xiàng)式模型需要的最小點(diǎn)對為6對；仿射變換模型按式（5）將像素點(diǎn)（x，y）映射為（x＇，y＇），由式（5）可以看出，計(jì)算仿射變換模型需要的最小點(diǎn)對為4對。

式中，a1，a2，tx，ty為變換參數(shù)。

2多波束和側(cè)掃聲納圖像融合

圖像配準(zhǔn)后，在幾何位置上實(shí)現(xiàn)了對齊，此時(shí)，需要將兩幅圖像融合成一幅圖像。即是利用特定的算法，將兩幅圖像在同一位置的信息有機(jī)的融合在一起。新圖像能夠更加全面的反映地形地貌的信息，實(shí)現(xiàn)兩幅圖像信息的優(yōu)勢互補(bǔ)，減少觀測目標(biāo)存在歧義的可能性、降低誤差率和改善信息不完全的現(xiàn)象。

小波變換融合可以將圖像分解到不同的頻率域，在不同的頻率域運(yùn)用不同的融合規(guī)則，得到合成圖像的多分辨率分析，從而在合成圖像中保留原圖像在不同頻率域的顯著特征。因此，本文采用小波變換融合方法進(jìn)行圖像融合。

小波變換法圖像融合的具體步驟如下：

（1）分解：將每幅圖像在不同頻率和分辨率上進(jìn)行分解，得到不同的小波系數(shù)，即建立源圖像的小波金字塔。

（2）融合：采用不同的融合算子和融合方案對各分解層上不同頻率的分量進(jìn)行融合處理。

（3）逆變換：對融合后系數(shù)進(jìn)行小波逆變換，所獲得的重構(gòu)圖像即為融合圖像。

在進(jìn)行實(shí)際的操作過程中，應(yīng)當(dāng)選取一個(gè)合理的分層取值。實(shí)驗(yàn)結(jié)果表明，小波分解層數(shù)等于3 或4的時(shí)候，效果較好（趙小川，2011）。

3實(shí)驗(yàn)與分析

本文進(jìn)行兩組實(shí)驗(yàn)，第一組實(shí)驗(yàn)所用的圖像如圖3所示，兩幅圖像大小均為422×181，圖3（a）為某區(qū)域的多波束圖像，圖3（b）是對圖3（a）進(jìn)行平移和旋轉(zhuǎn)得到，其中，x軸平移5個(gè)像素，y軸平移8個(gè)像素，順時(shí)針旋轉(zhuǎn)4°。分別利用SURF算法和本文改進(jìn)的算法來對圖3（a）和圖3（b）進(jìn)行配準(zhǔn)實(shí)驗(yàn)，對兩種配準(zhǔn)算法的精度進(jìn)行驗(yàn)證。

圖3　多波束圖像

圖4（a）和圖4（b）分別為利用SURF算法和本文改進(jìn)的算法對圖3（a）和圖3（b）進(jìn)行配準(zhǔn)的效果圖：

從圖中可以看出，兩種方法均可較好的實(shí)現(xiàn)兩幅圖像之間的配準(zhǔn)。

表1是分別利用SURF算法和本文改進(jìn)的算法求得的兩幅圖像之間的變換參數(shù)：

從表1中可以看出，兩種方法求得的變換參數(shù)與實(shí)際的變換參數(shù)差值均在亞像素范圍內(nèi)，所以，本文用曼哈頓距離來代替歐式距離后，算法的配準(zhǔn)精度保持亞像素級，不會發(fā)生精度下降。

第二組實(shí)驗(yàn)所用圖像是從美國加利福尼亞大學(xué)海底測繪實(shí)驗(yàn)室下載，該數(shù)據(jù)為2002年在美國西海岸的某海域測得。截取其中特征相對較明顯的，來自同一區(qū)域的區(qū)塊多波束圖像和側(cè)掃聲納圖像（圖5）。圖5（a）為多波束圖像，圖像像素為140×162；圖5（b）是對圖5（a）進(jìn)行升采樣預(yù)處理得到的多波束圖像，圖像像素為180×208；圖5 （c）為側(cè)掃聲吶圖像，圖像像素為185×215，經(jīng)過升采樣處理后的多波束圖像的分辨率與側(cè)掃聲吶圖像的分辨率基本保持一致。以位置信息較精確的多波束圖像作為參考圖像，以側(cè)掃聲納圖像作為待匹配圖像，對兩幅圖像進(jìn)行配準(zhǔn)。

圖4　配準(zhǔn)效果圖

表1　不同配準(zhǔn)方法對應(yīng)的變換參數(shù)值

圖5　多波束聲納圖像和側(cè)掃聲納圖像

利用SURF算法檢測圖像的特征點(diǎn)，并利用最近鄰比次近鄰的方法進(jìn)行特征點(diǎn)的粗匹配，配準(zhǔn)結(jié)果如圖6。從圖6可以看出，原始的多波束圖像和側(cè)掃聲吶圖像的配準(zhǔn)效果較差，存在著嚴(yán)重的誤匹配；對多波束圖像進(jìn)行升采樣，使其尺度接近側(cè)掃聲吶圖像時(shí)，粗配準(zhǔn)點(diǎn)對為18個(gè)，且誤配準(zhǔn)點(diǎn)對較少，可見通過對低分辨率的圖像進(jìn)行升采樣處理可以較好的實(shí)現(xiàn)高低分辨率圖像的配準(zhǔn)。

圖6　粗匹配圖

本文對改進(jìn)的粗配準(zhǔn)算法和原始的粗配準(zhǔn)算法進(jìn)行了比較，完成配準(zhǔn)的時(shí)間如表2所示。通過表2可以看出，采用曼哈頓距離作為相似性測度函數(shù)，可以提高配準(zhǔn)算法的運(yùn)行速度。

表2　基于不同距離測度函數(shù)的圖像配準(zhǔn)時(shí)間

采用基于仿射變換約束模型的RANSAC算法剔除誤匹配點(diǎn)對，結(jié)果如圖7所示，精配準(zhǔn)點(diǎn)對為13個(gè)。RANSAC算法能夠完全剔除誤匹配點(diǎn)對，并且能夠盡量多的保留正確匹配的點(diǎn)對。

圖7　精匹配圖

圖8（a）和圖8（b）是根據(jù)精確匹配點(diǎn)對，利用二次多項(xiàng)式變換模型和仿射變換模型，得到的側(cè)掃聲納配準(zhǔn)圖；利用小波變換法對配準(zhǔn)好的多波束圖像和側(cè)掃聲吶圖像進(jìn)行融合，圖9（1）和9 （b）是得到的融合圖。從圖中可以看出，兩圖均實(shí)現(xiàn)了較好的配準(zhǔn)；利用小波變換融合后效果較好。

圖8　側(cè)掃聲吶配準(zhǔn)圖

利用平均梯度和信息熵來定量的評價(jià)圖像的質(zhì)量。平均梯度反映的是圖像中微小細(xì)節(jié)反差和紋理變化的特征，表達(dá)圖像的清晰度，平均梯度越大，圖像越清晰；信息熵是圖像信息量的一個(gè)指標(biāo)，信息熵越大，圖像包含的信息量也就越大。對原始圖像和融合圖像計(jì)算其平均梯度和信息熵。統(tǒng)計(jì)結(jié)果如表3所示。從表中可以看出，兩種方法融合后的圖像信息熵和平均梯度均優(yōu)于MBES圖像和SSS圖像，表明融合后的圖像信息量和清晰度都得到了改善和提高。

圖9　融合圖像

4結(jié)語

本文通過對低分辨率的圖像進(jìn)行升采樣改善了SURF算法在分辨率相差較大的多源圖像配準(zhǔn)中效果不佳的問題，使SURF算法更加適用于多波束和側(cè)掃聲吶的配準(zhǔn)。同時(shí)，文中利用曼哈度距離測度代替?zhèn)鹘y(tǒng)的歐式距離測度，提高了圖像配準(zhǔn)的速度；最后，通過實(shí)驗(yàn)驗(yàn)證了整個(gè)算法在海底聲圖配準(zhǔn)中的有效性。

參考文獻(xiàn)

Bas T P,Mason D C,1997.Automatic registration of TOBIside-scan and muti-beam bathymetry images for improved data fusion.Marine GeophysicalResearches,19(2):163-176.

Bay H,Tuytelaars T,van Gool L,2006.SURF：Speeded Up Robusts Features.The 9th European Com ference on Canputer Vision.Craz,Austria.

Daniel S,Leannec F L,Roux C,et al,1998.side-scan sonar images matching.IEEE JournalofOceanic Engineering,23(3):245-259.

RIHartley,1992.Estimation of relative camera position for uncalibrated cameras.Proceedings of the second European Conference on Computer Vision,Santa Margherita Ligure,Italy,ECCV,34(4):579-587.

郭軍，2013.基于SURF的聲納圖像配準(zhǔn)與融合方法研究.測繪與空間地理信息，36（3）：56-64.

陽凡林，吳自銀，獨(dú)知行，等，2006.多波束聲納和側(cè)掃聲納數(shù)字信息的配準(zhǔn)與融合.武漢大學(xué)學(xué)報(bào)，8（31）：740-743.

曾朝陽，程相正，陳杭，等，2014.基于改進(jìn)SURF算子的高低分辨率圖像配準(zhǔn)方法.激光與紅外.

張宇，劉雨東，計(jì)釗，2009.向量相似性測度方法.聲學(xué)技術(shù)，28 （4）：532-536.

趙建虎，劉經(jīng)南，2008.多波束測深及圖像數(shù)據(jù)處理.武漢大學(xué)出版社.

趙建虎，王愛學(xué)，郭軍，2013.多波束與側(cè)掃聲納圖像區(qū)塊信息融合方法研究.武漢大學(xué)學(xué)報(bào)，3（38）：287-290.

趙小川，2011.現(xiàn)代數(shù)字圖像處理技術(shù)提高及應(yīng)用案例詳解.北京航空航天大學(xué)出版社.

（本文編輯：岳心陽）

Registration and fusion ofm ulti-beam echo sounder and side scan sonar im age based on the revised SURF m ethod

HOU Xue1,2,ZHOU Xing-hua2,TANG Qiu-hua2,W ANG Ai-xue3
（1.ShandongUniversityofScienceand Technology,Qingdao266590,China;2.The First InstituteofOceanography,SOA,Qingdao266061,China;3.W uhan University,W uhan430079,China）

Abstract：The problem in the image registrationwith high-low resolutions is solved by preprocessing themulti-beam echo sounder (MBES) image and side scan sonar (SSS) image.Through replacing the similaritymeasurement in Speeded-Up Robust Features algorithm,the algorithm speed of SURF is improved.Then the image is registered precisely by Random Sample Consensus algorithm.Finally,MBES image and SSS image which are registered are fused according to the wavelet transform method.By comparingand analyzing information entropy and averagegradientof fused imagesand original images,theaveragesof fused imagesare verified.Thesemethodsused in thispaperare proved by experiments.

Keywords：multi-beam echo sounder image;side scan sonar image;high-low resolution image registration;fusion; Speeded-up RobustFeaturesalgorithm;Random Sample Consensusalgorithm;Manhattan distance

作者簡介：侯雪（1989-），女，碩士研究生，主要從事海洋測繪與多波束應(yīng)用研究，電子郵箱：houxujiayou@126.com。

基金項(xiàng)目：中央高校基本科研業(yè)務(wù)費(fèi)項(xiàng)目（GY02-2011T05）；山東省自然科學(xué)基金（ZR2009FM005）；國家國際科技合作專項(xiàng)（2014DFA21710）；國土資源部海洋油氣資源與環(huán)境地質(zhì)重點(diǎn)實(shí)驗(yàn)室項(xiàng)目（MRE201107）；國家自然科學(xué)基金（49706038）。

收稿日期：2015-03-04；

修訂日期：2015-05-18

Doi：10.11840/j.issn.1001-6392.2016.01.006

中圖分類號：P229.2

文獻(xiàn)標(biāo)識碼：A

文章編號：1001-6932（2016）01-0038-08