基于特征的水下圖像拼接技術(shù)研究

孫杰 薛純 余義德

（1.91550部隊大連116023）（2.中國海洋大學信息科學與工程學院電子工程系青島266100）

基于特征的水下圖像拼接技術(shù)研究

孫杰1薛純2余義德1

（1.91550部隊大連116023）（2.中國海洋大學信息科學與工程學院電子工程系青島266100）

論文針對水下圖像的特點，運用四種圖像顏色校正的算法，針對多幅圖片進行批量預處理后，根據(jù)它們能夠平均得到的特征點的個數(shù)，找到最適用于水下圖像拼接的算法。同時，在進行SIFT特征點描述時，不僅考慮了鄰域的梯度信息，而且加入紋理信息，能夠在一定程度上降低誤匹配率，改善圖像融合的效果。通過分析錯位距離以及拼接處的色度差異，量化了評價的好壞，對最終的拼接效果有了更為客觀的評價。

水下圖像；圖像拼接；顏色校正；SIFT特征點描述

Class NumberTP391

1 引言

隨著海洋強國戰(zhàn)略的提出，我國越來越重視對海洋的開發(fā)和研究。運用拼接技術(shù)，可以生成大幅度，高分辨率，寬視角的海洋圖像，從而幫助我們更好地探測未知的海洋。因此，水下圖像拼接技術(shù)以其重要的應用價值，逐步發(fā)展成為計算機視覺、圖像處理和計算機圖形學的研究熱點。在多數(shù)實際應用中，由于光在海水傳輸過程中的吸收和散射作用，噪聲以及各類圖像變換等不利因素對特征匹配魯棒性的影響，導致獲取的單幅水下圖像范圍小、視角有限、顏色失真，并影響著整個算法的性能?；诖?，本文對快速提取穩(wěn)定可靠的水下圖像特征，形成有效特征描述子用于水下圖像拼接進行了探索性研究。

圖像拼接算法主要包括三部分：圖像的預處理、特征點提取與描述、圖像配準與圖像融合。其首要任務是從待匹配的圖像中提取含有圖像特征的特征點并進行描述，建立起原圖像和待匹配圖像的特征點集之間的對應關(guān)系。

1977年，Moravec提出了點特征這個概念，當時他將特征點稱之為“興趣點”［1］。但當時提出的算法并不具備尺度旋轉(zhuǎn)不變性，而且抗噪性能差。1988年，Harris提出了具有旋轉(zhuǎn)、平移不變性的Harris興趣點檢測器［2］。該方法對信號噪聲、數(shù)據(jù)獲取時的參數(shù)變化和圖像方向變換以及光照變換等具有較好的魯棒性。1994年，Blaszka T.Rachid Deriche通過二維高斯模糊過濾得到一些低級特征模型［3］，1996年，Lindeberg［4］全面地提出了極具影響力的信號的尺度空間理論，該理論的出現(xiàn)對局部特征的研究歷史推進了一大步。1997年，LeilaM.G. Fonseca等采用基于小波變換的多尺度分析理論［5］，先對圖像作小波變換，計算小波變換的模值，模的局部極大值點即對應圖像中的邊緣特征點。同年，Smith S M，Brady J M利用最小同值吸收核算法（Smallest Univalue Segment Assimilating Nucleus），即SUSAN算法提取特征點來實現(xiàn)圖像的配準［6］。1999年，Lowe D G在提出了基于尺度不變特征變換SIFT（Scale Invariant Feature Transform）的特征檢測算法，Lowe將圖像轉(zhuǎn)化為灰度圖像，然后尋找高斯拉普拉斯空間中的極值點來得到特征點［7］。2002年，Matas提出的最大穩(wěn)定極值區(qū)域（Maximally Stable Extremal Regions，MSERs）的特征提取算法［8］。Matas將分水嶺理論運用于灰度圖像的最穩(wěn)定局部區(qū)域檢測中，最后對檢測區(qū)域進行旋轉(zhuǎn)和尺度歸一化處理。

2 顏色校正預處理

傳統(tǒng)的水下圖像在傳輸過程中，由于受到嚴重的吸收和散射作用的影響，使得獲得的水下圖像存在顏色失真，圖像偏藍或偏綠色，并呈現(xiàn)一層霧狀效果，對比度和清晰度較低，噪聲較多，不利于下一步配準工作的進行。本文比較了四種圖像顏色校正的算法，Shade of gray算法［9］，Gray edge算法［10］，Max-RGB算法［11］，Weight gray edge算法［12］，對圖片集進行批量處理。由于圖像拼接最重要的一步是尋找特征點，因此把他們能夠平均得到的特征點的個數(shù)作為評價處理好壞的一個重要的指標。

如圖4可得，Max-RGB算法所得到的特征點數(shù)是最多的。同時，通過原圖與處理后的圖像相比較，其顏色恢復效果也較好。

3 基于特征點的圖像配準算法

基于特征點的圖像配準技術(shù)有很多優(yōu)點，主要體現(xiàn)在以下三個方面：圖像的特征點比圖像的像素點要少很多，從而大大減少了匹配過程的計算量；特征點的匹配度量值對位置變化比較敏感，可以提高匹配的精度；特征點的提取過程可以減少噪聲的影響，對灰度變換、圖像變形以及遮擋都有較好的適應能力。

3.1 特征點的提取

在現(xiàn)有的圖像配準方法中，Harris算法，Susan算法，SIFT算法以及Edward Rosten和Tom Drummond提出的FAST算法都是較為經(jīng)典的特征點提取算法。本文運用四種比較經(jīng)典的提取特征點的算法，對海水環(huán)境中距離目標物0.5m條件下，對特征采集進行批量處理，從以下幾個方面進行衡量：

不同水質(zhì)下提取特征點個數(shù)并記錄運算速度，不同拍攝距離下提取特征點個數(shù)并記錄運算速度。對運算速度和提取的特征點數(shù)取平均，結(jié)果如表1所示。

表14 種特征點提取算法的性能比較

由表1可得，SIFT算法速度較快，提取的特征點較多，且具有尺度不變性。

3.2 特征點的描述

傳統(tǒng)SIFT算法生成的特征描述子僅僅表明了鄰域的梯度信息，容易受到噪聲的干擾，因而匹配不夠精準。本文通過獲取關(guān)鍵點的紋理信息，從而提高匹配與拼接的精度，有利于解決高精度快速配準的問題。

設Fi（x，y，σ，θ）為SIFT關(guān)鍵點檢測方法得到的某一關(guān)鍵點，其中（x，y）為Fi在原始圖像上的位置坐標，σ和θ分別為Fi的空間尺度因子和主方向。根據(jù)空間尺度因子σ的大小，在點Fi所對應的高斯金字塔層上，按照θ的大小把該圖像區(qū)域旋轉(zhuǎn)到參考方向。以點Fi為中心，取半徑為4的圓形區(qū)域作為待描述區(qū)域。特征點描述的具體流程如圖2所示。

以關(guān)鍵點pi為中心在半徑為4的圓形區(qū)域中，分別以區(qū)域內(nèi)每個像素點pj為中心，求取以它為中心的旋轉(zhuǎn)不變LBP特征，記為lbpj（j=1，2，…，52）。

從直觀上講，像素點pj距離中心pi越遠，它對描述pi貢獻的信息量越小，因此對lbpj進行加權(quán)，加權(quán)系數(shù)為

其中，（rj，cj）和（ri，ci）為像素點pj和中心點pi在待描述圖像區(qū)域中的坐標，σ0為選定的常數(shù)。

把計算得到的所有加權(quán)LBP特征值組成一個一維向量，記為Ti，則

為了消除光照變化的影響，把Ti進行歸一化，由原始的128維SIFT局部特征向量Tj和得到的52維向量，構(gòu)成新的180維的描述子：

綜上，最后得到的180維向量T即為關(guān)鍵點pi周圍區(qū)域的描述。從T的計算過程可以看出，在待描述圖像區(qū)域獲取的過程中，利用關(guān)鍵點的尺度獲得了尺度不變性，把待描述圖像區(qū)域旋轉(zhuǎn)到參考方向獲得了旋轉(zhuǎn)不變性，通過描述向量的歸一化獲得了對光照變化的魯棒性，再加上旋轉(zhuǎn)不變LBP特征自身具有一定程度的尺度、旋轉(zhuǎn)和光照不變性，確保了基于旋轉(zhuǎn)不變LBP特征描述方法的魯棒性。

3.3 特征點的匹配與融合

圖像融合是圖像拼接的最后一步，圖像融合是將兩幅圖像中信息綜合到一幅圖像中并以可視化方法顯示的技術(shù)。常用的圖像融合方法有以下幾種：

1）平均值法：對于兩幅圖重疊部分，取兩點像素的平均值，作為新的融合圖像的像素值。

2）加權(quán)平均法：在重疊部分由前一幅圖像慢慢過渡到第二幅圖像，即將圖像重疊區(qū)域的像素值按一定的權(quán)值相加合成新的圖像。使顏色逐漸過渡，以避免圖像的模糊和明顯的邊界。

3）多分辨樣條法：它將圖像分解成不同頻率上的一組圖像，在每個分解的頻率上，將圖像重疊邊界附近加權(quán)平均。最后將所有頻率上的合成圖像匯總成一幅圖像。

關(guān)于特征點的粗匹配，本文采用最近鄰與次近鄰距離比值法（Nearest-Neighbor with Distance Ratio）。圖像融合階段，用加權(quán)平均法進行圖像融合。例f1，f2是兩幅待拼接的圖像，將圖像f1和f2在空間疊加，則融合后的圖像像素f(x，y)可表示為

在重疊區(qū)域中d1由1漸變至0，d2由0漸變至1，由此實現(xiàn)在重疊區(qū)域中由f1平滑過渡到f2。

4 實驗結(jié)果與分析

對典型待拼接圖像進行前文介紹的處理過程。

比較圖5和圖6可得，傳統(tǒng)拼接圖存在較為明顯的錯位，妨礙信息的獲取。而本文提出的改進后的拼接圖僅有微量錯位，拼接痕跡不易察覺，整體拼接效果更好。

5 結(jié)語

本文針對水下圖像的特點，運用四種圖像顏色校正的算法，針對多幅圖片進行批量預處理后，通過比較平均得到的特征點個數(shù)及運行速度等，選出最適用于水下圖像拼接的算法。同時，在進行SIFT特征點描述時，不僅考慮了鄰域的梯度信息，而且加入紋理信息，在一定程度上降低誤匹配率，改善圖像融合的效果。采取基準數(shù)據(jù)方法中的分析錯位距離以及拼接處的色度差異，對實驗的拼接效果做出了更為客觀的評價。

［1］Moravec H P.Towards automatic visual bbstacle avoidance［C］//International Conference on Artificial Intelligence（5th：1977：Massachusetts Institute of Technology）. 1977.

［2］Harris C，Stephens M.A combined corner and edge detector［C］//Alveyvisionconference，1988，15（50）：147-151.

［3］Blaszka T，Deriche R.Recovering and characterizing image features using an efficient model based approach［R］. R-2422，INRIA，1994：7-10.

［4］Lindeberg T.Edge detection and ridge detection with automatic scale selection［J］.International Journal of Computer Vision，1998，30（2）：117-156.

［5］Fonseca L M G，Costa M H M.Automatic registration of satellite images［C］//Computer Graphics and Image Processing，1997.Proceedings.，X Brazilian Symposium on. IEEE，1997：219-226.

［6］Smith S M，Brady J M.SUSAN—a new approach to low level image processing［J］.International journal of computer vision，1997，23（1）：45-78.

［7］Lowe D G.Object recognition from local scale-invariant features［C］//Computer vision，1999.The proceedings of the seventh IEEE international conference on.IEEE，1999，2：1150-1157.

［8］Extremal M S，Matas J，Chum O，et al.Robust wide baseline stereo from［C］//In British Machine Vision Conference.2002：384-393.

［9］Finlayson G D，Trezzi E.Shades of gray and colour constancy［C］//Color and Imaging Conference.Society for Imaging Science and Technology，2004，2004（1）：37-41.

［10］Van De Weijer J，Gevers T，Gijsenij A.Edge-based color constancy［J］.IEEE Transactions on image processing，2007，16（9）：2207-2214.

［11］Land E H，McCann J J.Lightness and retinex theory［J］. Josa，1971，61（1）：1-11.

［12］Gijsenij A，Gevers T，Van De Weijer J.Improving color constancy by photometric edge weighting［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（5）：918-929.

Underwater Image Mosaicking Technologies Based on Features

SUN Jie1XUE Chun2YU Yide1
（1.No.91550 Troops of PLA，Dalian116023）（2.Department of Electronic Engineering，College of Information Science&Engineering，Ocean University of China，Qingdao266100）

According to the characteristics of the underwater image，this paper applies four image color correction algorithms for Batch preprocessing multiple images.Based on the average number of feature points that obtained in the pretreatment，a more suitable algorithm for underwater image mosaicking is found.At the same time，in the description of SIFT feature points，not only the gradient information of the neighborhood，but also the texture information are taken into account，which can reduce the mismatching rate to some extent and improve the effect of image fusion.The difference between the dislocation distance and the chromaticity of the splice is quantitatively analyzed，and the quality of the evaluation is quantified.The final mosaicking effect is evaluated more objectively．

underwater image，image mosaicking，image color correction，description of SIFT feature points

TP391

10.3969/j.issn.1672-9730.2017.06.031

2016年12月9日，

2017年1月17日

孫杰，女，碩士研究生，工程師，研究方向：水下測量。薛純，女，碩士研究生，研究方向：水下圖像拼接。

余義德，男，高級工程師，研究方向：水下測量。