應(yīng)用TBD的多波束聲吶圖像序列SIFT特征追蹤

李海森,高玨,徐超,盧為選,曹天宇,付麗嘉

(1. 哈爾濱工程大學 水聲工程學院，黑龍江 哈爾濱 150001；2.哈爾濱工程大學 水聲技術(shù)重點實驗室，黑龍江 哈爾濱 150001)

?

應(yīng)用TBD的多波束聲吶圖像序列SIFT特征追蹤

李海森1,2,高玨1,2,徐超1,2,盧為選1,曹天宇1,付麗嘉1

(1. 哈爾濱工程大學 水聲工程學院，黑龍江 哈爾濱 150001；2.哈爾濱工程大學 水聲技術(shù)重點實驗室，黑龍江 哈爾濱 150001)

針對聲吶圖像目標探測中面臨的分割閾值選擇和單幅圖像信息缺失問題，提出了一種基于檢測前跟蹤(track-before-detect, TBD)的聲吶圖像序列尺度不變特征變換(scale-invariant feature transform, SIFT)特征追蹤方法。這種方法不在單幀圖像中判斷目標的有無，而依據(jù)圖形序列中特征軌跡的連續(xù)性和一致性進行決策，通過動態(tài)亮度分配和中值濾波對圖像進行預處理，提取SIFT特征進行幀間匹配并標出潛在目標，在圖像序列中展開特征追蹤，從潛在目標中篩選出真實目標。真實數(shù)據(jù)試驗的結(jié)果表明，預處理改善了圖像質(zhì)量；對比SURF特征和Harris特征，SIFT特征包含更多的幀內(nèi)信息，具有更好的幀間匹配效果。SIFT特征追蹤能夠從多波束聲吶圖像序列中探測到動態(tài)小目標和靜態(tài)目標，并得到動態(tài)小目標的運動軌跡。

聲吶圖像序列；水下目標探測；檢測前跟蹤；尺度不變特征變換；特征追蹤；圖像預處理；特征匹配

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/23.1390.u.20160624.1311.028.html

隨著國家海洋戰(zhàn)略的牽引，水下目標探測技術(shù)得到了快速發(fā)展，其應(yīng)用需求[1-2]包括水下入侵的監(jiān)測與預警、水下避障與導航、沉物搜索與救撈、管道維護與橋墩檢測等領(lǐng)域。研究人員普遍借助側(cè)掃聲吶或多波束聲吶成像[3]，形成水下場景的聲圖像，通過圖像分割[4-5]實現(xiàn)水下目標探測，面臨的問題包括分割閾值的選擇和單幅圖像信息的局限。檢測前跟蹤[6-7](track before detect, TBD)是一種新興的微弱目標探測理論，對單幀圖像中有無目標先不進行判斷，在圖像序列中對多個目標同時進行追蹤，然后依據(jù)目標軌跡從潛在目標中篩選出真實目標?；赥BD在多波束聲吶圖像序列中進行特征追蹤，是實現(xiàn)水下目標探測的一種新穎的方法。

特征選擇是實現(xiàn)多波束聲吶圖像序列追蹤的關(guān)鍵，常用特征[8-9]包括統(tǒng)計特征、紋理特征、形狀特征、數(shù)學變換特征等。這些特征應(yīng)用于水下目標探測時，仍然存在區(qū)分能力弱、計算復雜度大、魯棒性差等問題。Lowe提出的尺度不變特征變換[10](scale invariant feature transform, SIFT)，基于尺度空間理論，在光學圖像匹配和識別領(lǐng)域[11-12]已經(jīng)有成功的應(yīng)用先例。SIFT生成的特征對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性，能夠更好的表征成像質(zhì)量相對較差和易受環(huán)境干擾的聲吶圖像中的潛在目標。

本文提出了一種基于TBD的多波束聲吶圖像序列SIFT特征追蹤方法。將該方法應(yīng)用于多波束聲吶圖像序列的水下目標探測，并與基于SURF (speeded up robust features, SURF)特征和Harris特征的方法進行比較，驗證方法的可行性和有效性。

1　SIFT特征追蹤方法

1.1聲吶圖像預處理

多波束聲吶圖像普遍存在分辨率低、噪聲和旁瓣干擾嚴重[13]等特點，這增加了從圖像中獲取有用信息的難度。為了后續(xù)更好的提取與追蹤特征，要盡可能的濾除噪聲并增強對比度。本文采用中值濾波和動態(tài)亮度分配來實現(xiàn)聲吶圖像的預處理。中值濾波能夠在平滑圖像的同時，盡量減少圖像細節(jié)信息特征的損失，是一種簡單而有效的濾波降噪方法。動態(tài)亮度分配[14]是將原始圖像強度映射到線性灰度[0，255]，通過優(yōu)化映射函數(shù)，增強目標與背景之間的對比度。在原始圖像中以強度最小值為L；為避免產(chǎn)生孤立單峰，將原始圖像強度的前1%取平均作為最大值H。在亮度分配時，當輸入值為L時賦予灰度值0，當輸入值不小于H時賦予灰度值255，當輸入值在L和H之間時則賦予0～255灰度值。輸入強度和輸出灰度的映射函數(shù):

(1)式中：zin是圖像輸入強度值，zout是圖像輸出灰度值，γ是映射參數(shù)。γ=1產(chǎn)生線性變換，γ<1增強圖像整體亮度，γ>1則減弱圖像整體亮度，尤其是對于介于H和L之間的輸入值。

1.2聲吶圖像的SIFT特征

SIFT特征包含了聲吶圖像中具有獨特性和穩(wěn)定性的信息，可以用來表征潛在目標。將聲吶圖像定義為I (x,y)，高斯核函數(shù)為

(2)

式中：σ為尺度空間因子，反映了圖像被平滑的程度。將I(x,y)和G(x,y,σ)卷積得到圖像在不同尺度下的尺度空間

(3)　　圖像的差分高斯(difference of Gaussian, DoG)算子定義為

(4)式中k為相鄰尺度間的比例因子。由DoG算子構(gòu)成圖像的DoG金字塔，DoG金字塔中的每個點需要跟同一尺度的周圍鄰域8個點和相鄰尺度對應(yīng)位置的周圍鄰域18個點進行比較。當該點為局部極值時，判定為候選特征點。定義圖像的候選特征點集合U0，依據(jù)式(5)和式(6)從中剔除對比度低和位于邊緣特征點，篩選出關(guān)鍵點

(5)

(6)

式中：Tγ為主曲率比值閾值，Tr(u)為u的跡，Det(He)為Hessian矩陣的行列式。

通過式(7)計算其梯度的模m(x,y)與方向θ(x,y)。以S(x,y)為中心的鄰域窗口內(nèi)利用直方圖的方式統(tǒng)計鄰域像素的梯度分布，直方圖的峰值反映S(x,y)所處鄰域梯度的主方向，通過拋物線插值精確得到S(x,y)的方向。

(7)

以關(guān)鍵點為中心取16×16窗口，在每個4×4小塊中計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點，每個關(guān)鍵點使用16個種子點來描述。關(guān)鍵點即SIFT特征，每個SIFT特征包含坐標、尺度和方向，并具有128維的特征描述向量。

1.3聲吶圖像序列的特征追蹤

聲吶圖像序列中的特征追蹤通過幀間特征匹配來實現(xiàn)。特征匹配以SIFT的特征描述向量歐氏距離作為相似性度量，采用最近鄰比值法。尋找待匹配特征點的最近鄰和次近鄰，如果最近鄰距離與次近鄰距離的比值小于某閾值，則認為最近鄰點與該特征為最佳匹配對，否則視為匹配失敗。考慮到聲吶成像易受環(huán)境干擾導致穩(wěn)定性不足，僅當連續(xù)3幀追蹤失敗時，終止對該特征的追蹤，并將其判定為虛假目標，從而提高追蹤的容錯能力。

SIFT特征追蹤的算法流程如圖1所示。首先讀取一幀圖像，獲取SIFT特征集并存為一個模板；接著讀取下一幀圖像，將提取的SIFT特征與模板進行匹配，匹配成功將該特征標定為潛在目標暫存并更新模板中對應(yīng)特征，連續(xù)3幀匹配不成功的特征，可以從模板中剔除；遍歷圖像序列，將依然存留的特征判定代表真實目標，同時獲取目標的特征軌跡。

圖1　SIFT特征追蹤的算法流程Fig.1　The SIFT feature tracking procedure

2　聲吶圖像序列的特征追蹤試驗

選用試驗設(shè)備為哈爾濱工程大學研制的國內(nèi)首臺淺水高分辨多波束測深系統(tǒng)。系統(tǒng)的聲學基陣為“T”型，發(fā)射基陣為多元弧陣，接收基陣為80陣元的均勻線陣。系統(tǒng)工作頻率為300kHz，采樣頻率為40kHz，選用的脈沖寬度為1ms。

在室內(nèi)水池和室外湖泊采集了多組數(shù)據(jù)評估提出方法的有效性，本文舉出3組典型數(shù)據(jù)集。數(shù)據(jù)集I從湖北宜昌清江水庫獲取，將油桶作為動態(tài)小目標，試驗中將測量船?？吭诎哆?，聲吶系統(tǒng)固定安裝，在舷側(cè)使用兩根粗纜繩吊放油桶，讓其在水中做緩慢的垂直和水平運動。對采集的數(shù)據(jù)成像[15-16]，選取連續(xù)的28幀151×301的聲吶圖像組成圖像序列。數(shù)據(jù)集II在哈爾濱工程大學水聲工程學院的消聲水池中獲取，將邊長為0.25m的金屬立方體作為動態(tài)小目標在水中作水平運動，數(shù)據(jù)成像后選取連續(xù)的25幀121×241的聲吶圖像組成圖像序列。數(shù)據(jù)集III在吉林松花湖獲取，將直徑為0.2m的塑料小球作為動態(tài)小目標在水中作垂直運動，數(shù)據(jù)成像后選取連續(xù)的20幀201×101的聲吶圖像組成圖像序列。下文2.1～2.3節(jié)的分步試驗結(jié)果以數(shù)據(jù)I示例，2.4節(jié)給出3組數(shù)據(jù)的最終試驗結(jié)果。

2.1聲吶圖像預處理試驗

從聲吶圖像序列中選取一幀的成像效果如圖2所示。可以看出聲吶原始圖像中有大量的斑點噪聲，旁瓣干擾嚴重，動態(tài)小目標和水底輪廓都周邊有大量背景雜波中。

采用動態(tài)亮度分配和中值濾波對圖像進行預處理，以改善圖像質(zhì)量。依照式(1)進行動態(tài)亮度分配時，需要確定映射參數(shù)γ。將γ值分別設(shè)定為0.5、1、1.5、2.0，試驗結(jié)果如圖3所示。隨著γ的增加，原本對應(yīng)中低亮度的像素變暗，高亮度的目標和背景的對比度則不斷增強。當γ=2時，過大的對比度又損失了部分目標細節(jié)，通過比較發(fā)現(xiàn)當γ=1.5時對比度強化和細節(jié)保留的平衡最好，因此選擇映射參數(shù)γ=1.5。中值濾波采用滑動窗大小為3×3。

圖2　圖像序列的一幀原始圖像Fig.2　An original image of the image sequence

圖3　不同映射參數(shù)時動態(tài)亮度分配效果Fig.3　Images obtained by the dynamic brightness assignment with the different mapping parameterγ

對原始圖像的預處理抑制了斑點噪聲和旁瓣干擾，提高了目標與背景的對比度，改善了圖像質(zhì)量。但原始數(shù)據(jù)成像效果并不穩(wěn)定，同樣的預處理方法應(yīng)用于圖像序列中的不同圖像改善效果不一，典型情況如圖4所示。圖4(a)中預處理圖像中動態(tài)小目標非常微弱難以識別；圖4(b)中預處理圖像中目標淹沒于背景噪聲中無法分辨。這種單幅圖像信息的局限導致采用傳統(tǒng)圖像分割法，分割閾值的選擇極為困難。

2.2聲吶圖像特征提取試驗

用SIFT方法提取聲吶圖像特征，圖像序列中前兩幀提取的特征如圖5所示。第1幀提取SIFT特征79個，第2幀SIFT提取特征84個。圖中橫坐標為相對基陣的水平方向，縱坐標為相對基陣的垂直方向，箭頭指向和長度分布表示特征方向和尺度。從圖像可以看出特征集中于深度為17m的動態(tài)小目標和深度為22～26m的水底輪廓，有不少特征的坐標和尺度相同、但方向不同，這些特征的存在有利于提高幀間匹配的魯棒性。

圖4　典型的預處理效果Fig.4　The typical pretreatment effects

圖5　連續(xù)兩幀提取的SIFT特征Fig.5　Extracted SIFT features on a pair of successive frames

對聲吶圖像序列的28幀圖像，依次提取SIFT特征、SURF特征和Harris特征，統(tǒng)計相鄰幀幀內(nèi)提取特征數(shù)和幀間匹配特征數(shù)，試驗結(jié)果如表1所示?？梢园l(fā)現(xiàn)整個圖像序列中，每幀圖像中SIFT特征數(shù)量最多，SURF和Harris特征數(shù)量接近，相鄰幀間SIFT匹配特征數(shù)量最多，SURF匹配特征次之，Harris匹配特征最少。對比SURF特征和Harris特征，SIFT方法獲取了更多的幀內(nèi)特征和相鄰幀幀間匹配特征，提高了在圖像序列中成功追蹤特征和探測到目標的幾率。

表1　特征提取方法的對比

2.3聲吶圖像序列的特征追蹤試驗

按照前文所述算法對聲吶圖像序列展開SIFT特征追蹤。前兩幀的特征匹配狀況如圖6所示。從圖中可以看出表征動態(tài)小目標和水底輪廓的特征都實現(xiàn)了匹配，但也有一些非目標的特征匹配，將匹配成功的特征標定為潛在目標，后續(xù)通過整個圖像序列的追蹤來進一步判定是否代表真實目標。

特征追蹤過程如圖7所示。第1幀包含79個特征，追蹤到第3幀時舍棄始終未匹配的特征，剩余52個特征。之后陸續(xù)舍棄連續(xù)3幀未匹配的特征，到第13幀時下降到25個特征，追蹤到最后一幀時，得到6個穩(wěn)定的SIFT特征。

圖6　連續(xù)兩幀SIFT特征匹配狀況Fig.6　The result of SIFT feature matching on a pair of successive frames

圖7　圖像序列中的SIFT特征追蹤過程Fig.7　The features tracking along the sequence

特征追蹤統(tǒng)計信息如表2所示，其中追蹤成功率表示該特征在整個聲吶圖像序列28幀中匹配成功的比例，可衡量特征的穩(wěn)定性。依據(jù)平均偏移量和始末偏移量可以判斷出5組偏移量較小的表征靜態(tài)水底輪廓，而第2組偏移量較大的表征動態(tài)小目標。

表2　SIFT特征追蹤的統(tǒng)計信息

2.4SIFT特征追蹤的目標探測結(jié)果

數(shù)據(jù)集I的目標探測結(jié)果如圖8所示。從圖像序列中成功追蹤到6個SIFT特征，靜態(tài)水底輪廓特征位置分布是(-13.0，24.4)、(-7.0，24.1)、(5.8，23.8)、(16.2，23.2)和(20.8，23.0)，動態(tài)小目標從水深17.0 m開始向上運動，到水深10.8 m開始水平運動。

數(shù)據(jù)集II的目標探測結(jié)果如圖9所示，從圖像序列中成功追蹤到表征立方體目標的特征，立方體目標在水深4.1 m處從水平位置1.9 m處向6.6 m處平移。

數(shù)據(jù)集III的目標探測結(jié)果如圖10所示，從圖像序列中成功追蹤到表征小球目標的特征，小球目標在水平位置-1.2 m附近從水深18.3 m處向11.9 m處向上運動。

圖8　數(shù)據(jù)集I的目標探測結(jié)果Fig.8　The result of target detection using data set I

圖9　數(shù)據(jù)集II的目標探測結(jié)果Fig.9　The result of target detection using data set II

綜合以上實驗結(jié)果，本文方法在不同場景的聲吶圖像序列中通過特征追蹤探測到了潛在目標。在追蹤過程部分幀未能正確匹配特征情況下，后續(xù)迅速追蹤到了特征，并沒有因為部分幀的信息缺失而導致目標丟失，體現(xiàn)出了良好的魯棒性。而用相同算法提取SURF特征及Harris特征進行追蹤，部分幀不匹配后就徹底丟失了目標，未能完成特征追蹤。

圖10　數(shù)據(jù)集III的目標探測結(jié)果Fig.10　The result of target detection using data set III

3　結(jié)論

1) 中值濾波和動態(tài)亮度分配，顯著改善了多波束聲吶圖像質(zhì)量，為特征提取和追蹤創(chuàng)造了有利條件。與SURF特征和Harris特征相比較，SIFT特征包含更多的幀內(nèi)信息、幀間匹配效果更好、更適用于表征多波束聲吶圖像序列中的潛在目標。

2) SIFT特征追蹤方法，不用對單幀圖像有無目標進行判斷，依據(jù)特征軌跡的連續(xù)性和一致性進行決策，從表征潛在目標的特征中篩選出代表真實目標的特征，實現(xiàn)了水下目標的探測。依據(jù)偏移量能夠判斷目標是靜態(tài)目標還是動態(tài)目標，獲取的動態(tài)小目標特征軌跡還能進一步分析目標運動特征。

3) 由于聲成像的不穩(wěn)定，在限定匹配條件的前提下，圖像序列中部分幀無法追蹤到特征，如果放寬匹配條件則特征表征真實目標的置信度降低，下一步工作考慮利用目標在幀間的運動信息改善幀間的匹配，進一步提高追蹤效率。

[1]GUO Haitao, LI Renping, XU Feng, et al. Review of research on sonar imaging technology in China[J]. Chinese journal of oceanology and limnology, 2013, 31(6): 1341-1349.

[2]COLBO K, ROSS T, BROWN C, et al. A review of oceanographic applications of water column data from multibeam echosounders[J]. Estuarine, coastal and shelf science, 2014, 145: 41-56.

[3]李海森, 周天, 徐超. 多波束測深聲納技術(shù)研究新進展[J]. 聲學技術(shù), 2013, 32(2): 73-80.

LI Haisen, ZHOU Tian, XU Chao. New developments on the technology of multi-beam bathymetric sonar[J]. Technical acoustics, 2013, 32(2): 73-80.

[4]CELIK T, TJAHJADI T. A novel method for sidescan sonar image segmentation[J]. IEEE journal of oceanic engineering, 2011, 36(2): 186-194.

[5]張金果, 郭海濤, 吳君鵬, 等. 改進的最小交叉Tsallis熵的小目標聲吶圖像分割[J]. 吉林大學學報：工學版, 2014, 44(3): 834-839.

ZHANG Jinguo, GUO Haitao, WU Junpeng, et al. Improved minimum symmetric Tsallis cross entropy for segmentation of a sonar image from a small underwater target[J]. Journal of Jilin University： engineering and technology edition, 2014, 44(3): 834-839.

[6]DAVEY S J, RUTTEN M G, CHEUNG B. Using phase to improve track-before-detect[J]. IEEE transactions on aerospace and electronic systems, 2012, 48(1): 832-849.

[7]LIU Shulin, CHEN Xinliang, ZENG Tao, et al. New analytical approach to detection threshold of a dynamic programming track-before-detect algorithm[J]. IET radar, sonar & navigation, 2013, 7(7): 773-779.

[8]NEGAHDARIPOUR S. On 3-D motion estimation from feature tracks in 2-D FS sonar video[J]. IEEE transactions on robotics, 2013, 29(4): 1016-1030.

[9]WANG Shuguang, ZENG Xiangyang. Robust underwater noise targets classification using auditory inspired time-frequency analysis[J]. Applied acoustics, 2014, 78: 68-76.

[10]LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision, 2004, 60(2): 91-110.

[11]LIU Yu, LIU Shuping, WANG Zengfu. Multi-focus image fusion with dense SIFT[J]. Information fusion, 2015, 23: 139-155.

[13]SCHETTINI R, CORCHS S. Underwater image processing: state of the art of restoration and image enhancement methods[J]. EURASIP journal on advances in signal processing, 2010, 2010: 746052.

[14]TRUCCO A, GAROFALO M, REPETTO S, et al. Processing and analysis of underwater acoustic images generated by mechanically scanned sonar systems[J]. IEEE transactions on instrumentation and measurement, 2009, 58(7): 2061-2071.

[15]徐超, 李海森, 陳寶偉, 等. 多波束相干海底成像技術(shù)[J]. 哈爾濱工程大學學報, 2013, 34(9): 1159-1164.

XU Chao, LI Haisen, CHEN Baowei, et al. Multibeam interferometric seafloor imaging technology[J]. Journal of Harbin Engineering University, 2013, 34(9): 1159-1164.

[16]劉曉, 李海森, 周天, 等. 基于多子陣檢測法的多波束海底成像技術(shù)[J]. 哈爾濱工程大學學報, 2012, 33(2): 197-202.

LIU Xiao, LI Haisen, ZHOU Tian, et al. Multibeam seafloor imaging technology based on the multiple sub-array detection method[J]. Journal of Harbin Engineering University, 2012, 33(2): 197-202.

本文引用格式：

李海森, 高玨, 徐超, 等. 應(yīng)用TBD的多波束聲吶圖像序列SIFT特征追蹤[J]. 哈爾濱工程大學學報, 2016, 37(8): 1009-1014.

LI Haisen, GAO Jue, XU Chao, et al. SIFT feature tracking in multi-beam sonar image sequences using the track-before-detect technique[J]. Journal of Harbin Engineering University, 2016, 37(8): 1009-1014.

SIFT feature tracking in multi-beam sonar image sequences using the track-before-detect technique

LI Haisen1,2, GAO Jue1,2, XU Chao1,2, LU Weixuan1, CAO Tianyu1, FU Lijia1

(1. College of Underwater Acoustic Engineering, Harbin Engineering University, Harbin 150001, China; 2. Science and Technology on Underwater Acoustic Laboratory, Harbin Engineering University, Harbin 150001, China)

The major challenges of target detection using sonar images are the choice of segmentation threshold and the information shortage in a single image. In this paper, we present a scale-invariant feature transform (SIFT) feature tracking method based on the track-before-detect (TBD) technique using sonar image sequences. Rather than detecting targets within a single image, this method makes decisions based on the continuity and consistency of the features trajectory in image sequences. Specifically, this method preprocesses images using dynamic brightness assignment and a median filter, extracts SIFT features to carry out intra-frame matching and to identify potential targets, and tracks features in the image sequences to select real targets from the group of potential targets. Using real data, our experimental results reveal that pretreatment improved the image quality, and compared with SURF and Harris features, SIFT features had more intra-frame information and better performance in inter-frame matching. By SIFT feature tracking, we detected both dynamic small targets and static targets from the multi-beam sonar image sequences. Moreover, we identified movement in the dynamic small targets.

sonar image sequences; underwater target detection; track-before-detect; scale-invariant feature transform; feature tracking; image preprocessing; feature matching

2015-06-26.網(wǎng)絡(luò)出版日期：2016-06-24.

國家自然科學基金項目 (41327004，41376103); 中央高?；究蒲袠I(yè)務(wù)費專項資金項目(HEUCF150509) .

李海森(1962-), 男, 教授, 博士生導師；

徐超(1982-), 男, 講師.

徐超， E-mail: xuchao18@hrbeu.edu.cn.

10.11990/jheu.201506078

TP391

A

1006-7043(2016)08-1009-06