一種基于前視聲吶的目標檢測與跟蹤方法

劉昊搏，劉鐵軍，汪海林，姜志斌，祁 勝

(1.中國科學院沈陽自動化研究所，遼寧 沈陽 110016；2.中國科學院機器人與智能制造創(chuàng)新研究院，遼寧 沈陽 110169；3.遼寧省水下機器人重點實驗室，遼寧 沈陽 110169；4.中國科學院大學，北京 100049)

0 引 言

水聲目標識別技術(shù)為人類海洋經(jīng)濟與軍事活動提供重要決策依據(jù)。隨著海洋經(jīng)濟的快速發(fā)展和海洋開發(fā)活動的日益頻繁，水聲目標識別技術(shù)得到越來越多的應(yīng)用[1]。水下機器人利用前視聲吶檢測并跟蹤前方障礙物時，由于水下環(huán)境復雜且不均勻，易受到混響、環(huán)境及自噪聲的干擾[2-3]。聲吶接收的旁瓣信號會在主波束信號橫向和縱向形成弧形亮斑干擾，旁瓣的干擾會使圖像目標不明確[4]。復雜的環(huán)境噪聲及障礙物目標成像的不連續(xù)性若得不到妥善處理，會影響水下機器人對障礙物目標的檢測，進而影響其航行安全[5]。

大量文獻調(diào)研表明，幀間差分法運算簡單，易于實現(xiàn)，是一種實用性較強的運動目標識別方法[6]。差分法是通過對視頻中相鄰兩幀或多幀圖像做差分獲得目標輪廓的方法[7-8]。針對多波束前視聲吶圖像中運動目標的檢測問題，崔杰等[9]提出一種改進的幀間差分算法，獲取視頻序列中連續(xù)的三幀圖像，相鄰兩幀圖像做差分后，將得到的差分圖像做或運算，經(jīng)形態(tài)學處理后獲得最終圖像。然而將此算法實際應(yīng)用到水下障礙物目標檢測時，算法魯棒性不足。本文針對障礙物檢測過程中存在的高噪聲、成像不連續(xù)的問題，將形態(tài)學算子與幀差法相融合，形成目標檢測網(wǎng)絡(luò)。相較于傳統(tǒng)的差分法，本算法提高了目標檢測的穩(wěn)定性。同時，將幀間差分圖像與當前幀圖像進行適當?shù)募訖?quán)融合，進一步提高了目標障礙物檢測的準確性和穩(wěn)定性。由于水下機器人的運動速度較慢，經(jīng)比較后選定Mean-shift算法用于對檢測后得到的障礙物目標進行跟蹤。實驗結(jié)果表明，本算法在保證實時性的情況下，能夠?qū)φ系K物目標進行穩(wěn)定地檢測與跟蹤，具有廣闊的應(yīng)用前景。

1 基于幀差法的水聲目標檢測

1.1 二幀差分法

獲取視頻序列中兩幀的圖像fk-1(x,y)，fk(x,y) 將兩幀圖像進行差分，差分結(jié)果取絕對值后進行閾值處理，得到最終二值圖像：

其中，M是待選取的閾值。

1.2 三幀差分法

其中，T是待選取的閾值。

將差分后的圖像進行“與”運算：

按照式（5），當fk(x,y)=1時，取為前景，當fk(x,y)=0時，取為背景。

1.3 改進差分法

在三幀差分法的基礎(chǔ)上，為了保證障礙物目標檢測的完整性，文獻[8]按照式（6），將“與”運算改為“或”運算：

為消除零散的噪聲與目標中的空洞，按照式（7）對二值圖像fk(x,y)進行開閉濾波：

2 水聲目標檢測網(wǎng)絡(luò)

2.1 總體流程

該算法充分利用幀間差分圖像與當前幀圖像所包含的不同特征信息，將二者按一定權(quán)重進行融合，提高了目標檢測的穩(wěn)定性。將形態(tài)學算子與上述算法相結(jié)合形成網(wǎng)絡(luò)結(jié)構(gòu)，將預(yù)處理后的圖像送入此網(wǎng)絡(luò)，并利用Mean-shift算法對網(wǎng)絡(luò)輸出后的結(jié)果進行跟蹤。算法流程如圖1所示。

圖1 算法流程圖Fig.1 Algorithm flow chart

2.2 卷積核網(wǎng)絡(luò)

改進差分法[9]中所呈現(xiàn)的結(jié)果不盡如人意。針對環(huán)境噪聲強烈，旁瓣噪聲無法有效抑制2個問題進行研究。形態(tài)學濾波中，開運算可以過濾掉圖像中存在的噪聲，閉運算則可填補目標區(qū)域內(nèi)部的空洞。此處將形態(tài)學算子視為特殊的卷積核，借鑒了深度神經(jīng)網(wǎng)絡(luò)中多層卷積核的思想，將不同大小的形態(tài)學算子按照層級進行相應(yīng)的組合，通過反復的開閉運算，抑制不同程度的環(huán)境噪聲和旁瓣噪聲。因幀差法造成的目標區(qū)域內(nèi)部空缺，也可經(jīng)卷積核組成的網(wǎng)絡(luò)，得到較為明顯的填補。引入卷積核前后的效果對比如圖2所示，可以看出卷積核網(wǎng)絡(luò)有效抑制了旁瓣噪聲和大部分的混響噪聲。

圖2 卷積核融合效果對比圖Fig.2 Convolution kernel fusion effect comparison chart

2.3 特征加權(quán)融合

本節(jié)中的“特征”指的是圖像經(jīng)過如差分、形態(tài)學算子濾波等運算后保留的信息，特征加權(quán)融合即是將圖像經(jīng)過不同運算后所保留的信息進行相應(yīng)的融合，使得結(jié)果盡可能地符合目標檢測的要求。

2.3.1 差分圖像的融合

考慮將當前得到的差分圖像與上一時刻得到的差分圖像進行適當?shù)募訖?quán)，以便獲得更加完整、穩(wěn)定的輪廓信息，公式如下：

其中，Bk為當前幀的差分圖像，Bk_last為上一時刻獲得的差分圖像，差分融合前后的效果對比如圖3所示。從結(jié)果可以看出，差分融合使得障礙物目標的檢測更加完整，且進一步抑制了混響噪聲。

圖3 差分融合效果對比圖Fig.3 Differential fusion effect comparison chart

2.3.2 差分圖像與幀圖像的融合

圖3的結(jié)果表明，將2個連續(xù)不同時刻得到的差分圖像進行融合，可以提高目標檢測的完整性和穩(wěn)定性。將當前幀圖像中包含的特征信息也考慮進來，與圖3中的差分融合后的圖像c進行加權(quán)融合，進一步地提高目標檢測的效果。公式如下：

從圖4的對比結(jié)果可以看出，將幀圖像融合到算法中，可使障礙物目標檢測得到的結(jié)果更加接近真實目標的形狀。

圖4 幀圖像融合效果對比圖Fig.4 Frame image fusion effect comparison chart

2.4 算法流程

在差分法的基礎(chǔ)上，綜合考慮2.2和2.3節(jié)中的對比實驗結(jié)果后，提出本文障礙物目標檢測的完整算法，算法流程如下：

步驟1

Lk-2，Lk-1，Lk為包含障礙物目標的連續(xù)三幀圖像，設(shè)定閾值Tk-2，Tk-1，Tk分別為Lk-2，Lk-1，Lk幀圖像的灰度像素的均值[10]，低于閾值的像素取為0。

步驟2

將相鄰兩幀圖像相減，利用式（10）和式（11）分別得到幀間差分圖像dk-2,k-1(x,y)，dk-1,k(x,y)：

步驟3

取幀間差分圖像進行“或”運算:

步驟4

采用不同大小的橢圓形算子，如表1所示。

表1 橢圓形算子名稱及大小Tab.1 Ellipse operator name and size

將步驟3得到的Bk_now送入加權(quán)融合的連續(xù)幀差分網(wǎng)絡(luò)中，得到初步的Bk,，如圖5所示。

圖5 特征融合網(wǎng)絡(luò)Fig.5 Feature fusion network

步驟5

式中：將當前時刻的差分圖Bk_now、上一時刻的差分圖Bk_last、當前幀Lk圖像進行加權(quán)融合得到更加魯棒的Bk，經(jīng)特征融合網(wǎng)絡(luò)輸出，得到最終的Bk，即目標檢測結(jié)果。其中，w1，w2，w3是待選取的超參數(shù)，本文中分別取0.45，0.4，0.15。erode為腐蝕操作，dilate為膨脹操作。

3 運動目標跟蹤算法

3.1 模型及表示

Mean-shift算法[11-12]采用顏色直方圖作為目標的特征，顏色直方圖被劃分為M個區(qū)間，用特征空間中概率密度函數(shù)的形式描述特征空間中的目標模板[13]，如下式：

其中：N為目標框中像素的個數(shù)；q為目標模板概率密度分布的向量；是框中像素的位置信息；k(x)為核函數(shù)；C為歸一化常數(shù)；h為半徑，也稱帶寬函數(shù)，大小等于跟蹤框?qū)挾鹊囊话?。是將像素點映射到顏色直方圖對應(yīng)的區(qū)間，δ為單位脈沖函數(shù)。

待跟蹤目標映射到特征空間以后，在之后的圖像序列中選定可能包含待跟蹤目標的區(qū)域，也將其映射到特征空間，用概率密度函數(shù)的形式描述，p為向量表達形式，pu表示其第u個分量，如下式：

其中：y表示候選區(qū)域的中心坐標；pu(y)為候選區(qū)域的第u個特征的概率；hh是帶寬；Ch是歸一化常量

3.2 相似性度量

目標模型與候選模型間以距離公式定義相似度，如下式：

其中，d(y)的值越小，候選目標與待跟蹤目標的相似性越大。目標是找到一個相似程度最大的候選目標，認定其為跟蹤的目標。

3.3 目標跟蹤

y0是初始的匹配位置，即上一幀圖像中的待跟蹤目標位置。利用泰勒公式對p(y)在y0處進行泰勒展開，如下式：

最大化公式（20），即最大化其第二項。在這個過程中，核函數(shù)的值移動到當前幀的目標中心：

4 實驗結(jié)果及分析

4.1 目標檢測結(jié)果對比

為了檢驗特征融合網(wǎng)絡(luò)算法的有效性，將本算法與二幀差分法、改進差分法進行實驗結(jié)果的對比。采用4個不同的圖像序列進行實驗效果展示，其中，序列1是航行器直線航行時所獲取障礙物的連續(xù)5幀場景（從上至下），序列2是轉(zhuǎn)動航行時所獲取障礙物的連續(xù)5幀場景（從上至下），序列3與序列4為其余2種障礙物目標的連續(xù)5幀場景（從上至下）。選擇4組包含不同目標形狀、不同運動狀態(tài)的圖像序列可以比較徹底地檢測算法的有效性，對比結(jié)果如圖6～圖9所示。a1～a5是原聲吶圖像序列，b1～b5是經(jīng)二幀差分法得到的檢測結(jié)果，c1～c5是改進差分法檢測結(jié)果，d1～d5為本算法目標檢測結(jié)果。

從抑制混響噪聲的程度評價：二幀差分法與改進差分法一定程度上抑制了混響噪聲，然而這2種算法受背景環(huán)境影響較大，仍有許多混響噪聲未被很好地抑制，在混響噪聲變化復雜時這一現(xiàn)象更加明顯，如序列3所示。相較于前2種算法，本算法對于混響噪聲有較好的抑制效果。

圖6 序列1Fig.6 Sequence one

圖7 序列2Fig.7 Sequence two

圖8 序列3Fig.8 Sequence three

圖9 序列4Fig.9 Sequence four

1）從抑制旁瓣噪聲程度評價

如序列1、序列4中第四、第5幀圖像所示，二幀差分法與改進差分法對旁瓣噪聲的抑制能力不足，會產(chǎn)生虛檢的情況。本算法對于旁瓣噪聲有很好的抑制效果。

2）從目標障礙物檢測的完整性評價

水下航行器航行時，由于潛器速度較慢，二幀法表現(xiàn)很差，不能完整地檢測出障礙物，且?guī)c幀之間，障礙物形態(tài)變化劇烈，如序列3、序列4所示；改進差分法相對于二幀差分法，檢測障礙物的完整性有了一定提升，但是依然存在邊緣過渡劇烈、內(nèi)部出現(xiàn)空洞等現(xiàn)象，并且?guī)c幀之間障礙物形態(tài)變化依然明顯，如序列1中第4幀與第5幀圖像所示。本算法對于障礙物目標的形態(tài)能夠較好被檢測出來，并且使其在幀與幀之間過渡平緩自然。

總的來說，當背景噪聲復雜、目標移動速度較慢時，二幀差分法幾乎失效；改進差分法保留了障礙物的大致輪廓，但是也使障礙物檢測的完整程度被嚴重破壞；本算法使障礙物檢測的完整性得到很好的保證。

4.2 目標跟蹤結(jié)果與分析

利用Mean-shift算法對障礙物目標進行跟蹤，每隔固定時長，截取一幀，作為跟蹤結(jié)果。以跟蹤結(jié)果作為檢驗加權(quán)融合特征網(wǎng)絡(luò)算法有效性的標準。對比結(jié)果如圖10所示。

圖10 跟蹤效果對比圖Fig.10 Track effect comparison chart

其中，a1～a4是利用Mean-shift算法在原視頻序列中直接進行跟蹤的結(jié)果，b1～b4是利用改進差分法[8]進行目標檢測后，再利用Mean-shift跟蹤的結(jié)果，c1～c4是利用本算法進行目標檢測后的跟蹤結(jié)果。

從結(jié)果可以看出，由于大量噪聲的存在，Meanshift在原視頻上跟蹤失效；改進差分法提升了跟蹤目標的有效性，但是由于目標檢測及抑制噪聲的不穩(wěn)定性，導致在一些圖像幀中目標跟蹤失??；本算法由于穩(wěn)定地檢測了目標及有效地抑制了噪聲，使得Meanshift算法能夠穩(wěn)定地跟蹤目標。

5 結(jié) 語

從4個序列的實驗對比結(jié)果可以看出，傳統(tǒng)差分法不適合運動速度較慢的目標檢測，并且當目標區(qū)域的灰度值在大范圍內(nèi)相似時，目標區(qū)域內(nèi)部會出現(xiàn)空洞。本文提出了加權(quán)融合的差分網(wǎng)絡(luò)算法，較好地解決了傳統(tǒng)差分法在水下目標運動緩慢、高噪聲場景下存在的問題。針對不同的運動場景、不同的障礙物目標，本算法均顯示出良好的抑制噪聲、檢測障礙物目標的能力。基于實航圖像的實驗結(jié)果驗證了本文提出方法的可行性和有效性。