一種基于YOLO-V3算法的水下目標(biāo)識別跟蹤方法

徐建華，豆毅庚，鄭亞山

（北京理工大學(xué)，北京 100081）

近年來，隨著水下活動需求的豐富，水下移動平臺的控制方式也由最初的手動遙控模式逐漸轉(zhuǎn)變?yōu)樽灾饕苿幽Ｊ?，例如自主跟蹤拍攝模式。采用圖像信息跟蹤的方法在小型淺水平臺有較好的實(shí)用性。常用電磁跟蹤信號在傳播過程中會快速衰減，聲波信號則受限于平臺的體積。相比之下，采用圖像信息跟蹤的方法表現(xiàn)出更強(qiáng)的實(shí)用性。

目標(biāo)識別與跟蹤是視覺應(yīng)用領(lǐng)域重要的分支?；谝曈X的目標(biāo)識別方式主要包括傳統(tǒng)的機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)算法[1-4]。傳統(tǒng)方式如Haar特征與AdaBoost分類器組合而成的識別算法，對于背景簡單，目標(biāo)區(qū)域清晰，輪廓特征明顯的場景效果良好[5]。但由于水對光線的吸收、散射、漫射等作用，水下拍攝的圖像往往存在清晰度差，邊緣銳度低，整體亮度低，局部折射光照強(qiáng)度過高等問題。目標(biāo)的顏色強(qiáng)度會隨著水深不斷減弱，輪廓信息也會受到漂浮物、波紋、氣泡的影響，傳統(tǒng)的識別目標(biāo)方式會造成誤識別的情況。深度學(xué)習(xí)網(wǎng)絡(luò)方法則是通過多次卷積計算提取圖像的特征，過程中充分利用像素信息，以此來提高檢測器的性能[6]，能夠應(yīng)用于水下目標(biāo)的識別。

基于深度學(xué)習(xí)的YOLO-V3算法網(wǎng)絡(luò)將圖像分割成S×S的網(wǎng)格，不同網(wǎng)格只負(fù)責(zé)其對應(yīng)區(qū)域的物體的識別，減少重疊識別，提高檢測速度，該算法因其快速和準(zhǔn)確而近年來被廣泛使用[7,8]。本文在YOLO-V3原算法的基礎(chǔ)上使用重組成與多級融合的方法進(jìn)行特征提取，使得對于水下圖像的檢測效果明顯提升。在此基礎(chǔ)上，還針對檢測結(jié)果使用基于旋轉(zhuǎn)不變性的特征跟蹤目標(biāo)[9-11]，并通過評價結(jié)果判斷是否重新進(jìn)行識別，以增強(qiáng)算法的抗干擾能力。

1 目標(biāo)檢測

基于YOLO-V3網(wǎng)絡(luò)的檢測方法將候選框提取、特征提取、目標(biāo)分類、目標(biāo)定位統(tǒng)一于一個神經(jīng)網(wǎng)絡(luò)中。神經(jīng)網(wǎng)絡(luò)可直接從圖像中提取候選區(qū)域，通過整幅圖像特征來預(yù)測目標(biāo)位置和置信度。

圖1 算法流程圖Fig.1 Architecture of the algorithm

1.1 重組層與多級融合

YOLO-V3網(wǎng)絡(luò)主要通過卷積和池化操作實(shí)現(xiàn)對圖像特征的提取，本文提出的目標(biāo)檢測跟蹤模型的流程圖和改進(jìn)的YOLO-V3目標(biāo)檢測算法流程圖如圖1所示。通常，水下拍攝畫面模糊性較高，水下目標(biāo)的局部性特征比較明顯，為了增強(qiáng)YOLO-V3檢測網(wǎng)絡(luò)對于水下場景的適用性，提高網(wǎng)絡(luò)對水下目標(biāo)檢測的精確度，本文使用重組層代替?zhèn)鹘y(tǒng)的卷積和池化操作進(jìn)行特征提?。淮送?，在網(wǎng)絡(luò)結(jié)構(gòu)中還加入多級融合的思想，使得網(wǎng)絡(luò)充分利用水下目標(biāo)的局部特征，以增加算法的魯棒性。重組層的結(jié)構(gòu)示意圖如圖2所示，其將每個通道上的2*2圖像塊中的4個像素點(diǎn)拆解排列成4通道的1*1圖像塊，此方法與傳統(tǒng)的池化相比，極大程度地保留了像素中的局部細(xì)節(jié)，并且實(shí)現(xiàn)了圖像特征降采樣的過程。本文還將重組層的輸出特征圖與同步進(jìn)行的卷積池化的輸出特征圖進(jìn)行多級融合，生成疊加后的特征圖。

圖2 重組層示意圖Fig.2 Restructuring layer diagram

1.2 損失函數(shù)

由于拍攝時的角度變化，目標(biāo)在水中旋轉(zhuǎn)等原因，同一類物體會出現(xiàn)不常見的長寬比。識別過程中，原始的YOLO-V3網(wǎng)絡(luò)的泛化能力偏弱，會出現(xiàn)識別不到目標(biāo)或錯誤識別的情況。為彌補(bǔ)網(wǎng)絡(luò)無法檢測物體較大角度變化的缺點(diǎn)，文章將網(wǎng)絡(luò)原型中長寬的損失，轉(zhuǎn)化為區(qū)域框?qū)蔷€的損失，重新定義模型的損失函數(shù)：

式中，Ci表示目標(biāo)分類，pi表示類別概率。對于待檢測區(qū)域，存在目標(biāo)的置信度設(shè)置為1；不存在目標(biāo)的區(qū)域置信度為0。訓(xùn)練時權(quán)重λcoord=λnoobj= 0.5。

1.3 網(wǎng)絡(luò)訓(xùn)練

選取泳池中于不同距離、不同角度采集人的不同泳姿圖片作為訓(xùn)練集。根據(jù)拍攝角度將訓(xùn)練集進(jìn)行分類：前向(front)、側(cè)向(side)、后向(back)，并利用LabelImg工具進(jìn)行標(biāo)注。訓(xùn)練集圖像共包含3類目標(biāo)共2000張；

網(wǎng)絡(luò)訓(xùn)練過程是通過不斷調(diào)整預(yù)測框，使其接近真實(shí)框的過程。在訓(xùn)練開始前，需要設(shè)定初始的候選框的大小及數(shù)量。合適的初始框不僅能加快網(wǎng)絡(luò)的訓(xùn)練過程，還能增加識別算法的準(zhǔn)確率。文章針對水下目標(biāo)的特點(diǎn)，引入K均值聚類的算法，生成各類目標(biāo)的最相近初始框。聚類的目標(biāo)函數(shù)：

式中，IOU表示聚類得到的結(jié)果Box［i］與真實(shí)值Box［j］之間的交并比。

2 目標(biāo)跟蹤

2.1 特征描述

常用的圖像描述特征如HOG特征、SIFT特征對旋轉(zhuǎn)后目標(biāo)等的描述都不夠準(zhǔn)確，易造成誤匹配的情況。本文設(shè)計了一種具有旋轉(zhuǎn)不變性的特征描述用于水下目標(biāo)的跟蹤，較好解決了上述問題。

如圖3所示，目標(biāo)中心點(diǎn)(x,y)，由中心向外擴(kuò)展半徑r，以圓心水平方向?yàn)閤軸，與x軸夾角θ的灰度值表示為：

其中R表示目標(biāo)區(qū)域最大半徑。

圖3 旋轉(zhuǎn)不變性特征Fig.3 Rotation invariant feature

為減小物體運(yùn)動時產(chǎn)生的波紋影響，增強(qiáng)算法的抗干擾能力，本文采用沿半徑方向計算特征描述梯度的方法：

綜合得到旋轉(zhuǎn)不變性特征描述：

2.2 跟蹤實(shí)現(xiàn)

通過2.1節(jié)所述的特征描述方式，可以將當(dāng)前幀中的目標(biāo)表示為1×(r- 1)的梯度行向量S=［S0,S1,…Sr-1］。在獲取下一幀圖像后，以上一幀中目標(biāo)中心點(diǎn)為基準(zhǔn)，在目標(biāo)的原始區(qū)域2.5倍范圍內(nèi)進(jìn)行目標(biāo)檢索，計算目標(biāo)的梯度行向量S與待檢區(qū)域梯度行向量S′的余弦相關(guān)性。檢索結(jié)果：

其中(x′,y′)表示待檢區(qū)域中可能是目標(biāo)中心點(diǎn)的坐標(biāo)。遍歷待檢區(qū)域后，Q（x',y'）極大值位置即新的一幀中目標(biāo)中心所在，記錄Qmax并更新目標(biāo)模板SQ，繼續(xù)采用相同的搜索策略以實(shí)現(xiàn)連續(xù)幀中的目標(biāo)跟蹤。

2.3 跟蹤結(jié)果評價

跟蹤過程中，對跟蹤結(jié)果準(zhǔn)確性的判斷主要包括兩個方面：相鄰幀中目標(biāo)的相似程度和移動距離。前者保證識別的準(zhǔn)確性，后者保證目標(biāo)在視頻流中的連續(xù)性。由此確定跟蹤結(jié)果評價函數(shù)：

式中，α表示相機(jī)視角，d表示目標(biāo)與相機(jī)焦點(diǎn)之間的距離，T表示相機(jī)分辨率，F(xiàn)表示視頻幀率，v表示物體速度，λ和μ表示權(quán)重。設(shè)定一個閾值s,當(dāng)f(Qmax)＞s，跟蹤結(jié)果準(zhǔn)確，否則重新進(jìn)行目標(biāo)識別。本文中λ=μ= 0.5，閾值s取為0.7。

3 實(shí)驗(yàn)及結(jié)果分析

將本文設(shè)計的算法布署到研揚(yáng)科技UP Squared主板上進(jìn)行驗(yàn)證試驗(yàn)。主板配置：CPU Intel Pentium TM N4200，4GB RAM緩存，64GB eMMC內(nèi)存；Ubuntu16.04，64位操作系統(tǒng)；AI Core深度學(xué)習(xí)網(wǎng)絡(luò)加速模塊，通過Mini-PCIe接口連接UP Squared主板；高清攝像頭，分辨率1980×1080。試驗(yàn)場地為20×50 m2的泳池，運(yùn)動員在泳池內(nèi)隨機(jī)運(yùn)動。

圖4 水下移動平臺Fig.4 Underwater mobile platform

3.1 目標(biāo)檢測跟蹤效果評價

使用改進(jìn)的YOLO-V3的目標(biāo)檢測算法以及利用具有旋轉(zhuǎn)不變特性的特征描述對水下目標(biāo)進(jìn)行識別跟蹤，取得了良好的效果。效果如圖5所示，各圖中黃色框表示識別與跟蹤到的游泳運(yùn)動員，改進(jìn)后算法的魯棒性高。此外，為了更直觀比較本文改進(jìn)YOLO-V3算法的性能，使用控制變量的對比方法，分別使用輸入圖像尺寸為608*608和416*416像素的圖片，采用YOLO-V3、YOLO-V3-tiny和改進(jìn)的YOLO-V3算法進(jìn)行訓(xùn)練和檢測，訓(xùn)練圖片為具有標(biāo)注的水下運(yùn)動員運(yùn)動圖像2000張（其中60%訓(xùn)練集，30%測試集，10%驗(yàn)證集），訓(xùn)練20000個step后使用研揚(yáng)科技UP Squared嵌入式主板進(jìn)行檢測與評價。表1所示為使用置信度0.5進(jìn)行篩選后的結(jié)果的性能指標(biāo)?？梢姡倪M(jìn)的YOLO-V3的方法相比于其他方法在平均準(zhǔn)確度值（mean Average Precision，mAP）上均有提升，并且其速度可以達(dá)到15幀/秒，能夠滿足水下機(jī)器人識別跟蹤任務(wù)的需求。

圖5 改進(jìn)YOLO-V3目標(biāo)檢測跟蹤效果圖Fig.5 Improved YOLO-V3 t detection and tracking result

表1 置信度0.5時各算法檢測結(jié)果Tab.1 Detection results of each algorithm at a confidence level of 0.5

由表1可知，在一定范圍內(nèi)利用重組與多級融合的方式能夠降低識別過程中的誤差率，提高算法的準(zhǔn)確性。但被替代的卷積層數(shù)較多時，雖然識別速度有所提升，提取的深度學(xué)習(xí)特征不夠明確，準(zhǔn)確性下降明顯，在實(shí)際應(yīng)用中，需要進(jìn)行取舍，因此本文采用了2次重組層與多級融合的機(jī)制來修改原網(wǎng)絡(luò)結(jié)構(gòu)。

3.2 平臺跟蹤實(shí)驗(yàn)

平臺跟蹤路線結(jié)果如圖6所示，‘.’狀線條表示運(yùn)動員運(yùn)動路徑，‘+’狀線條表示移動平臺跟蹤路徑。由圖6可以看出，運(yùn)動平臺初始在運(yùn)動員后方約2米，當(dāng)運(yùn)動員開始以‘S’形路線運(yùn)動時，移動平臺在本文所使用的檢測及跟蹤算法的驅(qū)動下能夠與運(yùn)動員始終保持在2米距離內(nèi)，完成了跟蹤拍攝任務(wù)。

圖6 跟蹤結(jié)果Fig.6 Tracking result

跟蹤結(jié)果評價曲線如圖7所示，在跟蹤過程中，使用本文所提出的跟蹤結(jié)果評價方法對60米不規(guī)則運(yùn)動的跟蹤結(jié)果進(jìn)行評價，由圖7可得跟蹤結(jié)果評價在大多數(shù)時間都是大于閾值0.7，表現(xiàn)出了本文提出的跟蹤算法的穩(wěn)定性。當(dāng)跟蹤結(jié)果評價小于閾值0.7時，算法會自動做出調(diào)整，重新對目標(biāo)進(jìn)行識別定位，以保證平臺對目標(biāo)的跟蹤效果?？傮w看來，本文提出的跟蹤算法對于運(yùn)動員的不規(guī)則運(yùn)動表現(xiàn)出一定的適應(yīng)能力。

圖7 跟蹤評價曲線Fig.7 Tracking evaluation curve

4 結(jié) 論

針對水中圖像成像模糊、水下物體運(yùn)動多自由度的特點(diǎn)，本文利用深度學(xué)習(xí)方法和基于旋轉(zhuǎn)不變性的特征描述，提出了一種基于YOLO-V3算法的水下目標(biāo)識別跟蹤方法，實(shí)現(xiàn)了對水中目標(biāo)的識別、定位與跟蹤。

該方法在YOLO-V3原算法的基礎(chǔ)上使用重組成與多級融合的方法進(jìn)行特征提取，其目標(biāo)檢測模型在嵌入式平臺上的檢測速度達(dá)到15幀/秒；當(dāng)置信度為0.5時，mAP值達(dá)到75.1，水下圖像的檢測效果明顯提升。

針對檢測結(jié)果使用基于旋轉(zhuǎn)不變性的特征跟蹤目標(biāo)，對跟蹤情況做出實(shí)時評判，當(dāng)跟蹤情況不佳時自適應(yīng)地調(diào)用檢測算法進(jìn)行輔助，增強(qiáng)了算法的抗干擾能力。實(shí)驗(yàn)結(jié)果表明其跟蹤評價分?jǐn)?shù)穩(wěn)定在0.7以上，取得了較好的跟蹤效果。因此，該方法針對水下作業(yè)，尤其是水下運(yùn)動員跟拍等任務(wù)具有較好的工程應(yīng)用價值。