一種基于孿生網(wǎng)絡(luò)的艦船目標(biāo)跟蹤方法?

石勝斌 王曙光 朱建生 周 凱

（1.中國(guó)人民解放軍陸軍炮兵防空兵學(xué)院 合肥 230031）（2.高過(guò)載彈藥制導(dǎo)控制與信息感知實(shí)驗(yàn)室 合肥 230031）

1 引言

我國(guó)領(lǐng)海面積廣闊，海洋資源豐富；與此同時(shí)，我國(guó)海洋周邊環(huán)境復(fù)雜，存在一定的安全隱患，為了維護(hù)海洋安全穩(wěn)定、準(zhǔn)確鎖定及跟蹤可疑海上目標(biāo)，艦船目標(biāo)跟蹤系統(tǒng)的搭載勢(shì)在必行。對(duì)于海上目標(biāo)的跟蹤技術(shù)的研究便具有較大的現(xiàn)實(shí)意義。

目標(biāo)跟蹤在計(jì)算機(jī)視覺(jué)領(lǐng)域仍然是極富挑戰(zhàn)性的一個(gè)子領(lǐng)域。很多國(guó)家都投入了大量的人力、物力和財(cái)力進(jìn)行該項(xiàng)研究。當(dāng)前，基于計(jì)算機(jī)視覺(jué)的跟蹤具有非常廣泛的應(yīng)用價(jià)值，目標(biāo)跟蹤已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要構(gòu)成部分。國(guó)內(nèi)外學(xué)者已提出了很多運(yùn)動(dòng)目標(biāo)跟蹤的方法，并在不同的應(yīng)用領(lǐng)域取得了一定的效果。在交通上的應(yīng)用，主要有車輛、船舶的異常檢測(cè)、交通流量控制等，利用智能交通監(jiān)控系統(tǒng)提高交通管控系統(tǒng)效率。

傳統(tǒng)跟蹤算法如基于卡爾曼濾波[1]以及幀間差分法[2]等算法都無(wú)法滿足復(fù)雜背景下的海上目標(biāo)跟蹤。目前，這些特征提取方法都是人工來(lái)完成的，所以存在如下問(wèn)題：各類特征提取方法非常依賴具體的應(yīng)用環(huán)境，算法要求的條件嚴(yán)格、魯棒性不好；復(fù)雜背景下多無(wú)人機(jī)特征提取困難等。

如何魯棒、準(zhǔn)確地跟蹤一直是有待解決的問(wèn)題，對(duì)于海上目標(biāo)，往往存在光照變化、尺度變化、背景混淆以及角度變化等問(wèn)題。近年來(lái)，隨著深度學(xué)習(xí)的不斷發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的智能算法在目標(biāo)檢測(cè)及識(shí)別領(lǐng)域表現(xiàn)極為突出，深度在目標(biāo)跟蹤領(lǐng)域也取得了長(zhǎng)足進(jìn)步。由于在目標(biāo)跟蹤中對(duì)于算法的實(shí)時(shí)性要求較高，傳統(tǒng)深層卷積網(wǎng)絡(luò)計(jì)算量較大，難以滿足實(shí)時(shí)性要求。本文基于輕量級(jí)的全連接孿生神經(jīng)網(wǎng)絡(luò)[3]，結(jié)合海上目標(biāo)特點(diǎn)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使得算法具有較高準(zhǔn)確性的同時(shí)，保證了算法的實(shí)時(shí)性。

2 孿生網(wǎng)絡(luò)跟蹤算法及網(wǎng)絡(luò)框架

2.1 基于孿生網(wǎng)絡(luò)的跟蹤算法

孿生神經(jīng)網(wǎng)絡(luò)（Siamese Net：Siamese Neural Network）最早是由 Bromley和 LeCun[4]提出用來(lái)處理簽名驗(yàn)證的問(wèn)題，該網(wǎng)絡(luò)主要包含兩個(gè)或多個(gè)具有相同結(jié)構(gòu)且共享網(wǎng)絡(luò)參數(shù)的網(wǎng)絡(luò)模型，并經(jīng)過(guò)不斷的發(fā)展，逐漸被應(yīng)用到圖像匹配、圖像分類等領(lǐng)域。孿生神經(jīng)網(wǎng)絡(luò)的目標(biāo)是尋找兩個(gè)可比較對(duì)象的相似程度（例如，簽名驗(yàn)證、人臉識(shí)別等）。這個(gè)網(wǎng)絡(luò)有兩個(gè)相同的子網(wǎng)絡(luò)，兩個(gè)子網(wǎng)絡(luò)有相同的參數(shù)和權(quán)重。孿生網(wǎng)絡(luò)中間隱含層既為傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，不同的是一個(gè)孿生網(wǎng)絡(luò)通常包含兩個(gè)甚至多個(gè)輸入，每個(gè)網(wǎng)絡(luò)分支的參數(shù)共享，通過(guò)對(duì)輸出相似度對(duì)比函數(shù)的學(xué)習(xí)，進(jìn)而比較各分支輸入樣本的相似度，最終得到的是一個(gè)得分圖，進(jìn)而確定目標(biāo)位置。其跟蹤流程如圖1所示。相比于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的單輸入特性，多輸入的孿生網(wǎng)絡(luò)能過(guò)代入一定的先驗(yàn)信息，既能夠?qū)⒏嗟奶卣餍畔⒋敫櫰?，使得?xùn)練模型的小量化得以實(shí)現(xiàn)。

圖1 算法框架

2.2 孿生網(wǎng)絡(luò)框架

基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤可以看成是一個(gè)相似性學(xué)習(xí)的過(guò)程，如圖2所示，我們通過(guò)學(xué)習(xí)得到函數(shù)f=(z，x)，通過(guò)比較目標(biāo)區(qū)域x與模板z并返回得分圖，得分越高的區(qū)域與目標(biāo)的相似度越大。而網(wǎng)絡(luò)的作用就是提取圖像的特征信息，再進(jìn)行相關(guān)性計(jì)算，既該相似性度量函數(shù)可表示為f(z，x)=g(?(z)，?(x) )，g為相似度度量。

其中?代表簡(jiǎn)化的卷積神經(jīng)網(wǎng)絡(luò)，結(jié)構(gòu)與AlexNet類似，不過(guò)只有卷積層與池化層，沒(méi)有最后的全連接層，其結(jié)構(gòu)如表1所示。

表1 網(wǎng)絡(luò)結(jié)構(gòu)

其中池化層采用max-pooling的方法，除第五層外，每個(gè)卷積層后都連有ReLU非線性激活層，同時(shí)在訓(xùn)練時(shí)對(duì)每個(gè)ReLU層進(jìn)行批標(biāo)準(zhǔn)化，以降低訓(xùn)練過(guò)程中的過(guò)擬合。

2.3 孿生網(wǎng)絡(luò)訓(xùn)練

深度學(xué)習(xí)之所以能夠再諸多領(lǐng)域有突出表現(xiàn)，正是源于大數(shù)據(jù)的支撐。之前的算法訓(xùn)練的數(shù)據(jù)庫(kù)多為VOT[5]、OTB[6]、ALOV數(shù)據(jù)集，三者所含視頻總數(shù)少于500個(gè)，而本文算法用來(lái)訓(xùn)練的數(shù)據(jù)集總共包含4500個(gè)視頻。

訓(xùn)練時(shí)需要確定網(wǎng)絡(luò)的損失函數(shù)，通過(guò)最小化損失函數(shù)以獲得最優(yōu)模型。本文的算法將目標(biāo)一定區(qū)域范圍內(nèi)的點(diǎn)作為正樣本，區(qū)域外為負(fù)樣本，具體損失函數(shù)為

v為得分圖各點(diǎn)真實(shí)值，y∈{- 1，1}既正樣本取1，負(fù)樣本取-1，而得分圖整體損失函數(shù)既為各點(diǎn)損失函數(shù)的均值，即：

可根據(jù)此損失函數(shù)對(duì)模型進(jìn)行訓(xùn)練。

3 跟蹤方法

通常采用可見(jiàn)光相機(jī)對(duì)劃定區(qū)域進(jìn)行監(jiān)控。艦船目標(biāo)跟蹤流程如圖1所示，首先將網(wǎng)絡(luò)攝像頭輸出的視頻流送入到智能跟蹤系統(tǒng)中，經(jīng)過(guò)圖像抓幀和預(yù)處理后，對(duì)圖像進(jìn)行無(wú)人機(jī)檢測(cè)；然后將檢測(cè)到的艦船圖像抽取出來(lái)，對(duì)圖像特征進(jìn)行提取，送入?yún)?shù)共享的孿生孿生網(wǎng)絡(luò)；最后，根據(jù)相關(guān)性計(jì)算可以得到得分圖?？梢詫⑴灤繕?biāo)的跟蹤結(jié)果標(biāo)識(shí)到原圖像中并顯示。

圖2 基于孿生網(wǎng)絡(luò)艦船目標(biāo)跟蹤流程

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)環(huán)境

表2 實(shí)驗(yàn)硬件配置

圖2 基于孿生網(wǎng)絡(luò)艦船目標(biāo)跟蹤結(jié)果

4.2 實(shí)驗(yàn)結(jié)論

在本文實(shí)驗(yàn)中，考慮到艦船目標(biāo)為敏感數(shù)據(jù)，本文采用艦船縮小模型作為標(biāo)靶目標(biāo)。我們選擇自建的艦船目標(biāo)數(shù)據(jù)集作為測(cè)試視頻數(shù)據(jù)集，以O(shè)TB-13基準(zhǔn)中的OPE（One Pass Evaluation）作為跟蹤算法準(zhǔn)確性能的評(píng)價(jià)標(biāo)準(zhǔn)，繪制OPE準(zhǔn)確率和成功率曲線圖。使用OPE準(zhǔn)確率曲線的CLE（Center Location Error）值和成功率曲線下面的面積AUC（Area Under Curve）值來(lái)比較不同跟蹤算法的準(zhǔn)確性能，我們將本實(shí)驗(yàn)算法與傳統(tǒng)算法在OTB100[7]數(shù)據(jù)集上進(jìn)行測(cè)試，通過(guò)對(duì)比各算法的中心誤差以及重疊率，對(duì)算法的性能進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果如下：

由測(cè)試結(jié)果可知，本文所采用的SiameseNet算法，準(zhǔn)確率可達(dá)80%，且平均幀率可達(dá)60fps，能夠基本滿足實(shí)際應(yīng)用需求；該算法的艦船目標(biāo)跟蹤精度要遠(yuǎn)遠(yuǎn)高于傳統(tǒng)的非深度學(xué)習(xí)算法，同時(shí)算法速度快能夠降低艦船目標(biāo)跟蹤時(shí)間，得到了十分理想的艦船目標(biāo)跟蹤結(jié)果。

5 結(jié)語(yǔ)

本文采用基于孿生網(wǎng)絡(luò)的目標(biāo)跟蹤算法，闡述了其基本原理、算法架構(gòu)以及訓(xùn)練方式，并通過(guò)在公共數(shù)據(jù)集上對(duì)該算法進(jìn)行測(cè)試。準(zhǔn)確率可達(dá)80%，且平均幀率可達(dá)60fps，進(jìn)一步表明該算法在應(yīng)對(duì)復(fù)雜背景下海上目標(biāo)跟蹤的可行性。下一步作者將著力于讓本文的方法應(yīng)用在成像設(shè)備上，搭建起一套完整的艦船目標(biāo)跟蹤系統(tǒng)。