基于SSD-CF的無人艇目標(biāo)檢測跟蹤方法

陳欣佳　劉艷霞　洪曉斌　王慧芳

摘要：針對目前目標(biāo)檢測和目標(biāo)跟蹤算法對無人艇運算配置要求高、速度慢等問題，該文一種提出基于SSD-CF的無人艇目標(biāo)檢測跟蹤方法。利用MobileNets結(jié)構(gòu)結(jié)合SSD目標(biāo)檢測算法構(gòu)建輕量級卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)無人艇的水面目標(biāo)檢測。目標(biāo)檢測結(jié)果作為相關(guān)濾波CF目標(biāo)跟蹤算法的初始輸入，并在目標(biāo)跟蹤過程的保障其有效性。通過MODD水面船只視頻數(shù)據(jù)實驗表明，SSD-CF方法融合目標(biāo)檢測與目標(biāo)跟蹤算法，可有效地降低對運算力的要求，提升目標(biāo)檢測跟蹤速度和目標(biāo)位置的穩(wěn)定連續(xù)性。

關(guān)鍵詞：無人艇;目標(biāo)檢測;目標(biāo)跟蹤;SSD;MobileNets;相關(guān)濾波

中圖分類號：TN212

文獻(xiàn)標(biāo)志碼：A

文章編號：1674–5124（2019）02–0145–06

0 引言

水面無人艇實際應(yīng)用廣泛，如水質(zhì)檢測、海面巡邏監(jiān)控等。隨著人工智能技術(shù)的發(fā)展，現(xiàn)代無人艇海面自主航行領(lǐng)域的各項技術(shù)也在不斷完善。水面目標(biāo)準(zhǔn)確檢測跟蹤是無人艇的核心技術(shù)。但其目前較好的目標(biāo)檢測都依賴于深度學(xué)習(xí)卷積網(wǎng)絡(luò)，檢測速度較慢，且對于運算環(huán)境要求高。目標(biāo)跟蹤算法在給出目標(biāo)之后能較好地穩(wěn)定跟蹤目標(biāo)，但目標(biāo)丟失后無法重新追蹤目標(biāo)。目前目標(biāo)檢測算法主要分為3類：1）傳統(tǒng)的檢測算法，主要有Cascade+Harr[1]、SVM+HOG[2]、DPM算法等利用手工特征結(jié)合機器學(xué)習(xí)類算法，以及在此類算法上的改進(jìn)和優(yōu)化;2）候選窗選擇算法結(jié)合深度學(xué)習(xí)分類的二階段檢測算法，主要有RCNN、SPP-net[3]、Fast-RCNN、Faster-RCNN[4]等系列方法;3）基于一階段的深度學(xué)習(xí)回歸方法，主要算法有YOLO、SSD[5]等，一次性對目標(biāo)位置以及目標(biāo)類別進(jìn)行學(xué)習(xí)計算。二階段的算法相對于一階段的目標(biāo)檢測算法精度高但速度慢。結(jié)合深度學(xué)習(xí)的算法大大提高了目標(biāo)檢測的準(zhǔn)確度，但運算環(huán)境的要求比較高，速度也有些下降。

傳統(tǒng)的目標(biāo)跟蹤算法有光流法[6]、卡爾曼濾波、粒子濾波[7]、Mean-Shift[8]。隨著機器學(xué)習(xí)的興起，近幾年在目標(biāo)跟蹤中的成果基本都是使用機器學(xué)習(xí)的方法。目前跟蹤算法可以被分為生成式和判別式兩大類別。生成式模型的思想是提取目標(biāo)特征學(xué)習(xí)出代表目標(biāo)的模型，搜索圖像進(jìn)行模式匹配，匹配度最大的區(qū)域即為目標(biāo)結(jié)果[9]。判別式模型的思想是將目標(biāo)跟蹤問題作為分類問題，區(qū)分目標(biāo)和背景。目標(biāo)區(qū)域和背景區(qū)域分別為正、負(fù)樣本，通過機器學(xué)習(xí)算法訓(xùn)練分類器判別目標(biāo)和背景，使用分類器搜索最匹配區(qū)域。判別類模型中目前最突出的發(fā)展是相關(guān)濾波和深度學(xué)習(xí)方法的應(yīng)用。自2010年Bolme等[10]提出MOSSE算法，首次將相關(guān)濾波應(yīng)用到目標(biāo)跟蹤領(lǐng)域中，由于其計算速度快、準(zhǔn)確度高等特點，吸引了大批研究者，相關(guān)濾波與傳統(tǒng)算法的各種結(jié)合嘗試從不同的角度對算法進(jìn)行提升。后續(xù)在MOSSE算法基礎(chǔ)上相繼提出了CSK[11]，KCF[12]、DSST、STC、SAMF、CN、SRDCF、Deep-SRDCF、C-COT、ECO等拓展算法。其中部分算法結(jié)合了深度學(xué)習(xí)算法，利用卷積網(wǎng)絡(luò)自動提取特征，提升了目標(biāo)跟蹤效果，但也導(dǎo)致運算速度下降。

針對海面障礙目標(biāo)的實時準(zhǔn)確檢測跟蹤需求，使用深度學(xué)習(xí)類目標(biāo)檢測可以達(dá)到比較好的結(jié)果，但對于無人艇上位機運算環(huán)境要求較高，因此本文通過MobileNets進(jìn)一步改進(jìn)SSD目標(biāo)檢測網(wǎng)絡(luò)模型，降低運算要求，加快檢測效率。同時結(jié)合CF相關(guān)濾波目標(biāo)跟蹤算法，實現(xiàn)目標(biāo)實時跟蹤，最終實現(xiàn)目標(biāo)的準(zhǔn)確檢測與實時跟蹤。

1 基于SSD-CF目標(biāo)檢測跟蹤方法

1.1 SSD目標(biāo)檢測算法

為了實現(xiàn)無人艇對水面目標(biāo)的實時檢測跟蹤，首先需要檢測出目標(biāo)。本文采用SSD（singleshotmultiboxdetector）目標(biāo)檢測算法進(jìn)行目標(biāo)檢測。SSD算法的主要思路是均勻地在圖片的不同位置進(jìn)行密集抽樣，同時采用不同尺度和長寬比，利用卷積網(wǎng)絡(luò)提取特征后直接進(jìn)行目標(biāo)分類與位置回歸，整個過程一步完成檢測，因此算法速度較快。

SSD算法中采用密集取樣生成目標(biāo)位置候選框。在不同分辨率的特征圖上按不同比例生成固定大小的單元格。對于所有單元格再按{1，2，3，1/2，1/3}不同的長寬比增加候選框。在不同分辨率的特征圖上只考慮一個尺度的候選框。如用m個特征圖來做預(yù)測，每一個特征圖中候選框的尺寸大小計算公式：

其中，smin為0.2，smax為0.95，意味著最底層的尺度是0.2，最高層的尺度是0.95。根據(jù)不同長寬比ar∈{1，2，3，1/2，1/3}，則可計算出每一個候選框的寬wk和高h(yuǎn)k：

對于長寬比為1時，另外增加了一個尺度s′k=√sksk+1的候選框。最終每張?zhí)卣鲌D上的單元格都有6個候選框。候選框與標(biāo)注框進(jìn)行匹配，如果面積交并比大于0.5為正例，其他為反例。

SSD算法目標(biāo)損失函數(shù)包含位置損失和置信損失。位置損失是候選框l和標(biāo)注框g位置參數(shù)之間的平滑L1損失函數(shù)。置信損失是softmax損失對多類別置信c和權(quán)重項α設(shè)置為1的交叉驗證。其中N是匹配的默認(rèn)框數(shù)量，其中x∈{1，0}，為指示函數(shù)，表示標(biāo)注框與候選框匹配與否。

SSD算法中使用兩種策略提升算法性能：1）難例挖掘，根據(jù)上面的候選框生成策略會產(chǎn)生大量的負(fù)訓(xùn)練樣本，通過選擇置信損失較大的候選框作為反例，使得反例不超過正例的3倍;2）數(shù)據(jù)增廣，對原圖進(jìn)行隨機裁剪和在目標(biāo)周圍裁剪，隨機翻轉(zhuǎn)來增加訓(xùn)練集。這兩個策略都有效提升了算法的準(zhǔn)確度。

1.2 MobileNet-SSD輕量級目標(biāo)檢測算法

由于無人艇體積有一定的限制，通常需要裝備各式各樣的感應(yīng)設(shè)備（如雷達(dá)、聲吶、攝相機等），無人艇上工控機需要運行大量計算，如果直接使用SSD算法檢測目標(biāo)，將會耗費大量的計算資源，并且耗時較長。因此需要對SSD算法網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，減少運行時間和參數(shù)數(shù)量。利用MobileNets結(jié)構(gòu)結(jié)合SSD算法，可以實現(xiàn)輕量級的目標(biāo)檢測。MobileNets是基于一個流線型的架構(gòu)，它使用深度可分離的卷積來構(gòu)建輕量級的深度神經(jīng)網(wǎng)絡(luò)。MobileNets的核心思想是將普通的卷積操作分解為深度可分離卷積和1*1逐點卷積兩個步驟?？梢栽诨颈ＷC準(zhǔn)確率的前提下大大減少計算時間和參數(shù)數(shù)量。

實驗得出MobileNet-SSD在MODD數(shù)據(jù)集上的平均檢測速率為0.8f/s，CF目標(biāo)跟蹤的平均檢測速率為22f/s。CF跟蹤算法提升了視頻目標(biāo)處理速度。MobileNet-SSD目標(biāo)檢測算法與CF目標(biāo)跟蹤的融合可以有效地實現(xiàn)實時對海面目標(biāo)的檢測跟蹤。

實驗三在目標(biāo)存在遮擋圖像范圍的情況下進(jìn)行SSD-CF目標(biāo)檢測跟蹤算法驗證。通過試驗無人艇拍攝障礙物視頻，無人艇攝像機移動速度較快，可能會將目標(biāo)移出圖像范圍，從而導(dǎo)致跟蹤過程中目標(biāo)丟失。

實驗三中視頻序列的初始目標(biāo)位置通過目標(biāo)檢測算法獲取，由目標(biāo)跟蹤算法實現(xiàn)實時跟蹤。如圖6所示，在視頻第53幀，目標(biāo)部分遮擋的情況下，SSD-CF算法仍能夠準(zhǔn)確定位，在71幀，目標(biāo)超出圖像范圍并在第79幀可以通過檢測算法重新定位目標(biāo)位置，由跟蹤算法進(jìn)行接下來的持續(xù)跟蹤，體現(xiàn)算法的有效性。實驗結(jié)果表明SSD-CF目標(biāo)檢測跟蹤算法在目標(biāo)部分遮擋和完全丟失的情況下，通過MobileNet-SSD目標(biāo)檢測算法可以快速地為CF跟蹤算法提供初始目標(biāo)位置信息，并且在目標(biāo)跟蹤過程中，如果目標(biāo)丟失，檢測算法能夠重新定位目標(biāo)位置，實現(xiàn)無人艇對海面障礙物持續(xù)跟蹤。3結(jié)束語

無人艇的自主航行依靠于目標(biāo)的準(zhǔn)確檢測和快速跟蹤，采用傳統(tǒng)的深度學(xué)習(xí)算法耗費的運算資源比較大。MobileNet-SSD目標(biāo)檢測算法，在一定程度上提高了檢測速度，降低運算環(huán)境要求;同時，檢測算法對視頻的每一幀都獨立檢測，可能存在位置漂移，提出使用CF目標(biāo)跟蹤對于目標(biāo)檢測結(jié)果進(jìn)行后續(xù)跟蹤，并利用MobileNet-SSD在跟蹤過程目標(biāo)丟失，重新定位目標(biāo)位置，降低運算量。因此，本文提出的SSD-CF算法提高目標(biāo)位置跟蹤速度，可避免直接使用目標(biāo)檢測算法進(jìn)行目標(biāo)定位，節(jié)約運算資源，提高跟蹤目標(biāo)的位置穩(wěn)定性，實現(xiàn)無人艇的水面目標(biāo)持續(xù)跟蹤需求。下一步工作將結(jié)合圖像檢測跟蹤結(jié)果與其他傳感器信息，分析目標(biāo)運動狀態(tài)，進(jìn)行無人艇避障決策研究。

參考文獻(xiàn)

[1]VIOLAP， MICHAELJ.Rapidobjectdetectionusingaboostedcascadeofsimplefeatures[C]//Proceedingsofthe2001IEEEComputerSocietyConference， 2001.

[2]DALALN， BILLT.Histogramsoforientedgradientsforhumandetection[C]//IEEEComputerSocietyConference，2005.

[3]HEKM， ZHANGXY， RENSQ， etal.Spatialpyramidpoolingindeepconvolutionalnetworksforvisualrecognition[C]//Europeanconferenceoncomputervision.Springer， 2014.

[4]RENSQ.Fasterr-cnn： Towardsreal-timeobjectdetection

withregionproposalnetworks[J].IEEETransactionsonPatternAnalysisandMachineIntelligence.2015，39（6）： 1137-1149.

[5]LIUW.Ssd： Singleshotmultiboxdetector[C]//Europeanconferenceoncomputervision， 2016.

[6]魯永杰，王思明.一種改進(jìn)的運動目標(biāo)跟蹤方法[J].中國測試，2015（7）：95-98.

[7]BREITENSTEINMD.Robusttracking-by-detectionusingadetectorconfidenceparticlefilter[C]//IEEE12thInternationalConferenceonComputerVision， 2009.

[8]COMANICIUD， VISVANATHANR， PETERM.Real-timetrackingofnon-rigidobjectsusingmeanshift[C]//ProceedingsIEEEConferenceonComputerVisionandPatternRecognition， 2000.

[9]朱文青，劉艷，卞樂，等.基于生成式模型的目標(biāo)跟蹤方法綜述[J].微處理機，2017，38（1）：41-47.

[10]BOLMEDS.Visualobjecttrackingusingadaptivecorrelationfilters[C]//2010IEEEConferenceonComputerVisionandPatternRecognition， 2010.

[11]HENRIQUESJF.Exploitingthecirculantstructureoftracking-by-detectionwithkernels[C]//Europeanconferenceoncomputervision， 2012.

[12]HENRIQUESJF， CASEIROR， MARTINSP， etal.High-speedtrackingwithkernelizedcorrelationfilters[J].IEEETransactionsonPatternAnalysisandMachineIntelligence， 2015， 37（3）： 583-596.

[13]KRISTANM， SULICKV， KOVACICS， etal.Fastimage-basedobstacledetectionfromunmannedsurfacevehicles[J].IEEETransactionsonCybernetics， 2016， 46（3）： 641-654.