韓勇強,張路成,李利華,劉泳慶
(1. 北京理工大學(xué) 自動化學(xué)院,北京 100081;2. 國家體育總局體育科學(xué)研究所,北京 100061)
目標(biāo)檢測是計算機視覺中一項非常重要的任務(wù),目標(biāo)檢測能對感興趣的目標(biāo)進行分類和定位。圖像分割、物體追蹤、關(guān)鍵點檢測等任務(wù)通常都要依賴于目標(biāo)檢測的結(jié)果。水下目標(biāo)檢測技術(shù)可以用于水下環(huán)境監(jiān)測、水下運動跟蹤等任務(wù),在國防安全和民用領(lǐng)域有巨大的應(yīng)用空間。在目標(biāo)檢測基礎(chǔ)上的目標(biāo)跟蹤同樣是水下機器人十分重要的功能需求,水下目標(biāo)跟蹤指在確定時間段內(nèi),獲得運動目標(biāo)確切的運動參數(shù)或運動軌跡,然后將這些信息作為輸入量,輸入到跟蹤算法中進行計算,根據(jù)當(dāng)前信息,推測目標(biāo)后續(xù)時刻的行為。跟蹤過程一般包括視頻流的獲取、目標(biāo)的檢測、目標(biāo)的特征提取、目標(biāo)的狀態(tài)預(yù)測與測量、目標(biāo)的跟蹤控制等幾個階段。目前,目標(biāo)跟蹤已經(jīng)應(yīng)用于日常生活的各個方面,例如車輛輔助駕駛、智能手機相機場景優(yōu)化、人臉識別、對水下目標(biāo)的跟蹤拍攝等,具有廣闊應(yīng)用空間。
受水下復(fù)雜環(huán)境影響,水下目標(biāo)檢測與跟蹤不可避免地會受到各種干擾。在水下目標(biāo)檢測中,可見光目標(biāo)會產(chǎn)生畸變、反射等現(xiàn)象,這些現(xiàn)象會導(dǎo)致目標(biāo)檢測過程發(fā)生誤檢、漏檢、分類不正確、定位不準(zhǔn)等問題。圖1展示了幾種典型的水下檢測干擾情況。上述因素干擾樣本,很大程度上影響了對真實目標(biāo)的分類和定位。
圖1 典型的水下干擾情況Fig.1 Typical underwater interference scenarios
在目標(biāo)檢測領(lǐng)域中,早期傳統(tǒng)目標(biāo)檢測主要采用基于人工設(shè)計的提取器,如SIFT(Scale Invariant Feature Transform)、HOG(Histogram of Oriented Gradients)、DPM(Deformable Part-based Model)等。傳統(tǒng)目標(biāo)檢測算法存在特征提取器設(shè)計難度大的問題,也可能出現(xiàn)對于某些特征不適應(yīng)、魯棒性差的現(xiàn)象。在效率上,與深度學(xué)習(xí)的目標(biāo)檢測算法相比,傳統(tǒng)目標(biāo)檢測算法也存在著較大差距。近年來神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測應(yīng)用逐漸廣泛,2015年提出的RCNN(Regions with CNN features)[1]是使用深度學(xué)習(xí)實現(xiàn)物體檢測的經(jīng)典之作,在RCNN基礎(chǔ)上,2015年的Fast RCNN[2]實現(xiàn)了端到端的檢測與卷積共享,在2016年,YOLOv1[3]實現(xiàn)了無錨框(Anchor Free)的一階檢測,SSD[4]實現(xiàn)了多特征圖的一階檢測,這兩種算法對隨后的物體檢測產(chǎn)生了深遠(yuǎn)的影響,在2017年,F(xiàn)PN[5]利用特征金字塔實現(xiàn)了更優(yōu)秀的特征提取網(wǎng)絡(luò),Mask RCNN[6]則在實現(xiàn)了實例分割的同時,也提升了物體檢測的性能。進入2018年后,物體檢測的算法更為多樣,如使用角點做檢測的CornerNet[7]、使用多個感受野分支的TridentNet[8]、使用中心點做檢測的CenterNet[9]等。2018年,馬娟娟等提出了深度優(yōu)先方法遞歸訓(xùn)練隨機森林分類器,SenseAndAvoid數(shù)據(jù)集目標(biāo)檢測平均準(zhǔn)確率提高了7.6%[10]。2019年,胡昌華等提出基于改進YOLOv3的SAR圖像艦船小目標(biāo)檢測算法,通過改進底層殘差單元、特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)等,在艦船目標(biāo)公開數(shù)據(jù)集上F1值提高了6.3%[11]。2020年,徐建華等針對水下成像模糊,物體多自由度運動的特點,提出基于YOLOv3算法的目標(biāo)識別模型,通過降采樣重組、多級融合、優(yōu)化聚類候選框、重新定義損失函數(shù)等方式,使識別速度達到了15FPS,置信度為0.5時的平均準(zhǔn)確度達到了75.1%[12]。
在目標(biāo)跟蹤中,應(yīng)用最為廣泛的算法之一是基于光流法的跟蹤算法。圖2表示了在同一段視頻序列中,跟蹤目標(biāo)的位置變化。將分類器思想應(yīng)用于目標(biāo)跟蹤的是Boosting跟蹤算法,但在跟蹤效率上存在諸多問題,跟蹤較慢無法滿足跟蹤算法對于實時性的要求。Boris[13]在分類器跟蹤的基礎(chǔ)上,提出了一種多事例學(xué)習(xí)的跟蹤算法(Multiple Instance Learning, MIL)。2010年CVPR會議上,David等首次將相關(guān)濾波與目標(biāo)跟蹤相結(jié)合,提出了MOSSE目標(biāo)跟蹤算法[14]。2012年,Henriques等[15]針對相關(guān)濾波方法提出了一種相關(guān)性求解的方式。2014年,Henriques提出了核化相關(guān)濾波跟蹤算法,該算法通過循環(huán)矩陣豐富目標(biāo)訓(xùn)練集,通過核計算將目標(biāo)特征進行高維展開[16],使其高維可分,最后利用非線性分類器訓(xùn)練這些特征。
圖2 跟蹤目標(biāo)位置變化Fig.2 Tracking position of targets
本文主要考慮水下機器人對水下目標(biāo)跟蹤拍攝這一場景,針對目前水下目標(biāo)檢測與跟蹤中存在的識別率低、識別速度慢、跟蹤性能差等問題,提出了檢測特征提取一體化算法與擴維Kalman濾波匹配跟蹤算法。相對傳統(tǒng)的檢測與跟蹤分離式算法,一體化識別跟蹤方法通過增加目標(biāo)特征擴充維度,避免了在跟蹤多目標(biāo)的環(huán)境下,水下機器人無法準(zhǔn)確識別特定目標(biāo)的問題,以及所帶來的跟蹤誤差大、多目標(biāo)跟蹤失效的問題。通過仿真與試驗方法證明了檢測特征一體化方法的有效性與實用性。
水下機器人(Autonomous Underwater Vehicle,AUV)目標(biāo)檢測跟蹤工作通常分為檢測、預(yù)測、匹配、跟蹤等步驟。水下機器人搭載攝像機獲取圖像信息,輸入檢測網(wǎng)絡(luò)進行目標(biāo)檢測,構(gòu)造檢測向量輸入Kalman濾波器進行后續(xù)預(yù)測、匹配,最終由水下機器人控制器對檢測到的目標(biāo)實現(xiàn)跟蹤。在傳統(tǒng)水下目標(biāo)檢測與跟蹤技術(shù)的基礎(chǔ)上,本文加入了檢測特征提取一體化網(wǎng)絡(luò),在檢測的同時輸出目標(biāo)的特征信息,重新構(gòu)造擴維狀態(tài)量,以實現(xiàn)對多目標(biāo)的檢測、識別、跟蹤,總體方案如圖3所示。
圖3 基于檢測特征提取一體化的水下目標(biāo)跟蹤方案Fig.3 Underwater target tracking scheme based on integrated target detection and feature extraction
本文工作重點如下:一是重新設(shè)計了檢測網(wǎng)絡(luò),將檢測與特征提取合并為一體化網(wǎng)絡(luò),在輸出目標(biāo)檢測信息的同時,輸出特征識別信息進行多目標(biāo)跟蹤和編號;二是針對前述一體化檢測提取網(wǎng)絡(luò),構(gòu)造擴維狀態(tài)向量,并重新設(shè)計了擴維Kalman濾波器,輸出跟蹤控制信號,實現(xiàn)擴維狀態(tài)下,多目標(biāo)的檢測與跟蹤。
目前的目標(biāo)檢測算法中,以YOLOv3算法為例,該算法能夠輸出目標(biāo)的類別、位置和大小信息,但不能夠輸出目標(biāo)的表觀特征信息。檢測環(huán)節(jié)中,水下存在相似樣本干擾的問題,同時檢測算法輸出的信息有限,限制了跟蹤算法的性能。
本節(jié)提出了一種基于YOLOv3的抗干擾的檢測和特征提取一體化網(wǎng)絡(luò)(Detection and Feature extraction Integration Network, DFI)。該網(wǎng)絡(luò)能夠提供目標(biāo)檢測信息的同時,為目標(biāo)跟蹤提供目標(biāo)的特征信息,能夠有效提升跟蹤算法的性能。
DFI網(wǎng)絡(luò)主要包括三個功能模塊,分別是目標(biāo)檢測模塊、解碼模塊和特征提取模塊。網(wǎng)絡(luò)的結(jié)構(gòu)如圖4所示。
圖4 DFI檢測與特征提取一體化網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 DFI Network structure
在工作過程中,目標(biāo)檢測模塊執(zhí)行目標(biāo)檢測任務(wù),輸出3分支檢測結(jié)果,然后通過非極大值抑制(Non Maximum Suppression, NMS)算法對3個分支數(shù)據(jù)進行整合,得到目標(biāo)檢測的輸出結(jié)果,目標(biāo)檢測結(jié)果和原始圖像信息輸入到解碼模塊,解碼模塊提取出目標(biāo)區(qū)域的圖像并送入特征提取模塊,特征提取模塊運行卷積神經(jīng)網(wǎng)絡(luò)提取圖像的特征信息,經(jīng)過運算每個目標(biāo)的圖像特征投射到一個10維的超球面上,超球面的坐標(biāo)即為該目標(biāo)的特征信息。由于解碼模塊的作用,網(wǎng)絡(luò)中目標(biāo)檢測模塊輸出的目標(biāo)信息和特征檢測模塊輸出的特征信息一一對應(yīng),最后將目標(biāo)檢測輸出和特征提取輸出進行合并,得到網(wǎng)絡(luò)的最終輸出,輸出中包含每個目標(biāo)的類別、位置、大小以及目標(biāo)特征信息。
具體實現(xiàn)步驟如下:
S1:在工作過程中,目標(biāo)檢測模塊運行YOLOv3算法,輸出3分支結(jié)果,分別為D1、D2和D3,其中D1?R13×13×N、D2?R26×26×N、D3?R52×52×N。
S2:通過非極大值抑制(NMS)算法對3個分支數(shù)據(jù)進行整合,得到目標(biāo)檢測的輸出結(jié)果D,其中D?RM×N,M為圖像中目標(biāo)數(shù)。
S3:目標(biāo)檢測結(jié)果和原始圖像信息輸入到解碼模塊,解碼模塊提取出目標(biāo)區(qū)域的圖像并送入特征提取模塊,特征提取模塊運行卷積神經(jīng)網(wǎng)絡(luò)提取圖像的特征信息,得到一個特征圖。
其中,f表示圖像,h為卷積核。
S4:對S3中提取的特征圖通過全連接層,將信息轉(zhuǎn)化為M×10維度的特征向量f。
S5:對S4中f進行操作,將每個目標(biāo)的特征投射到一個10維的超球面上,得到特征提取網(wǎng)絡(luò)的最終輸出F,其中F?RM×10。同時,需要對f中各向量進行歸一化處理,如式(4)所示。
S6:對目標(biāo)檢測模塊和特征提取模塊的結(jié)果進行合并,得到最終的輸出,輸出中包含每個目標(biāo)的類別、位置、大小以及圖像特征信息。
物體檢測算法的核心是通過卷積神經(jīng)網(wǎng)絡(luò),將輸入圖像生成深層的特征圖,再利用算法進行區(qū)域生成和損失計算,骨干網(wǎng)絡(luò)是算法的基礎(chǔ),在DFI網(wǎng)絡(luò)中,使用Darknet-53作為骨干網(wǎng)絡(luò),網(wǎng)絡(luò)的結(jié)構(gòu)如圖5所示。
圖5 DFI骨干網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 DFI backbone network structure
解碼模塊輸出的目標(biāo)圖像并進行縮放處理,處理后的圖像尺寸為3×128×128,在特征提取模塊中對目標(biāo)的特征進行計算。
特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示,解碼模塊的輸出作為特征提取網(wǎng)絡(luò)的輸入,在網(wǎng)絡(luò)中通過多次的卷積和最大池化運算,最終輸出的特征尺寸為10×1×1。
圖6 特征提取網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.6 Feature extraction network structure diagram
擴維Kalman濾波器主要實現(xiàn)預(yù)測、匹配、跟蹤功能。由前述一體化網(wǎng)絡(luò)獲取目標(biāo)類別、位置、大小與特征信息后,通過構(gòu)造擴維狀態(tài)向量,由擴維Kalman濾波器進行狀態(tài)向量的預(yù)測與更新,再由匈牙利匹配算法實現(xiàn)跟蹤匹配,最后水下機器人對目標(biāo)進行跟蹤控制。
一體化網(wǎng)絡(luò)增加了運動物體的特征信息,擴充了原狀態(tài)向量的維度,稱新得到的狀態(tài)向量為擴維向量,以xk表示,向量構(gòu)成見式(7),X、Y、Z為AUV的三自由度位置量,φ、θ、ψ為繞三空間坐標(biāo)軸的旋轉(zhuǎn)角,F(xiàn)為特征向量。
特征向量F為10×1矩陣,其中元素f1~f10符合10維超球面分布。10維超球面由式(9)定義,中心位于原點且半徑為單位長度的n維球面稱為單位n維球面,記為S,超球面是n維球體n>2的表面或邊界,是n維流形的一種。不同目標(biāo)特征分布于超球面上不同位置,根據(jù)各特征點間歐氏距離r即可定量分析目標(biāo)間特征差異大小。
卡爾曼濾波(Kalman Filter, KF)是間接和不確定測量估計系統(tǒng)的最佳估計算法。KF是在線性濾波前提下,以最小均方誤差為最佳準(zhǔn)則估計線性高斯模型的優(yōu)化方法。我們認(rèn)為時間k的狀態(tài)是由(k-1)的狀態(tài)演變出來,隨機信號過程激勵噪聲和觀測噪聲滿足高斯正態(tài)分布且相互獨立。擴維濾波器通過一系列測量z1,z2…zk推斷p(xk),xk為前述擴維狀態(tài)向量,所有測量值均由檢測目標(biāo)得到,且在每一步中水下機器人均能檢測到目標(biāo)。
首先,對擴維濾波器進行狀態(tài)預(yù)測,此步驟預(yù)測基于馬爾可夫預(yù)測進行,見式(11)。
在產(chǎn)能、產(chǎn)量獨占鰲頭的同時,我國磷復(fù)肥產(chǎn)業(yè)產(chǎn)品品種日漸齊全,高濃度磷復(fù)肥占比顯著提升,各種專用肥、水溶肥、緩控釋肥、有機肥等新產(chǎn)品不斷涌現(xiàn),產(chǎn)業(yè)集中度顯著提高,技術(shù)裝備水平不斷優(yōu)化,資源利用水平不斷提高,已形成科研、設(shè)計、設(shè)備制造和安裝、生產(chǎn)、銷售、農(nóng)化服務(wù)等一整套完整的工業(yè)體系。此外,高濃度磷復(fù)肥裝置的國產(chǎn)化、大型化工作也取得突破性進展,“836”裝置基本實現(xiàn)自主化、國產(chǎn)化;大型濕法磷酸精制、硫酸的低溫位熱能回收、大型中低品位膠磷礦浮選、磷礦中氟和碘的回收、磷石膏綜合利用等自主開發(fā)的技術(shù)和裝備已經(jīng)實現(xiàn)產(chǎn)業(yè)化,行業(yè)自主創(chuàng)新能力持續(xù)增強。
式中表示跟蹤對象k時刻的狀態(tài)分布由(k-1)時刻推測而來。同時,p(xk-1)由前(k-1)步的所有測量值推測得到,由Chapman-Kolmogorov方程,可以寫作:
其中,狀態(tài)轉(zhuǎn)換xk|k-1中的wk為噪聲。
隨后,擴維濾波器進行更新,根據(jù)預(yù)測和測量結(jié)果生成后驗狀態(tài)估計,由貝葉斯公式:
其中,p(xk|z1:k-1)是狀態(tài)預(yù)測輸出,p(z k|xk)為似然估計,p(zk)為證據(jù)。
圖7表示了擴維濾波器預(yù)測-更新的工作流程。首先,濾波器對k時刻狀態(tài)進行預(yù)測,得到先驗分布(虛線橢圓),然后進行測量更新,更新后顯示為后驗結(jié)果zk(實線小橢圓)。上述步驟在擴維濾波器中迭代進行,k時刻后驗分布成為(k+1)時刻的先驗分布,以此類推。
圖7 擴維濾波器預(yù)測更新流程Fig.7 Predict & update process of extended-dimension filter
匈牙利算法是一種數(shù)據(jù)關(guān)聯(lián)(Data Association)算法,從本質(zhì)上講,跟蹤匹配算法解決的是數(shù)據(jù)關(guān)聯(lián)問題。匹配算法需要將上述擴維Kalman濾波器k時刻輸出與(k-1)時刻輸出進行匹配,在跟蹤場景中,算法將k時刻的bbox(bounding box)與(k-1)時刻的bbox兩兩匹配。
考慮兩個集合S、T的元素匹配,根據(jù)匹配法則不同,集合存在多種匹配結(jié)果。為得到最優(yōu)解匈牙利匹配算法的匹配準(zhǔn)則由代價矩陣(損失矩陣)C定義,在將檢測結(jié)果匹配到現(xiàn)有目標(biāo)時,目標(biāo)的新位置由估計位置確定,稱為bboxprediction,實際測量值稱為bboxmeasurement。代價矩陣C由先驗bboxprediction與后驗bboxmeasurement的交并比(IOU)確定,同時,當(dāng)二者交并比小于IOUmin時,取IOUmin。代價矩陣C如下。
其中,元素cij代表(k-1)幀第i個目標(biāo)bbox與k幀第j個目標(biāo)bbox的IOU。
隨后,匹配算法進行行、列歸約,試關(guān)聯(lián),代價矩陣更新等步驟,實現(xiàn)目標(biāo)數(shù)據(jù)匹配,主要流程如圖8。
圖8 匈牙利匹配算法流程圖Fig.8 Flowchart of Hungarian matching algorithm
本文算法主要應(yīng)用于小型水下機器人對水下目標(biāo)的跟蹤拍攝場景。由前述目標(biāo)檢測算法處理得到目標(biāo)檢測信息與目標(biāo)特征信息后,擴維Kalman濾波器進行預(yù)測、匹配,然后利用位置控制器、姿態(tài)控制器控制驅(qū)動電機對目標(biāo)進行跟蹤。水下機器人跟蹤控制原理如圖9所示。由圖10可見,通過圖像可以計算目標(biāo)主體中心與攝像機圖像中心的距離。以每一幀圖像的中心為原點,水平方向為y軸,豎直方向為z軸;設(shè)定目標(biāo)相對于z軸的水平距離為Δy,目標(biāo)相對于y軸的垂直距離為Δz,目標(biāo)與z軸之間的夾角為Δψ,由目標(biāo)面積與圖像面積的比例計算Δx,比例公式為式(16)。由此可以計算出四個自由度的偏差,從而控制水下機器人目標(biāo)跟蹤控制。
圖9 水下機器人跟蹤控制原理圖Fig.9 Schematics of AUV track and control
圖10 目標(biāo)與中心距離計算Fig.10 Calculation of distance between target and center
STarget為跟蹤目標(biāo)在圖像中占據(jù)面積;SGraphic為圖像面積;a為設(shè)定的比例系數(shù)。
在控制環(huán)節(jié)中,總體框架為串級雙閉環(huán)PID控制,內(nèi)環(huán)為姿態(tài)控制,外環(huán)為位置控制。姿態(tài)環(huán)選擇IMU測量的角速度及積分得到的角度量,實現(xiàn)AUV的姿態(tài)控制;位置環(huán)選擇AUV搭載相機的圖像識別處理結(jié)果,實現(xiàn)AUV的位置控制。
前述算法輸出的擴維信息,通過上述擴維Kalman濾波器解算出Δx、Δy、Δz、Δψ作為控制量輸入到水下機器人的位置姿態(tài)信息控制器,將偏差信息送入到位置控制器和姿態(tài)控制器,進而經(jīng)動力分配得到電機控制信息驅(qū)動電機工作,使水下機器人實現(xiàn)跟蹤控制。
目標(biāo)檢測和跟蹤是實現(xiàn)目標(biāo)跟蹤控制的兩個階段,目標(biāo)跟蹤是在目標(biāo)檢測的基礎(chǔ)上進行的,目標(biāo)檢測的精度將很大程度上影響目標(biāo)跟蹤的效果。實驗使用了自行標(biāo)注的水下目標(biāo)檢測數(shù)據(jù)集,包含遮擋、可見光反射等水下劣勢特征,使用訓(xùn)練集對網(wǎng)絡(luò)進行訓(xùn)練,訓(xùn)練后的模型在測試集進行測試。
實驗部分基于PyTorch框架,采用的電腦操作系統(tǒng)為Ubuntu16.04,處理器型號為i7-9700,GPU為GTX 1080Ti,具體配置見表1。
表1 實驗環(huán)境Tab.1 Experimental environment
訓(xùn)練過程中設(shè)置迭代次數(shù)為20000,網(wǎng)絡(luò)每次接收1個Batch數(shù)據(jù)后進行反向傳播,更新網(wǎng)絡(luò)權(quán)重。隨著網(wǎng)絡(luò)參數(shù)的迭代,損失函數(shù)大小穩(wěn)定下降,直到最終收斂。訓(xùn)練過程中模型的損失函數(shù)大小變化曲線如圖11所示。對比測試模型由基于YOLOv3官方模型(Darknet-53網(wǎng)絡(luò))使用水下目標(biāo)檢測數(shù)據(jù)集迭代訓(xùn)練50次得到。
圖11 損失函數(shù)變化曲線Fig.11 Chart of loss function
為了更直觀地評價模型的性能,常用平均精度(Average Precision, AP)評價模型的性能,計算公式如式(17)所示。
訓(xùn)練后模型在測試集進行性能評估,并與YOLOv3算法進行對比,經(jīng)過測試模型的P-R曲線如圖12所示,模型的AP值即為P-R曲線與坐標(biāo)軸所圍成的面積。
圖12 P-R曲線Fig.12 P-R Curve
YOLOv3算法的平均精度為82.76%,DFI模型經(jīng)過測試目標(biāo)檢測的平均精度為97.1%,高于傳統(tǒng)YOLOv3算法的精度。
在目標(biāo)檢測結(jié)果的基礎(chǔ)上,DFI網(wǎng)絡(luò)對目標(biāo)的表觀特征信息進行提取,并將檢測結(jié)果和表觀特征信息同時輸出。在跟蹤階段,使用擴維Kalman預(yù)測下一時刻的狀態(tài)并使用匈牙利匹配算法進行匹配。
測試實驗采用的電腦操作系統(tǒng)為Ubuntu16.04,處理器型號為i7-9700,GPU為GTX 1080Ti,具體配置見表1。分別對本文模型與YOLOv3官方模型進行測試。
本文算法測試實驗使用六個自行制作的水下目標(biāo)檢測數(shù)據(jù)集的測試集進行測試,輸入大小為640*640,測試集的水下環(huán)境均具備劣勢特征,包含遮擋、可見光反射等干擾。測試結(jié)果如表2所示。
表2 目標(biāo)跟蹤結(jié)果Tab.2 Test result of target tracking
表中第二列IDF1(Identification F-Score)指每個識別框中目標(biāo)ID識別的F值,是對IDP與IDR的綜合考量值。計算公式如式(18)所示。
式中IDTP和IDFP分別是真正ID數(shù)和假正ID數(shù)。
表中第二列IDP與第三列IDR主要針對每個目標(biāo)框ID,分別為識別精確度(Identification Precision)、識別回召率(Identification Recall)。計算公式如式(19)和式(20)所示。
式中IDFN是假負(fù)ID數(shù)。
表中第四列IDs為ID轉(zhuǎn)變數(shù)(ID switches),指跟蹤軌跡中目標(biāo)ID瞬間轉(zhuǎn)換的次數(shù),能夠反映跟蹤的穩(wěn)定性,該值越低越好。
最后一列MOTA(Multiple Object Tracking Accuracy)為跟蹤準(zhǔn)確度指標(biāo),是對上述指標(biāo)的綜合考慮,因此可以直觀地衡量算法的檢測跟蹤性能,通常MOTA值越高越好,計算公式如式(21)所示。
在式(21)中,表格第五列FN(False Negative)是測試集中假陰性的數(shù)量,指不能與預(yù)測關(guān)聯(lián)的真實軌跡點,表格第六列FP(False Positive)是測試集中假陽性的數(shù)量,指不能與真實軌跡關(guān)聯(lián)的預(yù)測點,IDSW(ID switch)是跟蹤對象被誤識別的次數(shù),每次被跟蹤的真實對象在跟蹤持續(xù)時間內(nèi)被錯誤地更改時,將被視為一個ID switch,GT(Ground Truth)是真實軌跡的邊界框數(shù)量。
在上述六個視頻序列測試中,平均的MOTA為58.70%,算法的幀率為22FPS。在同等軟硬件實驗條件下,經(jīng)測試,YOLOv3的平均MOTA值27.30%、幀率24FPS。與原算法相比,本文算法在速度幾乎不變的前提下,跟蹤性能提升了31.4%。
本文針對水下目標(biāo)檢測與跟蹤控制中,環(huán)境干擾影響跟蹤效果的問題,提出了基于檢測識別一體化網(wǎng)絡(luò)目標(biāo)檢測算法與跟蹤控制算法,擴維Kalman濾波算法在將目標(biāo)檢測結(jié)果作為輸入的同時,引入了目標(biāo)圖像特征信息,有利于提高跟蹤性能,同時特征提取依托檢測結(jié)果,只對有效的目標(biāo)進行特征提取,降低了計算量,提高了算法的效率。實驗結(jié)果表明,算法的檢測平均精度達到97.1%,MOTA為58.70%,幀率達到22FPS,通過與YOLOv3官方模型對比,在幀率損失僅2FPS的前提下,目標(biāo)檢測與跟蹤性能均有了較大提高,證明了本算法在提升抗干擾能力與跟蹤效果等方面的有效性。