檢測優(yōu)化的多伯努利視頻多目標(biāo)跟蹤算法*

楊金龍，程小雪，繆佳妮，張光南

1.江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院，江蘇無錫 214122

2.長安大學(xué)信息工程學(xué)院，西安 710064

1 引言

多目標(biāo)跟蹤[1]是目標(biāo)跟蹤方向的一個重要分支，作為經(jīng)典的計(jì)算機(jī)視覺問題，多目標(biāo)跟蹤在智能視頻監(jiān)控、智能交通管制及無人駕駛等領(lǐng)域有著廣泛的應(yīng)用。復(fù)雜環(huán)境下視頻多目標(biāo)跟蹤應(yīng)用中，除了光照變化、目標(biāo)形變和目標(biāo)遮擋等問題，目標(biāo)數(shù)目未知、新生目標(biāo)不確定、圖像模糊及雜波干擾等復(fù)雜問題，也一直是多目標(biāo)跟蹤領(lǐng)域中研究的難點(diǎn)。

早期的多假設(shè)跟蹤（multiple hypothesis tracking，MHT）[2]和聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)濾波（joint probabilistic data association filter，JDAF）[3]等方法，通過將目標(biāo)與量測建立明確的關(guān)聯(lián)實(shí)現(xiàn)多目標(biāo)跟蹤。這些方法在視頻多目標(biāo)跟蹤中取得了一定的效果，但是復(fù)雜的數(shù)據(jù)關(guān)聯(lián)過程，使得算法效率大幅度下降。此外，對數(shù)目未知且變化的多目標(biāo)跟蹤，存在目標(biāo)數(shù)目及狀態(tài)估計(jì)不準(zhǔn)確的問題。近年來，Mahler提出的隨機(jī)有限集（random finite set，RFS）[4]理論，分別對目標(biāo)狀態(tài)和觀測進(jìn)行隨機(jī)集建模，提供了一種自頂向下的多目標(biāo)跟蹤處理方法，可避免復(fù)雜的數(shù)據(jù)關(guān)聯(lián)運(yùn)算，尤其在對數(shù)目未知且變化的多目標(biāo)跟蹤中取得了一定的優(yōu)勢?；赗FS的算法，如概率假設(shè)密度（probability hypothesis density，PHD)[5]、勢概率假設(shè)密度（cardinalized PHD，CPHD）[6-7]、多伯努利濾波（multi-Bernoulli filter，MBF）[8-9]、勢均衡多伯努利濾波（cardinality balanced MBF，CBMBF）[10]等算法在視頻多目標(biāo)跟蹤中得到進(jìn)一步應(yīng)用。文獻(xiàn)[11]提出序貫蒙特卡羅（sequential Monte Carlo，SMC）的多伯努利濾波算法，如粒子多伯努利濾波（particle multi-Bernoulli filter，PMBF）[10]，借助多目標(biāo)貝葉斯估計(jì)理論遞推近似多目標(biāo)狀態(tài)集的后驗(yàn)概率密度分布，提高對數(shù)目變化多目標(biāo)的跟蹤精度。

得益于近幾年檢測算法[12]的突破性發(fā)展，基于檢測的跟蹤算法[13-14]逐步成為目前廣泛使用的視頻目標(biāo)跟蹤框架，基于RFS的濾波方法中，目標(biāo)的新生依賴于先驗(yàn)的新生強(qiáng)度函數(shù)，但在真實(shí)跟蹤場景中，通常難以準(zhǔn)確地給出目標(biāo)的新生強(qiáng)度函數(shù)。傳統(tǒng)的MBF、PHD算法[15-17]根據(jù)先驗(yàn)知識設(shè)置目標(biāo)的新生強(qiáng)度和新生區(qū)域，通常需要預(yù)先了解場景信息。文獻(xiàn)[18]給定目標(biāo)新生概率，使用量測值作為高斯分布的均值，提出量測驅(qū)動的目標(biāo)新生模型。同時，利用外觀特征信息來學(xué)習(xí)目標(biāo)的外觀模型，并構(gòu)造增強(qiáng)似然函數(shù)，提高跟蹤性能。文獻(xiàn)[19]基于量測似然較高的新生粒子建立自適應(yīng)目標(biāo)新生模型，借助空間關(guān)系，采用現(xiàn)有的數(shù)據(jù)驅(qū)動門限方法選擇目標(biāo)量測，降低跟蹤過程中更新步驟的時間復(fù)雜度。文獻(xiàn)[20]預(yù)先設(shè)定置信度閾值，自適應(yīng)地生成目標(biāo)新生強(qiáng)度。以上方法，對于目標(biāo)新生問題作出了很大貢獻(xiàn)，但是難以有效去除檢測結(jié)果中的干擾雜波，由新生目標(biāo)的量測確定新生強(qiáng)度也會導(dǎo)致跟蹤結(jié)果誤差較大。此外，目標(biāo)檢測作為檢測跟蹤算法的底層步驟，檢測器性能直接影響跟蹤算法的精度，復(fù)雜環(huán)境下誤檢與漏檢問題，是檢測跟蹤算法的一個典型挑戰(zhàn)。文獻(xiàn)[21]提出YOLOv3算法，該算法是對文獻(xiàn)[22-24]的一系列改進(jìn)，采用Darknet-53作為特征提取的網(wǎng)絡(luò)，在不同尺度上預(yù)測邊界框，具有較好的檢測效果與檢測速度，但對復(fù)雜環(huán)境的視頻多目標(biāo)檢測，同樣會出現(xiàn)誤檢和漏檢等問題。

針對上述視頻多目標(biāo)跟蹤過程中，目標(biāo)數(shù)目變化、目標(biāo)遮擋和檢測器漏檢、誤檢等問題，本文基于MBF跟蹤框架，采用YOLOv3檢測算法對視頻幀進(jìn)行預(yù)檢測，并采用卷積特征[25]描述目標(biāo)，計(jì)算相鄰幀目標(biāo)相似度矩陣，實(shí)現(xiàn)檢測框初步匹配，然后融合目標(biāo)模板、目標(biāo)軌跡和匹配框，進(jìn)一步提出目標(biāo)識別策略，結(jié)合目標(biāo)標(biāo)簽，有效進(jìn)行雜波剔除，實(shí)時對新生目標(biāo)判別和漏跟目標(biāo)重識別。重識別的目的是避免漏跟的目標(biāo)被重新跟上時，不至于被當(dāng)作新生目標(biāo)，可以和之前的軌跡關(guān)聯(lián)，減少軌跡碎片。最后，通過建立目標(biāo)遮擋處理機(jī)制，融合高置信度檢測框，優(yōu)化目標(biāo)運(yùn)動模型，提出目標(biāo)模板自適應(yīng)更新方法，去除跟蹤過程中的累積誤差，以實(shí)現(xiàn)視頻多目標(biāo)連續(xù)軌跡的優(yōu)化跟蹤。

本文的主要貢獻(xiàn)概括如下：

（1）由于傳統(tǒng)的PMBF需要事先給定目標(biāo)的新生位置，但在真實(shí)場景中，目標(biāo)的新生位置不確定，為此，本文在PMBF框架下，融入YOLOv3算法對視頻目標(biāo)進(jìn)行預(yù)檢測，并設(shè)計(jì)新生目標(biāo)及存活目標(biāo)判斷策略，以及漏跟目標(biāo)重識別策略，實(shí)現(xiàn)對預(yù)檢測目標(biāo)類別判決。YOLOv3檢測框置信度表示檢測框包含目標(biāo)的概率和檢測框與目標(biāo)匹配程度的得分，本文將低置信度檢測框判斷為誤檢或檢測不準(zhǔn)確，通過后續(xù)的PMBF濾波，實(shí)現(xiàn)對誤檢或檢測不準(zhǔn)確的多目標(biāo)進(jìn)行正確跟蹤，提高對目標(biāo)的跟蹤精度。

（2）基于對預(yù)檢測目標(biāo)類別判定，提出融合高置信度檢測框構(gòu)造目標(biāo)運(yùn)動模型，優(yōu)化目標(biāo)狀態(tài)預(yù)測，為后續(xù)狀態(tài)更新及提取奠定基礎(chǔ)。

（3）提出融合檢測結(jié)果的自適應(yīng)模板更新策略，并根據(jù)交并比和目標(biāo)運(yùn)動速度及方向?qū)Ρ徽趽跄繕?biāo)進(jìn)行判決處理，可有效提高算法對被遮擋目標(biāo)的估計(jì)精度。

（4）通過目標(biāo)身份識別標(biāo)記及漏跟目標(biāo)的重識別，實(shí)現(xiàn)對多目標(biāo)運(yùn)動航跡的關(guān)聯(lián)。

2 多伯努利濾波原理

在空間χ上，將多目標(biāo)狀態(tài)RFS表示為X={X(1),X(2),…,X(M)}，X(i)={(r(i),p(i))}為第i個目標(biāo)分量，通過伯努利參數(shù)(r(i),p(i))來參數(shù)化目標(biāo)后驗(yàn)概率分布，其中r(i)和p(i)分別表示第i個目標(biāo)的存在概率和概率分布。MBF采用貝葉斯理論對多目標(biāo)的后驗(yàn)概率分布進(jìn)行迭代更新，以達(dá)到對多目標(biāo)的狀態(tài)估計(jì)。

假設(shè)第k-1幀多目標(biāo)的后驗(yàn)概率分布為：

其中，Mk-1表示第k-1幀存活目標(biāo)的個數(shù)。則預(yù)測的多目標(biāo)概率分布可表示為：

pD,k(x)為目標(biāo)檢測概率，gk(z|x)表示量測似然函數(shù)，Zk、κk(z)分別表示量測集和雜波密度函數(shù)，第k幀目標(biāo)數(shù)目估計(jì)為Mk=Mk|k-1+|Zk|。

3 卷積特征提取

為了減少背景干擾，提取具有高區(qū)分性的目標(biāo)特征，本文采用文獻(xiàn)[25]中提出的卷積特征，提取每個目標(biāo)的表觀特征，特征提取主要分為三部分：構(gòu)造卷積核、提取卷積特征和相似度計(jì)算。

（1）構(gòu)造卷積核

在目標(biāo)框周圍，以目標(biāo)框大小的矩形框隨機(jī)采樣m個背景樣本框，背景樣本框與目標(biāo)框中心位置的距離，要求在水平方向距離大于1/4目標(biāo)框?qū)挾然蛘咴谪Q直方向距離大于1/4目標(biāo)框高度，然后將目標(biāo)框與背景樣本框尺寸規(guī)范化為n×n，并灰度化圖像，得到樣本集{I,B1,B2,…,Bm}，其中I表示目標(biāo)框圖像，Bi為第i個背景樣本圖像。使用大小為w×w的滑動窗口，以步長Δ分別對樣本集圖像進(jìn)行卷積操作，得到目標(biāo)圖像塊集合y={Y1,Y2,…,Yl}和背景圖像塊集合，為保留梯度信息，弱化亮度影響，將所有圖像塊減去自身均值并二范數(shù)歸一化處理，最終使用K-means算法[26]，從目標(biāo)圖像塊集合中選出d個圖像塊作為目標(biāo)卷積核：

從m個背景樣本對應(yīng)的背景圖像塊集合中，選出m×d個背景圖像塊，對這些圖像塊平均池化得到背景卷積核：

（2）提取卷積特征

利用式（12）中的目標(biāo)卷積核，在目標(biāo)圖像I上，以步長Δ進(jìn)行卷積操作，提取目標(biāo)特征圖。同時采用式（13）中的背景卷積核，同樣以步長Δ在圖像I上卷積=，得到相應(yīng)的背景特征圖

在目標(biāo)特征圖上進(jìn)行背景信息減除：

（3）相似度計(jì)算

為了更準(zhǔn)確地評價兩個框的相似程度，本文在目標(biāo)跟蹤過程中，通過式（15），計(jì)算出相似度，用于目標(biāo)模板、檢測框、跟蹤框等之間的相似性度量。

其中，fh、f分別為兩個框的卷積特征，表示f的二范數(shù)。

4 基于YOLOv3檢測的多伯努利視頻多目標(biāo)跟蹤

本文在MBF框架下，引入YOLOv3檢測算法對視頻幀進(jìn)行預(yù)檢測，通過計(jì)算相鄰幀檢測框的相似度矩陣，并進(jìn)行檢測框的初步匹配，加入目標(biāo)標(biāo)簽信息識別身份，融合高置信度檢測框、目標(biāo)軌跡和目標(biāo)模板，以剔除干擾雜波，提出目標(biāo)新生識別和漏跟目標(biāo)重識別策略以實(shí)現(xiàn)對目標(biāo)軌跡的連續(xù)估計(jì)。此外，設(shè)計(jì)目標(biāo)遮擋處理機(jī)制，提出目標(biāo)模板自適應(yīng)更新策略，進(jìn)一步實(shí)現(xiàn)多目標(biāo)的優(yōu)化跟蹤。本文算法基本框架如圖1所示，主要步驟如下。

4.1 相鄰幀目標(biāo)檢測

（1）相鄰幀目標(biāo)檢測

Fig.1 Flow graph of proposed algorithm圖1 提出算法的流程框圖

采用YOLOv3算法檢測第k和k+1幀視頻序列，記第k幀檢測框個數(shù)為n，檢測框狀態(tài)集為S?k=，第k+1幀檢測框個數(shù)為m，其檢測框狀態(tài)集為表示第i個檢測框狀態(tài)向量，參數(shù)分別表示第k幀第i個檢測框左上角的橫坐標(biāo)、縱坐標(biāo)，以及檢測框的寬、高和標(biāo)簽。

（2）相似度矩陣計(jì)算

采用第3章中的卷積特征表示第k幀和第k+1幀的檢測框，分別記為表示第k幀中第i個檢測框的卷積特征向量，計(jì)算檢測框特征對應(yīng)的相似度矩陣Λ：

從檢測框相似度矩陣Λ的每一行選擇值最大且大于相似度閾值Tl的兩個檢測框作為匹配結(jié)果，由于視頻幀中目標(biāo)連續(xù)變化，假定同一個目標(biāo)在相鄰兩幀不會出現(xiàn)特別大的位移變化，因此本文在相似度匹配的基礎(chǔ)上，加入目標(biāo)框的交并比（intersection over union，IOU）作為限制，對于多個相似度較高的目標(biāo)框，利用IOU作為限制條件，可有效剔除相似目標(biāo)框?qū)ζヅ浣Y(jié)果的影響，若兩個檢測框的IOU大于IOU閾值Tu，則可判定兩個檢測框匹配，假設(shè)第k幀中的第i個檢測框與第k+1幀中的第j個檢測框匹配，則為第k+1幀中匹配的檢測框賦值標(biāo)簽，即

4.2 目標(biāo)識別

根據(jù)相鄰幀的檢測框、目標(biāo)模板和存活目標(biāo)軌跡來進(jìn)行目標(biāo)識別。將第k幀檢測框與第k+1幀檢測框進(jìn)行匹配，對于第k幀中第i個檢測框，若為空，則表示該檢測框包含的目標(biāo)在第k-1幀中未被檢測到，采用與相鄰幀檢測框匹配相同的計(jì)算方法，將該檢測框與存活目標(biāo)軌跡、目標(biāo)模板進(jìn)行匹配，提出如下目標(biāo)識別過程：

（1）新生目標(biāo)識別

（2）漏跟目標(biāo)重識別

（3）存活目標(biāo)識別

（4）干擾雜波識別

目標(biāo)識別過程中，為每個檢測框目標(biāo)進(jìn)行標(biāo)簽賦值，實(shí)現(xiàn)對新生目標(biāo)賦值新標(biāo)簽，實(shí)現(xiàn)對存活目標(biāo)和重識別目標(biāo)與之前軌跡進(jìn)行匹配關(guān)聯(lián)，并在后續(xù)PMBF濾波時，通過標(biāo)簽將對應(yīng)的檢測框進(jìn)行優(yōu)化濾波，以提高對目標(biāo)跟蹤的準(zhǔn)確率。尤其是在目標(biāo)重識別環(huán)節(jié)，通過對目標(biāo)的重識別，可以避免把重識別的目標(biāo)當(dāng)作新生目標(biāo)，有效減少被重新起始的軌跡數(shù)量。

4.3 目標(biāo)預(yù)測

假設(shè)目標(biāo)運(yùn)動模型為隨機(jī)游走模型，根據(jù)目標(biāo)識別后的檢測信息，若目標(biāo)被檢測到，且檢測框置信度大于置信度閾值TB時，采用檢測框調(diào)整目標(biāo)狀態(tài)，即：

4.4 目標(biāo)狀態(tài)更新及提取

（1）目標(biāo)狀態(tài)更新

假設(shè)第k-1幀多目標(biāo)預(yù)測概率分布為：

（2）目標(biāo)狀態(tài)提取

本文算法采用文獻(xiàn)[16]中提出的粒子重采樣和伯努利分量刪減方式，來避免粒子退化，剔除存在概率過小的伯努利分量。根據(jù)更新后的多目標(biāo)后驗(yàn)概率分布，采用與文獻(xiàn)[16-17]相同的閾值τ(τ=0.5)，提取存在概率大于閾值τ的伯努利分量對應(yīng)的目標(biāo)狀態(tài)，通過選擇權(quán)重大于0.2且與目標(biāo)框的IOU值最大的粒子作為目標(biāo)狀態(tài)估計(jì)，既考慮了目標(biāo)的IOU值，同時又保證采樣粒子的權(quán)值不至于過小。如果粒子的權(quán)值比較大，但I(xiàn)OU值很小，說明粒子與目標(biāo)離得較遠(yuǎn)，可能不是目標(biāo)的最佳狀態(tài)；如果IOU比較大，但粒子權(quán)值比較小，說明粒子與目標(biāo)相似性較低，也可能不是目標(biāo)的最佳估計(jì)，因此在限定的粒子權(quán)值范圍內(nèi)，如果粒子權(quán)值和IOU都比較大，則最有可能是目標(biāo)的最佳估計(jì)。本文采用經(jīng)驗(yàn)值0.2作為粒子權(quán)重的閾值提取目標(biāo)狀態(tài)，即：

4.5 目標(biāo)模板自適應(yīng)更新

目標(biāo)運(yùn)動過程中，周圍環(huán)境及自身狀態(tài)會不斷發(fā)生變化，如背景變化、自身扭曲、旋轉(zhuǎn)及尺度變化等，因此需要對目標(biāo)模板進(jìn)行實(shí)時更新，本文算法綜合考慮采用存活目標(biāo)軌跡、目標(biāo)模板和目標(biāo)檢測結(jié)果進(jìn)行融合更新目標(biāo)模板，即：

4.6 目標(biāo)遮擋處理機(jī)制

當(dāng)相鄰兩個目標(biāo)框的IOU大于IOU閾值Tu時，可判定這兩個目標(biāo)出現(xiàn)遮擋情況，此時YOLOv3檢測器可能出現(xiàn)三種情況：（1）當(dāng)檢測器能檢測出這兩個目標(biāo)，表示目標(biāo)輕度遮擋，對目標(biāo)模板進(jìn)行自適應(yīng)更新；（2）當(dāng)只有一個目標(biāo)能被檢測器檢測出來時，可判定另一個目標(biāo)為被遮擋目標(biāo)，對被遮擋目標(biāo)，停止模板更新，采用該目標(biāo)前兩幀的位移差，估計(jì)目標(biāo)實(shí)時速度v與運(yùn)動方向θ，對目標(biāo)進(jìn)行預(yù)測估計(jì)，目標(biāo)框的大小保持不變；（3）當(dāng)兩個目標(biāo)都無法通過檢測器檢測出來時，依據(jù)式（15）計(jì)算兩個目標(biāo)框與對應(yīng)目標(biāo)模板的相似度，相似度小的目標(biāo)框，判定為被遮擋目標(biāo)，與第（2）種情況中采用同樣的方式處理被遮擋的目標(biāo)。若目標(biāo)在跟蹤過程中消失或者跟丟，在目標(biāo)分離或者重新出現(xiàn)時，可通過目標(biāo)識別策略對目標(biāo)進(jìn)行重識別。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 實(shí)驗(yàn)環(huán)境及參數(shù)

為了驗(yàn)證本文算法的有效性，實(shí)驗(yàn)在處理器為Intel Core i7-8700、3.2 GHz，12核，內(nèi)存為16 GB，顯卡為NVIDIA Geforce GTX 1080 Ti的工作站上運(yùn)行，采用Matlab2016a對本文算法進(jìn)行測試。實(shí)驗(yàn)采用公共數(shù)據(jù)集中5組典型的視頻序列，包括Visual Tracker Benchmark[27]TB50中的序列Huamn4，TB100中的序列Jogging、Subway、Suv和CAVUAR[28]中的序列Crossing（EnterExitCrossingPaths1cor）。表1為對應(yīng)視頻序列存在的主要問題，這5組典型視頻序列分別來源于不同場景，且包含相機(jī)移動、目標(biāo)遮擋、目標(biāo)形變、圖片模糊、光照變化等干擾情況。將本文算法與PMBF算法[12]、HIST（histogram feature filter）算法[8]、CNT（convolution network feature tracker）算法[29]和IOU-T（IOU tracker）算法[30]進(jìn)行性能比較與分析。其中，CNT、PMBF算法使用與本文算法相同的抗干擾卷積特征，HIST算法使用直方圖特征。在實(shí)驗(yàn)中，PMBF算法也利用YOLOv3的檢測結(jié)果，將判定為新生目標(biāo)的檢測結(jié)果作為PMBF算法的新生目標(biāo)，為了公平地比較，IOU-T算法同樣使用YOLOv3檢測結(jié)果。

Table 1 Tested video sequence表1 測試視頻序列

算法中參數(shù)設(shè)置如下：目標(biāo)存活概率Ps=0.9，存活目標(biāo)的最大、最小采樣粒子數(shù)目為100，新生目標(biāo)的最大、最小采樣粒子數(shù)目為=350、=100 。卷積特征提取時，目標(biāo)框尺寸規(guī)范化為32×32 (n=32)，滑動窗口大小為6×6 (w=6)，步長Δ=1，子塊的個數(shù)為d=100 。遮擋判斷時，目標(biāo)之間IOU閾值設(shè)為Tu=0.15。目標(biāo)匹配時，相似度閾值設(shè)為Tl=0.2。檢測框置信度閾值設(shè)為TB=0.9。

實(shí)驗(yàn)中采用的性能評價指標(biāo)主要為OSPA（optimal sub-patten assignment）距離統(tǒng)計(jì)[31]、目標(biāo)數(shù)目估計(jì)和多目標(biāo)跟蹤正確度（multiple object tracking accuracy，MOTA）[32]、多目標(biāo)跟蹤精度（multiple object tracking precision，MOTP）、軌跡完整目標(biāo)數(shù)目（mostly tracked，MT）、標(biāo)簽跳變數(shù)（identity switch，IDs），其中MOTA、MOTP、MT、IDs分別定義如下：

（1）多目標(biāo)跟蹤正確度（MOTA）

其中，mk為第k幀中被跟丟的目標(biāo)數(shù)量，fpk為第k幀誤檢的目標(biāo)數(shù)，mmek為第k幀中跟蹤軌跡中目標(biāo)標(biāo)簽發(fā)生跳變的個數(shù)，gk表示第k幀中目標(biāo)的實(shí)際數(shù)目。

（2）多目標(biāo)跟蹤精度（MOTP）

（3）軌跡完整目標(biāo)數(shù)目（MT），表示目標(biāo)跟蹤軌跡占真實(shí)軌跡長度80%以上的目標(biāo)軌跡數(shù)目，刻畫了軌跡的完整程度。

（4）標(biāo)簽跳變數(shù)（IDs），表示跟蹤過程中目標(biāo)標(biāo)簽發(fā)生變化的次數(shù)，即漏跟目標(biāo)重新被跟蹤后，如果不能與之前軌跡關(guān)聯(lián)，則標(biāo)簽發(fā)生跳變。

5.2 實(shí)驗(yàn)結(jié)果的定性分析

5.2.1 目標(biāo)重識別

視頻序列Crossing包含5個運(yùn)動目標(biāo)，存在目標(biāo)緊鄰和較長時間的目標(biāo)遮擋問題，同時伴隨目標(biāo)逐漸出現(xiàn)導(dǎo)致形變較大的情況等。目標(biāo)被長時間遮擋，當(dāng)目標(biāo)重新出現(xiàn)時，如圖2所示，檢測器檢測到重新出現(xiàn)的目標(biāo)，PMBF算法將重新出現(xiàn)的目標(biāo)判定為新生目標(biāo)，不能與之前該目標(biāo)的軌跡關(guān)聯(lián)，同時在跟蹤過程中，受目標(biāo)緊鄰和遮擋的干擾出現(xiàn)誤跟和跟蹤框偏移的現(xiàn)象；HIST算法則出現(xiàn)跟蹤框嚴(yán)重偏移；CNT算法中較為相似的目標(biāo)，在遮擋發(fā)生后，跟蹤框錯位；IOU-T算法完全拋棄使用圖像信息，只利用目標(biāo)檢測結(jié)果進(jìn)行跟蹤處理，無法繼續(xù)跟蹤漏檢目標(biāo)，當(dāng)目標(biāo)再次被檢測到時，同時被定義為新目標(biāo)，難以與歷史目標(biāo)關(guān)聯(lián)；而本文算法，較長時間被遮擋的目標(biāo)，由于存在概率逐漸降低導(dǎo)致目標(biāo)消失，如圖2（f）所示，當(dāng)目標(biāo)再次出現(xiàn)時，通過計(jì)算重新出現(xiàn)的目標(biāo)框與目標(biāo)模板的相似度，可有效地對目標(biāo)進(jìn)行重識別，將目標(biāo)重新加入到目標(biāo)跟蹤軌跡中，與之前軌跡關(guān)聯(lián)，減少軌跡碎片和標(biāo)簽跳變情況。

Fig.2 Tracking results of sequence Crossing圖2 Crossing序列跟蹤結(jié)果

5.2.2 目標(biāo)緊鄰與遮擋

視頻序列Jogging和Subway都存在目標(biāo)緊鄰與遮擋情況，其中視頻序列Jogging為相機(jī)移動的路口場景，包含3個運(yùn)動目標(biāo)，存在目標(biāo)被部分和完全遮擋的情況，視頻序列Subway包含8個運(yùn)動目標(biāo)，存在多個目標(biāo)緊鄰和頻繁被遮擋等問題。如圖3，目標(biāo)脫離遮擋狀態(tài)時，IOU-T算法將重新檢測到的目標(biāo)定義為新生目標(biāo)，PMBF、HIST算法即使沒有丟失目標(biāo)，但是跟蹤框的偏離程度卻增大，CNT算法則是出現(xiàn)跟蹤框跟丟的現(xiàn)象，而本文算法能很好地融合目標(biāo)的檢測結(jié)果和跟蹤結(jié)果，實(shí)現(xiàn)對跟蹤框進(jìn)行調(diào)整，可以獲得比較準(zhǔn)確的跟蹤結(jié)果。

對于多個目標(biāo)存在頻繁的緊鄰與遮擋，如圖4所示，YOLOv3難以檢測到被遮擋目標(biāo)或者檢測結(jié)果偏差較大，導(dǎo)致IOU-T算法頻繁丟失目標(biāo)，且跟蹤框不準(zhǔn)確，PMBF、HIST、CNT算法處理遮擋、緊鄰問題時，也會出現(xiàn)較大的偏差，甚至跟丟，本文算法引入遮擋處理機(jī)制，融合濾波和檢測結(jié)果，提取目標(biāo)運(yùn)動信息，能夠較好地對被遮擋目標(biāo)進(jìn)行跟蹤。

Fig.3 Tracking results of sequence Jogging圖3 Jogging序列跟蹤結(jié)果

5.2.3 圖像模糊與目標(biāo)形變

視頻序列Human4為相機(jī)移動紅綠燈路口場景，包括3種類型17個目標(biāo)，視頻中存在由于相機(jī)運(yùn)動或目標(biāo)快速運(yùn)動等造成的目標(biāo)模糊情況，且存在許多目標(biāo)頻繁發(fā)生形變問題。圖片模糊可能導(dǎo)致檢測器性能下降，部分目標(biāo)被漏檢，目標(biāo)形變對檢測器的性能影響較小，但可能出現(xiàn)檢測框不準(zhǔn)確的情況。如圖5所示，PMBF算法能跟上目標(biāo)，但部分目標(biāo)的跟蹤框會出現(xiàn)偏離，HIST算法出現(xiàn)跟蹤框嚴(yán)重偏離，CNT算法無法重新跟蹤漏跟的目標(biāo)，導(dǎo)致跟蹤精度下降，IOU-T算法則依賴于檢測器結(jié)果，無法處理漏檢和誤檢目標(biāo)，而本文算法有效地在濾波過程中融合檢測結(jié)果，能夠較好地處理這兩種情況，具有較高的跟蹤精度。

Fig.4 Tracking results of sequence Subway圖4 Subway序列跟蹤結(jié)果

Fig.5 Tracking results of sequence Human4圖5 Human4序列跟蹤結(jié)果

5.2.4 目標(biāo)大位移

視頻序列Suv為相機(jī)移動動態(tài)背景的公路場景，包含6個運(yùn)動目標(biāo)，存在快速運(yùn)動導(dǎo)致的大位移情況，同時也包含了目標(biāo)形變、目標(biāo)緊鄰與遮擋等問題。如圖6所示，目標(biāo)的大位移對檢測器沒有影響，IOU-T算法表現(xiàn)良好，而PMBF、HIST、CNT算法會出現(xiàn)目標(biāo)跟丟的情況，本文算法由于利用檢測器的結(jié)果去調(diào)整跟蹤過程，對于較大位移的目標(biāo)也具有很好的跟蹤效果。

5.3 實(shí)驗(yàn)結(jié)果的定量分析

MOTA、MOTP、ML、IDs這4個指標(biāo)的定量實(shí)驗(yàn)結(jié)果如表2所示，本文算法利用相似度矩陣對檢測框進(jìn)行關(guān)聯(lián)，且包含目標(biāo)重識別過程，有效減少了目標(biāo)標(biāo)簽的跳變。與對比方法相比，本文算法在IDs和MT指標(biāo)上具有明顯優(yōu)勢，即本文算法通過目標(biāo)重識別有效關(guān)聯(lián)了目標(biāo)軌跡，減少了軌跡碎片，提高了目標(biāo)軌跡完整性。

Fig.6 Tracking results of sequence Suv圖6 Suv序列跟蹤結(jié)果

YOLOv3檢測器在視頻序列Crossing、Suv上，檢測效果良好，因此對于MOTP指標(biāo)，IOU-T算法與本文算法表現(xiàn)相似，但是遮擋、緊鄰和大位移等問題的存在，使得HIST、CNT、PMBF算法在跟蹤過程中出現(xiàn)跟蹤框偏移、目標(biāo)漏跟等現(xiàn)象，跟蹤精度減少。視頻序列Jogging是比較簡單的視頻場景，本文算法的MOTA指標(biāo)與PMBF算法相差不大，但是MOTP指標(biāo)優(yōu)于對比算法，由于在實(shí)驗(yàn)中PMBF算法與本文算法采用了同樣的卷積特征和目標(biāo)新生方式，說明本文算法提出的自適應(yīng)更新策略能有效減少跟蹤過程中的累積誤差，更準(zhǔn)確地對目標(biāo)進(jìn)行跟蹤。對于存在目標(biāo)形變、目標(biāo)遮擋、圖像模糊等復(fù)雜的視頻序列，如視頻序列Subway和Human4，本文算法的MOTA指標(biāo)和MOTP指標(biāo)都具有明顯優(yōu)勢。

為了進(jìn)一步進(jìn)行對比分析，本文采用當(dāng)前圖片幀中跟蹤框的個數(shù)作為目標(biāo)數(shù)目估計(jì)值。圖7～圖11所示為目標(biāo)數(shù)目估計(jì)與OSPA距離估計(jì)對比圖，實(shí)驗(yàn)中PMBF、IOU-T算法和本文算法都是基于檢測結(jié)果判斷目標(biāo)新生，因此當(dāng)新生目標(biāo)部分出現(xiàn)，而檢測器無法檢測出時，目標(biāo)數(shù)目估計(jì)不準(zhǔn)確，OSPA值上升，而HIST、CNT算法固定目標(biāo)新生位置，若將部分出現(xiàn)的目標(biāo)作為跟蹤框會導(dǎo)致后續(xù)跟蹤精度下降，若對完整出現(xiàn)目標(biāo)進(jìn)行跟蹤，則對前面幀部分出現(xiàn)的目標(biāo)出現(xiàn)漏跟，目標(biāo)數(shù)目估計(jì)值減少，OSPA距離增大。目標(biāo)逐漸消失過程中，PMBF、CNT算法對目標(biāo)消失不敏感，可能導(dǎo)致目標(biāo)數(shù)目估計(jì)值增加，IOU-T算法由于檢測器的漏檢，會出現(xiàn)目標(biāo)數(shù)目估計(jì)值減少，導(dǎo)致OSPA突增。如圖8～圖11中左圖所示，當(dāng)新生目標(biāo)出現(xiàn)時，本文算法能很快將新生目標(biāo)檢測出并加入到目標(biāo)軌跡中，同時本文算法融合濾波器與檢測結(jié)果，提高了目標(biāo)消失過程中的跟蹤性能。PMBF、HIST、CNT算法在出現(xiàn)圖片模糊、目標(biāo)形變、目標(biāo)大位移、目標(biāo)緊鄰與遮擋等情況時，容易出現(xiàn)誤跟和漏跟，導(dǎo)致跟蹤框偏離較大，OSPA值上升。復(fù)雜環(huán)境下，檢測器性能下降，出現(xiàn)漏檢、誤檢，IOU-T算法受檢測器性能影響，導(dǎo)致目標(biāo)數(shù)目減少，跟蹤框不準(zhǔn)確，OSPA值急劇上升。本文算法包含目標(biāo)緊鄰與遮擋處理機(jī)制，同時利用檢測結(jié)果優(yōu)化濾波過程，整體跟蹤性能明顯優(yōu)于對比算法。

Table 2 Comparison of quantitative results表2 定量結(jié)果比較

6 結(jié)束語

本文提出了一種基于YOLOv3檢測的多伯努利視頻多目標(biāo)跟蹤算法，首先采用抗干擾的卷積特征描述目標(biāo)，弱化背景信息，通過計(jì)算相鄰幀檢測框的相似度矩陣，實(shí)現(xiàn)對檢測框的幀間匹配，利用檢測框與目標(biāo)模板、目標(biāo)軌跡的相似度匹配，剔除干擾雜波，實(shí)時進(jìn)行目標(biāo)新生判斷和漏檢目標(biāo)重識別，使得軌跡碎片減少，提高了軌跡完整性。同時，提取目標(biāo)運(yùn)動信息，建立目標(biāo)遮擋處理機(jī)制，實(shí)現(xiàn)遮擋情況下，對目標(biāo)的準(zhǔn)確跟蹤。在跟蹤過程中，利用高置信度檢測框優(yōu)化目標(biāo)運(yùn)動模型，提出目標(biāo)模板的自適應(yīng)更新策略，可有效去除跟蹤框累積誤差，提高對目標(biāo)和背景變化的自適應(yīng)性。實(shí)驗(yàn)結(jié)果表明，本文算法具有良好的跟蹤性能。

Fig.7 Comparison between object number estimation and OSPA distance estimation of sequence Crossing圖7 Crossing序列目標(biāo)數(shù)目估計(jì)與OSPA距離估計(jì)對比

Fig.8 Comparison between object number estimation and OSPA distance estimation of sequence Jogging圖8 Jogging序列目標(biāo)數(shù)目估計(jì)與OSPA距離估計(jì)對比

Fig.11 Comparison between object number estimation and OSPA distance estimation of sequence Suv圖11 Suv序列目標(biāo)數(shù)目估計(jì)與OSPA距離估計(jì)對比