卷積特征多伯努利視頻多目標(biāo)跟蹤算法*

楊金龍，湯 玉，張光南

1.江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無錫 214122

2.長(zhǎng)安大學(xué) 信息工程學(xué)院，西安 710064

1 引言

視頻目標(biāo)跟蹤技術(shù)一直是計(jì)算機(jī)視覺研究領(lǐng)域的熱點(diǎn)和難點(diǎn)問題之一，尤其是對(duì)數(shù)目未知且時(shí)變的視頻多目標(biāo)跟蹤技術(shù)研究，在軍事和民用領(lǐng)域都具有重要的意義，相關(guān)研究成果已得到廣泛應(yīng)用[1-2]。視頻多目標(biāo)跟蹤比單目標(biāo)跟蹤更為復(fù)雜，不僅包含視頻單目標(biāo)跟蹤中存在的復(fù)雜問題，如目標(biāo)自身旋轉(zhuǎn)、變形、快速運(yùn)動(dòng)或相機(jī)抖動(dòng)等導(dǎo)致的模糊、受光照變化的影響、背景干擾等[3-4]，同時(shí)還包含視頻多目標(biāo)存在的緊鄰和交叉運(yùn)動(dòng)，導(dǎo)致目標(biāo)出現(xiàn)重疊和分裂等相互干擾現(xiàn)象。此外，視頻目標(biāo)的數(shù)目也不確定，可能存在新出現(xiàn)目標(biāo)或目標(biāo)消失等情況，難以正確區(qū)分各個(gè)目標(biāo)。

針對(duì)上述問題，學(xué)者提出了許多方法，主要可以概括為以下幾方面:

（1）基于數(shù)據(jù)關(guān)聯(lián)的目標(biāo)檢測(cè)跟蹤方法。通常采用目標(biāo)檢測(cè)器對(duì)視頻序列進(jìn)行多目標(biāo)檢測(cè)，然后借助數(shù)據(jù)關(guān)聯(lián)等技術(shù)完成視頻多目標(biāo)跟蹤。典型的數(shù)據(jù)關(guān)聯(lián)如線性規(guī)劃（linear programming）[5]、信任傳播（belief propagation）[6]、網(wǎng)絡(luò)流（network flow）[7-8]、圖分解（subgraph decomposition）[9]、多假設(shè)跟蹤（multiple hypothesis tracking）[10]等。雖然這些方法在視頻多目標(biāo)跟蹤中取得了一定的效果，但由于復(fù)雜的數(shù)據(jù)關(guān)聯(lián)運(yùn)算，一定程度上降低了算法的運(yùn)算效率。

（2）隨機(jī)有限集（random finite set，RFS）濾波視頻多目標(biāo)跟蹤方法。隨機(jī)有限集理論是解決復(fù)雜環(huán)境下數(shù)目未知且時(shí)變多目標(biāo)跟蹤問題的有效理論工具。分別將每個(gè)時(shí)刻的目標(biāo)狀態(tài)和觀測(cè)建模為獨(dú)立的隨機(jī)有限集，借助多目標(biāo)貝葉斯估計(jì)理論遞推估計(jì)多目標(biāo)聯(lián)合狀態(tài)的后驗(yàn)概率，可有效避免觀測(cè)與目標(biāo)之間復(fù)雜的數(shù)據(jù)關(guān)聯(lián)運(yùn)算。自Mahler[11]提出概率假設(shè)密度（probability hypothesis density，PHD）和多目標(biāo)多伯努利（multi-target multi-Bernoulli，MeMBer）濾波器之后，隨機(jī)有限集理論在目標(biāo)跟蹤領(lǐng)域得到了廣泛的應(yīng)用。概括來說，基于隨機(jī)有限集理論的多目標(biāo)跟蹤算法主要包含兩大類：基于概率假設(shè)密度（PHD）/勢(shì)概率假設(shè)密度（cardinalized PHD，CPHD）的多目標(biāo)跟蹤算法和基于多伯努利（MeMBer）/勢(shì)均衡多伯努利（cardinality balanced MeMber，CBMeMBer）的多目標(biāo)跟蹤算法。典型的閉合解有：粒子濾波PHD/CPHD、高斯混合PHD/CPHD、粒子濾波CBMeMBer和高斯混合CBMeMBer等及其基于箱粒子（box-PF）、邊緣粒子（Rao-Blackwellised particle filter，RBPF）、變分貝葉斯（variational Bayes，VB）等改進(jìn)算法[12-23]。近年來，尤其是對(duì)多伯努利濾波器改進(jìn)而形成的δ廣義標(biāo)簽多伯努利（δ-generalized labeled multi-Bernoulli，δ-GLMB）濾波算法、標(biāo)簽多伯努利（labeled multi-Bernoulli，LMB）算法、泊松多伯努利（Poisson multi-Bernoulli，PMB）濾波算法等[20,24]，在目標(biāo)跟蹤領(lǐng)域中得到了廣泛關(guān)注。

近幾年，雖然隨機(jī)有限集理論在多目標(biāo)跟蹤領(lǐng)域得到了不斷完善，尤其是針對(duì)點(diǎn)目標(biāo)跟蹤、擴(kuò)展目標(biāo)跟蹤等[12-22]，但基于隨機(jī)有限集濾波算法在視頻目標(biāo)跟蹤上的應(yīng)用還比較少，國(guó)內(nèi)也處于起步階段。論文主要集中在類似于點(diǎn)目標(biāo)處理方法，將隨機(jī)有限集濾波框架推廣到視頻多目標(biāo)跟蹤中，如文獻(xiàn)[25-28]提出在概率假設(shè)密度（PHD）濾波框架的基礎(chǔ)上實(shí)現(xiàn)視頻多目標(biāo)跟蹤。文獻(xiàn)[29-32]提出在多伯努利（MeMBer）濾波框架的基礎(chǔ)上實(shí)現(xiàn)視頻多目標(biāo)跟蹤，將視頻多目標(biāo)建模為隨機(jī)有限集的形式，采用粒子或高斯概率假設(shè)密度和多伯努利濾波方法進(jìn)行目標(biāo)狀態(tài)提取。文獻(xiàn)[33-35]在標(biāo)簽多伯努利（LMB）框架下實(shí)現(xiàn)了視頻多目標(biāo)跟蹤，考慮多伯努利濾波分量的標(biāo)記信息，即在跟蹤過程中綜合考慮視頻目標(biāo)的身份信息，提高了算法對(duì)視頻目標(biāo)的跟蹤效率。但當(dāng)視頻多目標(biāo)跟蹤過程中出現(xiàn)典型的如目標(biāo)交叉、緊鄰或復(fù)雜背景干擾及遮擋時(shí)，性能將下降，甚至出現(xiàn)濾波器失效而導(dǎo)致目標(biāo)漏跟或錯(cuò)跟現(xiàn)象。

針對(duì)上述問題，本文在多伯努利濾波框架下，深度分析目標(biāo)的特征信息，引入抗干擾的卷積特征，提出基于卷積特征的多伯努利視頻多目標(biāo)跟蹤算法，并在目標(biāo)狀態(tài)提取過程中，進(jìn)一步提出模板更新策略，使用自適應(yīng)學(xué)習(xí)速率進(jìn)行更新，適應(yīng)目標(biāo)的變化，以解決目標(biāo)緊鄰相互干擾的問題。最后，本文進(jìn)一步引入粒子標(biāo)記技術(shù)，實(shí)現(xiàn)了對(duì)視頻多目標(biāo)的航跡跟蹤。

2 算法基礎(chǔ)

2.1 多伯努利濾波原理

多伯努利隨機(jī)有限集可看作多個(gè)相互獨(dú)立的單伯努利隨機(jī)有限集X(i)的并集，即，M表示伯努利隨機(jī)有限集的個(gè)數(shù)。令r(i)和p(i)分別表示每個(gè)單伯努利RFS 中元素的存在概率和概率分布，則多伯努利RFS的概率密度可表示為[21]：

隨機(jī)有限集可由其概率密度函數(shù)進(jìn)行描述，該集合的平均勢(shì)估計(jì)即為目標(biāo)數(shù)目估計(jì)。假設(shè)一個(gè)參數(shù)集可描述一個(gè)多伯努利RFS，則多目標(biāo)多伯努利濾波就是將狀態(tài)集和觀測(cè)集都采用多伯努利RFS 近似表示，通過預(yù)測(cè)和更新步驟遞推r(i)和p(i)以實(shí)現(xiàn)多目標(biāo)跟蹤。本文算法是在CBMeMBer框架下提出，關(guān)于CBMeMBer 算法的具體步驟可參考文獻(xiàn)[14]。

2.2 目標(biāo)卷積特征及量測(cè)似然

為了提高提出算法對(duì)緊鄰目標(biāo)及存在背景或其他目標(biāo)干擾的跟蹤能力，對(duì)目標(biāo)特征進(jìn)行深度分析，引入卷積特征[36]對(duì)目標(biāo)進(jìn)行描述，并在跟蹤過程中，融合目標(biāo)的卷積特征建立似然模型，采用多伯努利標(biāo)記粒子濾波方法提取目標(biāo)的狀態(tài)及其身份標(biāo)識(shí)。卷積特征提取及似然模型建立過程如下。

（1）圖像預(yù)處理

從視頻第一幀中得到目標(biāo)圖像作為輸入圖像，規(guī)范化輸入圖像的尺寸為n×n（本文為32×32），并轉(zhuǎn)化為灰度圖像I，采用大小為w×w（本文為6×6）的窗口滑動(dòng)。如圖1所示，從規(guī)范后圖像的左上角開始，每次向右滑動(dòng)1個(gè)像素，直到最右邊，再回到最左邊，向下滑動(dòng)1 個(gè)像素，重復(fù)之前過程，直到目標(biāo)圖像的右下角為止，得到目標(biāo)圖像小塊的集合y={Y1,Y2,…,Yl}，其中Yi∈Rw×w，l=(n-w+1)×(n-w+1)。然后，對(duì)每個(gè)小塊Yi中的像素減去該小塊的均值，以消除亮度的影響，只保留其梯度信息，并做2范數(shù)歸一化處理。

Fig.1 Legend of window slide method圖1 窗口滑動(dòng)方法圖例

（2）卷積特征提取

在目標(biāo)預(yù)處理結(jié)束后，采用K-means算法[37]選擇出d（本文為100）個(gè)小塊的集合并用第i個(gè)小塊在圖像I上做卷積操作，得到一個(gè)目標(biāo)特征圖，其中

為弱化背景的干擾，在目標(biāo)建模時(shí)，先在目標(biāo)附近采集m（本文為20）個(gè)背景樣本，背景樣本通過將第一幀的目標(biāo)框做上下平移運(yùn)動(dòng)得到，平移的值隨機(jī)產(chǎn)生，但向左或者向右平移值的絕對(duì)值需大于寬和高的1/4，然后對(duì)采集的背景樣本進(jìn)行與上述目標(biāo)圖像相同的預(yù)處理操作。如圖2所示，綠色框?yàn)槟繕?biāo)的真實(shí)位置，藍(lán)色框?yàn)椴杉谋尘皹颖荆t色框?yàn)檎鎸?shí)位置向外擴(kuò)張1/4 的結(jié)果。對(duì)每一個(gè)背景樣本采用Kmeans算法選取d個(gè)特征小塊，其中，第i個(gè)背景樣本的特征小塊集合為將m個(gè)背景樣本獲得的特征小塊進(jìn)行平均池化操作以生成背景的平均特征小塊集合，即最后，將其與圖像I做卷積操作，得到背景在圖像上的特征圖，本文稱為背景特征圖

Fig.2 Legend of background sample sampling method圖2 背景樣本采樣方法圖例

如圖3 所示，將得到的d個(gè)特征圖Si按行展開，成為d個(gè)一維向量，并按順序拼接，最終得到目標(biāo)的卷積特征c，其中，c∈R(n-w+1)2d。

Fig.3 Legend of convolution feature圖3 卷積特征獲得圖例

（3）稀疏表示特征圖

將特征圖集S看作三維的張量C∈R(n-w+1)×(n-w+1)×d，基于該張量，可以較好地描述目標(biāo)，并具有較好的魯棒性，張量中值越高的地方與目標(biāo)的某個(gè)特征越匹配。因此，通過對(duì)張量稀疏化表示[38]來凸顯目標(biāo)的特征，利用稀疏向量c去逼近vec(C)，使式（4）的目標(biāo)函數(shù)最小化：

其中，vec(C)是串聯(lián)C中所有元素的列向量，vec(C)∈R(n-w+1)2d。此外，通過soft-shrinking 方法[39]可求得稀疏表示的唯一解，即：

其中，λ是張量C的中位數(shù)。

通過式（4）和式（5）得出的稀疏表示c可凸顯目標(biāo)的主要特征，為此在下文目標(biāo)模板更新時(shí)，將其融合到更新公式中以加強(qiáng)對(duì)目標(biāo)主要特征的描述，以降低非主要特征的干擾。

（4）量測(cè)似然建模

在視頻跟蹤過程中，為了衡量目標(biāo)模板與候選模板之間的相似度，提出算法中建立如式（6）所示的量測(cè)似然模型，其中，ch表示候選目標(biāo)卷積特征，c為目標(biāo)的卷積特征，即：

3 視頻多目標(biāo)跟蹤算法

在使用卷積特征對(duì)目標(biāo)建立似然模型的基礎(chǔ)上，融合到多伯努利濾波框架下，實(shí)現(xiàn)對(duì)視頻多目標(biāo)的跟蹤。首先，采用卷積特征對(duì)多個(gè)目標(biāo)分別建立有區(qū)分背景能力的特征圖，并根據(jù)候選目標(biāo)特征與目標(biāo)模板進(jìn)行量測(cè)似然建模，采用粒子標(biāo)記技術(shù)[40]濾波，提取目標(biāo)狀態(tài)。在對(duì)緊鄰多目標(biāo)跟蹤時(shí)，提出自適應(yīng)的處理方法，設(shè)計(jì)自適應(yīng)目標(biāo)更新策略，有效提高算法的跟蹤精度。提出算法的流程框圖如圖4 所示，主要步驟和自適應(yīng)處理方法如下。

3.1 算法步驟

Fig.4 Flow of proposed algorithm圖4 算法流程框圖

本文采用x=[m,n,w,h]的形式表示目標(biāo)狀態(tài)向量，其中m、n、w、h分別為目標(biāo)跟蹤框的左上角橫坐標(biāo)、左上角縱坐標(biāo)、寬和高。具體算法步驟如下：

步驟1初始化。

步驟1.1存在目標(biāo)初始化。在初始時(shí)刻k=0，對(duì)存在目標(biāo)設(shè)置目標(biāo)狀態(tài)集，并設(shè)置目標(biāo)的存在概率Ps（實(shí)驗(yàn)中設(shè)為0.99），其中，M0表示目標(biāo)的個(gè)數(shù)。采用第2.2 節(jié)描述的方法，提取目標(biāo)i的卷積特征，并利用粒子濾波技術(shù)對(duì)目標(biāo)進(jìn)行采樣。

步驟1.2新生目標(biāo)初始化。在實(shí)際場(chǎng)景中，新生的目標(biāo)一般出現(xiàn)在固定的范圍，根據(jù)這個(gè)假設(shè)，設(shè)置新生目標(biāo)集和新生概率PΓ（實(shí)驗(yàn)中設(shè)為0.02），其中MΓ表示目標(biāo)的個(gè)數(shù)，并提取新生目標(biāo)i的卷積特征

步驟2多伯努利預(yù)測(cè)。

根據(jù)視頻序列的先驗(yàn)信息對(duì)存在目標(biāo)和新生目標(biāo)進(jìn)行狀態(tài)預(yù)測(cè)。本文采用隨機(jī)游走模型作為目標(biāo)的運(yùn)動(dòng)模型。即x(k+1)=x(k)+g(k)，其中g(shù)(k)為高斯噪聲。則存活目標(biāo)預(yù)測(cè)后的多伯努利集參數(shù)為：

步驟3多伯努利更新。

步驟3.1提取粒子表示的候選目標(biāo)的卷積特征，計(jì)算目標(biāo)i的第j個(gè)粒子與目標(biāo)i的卷積特征模板的觀測(cè)似然值g(x(i,j))，即：

步驟3.2更新多伯努利集。通過粒子的觀測(cè)似然值更新目標(biāo)粒子多伯努利參數(shù)[41]：

步驟4分量刪減及目標(biāo)狀態(tài)提取。

在每一時(shí)刻，目標(biāo)多伯努利集會(huì)隨著目標(biāo)的新生而一直增加，因此對(duì)于存在概率較小的伯努利分量（實(shí)驗(yàn)中設(shè)為小于0.1）認(rèn)為其不存在，并將其刪除，提高算法的效率。對(duì)于存在概率大的伯努利分量（實(shí)驗(yàn)中設(shè)為大于0.5），則根據(jù)其更新后的伯努利分量提取其狀態(tài)。

步驟5模板自適應(yīng)更新。

3.2 目標(biāo)軌跡跟蹤

對(duì)于多伯努利濾波算法無法得到各個(gè)目標(biāo)運(yùn)動(dòng)軌跡的問題，本文引入粒子標(biāo)記技術(shù)，通過對(duì)比伯努利分量的標(biāo)記來獲得各個(gè)目標(biāo)的完整軌跡。具體標(biāo)記方法步驟如下：

（1）標(biāo)記預(yù)測(cè)。對(duì)k時(shí)刻的伯努利分量標(biāo)記的預(yù)測(cè)Bk|k-1，可以通過新生目標(biāo)的多伯努利分量的標(biāo)記BΓ和k-1時(shí)刻存活目標(biāo)的多伯努利分量的標(biāo)記Bk-1來獲得，即：

新生的多伯努利分量標(biāo)記B?？杀硎緸椋?/p>

其中，MΓ,k是k時(shí)刻新生伯努利分量的個(gè)數(shù)，LΓ為新生伯努利分量的粒子數(shù)。

k-1 時(shí)刻存活目標(biāo)的多伯努利分量的標(biāo)記Bk-1可表示為：

（2）標(biāo)記更新。通過預(yù)測(cè)后的伯努利分量的標(biāo)記更新量測(cè)數(shù)據(jù)的標(biāo)記，可以表示為：

其中，|Zk|表示量測(cè)的個(gè)數(shù)，=Bk|k-1,n=1,2,…,|Zk|。

本文中，當(dāng)多個(gè)伯努利分量合并時(shí)，合并后的伯努利分量標(biāo)記選取存在概率較大的伯努利分量的標(biāo)記。

3.3 模板自適應(yīng)更新

由于目標(biāo)在運(yùn)動(dòng)過程中，受復(fù)雜背景干擾、目標(biāo)自身扭曲或其他形狀變化等，目標(biāo)狀態(tài)不斷發(fā)生變化，如果不對(duì)目標(biāo)模板進(jìn)行更新，會(huì)導(dǎo)致目標(biāo)跟蹤不準(zhǔn)確，甚至導(dǎo)致跟蹤失敗。本文融合當(dāng)前估計(jì)模板和原模板進(jìn)行自適應(yīng)更新模板，即[36]：

其中，ρ為自適應(yīng)學(xué)習(xí)速率，ct、ct-1分別為t、t-1時(shí)刻的目標(biāo)模板，為t-1時(shí)刻對(duì)目標(biāo)跟蹤結(jié)果的卷積特征的稀疏表示，可以通過式（5）獲得，卷積特征的稀疏表示能夠凸顯目標(biāo)的主要特征。從式（14）可以看出，通過稀疏表示和原模板結(jié)合的更新方法能夠增強(qiáng)目標(biāo)主要特征的重要性，弱化次要特征，使更新后的目標(biāo)模板能夠較好地表示目標(biāo)。

針對(duì)自適應(yīng)學(xué)習(xí)速率ρ的取值，本文提出根據(jù)目標(biāo)兩幀之間的狀態(tài)變化和目標(biāo)之間的緊鄰程度進(jìn)行自適應(yīng)調(diào)整。

（1）自適應(yīng)學(xué)習(xí)速率

當(dāng)目標(biāo)發(fā)生變化時(shí)，目標(biāo)跟蹤框的相對(duì)位置和大小都會(huì)發(fā)生相應(yīng)的變化，因此通過前后幀跟蹤框之間的相對(duì)位置和大小變化程度可判斷目標(biāo)的變化情況，進(jìn)而可以設(shè)計(jì)自適應(yīng)學(xué)習(xí)速率。

如圖5 所示，綠色跟蹤框S1是目標(biāo)當(dāng)前跟蹤結(jié)果，假設(shè)紅色框S2和黃色框S3為目標(biāo)下一幀的兩種不同跟蹤結(jié)果?？梢钥闯觯S色框S3較之紅色框S2，目標(biāo)的變化程度較大，如果采用傳統(tǒng)的與S1相交部分的面積來表示目標(biāo)變化程度，可以發(fā)現(xiàn)，不管目標(biāo)框增大多少，相交部分面積始終不變，不能體現(xiàn)目標(biāo)的變化程度。而本文提出采用與S1不相交部分面積來表示目標(biāo)變化程度，明顯可以看出，S3與S1不相交部分的面積大于S2與S1不相交部分的面積，可以反映出黃色框S3的變化程度比紅色框S2的變化程度要大。

Fig.5 Change of target tracking boxes圖5 目標(biāo)跟蹤框變化示例

假設(shè)第k-1幀目標(biāo)i的狀態(tài)為，跟蹤框內(nèi)區(qū)域表示為S1，第k幀目標(biāo)i的狀態(tài)為，跟蹤框內(nèi)區(qū)域表示為S2。圖5所示為前后兩幀跟蹤框重合的情況，假設(shè)相鄰幀目標(biāo)跟蹤框不相交區(qū)域(差異性)為S1,2，即S1,2=S1?S2-S1?S2，則學(xué)習(xí)率定義為：

圖6 所示為另外兩組圖像前后幀中目標(biāo)跟蹤框部分重疊情況，圖中紅色框S1表示上一幀時(shí)刻跟蹤結(jié)果，綠色框S2表示當(dāng)前幀跟蹤結(jié)果。圖6（a）中，左側(cè)目標(biāo)減小，右側(cè)目標(biāo)增大，根據(jù)式（19）同樣可以獲得目標(biāo)的學(xué)習(xí)率，從而使模板更新適應(yīng)目標(biāo)框大小的自適應(yīng)變化。圖6（b）中，左側(cè)目標(biāo)移動(dòng)速度快，對(duì)應(yīng)不相交部分面積會(huì)較大，右側(cè)目標(biāo)移動(dòng)速度慢，對(duì)應(yīng)不相交面積會(huì)較小。因此，根據(jù)式（19），左側(cè)目標(biāo)的學(xué)習(xí)率會(huì)大于右側(cè)的學(xué)習(xí)率，從而可以使得模板更新適應(yīng)目標(biāo)的運(yùn)動(dòng)快慢。

（2）緊鄰目標(biāo)自適應(yīng)更新機(jī)制

多目標(biāo)交叉運(yùn)動(dòng)或其他緊鄰目標(biāo)運(yùn)動(dòng)時(shí)，可能會(huì)存在一個(gè)目標(biāo)被另一個(gè)目標(biāo)遮擋（或部分遮擋）。如圖7 所示，如果遮擋程度較大，則剩余目標(biāo)特征將不足以描述真實(shí)目標(biāo)，仍然進(jìn)行模板更新，可能會(huì)導(dǎo)致模板被惡化，難以有效估計(jì)目標(biāo)的狀態(tài)，甚至導(dǎo)致后續(xù)目標(biāo)的跟蹤失敗。因此，對(duì)緊鄰目標(biāo)，提出算法將進(jìn)行自適應(yīng)判斷，根據(jù)目標(biāo)相交（干擾）程度θ來確定是否需要更新模板。

Fig.6 Target tracking boxes before and after frames圖6 前后兩幀目標(biāo)跟蹤框

假設(shè)k時(shí)刻，目標(biāo)i的狀態(tài)為，其跟蹤框內(nèi)區(qū)域?yàn)镾1，目標(biāo)j的狀態(tài)為，其跟蹤框內(nèi)區(qū)域?yàn)镾2，假設(shè)目標(biāo)1 和目標(biāo)2 跟蹤框相交的區(qū)域?yàn)镾3，即S3=S1?S2，則兩個(gè)目標(biāo)的相交（干擾）程度定義為：

當(dāng)目標(biāo)相交程度θ大于設(shè)定閾值時(shí)，則目標(biāo)模板不更新，否則進(jìn)行自適應(yīng)更新，實(shí)驗(yàn)中閾值為θ=0.2。

圖7為兩個(gè)目標(biāo)交叉運(yùn)動(dòng)示意圖，兩個(gè)目標(biāo)分別經(jīng)歷了緊鄰、重疊和分離過程，圖中紅色框S1為左側(cè)目標(biāo)跟蹤框，綠色框S2為被遮擋目標(biāo)的跟蹤框，S1與S2的相交區(qū)域?yàn)镾3。如圖7（a）所示，當(dāng)紅色框的目標(biāo)接近綠色框的目標(biāo)時(shí)，相交區(qū)域S3就會(huì)逐漸增大，根據(jù)式（20）得到的相交程度θ也會(huì)隨著增大，說明目標(biāo)相互干擾程度在增大。當(dāng)增大超過設(shè)定的閾值時(shí)，則對(duì)目標(biāo)的模板不予更新，降低干擾的程度。如圖7（c）所示，當(dāng)兩個(gè)目標(biāo)相互分開時(shí)，跟蹤框的相交區(qū)域S3會(huì)逐漸減小，相交程度θ隨著減小，即目標(biāo)相互干擾程度減小，當(dāng)減小到設(shè)定的閾值時(shí)，對(duì)目標(biāo)模板恢復(fù)自適應(yīng)更新機(jī)制。

4 實(shí)驗(yàn)結(jié)果及分析

本文選擇3組數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，用于驗(yàn)證提出算法在目標(biāo)尺寸變化、目標(biāo)緊鄰、目標(biāo)數(shù)目變化等情況下的跟蹤性能。其中，實(shí)驗(yàn)1 為公共標(biāo)準(zhǔn)數(shù)據(jù)庫Terravic Research Infrared Database[42]中的一組紅外視頻序列圖像，實(shí)驗(yàn)2 和實(shí)驗(yàn)3 分別為標(biāo)準(zhǔn)的CAVIAR 數(shù)據(jù)庫[43]中兩組彩色序列圖像，并采用最優(yōu)次模式分配（optimal subpattern assignment，OSPA）距離統(tǒng)計(jì)[44]和目標(biāo)數(shù)目估計(jì)兩個(gè)指標(biāo)，分別對(duì)提出算法和基于直方圖的多伯努利多目標(biāo)跟蹤算法[41]進(jìn)行性能對(duì)比分析。算法中的參數(shù)設(shè)置如下：

目標(biāo)生存概率Ps=0.9，新生目標(biāo)概率PΓ=0.02，采樣粒子數(shù)目最小為L(zhǎng)min=100，最大為L(zhǎng)max=600。

4.1 實(shí)驗(yàn)1

本組實(shí)驗(yàn)中，涉及到目標(biāo)尺寸變化問題。左側(cè)目標(biāo)向左移動(dòng)，并且目標(biāo)尺寸逐漸縮小，右側(cè)目標(biāo)向右移動(dòng)，目標(biāo)尺寸逐漸變大。

圖8分別給出了文獻(xiàn)[41]和本文提出算法的跟蹤結(jié)果圖，可以看出，文獻(xiàn)[41]中算法能夠跟蹤上目標(biāo)，但無法適應(yīng)目標(biāo)尺寸的變化，在120 幀和150 幀時(shí)，右邊目標(biāo)只能被跟蹤一部分，跟蹤框不能完全包含目標(biāo)，而左邊目標(biāo)的跟蹤框包含過多的背景信息；提出的算法由于考慮了目標(biāo)的卷積特征，并采用自適應(yīng)的模板更新策略，取得了較好的跟蹤效果。

4.2 實(shí)驗(yàn)2

本組實(shí)驗(yàn)場(chǎng)景為具有出入口的交叉通道，涉及到目標(biāo)新生、目標(biāo)消失、目標(biāo)尺寸變化和目標(biāo)交叉運(yùn)動(dòng)等復(fù)雜問題。

Fig.8 Tracking results of the first experiment圖8 實(shí)驗(yàn)1跟蹤結(jié)果

圖9分別給出了文獻(xiàn)[41]算法和提出算法的跟蹤結(jié)果。可以看出，在70到130幀之間，位于圖中心的兩個(gè)目標(biāo)被左側(cè)出現(xiàn)的目標(biāo)遮擋，文獻(xiàn)[41]的算法不能區(qū)分交叉運(yùn)動(dòng)的目標(biāo)，當(dāng)兩個(gè)目標(biāo)緊鄰時(shí)，被誤跟為一個(gè)目標(biāo)，導(dǎo)致目標(biāo)被漏跟蹤；而本文提出算法，因?yàn)椴捎玫木矸e特征能夠區(qū)分不同目標(biāo)，并根據(jù)緊鄰目標(biāo)機(jī)制，在目標(biāo)相互遮擋過程中自適應(yīng)停止模板更新，避免模板被錯(cuò)誤更新，從而在整個(gè)跟蹤過程中能夠準(zhǔn)確地跟蹤每個(gè)目標(biāo)。

4.3 實(shí)驗(yàn)3

本組實(shí)驗(yàn)中，涉及目標(biāo)新生、目標(biāo)消失、目標(biāo)靠近、光照變化、目標(biāo)尺寸變化等復(fù)雜問題。實(shí)驗(yàn)中包含4 個(gè)目標(biāo)，每個(gè)目標(biāo)都經(jīng)歷從新生到消失的過程，目標(biāo)特征和大小一直發(fā)生變化，且目標(biāo)之間也相互緊鄰干擾。

圖10 分別給出了文獻(xiàn)[41]算法和本文提出算法的跟蹤結(jié)果?？梢钥闯?，文獻(xiàn)[41]算法中，當(dāng)目標(biāo)緊鄰時(shí)會(huì)出現(xiàn)目標(biāo)合并，導(dǎo)致目標(biāo)漏跟，并由于沒有考慮模板自適應(yīng)更新機(jī)制，不能適應(yīng)目標(biāo)特征的變化，導(dǎo)致目標(biāo)跟蹤失敗。提出算法中，由于考慮目標(biāo)的卷積特征，并設(shè)計(jì)了自適應(yīng)的模板更新機(jī)制，能較好地適應(yīng)目標(biāo)特征的變化，因此獲得了較好的多目標(biāo)跟蹤效果。

圖11給出了3組實(shí)驗(yàn)的OSPA距離統(tǒng)計(jì)，可以看出，提出算法采用卷積特征表示和模板自適應(yīng)更新機(jī)制，OSPA 統(tǒng)計(jì)距離明顯要低于文獻(xiàn)[41]算法。圖12 給出了3 組實(shí)驗(yàn)的目標(biāo)數(shù)目估計(jì)結(jié)果，可以看出，本文提出算法能夠在復(fù)雜環(huán)境下準(zhǔn)確估計(jì)目標(biāo)的數(shù)目，而文獻(xiàn)[41]算法因不能區(qū)分相似目標(biāo)和運(yùn)動(dòng)變化而導(dǎo)致目標(biāo)被錯(cuò)跟和漏跟。

Fig.10 Tracking results of the third experiment圖10 實(shí)驗(yàn)3跟蹤結(jié)果

5 結(jié)論

針對(duì)復(fù)雜環(huán)境下，數(shù)目未知且變化的視頻多目標(biāo)跟蹤問題，提出一種基于卷積特征的多伯努利跟蹤算法，引入K-means 訓(xùn)練的卷積特征，并融合目標(biāo)和背景的特征信息，構(gòu)建具有背景識(shí)別能力的似然模型，采用粒子標(biāo)記技術(shù)實(shí)現(xiàn)對(duì)視頻多目標(biāo)的跟蹤；針對(duì)目標(biāo)尺寸變化和目標(biāo)緊鄰問題，算法中提出模板自適應(yīng)更新策略，可以有效地提高算法對(duì)復(fù)雜環(huán)境下視頻多目標(biāo)的跟蹤能力，具有一定的實(shí)際工程應(yīng)用價(jià)值。

Fig.11 OSPA estimation of 3 experiments圖11 3組實(shí)驗(yàn)的OSPA精度統(tǒng)計(jì)

Fig.12 Target number comparison of 3 experiments圖12 3組實(shí)驗(yàn)?zāi)繕?biāo)數(shù)對(duì)比圖