基于數(shù)據(jù)關(guān)聯(lián)與軌跡評(píng)估的多目標(biāo)跟蹤

程艷云 朱松豪 Huet Alexis Pierre René

南京郵電大學(xué)

0 引言

多目標(biāo)跟蹤問題可描述為在一系列圖像中同時(shí)跟蹤多個(gè)移動(dòng)目標(biāo)，且能隨著時(shí)間推移，確定不同目標(biāo)的身份。目前基于檢測(cè)的多目標(biāo)跟蹤主要面臨兩個(gè)難題：

（1）為每一個(gè)目標(biāo)分配一個(gè)唯一的ID標(biāo)號(hào)，或者確定該目標(biāo)為誤報(bào)；

（2）每一個(gè)軌跡能夠合理地解釋目標(biāo)的運(yùn)動(dòng)狀態(tài)。

以上兩個(gè)方面都具有一定的挑戰(zhàn)性，然而目前的研究目標(biāo)主要集中在解決其中的一個(gè)方面，或者另一方面。

數(shù)據(jù)關(guān)聯(lián)是一個(gè)組合問題，典型的方法是簡(jiǎn)化模型或者設(shè)定滿足于特定目標(biāo)函數(shù)的近似解。當(dāng)前是將檢測(cè)器響應(yīng)與目標(biāo)的實(shí)際位置相關(guān)聯(lián)，從而表示目標(biāo)的實(shí)際軌跡，這不利于建立目標(biāo)的動(dòng)態(tài)模型，特別是在一些漏檢的圖像幀中，例如長(zhǎng)期的目標(biāo)遮擋。另一方面，目標(biāo)軌跡的評(píng)估還需要考慮動(dòng)態(tài)變化、持久性以及軌跡互斥等因素。由于數(shù)據(jù)關(guān)聯(lián)需在高維空間中最小化多模態(tài)能量函數(shù)，這是一個(gè)相當(dāng)大的挑戰(zhàn)。此外，把待確定的觀測(cè)與特定的目標(biāo)相關(guān)聯(lián)，也是一個(gè)很難完成的任務(wù)。

本文從時(shí)間和空間的角度建立CRF模型，將目標(biāo)的數(shù)據(jù)關(guān)聯(lián)與軌跡評(píng)估整合到同一個(gè)CRF模型中，構(gòu)建離散-連續(xù)能量函數(shù)，通過求取最小能量確定目標(biāo)的最佳運(yùn)動(dòng)軌跡。本文在借鑒多標(biāo)號(hào)成本的基礎(chǔ)上，提出了融合多模型擬合和全局軌跡特性的多目標(biāo)跟蹤方案。數(shù)據(jù)關(guān)聯(lián)通過CRF模型來實(shí)現(xiàn)；此外，還通過空間互斥模型來限制同一物理空間兩個(gè)不同的觀測(cè)。針對(duì)軌跡評(píng)估，本文從時(shí)間上對(duì)相鄰兩幀的目標(biāo)標(biāo)號(hào)進(jìn)行約束，軌跡模型采用連續(xù)光滑的曲線來表示，同時(shí)在連續(xù)域中擬合一系列觀測(cè)目標(biāo)。對(duì)于給定的一系列軌跡假設(shè)，使用帶有貪婪標(biāo)號(hào)移除的α-expansion算法更新標(biāo)號(hào)，以及采用梯度下降法對(duì)目標(biāo)的軌跡進(jìn)行優(yōu)化。

1 基于CRF模型的目標(biāo)標(biāo)號(hào)

與其他常見的前景檢測(cè)方法類似，本文基于HOG與LBP聯(lián)合特征提取方法，然后使用線性SVM進(jìn)行前景和背景分割，得到一系列假定的前景觀測(cè)D。然后把觀測(cè)作為輸入數(shù)據(jù)，建立CRF模型，具體步驟如下：

（1）將每一個(gè)觀測(cè)看成一個(gè)頂點(diǎn)V，對(duì)其分配一個(gè)唯一的ID標(biāo)號(hào)；若為背景，則統(tǒng)一標(biāo)號(hào)為?；

（2）將同一幀圖像中的不同觀測(cè)用空間互斥邊EX相互連接；

（3）相鄰兩幀圖像，如果觀測(cè)之間的兩兩距離小于特定的閾值τ，則使用時(shí)間平滑邊ES相互連接；

本文的主要任務(wù)包括數(shù)據(jù)關(guān)聯(lián)與軌跡評(píng)估兩個(gè)步驟。數(shù)據(jù)關(guān)聯(lián)通過離散多標(biāo)號(hào)CRF模型來表示，而軌跡評(píng)估通過連續(xù)光滑的曲線模型來表示。此外，從兩個(gè)不同方面說明了目標(biāo)之間的互斥現(xiàn)象。首先從空間上，通過引入競(jìng)爭(zhēng)檢測(cè)二元項(xiàng)來避免數(shù)據(jù)誤讀現(xiàn)象。然而，僅僅空間上的約束是遠(yuǎn)遠(yuǎn)不夠的。因此，在時(shí)間上也采取了一些互斥方法，當(dāng)同一時(shí)刻的兩個(gè)不同目標(biāo)軌跡發(fā)生重疊時(shí)，本文還引入了一種新穎的二元共生標(biāo)號(hào)成本。

1.1 符號(hào)注釋

D為一系列假設(shè)目標(biāo)，dgt表示第t幀圖像中的目標(biāo)g，wgt為置信度值。Pgt∈R2為第t幀圖像中某個(gè)觀測(cè)目標(biāo)的位置，(xi,yi)為對(duì)應(yīng)的參考平面坐標(biāo)。T={T1,T2,…,TN}表示所有假設(shè)目標(biāo)軌跡，其數(shù)量遠(yuǎn)大于場(chǎng)景中目標(biāo)的實(shí)際數(shù)量。對(duì)于給定的標(biāo)號(hào)集l，ld∈L={1,2,....，N,?}，其中L表示所有假設(shè)軌跡的標(biāo)號(hào)集。若某個(gè)觀測(cè)目標(biāo)屬于前景，則ld∈L={1,2,....,N}；若為誤報(bào)，則 ld=?。表示場(chǎng)景中所有觀測(cè)目標(biāo)的有效軌跡；?=?S∪?X表示所有CRF模型的邊，其中?S表示相鄰兩幀圖像中，所有觀測(cè)目標(biāo)之間距離小于特定閾值τ的時(shí)間平滑邊，而?X表示同一幀圖像中不同觀測(cè)目標(biāo)之間的空間互斥邊。

1.2 多目標(biāo)跟蹤的能量函數(shù)

在計(jì)算機(jī)視覺領(lǐng)域，多標(biāo)號(hào)問題可以被描述成最大后驗(yàn)估計(jì)(MAP)，可以通過由頂點(diǎn)和邊構(gòu)成的CRF模型G={V,E}來描述，并分別求CRF中頂點(diǎn)和邊的最小能量。鑒于此，本文將每一個(gè)檢測(cè)到的觀測(cè)d∈D看成是CRF模型中的頂點(diǎn)V，兩個(gè)相鄰的頂點(diǎn)用一條邊?相互連接。然而，目的不僅僅是預(yù)測(cè)離散標(biāo)號(hào)集體l，還包括目標(biāo)的連續(xù)軌跡T。本文多目標(biāo)跟蹤的離散-連續(xù)能量函數(shù)如公式（1）所示：

其中β，γ，δ表示各部分能量所占的權(quán)重，在實(shí)際實(shí)驗(yàn)中，可以通過調(diào)節(jié)能量函數(shù)前的權(quán)重改變跟蹤的效果。v{Ed(ld,T)}表示軌跡擬合成本，?{ES(ld,ld’),EdX(ld,ld’)}表示由邊 ? 產(chǎn)生的成本，ES(ld,ld’)表示相鄰兩幀屬于同一條?S的標(biāo)號(hào)不同時(shí)產(chǎn)生的成本，EdX(ld,ld’)表示同一幀圖像中兩個(gè)觀測(cè)標(biāo)號(hào)相同時(shí)產(chǎn)生的成本，φ{(diào)Etr(Ti),EtrX(Ti,Tj)}表示單個(gè)軌跡和互斥軌跡共同產(chǎn)生的成本，Etr(Ti)表示單個(gè)目標(biāo)的軌跡成本，EtrX(Ti,Tj)表示互斥軌跡產(chǎn)生的成本。為了方便表示，公式中

目標(biāo)函數(shù)旨在找到一組能使E(T,l)取得最小能量的標(biāo)號(hào)集與跟蹤軌跡的狀態(tài)：(T×,l×)=argmin(T,l)E(T,l)，本文先固定標(biāo)號(hào)集l，然后對(duì)目標(biāo)的軌跡進(jìn)行連續(xù)優(yōu)化；然后再固定軌跡集T的相關(guān)參數(shù)，對(duì)標(biāo)號(hào)l集進(jìn)行離散優(yōu)化。首先詳細(xì)介紹連續(xù)軌跡的表示模型與每一項(xiàng)能量分量。

1.3 軌跡評(píng)估

與之前許多單純的離散多目標(biāo)跟蹤方法相比，本文采用連續(xù)的光滑曲線表示目標(biāo)的運(yùn)動(dòng)軌跡，如圖1所示。其中，左端點(diǎn)為起始幀si，右端點(diǎn)為結(jié)束幀ei。

圖1 二維連續(xù)軌跡模型圖

每個(gè)軌跡的二維線條表達(dá)式如公式（2）所示：

其中(x,y)T表示目標(biāo)i在t時(shí)刻的位置，對(duì)應(yīng)于圖1中的離散點(diǎn)。

假定每個(gè)目標(biāo)的軌跡具有若干個(gè)片段，相關(guān)參數(shù)通過系數(shù)矩陣Ci∈R2cix4來表示。軌跡片段的數(shù)量取決于每個(gè)目標(biāo)軌跡的長(zhǎng)度F(i)，本文中軌跡片段的數(shù)量設(shè)置為max(1,[F(i)/15])，其中[.]表示四舍五入，F(xiàn)(i)=ei-si+1。為了抑制軌跡端點(diǎn)處的觀測(cè)誤分配給其他軌跡，因此采用外推法進(jìn)行限制，即t∈[si-Δ,ei+Δ]，本文設(shè)置 Δ=3。

假定已經(jīng)固定了數(shù)據(jù)關(guān)聯(lián)項(xiàng)l，于是argminTEl(T)=argminTE(T,l)。因此，軌跡評(píng)估的最小能量函數(shù)如公式（3）所示：

其中Ed(ld,T)表示帶有標(biāo)號(hào)l的觀測(cè)與該目標(biāo)實(shí)際軌跡的擬合程度。Etr(Ti)表示單個(gè)目標(biāo)的軌跡，只有當(dāng)該軌跡屬于有效軌跡 Tl× 時(shí)，即的成本才產(chǎn)生，例如該軌跡中至少有一個(gè)觀測(cè)目標(biāo)被標(biāo)號(hào)為前景，標(biāo)號(hào)方式與規(guī)范一致。EtrX(Ti,Tj)表示目標(biāo)i和j軌跡重疊時(shí)產(chǎn)生的成本。

（1）擬合軌跡

Ed(ld,T)表示某個(gè)觀測(cè)目標(biāo)d∈D屬于該目標(biāo)軌跡的一元數(shù)據(jù)成本，衡量標(biāo)準(zhǔn)為該觀測(cè)與其軌跡之間的最短距離。此外，該項(xiàng)還能表示該觀測(cè)目標(biāo)是否屬于誤報(bào)。為了方便起見，將觀測(cè)目標(biāo)dgt統(tǒng)一用d來表示。定義第t幀圖像中的軌跡擬合成本如公式（4）所示：

其中wgt表示觀測(cè)目標(biāo)的置信度值，pgt表示該觀測(cè)的位置，Dis(.)表示距離函數(shù)，即觀測(cè)目標(biāo)距離其軌跡的最小距離。當(dāng)某個(gè)檢測(cè)結(jié)果的標(biāo)號(hào)為l=Φ，此時(shí)產(chǎn)生成本λΦ×wgt只與數(shù)據(jù)關(guān)聯(lián)有關(guān)，表示誤將背景當(dāng)成目標(biāo)。

為了使得公式（5）能基于梯度算法進(jìn)行優(yōu)化，本文采用可微分的歐氏距離函數(shù)，同時(shí)為了防止微分后的分母為零，距離函數(shù)中加上一個(gè)很小的微調(diào)參數(shù)?=0.1，函數(shù)定義如公式（5）：

（2）先驗(yàn)軌跡

目標(biāo)i的軌跡先驗(yàn)?zāi)芰亢瘮?shù)由以下幾個(gè)方面組成，如公式（6）所示：

其中Elin(Ti)表示目標(biāo)i的線速度能量，Eang(Ti)表示目標(biāo)i的角速度能量，Eper(Ti)表示目標(biāo)i軌跡的持久性能量，λreg為軌跡修正模型的能量，為了防止迭代過程中的過擬合。上式中的每一項(xiàng)都可微。

所有目標(biāo)的運(yùn)動(dòng)都應(yīng)該合乎一定的物理限制，即在同一時(shí)刻，同一物理空間不可能有兩個(gè)觀測(cè)目標(biāo)。本文所用的動(dòng)態(tài)模型是建立在目標(biāo)的角速度和線速度緩慢變化的基礎(chǔ)上進(jìn)行的。為了和之前的定義相對(duì)應(yīng)，設(shè)x=x(t)，y=y(t)作為參考平面曲線的坐標(biāo)，x’(t)，y’(t)為一階導(dǎo)數(shù)，x’’(t)，y’’(t)為二階導(dǎo)數(shù)。

假定行人最可能以大約1.2m/s的勻速移動(dòng)。如果偏離這個(gè)速度，就進(jìn)行二次懲罰。因此，線速度模型的表達(dá)式如公式（7）所示：

除了目標(biāo)的線速度模型，本文還給出了目標(biāo)的角速度模型，t時(shí)刻目標(biāo)的角速度通過公式（8）給出：

其中?=0.1，通過以上變形，得到目標(biāo)i的角動(dòng)態(tài)軌跡模型，如公式（9）所示：

當(dāng)目標(biāo)進(jìn)入特定的跟蹤區(qū)域，會(huì)產(chǎn)生不同程度的出現(xiàn)或者消失。目標(biāo)的軌跡總是開始或者終止于預(yù)定義感興趣區(qū)域的邊界。本文通過以下“sigmoid”函數(shù)對(duì)軌跡的持久性進(jìn)行修正，如公式（10）所示：

其中B(Ti1)表示第i條軌跡的起點(diǎn)與最近的跟蹤區(qū)域邊界間的距離，B(TiF)表示第i條軌跡的終點(diǎn)與最近的跟蹤區(qū)域邊界間的距離。參數(shù)u=1/s，試驗(yàn)中s=35cm。該措施有利于目標(biāo)遮擋后的軌跡恢復(fù)，有效地避免了因遮擋而發(fā)生跟蹤軌跡突然中斷的現(xiàn)象。

（3）互斥軌跡

在所有的圖像幀中，不同目標(biāo)之間的軌跡在空間上不應(yīng)該重疊。本文引入一種二元標(biāo)號(hào)成本思想。如果同一物理空間中的不同目標(biāo)軌跡發(fā)生重疊，則對(duì)該軌跡對(duì)進(jìn)行一定的懲罰，如圖2所示

圖2 不同目標(biāo)軌跡相互重疊的示意圖

針對(duì)每一對(duì)有效軌跡Ti,Tj∈Tf×(i≠j)，則產(chǎn)生相應(yīng)的二元標(biāo)號(hào)成本EtrX(pairwisecost)。當(dāng)兩個(gè)目標(biāo)比較接近時(shí)，對(duì)應(yīng)的懲罰成本接近無窮大，如公式（11）所示。

其中X(Ti,Tj)表示軌跡i與j在時(shí)間上的重疊，s=35cm表示檢測(cè)框的寬度。

1.4 數(shù)據(jù)關(guān)聯(lián)

數(shù)據(jù)關(guān)聯(lián)是給每一個(gè)觀測(cè)d∈D分配一個(gè)唯一的ID標(biāo)號(hào)，并確定該觀測(cè)屬于某個(gè)目標(biāo)i的軌跡，或者屬于誤報(bào)(?)。鑒于此，若把等式(1)中的軌跡假設(shè)部分先固定，則數(shù)據(jù)關(guān)聯(lián)部分的最小能量公式等價(jià)于公式（12）：

其中 ES（ld,ld’）

與EdX(ld,ld’)是由兩種類型的二元邊?=?S∪?X引起的能量。ES（ld,ld’）表示時(shí)間平滑邊?S的成本函數(shù)，即相鄰兩幀圖像中觀測(cè)標(biāo)號(hào)不同時(shí)產(chǎn)生的成本。EdX(ld,ld’)表示空間平滑邊?X的成本，即同一幀圖像中出現(xiàn)相同標(biāo)號(hào)時(shí)產(chǎn)生的成本。

（1）時(shí)間平滑邊?S與空間互斥邊?X

時(shí)間平滑邊?S提供數(shù)據(jù)關(guān)聯(lián)的時(shí)間平滑度。

相鄰兩幀圖像中，如果觀測(cè)之間的兩兩距離小于特定的閾值τ，則使用時(shí)間平滑邊?S連接，表達(dá)式如公式（13）所示：

其中F表示視頻的幀數(shù)，該措施使得相鄰兩幀圖像中同一個(gè)目標(biāo)具有相同的標(biāo)號(hào)。在能夠保證足夠的目標(biāo)動(dòng)態(tài)情況下，閾值τ盡可能的大。

在同一幀圖像中，空間互斥邊?X能夠確保同一幀圖像中每一個(gè)觀測(cè)目標(biāo)的標(biāo)號(hào)唯一。另一方面，對(duì)于那些非常相似的觀測(cè)，采用多個(gè)邊也是合理的，因?yàn)榧词故沁M(jìn)行了非最大化壓縮，檢測(cè)器有時(shí)候也會(huì)錯(cuò)誤的產(chǎn)生來自同一個(gè)目標(biāo)的多個(gè)輸出，如公式（14）所示。

其中pit∈R2為觀測(cè)dit∈D的坐標(biāo)（xi,yi），s表示矩形檢測(cè)框的寬度。

如圖3所示，綠色結(jié)點(diǎn)代表觀測(cè)器響應(yīng)的隨機(jī)變量，藍(lán)色結(jié)點(diǎn)表示二元能量成本，為了方便表示，圖中給出了部分能量。紅色的邊表示時(shí)間平滑因子?X，灰色的邊表示空間間互斥因子?S。

圖3 CRF模型的因子圖

（2）數(shù)據(jù)關(guān)聯(lián)的能量

數(shù)據(jù)關(guān)聯(lián)通常是多目標(biāo)跟蹤最有挑戰(zhàn)性的一個(gè)方面。本文通過多標(biāo)號(hào)CRF模型來闡述數(shù)據(jù)關(guān)聯(lián)問題。連接時(shí)間鄰域（ld,ld’）∈?S，ld與ld’表示相鄰兩幀具有相同標(biāo)號(hào)的觀測(cè)。該時(shí)間平滑邊的能量定義如公式（15）所示：

其中δ（.）表示沖激序列，當(dāng)ld≠lD’時(shí)，則產(chǎn)生一定的懲罰 λ?s。

為了防止數(shù)據(jù)誤讀，本文引入空間互斥邊（d,d’）∈?X確保同一幀圖像中每個(gè)目標(biāo)的標(biāo)號(hào)唯一，空間互斥邊?X的能量定義如公式（16）所示：

其中δ（.）表示沖激序列。同一幀圖像中，如果相鄰目標(biāo)之間的標(biāo)號(hào)相同，則進(jìn)行一定的懲罰。

2 離散與連續(xù)優(yōu)化

本文旨在確定每個(gè)目標(biāo)的標(biāo)號(hào)，并確定每個(gè)目標(biāo)的最優(yōu)軌跡。為了能夠找到公式（1）的強(qiáng)局部最小能量，本文采用離散-連續(xù)交替的優(yōu)化方案來求取目標(biāo)函數(shù)的最小能量。當(dāng)離散標(biāo)號(hào)的分配發(fā)生收斂時(shí)（或者迭代次數(shù)達(dá)到最大），優(yōu)化步驟停止。接下來對(duì)每個(gè)部分的優(yōu)化步驟進(jìn)行詳細(xì)介紹。

2.1 離散標(biāo)號(hào)優(yōu)化

離散優(yōu)化旨在尋找一組帶有標(biāo)號(hào)l的目標(biāo)，并把每個(gè)目標(biāo)分配給唯一的軌跡(來自大量的軌跡假設(shè)池)。本文試圖尋找一種方法求解等式(12)的最小能量。然而，等式(12)的二元互斥函數(shù)EdX（ld,ld’）為非子模函數(shù)；其次，Etr（Ti）引入的全局因子依賴于所有的標(biāo)號(hào)，同時(shí)還需要采用一種恰當(dāng)?shù)姆椒ㄇ蠼舛獦?biāo)號(hào)能量EtrX（Ti,Tj） 。為了最小化標(biāo)號(hào)成本，本文采用α-expansion算法，即把離散多標(biāo)號(hào)問題轉(zhuǎn)化為只有兩個(gè)標(biāo)號(hào)狀態(tài)的問題進(jìn)行求解。

由于 Ed（ld,T）、ES（ld,ld’）以及 EdX（ld,ld’）的能量很容易通過標(biāo)準(zhǔn)的α-expansion算法求得，因此本文重點(diǎn)描述Etr（Ti）與EtrX（Ti,Tj）的能量。假設(shè)我們已經(jīng)通過恰當(dāng)?shù)姆椒ǐ@得標(biāo)號(hào)集l，在求取能量的過程中，通過驗(yàn)證標(biāo)號(hào)l是否會(huì)切換成α來確定其有效性，圖中的Sα為輔助節(jié)點(diǎn)，用來表示標(biāo)號(hào)的切換情況。這是一種只有兩個(gè)狀態(tài)的優(yōu)化問題，其中0表示對(duì)應(yīng)的標(biāo)號(hào)不發(fā)生改變，1表示對(duì)應(yīng)的標(biāo)號(hào)l切換為標(biāo)號(hào)α。

如圖4所示，圖4(a)中的δ節(jié)點(diǎn)產(chǎn)生的能量用Ed（ld,T）表示，只要δ節(jié)點(diǎn)的標(biāo)號(hào)變?yōu)棣粒瑒t產(chǎn)生成本L0，否則成本為0。圖中的紫色與紅色方形節(jié)點(diǎn)表示Es（ld,ld’）以及EdX（ld,ld’）產(chǎn)生的能量，即當(dāng)同一幀圖像中出現(xiàn)兩個(gè)相同的標(biāo)號(hào)，或者相鄰兩幀圖像中由時(shí)間平滑邊?S相連的標(biāo)號(hào)發(fā)生切換時(shí)產(chǎn)生的能量。由于此時(shí)能量相對(duì)較大，可被視為無窮大。

圖4 α-expansion算法示意圖

單個(gè)軌跡的成本Etr（Ti）。為了確保只有一半的重疊軌跡被壓縮，因此只在每一對(duì)具有相同物理空間的成對(duì)軌跡進(jìn)行懲罰。然而，如何確定哪一個(gè)軌跡被懲罰是一個(gè)很重要的問題。為了解決該問題，本文采用了基于貪婪標(biāo)號(hào)移除的α-expansion算法，即通過依次全部移除某個(gè)標(biāo)號(hào)來檢查能量是否進(jìn)一步降低。由于能量函數(shù)為非子模函數(shù)，本文采用偽布爾函數(shù)多項(xiàng)式優(yōu)化算法（QPBO）算法進(jìn)行每一步α-expansion，對(duì)應(yīng)的因子圖如圖4（b）所示。對(duì)于單個(gè)軌跡的成本Etr（Ti），圖4（b）中黃色正方形表示目標(biāo)β的標(biāo)號(hào)切換為γ時(shí)產(chǎn)生的成本，記為L(zhǎng)×。為了抑制兩個(gè)不可能同時(shí)存在的標(biāo)號(hào)而導(dǎo)致能量的增加，當(dāng)且僅當(dāng)兩個(gè)對(duì)應(yīng)的輔助變量同時(shí)發(fā)生標(biāo)號(hào)切換時(shí)，則進(jìn)行相應(yīng)的懲罰L××，此時(shí)表示兩個(gè)不同的目標(biāo)β和γ同時(shí)切換為標(biāo)號(hào)α。通過這種方式獲得的是超子模函數(shù)的成本，而等式（12）的成本函數(shù)總體上是非子模的。

2.2 連續(xù)軌跡優(yōu)化

由于能量函數(shù)的連續(xù)部分為非凸函數(shù)，但可以通過梯度下降法來進(jìn)行求解，本文采用梯度下降法（BFGS）。最終的優(yōu)化結(jié)果依賴于初始化軌跡。因此，本文采用連續(xù)能量全局最小化函數(shù)來表示，如公式（17）所示：

該等式除了Ed’項(xiàng)中的二次懲罰函數(shù)Dis(d,d’)=║x-y║2不一樣，其他數(shù)據(jù)成本等同于上文的式(3)。于是等式（17）就轉(zhuǎn)化成通過閉合形式求解的加權(quán)最小二乘問題，本文采用El×(T)軌跡作為初始化條件。

3 軌跡假設(shè)空間

本文采用采用改進(jìn)的隨機(jī)采樣一致性算法（RandomSampleConsensus）擬合直線，優(yōu)先檢測(cè)那些在空間上和時(shí)間上更接近的軌跡，并隨機(jī)選擇觀測(cè)子集。

僅僅依賴于初始的軌跡假設(shè)，可能會(huì)在一定程度上限制能量的最優(yōu)解。為了使得優(yōu)化的過程更加靈活，因此在基于當(dāng)前解決方案的基礎(chǔ)上，在每一次連續(xù)優(yōu)化迭代結(jié)束之后，對(duì)軌跡假設(shè)的搜索空間進(jìn)行一定的擴(kuò)展。本文采用以下3種方法進(jìn)行擴(kuò)展軌跡假設(shè)空間：（1）對(duì)于那些連續(xù)超過10幀都沒有檢測(cè)到目標(biāo)的軌跡，則把它分割成兩個(gè)較短的軌跡。對(duì)于時(shí)間間隔不超過t0幀的軌跡片段i與j，則合并成一個(gè)新的軌跡，t0可以根據(jù)實(shí)際情況進(jìn)行調(diào)整，本文t0=25。（2）如果迭代過程中有一兩幀突然出現(xiàn)能量上升，短時(shí)間內(nèi)又恢復(fù)正常，則認(rèn)為當(dāng)前幀是不可靠的，進(jìn)一步從場(chǎng)景中移出移除這一幀軌跡。在若干次迭代以后，當(dāng)新添加軌跡的能量仍然按梯度下降的方向進(jìn)行，則說明新添加的軌跡比較可靠。（3）及時(shí)擴(kuò)展現(xiàn)有軌跡，即通過移動(dòng)軌跡的端點(diǎn)（si往前移動(dòng)，ei向后移動(dòng)）；或者及時(shí)收縮那些沒有目標(biāo)出現(xiàn)的軌跡，即分別移除原來軌跡端點(diǎn)處的前4幀和后4幀。軌跡假設(shè)空間的擴(kuò)展過程如圖5所示。

圖5 擴(kuò)展軌跡假設(shè)空間示意圖

4 實(shí)驗(yàn)結(jié)果

4.1 參數(shù)設(shè)置

本文對(duì)每個(gè)參數(shù)進(jìn)行固定調(diào)試。輪流固定公式1中β、γ、δ的值，改變另一個(gè)變量，判斷對(duì)MOTA性能的影響。并根據(jù)MOTA指標(biāo)進(jìn)行適當(dāng)調(diào)試，其余的兩個(gè)參數(shù)值同理可得，為了方便調(diào)試，β固定為1，圖6給出了其余兩種情況下的評(píng)估標(biāo)準(zhǔn)。

圖6 各參數(shù)的變化對(duì)MOTA指標(biāo)的影響圖

其中，參數(shù)β=1保持不變，分別先固定其他參數(shù)值，然后給出單個(gè)參數(shù)值改變時(shí)的影響。圖6中每條曲線均表示MOTA隨參數(shù)變化的情況。

從圖6可以得出，某一調(diào)節(jié)系數(shù)的值變化較大時(shí)，只要跟蹤結(jié)果的MOTA變化不是太大，則均認(rèn)為該參數(shù)是可信的。當(dāng)MOTA=0時(shí)，說明參數(shù)的變化對(duì)MOTA指標(biāo)的影響很小。能量函數(shù)中的調(diào)節(jié)在以上4個(gè)數(shù)據(jù)集中，均設(shè)置為｛1, 0.03, 0.8｝。

另外，本文還給出了8種相關(guān)的參數(shù)，通過梯度下降法得到了最高平均MOTA值，表1為具體的參數(shù)值。

表1 相關(guān)參數(shù)值對(duì)應(yīng)表

輪流的改變每個(gè)參數(shù)的值，取值范圍從0到2，然后再與它們的標(biāo)準(zhǔn)值1相乘，并觀察MOTA性能指標(biāo)的變化。本文分別先固定其他參數(shù)值，然后給出單個(gè)參數(shù)值改變時(shí)的影響，所有參數(shù)被分成兩組。

圖7給出了第一組（λreg，λang，λEdX，λEs）參數(shù)的變化對(duì)整體MOTA性能指標(biāo)的影響，從圖中可以看出，跟蹤精確度只出現(xiàn)了微小的變化，跟蹤結(jié)果的魯棒性較好。需要注意的是，不同的測(cè)試視頻序列或者訓(xùn)練集，參數(shù)的重要性可能發(fā)生一定的變化。

圖7 第一組參數(shù)變化對(duì)整體跟蹤性能的影響圖

圖8給出了另一組相關(guān)參數(shù)（λper，λ?，λEtrX，λlin）。當(dāng)各自的能量權(quán)重下降時(shí)，MOTA性能指標(biāo)受到了很大的影響。因此，有必要把誤標(biāo)號(hào)成本λ?（離群值）、二元標(biāo)號(hào)成本λEtrX以及軌跡持久性成本λper等相關(guān)參數(shù)考慮在內(nèi)。其中λ?參數(shù)是用來懲罰沒有觀測(cè)目標(biāo)的平凡解。λEtrX防止來自同一個(gè)目標(biāo)的觀測(cè)被分配給不同的軌跡，從而減少誤跟蹤的數(shù)量。λper確保產(chǎn)生長(zhǎng)久的、連續(xù)的目標(biāo)軌跡，減少目標(biāo)之間的身份切換（IDs）。

圖8 第一組參數(shù)變化對(duì)整體跟蹤性能的影響圖

4.2 數(shù)據(jù)集

PETS2009benchmark數(shù)據(jù)集場(chǎng)景豐富、光照變化較強(qiáng)以及行人姿態(tài)變化各異，逐漸成為多目標(biāo)跟蹤實(shí)驗(yàn)最受歡迎的數(shù)據(jù)集之一。本文實(shí)驗(yàn)只使用其中部分的視頻序列，由3個(gè)可用攝像機(jī)校準(zhǔn)的視頻序列組成。除了廣泛使用的PETS2L1視頻序列，還包括2個(gè)更具有挑戰(zhàn)性的場(chǎng)景：S2L2以及S1L1-2視頻序列。其中S2L1包含8個(gè)場(chǎng)景，共有795幀，8個(gè)行人，視頻序列的分辨率為768×576；S2L2與S1L1-2視頻序列隨著時(shí)間的推移，場(chǎng)景中的行人越來越多，而且場(chǎng)景比較擁擠。其中S1L1-2共有240幀，S2L2共有435幀，視頻圖像序列的分辨率均為768×576。在所有實(shí)驗(yàn)中只使用第一攝像機(jī)視點(diǎn)。TUD-Stadtmitt行人數(shù)據(jù)集是采用低角度攝像機(jī)拍攝的行人街道，該數(shù)據(jù)集的視頻序列共有250幀，圖像分辨率為720×576。

4.3 評(píng)估指標(biāo)

本文著重算法的魯棒性和跟蹤結(jié)果的準(zhǔn)確性，對(duì)目標(biāo)檢測(cè)和跟蹤性能進(jìn)行評(píng)估。性能評(píng)估指標(biāo)包含以下幾方面：

（1）MOTA：目標(biāo)跟蹤準(zhǔn)確度；

（2）MOTP：目標(biāo)跟蹤精確度；

（3）FAF：每幀中目標(biāo)誤警的數(shù)目；

（4）GT：實(shí)際的跟蹤軌跡數(shù)目；

（5）MT：絕大多數(shù)正確跟蹤的軌跡數(shù)目，正確跟蹤的軌跡數(shù)目與實(shí)際的跟蹤軌跡數(shù)目的百分比大于80%；

（6）ML：最大丟失的跟蹤軌跡數(shù)目，丟失的跟蹤軌跡數(shù)與實(shí)際的跟蹤軌跡數(shù)目之比小于20%；

（7）Frag：跟蹤過程中，軌跡發(fā)生中斷的次數(shù)；

（8）IDs：跟蹤軌跡中，目標(biāo)身份交換的次數(shù)。

4.4 對(duì)比實(shí)驗(yàn)及分析

本文給出了PETS2009S2L1視頻序列中的對(duì)比實(shí)驗(yàn)結(jié)果，包含8個(gè)運(yùn)動(dòng)目標(biāo)，共有795幀圖像，每一幀圖像的間隔為0.01s。并選出第306幀、319幀和330幀的跟蹤圖像進(jìn)行效果對(duì)比。

結(jié)合表2的實(shí)驗(yàn)數(shù)據(jù)可知，基于SegTrack跟蹤算法在第306幀與319幀之間、第319幀與第330幀之間均出現(xiàn)了不同程度的漏檢和標(biāo)簽互換。由于第306幀中的18號(hào)目標(biāo)比較擁擠，到了第319幀中標(biāo)簽互換為48號(hào)，第319幀中的32目標(biāo)在第306幀中出現(xiàn)了漏檢。另外，第33號(hào)目標(biāo)旁邊的行人始終處于漏檢狀態(tài)。由于第319幀中的29號(hào)目標(biāo)被物體遮擋，到了第330幀變成了52號(hào)目標(biāo)。因此，該算法的跟蹤性能并不是十分穩(wěn)定。對(duì)于HDA-DVM算法，同樣出現(xiàn)了不同程度的漏檢問題。第306幀中的15號(hào)目標(biāo)由于遮擋原因，到了第319幀出現(xiàn)了漏檢；第319幀中的13號(hào)目標(biāo)到了第330幀出現(xiàn)了漏檢情況，而本文所提算法成功克服了由于遮擋、擁擠造成的漏檢和標(biāo)簽互換問題。從表2的實(shí)驗(yàn)數(shù)據(jù)也可以看出，本文所提算法的精確度與準(zhǔn)確度都要明顯高于其他兩種方法，而且在最大跟蹤軌跡數(shù)MT指標(biāo)也優(yōu)于其他兩種算法。

表2 三種跟蹤算法跟蹤性能對(duì)比結(jié)果表

5 結(jié)論

本文提出了一種基于數(shù)據(jù)關(guān)聯(lián)與軌跡評(píng)估的多目標(biāo)跟蹤方法。首先，從時(shí)間和空間的角度建立CRF模型，并給出標(biāo)號(hào)方式；其次，將目標(biāo)的數(shù)據(jù)關(guān)聯(lián)與軌跡評(píng)估整合到同一個(gè)CRF模型中，并詳細(xì)地介紹了各個(gè)能量分量的模型；最后，采用基于貪婪標(biāo)號(hào)移除的ɑ-expansion算法更新標(biāo)號(hào)，以及基于梯度下降法的軌跡優(yōu)化，并擴(kuò)展了軌跡假設(shè)的空間。最后的實(shí)驗(yàn)結(jié)果表明，本文所提算法優(yōu)于當(dāng)前先進(jìn)水平的多目標(biāo)跟蹤技術(shù)。