基于壓縮傳感的多樣本目標(biāo)跟蹤算法

陳 茜，狄 嵐

(江南大學(xué)數(shù)字媒體學(xué)院，江蘇 無(wú)錫 214122)

0 引言

隨著計(jì)算機(jī)軟硬件的持續(xù)快速發(fā)展，各種基于視頻圖像的應(yīng)用軟件開(kāi)始涌入人們的視野，極其便利的操作方便了用戶(hù)的日常生活。但目前主要的應(yīng)用局限于視頻的初級(jí)階段(采集、編碼、傳輸、播放等)，有針對(duì)性的高級(jí)應(yīng)用較少;另外有越來(lái)越多的攝像頭，出現(xiàn)在生活的各個(gè)角落，尤其是安防領(lǐng)域，公司、學(xué)校、住宅區(qū)，這些攝像頭通常會(huì)產(chǎn)生數(shù)據(jù)量龐大的實(shí)時(shí)視頻數(shù)據(jù)，需要大量人力監(jiān)控以及極大的存儲(chǔ)設(shè)備。作為視頻應(yīng)用的高級(jí)階段，視頻目標(biāo)檢測(cè)與跟蹤成為了目前國(guó)內(nèi)外計(jì)算機(jī)視覺(jué)領(lǐng)域中持續(xù)的熱點(diǎn)方向。

現(xiàn)階段已有眾多的跟蹤算法被提出，且取得了一些成功(行人識(shí)別[1]，3D 物體檢測(cè)[2]等)，但是在真實(shí)環(huán)境中仍舊有未解決的問(wèn)題(位置、光照、遮擋和運(yùn)動(dòng)等的外觀改變等)，限制了這些最先進(jìn)算法應(yīng)用于商業(yè)領(lǐng)域(例如攝像頭監(jiān)視[3])。最近，視頻目標(biāo)跟蹤中分類(lèi)器被成功地應(yīng)用，這種方法的基本思路是:用訓(xùn)練分類(lèi)器將被檢測(cè)對(duì)象從背景中區(qū)分出來(lái)，這也是本文的研究目的。目前大多數(shù)方法會(huì)采用不同的特征表示結(jié)合不同的學(xué)習(xí)方法，組成不同分類(lèi)器適應(yīng)實(shí)際運(yùn)用需求[4]。文獻(xiàn)[5]的作者設(shè)計(jì)了一種在線學(xué)習(xí)的boosting框架，在目標(biāo)發(fā)生劇烈外觀變化時(shí)具有良好的跟蹤適應(yīng)性。其主要工作是通過(guò)選擇不同特征，把目標(biāo)從背景中區(qū)分出來(lái)，分類(lèi)器通過(guò)自身學(xué)習(xí)進(jìn)行更新。但是該方法很容易產(chǎn)生跟蹤框漂移，且由于學(xué)習(xí)特征維數(shù)巨大，對(duì)于商用電腦的配置，幀速率很低，達(dá)不到實(shí)時(shí)檢測(cè)的效果。而文獻(xiàn)[6]提出了一種優(yōu)于半監(jiān)督學(xué)習(xí)的方法用于解決boosting漂移問(wèn)題。

最近，壓縮采樣理論作為研究熱點(diǎn)，被用到目標(biāo)跟蹤中[6-8]。壓縮采樣理論的概念由Donoho在2006年正式提出[9]。文獻(xiàn)[7]提出l1跟蹤器，稀疏表示被跟蹤物體及其它樣本。然而其計(jì)算復(fù)雜度較高，限制了在實(shí)時(shí)檢測(cè)中的應(yīng)用。文獻(xiàn)[8]將文獻(xiàn)[7]中的分類(lèi)方法進(jìn)一步改進(jìn)，用正交匹配算法(Orthogonal Matching Pursuit，OMP)有效解決了最優(yōu)化問(wèn)題。從被檢測(cè)目標(biāo)周邊選取正、負(fù)樣本，構(gòu)造成投影矩陣，新目標(biāo)位置為矩陣中正樣本所對(duì)應(yīng)的系數(shù)最大的位置。但由于訓(xùn)練的正負(fù)樣本單一，要建立投影矩陣不太容易。為此，文獻(xiàn)[10]提出了壓縮傳感跟蹤算法，通過(guò)寬松規(guī)則生成稀疏的投影矩陣，將稀疏后的數(shù)據(jù)直接作為目標(biāo)的特征來(lái)使用。該算法的優(yōu)點(diǎn)在于快速地提取特征，能夠達(dá)到實(shí)時(shí)跟蹤檢測(cè)目標(biāo)的目的。但由于該算法采用的目標(biāo)描述特征，沒(méi)有考慮不同特征對(duì)不同目標(biāo)的分類(lèi)效果不同，在目標(biāo)紋理、運(yùn)動(dòng)或光照變化劇烈時(shí)容易產(chǎn)生漂移，甚至跟丟。文獻(xiàn)[11]對(duì)文獻(xiàn)[10]進(jìn)行了改進(jìn)，引進(jìn)多特征聯(lián)合的算法，解決了單一特征跟蹤不穩(wěn)定、易丟失的問(wèn)題。用多個(gè)矩陣作為壓縮感知中的投影矩陣，將壓縮后的數(shù)據(jù)作為不同特征來(lái)提取。但由于該算法采用的樸素貝葉斯分類(lèi)方法將特征分類(lèi)結(jié)果直接相加，沒(méi)有考慮不同特征的分類(lèi)效果差異，在目標(biāo)運(yùn)動(dòng)和光照變化大時(shí)容易丟失目標(biāo)。

在這種背景下，本文提出一種視頻目標(biāo)跟蹤方法，該方法基于Adaboost框架，利用壓縮感知特征，且融合了多個(gè)正負(fù)樣本。

1 壓縮傳感跟蹤算法基本理論

壓縮采樣理論(也被廣泛譯為壓縮傳感或CS，Compressive Sense)，是一種新穎的采樣模式，和傳統(tǒng)方法相比，CS理論可以從更少的樣本或測(cè)量中恢復(fù)一定的信號(hào)和圖像[9]。

文獻(xiàn)[10]提出了壓縮傳感跟蹤算法，但該算法并不是直接提取樣本的特征，而是在提取選擇特征的基礎(chǔ)上，利用壓縮傳感算法壓縮所選擇的特征，其算法公式如下:

其中 X∈Rn×1為原始特征，R∈Rk×n(k ＜ ＜ n)為測(cè)量矩陣，V∈Rk×1為壓縮后的數(shù)據(jù)。文獻(xiàn)[10]中，V 為最后所得特征，X為一維的原始特征(二維目標(biāo)候選區(qū)域轉(zhuǎn)換成一維)，R為特征提取矩陣。公式(1)中R十分重要，若R為稀疏陣，則可以消減大量的計(jì)算量并減輕內(nèi)存消耗，故文獻(xiàn)[10]中的矩陣R為稀疏的隨機(jī)測(cè)量矩陣，R的定義如下:

其中a為在2到4中通過(guò)隨機(jī)選取的整數(shù)。

由公式(2)得知實(shí)際特征(即原始特征的加權(quán)和[10])提取如下:

其中S為在待檢區(qū)域隨機(jī)選取的圖塊，NR為圖塊數(shù)目，其值在2～4間隨機(jī)選取，Ri，k的值按照公式(2)計(jì)算為1或者－1，其值在同一圖塊中是不變的。特征生成如圖 1 所示，圖中∑jRi，jxj=vi，i=1，2，…，k。

圖1 特征生成示意圖

2 基于壓縮傳感的多樣本目標(biāo)跟蹤算法

2.1 基于壓縮傳感的多特征提取

由于壓縮傳感跟蹤算法在目標(biāo)紋理快速變化時(shí)易發(fā)生漂移或丟失目標(biāo)，針對(duì)此問(wèn)題，本文對(duì)其特征進(jìn)行了分析并提出了改進(jìn)的跟蹤算法。

由特征提取公式(3)可知，Ri中只存在l或只存在－l的概率為29%[10]。由概率計(jì)算結(jié)果可知，在71%的情況下，1和－1同時(shí)存在。特征表現(xiàn)為NR塊區(qū)域的加權(quán)和，當(dāng)特征表現(xiàn)為圖像灰度均值，此時(shí)Ri都為1或－1;當(dāng)特征表現(xiàn)為目標(biāo)的紋理特征，此時(shí)Ri中既有1也有－1?？芍獕嚎s傳感跟蹤算法中大約7成的特征都表現(xiàn)為紋理特性，而紋理特性并不穩(wěn)定，特別是環(huán)境或目標(biāo)紋理變化的時(shí)候。

為加強(qiáng)跟蹤的穩(wěn)定性，本文改進(jìn)了特征提取矩陣R。根據(jù)公式(3)隨機(jī)生成R1，再基于R1結(jié)合灰度特征和紋理特征的特點(diǎn)，生成新的隨機(jī)測(cè)量矩陣R2。新的特征提取矩陣的公式如下:

通過(guò)概率計(jì)算可知，R2i中的分布特性與R1i中的分布特性正好互補(bǔ)，使得R1和R2提取的特征形成互補(bǔ)的紋理特征和灰度均值特征，且比例一致。這2種特征在不同情況下的穩(wěn)定性不同，從而使跟蹤效果更魯棒。R2的特征提取公式如下:

其中 Si，k為第 k 個(gè)圖像塊，R2i，k為權(quán)值，V2i為新的特征。

2.2 在線多樣本的檢測(cè)

基于在線的boosting方法，采用多實(shí)例樣本包的方法[12]，集合為已貼標(biāo)簽樣本集，定義為:

其中 Ai={x1，x2，…，xnA}是包含 nA個(gè)樣本的包，yi∈{0，1}是包的二值標(biāo)簽，包中實(shí)例的標(biāo)簽在訓(xùn)練過(guò)程中是未知的，故boosting所用的似然函數(shù)不適用于多樣本學(xué)習(xí)，可以采用本文提出的適合多樣本檢測(cè)的在線boosting方法，其對(duì)數(shù)似然函數(shù)定義如下:

其中yF(x)代表樣本x在分類(lèi)器中的邊界，F(xiàn)(x)為與預(yù)測(cè)最大邊界值有關(guān)的分類(lèi)器。在boosting的逐級(jí)梯度下降中，對(duì)弱分類(lèi)器fm(x)進(jìn)行修改:

并調(diào)整權(quán)重w:

則對(duì)于包的多樣本對(duì)數(shù)似然函數(shù)定義為[13]:

則正樣本包的概率為正樣本概率的幾何平均:

結(jié)合公式(8)，優(yōu)化后帶有標(biāo)簽的樣本可以表示為:

其中aij為正樣本包中每一個(gè)樣本的負(fù)梯度，表示為

2.3 在線多樣本的加權(quán)跟蹤

采用多樣本檢測(cè)，且有多個(gè)目標(biāo)的特征需要加權(quán)，由特征提取的公式(3)可知，候選目標(biāo)的每個(gè)特征是被檢目標(biāo)的概率如下:

通過(guò)公式(10)評(píng)估特征對(duì)訓(xùn)練樣本的分類(lèi)結(jié)果。設(shè)定k為判別正負(fù)樣本的閾值，如果pi(i)＞k，認(rèn)為樣本為正，反之認(rèn)為樣本為負(fù)，本文中選取k=0。

設(shè)定特征的權(quán)值為wi，且會(huì)在得到訓(xùn)練樣本的分類(lèi)結(jié)果后重置，每個(gè)特征的權(quán)值計(jì)算方式如下:

上式中tpi為正樣本被正確分類(lèi)的個(gè)數(shù)，tni為負(fù)樣本被正確分類(lèi)的個(gè)數(shù)，fpi為正樣本被錯(cuò)誤分類(lèi)的個(gè)數(shù)，fni為負(fù)樣本被錯(cuò)誤分類(lèi)的個(gè)數(shù)。

通過(guò)使用多種特征，目標(biāo)特征在各種情況下穩(wěn)定性提高，從而提高跟蹤效果，同時(shí)需要對(duì)公式(12)中條件分布p(vi|y=1)、p(vi|y=0)進(jìn)行重定義:

通過(guò)調(diào)整特征的wi，分類(lèi)效果好的特征權(quán)值wi增加，就可以得到新的分類(lèi)器Hn(v)，同時(shí)根據(jù)加權(quán)過(guò)的特征尋找目標(biāo)在下一幀的位置。

結(jié)合公式(14)，所得判斷目標(biāo)下一幀位置公式如下:

相關(guān)參數(shù)的更新公式如下:

其中:k為1和0時(shí)分別表示正樣本和負(fù)樣本;r為1和2分別表示通過(guò)特征提取矩陣R1和R2生成特征;μ為樣本均值，σ為樣本方差;λ＞0表示更新速率，越小更新速度越快。λ1越小，目標(biāo)的紋理特征變化越快;λ2越小，目標(biāo)的灰度均值特征變化越大。

在壓縮傳感跟蹤算法和在線boosting跟蹤算法(以下簡(jiǎn)稱(chēng)OBT算法)中，為穩(wěn)定在下一幀中尋找最佳位置的過(guò)程，是在視頻序列中尋找置信圖最大的位置，作為最佳估計(jì)位置。本文參考文獻(xiàn)[12]對(duì)此進(jìn)行了改進(jìn)，對(duì)背景和前景目標(biāo)同時(shí)更新，只有同時(shí)達(dá)到最大值時(shí)，才作為最佳估計(jì)位置。這種方法在目標(biāo)被遮擋時(shí)，有很好的抗干擾效果。

3 實(shí)驗(yàn)結(jié)果與分析

在實(shí)驗(yàn)時(shí)，前一幀圖像中去掉跟蹤區(qū)域作為背景圖像。目標(biāo)跟蹤實(shí)例使用了來(lái)自公共數(shù)據(jù)庫(kù)序列的自然視頻序列David、Sylvester、Girl和筆者視頻序列進(jìn)行測(cè)試。其中遮擋實(shí)例來(lái)源于Girl和筆者。本文跟蹤算法與壓縮傳感跟蹤算法、OBT算法進(jìn)行了比較，實(shí)驗(yàn)中壓縮傳感跟蹤算法選取特征的個(gè)數(shù)為100個(gè)，OBT算法中強(qiáng)分類(lèi)器50個(gè)，包含100個(gè)弱分類(lèi)器，算法都采用Haar-like特征，在主頻為2.83 GHz，內(nèi)存為4 GB，Windows 7操作系統(tǒng)下Matab 2012b平臺(tái)上進(jìn)行了對(duì)比實(shí)驗(yàn)。當(dāng)目標(biāo)大小為60像素×90像素，搜索半徑為24像素時(shí)，本文算法達(dá)到20幀/s跟蹤速度，基本滿(mǎn)足實(shí)時(shí)性要求。

目標(biāo)跟蹤結(jié)果如圖2、圖3所示，目標(biāo)遮擋的跟蹤結(jié)果如圖4、圖5所示，其中灰色實(shí)線框、黑色實(shí)線框及白色虛線框分別代表OBT算法、本文算法及壓縮傳感跟蹤算法。實(shí)時(shí)性分析表如表1所示。

圖2 David視頻序列跟蹤結(jié)果

由圖2可知，在David視頻序列中，壓縮傳感跟蹤算法在目標(biāo)的紋理、光照變化較少的情況下跟蹤效果良好，但在David的第227、379幀中，因?yàn)槟繕?biāo)快速運(yùn)動(dòng)，跟蹤檢測(cè)的視頻序列中出現(xiàn)了目標(biāo)漂移問(wèn)題。OBT算法因其特征可以學(xué)習(xí)更新，容易產(chǎn)生不理想的特征，特別是當(dāng)目標(biāo)快速運(yùn)動(dòng)時(shí)，經(jīng)常出現(xiàn)目標(biāo)漂移甚至丟失的情況。在跟蹤誤差曲線圖6中，OBT算法在第120到180幀之間出現(xiàn)目標(biāo)丟失的情況。本文算法的跟蹤最穩(wěn)定，或跟壓縮傳感跟蹤算法的跟蹤效果基本相同。

圖3 Sylvester視頻序列跟蹤結(jié)果

由圖3可知，在Sylvester視頻序列中，由于目標(biāo)運(yùn)動(dòng)迅速，紋理、光照變化明顯，壓縮傳感跟蹤算法和OBT算法在其中都出現(xiàn)了目標(biāo)漂移的情況。壓縮傳感跟蹤算法在第246、676、1160幀中發(fā)生目標(biāo)丟失的情況，這是由于壓縮傳感跟蹤算法采用的特征大部分為紋理特征，而其在目標(biāo)環(huán)境和目標(biāo)運(yùn)動(dòng)變化劇烈的情況下不夠穩(wěn)定，從而導(dǎo)致跟蹤效果的起伏。OBT算法在第246、676、1108到1300幀均出現(xiàn)了目標(biāo)漂移甚至第945幀以后完全丟失目標(biāo)的情況，從圖7中也可以看出跟蹤誤差起伏很大，這是由于其特征更新速率快的特點(diǎn)，導(dǎo)致了錯(cuò)誤累加。本文算法在目標(biāo)紋理出現(xiàn)變化較大的情況下，因采用紋理特征和灰度均值特征相結(jié)合的方法，且依據(jù)不同特征的不同穩(wěn)定性進(jìn)行加權(quán)，對(duì)Sylvester視頻序列跟蹤穩(wěn)定。

由圖4可知，在Girl視頻序列中出現(xiàn)了相似目標(biāo)時(shí)，從第439幀可以看出，壓縮傳感跟蹤算法和OBT算法會(huì)在相似的目標(biāo)間產(chǎn)生漂移。由于壓縮傳感跟蹤算法和OBT算法都沒(méi)有對(duì)遮擋情況作處理，故當(dāng)目標(biāo)被持續(xù)或大面積遮擋時(shí)，會(huì)發(fā)生目標(biāo)漂移甚至丟失的情況。本文算法和OBT算法在第445幀時(shí)，最先找回目標(biāo)，而壓縮傳感跟蹤算法產(chǎn)生了漂移。

圖4 Girl人臉遮擋和相似目標(biāo)跟蹤結(jié)果

圖5 人臉不同程度遮擋的跟蹤結(jié)果

由圖5可知，本文算法在檢測(cè)目標(biāo)被遮擋時(shí)依然能夠進(jìn)行跟蹤。在第1行右圖，在目標(biāo)被部分遮擋時(shí)，壓縮傳感跟蹤算法和OBT算法產(chǎn)生了漂移現(xiàn)象。第2行左圖，本文算法在目標(biāo)被遮擋恢復(fù)后，正確找回目標(biāo)，而壓縮傳感跟蹤算法和OBT算法已經(jīng)丟失目標(biāo)。在第3行的2圖中，本文算法跟蹤依舊準(zhǔn)確，壓縮傳感跟蹤算法發(fā)生漂移和丟失，OBT算法已丟失目標(biāo)。

圖6 David視頻序列的跟蹤誤差曲線圖

圖7 Sylvester視頻序列的跟蹤誤差曲線圖

本文方法4種視頻序列的實(shí)時(shí)性分析如表1所示。

表1 本文方法4種實(shí)例的實(shí)時(shí)性分析

由表1可以得知，本文的方法實(shí)時(shí)性達(dá)到了在線跟蹤的需求，受不同視頻分辨率和跟蹤目標(biāo)的變化，幀速率略有差異。

本文方法與OBT算法以及壓縮傳感跟蹤算法的實(shí)時(shí)性對(duì)比如表2所示。

表2 實(shí)時(shí)性對(duì)比

由表2可以得知，本文的方法實(shí)時(shí)性?xún)?yōu)于OBT算法，與壓縮傳感跟蹤算法相當(dāng)。

4 結(jié)束語(yǔ)

本文算法是在壓縮傳感跟蹤算法的基礎(chǔ)上提出的，通過(guò)實(shí)驗(yàn)可以看出本文算法的跟蹤速度優(yōu)于在線boosting跟蹤方法，繼承了壓縮傳感跟蹤算法實(shí)時(shí)跟蹤的優(yōu)越性。通過(guò)增加新的壓縮感知特征，融合多個(gè)正負(fù)樣本，有效提高特征跟蹤的穩(wěn)定性。結(jié)合boosting學(xué)習(xí)方法更新特征權(quán)值和置信圖估計(jì)，解決跟蹤目標(biāo)被遮擋的問(wèn)題，能有效抗干擾，并尋回目標(biāo)。

實(shí)驗(yàn)結(jié)果表明，本文算法在目標(biāo)運(yùn)動(dòng)、紋理或環(huán)境變化的情況下跟蹤穩(wěn)定性有所提高，對(duì)漂移現(xiàn)象具有一定的遏制。下一步的研究會(huì)著重于目標(biāo)發(fā)生嚴(yán)重遮擋時(shí)引入運(yùn)動(dòng)估計(jì)[14-16]加以改進(jìn)，在目標(biāo)大小發(fā)生變化時(shí)采用三角流等算法[17-19]解決。但這些方法的引入必然導(dǎo)致跟蹤幀速率的下降，如何更好地解決這些問(wèn)題是本文后續(xù)研究的方向。

[1] 馬俊.基于圖像和深度信息融合的目標(biāo)跟蹤[J].計(jì)算機(jī)與現(xiàn)代化，2013(9):91-94.

[2] 徐培智，徐貴力，王彪，等.基于立體視覺(jué)的非合作目標(biāo)位姿測(cè)量[J].計(jì)算機(jī)與現(xiàn)代化，2013(8):85-91.

[3] Dee H，Velastin S.How close are we to solving the problem of automated visual surveillance?[J].Machine Vision and Applications，2008，19(5-6):329-343.

[4] 劉國(guó)營(yíng)，陳秀宏，莊甘霖.檢測(cè)識(shí)別跟蹤分離的在線多樣本視頻目標(biāo)跟蹤[J].計(jì)算機(jī)工程，2012，38(23):194-197.

[5] Grabner H，Bischof H.On-line boosting and vision[C]//Proceedings of the 2006 IEEE Conference on Computer Vision and Pattern Recognition.2006，1:260-267.

[6] Stalder S，Grabner H，Van Gool L.Beyond semi-supervised tracking:Tracking should be as simple as detection，but not simpler than recognition[C]//Proceedings of the 12th IEEE International Conference on Computer Vision Workshops.2009:1409-1416.

[7] Li Hanxi，Shen Chunhua，Shi Qinfeng.Real-time visual tracking using compressive sensing[C]//Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition.2011:1305-1312.

[8] Mei Xue，Ling Haibin.Robust visual tracking and vehicle classification via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(11):2259-2272.

[9] Donoho D L.Compressed sensing[J].IEEE Transactions on Information Theory，2006，52(4):1289-1306.

[10] Zhang Kaihua，Zhang Lei，Yang Ming-Hsuan.Real-time compressive tracking[C]//Proceedings of the 13th European Conference on Computer Vision.2012:866-879.

[11] 朱秋平，顏佳，張虎，等.基于壓縮感知的多特征實(shí)時(shí)跟蹤[J].光學(xué)精密工程，2013，21(2):437-443.

[12] Viola P，Jones M.Rapid object detection using a boosted cascade of simple features[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2001，1:511-518.

[13] Babenko B，Yang Ming-Hsuan，Belongie S.Visual tracking with online multiple instance learning[C]//Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.2009:983-990.

[14] 顧幸方，茅耀斌，李秋潔.基于Mean Shift的視覺(jué)目標(biāo)跟蹤算法綜述[J].計(jì)算機(jī)科學(xué)，2012，39(12):16-24.

[15] Patras I，Hancock E R.Coupled prediction classification for robust visual tracking[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(9):1553-1567.

[16] Olson C F.Maximum-likelihood template matching[C]//Proceedings of the 2000 IEEE Conference on Computer Vision and Pattern Recognition.2000，2:52-57.

[17] Glocker B，Heibel T H，Navab N，et al.TriangleFlow:Optical flow with triangulation-based higher-order likelihoods[C]//Proceedings of the 11th European Conference on Computer Vision.2010:272-285.

[18] Lin Zhe，Hua Gang，Davis L S.Multiple instance feature for robust part-based object detection[C]//Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.2009:405-412.

[19] Fang Jiang-xiong，Yang Jie，Liu Hua-xiang.Efficient and robust fragments-based multiple kernels tracking[J].International Journal of Electronics and Communications，2011，65(11):915-923.