基于背景約束的抗遮擋目標(biāo)跟蹤算法研究

陽(yáng)永清

（長(zhǎng)沙師范學(xué)院信息與公共實(shí)驗(yàn)管理中心，湖南 長(zhǎng)沙 410100）

目標(biāo)跟蹤技術(shù)一直以來(lái)都是計(jì)算機(jī)圖像智能處理領(lǐng)域中的研究熱點(diǎn)，其最早應(yīng)用于軍事領(lǐng)域，現(xiàn)已在專項(xiàng)偵察、人機(jī)交互、醫(yī)療診斷、安防監(jiān)控和虛擬現(xiàn)實(shí)等諸多領(lǐng)域有著廣泛的應(yīng)用[1-2]，成為城市智能視頻監(jiān)控的核心技術(shù)之一。目標(biāo)跟蹤的目的主要在于確定目標(biāo)在視頻圖像中的準(zhǔn)確位置和狀態(tài)，從而有效獲取目標(biāo)的行跡、特征信息和空間位置信息等內(nèi)容，為對(duì)目標(biāo)狀態(tài)進(jìn)行更精準(zhǔn)的分析提供技術(shù)支持。目標(biāo)跟蹤過(guò)程可以依據(jù)目標(biāo)的類別分為點(diǎn)目標(biāo)跟蹤和特征目標(biāo)跟蹤兩種。

目前，已有一些相對(duì)成熟的目標(biāo)跟蹤方法。劉美枝、楊磊等[3]設(shè)計(jì)了基于Camshift的跟蹤算法，該算法充分考慮了角點(diǎn)的特征不變性，并利用圖像Harris角點(diǎn)檢測(cè)過(guò)程提取圖像信息的局部特征點(diǎn)，繼而在視頻圖像的連續(xù)兩幀之間，通過(guò)對(duì)特征信息的配準(zhǔn)剔除圖像中的虛假特征點(diǎn)，從而獲得特征點(diǎn)的實(shí)際位置和主方向，再利用CamShift算法完成對(duì)目標(biāo)位置和方向的搜索和跟蹤。曾禮靈、李朝鋒[4]設(shè)計(jì)了基于支持向量機(jī)（Support Vector Machine,SVM）的跟蹤算法，該算法在多核學(xué)習(xí)過(guò)程中導(dǎo)入了Boosting提升方法，利用比普通多核學(xué)習(xí)過(guò)程更加便捷的樣本訓(xùn)練過(guò)程，建立基于互補(bǔ)性特征集和核函數(shù)集的弱分類器池，然后把多個(gè)單核的弱分類器組合起來(lái)，形成一個(gè)較強(qiáng)、多核的分類器，使得雙方可以在強(qiáng)背景干擾的環(huán)境下仍能實(shí)現(xiàn)對(duì)目標(biāo)的識(shí)別和跟蹤。周珂、張浩博等[5]設(shè)計(jì)了基于SiamMask的跟蹤算法，該算法利用了融合優(yōu)化的思想，將傳統(tǒng)的基于PyTorch深度學(xué)習(xí)框架的SiamMask單目標(biāo)跟蹤過(guò)程和感興趣區(qū)域檢測(cè)過(guò)程相結(jié)合，并使用時(shí)空語(yǔ)境預(yù)測(cè)過(guò)程，根據(jù)圖像中目標(biāo)的時(shí)空變化，對(duì)目標(biāo)下一時(shí)刻的新位置進(jìn)行預(yù)測(cè)，借助于SiamMask模型的校正能力實(shí)現(xiàn)對(duì)圖像中目標(biāo)的快速識(shí)別和跟蹤。周克虎、周進(jìn)等[6]設(shè)計(jì)了基于Struck的遮擋目標(biāo)跟蹤算法，該算法在Struck算法框架的基礎(chǔ)上融入遮擋判斷機(jī)制，當(dāng)追蹤目標(biāo)存在遮擋時(shí)，通過(guò)縮放搜索樣本的尺寸避免遮擋檢測(cè)虛警，并通過(guò)卡爾曼濾波實(shí)現(xiàn)目標(biāo)全遮擋后的持續(xù)跟蹤。盧瑞濤、任世杰等[7]設(shè)計(jì)了基于稀疏表示多子模板的跟蹤算法，該算法首先利用子模板選擇方法最大程度地捕捉目標(biāo)特征信息。這一過(guò)程中，針對(duì)圖像直方圖對(duì)光照敏感的弊端，引入了稀疏表示理論，將其用于描述子模板特征，從而提高模板子塊的適應(yīng)能力，然后通過(guò)構(gòu)造表決圖對(duì)目標(biāo)位置進(jìn)行融合決策，對(duì)目標(biāo)模型進(jìn)行有效跟蹤。

為進(jìn)一步提高目標(biāo)跟蹤結(jié)果的質(zhì)量，建立了背景約束模式，在此基礎(chǔ)上設(shè)計(jì)了一種抗遮擋目標(biāo)跟蹤算法，以實(shí)現(xiàn)優(yōu)質(zhì)的運(yùn)動(dòng)目標(biāo)跟蹤。

1 算法設(shè)計(jì)

1.1 基于背景約束機(jī)制的目標(biāo)識(shí)別

1.1.1 前景目標(biāo)物與背景信息提取

目標(biāo)識(shí)別過(guò)程中，圖像內(nèi)前景目標(biāo)物與背景劃分是一個(gè)關(guān)鍵環(huán)節(jié)[8]。為實(shí)現(xiàn)對(duì)視頻圖像內(nèi)信息的智能感知，有效劃分圖像內(nèi)跟蹤目標(biāo)識(shí)別前景與背景，采用由下向上的視覺注意模型生成圖像馬爾科夫矩陣，獲取顯著圖[9]。過(guò)程如下：

Step 1：在對(duì)圖像進(jìn)行降采樣后提取圖像顏色c、亮度l、方向d三類低級(jí)特征，調(diào)整每一個(gè)尺度下的圖像低級(jí)特征生成“activation maps”；

Step 2：歸一化處理“activation maps”，過(guò)程為：

其中，H(φ)是歸一化過(guò)程的哈密頓算符，h表示歐氏距離，t表示尺度。

1.1.2 背景約束機(jī)制

視頻圖像背景內(nèi)通常存在大量情景信息，這些信息同跟蹤目標(biāo)的出現(xiàn)密切相關(guān)，基于這些相關(guān)性能夠輔助確定圖像內(nèi)跟蹤目標(biāo)出現(xiàn)的概率[10]?；诖?，利用先驗(yàn)知識(shí)構(gòu)建背景對(duì)目標(biāo)的約束機(jī)制，可提升目標(biāo)識(shí)別概率，同時(shí)與單純目標(biāo)分類獲取的識(shí)別結(jié)果相比更能滿足人類的認(rèn)知心理。

根據(jù)背景約束機(jī)制構(gòu)建背景對(duì)象（Background Object,BO）模型，圖像背景信息與跟蹤目標(biāo)出現(xiàn)的相關(guān)性關(guān)系Z用下式描述：

其中，Background、Object和Probability分別表示圖像集內(nèi)背景集合、目標(biāo)物集合和某圖像背景下目標(biāo)物出現(xiàn)的概率。

根據(jù)以上分析可知，目標(biāo)物集合內(nèi)各目標(biāo)物元素同背景集合內(nèi)各背景元素之間都存在某種程度的相關(guān)性，但各背景元素下不同目標(biāo)物元素存在的可能性有所差異，這種概率約束被定義為背景對(duì)標(biāo)定的概率約束機(jī)制[11]。劃分視頻圖像內(nèi)前景目標(biāo)物與背景后，識(shí)別判斷背景，利用背景約束機(jī)制構(gòu)建的BO模型對(duì)前景目標(biāo)物進(jìn)行分析，由此實(shí)現(xiàn)視頻圖像內(nèi)跟蹤目標(biāo)識(shí)別。

1.2 基于多線索融合的目標(biāo)跟蹤

1.2.1 粒子濾波的跟蹤框架

依照觀測(cè)值優(yōu)化粒子權(quán)值：

1.2.2 mean-shift算法

其中，N和Kφ分別表示粒子總數(shù)和核寬為φ的高斯核函數(shù)。依照均值向量梯度方向?qū)⒘Ｗ右苿?dòng)至后驗(yàn)概率密度的局部極值區(qū)域，同時(shí)利用上限Bhattacharyya系數(shù)確定跟蹤目標(biāo)運(yùn)動(dòng)的最優(yōu)方位。

1.2.3 線索的選取

利用顏色直方圖模板和基于核密度橢圓的二值形狀模板選取[16-17]粒子濾波跟蹤的線索。

1）加權(quán)顏色直方圖模型

其中，CH和δ分別表示歸一化因子和Kronecker函數(shù)。

其中，P值與分布一致度之間為反比關(guān)系。針對(duì)兩個(gè)一致的加權(quán)顏色直方圖模板，P值為0可描述最優(yōu)的匹配度。

在此基礎(chǔ)上，利用式（11）描述候選目標(biāo)的顏色似然函數(shù)：

其中，σc表示顏色線索觀測(cè)值內(nèi)的高斯噪聲。

2）二值形狀線索

以二值形狀為目標(biāo)跟蹤線索時(shí)，假設(shè)Y表示跟蹤目標(biāo)橢圓參數(shù)，由此得到跟蹤目標(biāo)的二值形狀模板：

其中，Bt-1表示前景目標(biāo)的二值分割圖像。

利用式（14）描述候選目標(biāo)的概率化形狀似然函數(shù)：

1.3 遮擋判定與融合策略自適應(yīng)

當(dāng)跟蹤目標(biāo)存在被遮擋現(xiàn)象后，跟蹤算法應(yīng)通過(guò)相應(yīng)策略進(jìn)行抗遮擋處理，至遮擋現(xiàn)象消失后返回正常跟蹤模式[19]。Bhattacharyya系數(shù)可描述當(dāng)前候選跟蹤目標(biāo)與跟蹤目標(biāo)之間的一致度。在跟蹤目標(biāo)無(wú)遮擋情況下，Bhattacharyya系數(shù)波動(dòng)控制在一定范圍內(nèi)；在跟蹤目標(biāo)被遮擋情況下，Bhattacharyya系數(shù)將顯著下降。因此可根據(jù)Bhattacharyya系數(shù)的波動(dòng)情況判斷跟蹤目標(biāo)是否被遮擋。

在跟蹤目標(biāo)被遮擋條件下，遮擋物不同，Bhattacharyya系數(shù)下降水平也有所差異[20]。在遮擋物同跟蹤目標(biāo)顏色差異較小的條件下，Bhattacharyya系數(shù)下降幅度也有所減緩。一般來(lái)說(shuō)，若遮擋物顏色類似于跟蹤目標(biāo)，其紋理特征通常區(qū)別于跟蹤目標(biāo)。因此，在顏色線索與二值形狀線索中，若任意線索的Bhattacharyya系數(shù)存在顯著下降的趨勢(shì)，則可說(shuō)明跟蹤目標(biāo)被遮擋。

融合顏色直方圖與二值形狀線索過(guò)程中采用自適應(yīng)融合策略[21]，在線索充分的條件下，為獲取高精度的似然函數(shù)，兩種線索采用乘性融合模式；若存在跟蹤目標(biāo)被遮擋導(dǎo)致線索退化現(xiàn)象發(fā)生時(shí)，為提升似然函數(shù)的穩(wěn)定性，則轉(zhuǎn)換為加權(quán)融合的模式。

在跟蹤目標(biāo)無(wú)遮擋、跟蹤線索充分的條件下，選用的乘性融合模式的表達(dá)式如下：

其中，α、β都表示加權(quán)系數(shù)，同時(shí)α+β=1，兩者的值由跟蹤場(chǎng)景決定，若存在目標(biāo)遮擋，α值較大。

在目標(biāo)跟蹤時(shí)，粒子濾波跟蹤框架自適應(yīng)優(yōu)化兩種線索直方圖，用q和r分別表示當(dāng)前模板和當(dāng)前候選跟蹤目標(biāo)的直方圖，在兩者的Bhattacharyya距離小于閾值Th時(shí)，優(yōu)化模板；相反判定跟蹤目標(biāo)受外界因素影響顯著，或跟蹤目標(biāo)被局部或整體遮擋，不優(yōu)化模板。以此避免跟蹤結(jié)果受外界因素影響，并確保跟蹤目標(biāo)被遮擋條件下目標(biāo)模板的準(zhǔn)確優(yōu)化。

2 實(shí)驗(yàn)分析

2.1 跟蹤結(jié)果初步檢驗(yàn)

實(shí)驗(yàn)對(duì)象選取某場(chǎng)籃球比賽視頻進(jìn)行實(shí)驗(yàn)測(cè)試，視頻幀率為24 fps，分辨率為352×288。利用該文算法追蹤該視頻內(nèi)的22號(hào)球員，初步判斷該文方法的有效性，結(jié)果如圖1所示。

圖1 文中算法追蹤結(jié)果

由圖1可知，采用該文算法進(jìn)行目標(biāo)追蹤的過(guò)程中，第18幀、第69幀和第97幀圖像在非遮擋與遮擋條件下都可以準(zhǔn)確跟蹤運(yùn)動(dòng)目標(biāo)，由此可初步證明該文算法能夠有效跟蹤運(yùn)動(dòng)目標(biāo)。這是因?yàn)樵撐姆椒ㄔ谀繕?biāo)跟蹤算法的基礎(chǔ)上增加了判斷模式，若存在目標(biāo)遮擋，則及時(shí)轉(zhuǎn)變線索融合模式，在粒子濾波框架內(nèi)引入了mean-shift算法，因此可在存在目標(biāo)遮擋的情況下有效追蹤目標(biāo)。

2.2 跟蹤效果對(duì)比

2.2.1 非遮擋目標(biāo)跟蹤

在實(shí)驗(yàn)對(duì)象內(nèi)選取某非遮擋運(yùn)動(dòng)目標(biāo)視頻進(jìn)行實(shí)驗(yàn)測(cè)試，對(duì)比該文算法、基于Camshift的跟蹤算法、基于SVM的跟蹤算法、基于SiamMask的跟蹤算法、基于Struck的遮擋目標(biāo)跟蹤算法和基于稀疏表示多子模板的跟蹤算法的跟蹤效果，結(jié)果如圖2所示。

圖2 非遮擋目標(biāo)跟蹤效果對(duì)比

2.2.2 遮擋目標(biāo)跟蹤

在實(shí)驗(yàn)對(duì)象內(nèi)選取某遮擋運(yùn)動(dòng)目標(biāo)視頻進(jìn)行實(shí)驗(yàn)測(cè)試，對(duì)比不同方法的跟蹤效果，結(jié)果如圖3所示。

圖3 遮擋目標(biāo)跟蹤效果對(duì)比

2.3 跟蹤性能測(cè)試

2.3.1 跟蹤速度測(cè)試

在相同實(shí)驗(yàn)環(huán)境下，對(duì)比不同算法對(duì)不同目標(biāo)進(jìn)行跟蹤所需的時(shí)間，結(jié)果如表1、表2所示。

表1 非遮擋目標(biāo)跟蹤時(shí)間對(duì)比

表2 遮擋目標(biāo)跟蹤時(shí)間對(duì)比

2.3.2 中心位置誤差與覆蓋率對(duì)比

中心位置誤差與覆蓋率分別描述跟蹤框與實(shí)際目標(biāo)框的中心偏差和兩者合并部分內(nèi)的重疊比重。為定性評(píng)價(jià)該文算法的跟蹤效果，將上述兩個(gè)指標(biāo)作為評(píng)標(biāo)標(biāo)準(zhǔn)，結(jié)果如表3所示。

分析表3可知，該文算法在中心位置誤差與覆蓋率兩項(xiàng)指標(biāo)的計(jì)算結(jié)果均顯著優(yōu)于其他5種算法，這一結(jié)果表明該文算法的跟蹤效果更優(yōu)。這是因?yàn)樵撐乃惴ㄍㄟ^(guò)建立前景目標(biāo)物的概率約束提高了目標(biāo)識(shí)別的精度，并將mean-shift算法引入粒子濾波框架內(nèi)，減小了遮擋信息的干擾。

表3 中心位置誤差及覆蓋率對(duì)比

3 結(jié)論

該研究在提取初始幀圖像內(nèi)的前景目標(biāo)與背景特征的基礎(chǔ)上，建立了對(duì)前景目標(biāo)物的概率約束，有效地提高了目標(biāo)識(shí)別的精度，并在目標(biāo)跟蹤算法的基礎(chǔ)上增加了判斷模式，若存在目標(biāo)遮擋，則及時(shí)轉(zhuǎn)變線索融合模式，將mean-shift算法引入粒子濾波框架內(nèi)，實(shí)現(xiàn)了抗遮擋的目標(biāo)跟蹤。實(shí)驗(yàn)結(jié)果表明，該文算法在跟蹤精度與跟蹤速度上均顯著優(yōu)于現(xiàn)有算法。