結(jié)合卷積神經(jīng)網(wǎng)絡(luò)多特征融合的相關(guān)濾波跟蹤①

楊海清 許倩倩 唐怡豪 孫道洋

(浙江工業(yè)大學(xué)信息工程學(xué)院 杭州 310023)

0 引 言

視覺(jué)跟蹤是計(jì)算機(jī)視覺(jué)中眾多應(yīng)用的基本問(wèn)題之一[1]，其典型場(chǎng)景是跟蹤由第1幀中的邊界框指定的未知目標(biāo)對(duì)象。視覺(jué)跟蹤在近幾十年來(lái)取得了重大進(jìn)展，但由于遮擋、變形、突然運(yùn)動(dòng)、光照變化和背景雜亂等引起的外觀變化，對(duì)跟蹤精度仍具有挑戰(zhàn)性。

目前，基于相關(guān)濾波器的目標(biāo)跟蹤因使用快速傅里葉變換具有高效計(jì)算而引起了廣泛的關(guān)注，其思想是將所有輸入特征的循環(huán)版本回歸到目標(biāo)高斯函數(shù)，因此不需要目標(biāo)外觀的硬閾值樣本。Bolme等人[2]采用在亮度通道上的平方誤差濾波器的最小輸出和以進(jìn)行快速跟蹤，已經(jīng)提出了幾個(gè)擴(kuò)展來(lái)提高跟蹤精度，包括核化相關(guān)濾波器[3]、多維特征[4]、上下文學(xué)習(xí)[5]、尺度估計(jì)[6]、基于多特征融合的尺度自適應(yīng)跟蹤[7]和互補(bǔ)特征學(xué)習(xí)實(shí)時(shí)跟蹤[8]。最近，基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[9]的特征在視覺(jué)跟蹤中體現(xiàn)出很好的效果[10]。Wang等人[11]提出要在視頻庫(kù)[12]學(xué)習(xí)一個(gè)雙層神經(jīng)網(wǎng)絡(luò)。Hong等人[13]在目標(biāo)對(duì)象的不同實(shí)例上構(gòu)造多個(gè)CNN分類器，以在模型更新期間排除噪聲，從二進(jìn)制樣本中學(xué)習(xí)2層CNN分類器，不需要預(yù)訓(xùn)練過(guò)程?；诰矸e特征的相關(guān)濾波算法(hierarchical convolutional features for visual tracking，HCF)[14]利用CNN中多個(gè)卷積層來(lái)提取目標(biāo)特征，將高層高語(yǔ)義特征與低層高分辨特征進(jìn)行有效的結(jié)合，提高了跟蹤精度。

但由于提取目標(biāo)的特征不強(qiáng)，會(huì)使目標(biāo)發(fā)生丟失、漂移。針對(duì)相關(guān)濾波不同特征的提取和融合的問(wèn)題，本文提出學(xué)習(xí)多維特征的相關(guān)濾波器[15]，使用卷積特征與傳統(tǒng)手工特征中的方向梯度直方圖(histogram of oriented gridients， HOG)[16]和顏色名(color name， CN)[17]特征的結(jié)合，并且構(gòu)造多個(gè)相關(guān)濾波器，區(qū)別于單一濾波器，利用傳統(tǒng)的特征提取方法，將提取的特征(HOG+CN)進(jìn)行簡(jiǎn)單的矢量相加，使用文獻(xiàn)[18]中的方法提取CNN特征，在大型ImageNet數(shù)據(jù)集[19]上使用類別級(jí)標(biāo)簽對(duì)其進(jìn)行訓(xùn)練，采用conv5-4卷積層的輸出作為特征。在訓(xùn)練階段，根據(jù)特征響應(yīng)值計(jì)算可靠權(quán)重；在定位階段，對(duì)特征檢測(cè)響應(yīng)值進(jìn)行可靠加權(quán)后得到目標(biāo)的位置；最后通過(guò)最大響應(yīng)值和平均峰值相關(guān)能量(average peak-to correlation energy，APCE)[20]判斷是否更新模型。采用跟蹤基準(zhǔn)(object tracking benchmark,OTB-100)[21]對(duì)多個(gè)視頻序列進(jìn)行測(cè)試，并與5種基于相關(guān)濾波主流跟蹤算法作性能對(duì)比分析，實(shí)驗(yàn)結(jié)果充分證明本文算法在魯棒性和跟蹤精度上均優(yōu)于其他算法。

1 多通道相關(guān)濾波器

學(xué)習(xí)階段：記d通道目標(biāo)外觀模板為f，期望輸出為y，然后通過(guò)求解最小化問(wèn)題來(lái)學(xué)習(xí)與f具有相同大小的相關(guān)濾波器h：

(1)

(2)

其中，r(h)表示訓(xùn)練樣本相關(guān)響應(yīng)，*是空間域的循環(huán)卷積，λ是正則化參數(shù)(λ≥0)。式(1)中的最小化問(wèn)題類似于訓(xùn)練[22]中的矢量相關(guān)濾波器，并且可以使用快速傅里葉變換在每個(gè)單獨(dú)的特征信道中求解，d通道上的頻域?qū)W習(xí)濾波器可寫為

(3)

檢測(cè)階段：

(4)

(5)

式中，η是學(xué)習(xí)率。

2 多特征融合與目標(biāo)跟蹤

本文算法基于多通道相關(guān)濾波算法框架，采用卷積特征、傳統(tǒng)手工特征(HOG+CN)多特征融合進(jìn)行目標(biāo)跟蹤，用多個(gè)濾波器學(xué)習(xí)并進(jìn)行卷積以生成各自響應(yīng)圖。

2.1 特征可靠性估計(jì)

假設(shè)特征通道相互獨(dú)立，響應(yīng)是所有特征通道之和，跟蹤中加入通道可靠性權(quán)重wk，最終響應(yīng)由加權(quán)后的特征通道和計(jì)算：

(6)

其中，fk*hk表示特征通道響應(yīng)，wk表示對(duì)應(yīng)權(quán)重，wk由通道學(xué)習(xí)可靠權(quán)重和通道檢測(cè)可靠權(quán)重計(jì)算，通道學(xué)習(xí)可靠權(quán)重在濾波器學(xué)習(xí)階段由通道濾波器最大響應(yīng)計(jì)算。

(7)

通道檢測(cè)可靠權(quán)重在檢測(cè)階段由響應(yīng)圖中2個(gè)最大峰值比值計(jì)算。當(dāng)相似物體出現(xiàn)在目標(biāo)附近時(shí)，會(huì)出現(xiàn)多峰，在這種情況下將比率約束為0.5。

(8)

其中，ρmax1、ρmax2表示響應(yīng)圖中2個(gè)最大的峰值。由此可得通道可靠權(quán)重：

(9)

其中∑kwk=1，即所有通道系數(shù)和為1，為了保證時(shí)間的魯棒性，通道權(quán)重更新公式如下：

wt=(1-η)wt-1+w

(10)

其中w=[w1，…，wK]T。

2.2 遮擋機(jī)制的判斷

響應(yīng)圖的峰值和波動(dòng)在一定程度上反映了跟蹤結(jié)果的置信度。當(dāng)檢測(cè)到的目標(biāo)與實(shí)際目標(biāo)極為匹配時(shí)，理想的響應(yīng)圖只有一個(gè)尖峰，所在其他區(qū)域平滑，相關(guān)峰越尖銳，定位精度越好。否則，整個(gè)響應(yīng)圖將劇烈波動(dòng)，如果繼續(xù)使用不確定的樣本來(lái)更新跟蹤模型，它將大部分損壞，導(dǎo)致跟蹤失敗。因此，本文提出了具有2個(gè)標(biāo)準(zhǔn)的高置信度反饋機(jī)制。

第1個(gè)標(biāo)準(zhǔn)是響應(yīng)圖F(s,y；w)的最大響應(yīng)分?jǐn)?shù)Fmax1，本文采用的是HOG+CN特征融合后的響應(yīng)分?jǐn)?shù)，定義為

Fmax1=maxF(s,y；w)

(11)

第2個(gè)標(biāo)準(zhǔn)稱為平均峰值相關(guān)能量(APCE)測(cè)量，定義為

(12)

其中，F(xiàn)max和Fmin表示3種特征融合后得到的最大響應(yīng)值和最小響應(yīng)值，m和n代表響應(yīng)圖的寬和高。APCE表示響應(yīng)圖的波動(dòng)程度和檢測(cè)目標(biāo)的置信水平。目標(biāo)明顯出現(xiàn)在檢測(cè)范圍內(nèi)，峰值越尖銳、噪聲越小，APCE值將相對(duì)變大，即響應(yīng)圖只有一個(gè)尖銳的峰值且其他處呈現(xiàn)平滑的狀態(tài)。當(dāng)對(duì)象被遮擋或丟失時(shí)，APCE值將顯著減小。

當(dāng)APCE和Fmax1均低于一定閾值時(shí)，即發(fā)生遮擋，模型會(huì)停止更新，既避免原模型的污染又降低了模型的更新次數(shù)，在某種程度上加速了算法。若目標(biāo)發(fā)生連續(xù)多幀遮擋時(shí)，再考慮初始化該跟蹤算法。

2.3 多特征響應(yīng)自適應(yīng)融合與相關(guān)濾波器跟蹤

本文使用來(lái)自CNN(VGG-Net-19)的卷積特征映射來(lái)編碼目標(biāo)外觀，與CNN前向傳播一起，不同類別的對(duì)象語(yǔ)義區(qū)分被加強(qiáng)，并且精確定位的空間分辨率逐漸減小。對(duì)于視覺(jué)目標(biāo)跟蹤，目的是找出目標(biāo)對(duì)象的準(zhǔn)確位置，卷積神經(jīng)網(wǎng)絡(luò)高層的卷積特征更加抽象，具有豐富的語(yǔ)義信息，能夠很好地解決非剛性形變、遮擋等問(wèn)題，并且能夠?qū)δ繕?biāo)進(jìn)行類間判別，對(duì)于目標(biāo)的外形變化是魯棒的。不足的是空間分辨率低，對(duì)平移和尺度都有不變性，無(wú)法精確定位目標(biāo)，會(huì)造成目標(biāo)漂移和跟蹤失敗。

HOG和CN特征分別描述了目標(biāo)的梯度和顏色特征，在圖像的每個(gè)局部區(qū)域內(nèi)，通過(guò)計(jì)算梯度方向直方圖來(lái)提取HOG特征，其描述了目標(biāo)的邊緣梯度信息。在目標(biāo)的每個(gè)像素上進(jìn)行非線性映射來(lái)提取CN特征，相比灰度特征，其能描述更豐富的目標(biāo)顏色信息，HOG特征保留了目標(biāo)的位置信息，CN保留了顏色的位置信息。雖然HOG特征具有一定的平移、光照不變性，但這種單一的特征難以適應(yīng)跟蹤中出現(xiàn)的多種挑戰(zhàn)因素，而CN特征具有對(duì)圖像大小和方向不敏感的特點(diǎn)，所以將HOG和CN 2種特征進(jìn)行融合，然后對(duì)目標(biāo)進(jìn)行描述，可實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，提高了分類器的性能，其缺點(diǎn)是不變性差。目標(biāo)稍微形變就很難識(shí)別目標(biāo)，尤其是旋轉(zhuǎn)，即魯棒性很差。

因此，本文提出將高分辨率、低魯棒性的傳統(tǒng)特征(HOG+CN)與高語(yǔ)義、高魯棒性、低分辨率的卷積特征相結(jié)合的算法，以達(dá)到跟蹤優(yōu)勢(shì)互補(bǔ)的效果。用傳統(tǒng)特征提取方法提取HOG+CN特征融合再通過(guò)相關(guān)濾波器學(xué)習(xí)得到相關(guān)響應(yīng)yHOG+CN，與此同時(shí)對(duì)圖片塊用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)(VGG-Net-19)提取特征。為保證精確的跟蹤文中刪除了空間分辨率較低的完全連接層，使用VGG-Net-19最后一層卷積層(conv5-4)特征,再用一個(gè)核相關(guān)濾波器學(xué)習(xí)得到相關(guān)響應(yīng)yCNN；在訓(xùn)練階段，根據(jù)式(9)特征響應(yīng)值計(jì)算可靠權(quán)重wk；在模板特征響應(yīng)圖層進(jìn)行自適應(yīng)特征融合，由式(6)得到融合后的輸出響應(yīng)：

yt=w1×yHOG+CN+w2×yCNN

(13)

其中w1和w2由式(10)更新且w1+w2=1；通過(guò)yt的峰值得到目標(biāo)位置，最后再根據(jù)響應(yīng)圖的最大響應(yīng)分?jǐn)?shù)Fmax1和APCE是否低于一定的閾值判斷遮擋從而分別更新各自的濾波器。

2.4 算法流程

算法流程如圖1所示，算法步驟如下。

(4)根據(jù)通道可靠加權(quán)后得到的響應(yīng)值yt估計(jì)出目標(biāo)的位置，并根據(jù)融合特征(HOG+CN)后的響應(yīng)圖中最大響應(yīng)分?jǐn)?shù)Fmax1和APCE值是否低于一定的閾值來(lái)判斷遮擋，從而通過(guò)式(5)和式(10)更新下一幀的濾波器模型以及通道可靠性權(quán)重(遮擋不更新模型)。

圖1 算法流程

3 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)環(huán)境基于Window7系統(tǒng)和Matlab 2016b，使用目標(biāo)跟蹤基準(zhǔn)(OTB-100)部分視頻序列評(píng)估了本文算法的性能，其中包含的復(fù)雜情況有光照變化、平面內(nèi)旋轉(zhuǎn)、快速移動(dòng)、運(yùn)動(dòng)模糊、背景干擾、遮擋、尺度變化和非剛性形變，并與最先進(jìn)的算法進(jìn)行了比較。主要使用距離精度(distance precision，DP)、重疊精度(overlap precision，OP)、平均幀率(frame per second，F(xiàn)PS)3種指標(biāo)進(jìn)行評(píng)價(jià)，其中DP描述了跟蹤算法估計(jì)目標(biāo)位置(bounding box)的中心點(diǎn)與人工標(biāo)注(ground-truth)目標(biāo)的中心點(diǎn)，這兩者的距離小于給定閾值的視頻幀的百分比，閾值設(shè)定為20個(gè)像素點(diǎn)，評(píng)價(jià)了算法的魯棒性；OP指得分大于某一閾值的幀數(shù)占跟蹤總幀數(shù)的百分比，評(píng)價(jià)了算法的準(zhǔn)確性。根據(jù) PASCAL評(píng)價(jià)指標(biāo)[23]，本文選擇重疊率閾值為0.5，遵循文獻(xiàn)[24]中的協(xié)議，對(duì)所有視頻序列和所有靈敏度分析使用相同的參數(shù)值，在Matlab中的Intel i5-4770上實(shí)現(xiàn)了跟蹤器。

3.1 定性分析

測(cè)試的算法除了本文算法以外，還增加了KCF[4]、CN[17]、SAMF[7]、CNN+SVM[13]和HCF14]等近幾年提出的主流相關(guān)濾波跟蹤算法，為了相對(duì)直觀地證明本文算法的優(yōu)越性，選用3組視頻序列g(shù)irl2、coke、singer1在6種跟蹤算法中的比較，如圖2、圖3、圖4所示，圖中序列分別測(cè)試了遮擋、快速移動(dòng)、光照變化以及尺度變化4種情況。圖片從左到右算法依次為本文算法(OUR)、CN、KCF、HCF、SAMF、CNN+SVM，圖2中序列118幀目標(biāo)發(fā)生遮擋，其他算法跟蹤誤差逐漸積累，從157幀中可以看出其他算法均跟丟目標(biāo)；從圖3可以看出，由于目標(biāo)快速移動(dòng)和在強(qiáng)烈光照影響下，其他算法表現(xiàn)比較差；圖4中序列目標(biāo)發(fā)生了尺度變化，其他算法不能很好適應(yīng)尺度變化，會(huì)出現(xiàn)漂移的現(xiàn)象。而本文算法對(duì)目標(biāo)的位置和目標(biāo)尺度變化均做出了很好的處理，表現(xiàn)出很高的魯棒性，在整個(gè)跟蹤過(guò)程中能適應(yīng)各類復(fù)雜場(chǎng)景并且能準(zhǔn)確跟蹤目標(biāo)。

圖2 遮擋情況下6種跟蹤算法對(duì)比

圖3 快速運(yùn)動(dòng)與光照變化情況下6種算法對(duì)比

圖4 尺度變化情況下6種算法對(duì)比

3.2 定量分析

本實(shí)驗(yàn)中，為了分析多特征融合方法的有效性，將OUR_OCC(HOG+CN+CNN)、OUR_OCC_cnn(CNN)和OUR_OCC_hogcn(HOG+CN)3種算法在OTB-100的部分視頻序列上做了實(shí)驗(yàn)，主要從一次性通過(guò)評(píng)估(one-pass evaluation，OPE)方面進(jìn)行測(cè)評(píng)。從表1和圖5可以看出，OUR_OCC的精度和成功率都高于傳統(tǒng)特征算法和卷積特征的算法，精度分別提升了9%和2.8%，成功率分別提升了5.9%和2.9%。由圖6可以看出在快速移動(dòng)和尺度變化情況下，OUR_OCC_cnn的跟蹤精度領(lǐng)先于OUR_OCC_hogcn，但是魯棒性相對(duì)較差；目標(biāo)遮擋時(shí)會(huì)出現(xiàn)漂移的現(xiàn)象，而融合后的OUR_OCC算法均達(dá)到了最佳性能。

表1 融合特征前后3種算法性能對(duì)比表

圖5 融合特征前后3種算法的成功率圖和精度圖

圖6 融合特征前后3種算法在復(fù)雜場(chǎng)景下精度圖和成功率圖

對(duì)算法準(zhǔn)確率和成功率進(jìn)行繪圖，本文算法在曲線圖中的名稱為OUR_OCC，如圖7和表2所示，在準(zhǔn)確率和成功率方面都優(yōu)于其他算法，分別達(dá)到了90.4%和84.7%。圖8顯示了在遮擋、尺度變化和運(yùn)動(dòng)模糊情況下本文算法的精度分別達(dá)到了93.9%、88.2%、88.7%，成功率為92.1%、75.5%和80%，均優(yōu)于其他算法，說(shuō)明該算法能根據(jù)不同跟蹤場(chǎng)景下特征描述目標(biāo)的能力，自適應(yīng)調(diào)整融合權(quán)重以及遮擋判斷與更新模型，減少了目標(biāo)跟丟的可能性，提高了算法的魯棒性。

表2 本文算法與其他算法的性能對(duì)比表

圖7 6種算法跟蹤測(cè)試基準(zhǔn)的精度圖和成功率圖

圖8 6種算法復(fù)雜場(chǎng)景下跟蹤測(cè)試基準(zhǔn)的精度圖和成功率圖

4 結(jié) 論

本文算法提出了傳統(tǒng)手工特征(HOG+CN)和深度學(xué)習(xí)領(lǐng)域中的卷積(VGG-Net-19)多特征融合，構(gòu)造多個(gè)相關(guān)濾波器區(qū)別于使用單個(gè)濾波器的跟蹤算法。HOG和CN特征使用傳統(tǒng)的特征提取方法進(jìn)行簡(jiǎn)單的矢量相加，采用卷積神經(jīng)網(wǎng)絡(luò)(VGG-Net-19)conv5-4層的輸出作為特征，調(diào)整融合后特征的尺寸使得與CNN卷積特征尺寸相同，訓(xùn)練濾波器模型，分別學(xué)習(xí)并進(jìn)行卷積以生成各自響應(yīng)值。在訓(xùn)練階段，根據(jù)通道的響應(yīng)值計(jì)算可靠權(quán)重；在定位階段，對(duì)通道檢測(cè)響應(yīng)值進(jìn)行可靠加權(quán)從而估計(jì)目標(biāo)的位置，提高跟蹤精度。最后根據(jù)APCE值和Fmax1值的變化判斷是否更新模型，當(dāng)二者均低于一定的閾值時(shí)即目標(biāo)發(fā)生遮擋，模型停止更新，反之更新模型。本文采用跟蹤基準(zhǔn)(OTB-100)對(duì)多個(gè)視頻序列進(jìn)行測(cè)試，并與5種基于相關(guān)濾波主流跟蹤算法作性能對(duì)比分析。實(shí)驗(yàn)結(jié)果表明，HOG、CN和卷積特征的融合，能夠取得較好的精度和較強(qiáng)的魯棒性，并且在遮擋、尺度變化、運(yùn)動(dòng)模糊等復(fù)雜情況下，也能對(duì)目標(biāo)進(jìn)行很好的跟蹤。但是，本文算法仍存在不足之處，如表2所示，讀取每幀圖片的速度為0.9 FPS，而KCF算法在相同實(shí)驗(yàn)條件下，達(dá)到了178 FPS，主要是本文算法基于卷積神經(jīng)網(wǎng)絡(luò)在特征提取時(shí)比較耗時(shí)，雖然精度提升了很多，但速度有待進(jìn)一步提高。在之后的研究工作可以在GPU上對(duì)算法進(jìn)行優(yōu)化，進(jìn)而提升速度。