基于多專家和MDNet的視覺目標跟蹤方法*

張知明，李國榮，黃慶明

(中國科學(xué)院大學(xué)計算機科學(xué)與技術(shù)學(xué)院， 北京 100049)

視覺目標跟蹤一直是國內(nèi)外計算機視覺領(lǐng)域的研究熱點，廣泛應(yīng)用于視頻監(jiān)控、視頻分析、人機交互等領(lǐng)域。表觀建模是目標跟蹤的關(guān)鍵問題之一，吸引了許多研究人員。有效的表觀模型可以幫助跟蹤器準確識別目標。然而，在大多數(shù)視頻中，目標和背景通常會因為光照變化而不斷變化，遮擋、劇烈運動等經(jīng)常發(fā)生，導(dǎo)致目標或背景發(fā)生較大的變化，給目標表觀的建模帶來極大的挑戰(zhàn)。

早期的工作，如Isard和Blake[1]及Comaniciu等[2]用固定的特征如顏色、方向梯度直方圖來描述目標。從給定的初始化框內(nèi)采集有標簽的樣本，然后利用判別式或生成式方法構(gòu)建表觀模型。顯然，當目標的外觀發(fā)生變化時，這類跟蹤器會失敗。為適應(yīng)目標和背景的變化，研究人員把注意力集中在了特征的在線選擇和模型的在線更新上。增量子空間學(xué)習(xí)[3]、稀疏重建[4-6]、在線判別分類[7]等方法被用于處理跟蹤過程中目標及背景的變化，取得了不錯的效果。但是當視頻內(nèi)容發(fā)生較大變化時，這類方法往往不能準確地跟蹤到目標。

與此同時，為提高跟蹤器的速度，很多基于相關(guān)濾波(correlation filter)的目標跟蹤算法[8-10]涌現(xiàn)了出來。這類方法主要通過設(shè)計學(xué)習(xí)有效的濾波模板，然后利用該模板與目標候選區(qū)域進行相關(guān)運算，選擇響應(yīng)最大的候選作為跟蹤目標。在這種表示下，分類模型的訓(xùn)練和測試可以轉(zhuǎn)換到傅里葉空間進行加速運算，使得跟蹤器的處理速度極快，但仍難以處理視頻的突變。

近年來，隨著深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural networks,DCNN)技術(shù)在目標檢測領(lǐng)域的成功[11]，目標跟蹤領(lǐng)域也陸續(xù)將DCNN引入[12-14]。例如Wang和Yeung[12]提出利用堆疊去噪自編碼器的網(wǎng)絡(luò)[15]從大圖像數(shù)據(jù)集學(xué)習(xí)通用圖像特征作為輔助數(shù)據(jù)，然后將學(xué)到的特征用于在線跟蹤。在大型視覺目標跟蹤公共數(shù)據(jù)集上的實驗結(jié)果證明，基于DCNN的跟蹤方法取得了優(yōu)于使用傳統(tǒng)特征的跟蹤結(jié)果。但是大部分算法只是使用在大量圖像分類數(shù)據(jù)集上訓(xùn)練好的網(wǎng)絡(luò)作為特征提取器，而分類和跟蹤之間存在著明顯的差異。利用分類任務(wù)上學(xué)習(xí)到的特征來跟蹤并不是一個最好的選擇。為此，Wang等[13]分析各個層的特征對跟蹤的影響，提出一個同時利用卷積神經(jīng)網(wǎng)絡(luò)捕捉語義信息的深層特征和捕捉個體細節(jié)的低層特征的二分支網(wǎng)絡(luò)結(jié)構(gòu)。Nam和Han[14]提出MDNet(multi-domain network)，該網(wǎng)絡(luò)通過利用目標跟蹤數(shù)據(jù)集對在圖像分類數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練好的模型進行微調(diào)，以達到適應(yīng)目標跟蹤數(shù)據(jù)集的目的。具體來說，由于同一個物體在某些視頻中是目標而在另外一些視頻中是背景，這對分類器造成很大的困擾。

為解決上述問題，如圖1所示，MDNet設(shè)計了多分類器分支的網(wǎng)絡(luò)結(jié)構(gòu)，為每個訓(xùn)練視頻使用不同的分類器，從而能將該視頻中的跟蹤目標分為前景。具體來說，MDNet將每個序列作為單獨的域，在網(wǎng)絡(luò)的后端設(shè)計一個域特定層進行二分類；而網(wǎng)絡(luò)的其他層則是共享層，供每段視頻共同使用，從而挖掘所有序列中的信息進行學(xué)習(xí)。在測試階段，對目標的長期和短期變化進行建模，在線微調(diào)共享層中的全連接層和新的分類層，以適應(yīng)目標的動態(tài)變化。

圖1 MDNet的結(jié)構(gòu)圖

在跟蹤過程中，MDNet會對全連接層進行更新，并用于跟蹤后續(xù)幀中的目標。這樣，跟蹤器雖然可以適應(yīng)視頻變化，但是后續(xù)幀中的目標可能與近期觀察到的目標不同，更新后的跟蹤器反而不適用于處理后續(xù)的幀，進而導(dǎo)致跟蹤失敗。為解決這一問題，Nam等[16]提出基于圖模型的跟蹤方法。該方法利用所處理的幀構(gòu)建一個高階馬爾可夫鏈，然后依據(jù)場景及跟蹤目標的特征從已處理的幀中選擇與當前幀相關(guān)的幀，用于概率的傳播。受此方法啟發(fā)，本文提出一種新穎的多專家跟蹤方法，圖2顯示了所提方法的框架。在跟蹤過程中，利用不同時間段的樣本構(gòu)造多個專家跟蹤器，融合多個專家的跟蹤結(jié)果得到準確的跟蹤結(jié)果。本文的主要貢獻總結(jié)如下：

圖2 所提方法的框架圖

1)針對視頻中存在突變?nèi)绻庹?、尺度、運動模糊等挑戰(zhàn)，提出多專家跟蹤器的跟蹤策略；

2)提出有效的多決策融合策略，融合多專家跟蹤器得到更準確的結(jié)果；

3)從公共數(shù)據(jù)集OTB50上選取有突變的25段視頻，在突變視頻及OTB50上的實驗結(jié)果證明所提方法的有效性。

1 MDNet簡介

MDNet[10]將每個視頻看作一個域，設(shè)計了一個輕量級的、多域的、小型網(wǎng)絡(luò)來學(xué)習(xí)卷積特征，用于表示目標。網(wǎng)絡(luò)結(jié)構(gòu)如圖1訓(xùn)練部分的圖所示，它的輸入是107×107大小的RGB圖像，并具有5個隱藏層，包括3個卷積層和2個全連接層。另外，網(wǎng)絡(luò)最后對應(yīng)的全連接層具有K個分支。卷積層與VGG-M網(wǎng)絡(luò)[12]的相應(yīng)部分相同，其中特征圖尺寸和輸入尺寸作了調(diào)整。接下來的2個全連接層具有512維輸出，并且與線性整流函數(shù)(rectified linear unit, ReLU)和剔除(dropout)結(jié)合。每個K分支包含一個具有softmax交叉熵損失的二分類層，它負責(zé)區(qū)分每個域即每一個訓(xùn)練視頻中的目標和背景。通常將這K個分支稱為域特定層，而前面的所有層稱為共享層。共享層用來學(xué)習(xí)所有視頻中目標的特征表達，而域特定層則用于學(xué)習(xí)特定視頻序列的softmax分類器。

在離線訓(xùn)練時，針對每個視頻序列構(gòu)建一個新的檢測分支，即在網(wǎng)絡(luò)的第6層構(gòu)建一個新的全連接層進行訓(xùn)練。而特征提取網(wǎng)絡(luò)則是共享的，因此，特征提取網(wǎng)絡(luò)可以學(xué)習(xí)到通用性更強的且與域無關(guān)的特征。

2 多專家跟蹤系統(tǒng)

2.1 生成多專家跟蹤器

但是在跟蹤過程中，視頻變化復(fù)雜, 此時更新得到的參數(shù)未必適用于下一幀的跟蹤，而之前得到的全連接層的參數(shù)或許能夠在下一幀中取得好的跟蹤結(jié)果。圖3展示了有運動模糊的圖像。紅色、綠色和黃色框分別表示我們方法、MDNet和人工標注的結(jié)果。可以看出第35幀和第36幀差異較大，第35幀得到的跟蹤器的跟蹤效果不如第29幀得到的跟蹤器的效果好。為此，在更新參數(shù)時，我們沒有舍棄原來的參數(shù)。而是用更新后的參數(shù)去初始化一個新的專家Tm(?m,·),m=2,3,…,M，這樣能夠保存更豐富的專家跟蹤器。M為專家數(shù)目的最大值。當專家的總數(shù)超過M個時，舍棄最早構(gòu)建的專家。

圖3 所提方法與MDNet在有運動模糊的視頻上的定性對比

2.2 多專家融合策略

(1)

(2)

為了衡量評估每個專家跟蹤器的性能，定義了兩項評價準則：信息熵和最大似然。其中信息熵反映該專家對這256個候選做出判斷的不確定性。而最大似然則反映該專家選出的最優(yōu)跟蹤結(jié)果的置信度。第m個專家跟蹤器在第i個候選上的信息熵Lm(xi)的定義如下

(3)

(4)

對于一個專家跟蹤器，我們希望信息熵越小越好，似然函數(shù)取值越大越好。因此，一個專家跟蹤器的評價損失函數(shù)由下式來定義：

(5)

這里γ是加權(quán)系數(shù)。最終選取評價損失最小的專家，用于處理當前幀，得到跟蹤結(jié)果。算法1給出了所提算法的具體流程。

算法1:多專家跟蹤器(MMDNet)Algorithm 1: Multiple experts tracker輸入:幀序列{It}T0, 初始化目標框b0;專家跟蹤器的最大數(shù)目M輸出:預(yù)測的每一幀中的目標位置即跟蹤結(jié)果 {bt}T1利用第1幀來初始化第6層的全連接層f6c(θ6);使用第4、5、6層全連接層的參數(shù)初始化一個專家T1(?1,·);E={T1(?1,·)};For t=1:T do 從It中采集256個候選X={x1,x2,…,x256}; 根據(jù)式(5)計算專家的評價損失函數(shù); 選擇最優(yōu)的專家跟蹤器,idx=argminLm(X); 利用Tidx(?idx,·)來得到跟蹤結(jié)果; 根據(jù)MDNet的策略搜集正負樣本; If 更新模型 用搜集到的樣本微調(diào)3個全連接層的參數(shù); 利用新得到的參數(shù)來構(gòu)建一個新的專家跟蹤器tempT; If E中專家的數(shù)目小于ME={tempT}∪E; Else 用tempT替換E中最早構(gòu)建的專家跟蹤器; EndIf EndIfEndFor

3 實驗

公共數(shù)據(jù)集OTB50[17]包含50段測試視頻。通常情況下，若視頻中存在快速運動(fast motion)、光照變化(illumination variation)、目標尺度變化(scale variation)或運動模糊(motion blur)時，相鄰幀間容易存在突變。為驗證所提算法在具有突變的視頻上跟蹤效果，從OTB50中選擇了具有以上4種屬性的25段視頻進行測試。

此外，我們還在公共數(shù)據(jù)集OTB50上進行實驗，專門對比了MDNet和所提的多專家跟蹤器MMDNet。實驗中，依據(jù)經(jīng)驗將γ設(shè)置為0.9。

3.1 評價指標

算法估計的目標位置(bounding box)的中心點與人工標注(ground-truth)的目標的中心點，這兩者的距離稱為位置誤差。若某一幀中位置誤差小于給定閾值，則這幀被稱為跟蹤成功的幀。準確率則是被跟蹤成功的幀占所有幀的比例。這樣在給定數(shù)據(jù)集上，可以繪制出一條誤差閾值-準確率(location error threshold-precision)的曲線。所有算法按照中心點誤差不大于20個像素時的準確率進行排序，該數(shù)值越大表明跟蹤結(jié)果越準確。

另一種評價指標為重合率得分(overlap score，SO)，即跟蹤算法得到的跟蹤結(jié)果(記為a)與人工標注的結(jié)果(記為b)的重合率。其具體定義如下：

SO=|a∩b|/|a∪b|，

其中：|·|表示區(qū)域的像素數(shù)目。當某一幀的重合率得分大于設(shè)定的閾值時，則該幀被視為跟蹤成功的幀。在給定重合率得分閾值下，某個視頻上的成功率就是在該視頻上成功的幀數(shù)除以該視頻總幀數(shù)；在整個數(shù)據(jù)集上的成功率是所有視頻成功率的均值。這樣在給定數(shù)據(jù)集上，可以繪制出一條重合率閾值-成功率(overlap threshold-success rate)的曲線，所有算法根據(jù)成功率曲線下面積的大小進行排序，面積越大表明算法越好。

3.2 專家跟蹤器數(shù)目的選擇

由于專家跟蹤器的數(shù)目會對跟蹤結(jié)果有一定的影響，為設(shè)置合適的專家數(shù)目，在測試視頻上，對不同的專家跟蹤器數(shù)目{2,4,6,8,10,12,14}進行了測試。表1展示使用不同數(shù)目的專家跟蹤器在“car4”序列上得到的跟蹤結(jié)果,用粗體標出了最佳的跟蹤結(jié)果。

表1 不同的專家跟蹤器數(shù)目對應(yīng)的跟蹤結(jié)果

可以看出，在不同的閾值下，最優(yōu)跟蹤器對應(yīng)的專家數(shù)目不同?？傮w上來看，當專家跟蹤器的數(shù)目增多時，跟蹤性能先提升再下降。比如當重合率閾值是0.85時，專家的數(shù)目從2增加到8，跟蹤器的性能有所提升。但是，當專家的數(shù)目超過8時，繼續(xù)增加專家的數(shù)目，反而會使跟蹤性能下降。我們認為專家數(shù)目過多時，專家差異大，導(dǎo)致最終的跟蹤結(jié)果不準確。

此外，過多的專家也會需要較大的存儲空間。從表1可以看出，專家數(shù)目為4時，在各個閾值下的成功率比較高。綜合考慮跟蹤效果與存儲復(fù)雜度，在后續(xù)的實驗中，將專家數(shù)設(shè)置為4。

3.3 實驗結(jié)果比較

實驗中，我們用一遍評估(one-pass evaluation，OPE)，即用第1幀中人工標注的目標位置初始化跟蹤器，然后運行跟蹤算法得到平均精度和成功率。與主流跟蹤方法MDNet[13]、SCM[18]、Struck[19]、TLD[20]、VTD[21]、VTS[22]、MTT[5]、ASLA[6]和CSK[8]等跟蹤器進行了比較，圖4展示在有突變的25段視頻上的跟蹤結(jié)果?？梢钥闯雠c其他主流跟蹤方法相比，MDNet能夠取得較好的跟蹤結(jié)果。而與MDNet相比，MMDNet在位置誤差閾值-準確率、重合率閾值-成功率曲線面積上分別提升4.9%和2.6%。這表明不論以跟蹤誤差來衡量還是以重合率來衡量，所提的MMDNet都取得了優(yōu)于MDNet的跟蹤結(jié)果，這說明通過融合多專家跟蹤器的決策，能夠提升跟蹤結(jié)果的準確性。

圖4 在突變視頻上跟蹤結(jié)果的定量比較

為了進行更細致的結(jié)果分析，在快速運動、光照變化、運動模糊和目標尺度變化4種屬性上分別對比了跟蹤方法。圖5分別給出在各類視頻上的跟蹤結(jié)果的重合率閾值-成功率和位置誤差閾值-準確率曲線，可以看出在各類突變視頻上，MMDNet的跟蹤結(jié)果都優(yōu)于MDNet。圖6展示了一些代表性的跟蹤結(jié)果，紅色、綠色和黃色框分別表示MMDNet、MDNet和人工標注的結(jié)果。在第1行的第125幀中，由于跟蹤目標運動較快，MDNet跟蹤失敗，而所提方法能夠采用合適的專家跟蹤器，取得準確的跟蹤結(jié)果。在第364幀，由于光照變化大，MDNet再次失敗，而MMDNet依然取得了較好的跟蹤結(jié)果。在第3行所示的圖像中，由于運動模糊的存在，第16幀和第15幀中的目標表觀差異大，所以MDNet的跟蹤結(jié)果很不準確，而MMDNet綜合多個專家跟蹤器的結(jié)果，取得了較為準確的跟蹤結(jié)果。

圖5 在各類視頻上的跟蹤結(jié)果比較

圖6 在測試視頻上的代表性跟蹤結(jié)果

為了對比MMDNet與MDNet，在OTB50的所有序列上測試了這兩種方法。圖7為它們的定量比較結(jié)果。可以看出MMDNet在OTB50的所有序列上的性能也是優(yōu)于MDNet的，這更進一步地說明了多專家跟蹤器策略的有效性。

圖7 在公共數(shù)據(jù)集OTB50上的定量實驗結(jié)果比較

4 結(jié)論

本文提出一種基于多個專家跟蹤器的視覺目標跟蹤新方法。該方法在MDNet基礎(chǔ)上，構(gòu)建多個專家跟蹤器，利用有效的多決策融合策略得到更魯棒、準確的跟蹤結(jié)果。MDNet利用深度卷積網(wǎng)絡(luò)能夠?qū)W到有效的視覺特征表達，而多個專家跟蹤器則可以集思廣益，應(yīng)對視頻中的各種變化尤其是突變。在公共數(shù)據(jù)集中存在突然變化的25段視頻及公共數(shù)據(jù)集上的跟蹤結(jié)果表明，本文提出的算法MMDNet綜合MDNet及多專家系統(tǒng)的優(yōu)勢，有效緩解了由于視頻突變而導(dǎo)致的跟蹤器失敗的問題。