基于Struck的在線學(xué)習(xí)和相似度匹配的雙重更新跟蹤算法

3

(1.山東科技大學(xué) 電氣與自動化工程學(xué)院，山東 青島 266590； 2.山東省機器人與智能技術(shù)重點實驗室，山東 青島 266590；3.山東大學(xué) 控制科學(xué)與工程學(xué)院，山東 濟南 250061)

視覺目標(biāo)跟蹤不僅是人工智能應(yīng)用中不可或缺的技術(shù)手段，同時也是計算機視覺發(fā)展的重要一環(huán)。雖然廣泛應(yīng)用于人工智能機器人、航空航天技術(shù)、智能視頻監(jiān)控、醫(yī)學(xué)影像處理、智能交通系統(tǒng)和虛擬現(xiàn)實等多種技術(shù)平臺[1]，但研究人員依然面臨視頻序列中對圖像目標(biāo)處理的局部或全部遮擋(occlusion，OCC)、照明變化(illumination variation，IV)、比例變化(scale variation，SV)、變形(deformation，DEF)、運動模糊(motion blur，MB)、快速運動(fast motion，F(xiàn)M)、平面內(nèi)旋轉(zhuǎn)(in-plane rotation，IPR)、平面外旋轉(zhuǎn)(out-of-plane rotation，OPR)、背景雜波(background clutter，BC)、超出視野(out of view，OV)、低分辨率(low resolution，LR)等公認(rèn)復(fù)雜場景的挑戰(zhàn)[2-3]。

目標(biāo)跟蹤的方式通常是在圖像序列的初始幀以矩形框的形式對目標(biāo)位置和大小進(jìn)行人工標(biāo)定，之后跟隨目標(biāo)的運動而跟蹤目標(biāo)，并記錄位置信息。近年來，解決視覺目標(biāo)跟蹤的問題基本上有兩種思路：第一種思路是依賴于跟蹤目標(biāo)的先驗知識，對目標(biāo)進(jìn)行建模，之后在測試的序列中找到相對應(yīng)的目標(biāo)，既可以使用單一特征，也可以采用多特征疊加，這其中包括目標(biāo)的邊緣、形狀、色彩、輪廓、紋理和光線等視覺特征[4-5]，直方圖(如灰度、顏色等)和圖像矩的統(tǒng)計特征、代數(shù)空間特征(K-L變換)、尺度不變特征(scale invariant feature transform, SIFT)等[6]，也是當(dāng)下主流的算法思想；第二種思路是不依賴于目標(biāo)的先驗知識，直接對測試序列進(jìn)行運動檢測，將目標(biāo)從變換的背景圖像中識別出來，并檢測目標(biāo)位置達(dá)到跟蹤的效果，參照被檢測物與攝像機之間的關(guān)系，可以分為靜態(tài)背景下的目標(biāo)跟蹤和動態(tài)背景下的目標(biāo)跟蹤。

Struck算法依賴目標(biāo)的先驗知識對目標(biāo)進(jìn)行跟蹤[7-9]。示例觀察發(fā)現(xiàn)，Struck算法在遇到遮擋，特別是目標(biāo)被完全遮擋時，學(xué)習(xí)者會將遮擋物的負(fù)樣本納入到學(xué)習(xí)框架中，從而失去對目標(biāo)的有效判斷。示例觀察還發(fā)現(xiàn)，丟失目標(biāo)后，矩形框位置將不再發(fā)生變化，當(dāng)目標(biāo)再次移動到矩形框所在位置時，根據(jù)學(xué)習(xí)者正樣本的累計訓(xùn)練，跟蹤器方能繼續(xù)跟蹤目標(biāo)，從而驗證了跟蹤器在丟失目標(biāo)后不能主動進(jìn)行目標(biāo)檢測的問題。當(dāng)相同或類似的遮擋物再一次出現(xiàn)在目標(biāo)的矩形框中，可能是遮擋目標(biāo)，也可能是作為背景被目標(biāo)小范圍遮擋時，跟蹤器同樣會丟失跟蹤目標(biāo)。這是因為遮擋物在遮擋目標(biāo)的時候?qū)W習(xí)者將遮擋物作為正樣本學(xué)習(xí)了一部分，使得跟蹤器誤認(rèn)為是目標(biāo)，從而再次發(fā)生目標(biāo)丟失問題。本研究引入相似度匹配更新策略，與Struck算法的在線學(xué)習(xí)更新策略相結(jié)合，得到基于Struck的在線學(xué)習(xí)和相似度匹配的雙重更新跟蹤算法(下文中簡稱雙重更新跟蹤算法)，以適應(yīng)目標(biāo)被完全遮擋的場景，在目標(biāo)丟失后能夠依據(jù)相似度匹配的方式重新搜索到目標(biāo)，并繼續(xù)完成跟蹤。

1 Struck算法的在線學(xué)習(xí)更新

Struck算法在圖像序列中使用Haar特征[10-12]提取目標(biāo)特征，通過在線學(xué)習(xí)的方式不斷更新目標(biāo)的特征數(shù)據(jù)，并使用結(jié)構(gòu)化支持向量機[13-16]對數(shù)據(jù)樣本做出最優(yōu)分類，能夠適應(yīng)IV、MB、IPR、LR等場景，但對OCC、OV、SV、DEF場景的適應(yīng)性不夠理想。其在線學(xué)習(xí)更新過程為：

1) 通過一個預(yù)測函數(shù)f:χ→γ對幀間轉(zhuǎn)換進(jìn)行直接估計，對目標(biāo)圖像塊做標(biāo)簽(x,y)，其中x是樣本，y是目標(biāo)期望的轉(zhuǎn)換。建立一個判別函數(shù)

F(x,y)=〈w,Φ(x,y)〉

(1)

用于評判目標(biāo)與學(xué)習(xí)后正樣本的相似度，其中Φ(x,y)是聯(lián)合內(nèi)核映射(輸入空間到特征空間的一種轉(zhuǎn)換)。預(yù)測目標(biāo)的位置函數(shù)定義為：

(2)

其中，跟蹤目標(biāo)的位置更新為pt=pt-1(yt)。

2) 在給定的目標(biāo)集合中，尋找超平面的最優(yōu)目標(biāo)函數(shù)為：

(3)

3) 基于目標(biāo)邊界框重疊度定義損失函數(shù)：

(4)

4) 設(shè)計存儲系數(shù)

(5)

5) 通過使用拉格朗日公式的對偶性以及參數(shù)化將公式(3)簡化為：

(6)

(7)

2 相似度匹配更新

選擇Haar特征為特征描述算子表示圖像，使用邊緣特征模板對灰度化的圖像進(jìn)行處理，將模板中的白色矩形區(qū)域的像素和減去黑色矩形區(qū)域的像素和，計算得出目標(biāo)圖像塊的特征值，并保存初始模型的特征值。定義一個基于Haar特征檢測目標(biāo)區(qū)域與初始模型的相似函數(shù)

(8)

其中，T0是初始模型目標(biāo)區(qū)域特征值，Tz為當(dāng)前幀目標(biāo)區(qū)域特征值。

在獲得目標(biāo)的位置估計后，將目標(biāo)位置所在的圖像塊根據(jù)相似函數(shù)計算得到的值，與初始模型的特征進(jìn)行相似度判別，符合閾值要求的圖像塊作為正樣本，添加到在線學(xué)習(xí)對正樣本的學(xué)習(xí)過程中。由于樣本使用的是在線學(xué)習(xí)的方式，所以最初的正樣本僅僅是一個初始模板，隨著圖像序列一幀幀的跟進(jìn)，每幀中符合閾值要求的圖像塊都被當(dāng)作正樣本加入到學(xué)習(xí)過程中。因為圖像序列中連續(xù)幀之間的目標(biāo)是緩慢變化的，在線學(xué)習(xí)的方式也具有漸進(jìn)性，相鄰幀間的目標(biāo)變化較小，特征的差異也不大，所以在學(xué)習(xí)過程中容易受到影響，從而易使正樣本的學(xué)習(xí)偏離原來的目標(biāo)。這就是Struck算法在遇到遮擋后不能再次搜索到目標(biāo)的原因，也是設(shè)立相似函數(shù)的目的。通過相似函數(shù)計算當(dāng)前幀的目標(biāo)相似度，可以避免跟蹤目標(biāo)的特征在學(xué)習(xí)中與初始目標(biāo)的特征出現(xiàn)較大差異，不至于因漸進(jìn)的學(xué)習(xí)而造成負(fù)樣本的誤學(xué)習(xí)，保證了正樣本學(xué)習(xí)的穩(wěn)定性，對目標(biāo)的判斷始終保持一個高度相似的水平，進(jìn)而能夠穩(wěn)定跟蹤目標(biāo)。

閾值的選取可自由設(shè)定，根據(jù)公開數(shù)據(jù)集的測試結(jié)果，選取80%作為設(shè)定的閾值可以取得最佳的效果。當(dāng)η≥80%時，作為正樣本被學(xué)習(xí)者學(xué)習(xí)；當(dāng)η<80%時，不作為學(xué)習(xí)者的正樣本更新。當(dāng)連續(xù)5幀的目標(biāo)都丟失后，在下一幀圖像中采用滑動窗口的形式，遍歷搜索目標(biāo)圖像所在位置，以相似度判別為依據(jù)，在自設(shè)的搜索半徑內(nèi)搜索相似度η≥50%的矩形框，選擇其中相似度最高的圖像塊作為目標(biāo)繼續(xù)跟蹤。這里閾值選擇為50%是因為弱分類器在對目標(biāo)進(jìn)行判別時，概率一般選取為大于50%，為了更好地尋找目標(biāo)位置，設(shè)置了相對較低的閾值，放寬對目標(biāo)搜索的條件。經(jīng)過大量的視頻序列測試，選擇相似度η≥50%的矩形框作為候選目標(biāo)框的分類標(biāo)準(zhǔn)，便可以判斷目標(biāo)所在位置。但同樣可能出現(xiàn)誤判的情況，比如在球場上對球員的跟蹤，球員身著統(tǒng)一的服裝，對整個球員跟蹤的話，相同隊內(nèi)的成員之間特征值的差異比較小。但這并不影響對目標(biāo)的跟蹤，因為在放寬條件的情況下找到目標(biāo)后，依然如上述步驟與初始模板的特征進(jìn)行比較。如果出現(xiàn)誤判，那么在接下來的5幀圖像中，正樣本不會被更新，將再次重新搜索目標(biāo)，以達(dá)到對目標(biāo)的循環(huán)搜索。如果搜索完成后沒有滿足相似度要求的圖像塊，視為沒有發(fā)現(xiàn)目標(biāo)，對下一幀圖像繼續(xù)做遍歷搜索處理，直到找到目標(biāo)或者到達(dá)圖像序列最后一幀圖像為止。雙重更新跟蹤算法的流程如圖1所示。

算法:雙重更新跟蹤算法輸入:圖像序列并在首幀標(biāo)定目標(biāo)位置根據(jù)判別函數(shù)F預(yù)測第t幀目標(biāo)位置yt計算yt位置圖像塊的相似度ηif η≥80%then 對正樣本進(jìn)行在線學(xué)習(xí)并輸出目標(biāo)位置else 停止更新正樣本并輸出上一幀目標(biāo)位置if 連續(xù)5幀不更新正樣本then 對下一幀圖片進(jìn)行遍歷搜索目標(biāo)end ifend if

圖1 雙重更新跟蹤算法流程

Fig.1 Process of dual update tracking algorithm

由于Struck算法的速度較慢，對其跟蹤框架進(jìn)行整體優(yōu)化。Struck算法的在線學(xué)習(xí)更新需要不斷學(xué)習(xí)正樣本來適應(yīng)目標(biāo)的特征變化，對支持向量的需求比較大，通常設(shè)為100。雖然Struck算法中限制了支持向量的無限增長，但仍然允許保持相當(dāng)?shù)臄?shù)量，從而降低了算法的跟蹤速度。而本研究設(shè)計的相似函數(shù)和在線學(xué)習(xí)作為雙重更新策略，不需要很多的支持向量來維持在線學(xué)習(xí)中正樣本的有效性，減少了跟蹤框架中對支持向量的需求，支持向量個數(shù)設(shè)為50，為程序的運行釋放出更多的緩存空間。在對圖像進(jìn)行遍歷搜索時，滑動窗口由1×1像素擴大為3×3像素，步長為1個像素，目的在于弱化邊緣像素點的特征，強化中心點的特征。滑動窗口只有1個，輸出的通道數(shù)為1。在對圖像的特征提取時，Haar特征首先對圖像進(jìn)行灰度化處理，弱化顏色特征對目標(biāo)辨識的影響，輸入的通道數(shù)由原來的RGB顏色空間的3通道減少為灰度圖像的1通道。通過設(shè)計相似函數(shù)改變參數(shù)設(shè)置，從而達(dá)到提高雙重更新跟蹤算法運行速度的目的。

3 測試和實驗分析

3.1 測試環(huán)境

測試的硬件環(huán)境為64位Intel CORE i7 3.4 GHz處理器和16 GB內(nèi)存的計算機，調(diào)試實驗的軟件平臺為Visual Studio 2013，程序用C++語言編寫。測試結(jié)果所用的Girl視頻圖像序列來源于OTB100的公開數(shù)據(jù)集，Cup視頻圖像序列是以課題組實驗室為背景自行拍攝的數(shù)據(jù)集。

3.2 定性分析

為了直觀地展示兩種算法的跟蹤表現(xiàn)，將實驗序列的跟蹤表現(xiàn)進(jìn)行對比，其結(jié)果如圖2所示，代表雙重更新跟蹤算法，灰色代表Struck算法。

由圖2可以看出，在室外場景中，Girl視頻(640×480)存在SV、OCC、BC、DEF、LR等復(fù)雜場景，目標(biāo)小女孩在被成年人完全遮擋時，目標(biāo)在視頻中消失，雙重更新跟蹤算法在目標(biāo)特征明顯出現(xiàn)時，可以再次捕捉到目標(biāo)位置并繼續(xù)跟蹤。而Struck算法目標(biāo)被遮擋時已經(jīng)丟失目標(biāo)，其正樣本的在線學(xué)習(xí)過程中引入了負(fù)樣本的誤學(xué)習(xí)。在室內(nèi)場景中，Cup視頻(1 280×720)存在SV、OCC、LR、MB等復(fù)雜場景，目標(biāo)杯子在運動的過程中，遇到障礙物對其完全遮擋，消失于圖像范圍之內(nèi)，當(dāng)目標(biāo)具有的明顯特征再次出現(xiàn)時，雙重更新跟蹤算法能夠重新捕捉到目標(biāo)，并繼續(xù)跟蹤。而Struck算法在遮擋時丟失目標(biāo)，當(dāng)目標(biāo)再次出現(xiàn)時不能自動尋找到目標(biāo)，只有在目標(biāo)重新出現(xiàn)在丟失位置時，才能繼續(xù)跟蹤，對于實際跟蹤的場景中具有很大的局限性。

3.3 定量分析

為了更直觀地對比兩種算法的跟蹤性能，對視頻序列進(jìn)行了成功率、跟蹤速度和中心位置誤差的對比。此處，成功率是指成功跟蹤到目標(biāo)的幀數(shù)與圖像序列總幀數(shù)的比值。

從表1可以看出，雙重更新跟蹤算法的跟蹤成功率均比Struck算法要高，在全部遮擋的Girl視頻序列中，比Struck算法高出41.5%。在長時間遮擋的Cup視頻序列中，雖然雙重更新跟蹤算法成功率只有81%，但在總共100幀的序列中目標(biāo)杯子有13幀被完全遮擋，沒有杯子的明顯特征，不能跟蹤目標(biāo)。從表1中可以看出，雙重更新跟蹤算法比Struck算法在Girl視頻序列中快7.7 FPS，在Cup視頻序列中快8.3 FPS，通常人的視覺感官對于視頻的播放速率要求在15 FPS以上，雙重更新跟蹤算法可以滿足實時性的要求。

圖2 視頻序列的測試結(jié)果

目標(biāo)跟蹤算法跟蹤成功率/%Girl序列Cup序列跟蹤速度/FPSGirl序列Cup序列Struck算法54.536.019.418.2雙重更新跟蹤算法95.081.027.126.5

跟蹤過程中的目標(biāo)偏移程度如圖3所示。Girl視頻序列中，Struck算法在120幀處,由于遮擋的原因已經(jīng)跟蹤失敗，當(dāng)目標(biāo)被完全遮擋再次出現(xiàn)在視野中時，不能恢復(fù)對原目標(biāo)的跟蹤；雙重更新跟蹤算法利用雙重更新策略，可以繼續(xù)跟蹤目標(biāo)。Cup視頻序列中，從第26幀到48幀目標(biāo)被完全遮擋，消失在視野中，兩種算法均無法捕獲目標(biāo)特征，在第54幀目標(biāo)再次出現(xiàn)并具有明顯特征時，雙重更新跟蹤算法可以再次獲取目標(biāo)位置，繼續(xù)跟蹤目標(biāo)；而Struck算法僅在第90幀目標(biāo)重新運動到被完全遮擋前的位置時，才可以繼續(xù)跟蹤目標(biāo)。

圖3 雙重更新跟蹤算法與Struck算法視頻序列中心位置誤差對比

4 結(jié)論

本研究的雙重更新策略目標(biāo)跟蹤算法是對結(jié)構(gòu)化內(nèi)核框架跟蹤算法的改進(jìn)，通過增加初始模型特征值相似度匹配與樣本的在線學(xué)習(xí)作為雙重更新策略，降低了非目標(biāo)物對正樣本學(xué)習(xí)的影響，增強了正樣本模板學(xué)習(xí)的有效性。通過對公開數(shù)據(jù)集和實際拍攝數(shù)據(jù)集的測試結(jié)果表明，雙重更新跟蹤算法可以有效的處理MB、SV、OCC、BC、OV、LR等跟蹤方面的復(fù)雜場景，并在該類場景下具有較小的跟蹤誤差，特別是對于目標(biāo)被嚴(yán)重遮擋的場景，能夠重新搜索到目標(biāo)位置并繼續(xù)跟蹤。雖然雙重更新跟蹤算法取得了良好的效果，但在DEF等場景中仍需進(jìn)一步改進(jìn)，而且跟蹤速度有所降低的問題也需要解決，這是下一步研究的方向。