雜亂環(huán)境中改進(jìn)的目標(biāo)檢測(cè)跟蹤算法

段學(xué)虎,劉海英,陳好男,婁海同,紀(jì) 鵬

齊魯工業(yè)大學(xué)(山東省科學(xué)院)電氣工程與自動(dòng)化學(xué)院,山東 濟(jì)南 250353

近年來,目標(biāo)跟蹤技術(shù)[1]已經(jīng)變成了機(jī)器視覺領(lǐng)域的研究熱點(diǎn)。分析動(dòng)態(tài)圖像[2]是跟蹤技術(shù)在復(fù)雜動(dòng)態(tài)環(huán)境中應(yīng)用場(chǎng)景的主要因素,當(dāng)下目標(biāo)的檢測(cè)跟蹤技術(shù)仍還沒有發(fā)展成熟,迫切需要設(shè)計(jì)出一種準(zhǔn)確性更高、跟蹤速度更快、可靠性更強(qiáng)的目標(biāo)檢測(cè)跟蹤系統(tǒng)。尤其是雜亂環(huán)境中快速移動(dòng)目標(biāo)的檢測(cè)算法研究中依舊存在很多難點(diǎn)問題及挑戰(zhàn):是針對(duì)小目標(biāo)檢測(cè)時(shí),由于樣本的像素尺寸過小、分辨率過大導(dǎo)致很多的小目標(biāo)無法正確的檢測(cè)。因此,小目標(biāo)檢測(cè)仍是當(dāng)前研究的難點(diǎn)；檢測(cè)移動(dòng)目標(biāo)時(shí)速度過快,給算法的準(zhǔn)確跟蹤造成了很大的干擾。在目標(biāo)快速移動(dòng)的過程中,若當(dāng)前幀和前一幀的目標(biāo)位移較大[3],將會(huì)導(dǎo)致跟蹤算法在此情況下跟蹤失敗。其次在目標(biāo)快速移動(dòng)過程中,由于突然加速導(dǎo)致目標(biāo)運(yùn)動(dòng)模糊[4]的情況下,容易導(dǎo)致跟蹤算法在跟蹤目標(biāo)過程中發(fā)生跟蹤漂移現(xiàn)象。最后在實(shí)際中復(fù)雜的背景環(huán)境、相似背景的干擾、光照條件的變化等外界因素以及目標(biāo)姿態(tài)的變化、外觀的變形、快速移動(dòng)等目標(biāo)本身因素導(dǎo)致目標(biāo)的跟蹤的準(zhǔn)確性仍然有待提升。因此,目標(biāo)跟蹤的準(zhǔn)確性和快速性是當(dāng)前研究的難點(diǎn)。

在快速移動(dòng)目標(biāo)的跟蹤中,基于最小輸出平方和誤差(minimum output sum of squared error,MOSSE)算法,通過引入歷史上下文和AdaBoost算法[5]與MOSSE組合使用,當(dāng)濾波器產(chǎn)生誤差時(shí)對(duì)其進(jìn)行校正,讓跟蹤算法的準(zhǔn)確性得到改進(jìn)和提高。

1 檢測(cè)跟蹤相關(guān)算法基礎(chǔ)

目前目標(biāo)檢測(cè)與跟蹤算法大致分成了兩類:一種為生成式跟蹤算法,另一種則是判別式跟蹤算法。比較重要的兩個(gè)跟蹤方法分別是相關(guān)濾波算法[6]以及深度學(xué)習(xí)式,其中相關(guān)濾波算法包括MOSSE、CSK、KCF、CN等。MOSSE算法第一步是將初始幀的圖片通過權(quán)值計(jì)算將圖片轉(zhuǎn)化成為灰度圖并快速進(jìn)行傅里葉變換；第二步就是將第一步得到的數(shù)據(jù)與傅氏變換得到的置信度圖進(jìn)行相除,最后一步是通過快速傅里葉逆變換后便得到所需要的濾波器。通過將濾波器每一幀的灰度圖進(jìn)行卷積計(jì)算得到一個(gè)輸出響應(yīng),輸出響應(yīng)最大值的位置就是目標(biāo)中心所在的位置。雖然速度進(jìn)行了一定程度的提升,但是其存在準(zhǔn)確性不夠的缺陷。

CSK(exploiting the circulant structure of tracking-by-detection with kernels,CSK)算法是在MOSSE算法的基礎(chǔ)之上引入了核技巧以及嶺回歸學(xué)習(xí)方法。其原理是在采集圖像信息時(shí)使用的是稠密采樣[7],將收集到的信息進(jìn)行相關(guān)的核計(jì)算轉(zhuǎn)換成所需要的循環(huán)矩陣結(jié)構(gòu)[8],由原來的滑動(dòng)窗口計(jì)算改變?yōu)榫矸e計(jì)算。采用嶺回歸方法學(xué)習(xí)分類器,并且把高斯徑向基函數(shù)作為核函數(shù)[9]。將已知目標(biāo)的前幾幀作為樣本在當(dāng)前幀的搜索區(qū)域中進(jìn)行搜索,尋找樣本與當(dāng)前幀最相似的位置作為目標(biāo)的中心位置。但是無法自適應(yīng)窗口,在目標(biāo)抗遮擋中,容易跟蹤失敗。

KCF(kernel correlation filter,KCF)算法是在MOSSE算法的基礎(chǔ)上引入了核函數(shù)和多通道數(shù)據(jù)處理,是一種核相關(guān)算法。其核心的思想就是通過增加負(fù)樣本的數(shù)量[10]來增加跟蹤的穩(wěn)定性。在跟蹤目標(biāo)時(shí),KCF算法需要實(shí)時(shí)訓(xùn)練一個(gè)目標(biāo)檢測(cè)器,用來檢測(cè)后一幀中預(yù)測(cè)目標(biāo)的位置是否是準(zhǔn)確的目標(biāo)位置,再將新的監(jiān)測(cè)數(shù)據(jù)更新到系統(tǒng)中。但是,在面對(duì)目標(biāo)的多尺度變換時(shí),仍然無法提高跟蹤的準(zhǔn)確性。

CN(color names,CN)目標(biāo)跟蹤算法是針對(duì)CSK算法的改進(jìn)。算法利用圖片顏色的屬性,擴(kuò)展到CSK算法中。將RGB三種顏色細(xì)分為灰、黑、藍(lán)、棕、黃、白、粉、橙、綠、紫、紅等11種顏色,然后通過PCA(principal component analysis)降維,從11個(gè)通道中選出2個(gè)通道進(jìn)行處理,也就是得到最合適的兩種顏色作為目標(biāo)的最后特征。其中的不足之處,在面臨目標(biāo)的多尺度變化、快速移動(dòng)以及視頻分辨率較低時(shí)的精度偏低。

2 目標(biāo)特征提取

在視覺跟蹤領(lǐng)域中,對(duì)于圖像特征的提取在相關(guān)濾波算法[6]中是非常重要的一部分,作為濾波器的輸入,常用的目標(biāo)特征提取有LBP(local binary pattern)特征提取、HOG(histograms of oriented gradients)特征提取、Haar(haar-like features)特征提取等。

LBP是對(duì)圖像局部紋理特征描述的算法[8],它的優(yōu)點(diǎn)為:第一,對(duì)圖像進(jìn)行紋理特征的提取；第二,具有灰度不變的特性；第三,具有目標(biāo)旋轉(zhuǎn)不變的特性。

提取步驟:第一步,把目標(biāo)所在搜索區(qū)域分割成多個(gè)子區(qū)域,每個(gè)子區(qū)域的大小為n×n像素點(diǎn),用LBP去計(jì)算所有的子區(qū)域中每個(gè)像素的LBP值；第二步,將每個(gè)子區(qū)域所得到的不同的LBP值出現(xiàn)的頻率[9]構(gòu)成一個(gè)直方圖；第三步,歸一化處理步驟二生成的直方圖[8]；第四步,通過前三個(gè)步驟,便得到了每個(gè)子區(qū)域的直方圖,將得到的直方圖連接起來便得到了搜索區(qū)域的特征向量。

HOG特征即方向直方圖特征,通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖[9]來構(gòu)成特征。其提取步驟為:第一步,將圖片灰度化；第二步,通過Gamma校正法[9]把圖片灰度化并進(jìn)行標(biāo)準(zhǔn)化；第三步,在搜索域中劃分出多個(gè)子區(qū)域,每個(gè)子區(qū)域都有n×n個(gè)像素點(diǎn)；第四步,計(jì)算出每個(gè)區(qū)域中不同方向的八個(gè)梯度值[9],分別是東、南、西、北、東南、東北、西南、西北,將其轉(zhuǎn)變成這個(gè)區(qū)域相對(duì)應(yīng)的梯度直方圖；第五步,定義一個(gè)模塊,一個(gè)模塊包含Q×Q個(gè)區(qū)域,將每個(gè)模塊中的區(qū)域梯度直方圖串聯(lián)起來,由此得到了模塊的梯度值統(tǒng)計(jì)圖,將其連接起來就得到了HOG特征。

Haar特征主要是運(yùn)用積分圖來計(jì)算的特征,其特征模板主要包括邊緣特征、線性特征、中心特征和對(duì)角線特征,三者可以混合使用。運(yùn)用了白色、黑色兩種模板,通過運(yùn)算得到相應(yīng)的特征值。其中,得到的特征值可以非常好的體現(xiàn)出檢測(cè)區(qū)域像素點(diǎn)值[9]的變化。由于特征模板的位置和大小可以任意變化,因此會(huì)產(chǎn)生很多特征值,Haar特征比較適合于人臉識(shí)別。

MOSSE即最小輸出均方誤差和濾波器[10],該濾波器可以依賴初始幀信息就可以生成穩(wěn)定的相關(guān)濾波?；贛OSSE的目標(biāo)跟蹤算法在光照、非剛性形變、位置和尺度都具有較好的魯棒性。根據(jù)峰值旁瓣比率[2]可以檢測(cè)出目標(biāo)是否被遮擋,若遮擋則停止跟蹤目標(biāo),并進(jìn)行目標(biāo)檢測(cè),當(dāng)目標(biāo)再次出現(xiàn)時(shí),再次對(duì)目標(biāo)進(jìn)行跟蹤。

MOSSE算法作為相關(guān)濾波的開山之作,不僅提高了跟蹤目標(biāo)的精準(zhǔn)度,也提高了算法的魯棒性。其工作原理如下:

其中,公式(1)中的i表示訓(xùn)練樣本的索引[8],當(dāng)公式(1)轉(zhuǎn)換為矩陣形式,得到公式(2):

算法流程如圖1所示:

圖1 MOSSE算法流程圖

3 改進(jìn)的雜亂環(huán)境中目標(biāo)跟蹤算法

MOSSE算法在光照環(huán)境變化的場(chǎng)景中,該算法是針對(duì)目標(biāo)的外觀形態(tài)來進(jìn)行建立模型,由此可知,目標(biāo)外觀只要不會(huì)出現(xiàn)突變現(xiàn)象且光照不會(huì)造成目標(biāo)形態(tài)發(fā)生變化,那么光照對(duì)于目標(biāo)跟蹤造成的影響就不會(huì)很大。MOSSE算法對(duì)光照的不敏感型,如果由于光照的變化,而造成了目標(biāo)外觀的改變,則將會(huì)導(dǎo)致跟蹤失敗。

當(dāng)目標(biāo)尺寸的變化的情況下,MOSSE濾波器在初始化訓(xùn)練時(shí)加入了擾動(dòng),因此針對(duì)目標(biāo)在一定程度下的旋轉(zhuǎn)和尺度變化具有一定的調(diào)節(jié)能力。調(diào)節(jié)能力也僅限于某一定程度內(nèi),在不改變目標(biāo)模型外觀的情況下,該算法對(duì)目標(biāo)尺度變換是不敏感的。

如果跟蹤的目標(biāo)被一些物體擋住一部分甚至全部擋住,那么目標(biāo)的外觀就會(huì)發(fā)生變化。由于濾波器和輸入進(jìn)行卷積計(jì)算后,輸出響應(yīng)的最大值仍在中心,中心點(diǎn)所在的位置就是目標(biāo)中心所在位置,因此當(dāng)目標(biāo)被遮擋時(shí)仍能繼續(xù)跟蹤。

但MOSSE算法抗漂移能力差,由于濾波器只能學(xué)習(xí)前一幀和當(dāng)前幀的信息,跟蹤窗口一旦發(fā)生漂移,當(dāng)前幀的濾波器就會(huì)出現(xiàn)誤差,后續(xù)的視頻幀均會(huì)受到影響,系統(tǒng)隨著時(shí)間的推移,誤差始終存在未被修正,誤差累積越來越大,最終就會(huì)導(dǎo)致目標(biāo)跟蹤失敗。

由于濾波器只是對(duì)視頻序列的當(dāng)前幀和前一幀的數(shù)據(jù)進(jìn)行學(xué)習(xí),一旦出現(xiàn)誤差,若沒有對(duì)產(chǎn)生的誤差及時(shí)修正,后一幀濾波器均會(huì)帶著誤差進(jìn)行學(xué)習(xí)更新目標(biāo)特征,從而導(dǎo)致誤差會(huì)逐漸積累導(dǎo)致跟蹤發(fā)生漂移,最終跟蹤目標(biāo)失敗。

MOSSE濾波器僅僅學(xué)習(xí)了視頻序列的前一幀和當(dāng)前幀的數(shù)據(jù),容易造成目標(biāo)信息丟失。在沒有外部校正的情況下,系統(tǒng)隨時(shí)間的推移就會(huì)造成目標(biāo)跟蹤失敗。改進(jìn)思路為:通過保留m幀(可由人為設(shè)定)的歷史數(shù)據(jù),當(dāng)濾波器出現(xiàn)誤差時(shí)利用歷史信息來修正。

本文在MOSSE算法的基礎(chǔ)上,通過增加每一幀圖像的上下文信息,讓AdaBoost來確定權(quán)值,最后得到的濾波器是由迭代產(chǎn)生的若干個(gè)弱濾波器構(gòu)成,這樣便得到了魯棒性更好的濾波器,從而增強(qiáng)了目標(biāo)跟蹤抗漂移能力。

改進(jìn)后的濾波器可以通過保留m幀(可由人為設(shè)定)的歷史數(shù)據(jù),當(dāng)濾波器出現(xiàn)誤差時(shí)利用歷史信息來修正。濾波器H將m幀數(shù)據(jù)作為m個(gè)訓(xùn)練樣本。假設(shè)有T次迭代,每一次得到的弱濾波器Ht更新公式為:

公式(3)中 為訓(xùn)練樣本個(gè)數(shù),T為迭代次數(shù),Wt,i為相應(yīng)部分權(quán)值。最后,m個(gè)弱濾波器得出強(qiáng)濾波器,其公式為:

其中,βt為相應(yīng)部分權(quán)值。在前m幀繼續(xù)保持使用原來的MOSSE算法對(duì)目標(biāo)樣本進(jìn)行初始化以及濾波器的學(xué)習(xí),第m+1幀開始,采用改進(jìn)后的濾波器進(jìn)行學(xué)習(xí)。

4 實(shí)驗(yàn)仿真

4.1 實(shí)驗(yàn)運(yùn)行環(huán)境

本文的目標(biāo)檢測(cè)跟蹤算法的實(shí)驗(yàn)平臺(tái)是MATLAB編寫:

1)硬件環(huán)境:計(jì)算機(jī)的處理器為因特爾i5-8300H,主頻為2.30 GHz,RAM為8.00 GB (7.86 GB可用)。

2)軟件環(huán)境:運(yùn)用MATLAB R2020b進(jìn)行代碼編寫以及仿真運(yùn)行。

3)視頻序列:本章實(shí)驗(yàn)所需要的視頻序列均來自O(shè)TB100,其中視頻序列中包括了環(huán)境光照變化、外觀變化、尺度變換等跟蹤過程中一些頗具挑戰(zhàn)性的場(chǎng)景。本章測(cè)試視頻共有四段視頻:車輛視頻一段(Trans),臉部視頻兩段(FaceOcc1、Trellis),人體視頻一段(Surfer)。

4.2 實(shí)驗(yàn)?zāi)康?/h3>

本章節(jié)主要通過對(duì)目標(biāo)跟蹤算法以及改進(jìn)的目標(biāo)跟蹤算法進(jìn)行探討,利用原始的MOSSE算法和改進(jìn)后的MOSSE算法進(jìn)行MATLAB仿真實(shí)驗(yàn)。在同一個(gè)視頻序列中,分別使用初始的目標(biāo)跟蹤算法和改進(jìn)后的算法進(jìn)行仿真實(shí)驗(yàn),將結(jié)果進(jìn)行分析對(duì)比,來論證改進(jìn)濾波器后的MOSSE算法的穩(wěn)定性更強(qiáng)。其中實(shí)驗(yàn)用到的視頻序列具體名稱、幀數(shù)以及視頻序列中的挑戰(zhàn)因素如表1。

表1 測(cè)試所用視頻

4.3 實(shí)驗(yàn)結(jié)果對(duì)比分析

4.3.1 目標(biāo)外觀變化

在目標(biāo)跟蹤中,目標(biāo)的外觀變化仍然是一個(gè)頗具挑戰(zhàn)性的難點(diǎn)。因?yàn)樵谀繕?biāo)檢測(cè)跟蹤中,經(jīng)常會(huì)由于目標(biāo)的姿態(tài)、尺度、旋轉(zhuǎn)等目標(biāo)外觀發(fā)生變化使濾波器產(chǎn)生誤差,從而使跟蹤目標(biāo)失敗。

本次測(cè)試視頻為Surfer的一段目標(biāo)外觀變化明顯的視頻,圖2中可以看到,在原始算法中,當(dāng)目標(biāo)外觀在215幀開始發(fā)生變化時(shí),已經(jīng)開始產(chǎn)生誤差,由于誤差未被修正最后導(dǎo)致目標(biāo)跟蹤失敗。圖3為改進(jìn)后的算法仿真實(shí)驗(yàn)的得到的結(jié)果,與圖2形成對(duì)比,可發(fā)現(xiàn)在目標(biāo)外觀發(fā)生變化的關(guān)鍵幀,算法的跟蹤框沒有發(fā)生較大幅度的漂移現(xiàn)象。

注:a)Surfer第35幀；b)Surfer第215幀。 注:a)Surfer第35幀；b)Surfer第215幀。

4.3.2 目標(biāo)的模糊運(yùn)動(dòng)

有些目標(biāo)運(yùn)動(dòng)的環(huán)境可能由于光照視線問題導(dǎo)致運(yùn)動(dòng)模糊。測(cè)試視頻為Trans,從視頻序列中可以看出目標(biāo)的運(yùn)動(dòng)非常模糊且外觀發(fā)生變化。圖4為原始算法的仿真實(shí)驗(yàn)結(jié)果,在第124幀目標(biāo)發(fā)生形變時(shí)仍然可以跟蹤到目標(biāo)的中心,在圖5改進(jìn)算法的仿真結(jié)果中,在第124幀目標(biāo)發(fā)生形變時(shí),跟蹤框發(fā)生了后移,但依舊可以跟蹤到目標(biāo)。

注:a)Trans第26幀；b)Trans第124幀。 注:Trans第26幀；Trans第124幀。

4.3.3 目標(biāo)遮擋

在目標(biāo)遮擋中,測(cè)試視頻為:FaceOcc1。該視頻序列包含了目標(biāo)從完整到目標(biāo)被遮擋,再?gòu)谋徽趽跻瞥鰜?通過進(jìn)行MATLAB仿真,圖6為原始算法,在第267幀時(shí),跟蹤框已經(jīng)完全漂移,無法跟蹤到目標(biāo)中心,圖7改進(jìn)算法中在267關(guān)鍵幀仍然可以跟蹤被遮擋后的人臉。

注:a)FaceOcc1第48幀；b)FaceOcc1第267幀。 注:a)FaceOcc1第48幀；b)FaceOcc1第267幀。

4.3.4 光照環(huán)境變化

在OTB100的視頻序列中的Trellis視頻序列主要是目標(biāo)在光照環(huán)境變化的場(chǎng)景中移動(dòng)。圖8中當(dāng)目標(biāo)所在的環(huán)境中光照產(chǎn)生非常明顯的變化時(shí),初始的MOSSE算法在214幀就已經(jīng)跟蹤失敗,圖9可以看出改進(jìn)的MOSSE算法在跟蹤人臉時(shí),在214幀可以看出跟蹤框仍然可以跟蹤目標(biāo)的中心位置。

注:a)Trellis第47幀；b)Trellis第214幀。 注:a)Trellis第47幀；b)Trellis第214幀。

4.4 目標(biāo)跟蹤的準(zhǔn)確性和實(shí)時(shí)性結(jié)果比較

以上已經(jīng)針對(duì)MOSSE算法以及改進(jìn)后的算法進(jìn)行了MATLAB實(shí)驗(yàn),并通過對(duì)比得到改進(jìn)后算法的魯棒性更好,本節(jié)主要針對(duì)相關(guān)濾波中的其他算法以及深度學(xué)習(xí)方法進(jìn)行定量比較,分別對(duì)各個(gè)算法檢測(cè)跟蹤的準(zhǔn)確性和實(shí)時(shí)性進(jìn)行列舉,跟蹤數(shù)據(jù)列表如表2和表3。

表2 各算法檢測(cè)跟蹤的準(zhǔn)確性結(jié)果 %

表3 各算法檢測(cè)跟蹤的實(shí)時(shí)性結(jié)果

5 總 結(jié)

本文闡述了相關(guān)濾波中的MOSSE、KCF、CSK、CN算法。其中基于相關(guān)濾波算法重點(diǎn)研究了MOSSE算法,分別對(duì)MOSSE算法的原理、算法流程等進(jìn)行了一一描述,分析了它在該領(lǐng)域的優(yōu)越性和亟待需要改進(jìn)的地方。

由于該算法存在抗漂移能力不足,在濾波器產(chǎn)生偏差時(shí),無法及時(shí)通過校正系統(tǒng)對(duì)誤差進(jìn)行校正。本文在原有的MOSSE算法的基礎(chǔ)上引入誤差校正思想,及時(shí)修正濾波器產(chǎn)生的誤差,改進(jìn)后的算法在保證原有算法的準(zhǔn)確度的前提下,檢測(cè)跟蹤的實(shí)時(shí)性提升到原來的五至六倍,在目標(biāo)外觀變化的穩(wěn)定性也有所提高,算法的缺陷在于當(dāng)環(huán)境亮度發(fā)生改變時(shí),其抗漂移能力仍然達(dá)不到令人滿意的效果,并且無法對(duì)目標(biāo)尺度模型進(jìn)行更新,這將是我們下一步繼續(xù)研究的難點(diǎn)問題。