陳穎頻,孔俊雅,余超群,林 晨,蔣旻佚,羅崇淼,虞虹玲
(1. 電子科技大學(xué)數(shù)學(xué)科學(xué)學(xué)院, 四川 成都 611731; 2. 閩南師范大學(xué)物理與信息工程學(xué)院,福建 漳州 363000)
目標(biāo)跟蹤是計算機視覺領(lǐng)域重要的研究問題,具有廣闊的應(yīng)用前景。因跟蹤過程中場景的多變性,使跟蹤面臨局部遮擋、光照強度變化、尺度變化、旋轉(zhuǎn)和背景散亂等挑戰(zhàn)[1]。
近年來,稀疏表示[2-3]被廣泛應(yīng)用于目標(biāo)跟蹤。稀疏表示最初應(yīng)用于人臉識別[4],能在部分遮擋場景下獲得良好的魯棒性。受此啟發(fā),有學(xué)者將稀疏表示引入目標(biāo)跟蹤,并提出基于l1范數(shù)的目標(biāo)跟蹤算法[5],開創(chuàng)了將稀疏表示應(yīng)用于跟蹤領(lǐng)域的先河,許多基于稀疏表示的目標(biāo)跟蹤算法被相繼提出。其中,基于正向稀疏表示的目標(biāo)跟蹤算法以目標(biāo)模板為字典,選取少量字典原子表示候選模板,但這類方法忽略了目標(biāo)模板之間的時空相似性,且候選模板數(shù)量較大,導(dǎo)致算法計算量巨大。2014年,文獻(xiàn)[6]中提出逆向稀疏表示跟蹤模型,該模型利用候選粒子逆向稀疏表示目標(biāo)模板,因模板數(shù)遠(yuǎn)小于采樣粒子數(shù),跟蹤器只需求解少量凸優(yōu)化問題,運算量大幅下降。
逆向稀疏表示跟蹤模型容易受到背景散亂的影響??紤]到目標(biāo)在背景中運動存在一定的相似性,本文在目標(biāo)模板中施加低秩約束[7]壓制背景信息對目標(biāo)跟蹤的干擾,挖掘相鄰幀之間目標(biāo)的相似性。為進(jìn)一步挖掘目標(biāo)的紋理特征,降低運動模糊、形變等因素對跟蹤性能的影響,本文在逆向稀疏表示跟蹤模型中引入局部二值模式 (local binary pattern, LBP)[8-9]特征。為避免目標(biāo)模板被局部“污染”并及時更新目標(biāo)的局部有效信息,本文利用方向梯度直方圖(histogram of oriented gradient, HOG)[10]區(qū)分目標(biāo)表觀模型中的有效信息(如目標(biāo)形變、目標(biāo)快速運動導(dǎo)致的表觀變化)和無效信息(如目標(biāo)局部遮擋、全局遮擋等)。
粒子濾波實質(zhì)上是一種基于序貫蒙特卡羅濾波方法[11],利用一系列隨機抽取樣本的重要性權(quán)重代替狀態(tài)的后驗概率分布。粒子濾波包括以下4個階段:
1)撒粒子階段:令x1=[dx,dy,s,θ,r,φ]表示第一幀目標(biāo)的狀態(tài)(dx,dy,s,θ,r,φ這6個仿射參數(shù)分別代表水平擾動量、垂直擾動量、縮放比例、旋轉(zhuǎn)角度、高寬比和切邊角度)。第f幀的運動狀態(tài)轉(zhuǎn)移概率p(xf|xf-1)定義為
p(xf|xf-1)=N(xf-1,Ψ),
(1)
2)加權(quán)階段:計算每個粒子的權(quán)重,即
(2)
將式歸一化得
(3)
3)重采樣階段:對粒子按照權(quán)重進(jìn)行篩選,即復(fù)制高權(quán)重粒子并去除低權(quán)重粒子。
4)輸出階段:對粒子加權(quán)求和,即
(4)
如圖1所示(顏色越深的塊對應(yīng)的值越大,最大為1),左邊矩陣通過行和稀疏收縮[12]可獲得右邊具有聯(lián)合稀疏(即行和稀疏)特性的矩陣,這一過程稱為聯(lián)合稀疏表示。虛線框選中的塊表示僅具有稀疏性而不具有行和稀疏的編碼,通過聯(lián)合稀疏約束能有效剔除這些編碼。聯(lián)合稀疏約束通常以l2,1范數(shù)[6]最小化加以刻畫。
圖1 聯(lián)合稀疏表示示意圖Fig.1 Schematic diagram of joint sparse representation
考慮到視頻中相鄰幀之間目標(biāo)具有相似性,本文通過對目標(biāo)矩陣施加低秩約束,降低背景散亂對目標(biāo)的影響。
具體地,對目標(biāo)模板采取如下約束:
(5)
對Y做SVD分解,即
Y=UΣVT。
(6)
可通過式(7)得到式(5)的最優(yōu)解[13]:
(7)
式(7)中,Θτ0(Σ)=sign[vec(Σ)]·max(0,|vec(Σ)|-τ0)是軟收縮算子,vec表示矩陣列向量化算子。
首先構(gòu)建基于模板視覺特征的正負(fù)專家系統(tǒng),如圖2所示,使用大小為p×p的滑動窗口將正目標(biāo)模板Pn∈Q×Q(n=1,2,…,N表示模板在模板集中的序號)劃分為若干個圖像塊p×p,然后將其用拉列算子vec處理得到p2×1(k=1,2,…,K),并構(gòu)建目標(biāo)正模板為了有效壓制背景信息對跟蹤性能的干擾,本文在當(dāng)前幀的上一幀遠(yuǎn)離目標(biāo)的區(qū)域隨機選取N個負(fù)模板Nn∈Q×Q,然后用p×p的滑動窗口將負(fù)目標(biāo)模板劃分得到表示第n個負(fù)樣本的第k個局部塊),由此構(gòu)建包含背景信息的負(fù)專家系統(tǒng)。
圖2 正負(fù)專家目標(biāo)模板生成過程Fig.2 The process of generating the positive and negative expert object templates
利用當(dāng)前幀的上一幀目標(biāo)的狀態(tài),在新一幀視頻圖像中利用式(1)產(chǎn)生隨機粒子,獲取如圖3所示的M個候選粒子,以得到M個候選模板C1,C2,…,CM,其中Cm∈Q×Q(m=1,2,…,M)。再用滑動窗口將其分割成K個局部圖像塊其中p×p。
圖3 候選模板獲取過程Fig.3 The sampling process of candidate templates
圖4 低秩逆向聯(lián)合稀疏表示的稀疏編碼稀疏建模Fig.4 Sparse coding modeling based on low-rank inverse joint sparse representation
(8)
式(8)中,Xk表示稀疏編碼系數(shù),‖Xk‖2,1為矩陣Xk的l2,1范數(shù)。矩陣X∈M×N的l2,1范數(shù)定義為
在迭代過程中,由于不同局部圖像塊的外觀表示模型是獨立的,可將稀疏編碼稀疏的能量泛函定義為
(9)
(10)
式(10)中,〈X,Y〉表示計算兩個矩陣X,Y的內(nèi)積;λ為二次懲罰系數(shù)。
由于Xk,S和ΛS之間是相互去耦合的,可將式(10)轉(zhuǎn)化為Xk、S和ΛS的子問題并分別進(jìn)行計算。
2.3.1Xk子問題求解
Xk子問題對應(yīng)的目標(biāo)函數(shù)為
(11)
對式(11)關(guān)于Xk求偏導(dǎo)并置零得
(12)
式(12)中,E∈M×M表示單位矩陣。
2.3.2S子問題求解
S子問題對應(yīng)的目標(biāo)函數(shù)為
(13)
(14)
式(14)中,G(i,:)表示G矩陣的第i行向量。
2.3.3ΛS子問題求解
ΛS子問題對應(yīng)的目標(biāo)函數(shù)為
(15)
利用梯度上升法可計算ΛS,具體如下:
(16)
式(16)中,γ是學(xué)習(xí)率。
2.4.1聯(lián)合稀疏評價機制
若第m個粒子的編碼Xk的第m行系數(shù)都較大,則說明該粒子與目標(biāo)模板較相似,可根據(jù)編碼行和的大小初步優(yōu)選粒子。初步優(yōu)選粒子的判定條件為
‖Xk(m,:)‖2>τ1,
(17)
式(17)中,τ1∈[0,max(‖Xk(m,:)‖2)]是設(shè)置的閾值。
(18)
式(18)中,τ2是設(shè)置的閾值,取值范圍為[0,1];若式(17)、(18)兩者同時成立,則該粒子打1分,否則打0分,從而得到K個大小為M×1的指示向量ik(k=1,2,…,K),其過程如圖5所示。
圖5 指示向量生成過程Fig.5 The calculation of index vector
將圖5獲得的指示向量ik組成大小為M×K的矩陣I,再將I求行和得到一個列向量,如圖6所示。在此基礎(chǔ)上計算每個粒子的分?jǐn)?shù)w1,再通過閾值控制,篩選出I個粒子s1,s2,…,sI,其中si(i=1,2,…,I)表示選擇的粒子在原候選粒子集合中的編號。若粒子的分?jǐn)?shù)低于設(shè)置的閾值,將其分?jǐn)?shù)清零,則該粒子被淘汰,如式(19)所示:
(19)
式(19)中,τ3為設(shè)置的閾值,取值范圍為[0,max (‖I(m,:)‖1)],粒子的聯(lián)合稀疏權(quán)值ω1(si)計算如下:
(20)
圖6展示了聯(lián)合稀疏粒子評價的過程。通過上述粒子評價選取得分靠前的I個候選粒子,再淘汰大部分稀疏編碼較小且與正模板相似性較小的候選粒子,從而減小后續(xù)工作的計算量。
圖6 聯(lián)合稀疏粒子打分體系Fig.6 Joint sparse probability scoring system
2.4.2判別式打分機制
(21)
式(21)中,W∈N×I×K(i=1,2,…,I)表示相似性度量張量。
如圖7所示,本文采用判別式非最大值抑制投票系統(tǒng)。打分體系通過式(21)計算正目標(biāo)模板集中的每個局部模板與候選粒子的相似度,每個正目標(biāo)模板區(qū)塊都選取一個與該區(qū)塊相似度最高的粒子,對該粒子加1分,再用直方圖統(tǒng)計每個粒子的總得分情況。類似地,每個負(fù)目標(biāo)模板區(qū)塊也選出相似度最高的候選粒子,用直方圖統(tǒng)計每個候選粒子與負(fù)模板的相似程度。然后將正模板相似性直方圖減去負(fù)模板相似性直方圖獲得w2(si)∈I×1,再將得分歸一化得到第二步打分的加權(quán)權(quán)重:
(22)
圖7 判別式打分機制Fig.7 Discriminative scoring mechanism
2.4.3LBP紋理特征評價機制
首先將優(yōu)選粒子對應(yīng)的圖像Csi∈Q×Q進(jìn)行(local binary patterns, LBP)紋理特征提取,獲得LBP(Csi)∈Q×Q,然后計算其與正目標(biāo)模板集中隨機抽取模板Pr(r為1到N之間的隨機數(shù))LBP特征的余弦距離,從而獲得第三步的粒子打分w3(si)∈I×1,即
(23)
將式(23)歸一化得
(24)
然后對粒子做一個篩選,即
(25)
式(25)中,τ4是人為設(shè)定的閾值,取值范圍為[0,1]。
最后將上面三步求得的ω1,ω2和ω3計算ωf(i),即
(26)
綜上所述,三步評價法:通過聯(lián)合稀疏評價機制可以選取最具聯(lián)合稀疏性的粒子;通過判別式非最大值抑制投票評價機制可以選取與目標(biāo)模板空間相似性最高的粒子;通過LBP紋理特征評價機制可選取與目標(biāo)模板整體相似性最高的粒子,一定程度上減輕運動模糊、形變等因素帶來的干擾。通過三步評分法篩選出的粒子可應(yīng)對目標(biāo)的多種外觀變化,達(dá)到魯棒跟蹤的效果。
在目標(biāo)跟蹤過程中,模板更新策略至關(guān)重要。若不更新模板則無法及時感知模板的表觀變化,而無原則地整體更新模板則會引入無效的表觀變化,如:局部遮擋、運動模糊等。
傳統(tǒng)跟蹤算法的模板更新機制常采用整體更新法。這種做法的弊端在于,一旦檢測到目標(biāo)被遮擋,未被遮擋區(qū)域的有效表觀變化信息也將被忽略。為解決這一問題,本文提出了局部模板更新機制對最優(yōu)候選目標(biāo)進(jìn)行分塊相似性評價,若局部區(qū)域相似度過低,則該區(qū)域被判定為遮擋狀態(tài),不更新該區(qū)域模板,反之則更新局部模板。下面簡要介紹局部相似性的評價方法。
(27)
(28)
接下來計算最優(yōu)估計粒子圖像與目標(biāo)模板的相似性度量矩陣W(假定W(0)=1,為元素全為1的矩陣),該矩陣元素計算如下:
(29)
以W(old)表示上一幀的相似性度量矩陣,根據(jù)式(30)可判斷最優(yōu)粒子的局部圖像塊是否被遮擋:
(30)
實驗環(huán)境如下:筆記本配置為Inter(R) Core(TM) i5-5200U CPU @ 2.20 GHz 4 GB,測試序列選自O(shè)TB100數(shù)據(jù)集[14],該數(shù)據(jù)集視頻序列存在光照變化、旋轉(zhuǎn)、遮擋、背景散亂和尺度變化等因素。為了評估本模型的性能,將所提低秩約束的逆向聯(lián)合稀疏跟蹤方法(low based reverse joint sparse tracking, LRRJST)與其他9個先進(jìn)的跟蹤方法進(jìn)行定量和定性比較。這些方法包括背景感知相關(guān)濾波跟蹤(learning background-aware correlation filters, BACF)[15]、學(xué)習(xí)用于視覺跟蹤的空間正則化相關(guān)過濾(learning spatially regularized correlation filters, SRDCF)[16]、帶檢測跟蹤學(xué)習(xí)算法(tracking learning detection, TLD)[17]、具有特征集成的比例自適應(yīng)核相關(guān)濾波器跟蹤器(scale adaptive kernel correlation filter, SAMF)[18]、核相關(guān)濾波算法(kernel correlation filter)[19]、判別式相關(guān)濾波快速尺度跟蹤算法(discriminative scale space tracker, DSST)[20]、基于長時相關(guān)濾波的方法(long-time correlation filter, LCT)[21]、基于稀疏表示模型的局部加權(quán)逆向聯(lián)合稀疏模型(locally weighted reverse joint sparse model, LWRJM)[21]、稀疏協(xié)作跟蹤器 (sparse collaborative model, SCM)[22]和多目標(biāo)跟蹤(multiple target tracking,MTT)[23]。
表1給出本文展示跟蹤序列存在的挑戰(zhàn)因素。
表1 視頻序列及其描述Tab.1 Video sequences and their description
3.1.1低秩約束對比實驗
為驗證加入低秩約束對跟蹤結(jié)果是否有影響,比對了有低秩約束的算法和無低秩約束的算法的跟蹤結(jié)果,并根據(jù)跟蹤結(jié)果進(jìn)行分析說明。如圖8所示,在第13幀時,目標(biāo)背景未發(fā)生變化,綠色跟蹤框(有低秩約束)和藍(lán)色跟蹤框(無低秩約束)都可以對目標(biāo)實現(xiàn)較好的跟蹤,而從第59幀到第112幀背景發(fā)生較為明顯的變化,這時藍(lán)色跟蹤框跟蹤失效,而綠色跟蹤框依然能準(zhǔn)確跟蹤目標(biāo),說明本文提出的低秩約束可有效降低背景信息對目標(biāo)跟蹤的干擾。
圖8 有無低秩約束對比實驗Fig.8 Comparison experiment with or without low rank constraint
3.1.2判別式打分機制對比實驗
為反映判別式打分機制的有效性,比對了采用判別式打分機制的算法與沒有采用判別式打分機制的算法的跟蹤結(jié)果,如圖9所示。在第65幀時,目標(biāo)尺寸變小,代表無判別式打分機制跟蹤算法的藍(lán)色跟蹤框?qū)δ繕?biāo)的跟蹤產(chǎn)生偏移,而代表采用判別式打分機制的LRRJST算法的綠色跟蹤框可以較準(zhǔn)確跟蹤目標(biāo)。在第190幀和303幀時,目標(biāo)進(jìn)行了平面內(nèi)旋轉(zhuǎn)和平面外旋轉(zhuǎn),其中頭部、臉部和側(cè)臉發(fā)生較大目標(biāo)外觀變化,藍(lán)色跟蹤框無法捕捉到目標(biāo),綠色跟蹤框仍可準(zhǔn)確跟蹤目標(biāo)。在第456幀,出現(xiàn)遮擋場景,藍(lán)色跟蹤框受干擾,而綠色跟蹤框依然準(zhǔn)確跟蹤目標(biāo)。因此,在尺度變化、旋轉(zhuǎn)和遮擋等情況下,采用判別式打分機制均可應(yīng)對目標(biāo)外觀變化。
圖9 有無判別式打分機制對比實驗Fig.9 Contrast experiment with or without discriminative scoring mechanism
3.1.3LBP紋理特征打分機制對比實驗
為驗證提取LBP紋理特征的有效性,比對了有LBP特征提取的算法和無LBP特征提取算法的跟蹤結(jié)果,如圖10所示。在第19幀時,目標(biāo)進(jìn)行尺度變化,代表無LBP特征提取算法的藍(lán)色跟蹤框產(chǎn)生偏移,而代表有LBP特征提取算法的綠色跟蹤框可精準(zhǔn)跟蹤目標(biāo)。在第27幀時,目標(biāo)進(jìn)行旋轉(zhuǎn),藍(lán)色跟蹤框仍沒有準(zhǔn)確跟蹤目標(biāo),而綠色跟蹤框未受影響。在第39幀時,目標(biāo)模糊,藍(lán)色跟蹤框已無法跟蹤目標(biāo),而綠色跟蹤框仍可緊跟目標(biāo)。在第51幀,目標(biāo)形變,外觀產(chǎn)生了較大變化,綠色跟蹤框仍準(zhǔn)確跟蹤目標(biāo)??梢?,采用了LBP紋理特征提取的算法,在目標(biāo)發(fā)生運動模糊、形變等場景下都可較好地進(jìn)行跟蹤。
圖10 有無LBP特征提取對比實驗Fig.10 Contrast experiment with or without LBP feature extraction
3.1.4有無局部模板更新機制對比實驗
為驗證本文采用的局部模板更新機制的有效性,對比沒有采用局部模板更新機制的各種效果,如圖11所示。在第84幀時,藍(lán)色跟蹤框(無局部模板更新)對目標(biāo)的跟蹤已經(jīng)產(chǎn)生偏移,綠色跟蹤(有局部模板更新)框準(zhǔn)確跟蹤目標(biāo)。在123幀時,目標(biāo)經(jīng)過白車的后車窗,被大面積遮擋,由于車窗顏色和目標(biāo)所穿褲子的顏色極其相似,藍(lán)色跟蹤框發(fā)生錯誤跟蹤,而綠色跟蹤框依然準(zhǔn)確跟蹤。在216幀時,目標(biāo)的下半身被藍(lán)黑色轎車再次遮擋,此時無局部模板更新機制的算法中,目標(biāo)模板已經(jīng)被“污染”,無法準(zhǔn)確跟蹤目標(biāo),而綠色跟蹤框仍準(zhǔn)確跟蹤目標(biāo)。在268幀時,目標(biāo)經(jīng)過藍(lán)黑色轎車,綠色跟蹤框仍未受遮擋影響??梢?,在部分遮擋或全局遮擋影響目標(biāo)外觀時,采用局部模塊更新機制可取得較好跟蹤效果。
圖11 有無局部模板更新對比實驗Fig.11 Comparison experiment with or without partial template update
成功率通過計算跟蹤框的重疊率得到。重疊率的計算公式為
(31)
式(31)中,Spre表示預(yù)測跟蹤框的面積,Str表示標(biāo)注跟蹤框的面積。
精確度根據(jù)中心點誤差計算得出。中心點誤差的計算公式為
(32)
式(32)中,(xd,yd)為預(yù)測跟蹤框的中心點,(xt,yt)為真實的跟蹤框的中心點。
圖12是10個算法在OTB數(shù)據(jù)庫不同視頻序列場景下的綜合比對的精確度和成功率圖,圖中右上角顯示算法排名情況。如圖12(a)所示,LRRJST算法的精確度排名第一,達(dá)到了0.850;如圖12(b)所示,LRRJST的成功率排名第一,達(dá)到了0.780。對比說明提出方法跟蹤性能較優(yōu)。
圖12 10種算法的精確度與成功率綜合對比圖Fig.12 A comprehensive comparison of the success rate and accuracy often algorithms
表2給出了各跟蹤算法在不同視頻序列中取得的平均跟蹤重疊率,其中數(shù)值越大,表明跟蹤性能越好,最優(yōu)跟蹤指標(biāo)被加粗顯示。從表中可看到,提出算法LRRJST在Football、Panda、Vase、Walking2視頻序列中的平均跟蹤重疊率分別為0.78、0.53、0.83、0.91,均高于其他9個主流算法,總平均值也達(dá)到了0.74,僅次于SRDCF。
表3給出了各跟蹤算法在不同視頻序列中取得的平均中心點誤差,其中數(shù)值越小,表明跟蹤框與目標(biāo)真實位置的誤差越小,最優(yōu)跟蹤指標(biāo)被加粗顯示。本文算法LRRST在Vase、Jumping 、Walking2視頻序列的中心點誤差分別為10.42、4.33、1.05像素,高于其他9個主流算法,總平均值像素誤差為6.4像素,僅次于BACF。
表2 各跟蹤算法在一些視頻中的平均跟蹤重疊率Tab.2 The average overlap rate of each algorithm in some video sequences
表3 各跟蹤算法在一些視頻中的平均中心點誤差Tab.3 Average center error of each tracking algorithms in some video sequences
圖13表示LRRJST算法與所比對算法在OTB100數(shù)據(jù)集上的跟蹤情況,本文只截取部分幀的跟蹤結(jié)果并加以說明(不同顏色的跟蹤框代表不同的跟蹤算法)。
圖13 OTB數(shù)據(jù)集不同序列的跟蹤結(jié)果比較Fig.13 Comparison of tracking results on different sequences of OTB dataset
下面針對幾種挑戰(zhàn)因素進(jìn)行定性分析:
1) 旋轉(zhuǎn)。圖13中的視頻序列David3和Dragon Baby存在平面內(nèi)旋轉(zhuǎn)和平面外旋轉(zhuǎn)的情況。從圖13中可以看到,LRRJST算法能有效地在旋轉(zhuǎn)場景下跟蹤目標(biāo)。
2) 快速運動。圖13中Jumping存在快速運動和運動模糊的情況。在Jumping視頻序列中,目標(biāo)在跳繩,只有LRRJST算法始終準(zhǔn)確且穩(wěn)定地跟蹤目標(biāo)。
3) 背景散亂。視頻序列Football存在背景散亂的情況,視頻中有一群穿著相似衣服和頭盔的足球隊員快速運動,只有LRRJST、LCT和KCF算法對目標(biāo)實現(xiàn)準(zhǔn)確跟蹤??梢娫谀繕?biāo)模板中引入的低秩約束能有效處理背景散亂的跟蹤場景。
4) 遮擋。圖13中的David3、Faceocc2和Football均存在部分遮擋或者完全遮擋的情況,部分跟蹤算法失效,而本文提出的算法始終能很好地應(yīng)對目標(biāo)表觀變化。說明本文提出的局部模板更新機制能有效檢測目標(biāo)遮擋場景并避免目標(biāo)模板被污染。
5) 尺度變化。圖13(b)中,DragonBaby視頻序列中,目標(biāo)在與龍布偶打斗,在第50幀時,目標(biāo)尺寸縮小,只有LRRJST算法穩(wěn)定地跟蹤目標(biāo),說明提出方法對尺度變化也有較好地跟蹤效果。
本文提出基于低秩約束的逆向聯(lián)合稀疏跟蹤算法,該算法創(chuàng)新點:1) 對目標(biāo)模板施加低秩約束,降低背景散亂對目標(biāo)的影響;2) 引入含背景信息的負(fù)樣本視覺字典進(jìn)行判別式打分,進(jìn)一步降低背景信息對跟蹤的干擾;3) 引入LBP特征描述目標(biāo)的紋理特性,進(jìn)一步提高粒子評分的可靠性;4) 在局部模塊更新機制中引入HOG特征,通過計算圖像塊與目標(biāo)模板之間的相似度篩選出目標(biāo)中的有效表觀變化信息,降低模板被污染的可能。實驗結(jié)果表明,提出算法在旋轉(zhuǎn)、快速運動、遮擋、尺度變化和背景散亂等情況均取得較好地跟蹤性能。