王有豪, 唐 垚, 王彥本
(西安郵電大學(xué) 通信與信息工程學(xué)院,陜西 西安 710121)
刑事偵查(以下簡(jiǎn)稱刑偵)現(xiàn)場(chǎng)勘驗(yàn)(以下簡(jiǎn)稱現(xiàn)勘)是為發(fā)現(xiàn)和收集證據(jù)而對(duì)案件有關(guān)的場(chǎng)所、物品等進(jìn)行的勘察和檢驗(yàn)[1]。視頻監(jiān)控系統(tǒng)是偵查嫌疑人活動(dòng)軌跡的主要途徑,通過視頻監(jiān)控系統(tǒng)可以動(dòng)態(tài)地跟蹤目標(biāo),結(jié)合現(xiàn)場(chǎng)調(diào)查、科學(xué)分析來確定嫌疑人的軌跡。高效的視頻目標(biāo)跟蹤系統(tǒng)對(duì)刑偵現(xiàn)勘具有重要意義。
利用視頻監(jiān)控實(shí)施目標(biāo)跟蹤會(huì)遇到場(chǎng)景中光照變化、相近顏色干擾、目標(biāo)形變、遮擋等問題[2]。顏色作為描述目標(biāo)的一種主要特征,對(duì)部分遮擋、形變以及旋轉(zhuǎn)都有較強(qiáng)的適應(yīng)性[3],但在復(fù)雜的場(chǎng)景中,僅使用單一的顏色特征通常很難獲得好的效果,對(duì)基于多特征融合的目標(biāo)跟蹤算法的研究成為近年來的熱點(diǎn)。
文獻(xiàn)[4]提出了一種新的顏色特征,將紅、綠、藍(lán)3種顏色細(xì)化為11種。文獻(xiàn)[5]通過使用高斯核計(jì)算相鄰2幀之間的相關(guān)性,取響應(yīng)最大的點(diǎn)為預(yù)測(cè)的目標(biāo)中心。文獻(xiàn)[6]提出了一種多目標(biāo)跟蹤算法。文獻(xiàn)[7]提出了一種局部二值模式(local binary pattern, LBP)紋理描述算子,它具有光照和旋轉(zhuǎn)不變等優(yōu)點(diǎn),且計(jì)算復(fù)雜度小、識(shí)別能力強(qiáng),已被廣泛應(yīng)用于目標(biāo)跟蹤、圖像分割、圖像檢索等領(lǐng)域。文獻(xiàn)[8]中利用LBP算子提取目標(biāo)區(qū)域紋理特征并與顏色特征相結(jié)合,實(shí)現(xiàn)了基于自適應(yīng)均值漂移算法的目標(biāo)跟蹤,但是,當(dāng)場(chǎng)景中存在干擾時(shí),會(huì)跟蹤失敗。文獻(xiàn)[9]結(jié)合了LBP紋理特征與顏色特征,并將它們應(yīng)用于粒子濾波。文獻(xiàn)[10]認(rèn)為現(xiàn)有的LBP算子僅將模板中心像素作為閾值,忽略了局部像素之間的相關(guān)性,導(dǎo)致所提取的紋理特征缺乏穩(wěn)健性,易受噪聲干擾,因此提出了一種全局二值模式(global binary pattern, GBP)紋理描述算子,它使用模板鄰域像素的均值作為閾值,在一定程度上弱化了噪聲對(duì)紋理的影響。
圖像中的噪聲主要是脈沖型噪聲,中值濾波在抑制脈沖型噪聲方面優(yōu)于均值濾波[11],它可以在消除噪音的同時(shí)保護(hù)圖像的紋理和邊緣。
為了準(zhǔn)確地跟蹤視頻監(jiān)控系統(tǒng)中嫌疑人的活動(dòng)軌跡,本文擬提出一種基于多特征融合的魯棒目標(biāo)跟蹤算法。該算法首先使用中值和均值濾波后的改進(jìn)全局二值模式(improving global binary pattern, IGBP)紋理描述算子充當(dāng)線性平滑濾波器,將去除模板幅值序列中最大值和最小值后剩余像素的均值作為閾值,從圖像中去除非相干細(xì)節(jié),消除偶然的脈沖型噪聲,以保持清晰的邊緣信息;其次,提取目標(biāo)區(qū)域的顏色特征作為第二種特征,并采用基于不確定性度量的多特征融合策略[12],在粒子濾波器框架中,融合了改進(jìn)的紋理特征和顏色特征,通過每種特征的不確定性大小自適應(yīng)地調(diào)整其對(duì)跟蹤結(jié)果的貢獻(xiàn);最后,在跟蹤過程中,通過計(jì)算在短時(shí)間內(nèi)發(fā)生的形變程度來確定目標(biāo)是否被遮擋,從而采用不同的更新策略對(duì)目標(biāo)模板進(jìn)行更新。
為了定義貝葉斯跟蹤問題,設(shè)時(shí)刻t的目標(biāo)狀態(tài)
xt=ft(xt-1,ξt)。
(1)
其中,ξt是過程噪聲。
跟蹤的目的是獲取t時(shí)刻目標(biāo)狀態(tài)xt的觀測(cè)值
zt=ht(xt,et)。
(2)
其中,et是時(shí)刻t的觀測(cè)噪聲。
定義{ξ1t}、{e1t}分別為過程噪聲序列和測(cè)量噪聲序列。假設(shè){ξ1t}、{e1t}分別為獨(dú)立同分布的噪聲序列,且兩噪聲序列和初始狀態(tài)彼此相互獨(dú)立。
從貝葉斯估計(jì)角度,跟蹤問題就是根據(jù)給定觀察序列{z1t}遞歸估計(jì)目標(biāo)狀態(tài){xt},即構(gòu)造目標(biāo)狀態(tài)的后驗(yàn)概率分布P(xt|z1t)。求解過程可由以下2部分完成。
(1)預(yù)測(cè)過程
(3)
(2)更新過程
(4)
對(duì)于非線性、非高斯的動(dòng)態(tài)系統(tǒng),式(3)和式(4)的積分是無法解析計(jì)算的[13]。粒子濾波是基于序列蒙特卡洛和遞歸貝葉斯的估計(jì)方法[14],它將積分運(yùn)算轉(zhuǎn)化為有限樣本點(diǎn)的求和運(yùn)算,即后驗(yàn)概率分布P(xt|z1t)可近似表述為
(5)
假如粒子從重要性分布q(xt,j/xt-1,jz1t)中采樣得到,則遞歸貝葉斯過程可看作如下權(quán)值更新過程
(6)
選取先驗(yàn)分布P(xt/xt-1)作為重要性采樣函數(shù),則權(quán)值更新過程式(6)可以簡(jiǎn)化為
ωt,j∝ωt-1,jP(zt/xt,j)。
(7)
在對(duì)不同場(chǎng)景中的目標(biāo)進(jìn)行跟蹤時(shí),紋理和顏色特征對(duì)于目標(biāo)所在位置估計(jì)的準(zhǔn)確度有所差異。對(duì)于改進(jìn)后的紋理和顏色特征在目標(biāo)跟蹤過程中的不確定性,采用特征不確定性度量理論[12]來進(jìn)行計(jì)算,設(shè)在t+1時(shí)刻,第i種特征的不確定性
(8)
(9)
其中,p(zi|xj)表示觀察到的第j個(gè)粒子上第i種特征的概率值。
由式(8)可知,在特征不確定性的計(jì)算過程中,包含所有粒子的空間位置信息和特征觀測(cè)概率值的熵。在t時(shí)刻,如果空間中粒子分布越集中,則σt越小,此時(shí)說明該種特征具有較小的不確定性。同樣地,H(pi)越小,代表此種特征的觀測(cè)概率值僅集中在少數(shù)的粒子上,則該特征在對(duì)于目標(biāo)位置的估計(jì)中有較高的準(zhǔn)確度,即不確定性越小。
首先,分別給出目標(biāo)改進(jìn)紋理特征和顏色特征的提取方法,以及2種特征下目標(biāo)模板與候選模板相似度的計(jì)算方法,并由此給出特征融合策略。其次,判斷目標(biāo)是否發(fā)生遮擋從而采用不同的模板更新策略。最后,在粒子濾波框架中給出算法的具體實(shí)現(xiàn)步驟。
2.1.1 圖像紋理特征的提取
結(jié)合均值與中值濾波,提出IGBP紋理描述算子。具體做法為,首先對(duì)模板進(jìn)行絕對(duì)值做差處理得到一個(gè)幅值序列,然后去除模板幅值序列中的最大值和最小值,取剩余像素的平均灰度值作為閾值。若鄰域像素大于此閾值,則取1,反之取0,再與相同大小的權(quán)重模板進(jìn)行卷積,從而得到改進(jìn)后的紋理特征。定義IGBP算子
(10)
其中,r=1,2,…,Q表示鄰域中的第r個(gè)像素;Q表示模板中去除中心像素后剩余像素的個(gè)數(shù);gr=|dr-dc|表示經(jīng)過絕對(duì)值做差后的灰度值幅值序列,其中,dc表示模板的中心像素的灰度值,dr表示第r個(gè)像素的灰度值;閾值gc是去除幅值序列中最大值和最小值后剩余像素的平均灰度值。s(x)是一個(gè)二值函數(shù)
(11)
LBP計(jì)算過程中鄰域像素權(quán)重值和位置固定,這會(huì)導(dǎo)致提取的紋理特征對(duì)方向十分敏感。因此,采用旋轉(zhuǎn)不變性,即模板鄰域連續(xù)旋轉(zhuǎn),取最小值作為IGBP紋理[16],即
IGBP=min {ROR(IGBP,r)|r=1,2,…,Q}。
(12)
其中,ROR(x,r)表示對(duì)得到的二進(jìn)制數(shù)x進(jìn)行向右循環(huán)移位r次。
IGBP算子描述紋理的結(jié)構(gòu)信息,對(duì)于紋理的強(qiáng)度用局部反差(LC)算子來描述,局部反差算子
CL=s1/n1-s2/n2。
(13)
其中,s1表示上述模板幅值序列中所有大于閾值gc的像素之和,n1為對(duì)應(yīng)的大于閾值gc的像素個(gè)數(shù);s2表示模板幅值序列中所有小于閾值gc的像素之和,n2為對(duì)應(yīng)的像素個(gè)數(shù)。
本文將IGBP算子與LC算子相結(jié)合,使其可以同時(shí)描述目標(biāo)區(qū)域紋理的結(jié)構(gòu)和強(qiáng)度。IGBP算子和LC算子的計(jì)算原理,如圖1所示。
圖1 IGBP和LC算子的計(jì)算原理
圖1(a)表示原始模板,其大小為3×3,灰色部分為模板中心像素;圖1(b)表示模板(a)中周圍像素與中心像素經(jīng)過做差后得到的模板序列;圖1(c)表示對(duì)模板(b)取絕對(duì)值得到模板幅值序列;圖1(d)表示去除模板幅值序列(c)中最大值和最小值后,取剩余像素的平均值作為模板的中心像素,即閾值;圖1(e)表示對(duì)模板(d)中周圍像素大于閾值的位置取1,否則取0,得到一個(gè)二進(jìn)制序列;通過不斷旋轉(zhuǎn)模板(e),從而得到其對(duì)應(yīng)的最小二進(jìn)制序列“00011011”;圖1(f)表示(e)中每個(gè)位置上的權(quán)值;圖1(g)表示模板(e)、(f)對(duì)應(yīng)位置的乘積,再對(duì)(g)求和從而得到IGBP值,即
IGBP=16+8+2+1=27。
對(duì)于紋理的強(qiáng)度,由模板幅值序列(d)可知閾值為24,則s1等于所有大于閾值的像素之和,即31+34+33+25,n1為4;s2等于所有小于閾值的像素之和,即14+19+8+13,n2為4,則CL=(31+34+33+25)/4-(14+19+8+13)/4=17.25。
圖像目標(biāo)區(qū)域、目標(biāo)區(qū)域的LBP和IGBP紋理,如圖2所示。
圖2 目標(biāo)區(qū)域的LBP和IGBP紋理
從圖2中可以看出,相比于LBP算子,本文提出的IGBP算子對(duì)紋理結(jié)構(gòu)信息的描述更加清晰、完整。
IGBP與LC的聯(lián)合概率分布用于描述目標(biāo)區(qū)域的紋理特征。為了降低計(jì)算復(fù)雜度,同時(shí)考慮紋理的可區(qū)分性,當(dāng)模板大小為3×3時(shí),Q=8,旋轉(zhuǎn)不變僅有36種可能,此時(shí)的IGBP與LC算子聯(lián)合概率分布直方圖,如圖3所示。
圖3 IGBP與LC算子聯(lián)合概率分布直方圖
從圖3可以看出,IGBP與LC算子聯(lián)合可以把LC量化成16個(gè)區(qū)間,與IGBP構(gòu)成一個(gè)大小為36×16的聯(lián)合概率分布直方圖。本文結(jié)合了圖像紋理的強(qiáng)度與結(jié)構(gòu)信息來對(duì)圖像的紋理進(jìn)行描述,在不同的紋理之間具備較強(qiáng)的可區(qū)分性。
2.1.2 圖像顏色特征的提取
本文提取顏色特征作為描述目標(biāo)區(qū)域的第二種特征。通常目標(biāo)區(qū)域的顏色特征使用離散化的顏色直方圖來表示,由于紅、綠、蘭(RGB)顏色空間容易受到光照變化的影響,故本文在HSV(H表示色度,S表示飽和度,V表示亮度)空間計(jì)算顏色直方圖,并量化整個(gè)空間的間隔為m=16×16×16。第u個(gè)目標(biāo)區(qū)域的顏色概率分布
(14)
其中,n表示目標(biāo)區(qū)域像素點(diǎn)的個(gè)數(shù)。x表示目標(biāo)區(qū)域的中心位置;xr(r=1,2,…,n)表示目標(biāo)區(qū)域中像素的位置。h表示核帶寬。函數(shù)b(xr)表示像素xr對(duì)應(yīng)的直方圖區(qū)間。δ定義為
(15)
k(x)為Epanechnikov核函數(shù)[11]
(16)
在得到各個(gè)特征下候選模板與目標(biāo)模板直方圖后,計(jì)算Bhattacharyya距離[17]作為特征的相似性度量方法
(17)
其中,htar和hmod表示當(dāng)前歸一化后的候選模板和目標(biāo)模板直方圖;d越小,表示候選模板與目標(biāo)模板之間的相似度越高,反之則相似度越低。
當(dāng)在特定特征下獲得候選模板與目標(biāo)模板之間的Bhattacharyya距離時(shí),特征觀測(cè)概率值
(18)
其中,i=1,2,改進(jìn)后的紋理特征屬于提到的第一種特征,顏色特征則屬于第二種特征。
在提取的紋理、顏色兩種特征條件獨(dú)立的情況下,采用文獻(xiàn)[12]提出的多特征融合策略對(duì)這兩種特征進(jìn)行融合。具體做法為,在知道每個(gè)特征的觀測(cè)概率值之后,添加與特征的不確定性成比例的均勻分布,再歸一化,然后相乘以獲得融合后的特征觀測(cè)概率
(19)
其中,zi,i=1,2表示本文的2種特征;βi表示第i種特征所對(duì)應(yīng)的不確定性,U(x)是一個(gè)離散的均勻分布,設(shè)粒子數(shù)為N,那么有U(x)=1/N。
傳統(tǒng)的粒子濾波目標(biāo)跟蹤中,目標(biāo)模板一直不變,這樣在長(zhǎng)時(shí)間跟蹤過程中由于目標(biāo)發(fā)生遮擋從而導(dǎo)致跟蹤失敗。本文通過在短時(shí)間內(nèi)計(jì)算目標(biāo)的變形程度來確定目標(biāo)是否被遮擋,從而采用不同的更新策略對(duì)目標(biāo)模板進(jìn)行更新。
設(shè)第n幀與第n-Δn幀目標(biāo)區(qū)域?qū)?yīng)位置像素灰度值的平均絕對(duì)差之和
(20)
其中,m×n表示目標(biāo)區(qū)域的大小,f(x,y)表示第n幀目標(biāo)區(qū)域中(x,y)位置處的像素灰度值,t(x,y)表示第n-Δn幀目標(biāo)區(qū)域中(x,y)位置處的像素灰度值。
按照以下更新策略對(duì)目標(biāo)模板更新,新模板
p′=(1-η)ppre+ηpnew。
(21)
其中,ppre和pnew分別為前一幀的目標(biāo)外觀模板和當(dāng)前幀的目標(biāo)外觀模板,η為學(xué)習(xí)速率。
設(shè)選取的閾值為T,若
(22)
則判斷目標(biāo)發(fā)生遮擋,即停止模板更新。
Δn的選取也十分關(guān)鍵,不宜過大或過小。本文根據(jù)目標(biāo)運(yùn)動(dòng)的速度對(duì)Δn進(jìn)行自適應(yīng)調(diào)整。目標(biāo)速度可以根據(jù)其在視頻流中的軌跡建立方程求得。確定了目標(biāo)速度,如果目標(biāo)被遮擋,變形的速度應(yīng)近似等于目標(biāo)運(yùn)動(dòng)的速度,因此Δn應(yīng)近似等于目標(biāo)運(yùn)動(dòng)的速度。
改進(jìn)算法基于粒子濾波框架實(shí)現(xiàn),具體步驟如下所述。
步驟1初始化。在視頻第一幀中確定目標(biāo)初始位置x1及目標(biāo)區(qū)域大小。
步驟3預(yù)測(cè)。由xt=Axt-1+w,根據(jù)上一幀的狀態(tài)xt-1得到當(dāng)前幀的預(yù)測(cè)狀態(tài)xt,A是狀態(tài)轉(zhuǎn)移系數(shù),w是均值為0的高斯噪聲。
步驟6模板更新。首先按照2.4部分提出的遮擋判定方法判斷目標(biāo)是否發(fā)生遮擋,若是,則停止更新,否則以學(xué)習(xí)速率η為0.1對(duì)目標(biāo)模板進(jìn)行更新。
步驟7重采樣。根據(jù)融合后粒子的權(quán)值分布進(jìn)行重采樣,并轉(zhuǎn)到步驟3。
為了驗(yàn)證本文改進(jìn)算法的性能,利用視頻序列進(jìn)行實(shí)驗(yàn)。算法在惠普Inter(R) Core(TM) i5-3450 CPU @3.10 GHz,4 GB內(nèi)存的臺(tái)式機(jī)上采用MATLAB R2014a編程實(shí)現(xiàn)。實(shí)驗(yàn)中,設(shè)定粒子數(shù)N=100,閾值T為26,學(xué)習(xí)率η為0.1。
為了直觀地說明本文改進(jìn)后融合特征的效果,從TB100[18]中選取了3組具有代表性的視頻序列Walking2、Basketball和Car1,在粒子濾波(PF)框架中將僅使用LBP特征、顏色特征和本文融合特征的跟蹤效果進(jìn)行對(duì)比,不同算法跟蹤結(jié)果對(duì)比,如圖4所示。其中,點(diǎn)線形矩形框表示僅使用LBP特征的跟蹤結(jié)果,虛線形矩形框表示僅使用顏色特征的跟蹤結(jié)果,實(shí)線形矩形框表示使用改進(jìn)融合特征的跟蹤結(jié)果。
在圖4(a)中Walking2視頻序列的前半部分,使用這3種特征的算法都可以有效跟蹤目標(biāo),但是從第246幀開始,點(diǎn)線和虛線形矩形框開始偏離目標(biāo)區(qū)域,到第281幀幾乎完全偏離,此后完全跟丟。而使用改進(jìn)后的融合特征則可以始終對(duì)目標(biāo)進(jìn)行有效跟蹤。
在圖4(b)中的籃球序列受到快速移動(dòng)、相似顏色、嚴(yán)重形變等因素的影響。在視頻序列的前半部分,3種特征均能對(duì)目標(biāo)有效跟蹤,如第2幀和第99幀所示,但從第280幀開始,點(diǎn)線形矩形框出現(xiàn)明顯偏移,到第285幀完全偏離目標(biāo)區(qū)域,之后,完全丟失,而改進(jìn)融合算法始終能有效地跟蹤目標(biāo)。
在圖4(c)中Car1序列的前半部分,所有特征都可以有效地跟蹤目標(biāo),但在跟蹤過程中,由第289幀可以看出,點(diǎn)線和虛線形矩形框明顯偏離目標(biāo)區(qū)域,在后續(xù)幀中完全跟丟。而改進(jìn)后的融合特征算法始終可以有效跟蹤目標(biāo)。
圖4 不同算法的跟蹤結(jié)果對(duì)比
為了說明改進(jìn)算法處理跟蹤過程中遮擋問題的有效性,在TB100中選取Woman視頻序列對(duì)改進(jìn)算法進(jìn)行驗(yàn)證,改進(jìn)算法對(duì)Woman序列的跟蹤結(jié)果,如圖5所示。
圖5 Woman序列的跟蹤結(jié)果
由圖5中可以看出,改進(jìn)算法從目標(biāo)發(fā)生遮擋到再次出現(xiàn)在視場(chǎng)中始終可以有效跟蹤目標(biāo)。
為了定量分析改進(jìn)算法的性能,引入中心位置誤差、距離精度、重疊率和成功率[18],以距離精度和成功率作為評(píng)價(jià)指標(biāo)將本文算法與粒子濾波(particle filter, PF)[9]、顏色跟蹤(color tracking, CT)[4]、核循環(huán)結(jié)構(gòu)(circulant structure kernels, CSK)[5]、多目標(biāo)跟蹤(multi-task tracking, MTT)[6]等跟蹤算法進(jìn)行縱向?qū)Ρ取?/p>
從TB100中選取了11組具有代表性的視頻序列,如表1所示,其中光照變化(illumination variation, IV)、面外旋轉(zhuǎn)(out-of-plane rotation, OPR)、比例變化(scale variation, SV)、遮擋(occlusion, OCC)、變形(deformation, DEF)、運(yùn)動(dòng)模糊(motion blur, MB)、快速運(yùn)動(dòng)(fast motion, FM)、面內(nèi)旋轉(zhuǎn)(in-plane rotation, IPR)、超視距(out of view, OV)、背景噪聲(background clutter, BC)、低分辨率(low resolution, LR)為視頻序列屬性,P表示該序列具有相應(yīng)屬性,“—”表示不具有相應(yīng)屬性。
表1 視頻序列屬性
用本文改進(jìn)算法與PF、CT、CSK、MTT等跟蹤算法進(jìn)行縱向?qū)Ρ?,?duì)這11組視頻序列進(jìn)行實(shí)驗(yàn),得到距離精度和成功率曲線,如圖6和圖7所示。
圖6 距離精度曲線
圖7 成功率曲線
當(dāng)位置誤差閾值為20個(gè)像素、重疊率閾值為0.5時(shí),5種算法得到的距離精度和成功率,如表2所示。
表2 距離精度和成功率
由圖6、圖7可以明顯看出,本文算法得到的曲線優(yōu)于其它對(duì)比算法。從表2可以看出,當(dāng)位置誤差閾值、重疊率閾值分別取為20個(gè)像素和0.5時(shí),改進(jìn)算法得到的距離精度為0.747,比CSK算法高出了0.201,成功率為0.668,也高出了0.151。通過定性和定量分析,不難發(fā)現(xiàn),改進(jìn)算法由于融合了不同的特征,使特征之間取長(zhǎng)補(bǔ)短,有效地提高了復(fù)雜場(chǎng)景中單一特征跟蹤效果差的問題,同時(shí)提出一種模板更新策略,可以對(duì)跟蹤過程中出現(xiàn)的遮擋進(jìn)行有效處理。
針對(duì)于復(fù)雜的多目標(biāo)場(chǎng)景,提出了一種基于改進(jìn)紋理特征和顏色特征的多特征融合目標(biāo)跟蹤算法。通過計(jì)算特征的不確定性,在粒子濾波中實(shí)現(xiàn)這兩種特征的自適應(yīng)融合。通過判斷目標(biāo)是否發(fā)生遮擋,對(duì)于不同情況采用不同的模板更新策略跟蹤目標(biāo)。在TB100中選取不同的視頻序列進(jìn)行了實(shí)驗(yàn),結(jié)果表明,本文的改進(jìn)算法能夠有效跟蹤顏色相近、光照變化、遮擋等復(fù)雜場(chǎng)景中的目標(biāo)。與PF、CT、CSK、MTT等跟蹤算法進(jìn)行對(duì)比,當(dāng)位置誤差閾值、重疊率閾值分別取為20個(gè)像素和0.5時(shí),改進(jìn)算法的精度和成功率均高于其他算法。因此,改進(jìn)算法能夠有效跟蹤顏色相近、光照變化、遮擋等復(fù)雜場(chǎng)景中的目標(biāo)。