結(jié)合稀疏表示的跨攝像頭運(yùn)動(dòng)目標(biāo)跟蹤算法

逯 彥，廖桂生，2，黃慶享

(1.西安科技大學(xué) 能源學(xué)院，陜西 西安 710054；2.西安電子科技大學(xué) 電子工程學(xué)院，陜西 西安 710071)

目標(biāo)跟蹤作為智能視覺(jué)科學(xué)的一個(gè)重要研究課題，廣泛應(yīng)用于視頻監(jiān)控、交通識(shí)別、行為分析等領(lǐng)域。該課題相關(guān)算法日趨成熟[1-3]，其應(yīng)用模式也從單攝像頭拓展到了多個(gè)攝像頭。但在該模式下，仍存在諸多難點(diǎn)?？鐢z像頭下的運(yùn)動(dòng)目標(biāo)跟蹤主要分為兩類：一類存在重疊區(qū)域，根據(jù)攝像頭間的空間幾何關(guān)系以及坐標(biāo)位置完成信息銜接，但是對(duì)攝像頭安裝方位有一定要求；另一類基于非重疊區(qū)域，該類方法在結(jié)合目標(biāo)空間關(guān)聯(lián)信息的基礎(chǔ)上，通過(guò)特征匹配實(shí)現(xiàn)目標(biāo)跟蹤[4-5]。此類跟蹤的難點(diǎn)在于，當(dāng)目標(biāo)所處不同場(chǎng)景時(shí)，由于光照影響不同，導(dǎo)致亮度不均勻，從而降低了特征對(duì)目標(biāo)的描述能力。如何構(gòu)造穩(wěn)定魯棒的特征模型是亟需解決的問(wèn)題。文獻(xiàn)[6]通過(guò)提取目標(biāo)的顏色特征使其在單攝像頭時(shí)獲得了較好的跟蹤效果，但應(yīng)用于多攝像頭時(shí)，無(wú)法穩(wěn)定跟蹤到目標(biāo)。文獻(xiàn)[7]通過(guò)調(diào)整不同視角的顏色特征提高了跟蹤精度，但實(shí)用性較差。不同于跨攝像頭，單攝像頭下改善光照影響的目標(biāo)跟蹤算法發(fā)展迅速。文獻(xiàn)[8]通過(guò)似然估計(jì)判別亮度值大小與方位，以應(yīng)對(duì)光照變化的不同情況，提高了跟蹤準(zhǔn)確率，但算法計(jì)算過(guò)于復(fù)雜。文獻(xiàn)[9]將背景區(qū)域局部化，并賦予不同權(quán)值，通過(guò)構(gòu)造背景加權(quán)直方圖來(lái)描述目標(biāo)，算法在保持運(yùn)算速度的同時(shí)降低了光照變化對(duì)跟蹤的影響，但背景光照突變時(shí)，跟蹤效果不佳。

近年來(lái)，基于稀疏表示的相關(guān)算法在目標(biāo)跟蹤方向[10-11]取得了顯著進(jìn)步。而重構(gòu)算法作為稀疏表示的重要組成部分，通過(guò)模板矩陣實(shí)現(xiàn)了高維與低維向量的空間映射。其中，貪婪算法因其復(fù)雜度低且具有一定重構(gòu)精度而被廣泛使用。傳統(tǒng)的匹配追蹤算法[12]通過(guò)逐個(gè)原子匹配，完成對(duì)目標(biāo)的重構(gòu)，但計(jì)算量相對(duì)較大。文獻(xiàn)[13]提出的稀疏度自適應(yīng)匹配追蹤(Sparsity Adaptive Matching Pursuit，SAMP)算法，在稀疏度未知的情況下，通過(guò)殘差更新步長(zhǎng)以完成對(duì)信號(hào)的線性逼近，但運(yùn)算速度相對(duì)較慢。文獻(xiàn)[14]提出的改進(jìn)算法通過(guò)預(yù)估稀疏度的方式對(duì)支撐集更新，并引入模糊閾值完成對(duì)原子的二次篩選，通過(guò)基于殘差的相關(guān)系數(shù)，確定最優(yōu)原子集完成高維信號(hào)重構(gòu)。該算法顯著地提高了迭代速度，但重構(gòu)精度一般。

基于以上分析，筆者以稀疏表示為框架，提出一種基于跨攝像頭的光照補(bǔ)償運(yùn)動(dòng)目標(biāo)跟蹤模型。該模型通過(guò)不同場(chǎng)景下的背景亮度比值獲得補(bǔ)償系數(shù)，并對(duì)運(yùn)用三幀差法[15]差分得到的待檢測(cè)目標(biāo)進(jìn)行光照補(bǔ)償，以降低不同場(chǎng)景下光照差異性對(duì)目標(biāo)跟蹤的影響；在求解模型階段，筆者在分析了波達(dá)方向(Direction Of Arrival，DOA)估計(jì)領(lǐng)域中BLOOMP算法[16]的基礎(chǔ)上，利用算法中的帶寬排除方法和局部?jī)?yōu)化方法降低原子間干擾的同時(shí)，采用新的相干性判別機(jī)制，使其在迭代過(guò)程中獲得更為緊湊的相關(guān)帶來(lái)更新支撐集，以改善原子選擇精度；并在更新階段，結(jié)合相關(guān)帶中原子匹配時(shí)的權(quán)重系數(shù)對(duì)模板矩陣進(jìn)行替換，提高了模板對(duì)外界實(shí)時(shí)變化的適應(yīng)能力。仿真實(shí)驗(yàn)表明，相較于主流算法，所提算法有較好的跟蹤精度與魯棒性。

1 模型建立

1.1 光照補(bǔ)償

不同攝像頭下采集的視頻圖像所受亮度不同，受文獻(xiàn)[11]啟發(fā)，同時(shí)考慮到目標(biāo)所受光照影響與其附近背景所受光照影響近似，并且由于局部背景亮度值趨于平穩(wěn)，基于此，所提算法以首個(gè)攝像頭中手動(dòng)框選的感興趣的運(yùn)動(dòng)目標(biāo)為中心，在其附近區(qū)域提取一組背景塊，并以塊為單位計(jì)算背景平均亮度作為參考指標(biāo)，而后以相同的方式得到目標(biāo)出現(xiàn)在第r個(gè)攝像頭時(shí)待測(cè)目標(biāo)區(qū)域內(nèi)的局部背景亮度均值，則第r個(gè)攝像頭與首個(gè)攝像頭中對(duì)應(yīng)的第j個(gè)背景塊亮度均值之比ηrj為

(1)

其中，α1j與βij分別是首個(gè)以及第r個(gè)攝像頭中第j個(gè)背景塊的亮度均值。

1.2 稀疏檢測(cè)模型

筆者將目標(biāo)出現(xiàn)的首個(gè)攝像頭與其余攝像頭做區(qū)分，分3步構(gòu)造基于稀疏表示的跨攝像頭跟蹤模型：

(1) 構(gòu)造過(guò)完備字典：稀疏表示模型[10]以粒子濾波為框架，通過(guò)提取感興趣目標(biāo)特征，構(gòu)造過(guò)完備特征字典A=[a1，a2，…，an]∈Rm×n作為變換域。每列原子由一幅模板生成，其中，aq∈Rm×1，q∈(1，2，…，n)。并且以上一幀確定的目標(biāo)為中心，獲取d個(gè)粒子樣本作為候選目標(biāo)，對(duì)其進(jìn)行矢量化，得到y(tǒng)i∈Rm×1，i∈(1，2，…，d)。yi可通過(guò)變換域得到與其具有空間映射關(guān)系的稀疏系數(shù)向量?；诖?，候選目標(biāo)可通過(guò)字典中少量原子的線性組合進(jìn)行重構(gòu)，并表示為

(2)

其中，ξi=[ξi1，ξi2，...ξin]，為與候選目標(biāo)yi對(duì)應(yīng)的系數(shù)向量。由于構(gòu)造的字典是過(guò)完備的(m<

(3)

文中以首個(gè)攝像頭初始幀目標(biāo)為中心，通過(guò)高斯分布獲取n個(gè)模板，進(jìn)行歸一化處理構(gòu)造字典矩陣。

(2) 檢測(cè)模型：當(dāng)目標(biāo)出現(xiàn)在第r個(gè)攝像頭中時(shí)，由于傳統(tǒng)幀差法在時(shí)間間隔過(guò)短，目標(biāo)移動(dòng)過(guò)慢時(shí)，無(wú)法提取整個(gè)目標(biāo)?；诖?，采用三幀差法[15]差分出視頻中的運(yùn)動(dòng)目標(biāo)并對(duì)其進(jìn)行向量化，得到待測(cè)目標(biāo)模板集Z=[z1，z2，…，zp]∈Rm×p，考慮到三幀差法檢測(cè)目標(biāo)易受光照干擾，以及不同視角下光照條件的差異性，構(gòu)造光照補(bǔ)償模型。其中，局部補(bǔ)償系數(shù)向量ηr=[ηr1，…，ηr1，…，ηrj，…，ηrj，…，ηrl，…，ηrl]∈Rm×1由式(1)獲取，ηrj為局部背景亮度比值，基于上述分析，在稀疏表示框架下，通過(guò)系數(shù)向量ηr與待測(cè)目標(biāo)zi哈達(dá)瑪積[11]進(jìn)行光照補(bǔ)償，考慮到在跟蹤過(guò)程中存在噪聲干擾，因此，模型描述與稀疏系數(shù)項(xiàng)條件分別為

(4)

(5)

其中，ε為誤差項(xiàng)，°表示哈達(dá)瑪積。由于式(5)是一個(gè)NP-hard問(wèn)題，通過(guò)σ限定可轉(zhuǎn)換為

(6)

并通過(guò)式(7)計(jì)算在固定條件下最小誤差，其中k為稀疏度。

(7)

(8)

其中，Q為隨機(jī)降維矩陣。

2 模型求解

2.1 構(gòu)造相關(guān)帶

通過(guò)式(9)和式(10)計(jì)算原子的歐氏距離和相干性[16]，分別為

(9)

ω(i，j)=‖di-dj‖2，

(10)

基于此，通過(guò)式(11)和式(12)構(gòu)造以符合要求的列數(shù)j為參數(shù)的一階相關(guān)帶[16]，分別為

(11)

(12)

根據(jù)式(13)和式(14)構(gòu)造以上式中一階相關(guān)帶為參數(shù)的二階相關(guān)帶[16]，分別為

(13)

(14)

2.2 目標(biāo)重構(gòu)

算法通過(guò)第n-1步所選原子構(gòu)造相關(guān)帶。在第n步時(shí)，為了消除原子相干性的影響，利用帶排除技術(shù)[16]，避免所選原子來(lái)自第n-1步的相關(guān)帶中，且通過(guò)局部?jī)?yōu)化(LO)算法[16]減小殘差，獲得更好的重構(gòu)效果，同時(shí)篩選出符合條件的原子。改進(jìn)后的BLOOMP算法流程如下：

輸入：測(cè)試圖像zi，稀疏度k，觀測(cè)矩陣D′，迭代次數(shù)n=1，2，…，k。

迭代次數(shù)：n=1，2，…，k。

(2) 通過(guò)LO算法進(jìn)行局部?jī)?yōu)化：

此時(shí)選取殘差值最小的作為匹配結(jié)果，并將該匹配結(jié)果作為當(dāng)前攝像頭下后續(xù)視頻幀的初始目標(biāo)。利用構(gòu)造好的字典模板對(duì)視頻中剩余幀的候選目標(biāo)進(jìn)行稀疏表示，并采用上述重構(gòu)方法判斷候選目標(biāo)重構(gòu)殘差大小來(lái)確定匹配結(jié)果，完成稀疏表示下的目標(biāo)跟蹤。

2.3 字典更新

(15)

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)平臺(tái)：Matlab2012b；計(jì)算機(jī)環(huán)境：CPU為Intel Core i7，內(nèi)存為8 GB。為了驗(yàn)證文中算法的有效性，分別在室內(nèi)和室外不同場(chǎng)景下對(duì)算法進(jìn)行測(cè)試，提取100個(gè)目標(biāo)模板，構(gòu)造過(guò)完備字典，粒子濾波中的粒子數(shù)設(shè)置為500，BLOOMP算法為默認(rèn)參數(shù)設(shè)置。

3.1 實(shí)驗(yàn)定性分析

實(shí)驗(yàn)1：實(shí)驗(yàn)針對(duì)室外環(huán)境中存在非重疊區(qū)域的跨攝像頭進(jìn)行算法性能測(cè)試，并且不同場(chǎng)景下具有不同的光照及陰影條件，該視頻分為3個(gè)部分，每部分都存在多個(gè)運(yùn)動(dòng)目標(biāo)。圖1為在第1個(gè)攝像頭采集的視頻中，手動(dòng)框選的運(yùn)動(dòng)目標(biāo)及生成的目標(biāo)模板。

圖1 獲取目標(biāo)模板

在第2個(gè)攝像頭采集的測(cè)試視頻中，對(duì)視頻的前幾幀圖像采用三幀間差分法可縮小候選目標(biāo)范圍，降低候選目標(biāo)集的重構(gòu)次數(shù)，改善檢測(cè)性能，之后通過(guò)殘差值對(duì)候選目標(biāo)集進(jìn)行判斷，以確定視頻中的運(yùn)動(dòng)目標(biāo)。檢測(cè)的結(jié)果如圖2所示。該段視頻部分跟蹤結(jié)果如圖3所示。圖中圓點(diǎn)線框?yàn)槲闹兴惴ǜ櫧Y(jié)果，虛線框?yàn)镺MP算法[12]跟蹤結(jié)果，實(shí)線框?yàn)镮VT算法[18]跟蹤結(jié)果。

圖2 第2個(gè)攝像頭運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果

圖3 第2個(gè)攝像頭部分跟蹤結(jié)果

在第3個(gè)攝像頭下采集的視頻中，采用相同方法，利用三幀差法得到運(yùn)動(dòng)目標(biāo)。第3段視頻檢測(cè)的結(jié)果如圖4所示。該段視頻部分跟蹤結(jié)果如圖5所示。與上述結(jié)果一樣，黑色圓點(diǎn)線框?yàn)槲闹兴惴ǜ櫧Y(jié)果，黑色虛線框?yàn)镺MP算法跟蹤結(jié)果，黑色實(shí)線框?yàn)镮VT算法跟蹤結(jié)果。

圖4 第3個(gè)攝像頭幀差法的檢測(cè)結(jié)果

圖3中第2個(gè)攝像頭采集的視頻中的跟蹤結(jié)果表明，當(dāng)存在陰影區(qū)域時(shí)，文中算法克服了外部條件的干擾，并且在跟蹤過(guò)程中具有較好的跟蹤性能，而IVT算法產(chǎn)生了跟蹤漂移，OMP算法則直接丟失了跟蹤目標(biāo)；圖5中，目標(biāo)出現(xiàn)在第3個(gè)攝像頭下時(shí)，雖未發(fā)生遮擋的情況，但由于光照條件發(fā)生了變換，導(dǎo)致這兩種算法產(chǎn)生跟蹤漂移，而文中算法針對(duì)不同攝像頭下的背景環(huán)境差異性，加入背景亮度補(bǔ)償，有效增強(qiáng)了跟蹤模型對(duì)遮擋及光照變換的抗干擾能力，使跟蹤過(guò)程保持了較好的穩(wěn)定性。

圖5 第3個(gè)攝像頭部分跟蹤結(jié)果

實(shí)驗(yàn)2：該組實(shí)驗(yàn)在室內(nèi)場(chǎng)景的不同視角下進(jìn)行，通過(guò)第1個(gè)攝像頭提取目標(biāo)特征構(gòu)造字典，在另一攝像頭采集的視頻中對(duì)目標(biāo)進(jìn)行跟蹤。如圖6(a)所示，是在第1個(gè)攝像頭采集的視頻中手動(dòng)框選的運(yùn)動(dòng)目標(biāo)，圖6(b)是通過(guò)該運(yùn)動(dòng)目標(biāo)得到的一系列目標(biāo)模板。參數(shù)設(shè)置與實(shí)驗(yàn)1相同。

圖6 獲取目標(biāo)模板

在本實(shí)驗(yàn)的第2個(gè)攝像頭采集的視頻中，對(duì)視頻的前幾幀圖像進(jìn)行三幀間差分法，從而檢測(cè)出視頻中的運(yùn)動(dòng)目標(biāo)，對(duì)應(yīng)的檢測(cè)結(jié)果如圖7所示。該段視頻部分跟蹤結(jié)果如圖8所示。圓點(diǎn)線框?yàn)槲闹兴惴ǜ櫧Y(jié)果，虛線框?yàn)镺MP算法跟蹤結(jié)果，實(shí)線框?yàn)镮VT算法跟蹤結(jié)果。

圖7 第2個(gè)攝像頭幀差法檢測(cè)結(jié)果

圖8 實(shí)驗(yàn)2部分跟蹤結(jié)果

在該實(shí)驗(yàn)中，由于光照條件相對(duì)平穩(wěn)，OMP及IVT算法在跟蹤過(guò)程未丟失運(yùn)動(dòng)目標(biāo)，但是存在不同程度的跟蹤漂移，而文中算法以稀疏表示理論為基礎(chǔ)，利用字典內(nèi)原子間的關(guān)聯(lián)性，通過(guò)少量稀疏向量構(gòu)造空間映射關(guān)系以表征候選目標(biāo)集，保證了每個(gè)攝像頭下檢測(cè)到的初始目標(biāo)及后續(xù)跟蹤目標(biāo)具有較高的可信度。實(shí)驗(yàn)結(jié)果表明，所提算法的目標(biāo)重構(gòu)精度以及跟蹤準(zhǔn)確度更高。

另外，需要指出的是，文中算法通過(guò)降維處理在一定程度上降低了運(yùn)算復(fù)雜度，但在模型的求解階段，由于需進(jìn)行多次優(yōu)化迭代以保證重構(gòu)精度，而導(dǎo)致計(jì)算量增大；此外，為了提高跟蹤的穩(wěn)定性以及準(zhǔn)確度，算法以優(yōu)先保證候選目標(biāo)集的完整性為前提，增加了采樣粒子數(shù)，而粒子數(shù)的增多也直接影響了跟蹤的實(shí)時(shí)性。

3.2 實(shí)驗(yàn)定量分析

為定量評(píng)估算法性能，分別采用x，y坐標(biāo)誤差以及覆蓋率的最大值、最小值和均值對(duì)跟蹤效果進(jìn)行分析說(shuō)明。每幀跟蹤結(jié)果為RT，每幀的真實(shí)值為RG。式(16)是PASCAL VOC標(biāo)準(zhǔn)下的覆蓋率：

(16)

表1為IVT算法、OMP算法和文中算法跟蹤結(jié)果的中心坐標(biāo)與真實(shí)值中心坐標(biāo)間的誤差最大值、最小值和平均值。實(shí)驗(yàn)1-1與實(shí)驗(yàn)1-2分別表示實(shí)驗(yàn)1中第2和第3個(gè)攝像頭下采集的測(cè)試視頻跟蹤數(shù)據(jù)。

表1 各個(gè)算法X、Y坐標(biāo)最小、最大和平均值

表2為IVT算法、OMP算法和文中算法的跟蹤結(jié)果與真實(shí)結(jié)果進(jìn)行比較后的覆蓋率的最大值、最小值以及平均值。

表2 各個(gè)算法覆蓋率的最小值、最大值和平均值

從表2中可以看出，文中算法在目標(biāo)跟蹤過(guò)程中具有較高的準(zhǔn)確度，而IVT算法與OMP算法在部分幀中出現(xiàn)了覆蓋率為0或近乎為0的情況，并且平均覆蓋率也相對(duì)較低。在實(shí)驗(yàn)1的第2段視頻中，文中算法在中心坐標(biāo)的x和y方向上的平均誤差在4個(gè)像素左右，而IVT與OMP算法在該段視頻下的跟蹤結(jié)果不理想，平均誤差較大；在第3段視頻中，文中算法中心坐標(biāo)在x和y方向上的平均誤差在個(gè)位數(shù)，相對(duì)于IVT與OMP算法，具有較高準(zhǔn)確度。在實(shí)驗(yàn)2中，文中算法雖然在個(gè)別幀上的跟蹤出現(xiàn)了一定的誤差，但總體而言跟蹤精度相對(duì)比較穩(wěn)定，而IVT與OMP算法，在實(shí)驗(yàn)2的視頻中跟蹤精度不高。因此，無(wú)論是在室內(nèi)還是室外環(huán)境，文中算法均能穩(wěn)定地跟蹤到運(yùn)動(dòng)目標(biāo)，并且具有較高的準(zhǔn)確性與魯棒性。

4 結(jié)束語(yǔ)

針對(duì)跨攝像頭下不同視頻中亮度存在差異性，從而影響特征匹配準(zhǔn)確度，導(dǎo)致跟蹤誤差較大的問(wèn)題，文中根據(jù)不同攝像頭下的背景亮度差異性對(duì)待測(cè)目標(biāo)進(jìn)行光照補(bǔ)償。并在目標(biāo)重構(gòu)階段，引入改進(jìn)后的BLOOMP算法求解稀疏系數(shù)，通過(guò)構(gòu)造更為緊湊的相關(guān)帶來(lái)減少重構(gòu)誤差；并在相關(guān)帶基礎(chǔ)上，結(jié)合原子權(quán)重系數(shù)對(duì)模板矩陣及時(shí)更新，以提高跟蹤精度。實(shí)驗(yàn)結(jié)果表明，與主流算法相比，所提算法具有更高的準(zhǔn)確性和魯棒性。