基于灰度共生的多線索目標(biāo)聯(lián)合優(yōu)化跟蹤

金廣智，石林鎖，劉 浩，牟偉杰，崔智高

?

基于灰度共生的多線索目標(biāo)聯(lián)合優(yōu)化跟蹤

金廣智，石林鎖，劉 浩，牟偉杰，崔智高

(第二炮兵工程大學(xué)502教研室 西安 710025)

為了提高跟蹤算法對多種目標(biāo)表觀變化場景的自適應(yīng)能力與跟蹤精度，提出一種基于灰度共生的多線索目標(biāo)聯(lián)合優(yōu)化跟蹤算法。然后。與典型算法進(jìn)行多場景試驗(yàn)對比，表明該算法能有效地應(yīng)對多種復(fù)雜場景下的運(yùn)動目標(biāo)跟蹤。

灰度共生; 線性空間; 多線索; 三階張量

目標(biāo)跟蹤是計(jì)算機(jī)視覺的重要領(lǐng)域，具有重要的研究意義和良好應(yīng)用前景。但在實(shí)際的運(yùn)動目標(biāo)跟蹤過程中，隨著時間的推移目標(biāo)表觀往往會出現(xiàn)遮擋、旋轉(zhuǎn)、尺度等各種復(fù)雜變化，對跟蹤算法的穩(wěn)定性和準(zhǔn)確性均帶來了極大的挑戰(zhàn)，因此需要尋求一種跟蹤精度高且適用多場景的目標(biāo)跟蹤算法[1]。

針對該需求，許多學(xué)者開展了深入的研究，粒子濾波由于跟蹤精度高、不受系統(tǒng)線性與噪聲高斯假設(shè)的限制，受到了越來越多關(guān)注。在該框架下，文獻(xiàn)[2]通過在線數(shù)據(jù)學(xué)習(xí)建立子空間表觀模型，比典型方法更能適應(yīng)目標(biāo)表觀的真實(shí)變化。文獻(xiàn)[3-4]找到了在線表觀模型合適的表示方式，并進(jìn)一步提高了模型更新效率。文獻(xiàn)[5]成功將高階張量理論引入到目標(biāo)跟蹤領(lǐng)域。文獻(xiàn)[6]結(jié)合多重線性空間理論，提出的模型增量更新方式可更好地描述目標(biāo)表觀的動態(tài)變化。以上方法使用的是單視圖的目標(biāo)表觀模型，難以應(yīng)對目標(biāo)姿態(tài)、尺度等多種表觀變化，并容易導(dǎo)致跟蹤漂移。

本文以灰度共生(GLCM)與三階張量理論為基礎(chǔ)，通過三維表觀模型、雙線性空間下的增量學(xué)習(xí)更新及粒子濾波下的二級聯(lián)合跟蹤最終鎖定目標(biāo)。該算法可以在保證跟蹤精度的基礎(chǔ)上有效應(yīng)對遮擋、旋轉(zhuǎn)、尺度變化等多種復(fù)雜場景下的目標(biāo)跟蹤。

1 基于GLCM的三維在線表觀模型

與跟蹤領(lǐng)域的其他方法不同，本文利用灰度共生矩陣對目標(biāo)區(qū)域的高區(qū)分度特征進(jìn)行二元超分描述，進(jìn)一步提高表觀模型的穩(wěn)定性，并結(jié)合三階張量的理論優(yōu)勢，集成目標(biāo)的多視圖信息，同時借助雙線性空間理論，提出在線增量學(xué)習(xí)的模型更新方法，以更好地描述跟蹤過程中表觀的動態(tài)變化。

1.1 二元GLCM特征超分提取

構(gòu)建表觀模型，應(yīng)選取穩(wěn)定性好、辨識度高的特征，灰度特征運(yùn)算方便且可較好地描述目標(biāo)表觀，但在光照變化時對目標(biāo)與背景的區(qū)分度明顯下降。但紋理特征受光線變化影響較小，且GLCM可通過多種角度對目標(biāo)的紋理特征進(jìn)行描述，分別從方向、相鄰間隔、變化幅度等多方面對目標(biāo)進(jìn)行描述，同時兼具了灰度特征運(yùn)算方便的優(yōu)點(diǎn)。

式中，ENT為圖像信息量的隨機(jī)性度量，代表紋理的復(fù)雜程度；CON為圖像紋理的清晰程度，其值越大紋理越清晰。本文通過超分窗口，將目標(biāo)超分為若干像素塊，并通過ENT和CON特征進(jìn)行描述，得到超分特征矩陣與。步驟如下：

2) 對細(xì)分后的像素塊分別提取灰度信息，通過運(yùn)算得到其灰度共生矩陣GLCM，并進(jìn)行歸一化；

4) 當(dāng)/5，/5余數(shù)不足5時，即圖像邊緣像素塊，令余數(shù)為，采取如下策略：

1.2 三維表觀模型的建立

為了更多地挖掘目標(biāo)表觀的有效線索信息，利用三階張量來對跟蹤序列圖像中的目標(biāo)進(jìn)行表述，該模式的優(yōu)勢是既能保留目標(biāo)區(qū)域的幾何空域信息，并易集成目標(biāo)區(qū)域的其他線索。因此三維表觀模型可由特征矩陣與時域多視圖信息建立。目標(biāo)區(qū)域的特征信息由超分特征矩陣表示，組成模型的前兩個數(shù)據(jù)模式；結(jié)合三個線索，時域視圖模式。

令共選取種線索特征對目標(biāo)進(jìn)行建模，并將相應(yīng)第條線索的幀視圖數(shù)據(jù)記為，取連續(xù)幀圖像獲得連續(xù)視圖觀測數(shù)據(jù)，可表示為三階張量形式，，即可相應(yīng)建立起三維在線表觀模型，關(guān)于熵ENT和對比度CON的三維表觀模型示意如圖1所示。

1.3 雙線性空間下的增量學(xué)習(xí)更新

引入多維線索建立的三維表觀模型會帶來運(yùn)算量的大幅提升，為緩解該不足，利用雙線性空間[9]理論展開表觀模型，并對其進(jìn)行增量更新。

1) 雙線性空間展開。實(shí)際場景中的目標(biāo)表觀變化在有限時間內(nèi)可認(rèn)定其服從線性變化理論，可引入雙線性空間對目標(biāo)模型進(jìn)行展開，其示意圖如圖2所示，可利用線性空間的正交基對模型進(jìn)行特征表示。同時對線性空間展開進(jìn)行如下改進(jìn)：首先通過對樣本觀測數(shù)據(jù)去均值化，能凸顯樣本觀測數(shù)據(jù)的變化，即，然后對其進(jìn)行模型數(shù)據(jù)展開，得到兩個模式，。正交基的表示形式為，為便于對訓(xùn)練樣本中的數(shù)據(jù)變化信息進(jìn)行表示，可以對樣本均值的奇異值遞推分解(RSVD)[4]獲知其子模式的正交基，通過其前個最大值對應(yīng)的數(shù)據(jù)集對正交基進(jìn)行描述。其中，的個數(shù)代表線性空間模型的維度數(shù)，其取值利用式(3)判定：

2) 增量學(xué)習(xí)更新。常規(guī)模型更新需要保留較多的目標(biāo)觀測數(shù)據(jù)，且由于多維線索表觀模型的引入按常規(guī)更新方式運(yùn)算量明顯加大，但可結(jié)合跟蹤過程中的新增觀測信息來更新目標(biāo)表觀模型[10]優(yōu)化模型的表示，故特別提出結(jié)合雙線性空間的學(xué)習(xí)更新方法。它以連續(xù)幀包含跟蹤目標(biāo)的視圖為基礎(chǔ)，通過緊跟時間內(nèi)新增的幀視圖信息對模型進(jìn)行學(xué)習(xí)更新。令為時刻基于第條線索下的雙線性空間模型的有效觀測數(shù)據(jù)，為間隔后新錄入的幀視圖觀測信息，則時刻模型可表示為，該環(huán)節(jié)問題則轉(zhuǎn)化為對時刻模型進(jìn)行表示的問題，即增量模型的數(shù)據(jù)均值和正交基的求解問題。實(shí)施方式如下：

② 引入新增樣本后對模型均值進(jìn)行更新(為消逝系數(shù))，;

③ 為避免直接引入樣本均值對數(shù)據(jù)即時變化信息的影響，先對新增樣本去均值處理：，然后對模型再進(jìn)行雙線性展開，可得；

⑤ 結(jié)合RSVD[4]方法，可得到新模型的正交基。

2 二級聯(lián)合跟蹤

粒子濾波作為算法的跟蹤框架，主要包括動態(tài)模型與觀測模型，觀測模型是保證跟蹤效果的關(guān)鍵，需重點(diǎn)改進(jìn)：1) 以建立的三維表觀模型為基礎(chǔ)，結(jié)合當(dāng)前時刻信息分別進(jìn)行在線權(quán)重估計(jì)，進(jìn)而建立自適應(yīng)觀測模型，因連續(xù)的目標(biāo)幀視圖代表的表觀變化通常較小，可通過自適應(yīng)觀測模型的自身調(diào)整克服；2) 以真實(shí)目標(biāo)視圖為基準(zhǔn)，建立目標(biāo)的靜態(tài)觀測模型，防止長時跟蹤過程中誤差累積出現(xiàn)跟蹤漂移；3) 通過兩個模型的聯(lián)合匹配，實(shí)現(xiàn)對目標(biāo)的穩(wěn)定跟蹤。

2.1 自適應(yīng)觀測模型

假定有條線索對目標(biāo)模型進(jìn)行描述，利用式(5)能得到目標(biāo)的觀測模型并實(shí)現(xiàn)線索的融合[11]：

2.2 靜態(tài)觀測模型

模型更新過程中會出現(xiàn)場景突變，容易導(dǎo)致跟蹤漂移。在濾波理論跟蹤下首幀視圖是唯一的目標(biāo)真實(shí)信息，對其他時刻狀態(tài)的預(yù)測均存在一定的誤差，以首幀真實(shí)目標(biāo)視圖為基準(zhǔn)，建立靜態(tài)觀測模型。具體步驟：1) 標(biāo)定初始化首幀圖像中的目標(biāo)視圖，提取特征信息與；2) 以連續(xù)張目標(biāo)首幀視圖信息為原型，建立目標(biāo)首幀視圖的三維表觀模型；3) 以首幀視圖的表觀模型為基礎(chǔ)，建立目標(biāo)的靜態(tài)觀測模型。

3 實(shí)驗(yàn)分析

3.1 評價(jià)指標(biāo)與測試視頻

運(yùn)動目標(biāo)跟蹤算法評價(jià)體系中平均跟蹤誤差(ATE)與跟蹤框重合率(AOR)是非常具有代表性的評價(jià)指標(biāo)。平均跟蹤誤差由與兩個指標(biāo)決定；以表示跟蹤算法的跟蹤框，以表示測試視頻的真實(shí)邊界框，則計(jì)算方式如下：

測試視頻選取的是目標(biāo)跟蹤數(shù)據(jù)集Tracker BBenchmark v1.0中的序列視圖[10]，如表1所示。

表1 對比測試視頻

3.2 實(shí)驗(yàn)與分析

為了有針對性地對本文算法進(jìn)行測試，選取如下算法對照實(shí)驗(yàn)：多線索融合的目標(biāo)跟蹤算法(MAPF)，增量對數(shù)線性空間學(xué)習(xí)的跟蹤算法(IRST)與增量線性空間學(xué)習(xí)的跟蹤算法(IVT)。對比算法均以粒子濾波為跟蹤框架，且均采用相同的目標(biāo)運(yùn)動模型。

圖3a中CarScale場景下，小車快速運(yùn)動，存在明顯的尺度變化與樹木的遮擋，僅本文算法做到了該視頻場景下的尺度自適應(yīng)跟蹤，其他跟蹤算法偏差較大，驗(yàn)證了本文基于三維表觀模型的多線索目標(biāo)聯(lián)合優(yōu)化跟蹤算法處理復(fù)雜場景的魯棒性。圖3b為旋轉(zhuǎn)擾動遮擋場景下的Tiger1視頻。圖3bi幀中，算法均可以準(zhǔn)確的跟蹤，圖3bii與圖3biii目標(biāo)發(fā)生旋轉(zhuǎn)與形變，表觀發(fā)生較大變化，MAPF算法逐漸跟丟目標(biāo)難以適應(yīng)該場景，IRST算法由于基于對數(shù)線性空間建模，對目標(biāo)表觀變化更加敏感優(yōu)于IVT算法，而本文算法由于引入目標(biāo)連續(xù)視圖建立表觀模型，能較好適應(yīng)目標(biāo)表觀的大幅變化，且由于引入了二級聯(lián)合跟蹤機(jī)制，避免了跟蹤漂移的出現(xiàn)。

圖3c的Soccer視頻為由于相機(jī)運(yùn)動與背景大幅突變造成運(yùn)動模糊的場景。與圖3b類似，初始階段，幾種算法均可較準(zhǔn)確的捕捉到目標(biāo)，區(qū)別較小，但隨著慶祝場面升級，相機(jī)需要快速運(yùn)動以捕捉Soccer造成視圖嚴(yán)重模糊，由圖3cii與圖3ciii可見，3種對比算法由于視圖嚴(yán)重模糊無法跟蹤目標(biāo)，均出現(xiàn)了跟蹤漂移現(xiàn)象，只有本文算法均成功捕捉到了跟蹤目標(biāo)。圖3d的Car4場景下，目標(biāo)表觀存在明顯的光線突變。MAPF算法因?yàn)榻Y(jié)合LBP線索，跟蹤精度顯著優(yōu)于IVT算法；IVT算法在光線突變后，目標(biāo)被跟丟，表明僅利用灰度建模穩(wěn)定性欠佳；IRST算法在小車剛進(jìn)入橋下時，存在漂移現(xiàn)象，但在表觀穩(wěn)定后又找回了目標(biāo)，表明僅利用COV建模對場景突變魯棒性較差；但本文方法由于采用的線索間可相互動態(tài)補(bǔ)充，能有效應(yīng)對該跟蹤場景。

i. 118幀 ii. 171幀 iii. 214幀

a. CarScale

i. 9幀 ii. 120幀 iii. 164幀

b. Tiger1

i. 8幀 ii. 80幀 iii. 213幀

c. Soccer

i. 42幀 ii. 188幀 iii. 234幀

d. Car4

圖3 多種表觀變化場景實(shí)驗(yàn)對比

為了定量驗(yàn)證算法的跟蹤效果，通過ATE與AOR兩個指標(biāo)作為評估依據(jù)，可看出本文算法相比對照算法有了較大進(jìn)步，具有較高的跟蹤精度，跟蹤誤差平均保持小于9像素；表2所示數(shù)據(jù)表明，本文算法亦可較好地適應(yīng)目標(biāo)的尺度變化，進(jìn)一步驗(yàn)證了本文的模型及其更新方法對提高跟蹤效率的良好效果；同時算法對視頻的處理速度也相應(yīng)提高，有效保證了跟蹤的實(shí)時性。

表2 算法定量對比評估

4 結(jié) 論

本文針對視頻跟蹤過程中目標(biāo)表觀存在的復(fù)雜變化，提出了一種基于灰度共生的多線索目標(biāo)聯(lián)合優(yōu)化跟蹤算法。以灰度共生理論為基礎(chǔ)，利用高辨識度特征對目標(biāo)區(qū)域分別進(jìn)行超分提取，從空域和時域角度分別對跟蹤目標(biāo)進(jìn)行三維表觀建模；通過雙線性空間的在線增量學(xué)習(xí)更新方式對模型進(jìn)行動態(tài)更新，提高了算法的運(yùn)算效率；同時二級聯(lián)合跟蹤能有效避免跟蹤漂移，保證跟蹤的精度。實(shí)驗(yàn)表明，該算法在多種包含劇烈表觀變化的跟蹤環(huán)境中可取得良好的跟蹤效果。

[1] YANG H, SHAO L, ZHENG F, et al. Recent advances and trends in visual tracking: A review[J]. Neurocomputing, 2011, 74(18): 3823-3831.

[2] HO J, LEE K C, YANG M H, et al. Visual tracking using learned linear subspaces[C]//Proceedingsof IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2012.

[3] LEE K C, KRIEGMAN D. Online learning of probabilistic appearance manifolds for video-based recognition and tracking[C]//IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2013.

[4] ROSS D, LIM J, LIN R S, et al. Incremental learning for robust visual tracking[J]. International Journal of Computer Vision, 2013, 77(1-3): 125-141.

[5] LATHAUWER L, MOOR B, VANDEWALLE J. On the best rank-1 and rank-(R1, R2,, Rn) approximation fhigherorder tensors[J]. SIAM Journal of Matrix Analysis and Applications, 2000, 21(4): 1324-1342.

[6] LI X, HU W, ZHANG Z, et al. Visual tracking via incremental Log-Euclidean Riemannian sub-space learning [C]//IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: IEEE, 2013.

[7] LI X, HU W, ZHANG Z, et al. Robust visual tracking based on incremental tensor subspace learning[C]//International Conference on Computer Vision. [S.l.]: [s.n.], 2012.

[8] 薄華, 馬縛龍, 焦李成. 圖像紋理的灰度共生矩陣計(jì)算問題的分析[J]. 電子學(xué)報(bào), 2014, 34(1): 155-158.

BO Hua, MA Fu-long, JIAO Li-cheng. Research on computation of GLCM of image texture[J]. Acta Electronica Sinica, 2014, 34(1): 155-158.

[9] CLAUSI D A, HUANG D. Design-based texture feature fusion using Gabor filters and co-occurrence probabilities[J]. IEEE Trans on Image Processing, 2013, 14(7): 925-936.

[10] WU Y, LIM J, YANG M H. Object tracking benchmark[J]. Pattern Analysis and Machine Intelligence, 2015, 37(9): 1834-1848.

[11] KHAN Z H, GU I Y H. Online domain-shift learning and object tracking based on nonlinear dynamic models and particle filters on Riemannian manifolds[J]. Computer Vision and Image Understanding, 2014, 125: 97-114.

[12] CHENG X, LI N, ZHOU T, et al. Object tracking via collaborative multi-task learning and appearance model updating[J]. Applied Soft Computing, 2015, 31: 81-90.

編 輯 稅 紅

Object Joint Optimization Tracking Based on Gray-Level Co-Occurrence and Multi-Clues

JIN Guang-zhi, SHI Lin-suo, LIU Hao, MU Wei-jie, and CUI Zhi-gao

(502 Faculty, The Second Artillery Engineering University Xi’an 710025)

In order to improve the stability of the object tracking under different conditions, an object tracking algorithm is proposed. First,appearance model of the object is constructed. Then, bilinear space theory is used to expand the appearance model, implement the incremental learning of model updating, and reduce the computation of the model updating. The secondary combined stable tracking of object is achieved by dynamic matching of two observation models. Experimental results indicate that the proposed algorithm can effectively deal with the moving object tracking on a variety of challenging scenes.

gray-level co-occurrence; linear space; multi-clues; third-order tensor

TP391

A

10.3969/j.issn.1001-0548.2016.03.016

2015 - 08 - 17；

2016 - 01 - 12

國家自然科學(xué)基金(61501470)

金廣智(1987 - )，男，博士生，主要從事模式識別、計(jì)算機(jī)視覺方面的研究.