結合GLCM與三階張量建模的在線目標跟蹤

金廣智 石林鎖 崔智高 劉 浩 牟偉杰

?

結合GLCM與三階張量建模的在線目標跟蹤

金廣智 石林鎖 崔智高*劉 浩 牟偉杰

(第二炮兵工程大學502教研室 西安 710025)

為提高目標跟蹤算法對多種目標表觀變化場景的自適應能力和跟蹤精度，論文提出一種結合灰度共生(GLCM)與三階張量建模的目標優(yōu)化跟蹤算法。該算法首先提取目標區(qū)域的灰度信息，通過GLCM的高區(qū)分度特征對目標進行二元超分描述，并結合三階張量理論融合目標區(qū)域的多視圖信息，建立起目標的三階張量表觀模型。然后利用線性空間理論對表觀模型進行雙線性展開，通過在線模型特征值描述與雙線性空間的增量特征更新，明顯降低模型更新時的運算量。跟蹤環(huán)節(jié)，建立二級聯(lián)合跟蹤機制，結合當前時刻信息通過在線權重估計構建動態(tài)觀測模型，以真實目標視圖為基準建立靜態(tài)觀測模型對跟蹤估計動態(tài)調(diào)整，以避免誤差累積出現(xiàn)跟蹤漂移，最終實現(xiàn)對目標的穩(wěn)定跟蹤。通過與典型算法進行多場景試驗對比，表明該算法能夠有效應對多種復雜場景下的運動目標跟蹤，平均跟蹤誤差均小于9像素。

目標跟蹤；灰度共生；三階張量；線性空間；在線跟蹤

1 引言

目標跟蹤是計算機視覺的重要領域，也是智能視頻監(jiān)控的重要環(huán)節(jié)，具有重要的研究意義和良好應用前景。然而，在實際的動目標跟蹤過程中，隨著時間的推移目標表觀往往會出現(xiàn)遮擋、光照、尺度等各種復雜的變化，對跟蹤算法的穩(wěn)定性和準確性均帶來了極大的挑戰(zhàn)，因此，需要尋求一種跟蹤精度高且適用多場景的目標跟蹤算法[1]。

針對該需求，許多學者開展了深入的研究，提出了一系列的跟蹤算法，其中粒子濾波跟蹤框架由于精度高、不受系統(tǒng)線性和噪聲高斯假設的限制，也受到了越來越多的關注。在該框架下，文獻[2]提出了利用在線觀測數(shù)據(jù)學習自適應子空間外觀模型的方法，較傳統(tǒng)的觀測數(shù)據(jù)學習方法能更好地適應目標表觀的變化。文獻[3]和文獻[4]研究數(shù)據(jù)均值對在線子空間表觀模型的影響，尋找到了在線表觀模型合適的特征值，有效降低了算法在模型更新時的運算量。文獻[5]將高階張量的階數(shù)定義為數(shù)據(jù)模型的索引數(shù)目，每一個索引被看作張量的一個子模式，并將其成功地應用到了計算機視覺領域。文獻[6,7]基于多重線性空間元理論，提出的模型增量更新方式能更真實地反映目標表觀的實時變化，成功應用到了目標跟蹤領域。但是，以上方法使用的是單視圖的目標表觀模型，容易受外界環(huán)境變化的影響，難以應對目標的姿態(tài)、尺度等多種表觀變化場景，且無論模型是否更新都易導致跟蹤漂移。

本文以灰度共生矩陣(Gray-Level Co- occurrence Matrix, GLCM)與三階張量理論為基礎，通過三階張量表觀模型、雙線性空間下的增量學習更新及粒子濾波下的二級聯(lián)合跟蹤來最終鎖定目標位置。該算法可以在保證跟蹤精度的基礎上，有效應對遮擋、光照、尺度變化等多種復雜場景下的動目標跟蹤。

2 基于GLCM的三階張量表觀模型

建立目標表觀模型，主要包括目標線索特征提取、目標表觀模型的構建與目標的模型更新共3部分。與跟蹤領域的其他方法不同，本文利用灰度共生矩陣對目標區(qū)域的代表性特征進行二元超分描述，進一步提高表觀模型的穩(wěn)定性，并結合三階張量的理論優(yōu)勢，集成目標的多視圖信息，同時借助雙線性空間理論，提出建立在線表觀模型的方法，以更好地描述跟蹤過程中表觀的動態(tài)變化。

2.1 二元GLCM特征超分提取

構建目標表觀模型，應選取穩(wěn)定性好、辨識度高的特征，而灰度特征運算方便，在光照無劇烈變化時可以較好地描述目標表觀，但在光照強度發(fā)生較大變化時，其對目標與背景的區(qū)分能力顯著下降。與之相反，紋理特征受光線變化影響較小。GLCM[8]以灰度特征為基礎，反映了圖像灰度關于方向、相鄰間隔、變化幅度等多方面的綜合信息，可通過多種角度來對目標的紋理特征進行描述，同時兼具了灰度特征運算方便的優(yōu)點。

熵ENT表示圖像包含信息量的隨機性度量，代表了紋理的復雜程度，無紋理時，熵為0，滿紋理時，熵值最大；對比度CON表示圖像紋理的清晰程度，代表溝紋的深淺，其值越大紋理越清晰。

(2)對細分后的像素塊分別提取灰度信息，通過運算得到其灰度共生矩陣GLCM，并進行歸一化；

(4)當/5,/5余數(shù)不足5時，即圖像邊緣像素塊，令余數(shù)為，當取值為3到5時，空缺像素用最鄰近像素補齊，當取值為1到2時，舍棄對該像素的超分運算。

2.2 三階張量表觀模型的構建

在對目標進行特征提取后，需通過恰當?shù)姆绞綄δ繕诉M行表示。本文使用三階張量描述跟蹤序列圖像中的目標，張量的前兩個模式是空域模式，本文即指超分矩陣與，在描述獨立線索的同時，也融合了基于該目標線索的空域信息；第3個模式則可索引目標的其他有效信息，進一步拓展該線索的有效信息量，本文通過引入目標有限時刻的連續(xù)觀測數(shù)據(jù)，引入基于該目標線索的多視圖信息，組成表觀模型的第3個模式。

假設共提取種線索對目標進行建模，那么在各幀圖像中相對的第條線索的觀測信息可記為，，另取連續(xù)時間內(nèi)的幀圖像得到第條線索的連續(xù)觀測信息集，表示為三階張量形式，則可得到第條線索的目標三階張量表觀模型，并分別建立關于熵ENT和對比度CON的三階張量表觀模型。以對比度CON為例，如圖1所示。

圖1 三階張量表觀模型

2.3 雙線性空間下的增量特征更新

引入多維線索建立的三階張量表觀模型勢必會帶來運算量的大幅提升，為緩解該不足，利用雙線性空間[12]理論對表觀模型進行展開，并對其進行模型增量特征更新。

(1)雙線性空間展開：實際場景中的目標表觀變化在有限時間內(nèi)可認定其服從線性變化理論，可引入雙線性空間，對目標模型進行展開，這樣便可利用線性空間的正交基對模型進行特征表示。因此，為了便于利用線性空間正交基作為三階張量表觀模型的特征值，應對目標觀測數(shù)據(jù)進行雙重線性空間展開，得到兩個子模式。算法實際操作中，我們結合線性空間理論的特點做了以下改進：

首先，為避免樣本數(shù)據(jù)均值弱化模型的更新，我們利用去均值化后的樣本數(shù)據(jù)，即，對其展開后分別得到兩個子模式，如圖2所示；正交基的表示形式是，為更好地對訓練樣本中的數(shù)據(jù)變化信息進行表示，子模式的正交基可通過對樣本均值進行奇異值遞推分解(RSVD)得到，并取其前個最大值對應的數(shù)值，來表示線性空間元模型的維度，可通過式(3)進行判定。

圖2 觀測數(shù)據(jù)雙重線性空間展開

(2)模型增量特征更新：由于三階張量表觀模型及多線索的引入更加重了該環(huán)節(jié)的運算負擔。另外，跟蹤中亦存在較多影響目標表觀的因素，通過跟蹤過程中不斷獲得的新增數(shù)據(jù)來在線更新目標表觀模型[14]，可以更真實地描述目標表觀變化。因此，專門提出一種基于雙線性空間模型的增量特征更新方法。

該方法以前幀包含目標的連續(xù)序列圖像為基礎，利用后面緊跟的間隔時間內(nèi)連續(xù)的幀新增圖像對目標雙線性空間模型進行增量學習更新。令為時刻第條線索元的雙線性空間元模型的有效數(shù)據(jù)集，為相隔時間后連續(xù)錄入的幀新增目標圖像的數(shù)據(jù)集，則時刻表觀模型的有效數(shù)據(jù)集為。模型更新問題則轉(zhuǎn)化為獲得時刻有效數(shù)據(jù)集對應模型的描述問題，即如何有效求得增量模型的數(shù)據(jù)均值和正交基的問題。流程如下：

(b)引入新增樣本后對模型均值進行更新(為消逝系數(shù))；

(c)為避免直接引入樣本均值對數(shù)據(jù)即時變化信息的影響，先對新增樣本去均值處理：，然后對模型再進行雙線性展開，可得；

(e)通過RSVD方式，得到新模型的正交基。

3 二級聯(lián)合判別跟蹤

除了建立目標表觀模型及更新方式外，還需要對目標的運動狀態(tài)進行跟蹤估計。本文以粒子濾波作為目標跟蹤算法的框架對目標進行跟蹤預測，它主要包括狀態(tài)模型與觀測模型，前者采用常規(guī)的描述形式，但由于后者觀測模型是保證跟蹤效果的關鍵，因此，需對其重點考慮，結合本文目標表觀建模特點對其進行如下改進：(1)以建立的雙線索的三階張量表觀模型為基礎，結合當前時刻信息分別進行在線權重估計，融合二元超分特征線索，進而建立目標自適應觀測模型；(2)以真實目標視圖為基準，建立目標的靜態(tài)觀測模型；(3)通過兩個模型的聯(lián)合匹配，實現(xiàn)對目標的跟蹤。

3.1自適應觀測模型

令共有條獨立線索進行目標表示，可通過如下方式實現(xiàn)多線索的融合，得到觀測模型：

3.2 靜態(tài)觀測模型

以三階張量表觀模型為基礎建立的自適應觀測模型盡管具有巨大優(yōu)勢，但在模型更新過程中難以避免會錄入含有噪聲的觀測數(shù)據(jù)，一旦場景突變，極易導致跟蹤漂移。在基于濾波理論的跟蹤框架下，首幀圖像標定的目標狀態(tài)信息是唯一的目標真實視圖，對其他時刻目標狀態(tài)的預測估計均存在一定的誤差，為進一步提高跟蹤算法的精度，以首幀真實目標視圖為基準，建立靜態(tài)觀測模型。具體步驟如下：

(1)通過人工標定或自動化標定初始化首幀圖像中的目標視圖，并提取特征信息與；

(2)以連續(xù)張目標首幀視圖信息為原型，建立目標首幀視圖的三階張量表觀模型；

(3)以首幀視圖的表觀模型為基礎，建立目標的靜態(tài)觀測模型，方法如3.1節(jié)，線索的初始權重令為1/。

3.3 二級聯(lián)合判別

目標表觀與背景在跟蹤過程中很容易受各種因素的影響，給觀測數(shù)據(jù)帶來誤差干擾，因此，我們通過二級聯(lián)合跟蹤[15]，對目標進行跟蹤預測。第1步：使用帶有自適應觀測模型的粒子濾波跟蹤算法對目標進行跟蹤預測，因為連續(xù)的目標幀視圖代表的表觀變化通常較小，可以通過自適應觀測模型的小幅度調(diào)整來克服；第2步，以靜態(tài)觀測模型為基準，當其與自適應觀測模型特征偏差超過20%時，則立即對觀測模型進行更新，防止長時跟蹤過程中誤差累積出現(xiàn)跟蹤漂移，最終實現(xiàn)對目標的長時魯棒跟蹤。

4 實驗分析

4.1 評價指標與測試視頻

運動目標跟蹤算法評價體系中平均跟蹤誤差(ATE)與幀均處理耗時(FPT)是兩個非常具有代表性的評價指標。平均跟蹤誤差分別由ATE與ATE兩個指標決定；令表示測試視頻的總幀數(shù)，表示跟蹤算法的處理時間。則ATE與FPT計算方式如式(7)和式(8)所示。

測試視頻選取的是目標跟蹤常用數(shù)據(jù)集Tracker Benchmark v1.0中的序列視圖[16]，分別是FaceOcc1, Tiger1, Soccer, Car4。這4組視頻序列所代表的測試場景及視頻數(shù)據(jù)如表1所示。

表1 對比測試視頻

4.2 對比實驗

為了更好地測試本文算法的優(yōu)越性，特選擇以下算法進行對比實驗：多線索融合的目標跟蹤算法(MAPF)，增量對數(shù)線性空間學習的跟蹤算法(IRST)與增量線性空間學習的跟蹤算法(IVT)。3種對比算法均以粒子濾波為跟蹤框架，且對比算法均采用與本文算法相同的狀態(tài)模型。其中，MAPF算法采用灰度和紋理LBP特征雙線索融合來對目標進行建模， IRST算法和IVT算法均是利用在線線性空間學習理論對目標進行表觀建模，區(qū)別之處在于IRST是利用目標區(qū)域的COV特征對目標進行表示，而IVT算法是利用目標區(qū)域整體像素的灰度對目標進行表示。因此，對比算法具有較高相關性，針對性較強。測試視頻選取的是多種目標表觀存在復雜變化的標準視頻序列。

圖3為多種表觀變化場景實驗的對比結果。圖3(a)中，F(xiàn)aceOcc1視頻場景下，IVT算法逐漸跟蹤失敗，說明單純基于灰度的表觀模型難以應對頻繁的局部遮擋；MAPF算法雖然存在誤差偏大的情況，基本還是成功地對目標進行了跟蹤，說明引入紋理LBP特征后，對算法處理此種場景有益；IRST算法取得了與MAPF算法類似的跟蹤結果；而本文算法跟蹤精度明顯高于前兩者，說明本文引入的三階張量表觀模型對處理遮擋場景效果較好。圖3(b)為旋轉(zhuǎn)擾動遮擋場景下的Tiger1視頻。圖3(b1)中，本文算法與對比算法均可以準確地跟蹤到Tiger，圖3(b2)與圖3(b3)Tiger分別發(fā)生旋轉(zhuǎn)與形變，表觀視圖發(fā)生較大變化，MAPF算法逐漸跟丟目標難以適應目標表觀大幅變化場景，IRST算法由于基于對數(shù)線性空間建模，對目標表觀變化更加敏感優(yōu)于IVT算法，而本文算法由于引入目標連續(xù)視圖信息建立更新表觀模型，可以更好地適應目標表觀的大幅度變化，且由于引入了二級聯(lián)合跟蹤機制，也避免了跟蹤漂移的出現(xiàn)。

圖3 多種表觀變化場景實驗對比

4.3 定量評估

為了定量評估上述算法的跟蹤效果，通過平均跟蹤誤差(ATE)與幀均處理耗時(FPT)兩個指標作為評估依據(jù)，如表2所示，可以看出在ATE指標上，本文算法明顯優(yōu)于對比算法，具有較高的跟蹤精度，跟蹤誤差平均保持在小于9像素；在FPT指標上，IVT算法由于僅基于灰度建模，運算量小，實時性優(yōu)于前兩個對比算法；MAPF方法由于采用的是普通的多線索融合方式，運算量較大，實時性明顯低于其他算法；本文算法每幀的處理速度優(yōu)于對比算法，進一步印證了本文的模型及其更新方法對提高跟蹤效率的良好效果。

表2 算法定量對比評估

5 結束語

本文針對視頻跟蹤過程中目標表觀變化的的復雜性，提出了一種基于GLCM與三階張量的目標優(yōu)化跟蹤算法。以灰度共生理論為基礎，利用高辨識度特征對目標區(qū)域分別進行超分提取，從空域和時域角度分別對跟蹤目標進行三階張量表觀建模，保證了目標與背景的區(qū)分度；通過基于雙重線性空間的在線增量學習更新方式對模型進行動態(tài)更新，進一步提高了算法的運算效率；二級聯(lián)合判別跟蹤方式有效避免跟蹤漂移，保證了目標跟蹤的精度。實驗表明，該算法在多種包含劇烈表觀變化的跟蹤環(huán)境中，可取得良好的跟蹤效果。下一步研究考慮結合背景信息進行表觀建模，以提高跟蹤算法應對復雜動態(tài)背景的能力。

[1] YANG H, SHAO L, ZHENG F,. Recent advances and trends in visual tracking: A review[J]., 2011, 74(18): 3823-3831.

[2] HO J, LEE K C, YANG M H,. Visual tracking using learned linear subspaces[C]. IEEE Conference on Computer Vision and Pattern Recognition, Rhode Island, USA, 2012: 782-789.

[3] LEE K C and KRIEGMAN D. Online learning of probabilistic appearance manifolds for video-based recognition and tracking[C]. IEEE Conference on Computer Vision and Pattern Recognition, Portland, USA, 2013: 852-859.

[4] ROSS D, LIM J, LIN R S,. Incremental learning for robust visual tracking[J]., 2013, 77(3): 125-141.

[5] LATHAUWER L, MOOR B, and VANDEWALLE J. On the best rank-1 andapproximation fhigherorder tensors[J]., 2000, 21(4): 1324-1342.

[6] LI X, HU W, ZHANG Z,. Visual tracking via incremental Log-Euclidean Riemannian sub-space learning [C]. IEEE Conference on Computer Vision and Pattern Recognition, Portland, USA, 2013: 578-585.

[7] LI X, HU W, ZHANG Z,. Robust visual tracking based on incremental tensor subspace learning[C]. IEEE International Conference on Computer Vision, Barcelona, Spain, 2012: 1008-1016.

[8] 鐘樺, 楊曉鳴, 焦李成. 基于多分辨率共生矩陣的紋理圖像分類[J]. 計算機研究與發(fā)展, 2014, 48(11): 1991-1999.

ZHONG Ye, YANG Xiaoming, and JIAO Licheng. Texture classification based on multiresolution co-occurrence matrix [J]., 2014, 48(11): 1991-1999.

[9] 薄華, 馬縛龍, 焦李成. 圖像紋理的灰度共生矩陣計算問題的分析[J]. 電子學報, 2006, 34(1): 155-158.

BO Hua, MA Fulong, and JIAO Licheng. Research on computation of GLCM of image texture[J]., 2006, 34(1): 155-158.

[10] CLAUSI D A and DENG H. Design-based texture Feature using Gabor filters and co-occurrence probabilities[J]., 2005, 14(7): 925-936.

[11] 吳光文, 張愛軍, 王昌明. 一種用于壓縮感知理論的投影矩陣優(yōu)化算法[J]. 電子與信息學報，2015, 37(7): 1681-1687. doi: 10.11999/JEIT141450.

WU Guangwen, ZHANG Aijun, and WANG Changming. Novel optimization method for projection matrix in compress sensing theory[J].&, 2015, 37(7): 1681-1687. doi: 10.11999/JEIT 141450.

[12] KHAN Z H and GUI Y H. Online domain-shift learning and object tracking based on nonlinear dynamic models and particle filters on Riemannian manifolds[J]., 2014, 15(6): 97-114.

[13] 齊苑辰, 吳成東, 陳東岳, 等. 基于稀疏表達的超像素跟蹤算法[J]. 電子與信息學報, 2015, 37(3): 529-535. doi: 10.11999/ JEIT140374.

QI Yuanchen, WU Chengdong, CHEN Dongyue,. Superpixel tracking based on sparse representation[J].&, 2015, 37(3): 529-535. doi: 10.11999/JEIT140374.

[14] CHENG X, LI N, ZHOU T,Object tracking via collaborative multi-task learning and appearance model updating[J].g, 2015, 31: 81-90.

[15] ZHONG W, LU H, and YANG M H. Robust object tracking via sparse collaborative appearance model[J]., 2014, 23(5): 2356-2368.

[16] WU Y, LIM J, and YANG M H. Online object tracking: A benchmark[C]. IEEE Conference on Computer Vision and Pattern Recognition, Portland, USA, 2013: 2411-2418.

Online Object Tracking Based on Gray-level Co-occurrence Matrix and Third-order Tensor

JIN Guangzhi SHI Linsuo CUI Zhigao LIU Hao MU Weijie

(502,,,710025,)

In order to improve the stability and accuracy of the object tracking under different conditions, an online object tracking algorithm based on Gray-Level Co-occurrence Matrix (GLCM) and third-order tensor is proposed. First, the algorithm extracts the gray-level information of target area to describe the two high discrimination features of target by GLCM, the dynamic information about target changing is fused by third-order tensor theory, and the third-order tensor appearance model of the object is constructed. Then, it uses bilinear space theory to expand the appearance model, and implements the incremental learning. Updating of model by online model’s characteristic value description, thus computation of the model updating is greatly reduced. Meanwhile, the static observation model and adaptive observation model are constructed, and secondary combined stable tracking of object is achieved by dynamic matching of two observation models. Experimental results indicate that the proposed algorithm can effectively deal with the moving object tracking on a variety of challenging scenes, and the average tracking error is less than 9 pixels.

Object tracking; Gray-Level Co-occurrence Matrix (GLCM); Third-order tensor; Linear space; Online tracking

TP391

A

1009-5896(2016)07-1609-07

10.11999/JEIT151108

2015-09-29；改回日期：2016-03-03；網(wǎng)絡出版：2016-05-05

崔智高 cuizg10@126.com

國家自然科學基金(61501470)

The National Natural Science Foundation of China (61501470)

金廣智： 男，1987年生，博士生，研究方向為機器視覺與模式識別.

石林鎖： 男，1958年生，教授，研究方向為機器視覺、機電設備故障診斷等.

崔智高： 男，1985年生，講師，研究方向為機器視覺、自動控制等.

劉 浩： 男，1985年生，博士生，研究方向為機電設備狀態(tài)診斷與腦電信號分析等.

牟偉杰： 男，1984年生，博士生，研究方向為機電設備故障診斷.