基于子空間的目標(biāo)跟蹤算法研究

李靜宇，王延杰

(中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033)

1 引 言

目標(biāo)跟蹤算法本質(zhì)上是將非平穩(wěn)的、隨時(shí)間變化的目標(biāo)和背景圖像流進(jìn)行處理，提取出感興趣的目標(biāo)在圖像中的位置和速度等信息。末制導(dǎo)跟蹤階段，導(dǎo)彈的飛行姿態(tài)，彈體與目標(biāo)的距離以及目標(biāo)自身的運(yùn)動姿態(tài)和形態(tài)均會發(fā)生較大的變化，從而導(dǎo)致拍攝到的目標(biāo)發(fā)生旋轉(zhuǎn)、縮放、甚至變形，極大地增加了對目標(biāo)進(jìn)行持續(xù)穩(wěn)定跟蹤的難度[1-3]。大多數(shù)現(xiàn)有的算法盡管能夠在受控的環(huán)境中或者較短的時(shí)間周期內(nèi)跟蹤目標(biāo)，但是當(dāng)目標(biāo)發(fā)生形態(tài)變化或者周圍光照發(fā)生改變時(shí)，通常跟蹤失敗[4-6]。原因是這類算法通常采用固定的外觀模型表達(dá)目標(biāo)，這種模型外觀在跟蹤初始階段一旦建立就不再改變，因而忽略了大量的跟蹤過程中的信息(如形狀的變化或特定的照明條件)。

為了改善對目標(biāo)外觀模型變化的適應(yīng)性，Ross[7]等提出了一種可以在線更新的子空間作為目標(biāo)的外觀表達(dá)模型，取得了很好的效果。本章借鑒其思想，提出一種新的基于粒子濾波的子空間跟蹤算法，在跟蹤過程中有效地學(xué)習(xí)和更新用來表示目標(biāo)對象的低維子空間。具有以下優(yōu)點(diǎn)：用一組正交的稀疏子空間特征向量表示目標(biāo)模型，而不是用單個(gè)模板，提供了一個(gè)緊湊和便于區(qū)分的目標(biāo)表達(dá)方式，降低了圖像數(shù)據(jù)的維度；采用增量方法不斷更新子空間模型，以適應(yīng)由于目標(biāo)內(nèi)在和外在因素所造成的在外觀上的變化，從而提高跟蹤精度；采用八參數(shù)的動態(tài)模型估計(jì)目標(biāo)的運(yùn)動狀態(tài)，更接近真實(shí)情況；增量更新的子空間，采用在線學(xué)習(xí)的方式創(chuàng)建目標(biāo)模型，不需要事先準(zhǔn)備訓(xùn)練圖像數(shù)據(jù)庫；采用重要性采樣算法以及最大似然估計(jì)，解決復(fù)雜的優(yōu)化問題，取代了傳統(tǒng)的梯度下降法，從而縮短了算法的運(yùn)行時(shí)間。此外，該算法不需要背景的先驗(yàn)知識，當(dāng)攝像機(jī)和背景圖像發(fā)生相對運(yùn)動時(shí)，仍然能夠?qū)崿F(xiàn)持續(xù)、穩(wěn)定的跟蹤，提高了末制導(dǎo)跟蹤的穩(wěn)定性和魯棒性。

2 基于子空間的目標(biāo)跟蹤算法

2.1 稀疏矩陣特征提取

眾所周知，圖像是一個(gè)由大量像素組成的二維數(shù)組，給后續(xù)的處理帶來了大量的數(shù)據(jù)量[8-9]。為了減小計(jì)算量，并不影響識別與跟蹤性能，本文采用稀疏矩陣提取目標(biāo)的特征。假設(shè)目標(biāo)在相鄰兩幀中的運(yùn)動滿足透視變換[10]，即

(1)

其中：(x，y，1)，(x′，y′，1)分別為相鄰兩幀目標(biāo)圖像的齊次坐標(biāo)表示，H為透視變換矩陣，是一個(gè)3×3矩陣，去掉歸一化系數(shù)w，共有8個(gè)自由度，可分解為如下形式:

(2)

定義1：(tx，ty，sxsy，θ，α，β，γ)為目標(biāo)的八參數(shù)表述。tx，ty表示目標(biāo)的中心位置，sx，sy表示目標(biāo)縮放的比例因子，θ，α，β，γ表示目標(biāo)發(fā)生旋轉(zhuǎn)、斜切和梯形變換的角度。

定義2：稀疏矩陣特征提取：已知目標(biāo)圖像I的實(shí)際大小為H×W，稀疏圖像T的維度為N×M，坐標(biāo)系為直角坐標(biāo)系，圖像的左上角為坐標(biāo)原點(diǎn)，向右向下為正，表達(dá)式、為稀疏矩陣特征提取過程

T(n，m)=I(h，w),

(3)

(4)

圖1 稀疏矩陣特征提取Fig.1 Sparse matrix feature extraction

其中：m=1，2，…，M，n=1，2，…，N，w=1，2，…，W，h=1，2，…，H、?為歸一化系數(shù)。

圖1分別給出了8×8、16×16、32×32和64×64的稀疏矩陣特征提取結(jié)果。

2.2 子空間的建立與更新

假設(shè)已經(jīng)得到n幅空間配準(zhǔn)的目標(biāo)圖像，每個(gè)圖像應(yīng)用2.1節(jié)中的方法，生成一個(gè)大小為M×N維的稀疏矩陣。將所有像素按列重新排成一列，將有n個(gè)p=M×N維向量(I1，I2，…，In)，它們可以被看成是隨機(jī)向量I的樣本，其期望為μ。

(5)

(6)

(7)

圖2 目標(biāo)子空間的建立Fig.2 Establishment of the target subspace

2.3 系統(tǒng)動態(tài)模型

如前所述，目標(biāo)在圖像中的定位可以采用八參數(shù)表述(X=(tx，ty，sxsy，θ，α，β，γ)T)。

一般情況下，可以假設(shè)目標(biāo)在相鄰幀中做隨機(jī)布朗運(yùn)動[11-12]，目標(biāo)在t時(shí)刻的狀態(tài)Xt以t-1時(shí)刻的狀態(tài)Xt-1為中心，滿足高斯分布:

pXtXt-1=NXt;Xt-1，Ψ,

(8)

其中：Ψ為對角矩陣，對角線上的元素為相應(yīng)的透視變換參數(shù)的方差:

(9)

2.4 系統(tǒng)觀測模型

目標(biāo)圖像的觀測值It可以通過目標(biāo)圖像均值μ和子空間特征向量集U表示:

p(ItXt)=N(It;μ，UUT+εI),

(10)

其中ε→0，I為單位陣，εI為系統(tǒng)的觀測噪聲。因此觀測值It的似然概率:

UUT+εI-1It-μ,

(11)

其中:

(12)

2.5 最大似然估計(jì)

目標(biāo)的狀態(tài)X是潛在的變量，我們無法知道它真實(shí)值的大小。但是我們可以有效地采用抽樣方法近似估計(jì)目標(biāo)的狀態(tài)。根據(jù)目標(biāo)的動態(tài)模型，進(jìn)行隨機(jī)抽樣，對于每一個(gè)樣本狀態(tài)Xi，我們計(jì)算它的似然概率p(It|Xi)。使似然概率取得最大值時(shí)的樣本狀態(tài)，將作為新的目標(biāo)狀態(tài)。

(13)

3 結(jié)果與討論

實(shí)驗(yàn)一為采用加拿大多倫多大學(xué)機(jī)器學(xué)習(xí)實(shí)驗(yàn)室的“dudek”視頻序列所做的跟蹤實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 跟蹤實(shí)驗(yàn)一Fig.3 Tracking experiment one

圖中藍(lán)色細(xì)線框?yàn)镽oss 的IVT算法跟蹤結(jié)果，紅色粗線框?yàn)楸疚母櫧Y(jié)果，黃色的“x”為標(biāo)志特征點(diǎn)的實(shí)際位置，紅色“x”為本文算法估計(jì)的位置。同樣采用300個(gè)粒子，從圖中可以看出IVT算法在第295幀之后發(fā)生偏移。原因是由于本文采用八參數(shù)的目標(biāo)稀疏表述方法更接近目標(biāo)運(yùn)動的真實(shí)情況，當(dāng)目標(biāo)發(fā)生部分遮擋(104幀和492幀)，旋轉(zhuǎn)(107幀、194幀和561幀)，以及光線變化(398幀)時(shí)均能夠?qū)崿F(xiàn)穩(wěn)定的跟蹤。

圖4為本文算法和IVT算法的跟蹤誤差比較曲線。橫坐標(biāo)代表幀號，縱坐標(biāo)代表標(biāo)志特征點(diǎn)的實(shí)際位置與估計(jì)取值的均方誤差。本文算法僅在被部分遮擋的104幀和492幀出現(xiàn)誤差峰值，之后便能迅速恢復(fù)穩(wěn)定跟蹤。

實(shí)驗(yàn)二為外場試驗(yàn)的跟蹤結(jié)果，如圖5所示。每一幅圖由15幅子圖組成，最大的一幅為當(dāng)前幀的跟蹤結(jié)果，紅色框?yàn)槟繕?biāo)在當(dāng)前幀的運(yùn)動狀態(tài)。

下面的四幅子圖為目標(biāo)的平均值、當(dāng)前跟蹤窗內(nèi)的目標(biāo)圖像、目標(biāo)在子空間投影的誤差圖像和目標(biāo)重建圖像。最下面的十幅為目標(biāo)子空間基圖像。跟蹤過程中目標(biāo)尺度迅速變大，并且受到尾氣的干擾，本文算法能夠?qū)崿F(xiàn)對其穩(wěn)定跟蹤。

圖4 跟蹤誤差比較Fig.4 Comparison of tracking error

圖5 跟蹤實(shí)驗(yàn)二Fig.5 Tracking experiment two

4 結(jié) 論

本文提出的基于子空間的目標(biāo)跟蹤算法采用增量的形式更新目標(biāo)子空間模型，為目標(biāo)的描述構(gòu)造了一個(gè)低維的子空間模型，該算法能夠適應(yīng)目標(biāo)外觀的時(shí)變特征。實(shí)驗(yàn)結(jié)果證明，當(dāng)目標(biāo)發(fā)生旋轉(zhuǎn)、縮放以及亮度變化和部分遮擋等情況時(shí)，仍然能夠?qū)崿F(xiàn)對目標(biāo)的長時(shí)間魯棒跟蹤，平均跟蹤誤差小于10個(gè)像素?；緷M足末制導(dǎo)跟蹤系統(tǒng)的穩(wěn)定性和魯棒性等要求。

[1] 陳尚峰. 成像末制導(dǎo)目標(biāo)檢測與跟蹤技術(shù)研究 [D]. 長沙：國防科學(xué)技術(shù)大學(xué)，2009．

Chen C F. Research on targets detecting and tracking for image homing guidance [D]. Changsha：National University of Defense Technology，2009. (in Chinese)

[2] 朱秋平，顏佳，張虎，等. 基于壓縮感知的多特征實(shí)時(shí)跟蹤[J]. 光學(xué) 精密工程，2013，21(2)：437-444．

Zhu Q P，Yan J，Zhang H，etal. Real time tracking using multiple features based on compressive sensing [J].Opt.PrecisionEng.，2013，21(2)：437-444. (in Chinese)

[3] 賈平，徐寧，張葉. 基于局部特征提取的目標(biāo)自動識別[J]. 光學(xué) 精密工程，2013，21(7)：1898-1905．

Jia P，Xu N，Zhang Y. Automatic target recognition based on local feature extraction [J].Opt.PrecisionEnginee-ring，2013，21(7)：1898-1905. (in Chinese)

[4] Li J Y，Wang Y L，Wang Y J. Visual tracking and learning using speeded up robust features [J].PatternRecognitionLetters，2012，33(16)：2094-2101.

[5] 王田，劉偉寧，韓廣良，等. 基于改進(jìn)MeanShift的目標(biāo)跟蹤算法 [J]. 液晶與顯示，2012，27(3)：396-400．

Wang T，Liu W N，Han G L，etal. Target tracking algorithm based on improved Meanshift [J].ChineseJournalofLiquidCrystalsandDisplays，2012，27(3)：396-400. (in Chinese)

[6] 劉揚(yáng)，張?jiān)品澹路? 復(fù)雜背景下抗遮擋的運(yùn)動目標(biāo)跟蹤算法 [J]. 液晶與顯示，2010，25(6)：890-895．

Liu Y，Zhang Y F，Dong Y F. Anti-occlusion algorithm of tracking moving object in clutter background [J].ChineseJournalofLiquidCrystalsandDisplays， 2010，25(6)：890-895. (in Chinese)

[7] Ross D A，Lim J，Lin R，etal. Incremental learning for robust visual tracking [J].InternationalJournalofComputerVision，2008，77(1-3)：125-141.

[8] 葛微，程宇奇，劉春香，等. 基于子空間分析的人臉識別方法研究 [J]．中國光學(xué)與應(yīng)用光學(xué)，2009，2(5)：377-387.

Ge W，Cheng Y Q，Liu C X，etal. Research of face recognition methods base on subspace analysis [J].ChineseJournalofOpticsandAppliedOptics，2009，2(5)：377-387. (in Chinese)

[9] 孫曉燕，常發(fā)亮. 梯度特征稀疏表示目標(biāo)跟蹤 [J]. 光學(xué) 精密工程，2013，21(12)：3191-3197.

Sun X Y，Chang F L. Object tracking based on sparse representation of gradient feature [J].Opt.PrecisionEng.，2013，21(12)：3191-3197. (in Chinese)

[10] 李忠新．圖像鑲嵌理論及若干算法研究 [D]．南京：南京理工大學(xué)，2004．

Li Z X. On the theory of image mosaicing and its related algorithms [D]. Nanjing：Nanjing University of Science and Technology，2004. (in Chinese)

[11] 錢誠. 增量型目標(biāo)跟蹤關(guān)鍵技術(shù)研究 [D]．杭州：浙江大學(xué)，2011．

Qian C. Research on key techniques of incremental object tracking [D]. Hangzhou：Zhejiang University，2011. (in Chinese)

[12] 杜超，劉偉寧，劉戀. 一種基于卡爾曼濾波及粒子濾波的目標(biāo)跟蹤算法 [J]. 液晶與顯示，2011，26(3)：384-389．

Du C，Liu W N，Liu L. Target tracking algorithm based on kalman filter and particle filter [J].ChineseJournalofLiquidCrystalsandDisplays， 2011，26(3)：384-389 . (in Chinese)