基于圖像傳感器的上下文快速壓縮感知算法*

茅正沖， 唐雨玉， 韓 毅

(江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實驗室，江蘇 無錫 214122)

?

基于圖像傳感器的上下文快速壓縮感知算法*

茅正沖， 唐雨玉， 韓 毅

(江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實驗室，江蘇 無錫 214122)

針對快速壓縮感知算法在目標(biāo)被遮擋、光照變化較大時存在跟蹤不穩(wěn)定的問題，提出了基于圖像傳感器的上下文快速壓縮感知跟蹤(FCT)算法。新算法首先在Haar-like特征中引入時空上下文特征，通過目標(biāo)周圍的空間信息和時間上的遞推關(guān)系協(xié)助估計目標(biāo)的位置。通過改進(jìn)的隨機(jī)測量矩陣同時提取目標(biāo)的紋理特征和灰度特征，加強(qiáng)了特征的穩(wěn)定性，提高跟蹤的準(zhǔn)確性。通過方差分類器預(yù)判定候選樣本，減少判定的次數(shù)，并減少錯誤的候選樣本。改進(jìn)的FCT算法對光照、旋轉(zhuǎn)、尺度縮放都有良好的不變性，且不易發(fā)生跟蹤漂移。實驗證明:改進(jìn)的FCT算法優(yōu)于壓縮感知跟蹤(CT)算法和FCT算法。

快速壓縮跟蹤算法； 壓縮感知； 隨機(jī)測量矩陣； 方差分類器； 樸素貝葉斯分類器

0 引 言

運(yùn)動目標(biāo)跟蹤是機(jī)器視覺、模式識別等領(lǐng)域的一個重要課題，應(yīng)用領(lǐng)域廣泛[1]。運(yùn)動目標(biāo)跟蹤是指在連續(xù)的視頻圖像序列中能夠?qū)崟r跟蹤到運(yùn)動的物體[2]。壓縮感知跟蹤[3](compressive tracking，CT) 算法指出，只要信號滿足一定的稀疏性，就能通過少量的數(shù)據(jù)實現(xiàn)信號的無失真重建[4]。在CT算法的基礎(chǔ)上，Zhang K提出了一種與數(shù)據(jù)無關(guān)的基于多尺度圖像特征提取的外觀模型算法，即快速壓縮感知跟蹤(fast compressive tracking， FCT)算法，F(xiàn)CT算法具有更好的魯棒性、高效性[5]。

本文對FCT算法提出改進(jìn)，首先引入時空上下文特征來協(xié)助估計目標(biāo)的位置，實現(xiàn)更準(zhǔn)確地跟蹤；再對隨機(jī)測量矩陣進(jìn)行改進(jìn)，改進(jìn)后的隨機(jī)測量矩陣提取的目標(biāo)特征都有較高的穩(wěn)定性。最后在貝葉斯分類器中引入方差分類器，通過預(yù)判定閾值預(yù)處理候選樣本，可以減少分類器的判定次數(shù)，也能減少錯誤的候選樣本，提高運(yùn)行速度。

1 改進(jìn)的FCT算法分析

FCT算法，在選取圖像塊時采用由粗到細(xì)的搜索策略降低算法的計算復(fù)雜度[6]，同時提高了算法穩(wěn)定性。改進(jìn)的FCT算法分別從提取Haar-like特征、設(shè)計隨機(jī)測量矩陣、樸素貝葉斯分類器的構(gòu)建與更新進(jìn)行改進(jìn)。

1.1 Haar-like與時空上下文特征

FCT算法提取圖像的Haar-like特征， Haar特征模板只有白色和黑色兩種矩形，每個Haar特征值為白色矩形像素的總和減去黑色矩形像素的總和。

Haar-like特征表達(dá)式為

(1)

式中 w為矩形ri的權(quán)，N為構(gòu)成特征的矩形數(shù)目，RectSum(ri)為矩形ri圍成的圖像的灰度積分。

Haar特征能夠在圖像的任何位置，所以Haar特征可達(dá)到106，計算量非常大。Haar-like特征反映了圖像灰度值的變化，具有更好的抗噪聲能力，使用積分圖像能夠提高計算速度，滿足實時性的要求。但當(dāng)目標(biāo)被遮擋或消失時，會出現(xiàn)跟蹤漂移甚至目標(biāo)丟失的情況，所以,本文引入時空上下文特征來協(xié)助估計目標(biāo)的位置。

視頻序列中的運(yùn)動目標(biāo)通常都處在相對穩(wěn)定的時間和空間上下文環(huán)境中，目標(biāo)在不同時刻的狀態(tài)以及目標(biāo)與其空間環(huán)境中的其他物體都存在緊密的聯(lián)系，因此，可以利用目標(biāo)的時空上下文信息來協(xié)助估計目標(biāo)在下一幀中的位置。時空上下文特征分為目標(biāo)周圍的空間信息和時間上的遞推關(guān)系。其中，時間上下文信息主要是目標(biāo)運(yùn)動的速度、加速度和目標(biāo)的運(yùn)動軌跡；空間上下文信息主要為目標(biāo)周圍的局部子區(qū)域及與目標(biāo)相關(guān)的其他鄰近物體[7]。

目標(biāo)的上下文特征主要通過圖像的灰度和位置信息來表示，表達(dá)式為

Xc={c(z)=(I(z),z)|z∈Ωc(x*)}

(2)

式中x*為已確定的目標(biāo)位置，即跟蹤到的目標(biāo)中心位置的坐標(biāo)；I(z)為圖像在位置Z處的灰度值，描述整個上下文Z的外觀；Ωx(x*)為位置x*的領(lǐng)域，表示上下文區(qū)域，包括目標(biāo)區(qū)域以及目標(biāo)周圍與運(yùn)動相關(guān)的區(qū)域[8]。

改進(jìn)后的特征表達(dá)式為

feature=a×HLi+(1-a)×Xc

(3)

式中 0

1.2 隨機(jī)測量矩陣及其改進(jìn)

FCT算法采用一個滿足RIP條件的隨機(jī)測量矩陣將高維信號投影到低維空間中，經(jīng)過測量矩陣R轉(zhuǎn)換后的低維特征V仍然可以最大概率地保留原始高維特征X的特性。所以，只要存儲R中的非零項，計算量很小，稀疏矩陣R元素定義為

(4)

這里，ρ=o(m)=m/(algm)=m/(10a)=m/(6a)，rij～N(0,1)，a為常數(shù)，m為106～1010。

在式(4)中，rij的產(chǎn)生是隨機(jī)的，所以，fij存在三種情況：只有1；只有-1；同時存在1和-1。當(dāng)都為1或都為-1時，特征表現(xiàn)為灰度特征，當(dāng)1和-1同時存在時，特征表現(xiàn)為紋理特征[9]。在運(yùn)動目標(biāo)的紋理變化時或者是目標(biāo)所處的周圍環(huán)境變化時，目標(biāo)的紋理特征表現(xiàn)穩(wěn)定，但當(dāng)目標(biāo)產(chǎn)生運(yùn)動時，目標(biāo)的灰度特征表現(xiàn)穩(wěn)定。

為進(jìn)一步加強(qiáng)目標(biāo)跟蹤的魯棒性，對式(4)進(jìn)行改進(jìn)

(5)

改進(jìn)后的測量矩陣，可同時提取運(yùn)動目標(biāo)的紋理和灰度特征，且兩種特征各占1/2，所以，提取的目標(biāo)特征有較高的穩(wěn)定性，跟蹤效果良好。

1.3 樸素貝葉斯分類器和方差分類器

FCT算法采用貝葉斯分類器確定目標(biāo)位置，假設(shè)V中的每個元素都是獨(dú)立分布的，即

(6)

(7)

(8)

Dγc={Z|‖I(Z)-It-1‖<γc}

(9)

(10)

Dα={Z|‖I(Z)-It‖<α}

(11)

Dζ,β={Z|ζ<‖I(Z)-It‖<β}

(12)

對于多尺度圖像跟蹤時，采用式(13)每5幀更新跟蹤位置和尺度

(13)

式中It(Z)為跟蹤位置，S為尺度，Vs(Z)為特征向量，Γ為低維特征。

(14)

(15)

提取出圖像特征后，通過分類器來選取候選樣本，計算量較大，影響算法的實時性。所以,本文引入方差分類器對候選樣本作預(yù)判定[10]，先根據(jù)式(16)計算目標(biāo)區(qū)域的灰度值方差

D(x)=E(x2)-E2(x)

(16)

式中x為候選目標(biāo)，E(x)為目標(biāo)區(qū)域的灰度值均值，E(x2)為目標(biāo)區(qū)域灰度值平方之后的均值，D(x)則為目標(biāo)的灰度值方差。當(dāng)候選樣本的灰度值方差小于D(x)的1/2時，則為目標(biāo)樣本的幾率很小，予以去除[11],即

(17)

式中D′(x)為候選樣本的灰度值均值，D(x)則為目標(biāo)的灰度值方差。通過對候選樣本的預(yù)處理，減少分類器的判定次數(shù)，減少了運(yùn)算量，同時減少了錯誤的候選樣本，提高算法的穩(wěn)定性。

2 改進(jìn)的FCT算法步驟

1)在圖像傳感器采集視頻序列后：手動選取跟蹤目標(biāo)；根據(jù)式(9)～式(12)訓(xùn)練正負(fù)樣本；利用式(5)生成訓(xùn)練樣本的特征；初始化分類器參數(shù)。

2)讀取新一幀圖像，粗略地一些采集圖像塊，選取候選目標(biāo)1，通過式(3)計算特征，選取H(V)最大的位置1。

3)再精細(xì)地采集圖像塊，挑選出滿足式(17)的候選目標(biāo)區(qū)域2，計算區(qū)域2內(nèi)目標(biāo)的特征，并選擇H(V)最大的位置為新一幀的目標(biāo)位置。

4)得到目標(biāo)的位置后，根據(jù)式(14)、式(15)更新分類器；多尺度圖像跟蹤時，根據(jù)式(13)每5幀更新跟蹤位置和尺度。

5) 跳轉(zhuǎn)至步驟(2)處進(jìn)行下一幀的處理。

3 實驗結(jié)果與分析

實驗平臺為PC，內(nèi)存為4.00 GB，操作系統(tǒng)是Windows 7，程序編寫采用Matlab2013a。為了對比三種算法，采用8個原作者論文中的視頻進(jìn)行測試，具有代表性。運(yùn)算結(jié)果如表1所示。

表1 三種算法跟蹤時間

從表1可以看出，F(xiàn)CTNew算法的運(yùn)算速度快于CT算法和FCT算法。選取具有代表性David和Tiger2進(jìn)行分析，跟蹤效果圖如下。其中，點(diǎn)線框為CT算法，虛線框為FCT算法，實線框為FCTNew算法。

圖1 David視頻序列Fig 1 David video sequence

在David視頻序列中，從圖1(a),(b)和(c)可以看出：光照發(fā)生變化時FCTNew算法跟蹤最為準(zhǔn)確。在圖1(d)，(e)中，當(dāng)目標(biāo)發(fā)生旋轉(zhuǎn)并且尺度變化時， FCTNew算法的跟蹤偏移量最小。在圖1(f)和(h)中，CT算法出現(xiàn)明顯的跟蹤漂移，而FCTNew算法仍能實現(xiàn)準(zhǔn)確跟蹤?？傻贸鼋Y(jié)論，與CT算法和FCT算法相比，F(xiàn)CTNew算法對光照、旋轉(zhuǎn)、尺度縮放有較強(qiáng)的魯棒性，且能有效解決跟蹤漂移的問題。

從圖2中可看出：目標(biāo)被完全遮擋時，F(xiàn)CTNew算法跟蹤效果最好，且在后續(xù)視頻幀中目標(biāo)也沒有丟失。

圖2 Tiger2視頻序列Fig 2 Tiger2 video sequence

圖3和圖4中右上角的數(shù)據(jù)為所有點(diǎn)的中心位置誤差的均值，均值越小說明平均誤差越小，算法的準(zhǔn)確性越高。從誤差曲線圖可看出：FCTNew算法最好，F(xiàn)CT算法次之，CT算法最差。

圖3 David視頻序列的跟蹤誤差曲線圖Fig 3 Tracking error curve of David video sequence

圖4 Tiger2視頻序列跟蹤誤差曲線圖Fig 4 Tracking error curve of Tiger2 video sequence

綜上，改進(jìn)的FCT算法優(yōu)于CT和FCT算法，能更好地應(yīng)用于實際。

4 結(jié) 論

新算法引入了時空上下文特征；對原來的隨機(jī)測量矩陣進(jìn)行了改進(jìn)；最后引入方差分類器對候選樣本進(jìn)行預(yù)判定。通過仿真實驗可證明，改進(jìn)的FCT算法在時效性和準(zhǔn)確性上，都優(yōu)于CT算法和FCT算法。

[1] Yilmaz A,Javed O,Shah M.Object tracking：A survey [J].ACM Computing Surveys,2006,38(4):1-45.

[2] Yang G,Liu H.Survey of visual tracking algorithms [J].CAAI Transactions on Intelligent Systems,2010,5(2):95-105.

[3] Zhang Kaihua，Zhang Lei，Yang Ming-Hsuan.Real-time compressive tracking[C]∥Computer Vision-ECCV，2012:866-879.

[4] Donoho D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[5] Zhang Kaihua，Zhang Lei，Yang Ming-Hsuan.Fast compressive tracking[J].Pattern Analysis and Machine Intelligence，2014，36(10):2002-2015.

[6] Babenko B，Yang Ming-Hsuan，Belongie S.Robust object tracking with online multiple instance learning[J].Pattern Analysis and Machine Intelligence，2011，33(8):1619-1632.

[7] Dinh T B,Vo N,Medioni G.Context tracker:Exploring supporters and distracters in unconstrained environments[C]∥2011 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),IEEE,2011:1177-1184.

[8] Zhang K,Zhang L,Yang M,et al.Fast tracking via spatio-temporal context learning[J].Computer Vision and Pattern Recognition,2013,1939(1311):127-141.

[9] Xie Yuan，Zhang Wensheng，Qu Yanyun.Discriminative subspace learning with sparse representation view-based model for robust visual tracking[J].Pattern Recognition，2014，47(3):1383-1394.

[10] Kalal Z，Mikolajcayk K，Matas J.Tracking-learning-detection[J].Pattern Analysis and Machine Intelligence，2012，34(7):1409-1423.

[11] Xie Chengjun，Tan Jieqing，Chen Peng.Collaborative object tra-cking model with local sparse representation[J].J Vis Commun Image R，2014，25(2):423-434.

Fasting compressive sensing algorithm with context based on image sensor*

MAO Zheng-chong， TANG Yu-yu， HAN Yi

(Key Laboratory of Advanced Process Control for Light Industry，Ministry of Education，Jiangnan University,Wuxi 214122,China)

Aiming at problems that fast compressive tracking(FCT)，algorithm has poor robustness in target occlusion and illumination changes,propose a FCT algorithm with context based on image sensors.First,the new algorithm introduces temporal and spatial context features in the Haar-like feature,and assists to estimate target position by spatial information around target and time recurrence relation.By improved random measurement matrix，extract simultaneously texture features and gray features of target,stability of feature is enhanced,accuracy of target tracking is improved.Pre-judge candidate sample by variance classifier,reduce number of decision,reduce number of wrong candidate samples.The improved FCT algorithm has good invariance for illumination,rotation and scale changes,tracking drift also not easy to happen.It can be proved that the improved FCT algorithm is superior to CT and FCT algorithms.

fast compressive tracking(FCT) algorithm; compressive sensing(CS); random measurement matrix; variance classifier; naive Bayes classifier

2016—01—06

國家自然科學(xué)基金資助項目(60973095)； 江蘇省自然科學(xué)基金資助項目(BK20131107)

10.13873/J.1000—9787(2016)10—0131—04

TP 391

A

1000—9787(2016)10—0131—04

茅正沖(1964-)，男，江蘇啟東人，碩士，副教授，主要從事機(jī)器人視聽覺識別的研究工作。