壓縮感知與動(dòng)態(tài)紋理模型的視頻信號(hào)分類

蔣行國(guó)，李志豐，張 龍

（桂林電子科技大學(xué) 信息與通信學(xué)院，廣西 桂林541004）

壓縮感知與動(dòng)態(tài)紋理模型的視頻信號(hào)分類

蔣行國(guó)，李志豐，張 龍

（桂林電子科技大學(xué) 信息與通信學(xué)院，廣西 桂林541004）

針對(duì)視頻數(shù)據(jù)的動(dòng)態(tài)紋理特性，提出結(jié)合視頻壓縮感知技術(shù)，首先通過壓縮采樣技術(shù)對(duì)視頻數(shù)據(jù)進(jìn)行采樣，得到少量的采樣數(shù)據(jù)；然后建立線性動(dòng)態(tài)系統(tǒng)模型，通過少量的壓縮采樣數(shù)據(jù)直接估計(jì)出模型參數(shù)；最后通過計(jì)算模型間的馬氏距離實(shí)現(xiàn)動(dòng)態(tài)紋理視頻數(shù)據(jù)的分類。實(shí)驗(yàn)結(jié)果表明，提出的壓縮感知參數(shù)估計(jì)方法在20%的低采樣率情況下，對(duì)交通視頻數(shù)據(jù)的分類正確率達(dá)到87%以上。

動(dòng)態(tài)紋理模型；壓縮感知；馬氏距離；視頻信號(hào)分類

0 引言

早期交通視頻的分類方法[1]是使用車輛分割或目標(biāo)跟蹤技術(shù)的方法進(jìn)行判別分類，但是由于這種方法計(jì)算量較為復(fù)雜且對(duì)視頻分辨率有較高的要求，所以不適合多目標(biāo)情況下的分類應(yīng)用。Saisan等人提出一種基于動(dòng)態(tài)紋理模型參數(shù)間距離的識(shí)別方法，這種方法不需要提取局部特征，而是將圖像序列看作是一個(gè)二階平穩(wěn)隨機(jī)過程?；诖?，Antoni在文獻(xiàn)[2]中提出了基于動(dòng)態(tài)紋理模型的交通視頻分類方法，對(duì)已知的交通圖像序列進(jìn)行模型參數(shù)化，根據(jù)模型參數(shù)計(jì)算各模型間 Martin距離[3]實(shí)現(xiàn)對(duì)交通視頻的檢索和分類。然而，由于視頻數(shù)據(jù)的動(dòng)態(tài)短暫性，使得對(duì)傳統(tǒng)采樣方法的采樣率的要求隨之變高，且采樣獲得的視頻數(shù)據(jù)量大，不便于儲(chǔ)存。近年來，高速發(fā)展的壓縮技術(shù)很好地解決了這一問題。壓縮感知[4]是美國(guó)科研學(xué)者 Donoho提出的一種新的采樣方法，即當(dāng)信號(hào)為稀疏或可稀疏信號(hào)時(shí)，能夠通過獲得的隨機(jī)采樣少量數(shù)據(jù)實(shí)現(xiàn)對(duì)原始信號(hào)的精確重構(gòu)。該文方法在視頻傳統(tǒng)分類方法的基礎(chǔ)上結(jié)合了壓縮采樣技術(shù)，首先，對(duì)每幀圖像用統(tǒng)一壓縮測(cè)量矩陣進(jìn)行觀測(cè)，利用得到的測(cè)量數(shù)據(jù)通過奇異值分解的方法估計(jì)出模型的動(dòng)態(tài)參數(shù)；其次，使用一個(gè)時(shí)變的測(cè)量矩陣對(duì)每幀圖像進(jìn)行測(cè)量，由于得到測(cè)量數(shù)據(jù)之間的不相關(guān)性質(zhì)，結(jié)合已估計(jì)得到的模型動(dòng)態(tài)參數(shù)，通過求解一個(gè)凸優(yōu)化問題估計(jì)出系統(tǒng)模型的靜態(tài)參數(shù)；最后，通過壓縮測(cè)量數(shù)據(jù)直接得到的模型參數(shù)進(jìn)行模式判別，從而實(shí)現(xiàn)低采樣率下的交通視頻分類。

1 動(dòng)態(tài)紋理模型與距離度量

1.1 線性動(dòng)態(tài)系統(tǒng)

線性動(dòng)態(tài)系統(tǒng)（LDS）模型是 Soatto等人[5]提出的用來描述動(dòng)態(tài)紋理變化特征的模型，其主要目的是通過建立一個(gè)數(shù)學(xué)模型來描述一個(gè)物理系統(tǒng)的動(dòng)態(tài)特征，圖像序列的動(dòng)態(tài)紋理模型可定義如下：

其中xt∈Rd是 d維的隱藏（狀態(tài)）隨機(jī)變量，yt∈RM是 M維的視頻序列。A∈Rd×d表示狀態(tài)轉(zhuǎn)移矩陣，C∈RM×d表示觀測(cè)矩陣，vt、wt表示噪聲信號(hào)，有 vt～N（0，R）、wt～N（0，Q），Q∈RM×M和 R∈RM×M表示計(jì)算處理過程和觀測(cè)過程的噪聲矩陣。動(dòng)態(tài)紋理可以由線性動(dòng)態(tài)系統(tǒng)模型中的參數(shù)集 Θ=｛A，C，x0，R，Q｝來表示，不考慮噪聲信號(hào)，動(dòng)態(tài)紋理模型可由參數(shù)集Θ=｛A，C｝確定。在已知N幀完整視頻序列信號(hào)=[y1，y2，…，yN]的情況下，文獻(xiàn)[6]通過實(shí)驗(yàn)提出一種簡(jiǎn)單有效的參數(shù)估計(jì)方法，即通過對(duì)進(jìn)行奇異值分解，=UΣVT，紋理模型的參數(shù)可由如下計(jì)算式表示：

1.2 Martin距離

將動(dòng)態(tài)紋理的模型參數(shù)A、C組成一個(gè)新的變量M=（A，C），并生成一個(gè)拓展的觀測(cè)矩陣，如下所示：

動(dòng)態(tài)紋理間的Martin距離可用On（M1）和On（M2）列向量的主角來定義，如下式所示：

其中 θi表示拓展觀測(cè)矩陣 On（M1）和 On（M2）之間的第i個(gè)主角。馬氏距離的大小代表了兩個(gè)紋理模型之間的相似程度，通過計(jì)算馬氏距離能夠?qū)煌ㄒ曨l進(jìn)行分類，其分類框架如圖1所示。

圖1 傳統(tǒng)動(dòng)態(tài)紋理模型的交通視頻分類框架（DTC）

2 視頻壓縮感知與模型參數(shù)估計(jì)

2.1 視頻壓縮感知

在本文中，規(guī)定yt∈RM表示視頻信號(hào)的第t幀圖像，=[y1，y2，…，yN]表示為 N幀原始圖像序列，在視頻壓縮感知[7]中，通過如下壓縮采樣公式對(duì)視頻信號(hào)進(jìn)行逐幀采樣：

其中 zt、Φt、yt分別表示 t時(shí)刻的壓縮測(cè)量值、測(cè)量矩陣以及原始視頻幀。式（9）是一個(gè)凸優(yōu)化規(guī)劃問題，當(dāng)yt為稀疏信號(hào)時(shí)，使用L1-Minimization算法求其最優(yōu)解就能夠精確恢復(fù)原始視頻幀，即少量的隨機(jī)采樣數(shù)據(jù)已經(jīng)包含了原始視頻幀的足夠信息?；诖?，本文結(jié)合視頻壓縮感知技術(shù)，對(duì)交通視頻信號(hào)進(jìn)行壓縮采樣，從少量采樣數(shù)據(jù)中直接估計(jì)模型參數(shù)，實(shí)現(xiàn)交通視頻的分類（2.2節(jié)將作詳細(xì)討論），降低了硬件系統(tǒng)編碼端的結(jié)構(gòu)復(fù)雜度。其分類框架如圖2所示。

圖2 壓縮感知與動(dòng)態(tài)紋理模型的交通視頻分類框架（CS-DTC）

2.2 模型參數(shù)估計(jì)

2.2.1 狀態(tài)轉(zhuǎn)移矩陣的估計(jì)

2.2.2 觀測(cè)矩陣的估計(jì)

由2.2.1節(jié)可知，利用壓縮采樣技術(shù)能夠有效地估計(jì)出狀態(tài)向量的估計(jì)值，結(jié)合式（2）和式（9），得到下式：

圖3 傳統(tǒng)方法和本文方法估計(jì)狀態(tài)向量的對(duì)比圖

由上式可知，通過解決如下一個(gè)凸優(yōu)化問題：

其中ci表示觀測(cè)矩陣C的第i列，Ψ表示ci的稀疏基。通過求解上式的凸優(yōu)化問題得到觀測(cè)矩陣的估計(jì)C?。本文采用CoSaMP算法求解式（13），在文獻(xiàn)[9]中有詳細(xì)的算法求解過程，本文不再贅述。綜上所述，本文通過壓縮采樣得到少數(shù)測(cè)量值，通過少量測(cè)量值直接有效地估計(jì)出紋理模型參數(shù)，其參數(shù)估計(jì)框架如圖4所示。

圖4 本文的動(dòng)態(tài)紋理模型參數(shù)估計(jì)框架

3 實(shí)驗(yàn)結(jié)果與分析

本文從網(wǎng)站[8]下載得到交通視頻樣本數(shù)據(jù)庫，數(shù)據(jù)庫是由西雅圖高速公路上固定相機(jī)拍攝的254個(gè)視頻數(shù)據(jù)組成，數(shù)據(jù)庫中考慮了多種天氣條件（下雨、晴天、陰天）下的交通視頻數(shù)據(jù)，為了更方便有效地進(jìn)行實(shí)驗(yàn)測(cè)試，本文將下載得到視頻數(shù)據(jù)庫中的視頻數(shù)據(jù)進(jìn)行像素修剪，將每個(gè)視頻數(shù)據(jù)體素變?yōu)?4×64×40的灰度數(shù)據(jù)。為了證明本文方法能夠有效估計(jì)出交通視頻信號(hào)的動(dòng)態(tài)紋理模型參數(shù)，本文選取編號(hào)為“cctv052x2004080516x01638”的交通視頻序列作為實(shí)驗(yàn)樣本，通過本文提出的方法對(duì)視頻序列進(jìn)行參數(shù)估計(jì)，其中本文方法參數(shù)設(shè)置如下：=60，d=10，comp=5，稀疏基選擇為小波基，其中 comp表示壓縮采樣比，即comp=（+）/M，仿真得到如圖5的實(shí)驗(yàn)結(jié)果圖，其中圖（a）為原始交通視頻序列，圖（b）為根據(jù)本文方法（CS-DTC）估計(jì)得到模型參數(shù)恢復(fù)的交通視頻序列。

圖5 本文方法估計(jì)參數(shù)得到的視頻效果圖

通過上面的實(shí)驗(yàn)結(jié)果可知，本方法能有效估計(jì)出交通視頻序列的模型參數(shù)A、C。為了更為直觀看出本文方法對(duì)交通視頻有較好的分類效果，對(duì)通過下載得到的254個(gè)視頻樣本進(jìn)行分類測(cè)試，視頻庫已經(jīng)通過人工標(biāo)記，其中包含44個(gè)重度（heavy）交通視頻（車流量較大，車流速度緩慢或停止）、45個(gè)中度（medium）交通視頻（車流量一般，車流程減速運(yùn)動(dòng)）、165個(gè)輕度（light）交通視頻樣本（車輛量較少，車流程勻速運(yùn)動(dòng)）。本文將75%的數(shù)據(jù)作為實(shí)驗(yàn)的訓(xùn)練樣本，25%的數(shù)據(jù)作為測(cè)試視頻樣本，本文方法設(shè)置參數(shù)：=60，d=10，采樣壓縮比comp分別取2、5、10，繪制多條曲線，并通過本文方法計(jì)算得到模型參數(shù)，采用馬氏距離為度量對(duì)測(cè)試樣本進(jìn)行分類，仿真結(jié)果見圖6，其中橫坐標(biāo)為拓展觀測(cè)矩陣On（M）的參數(shù)n，縱坐標(biāo)表示分類正確率。從圖6中可以看出，當(dāng)壓縮比comp小于5時(shí)，本文方法在降低采樣率的同時(shí)不會(huì)明顯影響交通視頻的識(shí)別率，而隨著壓縮比的繼續(xù)增大，由于大幅降低了圖像序列的采樣率數(shù)目，本文方法在識(shí)別率上整體低于傳統(tǒng)全采樣方法。

圖6 DTC與CS-DTC的分類正確率比較圖

本文通過更改狀態(tài)向量維數(shù)d的大小，比較傳統(tǒng)方法和本文方法對(duì)交通視頻數(shù)據(jù)的識(shí)別正確率，其中本文方法的參數(shù)設(shè)置為：=60，n=8，comp=5，仿真結(jié)果比較如表1所示。從表1中可以看出，狀態(tài)向量的維數(shù)大小也會(huì)影響分類的正確性，狀態(tài)向量維數(shù)過小，其攜帶的

信息量也少，會(huì)影響分類的正確率；反之狀態(tài)向量維數(shù)過大，在攜帶不必要信息的同時(shí)也會(huì)增大計(jì)算的復(fù)雜度，所以在實(shí)際應(yīng)用過程中應(yīng)該合適地選擇狀態(tài)向量維數(shù)d的值，以獲得更好的分類效果。

表1 DTC和CS-DTC在不同狀態(tài)維數(shù)分類正確率比較

為了直觀有效地看出本文方法能夠有效降低采樣率，并且不明顯影響分類效果，本文選擇合適的仿真參數(shù)：=60，d=10，n=8，通過調(diào)整不同采樣壓縮比comp下估計(jì)出模型參數(shù)分別進(jìn)行試驗(yàn)比較，試驗(yàn)結(jié)果如表2所示。從試驗(yàn)結(jié)果可以看出，本文方法在較低的采樣率下依然能夠有不錯(cuò)的分類效果。

表2 CS-DTC在不同壓縮率下對(duì)視頻數(shù)據(jù)的分類正確率

4 結(jié)論

該文根據(jù)交通視頻信號(hào)的紋理模型特性，在估計(jì)模型參數(shù)的過程中引入了壓縮感知技術(shù)，通過壓縮采樣得到少量的測(cè)量值，由少量的測(cè)量值直接估計(jì)出紋理模型參數(shù)，根據(jù)模型參數(shù)對(duì)交通視頻數(shù)據(jù)進(jìn)行計(jì)算分類。實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)方法，本文方法不僅能夠在非常低的采樣率下較為準(zhǔn)確地估計(jì)出模型參數(shù)，且整個(gè)識(shí)別過程都不需要對(duì)視頻信號(hào)進(jìn)行重構(gòu)，為預(yù)報(bào)和緩解交通擁堵現(xiàn)象提供了有利的條件，本文方法在視頻紋理識(shí)別的其他領(lǐng)域也有著非常廣泛的應(yīng)用前景。

[1]JUNG Y K，LEE K W，HO Y S.Content-based event retrieval using semantic scene interpretation for automated traffic surveillance[J].IEEE Transactions on Intelligent Transportation Systems，2001，2（3）：151-163.

[2]CHAN A B，VASCONCELOS N.Classification and retrieval of traffic video using auto-regressive stochastic processes[C]. Intelligent Vehicles Symposium.Proceedings.IEEE，2005：771-776.

[3]MARTIN R J.A metric for ARMA processes[J].IEEE Transactions on Signal Processing，2000，48（4）：1164-1170.

[4]QAISAR S，BILAL R M，IQBAL W，et al.Compressive sensing：From theory to applications，a survey[J].Communications and Networks，Journal of，2013，15（5）：443-456.

[5]SOATTO S，DORETTO G，WU Y N.Dynamic textures[C]. Proceedings of IEEE International Conference on Computer Vision.Vancouver，IEEE Press，British Columbia，Canada：2001，2：439-446.

[6]DE COCK K，DE MOOR B L R.Subspace angles between linear stochastic models[C].IEEE Conference on Decision and Control.Sydney，NSW.2000，2：1561-1566.

[7]STANKOVIC V，STANKOVIC L，CHENG S.（2009）Compressive video sampling[C].Proceedings of the 16th IEEE International Conference on Image Processing.IEEE，2009：3001-3004.[8]VISAL.Highway traffic dataset[DB/OL].http：//visal.cs.cityu. edu.hk/downloads.

[9]SANKARANARAYANAN A C，TURAGA P K，CHELLAPPA R，et al.Compressive acquisition of linear dynamical systems[J]. SIAM Journal on Imaging Sciences，2013，6（4）：2109-2133.

Video signal classification of compressed sensing and dynamic texture model

Jiang Xingguo，Li Zhifeng，Zhang Long
（School of Information and Communication，Guilin University of Electronic Technology，Guilin 541004，China）

Based on the feature of dynamic texture in video data，this paper presents a method，which combine with the technology of video compressive sensing.Firstly，a few video sampling data is gotten using the technology of compressive sampling.Then linear dynamical system is set up and the model parameters from the little sampling data also are estimated.Finally，the martin distance between models is calculated to classify texture video data.Results show that at the sampling rate of 20%，the rate of accuracy about classifying video data is over 87%using the proposed method.

dynamic texture model；compressed sensing；Martin distance；video signal classification

TP391.4

A

0258-7998（2015）05-0159-04

10.16157/j.issn.0258-7998.2015.05.040

蔣行國(guó)（1973-），男，博士，副教授，主要研究方向：智能信息處理。

李志豐（1989-），男，碩士研究生，主要研究方向：視頻壓縮感知。

張龍（1988-），男，碩士研究生，主要研究方向：小波分析。