交通監(jiān)控中基于壓縮感知的WMSN視頻編解碼

羅 暉，王世昌，褚紅亮，楊成武

（華東交通大學(xué)信息工程學(xué)院，江西南昌，330013）

目前，在交通監(jiān)控中，為實(shí)現(xiàn)對交通路況的實(shí)時(shí)視頻監(jiān)控，需要布置復(fù)雜的通信網(wǎng)絡(luò)，以保證交通監(jiān)控網(wǎng)絡(luò)[1]長期穩(wěn)定、可靠地運(yùn)行。而無線多媒體傳感器網(wǎng)絡(luò)（wireless multimedia sensor networks，WMSN）[2]具備部署快速、組網(wǎng)靈活、感知信息豐富等優(yōu)點(diǎn)。將WMSN用于交通監(jiān)控中，不但可以實(shí)時(shí)獲取路況場景的視頻信息，而且能適應(yīng)復(fù)雜多變的地理環(huán)境，其基本網(wǎng)絡(luò)體系結(jié)構(gòu)如圖1所示。在監(jiān)控區(qū)域內(nèi)，視頻傳感器節(jié)點(diǎn)負(fù)責(zé)采集路況視頻信息；簇頭節(jié)點(diǎn)冗余部署在視頻傳感器節(jié)點(diǎn)周圍，負(fù)責(zé)處理視頻信息，并通過自組網(wǎng)以多跳中繼方式將視頻信息傳輸給匯聚節(jié)點(diǎn)；匯聚節(jié)點(diǎn)以無線通信方式將視頻信息發(fā)送給交通遠(yuǎn)程監(jiān)控中心。

圖1 交通視頻監(jiān)控WMSN網(wǎng)絡(luò)體系結(jié)構(gòu)Fig.1 WMSN network architecture of traffic video surveillance

在上述交通視頻監(jiān)控WMSN網(wǎng)絡(luò)中，視頻信息數(shù)據(jù)量巨大，而WMSN傳感器節(jié)點(diǎn)的能量、處理能力和存儲(chǔ)資源受限。因此，研究一種高效的視頻壓縮編碼方法就成為了WMSN應(yīng)用于交通視頻監(jiān)控的關(guān)鍵。

近年來，由Candes和Donoho等人提出的壓縮感知（compressed sensing，CS）[3]理論在信號采集和處理領(lǐng)域引起了國內(nèi)外學(xué)者的廣泛關(guān)注。CS理論指出，將一個(gè)稀疏或可壓縮的高維信號投影到低維空間上，獲取原始信號的觀測值；同時(shí)，借助少量的觀測值，可以通過一定的線性或非線性優(yōu)化算法重構(gòu)出原始信號。在CS處理過程中，因?yàn)橛^測值的個(gè)數(shù)遠(yuǎn)遠(yuǎn)少于Nyquist采樣數(shù)，所以，如果將CS理論引入到視頻圖像編碼中[4-6]，就有望實(shí)現(xiàn)更有效的數(shù)據(jù)壓縮和更準(zhǔn)確的數(shù)據(jù)重構(gòu)。這為視頻編解碼提供了一種新思路，也為WMSN應(yīng)用于交通實(shí)時(shí)監(jiān)控提供了可能。

2 壓縮感知理論

假設(shè)一維有限長離散信號x∈RN×1，將其表示為N×1的列向量，所選取變換域空間的基函數(shù)為：，則x在Ψ 域表示為

式（3）是一個(gè)l0范數(shù)的優(yōu)化問題，即NP-難問題，在多項(xiàng)式時(shí)間內(nèi)難以求解，甚至無法驗(yàn)證其解的可靠性。理論分析表明，在一定條件下，l1最小范數(shù)和l0最小范數(shù)具有等價(jià)性，可以得到相同的解。那么將式（3）l0最小范數(shù)轉(zhuǎn)換為l1最小范數(shù)

式中：α是x在Ψ上的表示系數(shù)，若它有K個(gè)分量不為零，而N-K個(gè)分量為零或者非常接近于零，就稱x在Ψ域是K稀疏的或是近似K稀疏，也就是說，x是可壓縮的。

在稀疏條件下，用一個(gè)M×N的觀測矩陣Φ作用于信號x，獲取的觀測向量為y，則y=Φx，將式（1）代入，得到壓縮感知數(shù)學(xué)表達(dá)式[7]

式中，Θ是CS算子，在數(shù)學(xué)上表現(xiàn)為一M×N矩陣，由于M?N，因此，式（2）是個(gè)病態(tài)方程。但當(dāng)Θ滿足有限等距性質(zhì)（restricted isometry property，RIP）[8]時(shí)，等價(jià)于Ψ 和Φ不相關(guān)，通過數(shù)學(xué)優(yōu)化方法能夠獲得精確解[9]。因此，重構(gòu)原始信號等價(jià)于求解一個(gè)優(yōu)化問題，其優(yōu)化目標(biāo)表示如下

式（4）是一個(gè)非線性優(yōu)化問題，可用貪婪追蹤算法解此優(yōu)化問題，如正交匹配追蹤（OMP）算法[10]，也可以將非凸問題轉(zhuǎn)化為凸問題尋找信號的逼近，如基追蹤（BP）算法[11]、快速迭代收縮閾值（FIST）算法[12]等。

3 基于CS的WMSN視頻編解碼

3.1 視頻編碼

在交通視頻監(jiān)控中，監(jiān)測區(qū)域場景一般是固定的，連續(xù)視頻幀圖像的背景相同，且視頻圖像存在幀內(nèi)幀間相關(guān)性?；诖颂攸c(diǎn)，將視頻圖像組（group of picture，GOP）中的圖像幀定義為關(guān)鍵幀和非關(guān)鍵幀再分別進(jìn)行編碼。

在編碼過程中，將WMSN節(jié)點(diǎn)采集的每個(gè)GOP的第一幀作為視頻圖像關(guān)鍵幀，標(biāo)記為I幀，其余的視頻圖像幀稱作非關(guān)鍵幀，標(biāo)記為Pj幀。同時(shí)，因一個(gè)GOP中的視頻圖像背景相似，幀間存在強(qiáng)相關(guān)性，借助I幀的圖像信息，并利用幀間差值技術(shù)，可以獲得Pj幀的殘差幀視頻圖像ΔPj。

3.1.1 稀疏表示

對于交通視頻圖像，因其內(nèi)容中車輛等目標(biāo)圖像的像素存在鄰域相關(guān)，且細(xì)節(jié)豐富。而Symlets小波具有雙正交、近似對稱和緊支撐等特點(diǎn)，其小波系數(shù)在保持稀疏性時(shí)，能有效刻畫圖像細(xì)節(jié)信息。因此，可以選取Symlets小波對交通視頻圖像的I幀和殘差幀視頻圖像ΔPj進(jìn)行稀疏表示。

3.1.2 觀測過程

在CS理論中，對信號進(jìn)行重構(gòu)，要求CS算子滿足RIP特性，即觀測矩陣與稀疏基函數(shù)相關(guān)性非常小。已有理論證明：隨機(jī)高斯測量矩陣與絕大多數(shù)稀疏基不相關(guān)，且存儲(chǔ)簡單，因此，選用隨機(jī)高斯測量矩陣作為觀測矩陣對小波稀疏系數(shù)進(jìn)行觀測，可以最終獲得重構(gòu)視頻圖像所需要的采樣信號。

1）I幀觀測過程。設(shè)高斯測量矩陣是，其元素相互獨(dú)立并服從0均值、方差為的高斯分布即

經(jīng)過觀測過程，獲取的采樣觀測值為

對二維圖像的觀測是按列進(jìn)行的，觀測矩陣的行數(shù)，決定了視頻圖像采樣值的多少。設(shè)計(jì)合適的觀測矩陣，可以獲得最優(yōu)的觀測值以重構(gòu)出高質(zhì)量的視頻圖像。

2）Pj幀觀測過程。稀疏表示已獲得了Pj幀的殘差幀視頻圖像ΔPj，ΔPj與Pj相比較，ΔPj中的像素值更加稀疏，因此，經(jīng)小波變換后，非零的小波系數(shù)非常少，為加快觀測的實(shí)時(shí)性，由I幀觀測矩陣構(gòu)造出綜合觀測矩陣ΦP，對GOP中所有Pj幀的ΔPj進(jìn)行綜合觀測，ΦP表示為

式中：Φ1=Φ2=…=Φj=Φ，Φj對應(yīng)Pj幀的殘差幀視頻圖像，殘差幀視頻圖像ΔPj按式（5）進(jìn)行處理后獲得相應(yīng)的小波系數(shù)，進(jìn)而得到采樣觀測值為

由于非關(guān)鍵幀視頻圖像Pj經(jīng)幀間差值技術(shù)處理和小波變換后，小波系數(shù)已經(jīng)變得相當(dāng)稀疏，且ΦP中的矩陣元素相同，因此，設(shè)計(jì)的綜合觀測矩陣降低了編碼復(fù)雜性。

3.1.3 視頻圖像編碼具體過程

基于以上分析，交通視頻圖像的編碼過程如下：在每個(gè)GOP中，I幀經(jīng)小波變換直接感知觀測；對于Pj幀，先獲取殘差幀視頻圖像ΔPj，再經(jīng)小波變換后，利用綜合觀測矩陣獲取觀測值，觀測值經(jīng)量化[13]和熵編碼[14-15]后完成編碼。具體如圖2所示。

3.2 視頻解碼

在傳統(tǒng)視頻圖像解碼中，視頻解碼就是實(shí)現(xiàn)編碼的逆過程。然而基于CS的交通監(jiān)控WMSN視頻解碼中，重構(gòu)視頻是一個(gè)求解數(shù)值優(yōu)化問題的過程。

圖2 基于CS的WMSN視頻編碼過程Fig.2 WMSN video encoding based on CS

3.2.1 解碼算法

在解碼端，CS重構(gòu)過程中的優(yōu)化目標(biāo)函數(shù)為

利用拉格朗日算子將式（10）轉(zhuǎn)化為無約束的優(yōu)化問題

利用OMP算法迭代求解式（11），重構(gòu)I幀和殘差幀視頻圖像ΔPj，算法流程描述如下

輸入：Θ=ΦΨ∈RM×N：CS采樣算子矩陣

y∈RM×M：采樣觀測值

K：視頻圖像幀的稀疏度

中間變量：r∈RM×M：每次迭代產(chǎn)生的殘差

Λt：t次迭代后，選出的所有算子向量索引λt的集合

初始化：r0=y，Λ0=φ，t=I

循環(huán)迭代K次，獲得原始視頻圖像的近似表達(dá)

3.2.2 視頻圖像解碼具體過程

在視頻圖像解碼中，視頻碼流經(jīng)過熵解碼和逆量化后，獲得了視頻圖像I幀和殘差幀視頻圖像ΔPj的觀測值。然后，在圖像壓縮感知重構(gòu)中，通過運(yùn)行OMP算法迭代處理相應(yīng)的觀測值，重構(gòu)出GOP中的I幀圖像和殘差幀視頻圖像ΔPj，進(jìn)而恢復(fù)出視頻流。其解碼具體過程如圖3所示。

圖3 基于CS的交通監(jiān)控WMSN視頻圖像解碼Fig.3 WMSN video decoding of traffic surveillance based on CS

4 實(shí)驗(yàn)仿真與分析

4.1 I幀視頻圖像編解碼

在交通視頻監(jiān)控[15]中，Pj幀借助I幀信息完成重構(gòu)，因此I幀的重構(gòu)是視頻重構(gòu)的關(guān)鍵。在實(shí)驗(yàn)中，設(shè)置GOP中的原始I幀圖像大小為256×256，通過改變觀測次數(shù)重構(gòu)圖像，并對其進(jìn)行比較，具體仿真結(jié)果如圖4所示。圖4（a）是未經(jīng)處理的原始視頻I幀圖像；圖4（b）是在觀測次數(shù)為200時(shí)，重構(gòu)出的I幀視頻圖像，該圖中，在車輛聚集處，車輛之間的間隔不清，路標(biāo)牌上的字跡模糊，這表明視頻圖像質(zhì)量較差，其PSNR值僅為27.12 dB；圖4（c）是在觀測次數(shù)為300時(shí)，重構(gòu)出的I幀視頻圖像，與圖4（b）相比，其視覺效果更好，能辨出車間距離，字跡更清晰，沒有明顯的模糊效應(yīng)，而且PSNR值達(dá)到32.94 dB。

因此，可以得出結(jié)論：在視頻圖像重構(gòu)過程中，隨著觀測次數(shù)的增加，重構(gòu)出的視頻圖像的質(zhì)量更高、PSNR值也更大。

圖4 實(shí)驗(yàn)仿真結(jié)果圖Fig.4 The result pictures of experimental simulation

從視頻圖像質(zhì)量的主觀評價(jià)角度考慮，圖像質(zhì)量越高越好，那么需要相應(yīng)地增大觀測次數(shù)。但是，如果觀測次數(shù)太大，就延長了重構(gòu)時(shí)間，因此，需要依據(jù)交通視頻監(jiān)控標(biāo)準(zhǔn)設(shè)置合適的觀測次數(shù)。

圖5 實(shí)驗(yàn)仿真結(jié)果圖Fig.5 The result pictures of experimental simulation

4.2 Pj幀視頻圖像編解碼

對于Pj幀視頻圖像處理過程，采用與I幀相同的CS參數(shù)，當(dāng)觀測次數(shù)增加到一定程度時(shí)，重構(gòu)出的Pj幀視頻圖像的PSNR值沒有太大變化，結(jié)果如圖5所示。在圖5中，當(dāng)觀測次數(shù)大于300時(shí)，PSNR值基本不變。這種現(xiàn)象是因?yàn)椋簹埐顜曨l圖像經(jīng)Symlets小波變換后，小波系數(shù)已經(jīng)相當(dāng)稀疏，并且能重構(gòu)出高質(zhì)量的視頻圖像。因此，增加觀測次數(shù)，重構(gòu)出的Pj幀視頻圖像PSNR不會(huì)顯著變化。

5 總結(jié)

在交通視頻監(jiān)控過程中，利用監(jiān)控視頻圖像的幀內(nèi)、幀間相關(guān)性，并采用壓縮感知技術(shù)，對視頻圖像中的關(guān)鍵幀與非關(guān)鍵幀進(jìn)行編解碼。經(jīng)實(shí)驗(yàn)仿真分析得出：該方法在恢復(fù)原始的視頻圖像過程中，不但大大減少了傳輸數(shù)據(jù)量，而且重構(gòu)視頻圖像的PSNR值達(dá)到了30 dB以上。

[1]KUMAR P.Framework for real-time behavior interpretation from traffic video[J].IEEE Transaction on Intelligent Transportation Systems，2005，6（1）：43-53.

[2]AKYILDIZ I F，MELODIA T，CHOWDHURY K R.Wireless multi-media sensor network：a survey[J].IEEE Transactions on Wireless Communication，2007，14（6）：32-39.

[3]DONOHO D L.Compressed sensing[J].IEEE Transaction Information Theory，2006，52（4）：1289-1306.

[4]WAKIN M B，LASKA J N，DUARTEM.F，et al.Compressive imaging for video representation and coding[C]//Processing Picture Coding Symposium，special session on Next Generation Video Representation，Beijing，2006：1-6.

[5]ROMBERG J.Imaging via compressive sampling[J]，IEEE Signal Processing Magazine，2008，25（2）：14-20.

[6]DUARTE M，DAVENPORT M，TAKHAR D，et al.Single-pixel imaging via compressive sampling[J]，IEEE Signal Processing Magazine，2008，25（2）：83-91.

[7]石光明，劉丹華，高大化，劉哲，林杰，王良君.壓縮感知理論及其研究進(jìn)展[J].電子學(xué)報(bào)，2009，37（5）：1070-1081.

[8]TONG ZHONG.Sparse recovery with orthogonal matching pursuit under RIP[J].IEEE Transaction，2011，57（9）：6215-6221.

[9]CANDES E J，WAKIN M B.An introduction to compressive sampling[J].IEEE Signal Processing Magazine，2008，25（2）：21-30.

[10]TROPP J A，GIBERT A C.Signal recovery from random measurements via orthogonal matching Pursuit[J].IEEE Transactions on Information Theory，2007，53（12）：4655-4666.

[11]CHEN S B，DONOHO D L，SAUNDERS M A，Atomic decomposition by basis pursuit[J].Siam Journal on Scientific Computing，1998，20（1）：33-61.

[12]A.BECK，M.TEBOULLE.A fast iterative shrinkage-thresholding algorithm for linear inverse problems[J].Siam Journal on Imaging Sciences，2009，2（1）：183-202.

[13]Y.BAIG，E.M.K.LAI，J.P.LEWIS.Quantization effects on compressed sensing video[C]//17th International Conference on Telecommunications.IEEE，2010：443-446.

[14]THOMAS WIEGAND，GARY J SULLIVAN，AJAY LUTHRA，et al.Overview of the H.264 video coding standard[J].IEEE Transactions on Circuits and Systems for Video Technology，2003，13（7）：1-19.

[15]郭厚焜，吳峰，黃萍.基于壓縮感知和字典學(xué)習(xí)的背景差分法[J].華東交通大學(xué)學(xué)報(bào)，2012，29（1）：43-47.