基于變采樣率壓縮感知的視頻壓縮研究*

李如春，李　林，常麗萍

（浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023）

基于變采樣率壓縮感知的視頻壓縮研究*

李如春，李林，常麗萍

（浙江工業(yè)大學(xué) 信息工程學(xué)院，浙江 杭州 310023）

業(yè)界分塊視頻壓縮感知通常對(duì)所有圖像塊均采用相同的測(cè)量矩陣進(jìn)行測(cè)量，這種方式未考慮到視頻中不同區(qū)域的變化程度不同的事實(shí)。在視頻幀間相關(guān)性的基礎(chǔ)上提出一種自適應(yīng)分配采樣率的方法，即在編碼端根據(jù)圖像塊的幀間相關(guān)性大小分類(lèi)并分配不同的采樣率；在解碼端使用全變差算法以充分利用幀間相關(guān)性。為減小網(wǎng)絡(luò)環(huán)境影響，此算法不區(qū)分參考幀與非參考幀，并對(duì)每一幀作相同處理。實(shí)驗(yàn)結(jié)果表明，該方法能夠在較低采樣率下重構(gòu)出較高質(zhì)量的視頻圖像，并且縮短計(jì)算時(shí)間。

壓縮感知；視頻編碼；全變差算法；變采樣率；分塊

0　引言

壓縮感知理論（Compressed Sensing，CS）于2004年由Candès，Donoho和 Tao等人提出，2006年 Candès等人從數(shù)學(xué)上證明壓縮傳感可以從部分傅里葉變換系數(shù)中精確重構(gòu)出原始信號(hào),奠定了壓縮感知的理論基礎(chǔ)[1-2]。壓縮感知理論的基本思想為，如果某個(gè)變換域下信號(hào)是稀疏的,那么使用與該變換算子不相關(guān)的測(cè)量矩陣對(duì)原始信號(hào)投影,就可以通過(guò)稀疏優(yōu)化算法從少量測(cè)量值中高概率地重構(gòu)出原始信號(hào)。

基于壓縮感知的視頻壓縮，通常把整幀圖像作為一個(gè)整體進(jìn)行處理，由此使得測(cè)量矩陣需要非常大的存儲(chǔ)空間，并且增加了重構(gòu)過(guò)程的復(fù)雜度。為此，Gan于2007年提出一種分塊采樣模式，將單幀圖像分塊并對(duì)每一塊采用相同的測(cè)量矩陣采樣[3]，但這種采用相同采樣率的分塊模式忽略了每個(gè)塊具有不同復(fù)雜度的事實(shí)，為了克服這一缺陷，文獻(xiàn)[4-5]提出了率失真優(yōu)化法、像素熵方法對(duì)塊進(jìn)行分類(lèi)并分配不同的采樣率的方法，文獻(xiàn)[6]又提出一種易于用硬件實(shí)現(xiàn)的自適應(yīng)測(cè)量率方法。但這些方法在處理過(guò)程中需要獲取圖像原始數(shù)據(jù)，違背了壓縮感知中采樣與壓縮同步進(jìn)行的基本精神。

綜上，本文提出一種簡(jiǎn)便且有效的基于變采樣率的分塊視頻壓縮感知方法，使用全變差(Total Variation，TV)算法重構(gòu)壓縮視頻，并且不區(qū)分關(guān)鍵幀與非關(guān)鍵幀，避免因網(wǎng)絡(luò)環(huán)境不穩(wěn)定造成參考幀的丟失，造成無(wú)法重構(gòu)視頻的后果。

1　分塊自適應(yīng)測(cè)量率壓縮感知算法

由于視頻的不同區(qū)域具有不同場(chǎng)景復(fù)雜度和變化強(qiáng)度，據(jù)此，本文根據(jù)分塊視頻幀間的變化程度合理分配采樣率，即變化程度較小的塊分配較低的采樣率，變化程度較大的塊分配較高的采樣率，并將視頻塊分成近似靜止塊、緩慢變化塊和快速變化塊3類(lèi)，這樣保證了在較低的總采樣率下仍能較高質(zhì)量地重構(gòu)視頻圖像[7]。具體處理流程如圖1所示。

圖1　基于變采樣率壓縮感知的視頻處理流程

進(jìn)行自適應(yīng)測(cè)量率設(shè)定時(shí)，首先選取合適的塊大小B，將視頻幀不重疊分塊得到K個(gè)B×B大小的塊，然后利用相同的測(cè)量矩陣進(jìn)行預(yù)采樣，得到每個(gè)圖像塊的測(cè)量向量。由于視頻場(chǎng)景復(fù)雜度和變化強(qiáng)度與幀間像素的差值直接相關(guān)，因此，可以根據(jù)殘差能量進(jìn)行視頻塊的分類(lèi)，即分類(lèi)判別標(biāo)準(zhǔn)設(shè)定為：

上述方法需要在采集端獲得原始數(shù)字圖像，這在實(shí)際的壓縮成像設(shè)備中無(wú)法實(shí)現(xiàn)。為了克服這一缺陷，采用測(cè)量域的殘差能量密度作為判別標(biāo)準(zhǔn)，具體如式(3)所示。

為確保式(3)能夠準(zhǔn)確分類(lèi)，需要對(duì)塊進(jìn)行預(yù)采樣得到測(cè)量向量，保證測(cè)量向量能夠提供足夠的信息量，使得其能夠正確反映當(dāng)前塊的變化程度，但預(yù)采樣率太高會(huì)影響采樣速度，加大存儲(chǔ)硬件的實(shí)現(xiàn)難度[9]以及采樣時(shí)間。因此，要選擇合適的預(yù)采樣率，保證能夠?qū)崿F(xiàn)準(zhǔn)確分類(lèi)，并且避免影響采樣速度。

2　重構(gòu)算法

壓縮感知的重構(gòu)算法很多，主要有貪婪迭代算法和凸優(yōu)化算法兩大類(lèi)，其中全變差(TV)算法[10]是凸優(yōu)化算法中較為典型的一種，雖然重構(gòu)速度較慢，但重構(gòu)效果好，其基本思想是基于梯度的二維信號(hào)重構(gòu)。TV算法以信號(hào)的稀疏性為基礎(chǔ)，對(duì)粗糙的初值圖像進(jìn)行連續(xù)迭代，逐步減小誤差直至恢復(fù)出最小誤差信號(hào)。定義大小為n×n的圖像數(shù)據(jù)用U表示，i和j分別表示圖像的行坐標(biāo)與列坐標(biāo)，則可以用 Ui，j表示坐標(biāo)點(diǎn)的像素值，圖像的水平與垂直一階微分算子表示如下：

由于TV算法是以梯度算法為基礎(chǔ)，圖像中的導(dǎo)數(shù)可以用相鄰像素間的差值表示，因此要求出圖像在水平與豎直方向的導(dǎo)數(shù)，并以這兩個(gè)方向的導(dǎo)數(shù)判斷圖像的最快變化方向，并以最快變化的反方向作為梯度的搜索方向，從而最快逼近原始圖像，結(jié)束迭代過(guò)程。

由式(4)、(5)得出離散梯度向量，可表示如下：

由全變差的定義以及以上3個(gè)公式，可得知全變差值為所有像素離散梯度向量模的總和，如下式：

二維圖像信號(hào)每個(gè)像素的總變差梯度為：

迭代過(guò)程中，迭代閾值可以設(shè)為全變差的值，當(dāng)?shù)档陀陂撝禃r(shí)可認(rèn)為重構(gòu)出原始圖像[11－12]。

基于上述TV重構(gòu)算法的思想，利用其進(jìn)行圖像重構(gòu)時(shí)，像素梯度即為幀間殘差，可以無(wú)需選取關(guān)鍵幀，對(duì)每一幀做相同的處理，更適合無(wú)線視頻的壓縮處理。

3　實(shí)驗(yàn)結(jié)果

本文基于MATLAB軟件平臺(tái)，在傅里葉域下測(cè)試提出基于自適應(yīng)采樣率的壓縮感知方法，采用TV重構(gòu)算法，對(duì)視頻序列進(jìn)行壓縮。使用4組標(biāo)準(zhǔn)視頻序列測(cè)試文中提出的方法性能：Football、Foreman、News、Suzie。Foreman的分辨率為176×144，其余3個(gè)序列的分辨率都為352×288。其中Football序列的場(chǎng)景變化較劇烈，其余3個(gè)序列變化較緩慢，并且選取每個(gè)序列的前50幀圖像作為測(cè)試對(duì)象。

（1）預(yù)采樣率設(shè)定

采用32×32大小的塊，由于變采樣率方法中需要進(jìn)行預(yù)采樣，下面對(duì)預(yù)采樣率的選取進(jìn)行試驗(yàn)。選用上述4種視頻序列作為測(cè)試對(duì)象，分別設(shè)置預(yù)采樣率從10%～30%，計(jì)算視頻幀的峰值信噪比PSNR和重構(gòu)得平均時(shí)間，測(cè)試結(jié)果如表1～表4所示。

從表1中可以看出，采用的預(yù)采樣率越高，重建效果越好，但是重建所用時(shí)間也越多，綜合圖像 PSNR以及編碼時(shí)間，本文選取預(yù)采樣率25%。

（2）變采樣率視頻壓縮

表1　預(yù)采樣率大小對(duì)重建效果與平均時(shí)間對(duì)比(Football)

表2　預(yù)采樣率大小對(duì)重建效果與平均時(shí)間對(duì)比(Foreman)

表3　預(yù)采樣率大小對(duì)重建效果與平均時(shí)間對(duì)比(News)

表4　預(yù)采樣率大小對(duì)重建效果與平均時(shí)間對(duì)比(Suzie)

視頻幀的塊大小設(shè)置為32×32，固定采樣率取45%；關(guān)于自適應(yīng)采樣率大小，通過(guò)對(duì)視頻序列進(jìn)行多次試驗(yàn)選擇了一組通用性較強(qiáng)的參數(shù)，既可以保證采樣率較低，又可以保證重構(gòu)質(zhì)量較好，3種類(lèi)別的塊采樣率分別設(shè)為S1＝10%，S2＝20%，S3＝45%。針對(duì)表1～表4所列的測(cè)試序列，對(duì)固定采樣率和變采樣率分別基于壓縮感知進(jìn)行視頻壓縮測(cè)試，其迭代次數(shù)及PSNR變化結(jié)果如圖2所示。

觀察圖2可知，本文提出的自適應(yīng)采樣率方法比固定采樣率處理的圖像PSNR值提高約3～4 dB，而趨于收斂的重構(gòu)迭代次數(shù)并沒(méi)有增加。

關(guān)于兩種方法處理視頻圖像所消耗的時(shí)間，以Foreman前 50幀圖像為例，使用固定采樣率方法處理所用的平均時(shí)間為 264.2 s，自適應(yīng)采樣率方法所需時(shí)間略低，約為253.4 s。這是由于自適應(yīng)變采樣率雖然增加了計(jì)算能量殘差的步驟，但是可以根據(jù)不同場(chǎng)景的變化程度和結(jié)構(gòu)復(fù)雜度，自適應(yīng)分配采樣率，減少了運(yùn)算時(shí)間。由此可見(jiàn)，在重構(gòu)質(zhì)量和時(shí)間上，自適應(yīng)采樣率方法性能均較優(yōu)。

對(duì)于內(nèi)容變化較簡(jiǎn)單的測(cè)試序列，如Foreman序列，自適應(yīng)采樣率方法可以降低采樣率，獲得較好的重構(gòu)效果。而對(duì)于內(nèi)容變化較復(fù)雜的測(cè)試序列，如 Football序列，自適應(yīng)采樣率方法可以提高采樣率，在所用時(shí)間不會(huì)大幅增加的前提下，使得重構(gòu)效果可以接受。總之，本文提出的自適應(yīng)采樣率方法可以根據(jù)視頻內(nèi)容與變化程度自適應(yīng)地調(diào)整采樣率，使本文方法應(yīng)用于不同視頻時(shí)可以獲得較好的重構(gòu)質(zhì)量。

圖2　固定采樣率與自適應(yīng)采樣率壓縮效果對(duì)比圖

4　結(jié)論

本文基于壓縮感知思想提出一種自適應(yīng)分配測(cè)量采樣率的視頻壓縮方法。在編碼端，選取合適的塊大小，將圖像分成不重疊的相同大小塊，按照幀間相關(guān)性對(duì)圖像塊進(jìn)行分類(lèi)并分配不同的采樣率。在解碼端采用全變差算法以充分利用幀間相關(guān)性，使得視頻壓縮時(shí)不需要參考幀與非參考幀，更適合于無(wú)線網(wǎng)絡(luò)的傳輸。實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠在總采樣率較低的情況下，重構(gòu)出較高質(zhì)量的視頻圖像，而且重構(gòu)時(shí)間縮短。

[1]CANDES E J，ROMBERG J，TAO T.Robust uncertainty principles：exact signal reconstruction from highly incomplete frequency information[J].IEEE Transactions on Information Theory，2006，52(2)：489－509.

[2]DONOHO D L.Compressed sensing[J].IEEE Transaction on Information Theory，2006，52(4)：1289－1306.

[3]GAN L.Block compressed sensing of natural images[C]. Proceedings of the 15th International Conference on DigitalSignal Processing，Cardiff，UK，2007：403-406.

[4]VIJAYANAGAR K R，LIU Y，KIM J.Adaptive measurement rate allocation for block-based compressed sensing of depth maps[C].Image Processing(ICIP)，2014 IEEE International Conference on.IEEE，2014：1307-1311.

[5]BAI H，ZHANG M，LIU M，et al.Depth image coding using entropy-based adaptive measurement allocation[J]. Entropy，2014，16(12)：6590-6601.

[6]李然，干宗良，崔子冠，等.圖像分塊壓縮感知中的自適應(yīng)測(cè)量率設(shè)定方法[J].通信學(xué)報(bào)，2014，35(7)：77-85.

[7]張秋余，孫媛，晏燕.基于分塊自適應(yīng)壓縮感知的可逆水印算法[J].電子與信息學(xué)報(bào)，2013，35(4)：797-804.

[8]田天.基于幀間相關(guān)性的視頻壓縮感知算法[D].秦皇島：燕山大學(xué)，2013.

[9]練秋生，田天，陳書(shū)貞，等.基于變采樣率的多假設(shè)預(yù)測(cè)分塊視頻壓縮感知[J].電子與信息學(xué)報(bào)，2013，35(1)：203-208.

[10]LI C，JIANG H，ZHANG Y.Video coding using compressive sensing for wireless communications[C].IEEE Wireless Communications and Networking Conference.2011：2077-2082.

[11]王田川.壓縮感知算法改進(jìn)及其在圖像和視頻編碼中的應(yīng)用[D].南京：南京郵電大學(xué)，2013.

[12]趙彥孟，宋建新.一種基于壓縮感知全變差算法的圖像去噪方法[J].電視技術(shù)，2014，38(5)：5-8.

Block compressed sensing of video based on variable sampling rates

Li Ruchun，Li Lin，Chang Liping
(School of Information and Engineering，Zhejiang University of Technology，Hangzhou 310023，China)

The current block compressed sensing of video usually uses the same measurement matrix to all image block,this method ignores the fact that the structural complexity and the movement varies from different regions in video.Therefore,an adaptive allocation of sampling rate compressed sensing method is proposed according to the distribution feature of the correlations between neighboring frames.It classified blocks into different types depending on the inter-frame correlation,and adjusted different sampling rate to different blocks,total variation algorithm was used to reconstruct the videos to make fully use of the inter-frame correlation.In order to overcome the network environment,this algorithm didn′t distinguish the reference frame and the non-reference frame,each frame was treated equally.The experimental results show that the method can reconstruct high quality video image under low sampling rate,and with the variable sampling rate measurement method,a higher reconstruction quality can be achieved for the regions containing relatively fast movement.

compressed sensing；video coding；total variation algorithm；variable sampling rates；block

TN911.73

A

10.16157/j.issn.0258-7998.2015.10.040

2013年青年科學(xué)基金項(xiàng)目（61304124）

2015-05-10)

李如春（1968-），女，博士，副教授，主要研究方向：微型傳感器設(shè)計(jì)、視頻信號(hào)處理等。

李林（1990-），通信作者，女，碩士研究生，主要研究方向：基于壓縮感知的視頻信號(hào)處理等，E-mail：270299417@qq.com。

常麗萍（1980-），女，博士，副教授，主要研究方向：通信與信號(hào)處理、光纖傳感技術(shù)等。

中文引用格式：李如春，李林，常麗萍.基于變采樣率壓縮感知的視頻壓縮研究[J].電子技術(shù)應(yīng)用，2015，41(10)：147-149，153.

英文引用格式：Li Ruchun，Li Lin，Chang Liping.Block compressed sensing of video based on variable sampling rates[J].Application of Electronic Technique，2015，41(10)：147-149，153.