壓縮感知在視頻編解碼中的發(fā)展與應用

1 引言

近些年，隨著物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的發(fā)展出現(xiàn)了如移動可視電話、無線可視會議等大量的視頻應用。這些視頻應用終端設(shè)備一般都具有計算和存儲能力有限的特點。而隨著圖像和視頻的使用在日常生活和工作中所占比重逐漸增大，龐大的多媒體數(shù)據(jù)給數(shù)據(jù)的采集、計算、存儲和傳輸帶來了巨大的挑戰(zhàn)。傳統(tǒng)的視頻編解碼標準，如MPEG-x和H.26x，在編碼端由于要進行非常復雜的計算，其編碼設(shè)備往往需要具有較高的計算性能，這就導致傳統(tǒng)視頻編解碼標準很難適用于這類新興視頻應用。

為解決上述問題，一種以無損編碼理論[1]和有損編碼理論[2]為基礎(chǔ)的無線視頻編碼方案——分布式視頻編碼（Distributed Video Coding,DVC）被提出并得到了廣泛的關(guān)注。與傳統(tǒng)視頻編解碼標準不同的是，分布式視頻編碼將視頻序列看做是統(tǒng)計相關(guān)的信源進行獨立編碼，在解碼端利用幀間相關(guān)性進行聯(lián)合譯碼。該方案在一定程度上降低了編碼端的復雜度，并且具有抗誤碼性能好、易形成分級編碼碼流等特點。但是其仍受奈奎斯特采樣定理限制，依然具有非常高的采樣率。

2006年，壓縮感知理論被提出[3],該理論指出對于稀疏信號可通過遠低于奈奎斯特定理要求的采樣率進行采樣并且能高概率恢復。因此有研究學者將壓縮感知與分布式視頻編碼結(jié)合，提出了分布式視頻壓縮感知（Distributed Video Compressed Sensing,DVCS）方案。由于DVCS具備分布式視頻編碼與壓縮感知的雙重優(yōu)點，使其一直成為近些年的研究熱點。

近年來，深度學習技術(shù)在機器學習問題上取得了眾多令人矚目的成果，成為機器學習領(lǐng)域中最亮眼的一個分支[4]。由于其在特征提取和圖像分類方面有著明顯的優(yōu)勢，使其與壓縮感知技術(shù)的結(jié)合成為一種新的思路?；谏疃葘W習的壓縮感知視頻重建技術(shù)具有極高的重構(gòu)速度與可比的重構(gòu)質(zhì)量，目前也成為了視頻壓縮重構(gòu)領(lǐng)域的研究熱點之一。

2 壓縮感知理論

壓縮感知突破了奈奎斯特采樣定理的瓶頸，可以實現(xiàn)在信號采樣的同時完成壓縮，并利用較少的采樣值對信號進行重建，實現(xiàn)了低復雜度的壓縮編碼。壓縮感知理論原理描述如下：

3 分布式視頻壓縮感知

分布式視頻壓縮感知在分布式視頻編碼的基礎(chǔ)上引入了壓縮感知技術(shù)，其可以直接對測量值進行量化傳輸，少了DVC中較多繁瑣的操作，因此具有較低的編碼計算復雜度，非常適合在近些年新興出現(xiàn)的無線視頻終端中應用。

在早期，Prades-Nebot J等人在DVC的基礎(chǔ)上提出了基于壓縮感知的分布式視頻編碼系統(tǒng)DISCUS[5]。該系統(tǒng)針對關(guān)鍵幀依然采用傳統(tǒng)幀內(nèi)編碼方法，而對于CS幀則需要經(jīng)過CS測量、均勻量化和比特存儲等步驟。在解碼端，根據(jù)反饋信道傳輸?shù)谋忍財?shù)結(jié)合關(guān)鍵幀對CS幀進行重構(gòu)。該系統(tǒng)由于存在反饋信道，因此實時性較差，而且關(guān)鍵幀仍然采用傳統(tǒng)幀內(nèi)編碼方法，因此編碼端復雜度較高。之后Kang L W等人對DISCUS系統(tǒng)進行了改進，提出了一種新的DVCS方案[6]，如圖1所示。該方案在編碼端對關(guān)鍵幀和CS幀均采用CS測量，而且去掉了反饋信道。在解碼端，利用重構(gòu)關(guān)鍵幀內(nèi)插生成的邊信息恢復CS幀。

圖1 Kang L W提出的DVCS方案

該方案雖然解決了實時性問題，但是由于其編碼端均是整幀測量，因此編碼端存儲開銷較大。

由于上述框架在視頻重構(gòu)質(zhì)量上與傳統(tǒng)框架仍有一定的差距，因此為了提高視頻重構(gòu)效果，有較多學者在上述框架基礎(chǔ)上進行了深入的研究，主要是如何突破以下幾個方面的問題：① 根據(jù)圖像結(jié)構(gòu)復雜程度，如何提出更高效的自適應采樣率分配方案，以最大效率利用采樣值；② 探索更高效的重構(gòu)算法，使視頻信號的重構(gòu)更加精確；③ 如何根據(jù)視頻信號的時空相關(guān)性構(gòu)造更精確的邊信息，以達到更好的重構(gòu)效果。

針對第一個問題，文獻[7]根據(jù)圖像塊的復雜程度，利用圖像塊的全變差分值進行采樣率的自適應分配。該算法雖然提高了重構(gòu)質(zhì)量，但是算法復雜度較高。文獻[8]對圖像進行小波變換分解，以均值及熵為標準進行自適應采樣，實現(xiàn)了圖像塊的分類壓縮重構(gòu)。文獻[9]利用不同圖像塊間的不同統(tǒng)計特性對采樣率進行自適應分配，提高了圖像的重構(gòu)質(zhì)量。文獻[10]根據(jù)視覺顯著特性提出了一種自適應分塊壓縮感知算法，進一步提高了視頻的重構(gòu)質(zhì)量。

針對第二個問題，其主要依賴于單幀圖像的重構(gòu)算法。文獻[11]利用圖像梯度域具有稀疏性的特征，通過最小全變差算法重建二維圖像。該方法雖然能夠獲得較好的重構(gòu)質(zhì)量但是具有極大的重構(gòu)復雜度。平滑投影Landweber算 法[12]（Smoothed Projected Landweber,SPL）專門針對圖像分塊測量情形,通過維納濾波有效消除了圖像的塊效應。由于該算法的高效性，其被廣泛應用于視頻圖像重構(gòu)。組稀疏重構(gòu)（Group-based Sparse Representation,GSR）算法[13]以相似塊組的奇異值具備稀疏性為前提，對每個相似塊組建立自適應稀疏表示字典，進一步提高了圖像的重構(gòu)質(zhì)量。

對于第三個問題，文獻[14]將多假設(shè)預測運用到DVCS中，并利用SPL算法對視頻信號進行殘差重構(gòu)，提出了多假設(shè)預測重構(gòu)算法（Multihypothesis Prediction BCS-SPL,MH-BCS-SPL）。該算法在一定程度上利用了視頻信號的時空相關(guān)性，但不夠充分。文獻[15]在MHBCS-SPL算法基礎(chǔ)上對假設(shè)集進行了改進，提高了多假設(shè)預測精度。文獻[16]提出一種基于彈性網(wǎng)的多假設(shè)視頻壓縮感知重構(gòu)算法，其通過求解彈性網(wǎng)回歸問題使得各假設(shè)塊的權(quán)值分配更加精確。由于GSR算法的出色表現(xiàn)，文獻[17]通過強化圖像塊基本特征來提高相似塊匹配效果，同時引入結(jié)構(gòu)相似度標準，提出了一種多假設(shè)局部增強重構(gòu)算法，有效提高了視頻重構(gòu)質(zhì)量。

4 基于深度學習的壓縮感知視頻重構(gòu)

基于壓縮感知的傳統(tǒng)視頻編解碼方法是建立在信號具有稀疏性這一先驗條件上的，并且需要進行多次的迭代才能達到一定的重構(gòu)質(zhì)量。這類方法一般存在兩個問題：（1）由于重構(gòu)算法多次迭代，重構(gòu)時間一般較長，難以實現(xiàn)實時性，限制了壓縮感知在視頻編解碼中的應用。（2）自然信號在變換域中往往不是精確稀疏的，僅由稀疏性建模的重構(gòu)算法在重構(gòu)過程中會帶來一定質(zhì)量的下降。

近年來，深度學習在計算機視覺和圖像處理中顯示出良好的性能。因此，許多學者將深度學習引入到視頻壓縮感知重構(gòu)中。最先將深度學習技術(shù)與壓縮感知結(jié)合的是R.G.Baraniuk團隊，該團隊提出了一種利用SDA對欠采樣測量值進行重建的全連接框架[18]。

該框架將測量值分為線性測量和非線性測量兩種方式。重建網(wǎng)絡將SDA作為一種特征學習器來獲得信號中不同元素之間的統(tǒng)計相關(guān)性，以此提高信號重構(gòu)性能。文獻[19]使用DeepInverse深度卷積神經(jīng)網(wǎng)絡來學習從測量值到原始信號的逆變換。DeepInverse網(wǎng)絡框架如圖2所示，重建網(wǎng)絡的輸入為測量值，然后通過全連接層得到原始信號的估計值，最后通過卷積層重構(gòu)信號。文獻[20]在實現(xiàn)了圖像分塊處理的情況下提出了ReconNet網(wǎng)絡。該網(wǎng)絡是基于CNN設(shè)計的網(wǎng)絡結(jié)構(gòu)，但由于卷積核較大且網(wǎng)絡層較少，影響了重構(gòu)精度。Bora等人利用生成模型構(gòu)建了一個基于深度學習的壓縮感知重構(gòu)框架[21]。該框架雖沒有利用到信號的稀疏特性，但是其假設(shè)信號接近生成模型的值域，因此能獲得一定的重構(gòu)性能保證。

圖2 DeepInverse網(wǎng)絡框架

5 總結(jié)

由于壓縮感知在信號處理方面具有獨特的優(yōu)勢，現(xiàn)已廣泛應用于視頻圖像處理領(lǐng)域。在傳統(tǒng)的分布式視頻壓縮感知方法中，由于迭代算法重構(gòu)復雜度較高，因此很難在有實時性要求的應用中實現(xiàn)。此外，DVCS對非關(guān)鍵幀的重構(gòu)質(zhì)量也有待進一步提高。為了提高視頻圖像處理的速度和質(zhì)量，深度學習被應用到壓縮感知視頻重構(gòu)中。基于深度學習的壓縮感知視頻重構(gòu)算法具有著極高的重構(gòu)速度，能實現(xiàn)實時重構(gòu)，但其靈活性較差，在不同采樣率下均需進行模型訓練，并且重構(gòu)性能也有待提高?？傊?，不論是分布式視頻壓縮感知方法還是基于深度學習的壓縮感知重構(gòu)方法，其重構(gòu)質(zhì)量與傳統(tǒng)編解碼方法對比還有一定差距。如何將DV1CS與深度學習有效結(jié)合還需要研究者們積極、共同的努力。