基于塊分類的礦井視頻圖像DCVS重構算法

趙小虎, 沈雪茹, 李婉梅, 王 寬

(中國礦業(yè)大學a. 信息與控制工程學院; b. 物聯(lián)網(感知礦山)研究中心;c. 礦山互聯(lián)網應用技術國家地方聯(lián)合工程實驗室, 江蘇 徐州 221008)

0 引言

礦井的智能監(jiān)控、煤層識別和礦物探測等對視頻圖像的質量和傳輸實時性要求較高, 尤其是在井下無人值守的工作區(qū)域,視頻圖像的數據量大,圖像的傳輸和存儲較困難, 故如何減少信息的傳輸量和提高傳輸效率備受關注．分布式視頻編碼(distributed video coding,DVC)在編碼端對信源進行獨立編碼,在解碼端利用視頻序列的相關性進行聯(lián)合解碼, 降低了編碼端的復雜度．傳統(tǒng)的DVC系統(tǒng)是基于信道編碼的,對單幅圖像的編碼仍須進行大量計算．壓縮感知(compressed sensing, CS)[1-2]技術因其較低的采樣率以及編碼端的低復雜度,在多信號傳輸處理中發(fā)揮著良好的作用．Liu等[3]將CS理論引入分布式視頻編碼中, 形成分布式壓縮視頻感知(distributed compressed video sensing, DCVS)理論．典型的DCVS框架主要有分布式壓縮視頻感知框架[4]以及基于塊的DCVS框架[5]．近年來,關于改進DCVS框架的研究甚多．Brendt[6]通過改進稀疏表示算法,提出一種有效的卷積稀疏表示方法,取得良好的稀疏表示效果．趙睿思等[7]在邊信息生成方面進行改進,利用邊信息生成字典來輔助非關鍵幀的重構,一定程度地提高了非關鍵幀的重構質量．邊信息的加入可以提高解碼端CS幀的重構質量,邊信息獲取的準確性直接影響CS幀的重構性能．獲取邊信息的過程可以采用K-SVD訓練字典[8]的方法生成或對已解碼的關鍵幀做運動估計, 在時域中內插生成．但是上述對DCVS框架改進的方案中,均未充分利用視頻序列中相鄰關鍵幀在不同區(qū)域中幀間相關性的差異; 因此, 本文提出一種基于塊分類的分布式視頻編解碼方案,根據不同的幀間相關性對視頻幀進行塊分類, 在編碼端, 不同類型的塊采用不同的稀疏基策略; 在解碼端,根據塊分類的結果采用不同的權值以獲取邊信息輔助非關鍵幀的重構．

1 視頻圖像信號的稀疏表示

在傳統(tǒng)的視頻編解碼中, 塊預測與離散余弦變換(discrete cosine transform, DCT)相結合的混合編碼方案可以快速降低視頻圖像的時空相關性．為了獲得更好的稀疏表示, 筆者參考該稀疏模型, 針對非關鍵幀提出一種新的混合稀疏基模型, 對關鍵幀仍采用原始的DCT稀疏基．混合稀疏基Ψi=[ΨDCT;Ψinter], 其中ΨDCT為原始DCT基, 可由DCT域中的線性變換獲取;Ψinter為塊預測基, 可通過相鄰解碼關鍵幀生成的邊信息預測獲?。?/p>

圖1 塊分類結果及對應的稀疏基策略Fig.1 Block classification results and corresponding sparse basis strategies

2 基于塊分類加權邊信息的DCVS框架

在分布式視頻編碼框架中, 將視頻序列分幀并分成若干個圖像組(group of pictures, GOP), 每一個GOP組中包含一個關鍵幀(Key幀)和若干非關鍵幀(CS幀)．根據視頻幀間不同的相關性,構建如圖2所示的基于塊的分類加權邊信息DCVS框架．

圖2 基于塊的分類加權邊信息DCVS框架Fig.2 Block-based classification weighted side information DCVS framework

在編碼端, Key幀采用傳統(tǒng)的DCT采樣, CS幀采用本文混合稀疏基策略采樣, 測量矩陣均采用隨機高斯矩陣．在解碼端,對關鍵幀采用稀疏度自適應匹配追蹤(sparsity adaptive matching pursuit, SAMP)算法進行重構, 而非關鍵幀的重構結果是前后兩個關鍵幀的重構值分別進行前向和后向運動估計生成的邊信息與非關鍵幀的殘差重構相結合的產物．

傳統(tǒng)的通過已解碼關鍵幀做運動估計求取邊信息的方法大多是對當前幀的前后兩個關鍵幀的重構值做前向和后向運動估計, 然后按照某一固定的權值(通常為1/2)相加獲得邊信息輔助CS幀的重構[9]．然而,視頻序列中的不同區(qū)域幀間相關性不同,視頻的變化場景和運動程度不一,當前后向運動估計幀間相關性較弱時,仍采用固定的權值并不能很好地預測當前幀,以此生成的邊信息的準確度偏低,進而影響非關鍵幀的重構．故筆者將充分考慮幀間相關性,提出一種基于塊的加權邊信息生成方案．

在非關鍵幀的重構中, 非關鍵幀的重構結果xrec=Is+rrec, 其中rrec為非關鍵幀的測量值和邊信息對非關鍵幀的殘差重構．假設某視頻的非關鍵幀為x, 其測量值y=Φx, 其中Φ為測量矩陣,邊信息在測量域的值用E(Is,Φ)表示, 計算測量域的殘差為r=y-E(Is,Φ), 對殘差r進行重構可得rrec．非關鍵幀的重構結果為xrec=Is+rrec．

3 仿真結果與分析

選取煤礦井下采集的2組不同視頻序列, 驗證本文混合稀疏基下采用分類加權邊信息(classification weighted side information, CWSI)生成方法時的重構性能,并將其與固定加權邊信息(fixed weighted side information, FWSI)[10]和傳統(tǒng)的DCVS方案[11]進行對比分析．視頻序列中GOP組內關鍵幀和非關鍵幀的測量與重構都是基于塊的,現將GOP的第一幀定義為關鍵幀, 其余幀為CS幀,考慮關鍵幀在整個重構過程中的重要地位,選擇關鍵幀的采樣率為0.9．為了驗證CS幀中分類加權邊信息在不同采樣率下的重構時間復雜度和重構質量,選取視頻序列中某一GOP組中的CS幀進行2組對比實驗,結果如圖3～4所示．

圖3 不同采樣率下非關鍵幀的重構時間復雜度Fig.3 Reconstruction time complexity of non-key frames at different sampling rates

圖4 不同采樣率下非關鍵幀的重構質量Fig.4 PSNR value of reconstruction quality of non-key frames at different sampling rates

由圖3～4可見: 1) 不同采樣率下, CWSI算法與其他2種算法的重構時間相近,算法的復雜度較低; 2) CWSI算法的重構質量優(yōu)于傳統(tǒng)的DCVS算法和FWSI算法．當采樣率大于0.3時, 采樣率的增大并不能明顯提高峰值信噪比,故基于能耗和重構質量的考慮,本文選擇非關鍵幀的最佳采樣率為0.3．

選取2組視頻序列中的30個GOP圖像組, 每個GOP中包含3個圖像幀,其中第一幀為關鍵幀,其余幀為CS幀．選取GOP組中30個CS幀進行仿真實驗,采樣率為0.3, 對CWSI算法和FWSI算法的重構質量進行對比,驗證CWSI算法的有效性．2個視頻序列中的非關鍵幀重構質量如圖5所示．由圖5可知,基于塊的分類加權邊信息生成方法比固定加權邊信息算法重構的峰值信噪比值平均提高了0.2～0.6 dB, 這是由于本文提出的邊信息生成算法充分利用了幀間相關性的不同, 能夠選擇合適的權值生成邊信息輔助非關鍵幀的重構,從而提高非關鍵幀的重構質量．

圖5 采樣率為0.3時非關鍵幀的重構質量Fig.5 PSNR value of non-key frame reconstruction at a sampling rate of 0.3

4 結論

為了解決將壓縮感知方法應用到視頻解碼端獲取邊信息輔助非關鍵幀的重構過程中不同的視頻序列圖像塊之間的相關性差異的問題,本文提出了一種基于塊的分類加權方法進行非關鍵幀的重構．在編碼端的稀疏表示方面,根據幀間相關性的不同,將視頻序列分為不同的塊,針對不同的塊選擇相應的稀疏基策略．非關鍵幀的解碼端,在利用運動估計生成邊信息的算法中,邊信息的生成根據幀間相關性的不同選擇不同的權值．仿真實驗結果表明,本文方案基于不同的視頻應用場景自適應選擇不同的稀疏基和邊信息生成方案,充分利用幀間相關性,在提高非關鍵幀重構質量的同時能更好地重構原始視頻序列．