基于預(yù)測(cè)式錯(cuò)誤恢復(fù)機(jī)制的多描述視頻編碼研究

周文帥 白慧慧趙 耀

(北京交通大學(xué)信息所 北京 100044)

1 引言

隨著因特網(wǎng)的爆炸式發(fā)展，視頻傳輸應(yīng)用越來越廣泛。然而，網(wǎng)絡(luò)擁塞，隨機(jī)比特錯(cuò)誤和數(shù)據(jù)包丟失會(huì)導(dǎo)致視頻壓縮數(shù)據(jù)的質(zhì)量嚴(yán)重下降，這就給視頻傳輸帶來了極大挑戰(zhàn)。因此，需要開發(fā)一種視頻編解碼方案，該方案需要有高的壓縮效率，還要保證視頻傳輸?shù)聂敯粜浴?/p>

多描述編碼作為一種能在易錯(cuò)信道上提高傳輸魯棒性的技術(shù)，吸引了越來越多的學(xué)者研究[1,2]。當(dāng)信源和信宿之間存在著很多信道時(shí)，一般情況下不會(huì)所有信道同時(shí)在一個(gè)視頻幀出錯(cuò)，多描述編碼就是基于這個(gè)思想提出來的。多描述編碼在編碼端信源產(chǎn)生多個(gè)比特流(稱之為描述)，每個(gè)比特流具有同樣的優(yōu)先級(jí)，在多個(gè)相互獨(dú)立的信道上進(jìn)行傳輸；在解碼端，每一個(gè)描述都能被獨(dú)立解碼，重建用戶可接受質(zhì)量的視頻序列，隨著接收到的描述數(shù)量的增加，重建視頻序列的質(zhì)量也隨之提高。

多描述視頻編碼的基本思想是利用描述的冗余信息來提高傳輸?shù)聂敯粜?，因而，在多描述視頻編碼中需要一些必要的冗余，但這樣會(huì)降低壓縮效率，因此，多描述編解碼方法的主要目標(biāo)是在傳輸比特率和重建質(zhì)量之間找到最佳折中。經(jīng)典的多描述編碼方法利用了變換和量化。根據(jù)多描述標(biāo)量量化原則[3]，文獻(xiàn)[4-6]中設(shè)計(jì)了多描述視頻編碼方法。多描述相關(guān)性變換在文獻(xiàn)[7]中被用來設(shè)計(jì)運(yùn)動(dòng)補(bǔ)償多描述視頻編碼。文獻(xiàn)[8]提出了X樹非平衡保護(hù)多描述編碼方法。盡管上述方法得到了較好的實(shí)驗(yàn)結(jié)果，但這些方法不能兼容廣泛應(yīng)用的標(biāo)準(zhǔn)編解碼器，如H.26x和MPEG系列；為了解決這個(gè)問題，文獻(xiàn)[9]中多描述視頻編碼通過采用 H.264/AVC標(biāo)準(zhǔn)中先進(jìn)的視頻編碼工具來引入描述間的冗余信息。此外，很多多描述視頻編碼方法[10,11]都針對(duì)某一種確定的標(biāo)準(zhǔn)編解碼器，文獻(xiàn)[11]針對(duì)H.264/AVC采用了片級(jí)和宏塊級(jí)的多描述視頻編碼方法。另外，文獻(xiàn)[12]提出的基于交織抽取與分塊壓縮感知策略的圖像多描述編碼方法壓縮效率不高。文獻(xiàn)[13]提出的適用于丟包信道的小波編碼圖像傳輸方法，利用了分層多描述編碼來提高信源編碼的容錯(cuò)性能，但該方法依賴于信源編碼的結(jié)構(gòu)。文獻(xiàn)[14,15]提出的方法只針對(duì)特定圖像。

為了解決已有的多描述視頻編碼方法只兼容特定標(biāo)準(zhǔn)編解碼器的問題，以及進(jìn)一步提高壓縮效率和視頻傳輸?shù)聂敯粜?，本文嘗試提出一種更具廣泛兼容性，壓縮效率更高，視頻傳輸更魯棒的基于預(yù)測(cè)式錯(cuò)誤恢復(fù)機(jī)制的多描述視頻編碼方法。該方法在編碼端對(duì)原始視頻序列進(jìn)行時(shí)域抽樣來產(chǎn)生初始視頻子序列，以保證和當(dāng)前標(biāo)準(zhǔn)編解碼器的兼容性，然后在編碼端預(yù)測(cè)解碼重建可能出現(xiàn)的錯(cuò)誤影響，為每個(gè)視頻子序列分配必要的冗余信息。在解碼端，這些冗余信息有助于更好地估計(jì)丟失信息從而獲得較好的解碼重建質(zhì)量。

2 基于時(shí)域采樣的多描述視頻編碼

圖1是文獻(xiàn)[2]提出的基于時(shí)域采樣的多描述視頻編碼框圖。首先，在編碼端讀入一組視頻序列的前N幀，對(duì)其進(jìn)行奇偶幀分離，得到一段奇數(shù)幀視頻子序列和一段偶數(shù)幀視頻子序列；然后，分別用標(biāo)準(zhǔn)視頻編碼器對(duì)兩個(gè)子序列進(jìn)行編碼，再通過兩個(gè)相互獨(dú)立的信道傳送到解碼端。在解碼端，如果兩個(gè)描述均被收到，則進(jìn)行中心路解碼。由于收到了兩路描述信息，可以用得到的兩路信息進(jìn)行奇偶幀排序得到中心路解碼視頻序列。單路解碼時(shí)，單路描述根據(jù)對(duì)應(yīng)解碼器采用幀內(nèi)插方式恢復(fù)出單路解碼視頻序列。本文采用的幀內(nèi)插方式基于分段勻速運(yùn)動(dòng)假設(shè)，在重建中間幀的時(shí)候采用雙向運(yùn)動(dòng)估計(jì)以提高預(yù)測(cè)性能，然而雙向運(yùn)動(dòng)估計(jì)容易在所生成的中間幀中產(chǎn)生重疊和孔洞。以下介紹幀內(nèi)插方式具體過程。

3 基于預(yù)測(cè)式錯(cuò)誤恢復(fù)機(jī)制的多描述視頻編碼方法

3.1 總體框圖

圖2是本文提出的基于預(yù)測(cè)式錯(cuò)誤恢復(fù)機(jī)制的多描述視頻編碼方法的框圖。首先讀入一組視頻序列，對(duì)其進(jìn)行奇偶幀分離得到主信息奇數(shù)幀子序列和偶數(shù)幀子序列，根據(jù)預(yù)測(cè)式錯(cuò)誤恢復(fù)機(jī)制分別得到重建后的偶數(shù)幀序列和重建后的奇數(shù)幀序列，經(jīng)編碼模式選擇模塊處理后得到奇數(shù)幀對(duì)應(yīng)的冗余信息2Y和偶數(shù)幀對(duì)應(yīng)的冗余信息1Y。然后對(duì)主信息1X,2X和冗余信息1Y,2Y分別采用標(biāo)準(zhǔn)編碼器和冗余信息編碼器進(jìn)行編碼。編碼后，1X和得到描述1,2X 和1Y得到描述2，經(jīng)不同信道傳輸?shù)浇獯a端進(jìn)行解碼。

圖1 基于時(shí)域采樣的多描述視頻編碼框圖

圖2 基于預(yù)測(cè)式錯(cuò)誤恢復(fù)機(jī)制的多描述視頻編碼框圖

3.2 預(yù)測(cè)式錯(cuò)誤恢復(fù)機(jī)制

在編碼端，對(duì)于奇數(shù)幀構(gòu)成的視頻子序列，首先用奇數(shù)幀視頻序列通過幀內(nèi)插方式重建出偶數(shù)幀視頻序列，重建過程如圖3所示。然后對(duì)重建得到的偶數(shù)幀進(jìn)行分塊，塊大小取ab×，結(jié)合真實(shí)的偶數(shù)幀計(jì)算每一塊的重建質(zhì)量，即PSNR值。

圖3 重建具體過程

同樣地，對(duì)于偶數(shù)幀視頻子序列，用偶數(shù)幀序列通過幀內(nèi)插方式重建出奇數(shù)幀序列，然后對(duì)重建出的奇數(shù)幀進(jìn)行ab×大小的分塊，并結(jié)合真實(shí)的奇數(shù)幀求得每一塊的PSNR值。

3.3 編碼模式選擇

本節(jié)以奇數(shù)幀一路為例闡述編碼模式的選擇。根據(jù)上一模塊計(jì)算得到的PSNR值設(shè)置兩個(gè)閾值1T和，如果塊的重建質(zhì)量，則該模式定義為模式 1；如果塊的重建質(zhì)量為，則該模式定義為模式2；如果塊的重建質(zhì)量，則該模式定義為模式3。選擇過程如圖4所示，模式定義如下：

圖4 編碼模式的選擇過程

圖5 運(yùn)動(dòng)矢量和殘差的獲取

由于運(yùn)動(dòng)矢量要無失真地傳輸?shù)浇獯a端，因而直接對(duì)運(yùn)動(dòng)矢量信息進(jìn)行算術(shù)編碼。而對(duì)殘差數(shù)據(jù)，需要進(jìn)行 DCT變換并且量化取整，而后進(jìn)行算術(shù)編碼。然后傳送到解碼端進(jìn)行解碼。

3.4 參數(shù)選擇

由于閾值1T和大致和冗余信息量呈正比關(guān)系，當(dāng)1T和2T取值太大時(shí)，冗余信息就會(huì)很多；而當(dāng)1T和2T取值太小時(shí)，冗余信息就會(huì)很少，此時(shí)對(duì)視頻序列的重建質(zhì)量提高也不明顯。因此，可以根據(jù)信道帶寬的大小或者用戶要求的重建質(zhì)量(PSNR)確定冗余量，進(jìn)而確定閾值1T和2T。

4 實(shí)驗(yàn)結(jié)果和分析

為了驗(yàn)證本文方法的有效性，采用如表1所示的4個(gè)具有不同格式空間分辨率的標(biāo)準(zhǔn)視頻序列來測(cè)試本系統(tǒng)的性能。將本文方法和文獻(xiàn)[2]的方法在不同條件下的重建視頻質(zhì)量(Y分量的PSNR平均值)進(jìn)行了比較。公平起見，在處理過程中，兩種方法均選取各視頻序列的前 100幀，塊大小都取1616×。參數(shù)1T和2T的選取都是在仿真結(jié)果取得最好的性能下手動(dòng)選取的，冗余信息量也由此確定。表2以奇數(shù)幀一路為例說明本文方法較文獻(xiàn)[2]的方法在QP=25時(shí)復(fù)雜度和PSNR的提高情況(i5-3230 4 G 2.6 GHz PC)。為了保證取值的準(zhǔn)確性，每個(gè)數(shù)據(jù)均測(cè)試10次，然后求其平均值。其中，主信息均通過 HEVC(HM-8.2, GOPsize設(shè)置為 4, Max CUWidth和MaxCUHeight設(shè)置為64, IntraPeriod設(shè)置為-1, TransformSkip和TransformSkipFast設(shè)置為0)進(jìn)行編碼，冗余信息采用算術(shù)編碼(Arith06)方法進(jìn)行編碼。表3以接收到兩個(gè)描述為例給出了本文方法和文獻(xiàn)[2]的方法在不同丟包率下的重建視頻質(zhì)量比較。圖6為各視頻序列在收到一個(gè)描述和兩個(gè)描述且丟包率為 0時(shí)兩種方法重建質(zhì)量的比較。圖7為soccer序列在不同丟包率的情況下本文方法和文獻(xiàn)[2]的方法的比較。

表1 輸入的視頻序列

表2 本文方法較文獻(xiàn)[2]方法在復(fù)雜度和PSNR上的提高情況

由表2可以看出，本文方法相比于文獻(xiàn)[2]的方法在復(fù)雜度提高很少的情況下，PSNR值有了明顯的提高。尤其在 720P格式下，復(fù)雜度僅提高了4.37%，但PSNR卻有2 dB以上的提高。表3列出了兩種方法在相同碼率不同丟包率下視頻序列的重建情況，從中可以看出隨著丟包率的增加本文方法相比于文獻(xiàn)[2]的方法的增益逐漸減小，這是因?yàn)殡S著丟包率的增加主要信息和冗余信息都丟失嚴(yán)重，因此重建視頻質(zhì)量將會(huì)隨之下降。

如圖6(a)和圖6(b)所示，在丟包率為0的情況下，對(duì)于如QCIF和CIF格式的小分辨率視頻序列，在低碼率情況下，文獻(xiàn)[2]的方法比本文方法有 0.5 dB的增益。但在高碼率情況下，本文方法比文獻(xiàn)[2]的方法有 1 dB以上的提高。另外，如圖 6(c)和圖6(d)所示，對(duì)于大分辨率視頻序列，在4CIF格式下平均可以提高1~1.3 dB，在720P格式下可以提高1~2 dB，其原因主要是由于高碼率情況下本文方法的冗余分配能夠起到更好的作用。由圖7可以看出，即使存在丟包的情況下本文方法依然優(yōu)于文獻(xiàn)[2]的方法。上述結(jié)果驗(yàn)證了本文方法的有效性。

圖6 本文方法和文獻(xiàn)[2]方法在0丟包率下的PSNR

圖7 soccer序列在不同丟包率下本文方法和文獻(xiàn)[2]的方法的PSNR

表3 不同丟包率下兩種方法的 Δ P SNR 比較

5 結(jié)束語

本文提出了一種基于預(yù)測(cè)式錯(cuò)誤恢復(fù)機(jī)制的多描述視頻編碼方法。該方法首先對(duì)原始視頻序列進(jìn)行奇偶幀分離得到主信息，并根據(jù)預(yù)測(cè)式錯(cuò)誤恢復(fù)機(jī)制得到重建的奇偶數(shù)幀，而后結(jié)合真實(shí)的奇偶數(shù)幀在編碼模式選擇模塊生成冗余信息?？紤]到編碼效率問題，本文設(shè)計(jì)了3種冗余信息產(chǎn)生模式，模式1情況下，塊的重建質(zhì)量很高，因而不需要傳送任何冗余信息；模式2情況下，塊的重建質(zhì)量差強(qiáng)人意，因而需要傳送當(dāng)前塊的運(yùn)動(dòng)矢量；模式3情況下，塊的重建質(zhì)量很差，因而需要傳送對(duì)應(yīng)塊的運(yùn)動(dòng)矢量和殘差到解碼端。由于采用了分類思想，本文方法能在保證恢復(fù)質(zhì)量的前提下提高壓縮效率。實(shí)驗(yàn)結(jié)果表明，本文方法在丟包率較低，大分辨率和運(yùn)動(dòng)相對(duì)平滑的情況下魯棒性更好。實(shí)驗(yàn)結(jié)果也驗(yàn)證了本文算法的有效性。

[1] Wang Y, Reibman A R, and Lin S. Multiple description coding for video delivery[J]. Proceedings of the IEEE, 2005,93(1): 57-69.

[2] Goyal V K. Multiple description coding : compression meets the network[J]. IEEE Signal Processing Magazine, 2001,18(5): 74-93.

[3] Vaishampayan V A. Design of multiple description scalar quantizers[J]. IEEE Transactions on Information Theory,1993, 39(3): 821-834.

[4] Vaishampayan V A and John S. Balanced interframe multiple description video compression[C]. Proceedings of the IEEE International Conference on Image Processing (ICIP’99),Kobe, Japan, 1999, 3: 812-816.

[5] 鄭義, 史萍. 一種基于小波變換的多描述視頻編碼方法[J]. 電視技術(shù), 2012, 36(23): 43-46.Zheng Yi and Shi Ping. Wavelet-based multiple description video coding[J]. Video Engineering, 2012, 36(23): 43-46.

[6] 鉉欣. 基于多描述標(biāo)量量化的分布式視頻編碼[D]. [碩士論文],西安電子科技大學(xué), 2012.Xuan Xin. Distributed video coding based on multiple description scalar quantization[D]. [Master dissertation],Xidian University, 2012.

[7] Reibman A R, Jafarkhani H, and Wang Y. Multiple description coding for video using motion compensated prediction[C]. Proceedings of the IEEE International Conference on Image Processing (ICIP’99), Kobe, Japan,1999, 3: 837-841.

[8] 陳婧, 蔡燦輝, 丁潤(rùn)濤. X樹非平衡保護(hù)多描述編碼[J]. 電子與信息學(xué)報(bào), 2005, 27(12): 1973-1977.Chen Jing, Cai Can-hui, and Ding Run-tao. X-tree unequal protected multiple description coding[J]. Journal of Electronics ＆amp; Information Technology, 2005, 27(12):1973-1977.

[9] Conci N and De Natale F G B. Multiple description video coding using coefficients ordering and interpolation[J]. Signal Processing: Image Communication, 2007, 22(3): 252-265.

[10] Wen X, Au O C, and Xu J. A novel multiple description video coding based on H.264/AVC video coding standard[C]. IEEE International Symposium on Circuits and Systems, (ISCAS’09), Taipei, 2009: 1237-1240.

[11] Peraldo L, Baccaglini E, and Magli E. Slice-level ratedistortion optimized multiple description coding for H.264/AVC[C]. IEEE International Conference on Acoustics Speech and Signal Processing (ICASSP’10), Dallas, USA, 2010:2330-2333.

[12] 趙春暉, 劉巍. 基于交織抽取與分塊壓縮感知策略的圖像多描述編碼方法[J]. 電子與信息學(xué)報(bào), 2011, 33(2): 461-465.Zhao Chun-hui and Liu Wei. Image multiple description coding method based on interleaving extraction and block compressive sensing strategy[J]. Journal of Electronics ＆amp;Information Technology, 2011, 33(2): 461-465.

[13] 孫文珠, 王洪玉, 錢大興, 等. 一種適用于丟包信道的小波編碼圖像傳輸方案[J]. 電子與信息學(xué)報(bào), 2012, 34(10): 2342-2347.Sun Wen-zhu, Wang Hong-yu, Qian Da-xing, et al.. A transmission scheme for wavelet coding images over packet erasure channels[J]. Journal of Electronics ＆amp; Information Technology, 2012, 34(10): 2342-2347.

[14] 張培君, 王淑慧, 周開倫, 等. 融合全色度 LZMA 與色度子采樣 HEVC 的屏幕圖像編碼[J]. 電子與信息學(xué)報(bào), 2013,35(1): 196-202.Zhang Pei-jun, Wang Shu-hui, Zhou Kai-lun, et al.. Screen content coding by combined full-chroma LZMA and subsampled-chroma HEVC[J]. Jounal of Electronics ＆amp;Information Technology, 2013, 35(1): 196-202.

[15] Lin Tao, Zhang Pei-jun, Wang Shu-hui, et al.. 4:4:4 screen content coding using dual-coder mixed chroma-sampling-rate(DMC) techniques[C]. JCT-VC-Meeting, JCTVC-I0272,Geneva, 2012, 4: 1-11.