非平衡多描述視頻編碼方法的研究

肖小月，宋建新

（南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003）

1 引言

多描述視頻編碼（MDVC）是一種面向不可靠信道傳輸?shù)木幋a方法，它主要解決網(wǎng)絡(luò)傳輸可靠性問題，具有無須重傳、延時(shí)小等特性。多數(shù)的MDVC采用多個(gè)獨(dú)立的視頻描述進(jìn)行傳輸，只要接收到一個(gè)或多個(gè)描述，解碼器就可以恢復(fù)出相應(yīng)質(zhì)量的視頻流。

現(xiàn)有的MDVC大多產(chǎn)生具有大致相同重要性和質(zhì)量的描述，稱為平衡多描述視頻編碼（Balanced Description Video Coding，BMDVC），例如基于量化的多描述編碼、基于變換的多描述編碼、基于空域或變換域的多描述編碼以及基于時(shí)域采樣的多描述編碼等[1-2]。與其對(duì)應(yīng)的非平衡多描述視頻編碼（Unbalanced Multiple Description Video Coding，UMDVC）的研究還未完全展開，UMDVC產(chǎn)生多個(gè)不同重要性和質(zhì)量的視頻描述，以兩個(gè)描述為例，一個(gè)具有較高的重要性和質(zhì)量，稱為高分辨力（High Resolution，HR）描述，另一個(gè)重要性和質(zhì)量相對(duì)較低的描述稱為低分辨力（Low Resolution，LR）描述。與BMDVC相比，UMDVC能夠靈活控制引入的冗余量，同時(shí)充分利用不同路徑中端到端的可用帶寬，更適合現(xiàn)有無線網(wǎng)絡(luò)。

2 現(xiàn)有的UMDVC方法

國內(nèi)外關(guān)于非平衡多描述視頻編碼的方法，根據(jù)LR描述產(chǎn)生的不同，可以分為兩種：一種是LR描述和HR描述包含同一個(gè)視頻序列中的不同視頻信息，LR描述相對(duì)HR描述來說不完全冗余；另一種LR描述是HR描述的部分信息或者全部信息，完全是冗余，只有在HR描述丟失時(shí)作為錯(cuò)誤恢復(fù)才起作用。

2.1 LR描述非完全冗余的UMDVC方法

LR描述相對(duì)HR描述并不完全是冗余的非平衡多描述視頻編碼方法，LR描述與HR描述分別由同一視頻序列中的不同視頻信息進(jìn)行獨(dú)立編碼產(chǎn)生，描述間的非平衡可以采用描述間幀率不同、量化步長不同、空間分辨率不同等方法實(shí)現(xiàn)?，F(xiàn)有的方法主要是在基于時(shí)間采樣的平衡多描述視頻編碼方法的基礎(chǔ)上提出的。

文獻(xiàn)[3]提出將一視頻序列在時(shí)間上按奇偶幀采樣產(chǎn)生兩個(gè)描述，兩個(gè)描述采用不同的預(yù)測環(huán)，編碼器存儲(chǔ)兩個(gè)已編碼幀并交替作為奇偶幀的參考幀。將其中一個(gè)描述的幀率減半可達(dá)到兩描述間的非平衡。在解碼端，當(dāng)一幀丟失時(shí)，依照原視頻序列，用鄰近的前后兩幀恢復(fù)丟失幀，類似于運(yùn)動(dòng)補(bǔ)償內(nèi)插法。此方法由于幀間距離變大而導(dǎo)致預(yù)測誤差變大，但兩描述間的視頻質(zhì)量差異不大。

同樣采用基于時(shí)間采樣的方法來產(chǎn)生兩個(gè)描述，文獻(xiàn)[4]在兩個(gè)描述間采用不同的量化步長達(dá)到兩個(gè)描述間的非平衡。這樣兩個(gè)描述間存在不同的視頻質(zhì)量，導(dǎo)致在重構(gòu)視頻流后，鄰近兩幀存在峰值信噪比（PSNR）差異。針對(duì)這個(gè)問題，并考慮到重構(gòu)幀誤差對(duì)后續(xù)幀的影響，在丟幀時(shí)，用另一描述中對(duì)應(yīng)的前后兩幀恢復(fù)丟失幀；而對(duì)于LR描述，在沒有丟幀的情況下仍然用HR描述中對(duì)應(yīng)的前后兩幀重構(gòu)當(dāng)前幀，比較重構(gòu)幀和LR描述中當(dāng)前幀的質(zhì)量，取質(zhì)量好的視頻幀作為輸出。兩個(gè)描述間的碼率分配，需根據(jù)信道帶寬和丟包率的情況，并保證丟包時(shí)重構(gòu)視頻流的平均PSNR最大且兩個(gè)描述間的PSNR差異最小。

2.2 LR描述完全冗余的UMDVC方法

在現(xiàn)有的非平衡多描述視頻編碼方法中，LR描述相對(duì)于HR描述是完全冗余的，它只有在HR描述出現(xiàn)丟失時(shí)作為錯(cuò)誤恢復(fù)才起作用。HR描述由原視頻序列采用標(biāo)準(zhǔn)的視頻編碼（H.263，H.264等）方法產(chǎn)生，LR描述由以下方法產(chǎn)生：1）提取原視頻序列部分信息進(jìn)行編碼；2）從HR描述的重構(gòu)幀中提取部分信息進(jìn)行編碼；3）同樣包含全部視頻信息，但與HR描述采用不同編碼參數(shù)進(jìn)行編碼。

圖1中的非平衡多描述視頻編解碼器主要考慮到解碼端率失真最優(yōu)[5]。對(duì)原視頻序列采用H.263標(biāo)準(zhǔn)產(chǎn)生HR描述，將HR描述中的運(yùn)動(dòng)矢量（MV）、頭信息等重要信息復(fù)制到LR描述中，同時(shí)HR視頻幀中每塊的部分高能量DCT系數(shù)也被復(fù)制到LR描述相對(duì)應(yīng)的塊中，LR塊中殘余DCT系數(shù)用0填充。DCT系數(shù)的選取標(biāo)準(zhǔn)為在允許的冗余度內(nèi)最小化丟包時(shí)的率失真。編碼端的交迭模塊用于打包，對(duì)每個(gè)視頻幀打兩個(gè)包，一個(gè)包封裝HR幀奇數(shù)標(biāo)識(shí)的塊組（GoB）和LR幀偶數(shù)標(biāo)識(shí)的塊組，另一個(gè)包封裝 HR幀偶數(shù)標(biāo)識(shí)的塊組和LR幀奇數(shù)標(biāo)識(shí)的塊組。這樣，非平衡的兩個(gè)描述可以在平衡信道中傳輸。

圖1 率失真優(yōu)化UMDVC編解碼器

文獻(xiàn)[6]提出了一種適用于無線局域網(wǎng)（WLAN）傳輸?shù)姆瞧胶舛嗝枋鲆曨l編碼方案，原視頻序列在H.264編碼基礎(chǔ)上采用不同編碼參數(shù)產(chǎn)生質(zhì)量不同的兩個(gè)描述，LR描述采用的I幀間隔小于HR描述，這樣雖然降低了LR描述編碼效率，但當(dāng)兩個(gè)描述同時(shí)發(fā)生丟包的時(shí)候，只要收到LR描述中的I幀就可以停止錯(cuò)誤傳播。解碼端的后處理模塊如圖2所示，包含一個(gè)錯(cuò)誤隱藏塊和一個(gè)緩存，緩存用于識(shí)別HR和LR幀中損壞的宏塊，錯(cuò)誤隱藏塊用于重構(gòu)幀，HR宏塊丟失，LR宏塊收到，用LR宏塊恢復(fù)，反之亦然；均收到，只取HR宏塊；均丟失用前幀的對(duì)應(yīng)宏塊恢復(fù)（在緩存中）。將重構(gòu)幀返回到HR和LR解碼器中作為后續(xù)幀的參考，這樣有效限制了錯(cuò)誤傳播。

圖2 UMDVC解碼端

李彬等人在非平衡多描述編解碼器（如圖3，圖4）中加入“同步幀”的概念[7]，使用“同步幀”來阻止HR描述中的錯(cuò)誤傳播?！巴綆奔碙R編碼器重構(gòu)的I幀，其作用主要是被置于HR編碼器的幀緩沖區(qū)并替代HR編碼器當(dāng)前重構(gòu)的P幀。HR編碼器在編碼下一個(gè)P幀時(shí)以“同步幀”作為參考幀。在解碼端，HR解碼器必須取得“同步幀”來用于下一個(gè)P幀的運(yùn)動(dòng)補(bǔ)償?！巴綆笨梢酝ㄟ^兩種方式獲得（見圖4）：1）LR解碼器的輸出幀作為“同步幀”；2）LR編碼器的重構(gòu)幀，此時(shí)編碼器的輸入是HR解碼器的輸出。解碼端對(duì)于4種情況的處理如下：1）HR描述和LR描述均接收時(shí)，輸出HR描述數(shù)據(jù)；2）LR描述發(fā)生丟包，而HR描述正確接收時(shí)，將HR解碼器的輸出直接輸入到標(biāo)準(zhǔn)編碼器，生成LR描述并正確重構(gòu)LR描述中因丟包而損壞的幀，繼續(xù)LR描述的解碼；3）HR描述發(fā)生丟包，而LR描述正確接收時(shí)，從LR描述里取得“同步幀”作為HR描述下一個(gè)P幀的參考幀，這樣HR編碼器和解碼器之間不存在不匹配的情況。HR解碼器只需等待LR解碼器輸出下一 “同步幀”即可重新開始解碼；4）HR描述和LR描述同時(shí)發(fā)生丟包時(shí)，解碼器暫停解碼，等待下一“同步幀”到達(dá)后重新開始解碼。在這個(gè)過程中解碼器的輸出為最近的已解碼幀。

圖3 “同步幀”—UMDVC編碼端

同樣考慮錯(cuò)誤傳播的問題，文獻(xiàn)[8]提出了基于SP幀技術(shù)的非平衡多描述視頻編碼方法，SP幀能夠參照不同參考幀重構(gòu)出相同的圖像幀，利用這種特性SP幀可防止錯(cuò)誤傳播，并且SP幀的編碼效率遠(yuǎn)遠(yuǎn)高于I幀。對(duì)原視頻序列采用不同的量化參數(shù)產(chǎn)生HR描述和LR描述，SP幀每隔6幀出現(xiàn)一次，輔SP幀BA i的作用是實(shí)現(xiàn)由LR到HR幀的過渡（如圖5），如果HR中的A4丟失，將由輔BA6幀預(yù)測重構(gòu)出A6幀，在此處阻止錯(cuò)誤傳播，使HR中A6幀以后的P幀正常解碼。對(duì)于解碼端最終輸出的第4幀和第5幀將使用描述LR中的重構(gòu)幀。如果在LR描述中發(fā)生錯(cuò)誤，由HR中的幀進(jìn)行修復(fù)，如B2丟失，由A2恢復(fù)。

圖4 “同步幀”—UMDVC解碼端

圖5 描述HR和LR

文獻(xiàn)[9]提出的非平衡多描述視頻編碼在LR描述編碼過程中，對(duì)HR編碼輸出的重構(gòu)幀進(jìn)行時(shí)域幀采樣和運(yùn)動(dòng)信息分割（如圖6）。對(duì)LR編碼的宏塊進(jìn)行棋盤采樣分割（見圖7），將運(yùn)動(dòng)信息分割為兩個(gè)部分。假設(shè)LR碼流只傳輸A部分的運(yùn)動(dòng)信息，對(duì)于未知的?B∈｛B0，B1，B2，B3｝的塊，要從周圍已知 8×8 塊 Av（v∈0，1，2，3，4，5，6，7）中找到運(yùn)動(dòng)矢量與其最為匹配的塊來預(yù)測原始?jí)K。則運(yùn)動(dòng)信息分割后，得到原圖像幀中一半的運(yùn)動(dòng)信息和未傳送運(yùn)動(dòng)信息的宏塊指向周圍最佳預(yù)測塊的索引。時(shí)域幀采樣如下：1）選取HR編碼的I幀；2）對(duì)于非I幀，每隔3幀取1幀；3）取幀內(nèi)編碼宏塊。對(duì)于LR描述，解碼端用接收的最鄰近幀信息代替未接收的幀信息，用上述方法對(duì)未傳送的運(yùn)動(dòng)信息進(jìn)行恢復(fù)。

圖6 LR編碼器結(jié)構(gòu)

圖7 分割后的宏塊

3 UMDVC關(guān)鍵問題

非平衡多描述視頻編碼方法的提出主要是為了適應(yīng)現(xiàn)有的各信道帶寬不平衡，丟包率不等的無線網(wǎng)絡(luò)，其難點(diǎn)主要是在一定冗余度下產(chǎn)生非平衡的描述，并達(dá)到碼率與失真的平衡。非平衡多描述視頻編碼需考慮的關(guān)鍵問題如下：

1）視頻信息的非平衡多描述的產(chǎn)生及描述間的碼率分配

對(duì)于非平衡多描述視頻編碼，首要的問題是非平衡描述怎樣產(chǎn)生，它決定了非平衡多描述編碼的穩(wěn)健性和重建信號(hào)的失真率。如上所述主要有3種方法產(chǎn)生：一是各描述包括視頻信息中不同的內(nèi)容[3-4]，通過量化參數(shù)不同、幀率不同或者空間分辨率不同產(chǎn)生描述間的非平衡；二是高分辨率描述包含所有的視頻信息，低分辨率描述包含原視頻序列中的部分重要信息[5，8，10]；三是各描述都包含所有視頻信息，它們采用不同編碼參數(shù)產(chǎn)生分辨率不同的描述[6]。第二、三種方法中低分辨率的描述相對(duì)于高分辨率的描述完全是冗余的，只在高分辨率描述丟失時(shí)作為視頻重建時(shí)起作用，不太符合解碼端收到的描述越多重構(gòu)視頻質(zhì)量越好的原有多描述編碼的思想，因此應(yīng)主要拓寬第一種方法。

非平衡描述間的碼率分配一方面需要適應(yīng)網(wǎng)絡(luò)環(huán)境，如各信道的帶寬、丟包率，另一方面需要考慮解碼端在丟包情況下重建視頻的失真度，即保證解碼端輸出視頻的平均PSNR最大。如文獻(xiàn)[4]中為了使重建視頻的平均PSNR最大和描述間的PSNR差異最小，在保證總碼率不變的情況下，調(diào)整兩描述間的碼率去適應(yīng)不同的信道環(huán)境。

2）丟包情況下的錯(cuò)誤傳播

現(xiàn)有視頻編碼方法采用預(yù)測編碼來消除幀間冗余。當(dāng)一個(gè)描述的包丟失時(shí)，用其他描述的包恢復(fù)并作為此描述后續(xù)幀的解碼參考，這樣解碼端與編碼端參考幀不一，出現(xiàn)預(yù)測編碼誤匹配問題，導(dǎo)致后續(xù)幀解碼出錯(cuò)，即錯(cuò)誤傳播問題。針對(duì)這個(gè)問題，文獻(xiàn)[6]在低分辨率描述中增加I幀的插入，并將后處理模塊的重構(gòu)幀返回給對(duì)應(yīng)的解碼器作為后續(xù)幀參考，減少了誤匹配。在文獻(xiàn)[7]中提出的“同步幀”和文獻(xiàn)[8]中的輔SP幀的應(yīng)用都是為了減少錯(cuò)誤傳播。

3）質(zhì)量漂移問題

在平衡多描述編碼中，每個(gè)描述的質(zhì)量大致相同，當(dāng)有描述丟包時(shí)，用其他描述接收到的相關(guān)聯(lián)包重構(gòu)的視頻幀質(zhì)量不會(huì)差，則輸出幀之間的質(zhì)量相差不會(huì)太大；但在非平衡多描述編碼中，描述之間的質(zhì)量會(huì)有較大差距，當(dāng)高質(zhì)量的描述丟包時(shí)，用低質(zhì)量描述接收的相關(guān)聯(lián)包重構(gòu)的視頻幀質(zhì)量較差，這樣會(huì)造成前后視頻幀存在較大質(zhì)量差異，即質(zhì)量漂移。這個(gè)問題在文獻(xiàn)[4]中最為突出，雖然提出了相應(yīng)的解決方法，但增加了解碼端負(fù)擔(dān)。

現(xiàn)有的非平衡多描述編碼方法存在的主要問題是低質(zhì)量的描述在解碼端的利用率太低，而且它起作用時(shí)還造成了一些問題，比如質(zhì)量漂移、錯(cuò)誤傳播。

4 小結(jié)

UMDVC因?yàn)槟墚a(chǎn)生碼率不同的描述，更能適應(yīng)各信道可用帶寬不同的無線網(wǎng)絡(luò)，受到國內(nèi)外學(xué)者的關(guān)注。筆者通過對(duì)現(xiàn)有的UMDVC方法的介紹，提出了有待解決的關(guān)鍵問題。

UMDVC應(yīng)用于無線環(huán)境比BMDVC有明顯的優(yōu)勢，但現(xiàn)有的無線信道帶寬易變，雖然可用自適應(yīng)的調(diào)整碼率去適應(yīng)信道帶寬的變化，但當(dāng)一條信道可用帶寬太小時(shí)，不能一味地降低碼率，那樣勢必降低輸出視頻質(zhì)量，這時(shí)可考慮增加非平衡描述數(shù)，并尋找其他的可用信道，那么就需要考慮在一定冗余度情況下怎樣產(chǎn)生多于兩個(gè)以上的非平衡描述。

[1]WANG Y，REIBMAN A R，LIN S.Multiple description coding for video delivery[J].Proceedings of the IEEE，2005，93（1）：57-70.

[2]郁梅，蔣剛毅，賀賽龍，等.多描述視頻編碼方法研究[J].電路與系統(tǒng)學(xué)報(bào)，2005，10（1）：76-84.

[3]APOSTOLOPOULOS JG，WEE S J.Unbalanced multiple description video communication using path diversity[C]//Proc.the IEEE International Conference on Image Processing （ICIP）.Thessaloniki，Greece：IEEE Press，2001，1：966-969.

[4]EKMEKCI S，SIKORA T.Unbalanced quantized multiple description video transmission using path diversity[C]//Proc.SPIE Image and Video Communications and Processing （IVCP）.[S.l.]：IEEE Press，2003：301-311.

[5]COMAS D，SINGH R，ORTEGA A，et al.Unbalanced multipledescription video coding with rate-distortion optimization[J].EURASIP Journal on Applied Signal Processing，2003（1）：81-90.

[6]VILEI A，CONVERTINO G，OLIVA S，et al.A novel unbalanced multiple description scheme for video transmission over WLAN[C]//Proc.the 3rd ACM International Workshop on Wireless Mobile Applications and Services on WLAN Hotspots.Cologne，Germany：[s.n.]，2005：39-47.

[7]李彬，黃峰，孫立峰，等.一種魯棒靈活的非平衡多描述視頻編碼和傳輸方案[J].計(jì)算機(jī)學(xué)報(bào)，2008，13（7）：1155-1164.

[8]余海瑞，倪林.基于SP幀技術(shù)的非平衡多描述視頻編碼方法[J].數(shù)據(jù)采集與處理，2009，24（1）：87-90.

[9]趙小青，倪林.一種無線Ad hoc網(wǎng)絡(luò)中的非平衡多描述視頻編碼方法[J].中國科學(xué)技術(shù)大學(xué)學(xué)報(bào)，2008，38（7）：797-801.

[10]余海瑞，倪林.感興趣區(qū)域分割的非平衡多描述視頻編碼[J].計(jì)算機(jī)工程與應(yīng)用，2009，45（4）：137-139.