無線視頻傳輸?shù)娜蒎e(cuò)編碼研究*

柴鑫剛，鄭冬冬

（中國移動(dòng)通信集團(tuán)有限公司研究院 北京100053）

1 引言

基于無線視頻監(jiān)控技術(shù)，可以將各個(gè)監(jiān)控點(diǎn)的現(xiàn)場圖像信息實(shí)時(shí)地通過無線通信手段傳送到監(jiān)控中心。目前無線監(jiān)控系統(tǒng)主要應(yīng)用于不易、不便或無條件布設(shè)有線網(wǎng)絡(luò)的監(jiān)控場所，增強(qiáng)了監(jiān)控系統(tǒng)的靈活性、便利性和可擴(kuò)充性，所以現(xiàn)在市場對(duì)于無線視頻監(jiān)控有大量的需求。采用H.264/AVC高壓縮性能的編碼器，無線視頻監(jiān)控可滿足大部分用戶對(duì)視頻監(jiān)控的需要。但是無線信道屬于不可靠傳輸信道，具有時(shí)變、易受干擾等特點(diǎn)；無線信道的視頻數(shù)據(jù)容易受到干擾和破壞，導(dǎo)致數(shù)據(jù)包錯(cuò)誤或者丟失，需要采取高效的容錯(cuò)算法保證數(shù)據(jù)的有效傳輸。

SVC作為H.264/AVC的可分級(jí)擴(kuò)展，通過時(shí)域、空域和質(zhì)量的分層機(jī)制，分成基本層和若干增強(qiáng)層，具有很強(qiáng)的抗誤碼能力。基本層上的圖像數(shù)據(jù)最重要，增強(qiáng)層的數(shù)據(jù)對(duì)圖像質(zhì)量起到增強(qiáng)作用，當(dāng)基本層和增強(qiáng)層的數(shù)據(jù)受到影響時(shí)很容易誤碼擴(kuò)散到其他層和下一幀數(shù)據(jù),并最終導(dǎo)致圖像錯(cuò)誤累積，因此有必要在SVC中采用有效的抗誤碼方法保證可伸縮視頻流的魯棒性。目前視頻傳輸?shù)娜蒎e(cuò)技術(shù)主要有以下幾種。

（1）自動(dòng)重傳機(jī)制

屬于無失真的容錯(cuò)技術(shù)，對(duì)丟失或錯(cuò)誤數(shù)據(jù)包采用重傳方式，可以完好恢復(fù)圖像并保證圖像質(zhì)量不失真，自動(dòng)重傳機(jī)制要額外占用網(wǎng)絡(luò)資源并且增加延時(shí)，特別是在低網(wǎng)絡(luò)帶寬時(shí)，雖然能完整恢復(fù)圖像質(zhì)量，但是占用的網(wǎng)絡(luò)資源會(huì)導(dǎo)致后面需要編碼的圖像可使用的網(wǎng)絡(luò)資源減少，使得視頻幀率降低或者圖像質(zhì)量下降。

（2）前向糾錯(cuò)編碼方式

用來克服信道錯(cuò)誤，當(dāng)信道出錯(cuò)概率波動(dòng)比較劇烈時(shí)，為了獲得一定的傳輸質(zhì)量，前向糾錯(cuò)編碼必須根據(jù)當(dāng)前估計(jì)的最差情況增加冗余校驗(yàn)比特，這會(huì)導(dǎo)致帶寬資源的浪費(fèi)。對(duì)帶寬資源本來就有限的無線信道而言，顯然是不能滿足要求的；對(duì)于丟失的數(shù)據(jù)包無法恢復(fù)，且無法保證無失真的恢復(fù)。

（3）解碼端端圖像錯(cuò)誤恢復(fù)技術(shù)

利用視頻的時(shí)間和空間相關(guān)性，恢復(fù)丟失或有誤碼的圖像，不會(huì)占用額外的網(wǎng)絡(luò)資源，但當(dāng)需要恢復(fù)的圖像之間的相關(guān)性不好時(shí)，恢復(fù)圖像的失真度非常大且圖像質(zhì)量差，進(jìn)而形成了錯(cuò)誤累積，導(dǎo)致多幀圖像錯(cuò)誤，圖像質(zhì)量下降，影響用戶使用。

本文在自動(dòng)重傳、可伸縮視頻編碼和解碼端圖像錯(cuò)誤恢復(fù)技術(shù)的基礎(chǔ)上，提出了一種基于B-D率失真代價(jià)函數(shù)的對(duì)增強(qiáng)層有選擇的重傳算法，增強(qiáng)層的視頻流重要性不如基本層，當(dāng)有些數(shù)據(jù)包對(duì)圖像質(zhì)量影響較小時(shí)，可以對(duì)丟失或有誤碼的增強(qiáng)層數(shù)據(jù)包采用基于B-D率失真代價(jià)函數(shù)判斷是否重發(fā)，失真代價(jià)函數(shù)充分考慮失真度、帶寬和延時(shí)信息，決定當(dāng)前的數(shù)據(jù)包是否需要重新傳送，當(dāng)接收端發(fā)現(xiàn)錯(cuò)誤后，利用解碼端圖像錯(cuò)誤恢復(fù)技術(shù)進(jìn)行圖像恢復(fù)，如果錯(cuò)誤恢復(fù)得很好，恢復(fù)后圖像的失真度在人們?nèi)萑痰姆秶鷥?nèi)，則向發(fā)送端傳送當(dāng)前包接收成功的反饋信息，這樣可以有效避免信道帶寬的浪費(fèi)。反之，恢復(fù)后的失真度很高且在當(dāng)前帶寬允許的條件下，則要求編碼端重新發(fā)送，恢復(fù)出完好的重構(gòu)圖像，保證了圖像質(zhì)量，可以盡早防止圖像的錯(cuò)誤擴(kuò)散，避免占用額外網(wǎng)絡(luò)帶寬，減少延時(shí)。

通過上面的分析可以看出，本文的方法充分克服了已有方法的缺點(diǎn)，能夠有效降低無線信道的丟包、誤碼等對(duì)視頻傳輸質(zhì)量的影響，同時(shí)大大提高了視頻碼流的抗誤碼能力，對(duì)推動(dòng)無線視頻傳輸?shù)膹V泛應(yīng)用具有重大意義。

2 H.264/SVC介紹

H.264/SVC以先進(jìn)視頻編解碼器標(biāo)準(zhǔn)H.264 AVC為基礎(chǔ)，高度利用了運(yùn)動(dòng)估計(jì)等各種工具及概念，結(jié)合了分層編碼 (layer coding)和精細(xì)度伸縮編碼 (fine granular scalability，F(xiàn)GS)，實(shí)現(xiàn)了空間、時(shí)間和質(zhì)量的完全伸縮。空間上是通過上/下采樣濾波器實(shí)現(xiàn)空間分辨率的變化，時(shí)間上是通過運(yùn)動(dòng)補(bǔ)償預(yù)測的編碼結(jié)構(gòu)具有的內(nèi)在時(shí)間可伸縮性實(shí)現(xiàn)的，質(zhì)量可伸縮則采用基于嵌入式位平面的精細(xì)編碼實(shí)現(xiàn)。也就是說，能夠產(chǎn)生不同幀率、分辨率或質(zhì)量等級(jí)的解碼視頻。

（1）空間可伸縮性

空間可伸縮性采用分層編碼的方法，將原始空間分辨率的視頻序列分解生成多個(gè)不同空間分辨率的視頻子圖像序列，如 4CIF、CIF、QCIF，每個(gè)空間分辨率都是一個(gè)新的空間編碼層。為了去除各空間層之間的冗余信息，采用了層間預(yù)測（即幀內(nèi)預(yù)測和幀間預(yù)測），可以跨層進(jìn)行，對(duì)低空間層的紋理信息和運(yùn)動(dòng)信息進(jìn)行插值。

（2）時(shí)間可伸縮性

每個(gè)空間層通過時(shí)間分解實(shí)現(xiàn)時(shí)間的可伸縮性，需要重建已編碼的幀作為下一步預(yù)測的參考幀，有些重建幀不作為下一幀的參考幀，就可以根據(jù)系統(tǒng)需要進(jìn)行取舍，實(shí)現(xiàn)時(shí)間軸播放幀率的可調(diào)性，也是時(shí)間的可伸縮性。

（3）質(zhì)量可伸縮性

質(zhì)量基本層采用了與H.264相同的變換、量化及編碼方法；而增強(qiáng)層則采用以較小的量化步長進(jìn)行重新量化的方法減小量化誤差，生成精細(xì)度由大到小的質(zhì)量層，這種質(zhì)量可伸縮的編碼方法也叫做漸進(jìn)精細(xì)化，實(shí)現(xiàn)了質(zhì)量可伸縮性。

3 基于B-D率失真代價(jià)函數(shù)的自動(dòng)重傳機(jī)制

采用幀內(nèi)預(yù)測和運(yùn)動(dòng)估計(jì)的幀間預(yù)測方法，可以有效去除圖像之間的空間和時(shí)間冗余信息，借鑒H.264/AVC的率失真算法，在編碼器中對(duì)運(yùn)動(dòng)矢量、參考幀選擇和宏塊編碼模式的判決中都使用了率失真判決策略，有效抑制誤差擴(kuò)散。下面是H.264/AVC的率失真算法：

其中，C表示率失真代價(jià)，D表示失真度，R表示熵編碼后的碼率。

編碼器通過計(jì)算率失真判決函數(shù)，將最小的代價(jià)函數(shù)對(duì)應(yīng)的宏塊編碼模式確定為率失真最優(yōu)宏塊編碼模式：

由于信道的錯(cuò)誤率和重傳次數(shù)有密切的關(guān)系，而每次重傳都要耗費(fèi)一定的帶寬，考慮到這個(gè)因素，利用帶寬失真代價(jià)函數(shù)的概念，在一定的丟包率、信道帶寬和傳輸延時(shí)限制的條件下，接收端接收質(zhì)量和傳輸中所用的帶寬不僅和視頻信源的率失真性能相關(guān)，而且和信道的錯(cuò)誤率(丟包率)及終端錯(cuò)誤恢復(fù)技術(shù)相關(guān)，將其作為衡量視頻包是否予以重傳的準(zhǔn)則。視頻數(shù)據(jù)流根據(jù)恢復(fù)后的失真度對(duì)圖像質(zhì)量的影響決定是否重發(fā)，這樣可以有效避免有限信道帶寬的浪費(fèi)，提高可伸縮視頻流的魯棒性。

綜合考慮失真度、帶寬和延時(shí)信息，下式為B-D率失真代價(jià)函數(shù)定義：

其中，Ro包含了重傳比特需要的總體帶寬資源；Dec為增強(qiáng)層數(shù)據(jù)的編碼失真度；Ddc為增強(qiáng)層數(shù)據(jù)錯(cuò)誤恢復(fù)導(dǎo)致的失真度；ωec是權(quán)重系數(shù)，根據(jù)不同層的重要性進(jìn)行調(diào)節(jié)；Bs=TmaxBw，Bw是當(dāng)前層視頻流的有效帶寬，Tmax是當(dāng)前層的最大延時(shí)。

Dec可用圖像的均方誤差表示,是增強(qiáng)層編碼后重構(gòu)圖像與基本層重構(gòu)圖像的均方誤差。

Ddc可用圖像的均方誤差表示,是增強(qiáng)層錯(cuò)誤恢復(fù)后重構(gòu)圖像與基本層重構(gòu)圖像的均方誤差。

當(dāng)有誤碼發(fā)生時(shí)，Ddc通過錯(cuò)誤恢復(fù)的失真度及所消耗的帶寬值得到，如果大于某閾值，則表明此誤碼包需要重傳，否則不需要重傳。

通過網(wǎng)絡(luò)傳輸，最終耗用帶寬比特和失真分別為R、D,經(jīng)過丟失率為p的信道傳輸后，最后的閾值計(jì)算如下：

對(duì)于SVC的視頻數(shù)據(jù)流，通過無線信道傳輸，設(shè)其滿足Shannon率失真理論的比特和失真分別為R、D,經(jīng)過丟失率為p的信道傳輸后，其理論上最終耗用帶寬R0和對(duì)應(yīng)的接收端失真D0關(guān)系如下：

其中，γ、σ是與信源本身相關(guān)的統(tǒng)計(jì)量，對(duì)于特定的視頻圖像可以看作常量。

通過上面分析可知，率失真代價(jià)函數(shù)對(duì)丟失或有誤碼的增強(qiáng)層數(shù)據(jù)包，采用基于帶寬失真代價(jià)函數(shù)判斷是否重發(fā)，帶寬失真代價(jià)函數(shù)充分考慮失真度、帶寬和延時(shí)信息，決定當(dāng)前的數(shù)據(jù)包是否需要重新傳送，這樣可以有效避免浪費(fèi)有限的信道帶寬，錯(cuò)誤恢復(fù)后的失真度很高且在當(dāng)前帶寬允許的條件下，則要求編碼端重新發(fā)送，恢復(fù)出完好的重構(gòu)圖像，保證了圖像質(zhì)量，可以盡早地防止圖像的錯(cuò)誤擴(kuò)散，避免占用額外網(wǎng)絡(luò)帶寬，減少延時(shí)。

4 實(shí)驗(yàn)結(jié)果及仿真

為了驗(yàn)證本文算法的性能，選用foreman （YUV 4∶2∶0，30 f/s，逐行掃描）作為測試序列，實(shí)驗(yàn)仿真采用基于H.264/SVC的參考軟件JSVM作為對(duì)比，編碼結(jié)構(gòu)采用低延時(shí)應(yīng)用IPPP，每個(gè)序列編碼和解碼300幀，GOP是30，僅第1幀編碼為I幀，不使用FMO，錯(cuò)誤恢復(fù)使用前幀拷貝，基本層是QCIF格式，增強(qiáng)層是CIF格式。亮度的信噪比隨著碼率和丟包率變化的曲線如圖1、圖2所示。

從圖1可以看出，對(duì)于foreman序列，丟包率相同時(shí)，本文算法結(jié)合率失真優(yōu)化并根據(jù)B-D代價(jià)函數(shù)決定自動(dòng)重傳的機(jī)制，更好地考慮可恢復(fù)圖像的失真度和帶寬資源，誤碼擴(kuò)散得到有效的控制，得到較高的重建圖像的PSNR值。

從圖2可以看出，信道丟包率不同時(shí)，本文算法得到較好的PSNR值，丟包率較高時(shí)，應(yīng)該考慮在帶寬允許的情況下，采用B-D代價(jià)函數(shù)決定是否自動(dòng)重傳的機(jī)制，對(duì)圖像失真度影響比較大的視頻數(shù)據(jù)包進(jìn)行重傳處理，有效地防止了誤碼擴(kuò)散。

5 結(jié)束語

本文結(jié)合率失真優(yōu)化算法以可伸縮編碼作為容錯(cuò)工具，利用帶寬失真代價(jià)函數(shù)的概念，在一定的丟包率、信道帶寬和傳輸延時(shí)限制的條件下，同時(shí)考慮可伸縮視頻編碼的分層機(jī)制，不同層的視頻數(shù)據(jù)對(duì)圖像的失真度影響不一樣，接收端接收質(zhì)量和傳輸中所用的帶寬不僅和視頻信源的率失真性能相關(guān)，而且和信道的錯(cuò)誤率(丟包率)及終端錯(cuò)誤恢復(fù)技術(shù)相關(guān)，所以提出了一種基于B-D代價(jià)函數(shù)的對(duì)增強(qiáng)層有選擇的重傳算法，將其作為衡量視頻包是否予以重傳的準(zhǔn)則。仿真實(shí)驗(yàn)表明，其能有效抑制誤碼的擴(kuò)散，對(duì)圖像質(zhì)量影響較大的數(shù)據(jù)包進(jìn)行重傳，有效保證了圖像質(zhì)量，較少占用網(wǎng)絡(luò)帶寬，同時(shí)大大提高了視頻碼流的抗誤碼能力和魯棒性。

本文方法不足之處在于運(yùn)算量大，圖像的失真度Ddc是通過圖像的均方誤差得到的。本文目前只對(duì)增強(qiáng)層的數(shù)據(jù)采用B-D代價(jià)函數(shù)決定自動(dòng)重傳的方法，如果對(duì)基本層圖像數(shù)據(jù)采用B-D方法代價(jià)函數(shù)決定自動(dòng)重傳，可能會(huì)進(jìn)一步提高本文算法的效果，這是下一步的研究工作。

1 Schwarz H,Hinz T,Marpe D,et al.Constrained interlayer prediction for single-loop decoding in spatial scalability.In:Proc ICIP’05,Genova,Ital,Sep 2005

2 Kwok W,Sun Huifang．Multi-directional interpolation for spatial error concealment.IEEE Transactions on Consumer Electronics,1993,39(3):455～460

3 Schwarz H,Marpe D,Wiegand T.Overview of scalable video coding extension of H.264/AVC standard.IEEE Trans on Circuits Syst Video Technol,2007,17(9):1 103～1 120

4 Zhang Qian,Zhu Wenwu,Zhang Ya-Qin.Channel adaptive resource allocation for scalable video transmission over 3G network.IEEE Transactions on Circuits and Systems for Video Technology,2004,14(8):1 049～1 053

5 Lu J.Signal processing of Internet video streaming:a review proceedings of the SPIE image and video.In:Communications and Processing,San Jose,CA,USA,2000

6 Cheng H S,Fairhurst G,Samaraweera N.Efficient partial retransmission ARQ strategy with error detection codesby feedback channel.IEEE Proceedings on Communications,2000,147(5):263～268

7 ITU-T Rec.H.264.Advanced video coding generic audiovisual services,2005

8 Wang Y,Zhu Q.Error control and concealment for video communication.Proc IEEE,1998,86(5):974～997

9 Lam Wai-Man,Reibman A R,Liu Bede.Recovery of lost or erroneously received motion vect.In:IEEE Proceedings of InternationalConference on Acoustics,Speech and Signal Processing(1CASSP93),Minneapolis,USA,1993

10 ITU-T H.264.Wiegand T,Sullivan G,Reichel J,et al.Joint draft 11of SVC amendment.Joint Video Team,JVT-X201,2007

11 WangY,Ostermann J,ZhangY Q.Videoprocessand communication englewood cliffs.In:NJ,Prentice Hall,2002

12 Wenger S,Wang Y K,Schierl T.Transport and signaling of SVC in IP networks.IEEE Trans Circuits Syst Video Technol,2007,17(9):1 164～1 173

13 Kallel S,Haccoun D.Sequential decoding with an efficient partialrestransmission ARQ strategy.IEEE Transactions on Communications,1991,39(2):208～213

14 Sun Huifang,Kwok W.Concealment of damaged block transform coded images using projections onto convex sets.IEEE Transactions on Image Processing,1995,4(4):470～477

15 Tian D,Hannuksela M M,Wang Y K,et al.Error resilient video coding techniques using spare pictures.In:Proc Packet Video Workshop’03,Nantes,France,Apr 2003

16 Wang Y,Wenger S,Wen J,et al.Error resilient video coding techniques.IEEE Signal Process Mag,2000,17(4):61～82