可伸縮視頻編碼標(biāo)準(zhǔn)中的差錯(cuò)控制

賀 詞

（中國(guó)科學(xué)技術(shù)大學(xué) 電子工程與信息科學(xué)系，安徽 合肥 230027）

0 引言

可伸縮視頻編碼，也可說是分層視頻編碼，是從視頻服務(wù)器中一段視頻流里提取出不同的子碼流，從而滿足在不同終端用戶、不同網(wǎng)絡(luò)框架和不同服務(wù)質(zhì)量（QoS）下的各種不同的用戶需求。編碼有多個(gè)層，包括一個(gè)基本層和多個(gè)增強(qiáng)層。增強(qiáng)層通過提高幀率、空間分辨率和圖像質(zhì)量等方式來提高用戶的體驗(yàn)感覺。這些方式分別被稱為時(shí)間、空間和信噪比SNR的可伸縮性，同時(shí)它們也可以組合起來使用?；跀?shù)據(jù)包的視頻傳輸方式正得到越來越廣泛的應(yīng)用，其中一個(gè)固有問題就是信道錯(cuò)誤。網(wǎng)絡(luò)擁塞使得路由丟棄了部分?jǐn)?shù)據(jù)包，或是包經(jīng)過了太長(zhǎng)的時(shí)間才到達(dá)目的地，還可能傳輸鏈路上的物理干擾導(dǎo)致的比特錯(cuò)誤。很多視頻傳輸系統(tǒng)采用的都是UDP協(xié)議，任何比特錯(cuò)誤都將導(dǎo)致整個(gè)包被丟棄，導(dǎo)致一部分圖像區(qū)域甚至整個(gè)圖像被破壞。加上目前為提高壓縮效率采用了復(fù)雜的視頻預(yù)測(cè)編碼，使得錯(cuò)誤在空間上和時(shí)間上都會(huì)傳播，從而視頻序列的主客觀質(zhì)量在出現(xiàn)一個(gè) IDR（Instant Decoder Refresh）幀把錯(cuò)誤截?cái)嗲翱赡苁艿胶艽髶p害。在信源層面的錯(cuò)誤彈性編碼和錯(cuò)誤隱藏兩種方法是對(duì)抗這一問題的方法。錯(cuò)誤彈性編碼指的是信源在碼流中加入特定的冗余信息來檢測(cè)數(shù)據(jù)丟失、阻止錯(cuò)誤傳播、指導(dǎo)錯(cuò)誤隱藏以幫助解碼端恢復(fù)或者隱藏由信道出錯(cuò)造成的錯(cuò)誤，在某一特定的信道情況下達(dá)到最小的端到端失真。錯(cuò)誤隱藏則是在已知正確解碼的區(qū)域和任何有幫助的信息的基礎(chǔ)上對(duì)出錯(cuò)丟失的圖像區(qū)域進(jìn)行估計(jì)修復(fù)。錯(cuò)誤隱藏只在解碼端進(jìn)行，它不像其它差錯(cuò)控制方法那樣需要編碼端參與。

SVC繼承了H.264/AVC中幾乎所有的標(biāo)準(zhǔn)錯(cuò)誤彈性和錯(cuò)誤隱藏編碼工具，針對(duì)自身特點(diǎn)，利用層之間的相關(guān)性 SVC還提出幾種新的方法，提高了性能。

1 SVC中的錯(cuò)誤彈性編碼

1.1 從H.264/AVC中繼承的錯(cuò)誤彈性工具

錯(cuò)誤彈性除了早期視頻編碼的幀內(nèi)編碼宏塊/幀刷新、條帶編碼、參考幀確認(rèn)、參考幀選擇、數(shù)據(jù)分割、頭信息擴(kuò)展碼和頭信息重復(fù)、冗余幀技術(shù)外，H.264/AVC還增加了新的標(biāo)準(zhǔn)工具：參數(shù)集，可變宏塊順序 FMO（Flexible MB Order），漸進(jìn)解碼刷新GDR（Gradual Decoding Refresh），場(chǎng)景信息標(biāo)識(shí)， SP/SI幀，受限幀內(nèi)預(yù)測(cè)和參考幀標(biāo)記重復(fù)。這些都在SVC中得到了繼承。

1.2 SVC中提出的錯(cuò)誤彈性工具

可伸縮視頻編碼種提出了新的錯(cuò)誤彈性工具：

① 質(zhì)量層完整性校驗(yàn)：質(zhì)量層完整性的校驗(yàn)補(bǔ)充增強(qiáng)信息（SEI）包含了由所有同一依賴層中（dependency_id）的質(zhì)量增強(qiáng)層中的網(wǎng)絡(luò)抽象層單元（NAL）計(jì)算得到的 CRC碼。此信息用來檢驗(yàn)解碼端是否接收到了某個(gè)依賴層中所有增強(qiáng)層NAL單元。當(dāng)檢測(cè)到丟失，可以通知編碼端，讓其用沒有丟失的質(zhì)量基本層作為參考來編后續(xù)單元，從而消除由于使用有錯(cuò)質(zhì)量增強(qiáng)層做參考產(chǎn)生的錯(cuò)誤傳播；

② 第0個(gè)時(shí)間層索引：第0個(gè)時(shí)間層索引SEI消息可以提供一種機(jī)制來檢測(cè)當(dāng)傳輸有可能出錯(cuò)時(shí)，是否需要第 0個(gè)時(shí)間層（最低的時(shí)間層）才能正確解碼當(dāng)前單元。解碼端根據(jù)這一信息來決定當(dāng)所依賴的最低時(shí)間層丟失時(shí)是否發(fā)送反饋信息要求編碼端重傳；

③ SVC中基于LA-RDO（Loss Aware – Rate Distortion Optimized Macroblock Mode Decision）的幀內(nèi)編碼宏塊刷新：與單層編碼時(shí)一樣，SVC中宏塊模式選擇也會(huì)影響碼流的錯(cuò)誤彈性性能。在給定一個(gè)目標(biāo)丟包率后，每幀都計(jì)算出基于4x4塊的錯(cuò)誤傳播圖，作為后續(xù)幀編碼的模式選擇時(shí)的考量因素。遍歷所有的候選模式后對(duì)每個(gè)模式都估算出對(duì)應(yīng)編碼方法和一定丟包率下宏塊重建時(shí)的失真和所需的比特?cái)?shù)。根據(jù)以下公式選擇代價(jià)最小的模式進(jìn)行編碼：

其中C代表代價(jià)，D代表失真，R代表編碼碼率，λ代表拉格朗日系數(shù)。多層編碼時(shí)對(duì)基本層的模式選擇與單層時(shí)完全相同。對(duì)增強(qiáng)層，如果沒有層間預(yù)測(cè)，也直接使用單層的方法。如果使用了層間預(yù)測(cè)， 要考慮層間預(yù)測(cè)所依賴的上一層直到最低層的失真情況；

④ SVC中的冗余幀編碼（Redundant Picture）：因?yàn)閭鬏斨袑?duì)于基本層的非對(duì)稱保護(hù)，所以SVC標(biāo)準(zhǔn)是對(duì)增強(qiáng)層添加冗余幀，并且是針對(duì)每個(gè) GOP(Group Of Pictures)中的關(guān)鍵幀（Key Picture）。即可以是簡(jiǎn)單的完全復(fù)制原幀數(shù)據(jù)，也可以是采用比原幀更大量化參數(shù)編碼得到，后者幀質(zhì)量較原幀低但是減小了冗余幀帶來的碼率增加。冗余幀可以使用與原幀參考幀不同的多個(gè)參考幀，阻止時(shí)間上的錯(cuò)誤傳播。原幀和冗余幀是同時(shí)通過冗余幀補(bǔ)充增強(qiáng)信息（Redundant Picture SEI）來指示一個(gè)冗余層表達(dá)和其對(duì)應(yīng)的主層表達(dá)之間的相關(guān)性：在一個(gè)主幀丟失后，冗余表達(dá)是否可以完全代替主表達(dá)中的幀間預(yù)測(cè)，或者層間模式、運(yùn)動(dòng)、殘差以及紋理預(yù)測(cè)。

當(dāng)原幀丟失時(shí)如果存在冗余幀，可以對(duì)冗余幀進(jìn)行解碼。如果原幀沒有丟失而是正常解碼，冗余幀會(huì)被丟棄而不被解碼。冗余幀可以大大減小丟幀的影響，假設(shè)原幀有一個(gè)冗余幀，并且是原幀的簡(jiǎn)單重復(fù)，那么原幀和冗余幀都丟失的概率則是原丟失率的平方。對(duì)標(biāo)準(zhǔn)測(cè)試序列 foreman和football的相關(guān)統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果顯示，試驗(yàn)中基本層為 QCIF大小，還有一個(gè)CIF大小的增強(qiáng)層，冗余幀是原幀的簡(jiǎn)單復(fù)制，相比沒有冗余幀時(shí)有很明顯的性能 提升。

2 SVC中的錯(cuò)誤隱藏編碼

錯(cuò)誤隱藏是只在解碼端使用的技術(shù)，如果一幀圖像分成了多個(gè)條帶，只有一部分丟失，可以采用空間的錯(cuò)誤隱藏方法。對(duì)于一幀圖像通常只用一個(gè)包來傳輸?shù)牡痛a率情況，只能根據(jù)已經(jīng)解碼的相鄰幀來恢復(fù)實(shí)際上已經(jīng)整個(gè)丟失的幀。較簡(jiǎn)單的方法是直接拷貝前一幀，在運(yùn)動(dòng)平滑的情況下也可采用運(yùn)動(dòng)拷貝的方法。

SVC中提出了幾種基于層間預(yù)測(cè)的錯(cuò)誤隱藏算法。通過組合使用這些錯(cuò)誤隱藏方法，取得了比單層編碼錯(cuò)誤隱藏算法明顯PSNR的增益：

① 丟失幀的參考幀管理：當(dāng)檢測(cè)到關(guān)鍵幀丟失后，將會(huì)把它當(dāng)成 P幀來做錯(cuò)誤隱藏，所需的參考幀列表重排序（RPLR）命令將保證當(dāng)前幀用前一個(gè)關(guān)鍵幀來預(yù)測(cè)而內(nèi)存管理控制操作（MMCO）命令將標(biāo)記上一個(gè)GOP中不需要用到的幀，使得丟幀之后依然保證最小的解碼圖像緩沖 DPB（Decoded Picture Buffer）。如果丟失的不是關(guān)鍵幀，RPLR命令將根據(jù)前一個(gè)GOP中的幀的情況來構(gòu)造，或者當(dāng)丟失的幀在增強(qiáng)層時(shí)用基本層的幀來構(gòu)造；

② 層內(nèi)錯(cuò)誤隱藏算法：指的是只用于丟失幀處于同一個(gè)空間或質(zhì)量層的幀來做錯(cuò)誤隱藏，幀拷貝FC（Frame Copy）：待恢復(fù)的幀的每個(gè)像素都直接用參考幀列表中的第一幀同位置像素拷貝而來?；緦雍驮鰪?qiáng)層都可以使用此算法。B幀的時(shí)間直接TD（Temporal Direct）模式：宏塊的運(yùn)動(dòng)矢量直接從其相鄰的參考幀推導(dǎo)而來。例如，當(dāng)參考幀列表1（后向列表）中的參考幀的同位置塊使用其參考幀列表0（前向列表）中的一幀做參考，而這一幀也處在當(dāng)前B幀的列表0中，那么這兩幀將被用來對(duì)當(dāng)前 B幀的該宏塊進(jìn)行雙向預(yù)測(cè)。運(yùn)動(dòng)矢量將直接用列表 1中的參考幀的運(yùn)動(dòng)矢量根據(jù)幀的顯示順序的差值進(jìn)行縮放得到。SVC中，空間和質(zhì)量增強(qiáng)層不能使用TD模式進(jìn)行編碼，不過我們可以在對(duì)B幀做錯(cuò)誤隱藏的時(shí)候使用上述算法。用上述算法得到的運(yùn)動(dòng)矢量來進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)出丟失的幀中的宏塊，只不過此時(shí)假設(shè)殘差為0。SVC框架設(shè)計(jì)中，每一層中需要用到的運(yùn)動(dòng)矢量都被保存了下來，因此使用 TD算法不需要增加額外的內(nèi)存空間。運(yùn)動(dòng)拷貝 MC（Motion Copy）：不論關(guān)鍵幀原本是I幀還是P幀，都將被當(dāng)做P幀進(jìn)行錯(cuò)誤隱藏。因此TD算法無法使用，而兩個(gè)關(guān)鍵幀之間的距離一般比較大，幀拷貝算法的性能會(huì)比較差。為了更準(zhǔn)確的恢復(fù)出當(dāng)前幀，前一個(gè)關(guān)鍵幀的運(yùn)動(dòng)矢量將被拷貝過來作為當(dāng)前幀的運(yùn)動(dòng)矢量來進(jìn)行運(yùn)動(dòng)補(bǔ)償。

③ 層間錯(cuò)誤隱藏算法：下面會(huì)介紹兩種算法，一種用于單回路解碼，另一種用于多回路解碼。

基本層跳過模式 BLSkip（Base Layer Skip）：對(duì)于增強(qiáng)層中丟失的幀的每個(gè)宏塊，如果其在基本層中的對(duì)應(yīng)宏塊是幀內(nèi)編碼，則使用紋理預(yù)測(cè)；如果基本層中的對(duì)應(yīng)宏塊是幀間編碼的，則使用運(yùn)動(dòng)預(yù)測(cè)和殘差預(yù)測(cè)，運(yùn)動(dòng)補(bǔ)償使用上采樣后的運(yùn)動(dòng)矢量進(jìn)行。如果基本層沒有丟失，這一算法可以直接使用。如果基本層中的幀也丟了，則基本層的幀首先使用TD算法生成運(yùn)動(dòng)矢量，然后再恢復(fù)增強(qiáng)層，即BLSkip與TD結(jié)合使用。

基本層重建及上采樣（RU）：用此方法時(shí)，要先把基本層的幀重建出來，然后根據(jù)其與增強(qiáng)層的分辨率比例進(jìn)行上采樣。由于需要把基本層完全解碼，這就需要多回路解碼。這一方法在只有增強(qiáng)層發(fā)生連續(xù)丟幀時(shí)會(huì)比較有效，并且對(duì)于低運(yùn)動(dòng)量的視頻序列其性能有可能與BLSkip不相上下。

改進(jìn)的錯(cuò)誤隱藏算法：一種改進(jìn)的錯(cuò)誤隱藏方法是將BLSkip與MC算法結(jié)合使用。用MC算法修復(fù)基本層中丟失的關(guān)鍵幀或者是對(duì)應(yīng)的基本層幀丟失了的增強(qiáng)層中的關(guān)鍵幀。然后用BLSkip算法恢復(fù)出其它丟失的幀。

上述方法FC算法可以用于所有的幀；TD算法可用于所有非關(guān)鍵幀；BLSkip算法和RU算法只可用于增強(qiáng)層中的幀；MC算法用于關(guān)鍵幀。RU算法只在解碼端采用多回路解碼時(shí)才可使用。

3 結(jié)語

本文介紹了可伸縮視頻編碼標(biāo)準(zhǔn)（SVC）中用于的錯(cuò)誤彈性編碼和錯(cuò)誤隱藏技術(shù)以及他們各自的特點(diǎn)，并且給出了其中一些方法相關(guān)的實(shí)驗(yàn)結(jié)果和推導(dǎo)。在現(xiàn)有的很多方法不斷擴(kuò)展和提升的同時(shí)，更多更有效的方法工具還在不斷被提出來。如何提高對(duì)抗信道傳輸中衰減、誤碼和數(shù)據(jù)丟失的魯棒性是視頻編解碼研究中一個(gè)重要和富有挑戰(zhàn)性的工作。

[1]Wang Y, Zhu Q.Error Control and Concealment for Video Communication: A Review[J].Proc.of the IEEE, 1998(86):974-997.

[2]Wang Y, Ostermann J, Zhang Y Q.Video Processing and Communications[M].USA: Prentice Hall, 2002.

[3]Wiegand T,Sullivan G, Reichel J, et al.Joint Draft 11 of SVC Amendment[M].USA:[s.n.],2007.

[4]Schwarz H, Marpe D, Wiegand T.Overview of Scalable Video Coding Extension of H.264/AVC Standard[J].IEEE Trans.on Circuits and Syst.for Video Technol., 2007(17):1103-1120.

[5]He C, Liu H, Li H Q,et al.Redundant Picture for SVC[M].USA:[s.n.],2007.

[6]Guo Y, Wang Y K, Li H Q.Error Resilience Mode Decision in Scalable Video Coding[C].USA:[s.n.],2006:2225-2228.

[7]Chen Y, Xie K, Zhang F, et al.Frame Loss Error Concealment for SVC[C].China:Zhejiang University Press,2006:1862-1775.

[8]Wang Y K, Zhu C, Li H Q.Error Resilient Video Coding Using Flexible Reference Frames[C].USA:[s.n.],2005:691-702.