淺析超高清數(shù)字電視視頻壓縮編碼技術(shù)

王子微，楊盈昀

(中國傳媒大學(xué)通信與信息系統(tǒng)專業(yè)，北京 100024)

責(zé)任編輯:時(shí) 雯

從標(biāo)清電視到高清電視再到超高清，愈加清晰的電視畫面不斷挑戰(zhàn)人類“臨場(chǎng)感與真實(shí)感”的極限。電影銀幕大小的顯示器加上22.2聲道的立體聲場(chǎng)給予觀眾的視聽感受將是不言而喻的。早在20世紀(jì)末，日本、美國和歐洲已經(jīng)開始研究超高清數(shù)字電視(UHDTV)。目前，索尼、松下、夏普、三星、LG等公司都有超高清產(chǎn)品問世［1］。

眾所周知，1 920×1 080已成為高清通用圖像格式(HDCIF)，而超高清的圖像格式分為3種:4K(3 840×2 160)、8K(7 680×4 320)和16K(15 360×8 640)，分別是HDCIF的4倍、16倍和64倍，針對(duì)不同國家地區(qū)支持50 Hz、60 Hz及59.9 Hz等幀率，采用逐行掃描。超高清系統(tǒng)的基色坐標(biāo)、標(biāo)準(zhǔn)白、光電轉(zhuǎn)換函數(shù)、亮度/色差分量方程等色度學(xué)指標(biāo)都與現(xiàn)有的ITU－R BT.709和SMPTE RP177等標(biāo)準(zhǔn)兼容，加上延續(xù)16∶9顯示比例，在兼容性上做到了極致。此外，超高清系統(tǒng)的水平視角可達(dá)100°，比起高清電視30°的水平視角，可以讓觀眾獲得更佳的身臨其境的效果［2］。在常規(guī)尺寸的電視上，超高清電視技術(shù)帶來的畫面質(zhì)量的改善不能體現(xiàn)出來，所以超高清電視主要還是為公共場(chǎng)所的大屏幕電視設(shè)計(jì)。

1 超高清數(shù)字電視壓縮編碼技術(shù)概述

以色度分辨率最低的4∶2∶0色度采樣為例，當(dāng)超高清數(shù)字電視信號(hào)圖像為4K模式時(shí)，其原始數(shù)據(jù)率為(3 840×2 160 pixel/frame)×(12 bit/pixel)×(30 frame/s)，即約為2.78 Gbit/s(30 frame/s)，8K模式的原始數(shù)據(jù)率約為11 Gbit/s，如此龐大的數(shù)據(jù)量，如采用H.264視頻壓縮方法可將4K模式原始數(shù)據(jù)率壓縮至20 Mbit/s以內(nèi)，但這對(duì)目前的帶寬要求仍然很高。因此必須研究新的視頻壓縮標(biāo)準(zhǔn)對(duì)原始數(shù)據(jù)進(jìn)行高效的壓縮，以完成帶寬傳輸要求。為此，ITU－T視頻編碼專家組(Video Coding Experts Group，VCEG)和ISO/IEC移動(dòng)視頻專家組(Moving Picture Experts Group，MPEG)聯(lián)合成立了視頻編碼聯(lián)合小組(Joint Collaborative Team on Video Coding，JCT － VC)，致力于研制下一代視頻編碼標(biāo)準(zhǔn)HEVC(High Efficiency Video Coding)［3］。

HEVC的目標(biāo)是在H.264/AVC high profile的基礎(chǔ)上，使高分辨力/高保真的視頻圖像壓縮效率提高一倍。HEVC仍然采用類似于H.264的預(yù)測(cè)加變換的混合編碼框架，但其編碼結(jié)構(gòu)更加靈活，包括編碼單元(Coding Unit，CU)、預(yù)測(cè)單元(Predict Unit，PU)以及變換單元(Transform Unit，TU)，這3個(gè)單元彼此分離，能夠有效完成各自的功能。此外，HEVC擁有多達(dá)35種幀內(nèi)預(yù)測(cè)模式，包括33個(gè)方向性預(yù)測(cè)和2個(gè)非方向性預(yù)測(cè)模式。并增加了兩個(gè)高效的濾波器:樣本自適應(yīng)偏移濾波器(SAO)和自適應(yīng)環(huán)路濾波器(ALF)。下面將介紹HEVC編碼工具或技術(shù)的主要改進(jìn)。

2 HEVC關(guān)鍵創(chuàng)新技術(shù)

2.1 編碼結(jié)構(gòu)

HEVC提出了超大尺寸四叉樹編碼結(jié)構(gòu)，利用CU、PU以及TU來完成視頻圖像的分割和預(yù)測(cè)編碼。且HEVC采用更大的塊結(jié)構(gòu)，最大的編碼單元為64×64像素。

編碼單元CU采用四叉樹遞歸的方式進(jìn)行CU的劃分，如圖1所示。CU最大塊(LCU)可達(dá)64×64，最小塊(SCU)為8×8，且其形狀必須為正方形。為了得到最優(yōu)的CU，每個(gè)64×64的CU最多要進(jìn)行85次的CU計(jì)算以得到最小率失真值。

圖1 LCU結(jié)構(gòu)示意圖

TU用來實(shí)現(xiàn)CU的預(yù)測(cè)過程，其大小不能大于其所屬的CU，形狀可以是正方形，也可以是矩形。目前存在著兩種分割類型:對(duì)稱分割［4］和不對(duì)稱分割(AMP)［5］，分別如圖2和圖3所示。

圖3 矩形變換交叉樹

采用以上分割方式可以提高大尺寸區(qū)域的預(yù)測(cè)效率。幀內(nèi)預(yù)測(cè)采用2N×2N和N×N兩種PU分割方式，而對(duì)于幀間預(yù)測(cè)，所有分割方式都適用。

圖4顯示的是3級(jí)矩形四叉樹變換水平TU結(jié)構(gòu)，同理可有垂直分割結(jié)構(gòu)。TU是進(jìn)行變換和量化的基本單元，且其大小可以從32×32到4×4。對(duì)幀間編碼，TU的大小可以大于PU的大小，但不能超過CU的大小;對(duì)幀內(nèi)編碼，TU的大小不能超過PU的大小。在一個(gè)CU中可以有一個(gè)或者多個(gè)TU，為了提高CU的編碼效率，TU同樣采用類似于CU的四叉樹結(jié)構(gòu)。此外，為了與PU對(duì)稱分割和不對(duì)稱分割模式相對(duì)應(yīng)，矩形四叉樹TU結(jié)構(gòu)的提案［6］也被聯(lián)合小組采納。

圖4 35種幀內(nèi)預(yù)測(cè)方式

2.2 HEVC幀內(nèi)預(yù)測(cè)編碼技術(shù)

與H.264一樣，HEVC的幀內(nèi)預(yù)測(cè)仍然是在空域中進(jìn)行的。為了提高幀內(nèi)壓縮效率，相對(duì)于H.264的8種方向性幀內(nèi)預(yù)測(cè)模式，HEVC提供了高達(dá)35種預(yù)測(cè)模式，如圖5所示。其中的33個(gè)方向性預(yù)測(cè)，大大增加了幀內(nèi)預(yù)測(cè)的精細(xì)程度。而Planar和DC這兩種非方向性預(yù)測(cè)模式都是為了能更好地預(yù)測(cè)紋理比較平滑的區(qū)域而提出的，其中Planar模式更側(cè)重于有一定漸變趨勢(shì)的區(qū)域。

圖5 35種幀內(nèi)預(yù)測(cè)方式示意圖

在HEVC中，預(yù)測(cè)單元PU的大小從64×64到4×4。對(duì)于不同大小的PU，HEVC除了提供非方向性預(yù)測(cè)模式外，還提供不同個(gè)數(shù)的方向性幀內(nèi)預(yù)測(cè)模式。當(dāng)使用重構(gòu)像素對(duì)當(dāng)前塊進(jìn)行預(yù)測(cè)時(shí)，HEVC對(duì)所有的PU都采用1/32的插值精度。

HEVC共有5種色度幀內(nèi)預(yù)測(cè)模式，分別為垂直、水平、DC、DM以及基于亮度的色度幀內(nèi)預(yù)測(cè)模式。其中DM指的是使用其對(duì)應(yīng)亮度像素采用的預(yù)測(cè)模式。

雖然現(xiàn)有的35種幀內(nèi)預(yù)測(cè)模式能在很大程度上提高幀內(nèi)預(yù)測(cè)的精度，但其復(fù)雜度卻也相應(yīng)地增加了很多。盡管現(xiàn)有的HEVC模型對(duì)不同大小的PU限制了一定個(gè)數(shù)的預(yù)測(cè)方向，但其復(fù)雜度仍然比較高，這也是目前很多快速幀內(nèi)預(yù)測(cè)算法研究人員面臨的難題。

2.3 HEVC環(huán)路濾波技術(shù)

為了使濾波效果更佳，HEVC中會(huì)使用去塊效應(yīng)濾波器、自適應(yīng)樣點(diǎn)補(bǔ)償濾波器(Sample Adaptive Offset，SAO)和自適應(yīng)環(huán)路濾波器(Adaptive Loop Filter，ALF)對(duì)反量化后的圖像進(jìn)行處理。其中去塊效應(yīng)濾波器與H.264中采用的技術(shù)類似，SAO和ALF都是HEVC新采用的關(guān)鍵技術(shù)，這兩者不同于去塊效應(yīng)濾波器，它們除了對(duì)塊邊緣進(jìn)行濾波外，還對(duì)塊中的任意像素進(jìn)行過濾。

2.3.1 自適應(yīng)樣點(diǎn)補(bǔ)償濾波器

在完成去塊效應(yīng)濾波處理后，對(duì)每個(gè)像素應(yīng)用SAO根據(jù)其特征進(jìn)行分類，然后對(duì)不同類型的像素應(yīng)用不同強(qiáng)度的補(bǔ)償。SAO包括兩種類型，即帶狀補(bǔ)償(Band Offset，BO)和邊緣補(bǔ)償(Edge Offset，EO)［7］。

帶狀補(bǔ)償將某個(gè)區(qū)域內(nèi)的所有像素分為多個(gè)條帶，每個(gè)條帶含有相同強(qiáng)度間隔的像素。帶狀補(bǔ)償將從0到最大強(qiáng)度之間的強(qiáng)度范圍平分為32個(gè)強(qiáng)度間隔，每個(gè)間隔有一個(gè)補(bǔ)償值。且這32個(gè)強(qiáng)度間隔被分為了兩組，只有其中一組的補(bǔ)償值被用來編碼傳輸，這樣有利于節(jié)省比特?cái)?shù)。

邊緣補(bǔ)償通過將當(dāng)前像素與相鄰像素進(jìn)行對(duì)比，比較模板如圖6所示，將當(dāng)前區(qū)域內(nèi)的像素進(jìn)行分類標(biāo)識(shí)，然后在解碼時(shí)根據(jù)相應(yīng)的分類標(biāo)識(shí)進(jìn)行相應(yīng)的補(bǔ)償。由于每個(gè)模板每次只對(duì)相鄰的兩個(gè)像素進(jìn)行比較，所以操作并不復(fù)雜。為了使LCU能進(jìn)行獨(dú)立的解碼，每個(gè)LCU的頂行和底行像素都不對(duì)模板b，c和d進(jìn)行處理;同理每個(gè)LCU的最左列和最右列的像素不對(duì)模板a，c和d進(jìn)行處理。

圖6 EO像素分類模板

2.3.2 自適應(yīng)環(huán)路濾波器

為進(jìn)一步降低重建圖像的失真，HEVC引入了一項(xiàng)新技術(shù)——自適應(yīng)環(huán)路濾波器(ALF)。提案［8］采用了一種基于四叉樹的自適應(yīng)環(huán)路濾波器QALF(Quadtree－based A-daptive Loop Filter)，這種濾波器是為了減少編碼圖像的解碼噪聲，它決定是否逐片地將(slice by slice)環(huán)路濾波器應(yīng)用到一個(gè)塊的亮度和色度分量上。對(duì)于亮度分量來說，濾波器是一個(gè)點(diǎn)對(duì)稱的二維FIR濾波器;而對(duì)于色度分量來說，濾波器是一個(gè)5×5抽頭點(diǎn)對(duì)稱矩形二維FIR濾波器。

目前，HEVC有兩種ALF分類方法，即基于像素的ALF 分類方法［9］和基于區(qū)域的 ALF 分類方法［10］。對(duì)于基于像素的ALF分類方法，一幅圖像的所有像素被分為16組，之后每個(gè)組會(huì)使用一種濾波器來進(jìn)行處理，濾波系數(shù)通過自適應(yīng)維納濾波器進(jìn)行計(jì)算;而基于區(qū)域的ALF分類方法，會(huì)將一幅圖像分為大致相等的16個(gè)區(qū)域，且每個(gè)區(qū)域都與LCU(64×64)編碼單元邊界對(duì)齊，與基于像素的分類方法類似，每個(gè)區(qū)域在整合后都會(huì)使用一種濾波器來進(jìn)行濾波處理。

3 結(jié)論

本文論述了超高清晰度電視技術(shù)的發(fā)展，重點(diǎn)對(duì)新一代視頻編碼標(biāo)準(zhǔn)HEVC的主要技術(shù)進(jìn)行了簡(jiǎn)要說明。雖然HEVC標(biāo)準(zhǔn)正在制定中，但主要框架已基本確定，預(yù)計(jì)在2013年1月份完成國際標(biāo)準(zhǔn)最終版本。

［1］孫樂民，薛永林.超高清數(shù)字電視關(guān)鍵技術(shù)研究［J］.電視技術(shù)，2012，36(6):17－20.

［2］楊壽堂，汪蘭.超高清電視的價(jià)值取向［J］.新聞界，2008(5):127－128.

［3］ITU－T SG16.Joint collaborative team on video coding［EB/OL］.［2012－08－25］.http://www.docin.com/p－404517907.html.

［4］SUZUKI Y，TAN T，CHIEN W，et al.JCTVC－D421，Extension of uniprediction sim－plification in B slice［R］.［S.l.］:JCT－VC，2011.

［5］BOSSEN F.JCTVC－E700，Common test conditions and software reference configura tions［R］.［S.l.］:JCT－VC，2011.

［6］YUAN Y，ZHENG X，PENG X，et al.JCTVC－F412，CE2:Non－square quadtree transform for symmetric and asymmetric motion partition［R］.［S.l.］:JCT－VC，2011.

［7］CHEN C Y，F(xiàn)U C M，TSAI C Y，et al.JCTVC－E049，Sample adaptive offset with LCU－independent decoding［R］.［S.l.］:JCT－VC，2011.

［8］TAKESHI C.JCTVC－A119，Description of video coding technology proposal by TOSHIBA［R］.［S.l.］:JCT－VC，2010.

［9］CHEN C Y，F(xiàn)U C M，TSAI C Y，et al.JCTVC－D119，CE8 Subtest2:A joint proposal on improving the adaptive loop filter in TMuC0.9 by mediatek，qualcomm and toshiba［R］.［S.l.］:JCT－VC，2011.

［10］CHEN C Y，F(xiàn)U C M，TSAI C Y，et al.JCTVC－E046，CE8 Subtest 2:Adaptation between pixel－based and region－based filter selection［R］.［S.l.］:JCT－VC，2011.