采用HEVC的精細(xì)可分級編碼

洪佳慶，林其偉

（華僑大學(xué) 信息科學(xué)與工程學(xué)院，福建 廈門361021）

精細(xì)可分級（FGS）編碼方案最先是基于MPEG-4提出的，之后被正式納入 MPEG-4標(biāo)準(zhǔn)中［1］.近年來，隨著H.264的廣泛實用，許多國內(nèi)外學(xué)者提出了一些基于H.264的FGS方案［2］.在這些基于H.264的FGS方案中，原始視頻流被分為兩個碼流：基本層碼流，增強層碼流.基本層碼流可以保證最基本的視頻質(zhì)量［3］，而增強層碼流則可以提高增強的細(xì)節(jié)上的視頻質(zhì)量.FGS的增強層可以根據(jù)當(dāng)時網(wǎng)絡(luò)帶寬的情況對碼流進(jìn)行任意位置的截斷，只傳輸保留的部分，用戶端接收到的增強層碼流越多，解碼的視頻質(zhì)量將會越高.FGS能夠提供連續(xù)的可分級編碼性能，在信道帶寬時變較大時，能很好地調(diào)節(jié)增強層的碼流，使視頻圖像質(zhì)量過渡平滑.對于H.264 FGS，國內(nèi)外學(xué)者從主觀圖像效果和客觀編碼效率兩方面提出多種改進(jìn)方法.如基于雙環(huán)的MC＋FGS［4］、基于關(guān)鍵幀的開環(huán)、閉環(huán)混合編碼［5］等，可以有效地提高編碼效率，但也存在誤差傳遞和積累問題，而且需要更大的計算復(fù)雜度.本文在新一代的視頻編碼標(biāo)準(zhǔn)［6］HEVC（high efficient video coding）基礎(chǔ)上，提出一種改進(jìn)的精細(xì)可分級編碼方案.

1 基于離散余弦變換系數(shù)的位平面編碼

將位平面編碼量化后的離散余弦變換（DCT）系數(shù)看作是由若干個比特組成的二進(jìn)制數(shù)［7］.對每個8×8的DCT塊，采用Zig-Zag掃描的順序，把64個DCT系數(shù)的絕對值寫成二進(jìn)制的形式，將相同位置的比特提取出來，得到一個位平面.位平面的個數(shù)由DCT系數(shù)的絕對值的最大值決定，編碼從最高平面到最低平面.每個平面用（RUN，EOP）符號表示，通過VLC編碼產(chǎn)生輸出碼流［8］.RUN表示1前面連續(xù)0的個數(shù)，EOP表示是否還有值為1的系數(shù)未被編碼.若一個平面64個比特全為零，則用ALLZERO表示.按照這種位平面編碼方法形成的（RUN，EOP）符號具有“嵌入式”的特性，能夠在符號流的任意位置進(jìn)行截斷.

2 改進(jìn)的FGS編碼器結(jié)構(gòu)

在以往的改進(jìn)算法中，F(xiàn)GS的基本層采用的是H.264編碼器，提高基本層的編碼效率.但隨著視頻應(yīng)用的發(fā)展，H.264的局限性不斷凸顯，而HEVC是面向更高清晰度、更高幀率、更高壓縮率視頻應(yīng)用的協(xié)議標(biāo)準(zhǔn)，將成為今后視頻應(yīng)用發(fā)展的趨勢.因此，對FGS的基本層進(jìn)行改進(jìn)，在基本層采用HEVC編碼器.

圖1 改進(jìn)的FGS編碼器結(jié)構(gòu)Fig.1 Improved structure of FGS encoder

改進(jìn)的FGS編碼方案編碼器結(jié)構(gòu)，如圖1所示.將一個視頻序列編碼為一個基本層碼流和一個增強層碼流.上面部分為FGS增強層的處理流程，對原始圖像與基本層重建圖像的差值圖像采用基于DCT系數(shù)的位平面編碼方式，得到增強層碼流，具有可分級能力；基本層采用完整的HEVC編碼器，將原始視頻圖像與預(yù)測圖像的差值進(jìn)行變換、量化、熵編碼，從而得到基本層碼流.

3 改善視頻圖像主觀效果

3.1 選擇增強

為了提高視頻的視覺質(zhì)量，F(xiàn)GS提供了3種功能：頻率加權(quán)［9］、選擇增強［10］和錯誤恢復(fù)特性［11］.選擇增強是根據(jù)人們在觀察圖像時，往往對某一區(qū)域感興趣，通過將感興趣的數(shù)據(jù)塊的比特平面進(jìn)行上移，保證這些數(shù)據(jù)優(yōu)先編碼.在帶寬有限時，感興趣區(qū)域的數(shù)據(jù)能夠盡可能多地保留下來，在接收端能夠保證用戶感興趣區(qū)域的主觀質(zhì)量.選擇增強示意圖，如圖2所示.

3.2 HEVC編碼單元的分割方式

HEVC采用了更加靈活的編碼結(jié)構(gòu)來提高高分辨率視頻的編碼效率，包括編碼單元、預(yù)測單元和變換單元.將一幀圖像分割成互不重疊的最大編碼單元（largest coding units，LCU），每個LCU以遞歸方式劃分為多個編碼單元（CU）［12］，直到8×8的CU為止.假如LCU設(shè)置為64×64，則CU的可能劃分方式有64×64，32×32，16×16，8×8（編碼單元的尺寸必須為2N×2N，其中N為以2為底的冪）幾種方式，如圖3所示.總的來說，對于較平坦的區(qū)域采用較大的分割尺寸，對于運動劇烈的區(qū)域采用較小的分割方式.

圖2 選擇增強示意圖Fig.2 Schematic of selective enhancement

圖3 最大編碼單元的分割圖Fig.3 Segmentation of the biggest coding unit

3.3 基于編碼單元分割的FGS編碼器

在HEVC中，分割尺寸的選擇會影響壓縮性能.通常情況下，大的分割尺寸適合于圖像中的平坦區(qū)域，小的分割尺寸適合于圖像中的細(xì)節(jié)比較豐富的區(qū)域.

對于LCU設(shè)置為64×64的情況，在編碼增強層之前，根據(jù)HEVC編碼單元分割模式的選擇特點，對于尺寸為16×16和8×8的CU進(jìn)行位平面提升，提升3個位平面，但對于尺寸為64×64，32×32的CU不進(jìn)行位平面提升.將提升的區(qū)域作為感興趣區(qū)域進(jìn)行優(yōu)先編碼和傳輸，改善解碼后視頻主觀質(zhì)量，編碼器結(jié)構(gòu)如圖4所示.

第一幀CU分割圖，如圖5所示.從圖5可以看出：運動劇烈的區(qū)域分割尺寸較小.通常在視頻序列中人們感興趣的是運動的前景對象，因此將分割尺寸小的CU進(jìn)行位平面提升，能有效改善主觀效果.

圖4 基于編碼單元分割的FGS編碼器結(jié)構(gòu)Fig.4 Structure for FGS encoder based on coding units segmentation

圖5 第一幀編碼單元分割圖Fig.5 Coding units segmentation for first frame code

4 實驗結(jié)果及分析

使用 HM 10.0［13］測試不同碼率下改進(jìn)算法的編碼性能，配置文件選encoder＿lowdelay＿P＿main.cfg與BasketballDrill.cfg.測試序列為Flowervase＿832×480＿30.yuv和BasketballPass＿416×240＿50.yuv，編碼10幀.將重建圖像序列的亮度分量的平均峰值信噪比（RSN）作為客觀評價視頻質(zhì)量的標(biāo)準(zhǔn)，F(xiàn)GS的基本層中采用HEVC編碼器，增強層中采用MPEG-4 FGS增強層編碼.結(jié)構(gòu)編碼視頻與僅采用HEVC編碼視頻性能比較，如圖6所示.從圖6中可以看出：碼率較小時，HEVC FGS編碼的視頻圖像質(zhì)量略高于HEVC；隨著碼率的升高，視頻圖像的質(zhì)量越高.

對16×16，8×8塊進(jìn)行提升、優(yōu)先編碼和傳輸，其圖像質(zhì)量與不進(jìn)行提升編碼感興趣區(qū)域的圖像質(zhì)量對比，如圖7所示.從圖7中可以看出：感興趣區(qū)域的PSNR有很大的提升，其中BasketballPass序列平均提升了近5.661 d B，F(xiàn)lowervase序列平均提升了近1.934 dB；且隨著碼率的提升，差值逐漸增大.

圖6 基于HEVC的FGS與HEVC性能比較Fig.6 Comparison between HEVC and FGS based on HEVC

圖7 基于編碼單元分割FGS性能比較Fig.7 Comparison between FGS and FGS based on CU segmentation

5 結(jié)束語

在新一代視頻編碼標(biāo)準(zhǔn)HEVC的基礎(chǔ)上構(gòu)建可分級編碼方案，其基本層采用完整的HEVC編碼器，增強層采用MPEG-4 FGS的增強層編碼方案.通過統(tǒng)計編碼單元的分割方式，對小的分割方式優(yōu)先編碼與傳輸.實驗結(jié)果表明：整體視頻圖像的質(zhì)量、細(xì)節(jié)區(qū)域的視頻圖像質(zhì)量都得到了有效提高.

［1］ 鄭夜星.精細(xì)可分級視頻編碼算法研究［D］.廈門：華僑大學(xué)，2010：8-14.

［2］ HE Yu-wen，WU Feng，LI Shi-peng，et al.H.26L-based fine granularity scalable video coding［C］∥IEEE International Symposium on Circuits and Systems.Scottsdale：ISCAS，2002：548-551.

［3］ 謝建國.基于預(yù)取得視頻帶寬適應(yīng)性傳輸算法［J］.計算機研究與發(fā)展，2009，46（2）：211-216.

［4］ 賀艷春.基于 H.264的FGS視頻編碼技術(shù)的研究［D］.廈門：華僑大學(xué)，2012：23-25.

［5］ 葉曉彤，鄧云，蔡樂才.基于關(guān)鍵幀的開環(huán)-閉環(huán)混合FGS編碼框架［J］.西南交通大學(xué)學(xué)報，2009，44（4）：484-489.

［6］ BROSS B，HAN W J，OHM J R，et al.High efficiency video coding（HEVC）text specification draft 10（for FDIS ＆Consent），JCTVC-L1003＿v2［R］.Geneva：Joint Collaborative Team on Video Coding，2013：1-296.

［7］ LI Wei-ping.Overview of fine granularity scalability in MPEG-4 video standard［J］.IEEE Transactions on Circuits and Systems for Video Technology，2001，11（3）：301-317.

［8］ 饒琴.精細(xì)粒度可分級編碼算法研究［D］.廈門：華僑大學(xué)，2011：20-22.

［9］ KIM S，HO Y-S.HVS-based frequency weighting for fine granular scalability［J］.Proc Information Communication Technologies，2003，8（10）：127-131.

［10］ 周孝.精細(xì)可分級編碼技術(shù)的研究［D］.廈門：華僑大學(xué)，2008：19.

［11］ 王相海，宋傳鳴.圖像及視頻可分級編碼［M］.北京：科學(xué)出版社，2009：24.

［12］ HAN W J，MIN J，LEE T，et al.Improved video compression efficiency through flexible unit representation and corresponding extension of coding tools［J］.IEEE Transactions on Circuits and Systems for Video Technology，2010，20（12）：1709-1720.

［13］ BOSSEN F，F(xiàn)LYNN D，SUEHRING K.HEVC HM10 reference software，JCTVC-L1010［R］.Geneva：Joint Collaborative Team on Video Coding，2013：1-4.