一種HEVC低延時(shí)編碼碼率控制算法

郭紅偉 劉 帥

1(紅河學(xué)院工學(xué)院 云南 蒙自 661100)2(電子科技大學(xué)信息與通信工程學(xué)院 四川 成都 611731)

0 引 言

高效視頻編碼HEVC(High Efficiency Video Coding)是ISO-IEC/MPEG和ITU-T/VCEG兩大國(guó)際標(biāo)準(zhǔn)化組織聯(lián)合制定的新一代視頻編碼標(biāo)準(zhǔn)[1]，其基準(zhǔn)檔次已于2013年1月正式發(fā)布。盡管其沿用了傳統(tǒng)視頻編碼標(biāo)準(zhǔn)的混合視頻編碼基本框架，但在各個(gè)編碼模塊上都進(jìn)行了改進(jìn)和革新。編碼的視頻在同等主觀質(zhì)量情況下，HEVC相比于上一代編碼標(biāo)準(zhǔn)H.264/AVC節(jié)省約一半的碼率。在視頻編碼的研究過(guò)程中，通常是事先設(shè)定量化參數(shù)QP進(jìn)行編碼，根據(jù)編碼器輸出對(duì)各種編碼工具和編碼優(yōu)化技術(shù)進(jìn)行定量分析比較。而在實(shí)際應(yīng)用中，要根據(jù)存儲(chǔ)設(shè)備可提供的存儲(chǔ)空間、傳輸信道可提供的傳輸帶寬及傳輸延遲的限制等設(shè)定編碼器的輸出碼率。所以實(shí)際應(yīng)用中的編碼器必須包含碼率控制模塊，每一代視頻編碼標(biāo)準(zhǔn)的制定過(guò)程中都推薦了相應(yīng)的碼率控制算法[2]。

HEVC標(biāo)準(zhǔn)制定過(guò)程中主要推薦了兩種碼率控制算法，即URQ(Unified Rate-Quantization)模型碼率控制算法[3]和R-λ模型碼率控制算法[4]。URQ模型是最早被采納進(jìn)HEVC通用測(cè)試軟件HM的碼率控制算法，其利用已有帶寬、幀率、編碼結(jié)構(gòu)、圖像組GOP大小等相關(guān)參數(shù)確定各個(gè)GOP、編碼幀、最大編碼單元LCU的目標(biāo)比特?cái)?shù)。然后通過(guò)URQ模型計(jì)算編碼幀或LCU級(jí)的量化參數(shù)QP進(jìn)行編碼。該算法的最終效果不太理想，通常編碼后生成的碼率與給定的目標(biāo)碼率之間誤差較大，且編碼視頻的質(zhì)量明顯下降。文獻(xiàn)[4]提出雙曲模型能最好地描述HEVC編碼器的率失真關(guān)系。并基于雙曲模型設(shè)計(jì)了全新的Lambda域碼率控制算法，在碼率控制精度和率失真性能上都較URQ模型碼率控制有較大提高。HEVC標(biāo)準(zhǔn)發(fā)布后，針對(duì)HEVC標(biāo)準(zhǔn)實(shí)際應(yīng)用的優(yōu)化和碼率控制持續(xù)成為研究關(guān)注的重點(diǎn)，已有許多改進(jìn)的碼率控制算法被提出[5-10]。文獻(xiàn)[5]利用梯度來(lái)表征待編碼幀的復(fù)雜度，在R-λ模型框架下提出基于復(fù)雜度分析的Intra幀碼率控制算法。針對(duì)會(huì)話通信視頻編碼，文獻(xiàn)[6]根據(jù)視覺(jué)感興趣區(qū)域提出改善主觀編碼質(zhì)量的碼率控制算法。由于視頻場(chǎng)景切換時(shí)常引起碼率和編碼質(zhì)量的激烈波動(dòng)，文獻(xiàn)[7]提出在場(chǎng)景切換發(fā)生時(shí)對(duì)碼率控制的參數(shù)以及編碼結(jié)構(gòu)做出相應(yīng)調(diào)整，以改善R-λ模型碼率控制算法的性能。為了減小因碼率控制引起的輸出視頻質(zhì)量波動(dòng)，文獻(xiàn)[8]提出恒定視頻質(zhì)量的碼率控制。然而，以上改進(jìn)方法在率失真性能方面的提升都比較有限。為了在實(shí)施碼率控制的同時(shí)獲得更好的編碼器率失真性能，文獻(xiàn)[9-11]從全局率失真最優(yōu)化視角，提出R-λ模型下的最優(yōu)比特分配方法。目前，測(cè)試軟件HM中集成的碼率控制算法是文獻(xiàn)[4]與文獻(xiàn)[9]相結(jié)合的方法。

針對(duì)HEVC的低延時(shí)編碼結(jié)構(gòu)，本文提出一種Lambda域的三層(控制單元層、GOP層、幀層)碼率控制算法。相比較測(cè)試軟件HM中兩層(GOP層、幀層)的碼率控制，本文算法在碼率控制精度和率失真性能兩個(gè)方面都有顯著提高；相比較測(cè)試軟件HM中三層(GOP層、幀層、LCU層)的碼率控制，本文算法在碼率控制精度上略有降低，但極大地改善了編碼器的率失真性能。

1 R-λ模型碼率控制算法

碼率控制通常包括兩個(gè)步驟：比特分配和比特率控制。比特分配過(guò)程是根據(jù)緩存器充盈度和視頻序列特性為每一個(gè)GOP、待編碼幀或待編碼基本單元分配適當(dāng)?shù)哪繕?biāo)比特；比特率控制過(guò)程是利用碼率模型根據(jù)目標(biāo)比特計(jì)算量化參數(shù)進(jìn)行編碼，使編碼器輸出比特?cái)?shù)盡可能等于預(yù)先分配的目標(biāo)比特。

1.1 R-λ模型

視頻編碼中，量化參數(shù)QP直接決定預(yù)測(cè)殘差的編碼比特?cái)?shù)，是影響編碼器輸出碼率的主要參數(shù)。編碼同一視頻序列時(shí)，QP設(shè)置越大，則輸出碼率越小；反之，QP設(shè)置越小，則輸出碼率越大。然而，由于HEVC采用靈活的四叉樹(shù)CU和TU劃分結(jié)構(gòu)及其他越來(lái)越復(fù)雜的編碼工具，碼流中模式和運(yùn)動(dòng)等非殘差信息所占比特開(kāi)銷越來(lái)越大，而量化僅對(duì)殘差信息有效。因此在HEVC中建立QP與碼率R的模型進(jìn)行比特控制不夠精確。根據(jù)視頻編碼的率失真理論，拉格朗日乘子λ是編碼視頻率失真曲線上某一點(diǎn)的切線的斜率的絕對(duì)值。理論上每一個(gè)拉格朗日乘子唯一的對(duì)應(yīng)一組碼率和失真，能極好地用于控制編碼比特?cái)?shù)。

文獻(xiàn)[4]提出，在HEVC編碼標(biāo)準(zhǔn)中雙曲函數(shù)形式的率失真函數(shù)能較好地描述編碼器率失真特性，即：

D(R)=CR-K

(1)

式中：D是編碼失真，用均方誤差MSE(Mean Square Error)表示；R是編碼比特?cái)?shù)，用每像素消耗比特bpp(bits per pixel)表示；C和K是與序列特性相關(guān)的模型參數(shù)。如前文所述，拉格朗日乘子λ是R-D曲線的斜率的絕對(duì)值，由式(1)得：

(2)

式中:α和β是與序列內(nèi)容和編碼結(jié)構(gòu)相關(guān)的參數(shù)，初始值設(shè)為3.200 3和-1.367，編碼過(guò)程中，根據(jù)已編碼幀的信息進(jìn)行更新。

獲得拉格朗日乘子λ后，計(jì)算量化參數(shù)QP進(jìn)行編碼：

QP=4.200 5×ln(λ)+13.712 2

(3)

1.2 比特分配

HEVC推薦的R-λ模型碼率控制方法可執(zhí)行在幀級(jí)或LCU級(jí)，設(shè)目標(biāo)碼率為、幀率為，則平均每幀可用的比特?cái)?shù)表示為:

(4)

分配給待編碼GOP的目標(biāo)比特?cái)?shù)如下：

(5)

式中：SW是用于平滑比特分配的滑動(dòng)窗。

當(dāng)前GOP中分配給待編碼幀的目標(biāo)比特?cái)?shù)如下：

(6)

式中：ωPic表示編碼幀比特分配權(quán)重；CodedGOP表示編碼當(dāng)前GOP已消耗的比特?cái)?shù)。

測(cè)試軟件HM中幀層的比特分配有三種可選方式，即等比特分配、固定比率的比特分配和自適應(yīng)比特分配。其中:等比特分配時(shí)，GOP中每一幀的比特分配權(quán)重相等；固定比率比特分配時(shí)，根據(jù)幀級(jí)的目標(biāo)bpp和編碼結(jié)構(gòu)，GOP中每一幀的比特分配權(quán)重為某一固定比例值。由文獻(xiàn)[9]提出的自適應(yīng)比特分配方式則根據(jù)幀級(jí)的目標(biāo)bpp、編碼結(jié)構(gòu)和待編碼幀的特性自適應(yīng)調(diào)整每一個(gè)GOP中幀級(jí)的比特分配權(quán)重，其碼率控制精度和編碼性能是三種比特分配中最好的。

2 碼率控制算法設(shè)計(jì)

針對(duì)不同視頻業(yè)務(wù)的應(yīng)用，HEVC編碼器的編碼配置可選擇全I(xiàn)幀AI(All-intra)結(jié)構(gòu)、低延時(shí)LD(Low-delay)結(jié)構(gòu)、隨機(jī)介入RA(Random-access)結(jié)構(gòu)。由于不同編碼配置具有不同的編碼參考結(jié)構(gòu)，相應(yīng)的碼率控制應(yīng)充分考慮其率失真依賴性，使碼率控制下的編碼視頻失真最小。本文討論低延時(shí)編碼配置下的碼率控制。

2.1 HEVC的低延時(shí)編碼結(jié)構(gòu)分析

如圖1所示，HEVC的低延時(shí)編碼結(jié)構(gòu)中，GOP的大小默認(rèn)設(shè)置為4，序列起始幀編碼為I幀，并被作為一個(gè)單獨(dú)的GOP處理，其余GOP中為B/P幀，幀的層級(jí)為3、2、3、1，其中層級(jí)為1的幀稱為關(guān)鍵幀。圖1中的箭頭表示參考關(guān)系，在分級(jí)編碼結(jié)構(gòu)中，當(dāng)前編碼幀會(huì)選擇其前一已編碼幀和其他最鄰近的3個(gè)已編碼關(guān)鍵幀作為參考幀。然而，編碼剛開(kāi)始時(shí)由于可參考的已編碼幀數(shù)不足4幀，起始幀后的第一個(gè)GOP中非關(guān)鍵幀(層級(jí)為2和3的幀)將被3次作為參考幀，第二個(gè)GOP中的非關(guān)鍵幀會(huì)被2次作為參考幀，之后的GOP中的非關(guān)鍵幀則只會(huì)被其后一幀參考1次。因此，從編碼中時(shí)域失真?zhèn)鞑サ囊暯强紤]，改善視頻起始幀和前兩個(gè)GOP中編碼幀的編碼質(zhì)量，將有利于提高編碼視頻的整體率失真性能。

圖1 低延時(shí)編碼結(jié)構(gòu)

2.2 R-λ模型參數(shù)更新的改進(jìn)

編碼過(guò)程中，由于編碼幀復(fù)雜度及參考結(jié)構(gòu)的變化，每一編碼幀的R-λ模型參數(shù)(α和β)并不相同。在編碼下一幀前還不能得到它的率失真關(guān)系，R-λ碼率控制算法中[4,9]，待編碼幀的R-λ模型參數(shù)采用與其屬于同一層級(jí)且最鄰近的已編碼幀信息進(jìn)行估算。由于傳統(tǒng)方法的模型參數(shù)更新只利用了已編碼幀的實(shí)際編碼比特Rreal和拉格朗日乘子λreal，其參數(shù)更新的收斂速度和準(zhǔn)確度都不夠理想，從而影響了碼率控制的性能。實(shí)際上，編碼完一幀后，可以獲得已編碼幀的信息包括實(shí)際編碼比特Rreal、拉格朗日乘子λreal還有編碼失真Dreal。鑒于此，由式(1)、式(2)的R-D函數(shù)和R-λ函數(shù)可直接推導(dǎo)得更新后的R-D模型參數(shù)為：

(7)

(8)

然后，R-λ模型參數(shù)αnew=Cnew·Knew、βnew=-Knew-1。

2.3 低延時(shí)編碼碼率控制算法

通常碼率控制由GOP層、幀層和基本單元層的比特控制組成，基本單元層的比特控制是為了達(dá)到更高的比特控制精度。然而由于基本單元層的碼率模型參數(shù)的估計(jì)誤差較大，編碼過(guò)程中經(jīng)常由于圖像中前面編碼的基本單元消耗太多比特使后面編碼的基本單元預(yù)算不足，導(dǎo)致編碼幀質(zhì)量下降，影響了整個(gè)視頻序列的編碼質(zhì)量。因此，本文的碼率控制算法不使用基本單元層的比特控制。本文碼率控制算法采用控制單元層、GOP層和幀層的比特率控制。為了便于描述，表1列出本節(jié)中所使用的符號(hào)及其含義。

表1 算法描述采用的符號(hào)及其含義

續(xù)表1

編碼起始幀后，視頻剩余序列被劃分為多個(gè)連續(xù)的控制單元，一個(gè)控制單元大小約為視頻一秒鐘的幀數(shù)。用CW表示控制單元大小，則：

CW=FR%NGOP==0?FR:(FR/NGOP)×NGOP

(9)

式(9)使控制單元大小等于GOP大小的整數(shù)倍，用了程序語(yǔ)言表述?？刂茊卧獙雍虶OP層的比特分配如下：

(10)

(11)

編碼完一個(gè)控制單元后，其比特消耗誤差會(huì)加到下一個(gè)控制單元，從而使編碼整個(gè)序列的比特等于預(yù)算的總比特。若為第一個(gè)控制單元，則RLeftPreCW等于0；若為最后一個(gè)控制單元，則CW=min{CW,NLeft}。由于編碼一個(gè)GOP消耗的實(shí)際比特不可能恰好等于預(yù)算值，若采用和控制單元層一樣的方式直接把已編碼GOP的比特消耗誤差加到下一個(gè)GOP的比特預(yù)算，會(huì)使GOP級(jí)比特出現(xiàn)較大波動(dòng)。因此，式(11)中的滑動(dòng)窗SW用于平滑GOP層比特分配，使得編碼比特消耗變化和編碼圖片的質(zhì)量更加平滑。本文算法中，SW設(shè)置為16，且SW=min{SW,NCWLeft}。幀層的比特分配方式采用文獻(xiàn)[9]的自適應(yīng)比特分配方法，當(dāng)前GOP中各幀的比特分配權(quán)重ωPic由上一已編碼GOP的編碼信息計(jì)算得到，但本文算法中使用了2.2節(jié)描述的改進(jìn)R-λ模型。待編碼幀的目標(biāo)比特由編碼當(dāng)前GOP前預(yù)分配的目標(biāo)比特和編碼前一幀后預(yù)分配的目標(biāo)比特加權(quán)確定：

TPic=θ×TAPic+(1-θ)×TBPicθ∈[0,1]

(12)

式中：

(13)

(14)

控制單元內(nèi)剩余未編碼幀NCWLeft多于8幀時(shí)，式(12)中常數(shù)θ取值為0.5；當(dāng)NCWLeft小于或等于8幀時(shí)，取值為1。

算法流程如圖2所示。

圖2 算法流程圖

具體的步驟描述為：

(1) 讀取編碼器配置文件及輸入視頻序列，并對(duì)碼率控制參數(shù)初始化。

(2) 編碼視頻序列起始幀。

(3) 由式(10)進(jìn)行控制單元層比特分配，并初始化控制單元層參數(shù)NCWcoded=0，CodedCW=0。

(4) 由式(11)進(jìn)行GOP層比特分配，采用改進(jìn)的R-λ模型和文獻(xiàn)[9]的方法確定GOP中各幀的比特分配權(quán)重ωPic，根據(jù)式(14)預(yù)分配編碼前GOP中各幀目標(biāo)比特，初始化GOP層參數(shù)使CodedGOP=0。

(5) 由式(12)、式(13) 進(jìn)行幀層比特分配。

(6) 由式(2)計(jì)算待編碼幀的拉格朗日乘子λ，由式(3) 計(jì)算待編碼幀的量化參數(shù)QP。

(7) 編碼一幀，并根據(jù)式(7)、式(8)更新R-λ模型參數(shù)，更新GOP層參數(shù)CodedGOP=CodedGOP+RActPic。

(8) 判斷已編碼幀是否是GOP中最后一幀，若不是則跳轉(zhuǎn)至步驟(5)；若是則跳轉(zhuǎn)至步驟(9)。

(9) 更新控制單元層參數(shù)NCWcoded=NCWcoded+NGOP,CodedCW=CodedCW+RActGOP。

(10) 判斷已編碼GOP是否是控制單元中最后一個(gè)GOP，若不是則跳轉(zhuǎn)至步驟(4)；若是則跳轉(zhuǎn)至步驟(11)。

(11) 判斷已編碼控制單元是否是序列中最后一個(gè)控制單元，若不是則計(jì)算控制單元比特誤差RLeftPreCW=TCW-RActCW，并跳轉(zhuǎn)至步驟(3)；若是則跳轉(zhuǎn)至步驟(12)。

(12) 編碼結(jié)束。

3 實(shí)驗(yàn)及結(jié)果分析

將本文碼率控制算法集成到HEVC編碼器的參考軟件HM16.7 中，以驗(yàn)證算法的性能。測(cè)試選用提案JCTVC-L1100[12]建議的ClassB、ClassC、ClassD、ClassE中全部16個(gè)視頻序列，編碼器配置文件采用encoder_lowdelay_main.cfg。參考軟件HM16.7在不開(kāi)啟碼率控制情況下，以固定量化參數(shù)QP等于37、32、27、22編碼各測(cè)試序列，每個(gè)被編碼測(cè)試序列輸出從低到高的4個(gè)碼率作為碼率控制實(shí)驗(yàn)的目標(biāo)碼率。

碼率控制的目標(biāo)是要使編碼器輸出碼率近似等于目標(biāo)碼率情況下，編碼視頻失真最小。所以碼率精確性和率失真性能是評(píng)價(jià)碼率控制的兩個(gè)主要性能指標(biāo)。碼率精確性用碼率相對(duì)誤差描述，定義為：

(15)

式中:Rtar是目標(biāo)碼率；Ract是實(shí)際編碼碼率；RErr越小，表示碼率控制精確性越好。本實(shí)驗(yàn)比較的算法是HM16.7中采用自適應(yīng)比特分配的R-λ碼率控制算法[9]。其中：不開(kāi)啟LCU層比特控制記作HEVC幀層率控；開(kāi)啟LCU層比特控制時(shí)記作HEVC LCU層率控。

表2給出了從4種不同的分辨率中選取的4個(gè)測(cè)試視頻序列在3種碼率控制方法下的實(shí)驗(yàn)數(shù)據(jù)，表中第4列、第7列和第10列分別是3種算法編碼視頻Y分量的PSNR值。在相同目標(biāo)碼率下，本文算法編碼視頻的PSNR最大。另外，本文算法的平均碼率誤差是0.054%，低于HEVC LCU層率控的平均碼率誤差0.075%和HEVC幀層率控的平均碼率誤差0.127%。

表2 3種碼率控制算法的實(shí)驗(yàn)結(jié)果

為了公平地比較算法的率失真性能，以不開(kāi)啟碼率控制的HM16.7為基準(zhǔn)，計(jì)算三種碼率控制算法的BD-Rate。BD-Rate表示在同樣的客觀質(zhì)量下，測(cè)試算法相對(duì)于基準(zhǔn)的碼率節(jié)省，BD-Rate值為負(fù)，則說(shuō)明碼率節(jié)省；BD-Rate值為正，則說(shuō)明碼率增加。由于篇幅所限，這里不單獨(dú)列出16個(gè)序列的測(cè)試結(jié)果，表3給出了ClassB、ClassC、ClassD、ClassE數(shù)據(jù)平均值。HEVC 幀層率控的平均BD-Rate為0.3%，小于HEVC LCU層率控的0.6%，這與前文所述一致。LCU層比特控制能達(dá)到更高的碼率控制精度，但降低了編碼器率失真性能。本文算法對(duì)ClassB、ClassC、ClassD、ClassE的BD-Rate均是負(fù)值，平均為-2.6%，說(shuō)明本文算法的率失真性能不僅優(yōu)于HEVC幀層率控和HEVC LCU層率控，而且還優(yōu)于不開(kāi)啟碼率控制時(shí)的HM16.7。碼率控制精確性方面，本文算法和HEVC LCU層率控的平均碼率相對(duì)誤差均小于0.1%，而HEVC幀層率控的平均碼率相對(duì)誤差是0.185%。

表3 碼率控制算法的性能比較 %

另外，圖3中是測(cè)試序列Kimono和 Johnny的R-D曲線?？梢钥吹?，本文算法從低碼率到高碼率均具有最好的率失真性能。

(a) Kimono(1080p)

(b) Johnny(720p)圖3 率失真曲線對(duì)比

圖4給出了測(cè)試序列Cactus前100幀GOP編碼比特和編碼幀PSNR的比較。本文算法和HEVC幀層率控對(duì)序列起始幀的編碼策略一致，故兩種方法編碼的第0 GOP或第0幀消耗比特?cái)?shù)和PSNR相同。然而，HEVC幀層率控對(duì)前幾個(gè)GOP分配較少的比特，致使其編碼幀PSNR急劇下降，造成較大的時(shí)域質(zhì)量波動(dòng)。本文算法考慮了低延時(shí)編碼結(jié)構(gòu)中前兩個(gè)GOP編碼質(zhì)量對(duì)后續(xù)編碼幀具有更重要的率失真依賴性，從而為其分配了相對(duì)較多的比特，不僅提高了編碼視頻的率失真性能，同時(shí)減小了編碼視頻的時(shí)域質(zhì)量波動(dòng)。

圖4 序列Cactus前100幀GOP的編碼比特和編碼幀的PSNR

4 結(jié) 語(yǔ)

碼率控制作為視頻編碼控制中的重要環(huán)節(jié)，是編碼器不可缺少的組成部分，合理有效的碼率控制方法能夠在保證視頻質(zhì)量的同時(shí)提高信道的利用率或滿足存儲(chǔ)需求。本文首先回顧了HEVC推薦的基于R-λ模型碼率控制算法，然后提出一種HEVC低延時(shí)編碼碼率控制算法。本文算法在比特分配過(guò)程中充分考慮了低延時(shí)編碼結(jié)構(gòu)的時(shí)域率失真依賴關(guān)系，并采用控制單元層、GOP層和幀層的比特控制策略，R-λ模型的參數(shù)更新利用了已編碼幀的實(shí)際比特、拉格朗日乘子和編碼失真等信息?？刂茊卧獙拥谋忍乜刂仆ㄟ^(guò)調(diào)整下一個(gè)控制單元的目標(biāo)比特?cái)?shù)來(lái)填補(bǔ)已編碼控制單元的比特誤差，從而使視頻的實(shí)際編碼碼率近似等于目標(biāo)碼率。實(shí)驗(yàn)結(jié)果證明，本文算法在碼率精度和R-D性能方面都取得了較好的效果。