基于率失真特性的視頻編碼優(yōu)化算法

郭紅偉，樊香所，劉帥，韋相，趙伶俐

（1.紅河學(xué)院工學(xué)院，云南蒙自 661100；2.電子科技大學(xué)信息與通信工程學(xué)院，成都 611731；3.廣西科技大學(xué)電氣與信息工程學(xué)院，廣西柳州 545006；4.電子科技大學(xué)資源與環(huán)境學(xué)院，成都 611731）

0 引言

高效視頻編碼（High Efficiency Video Coding，HEVC）是繼H.264 之后的國際視頻編碼標(biāo)準(zhǔn)，其在相同編碼質(zhì)量下比前一代視頻編碼標(biāo)準(zhǔn)節(jié)省了近一半的碼率［1］。視頻編碼標(biāo)準(zhǔn)規(guī)定了輸出比特流的句法結(jié)構(gòu)和對應(yīng)解碼器，而對于編碼器結(jié)構(gòu)和實現(xiàn)模式?jīng)]有具體要求。這種開放性使設(shè)計者可以根據(jù)實際應(yīng)用需求靈活制定編碼策略，以實現(xiàn)最優(yōu)的編碼性能。

從2013 年HEVC 發(fā)布以來，許多研究關(guān)注于HEVC 編碼器優(yōu)化。文獻［2-4］中主要研究快速模式選擇：文獻［2］中根據(jù)層間相關(guān)性判斷可能的塊劃分深度，從而減少率失真（Rate-Distortion，R-D）優(yōu)化過程中需要檢測的幀內(nèi)預(yù)測模式數(shù)；文獻［3］中提出一種基于紋理特征的預(yù)測模式選擇和編碼單元劃分快速幀內(nèi)預(yù)測算法；文獻［4］中針對屏幕內(nèi)容特征，通過對大量最優(yōu)編碼模式數(shù)據(jù)的訓(xùn)練，提出基于機器學(xué)習(xí)的快速幀內(nèi)模式選擇算法。上述幾種算法以犧牲一定的壓縮性能來降低編碼器運算復(fù)雜度。

此外，一些研究關(guān)注于在不改變碼流句法結(jié)構(gòu)的情況下，通過優(yōu)化編碼資源分配進一步改善HEVC 編碼器壓縮性能［5］。文獻［6］中根據(jù)HEVC 低延遲編碼配置下的參考關(guān)系，分析了編碼幀之間的率失真依賴性，提出自適應(yīng)量化參數(shù)（Quantization Parameter，QP）級聯(lián)算法。同樣在低延遲編碼配置下，文獻［7］中構(gòu)建虛擬圖像組（Group of Pictures，GOP），分析了GOP 內(nèi)和GOP 之間的率失真依賴關(guān)系，提出一種有效的量化參數(shù)級聯(lián)算法，進一步提升了壓縮性能。針對隨機接入編碼配置，文獻［8］中建立依賴失真模型，然后把該模型應(yīng)用到幀級量化參數(shù)自適應(yīng)算法設(shè)計。文獻［9］中通過大量實驗分析了編碼過程中跳過（Skip）模式概率與率失真依賴的相關(guān)性，建立了精確的時域失真?zhèn)鞑ツＰ?，提出了基于時域失真?zhèn)鞑ツＰ偷淖赃m應(yīng)量化算法。不同于HEVC中分級固定QP 結(jié)構(gòu)，上述幾種算法根據(jù)視頻內(nèi)容變化自適應(yīng)地設(shè)置量化參數(shù)，獲得了一定的率失真性能提升。

針對嚴(yán)格碼率約束下的編碼資源分配，文獻［10］中提出了基于R-λ模型碼率控制的最優(yōu)比特分配算法，減小了碼率控制過程中的率失真性能損失，但其壓縮性能仍略差于不開啟碼率控制的HEVC 基準(zhǔn)編碼器。由于編碼單元之間的時域率失真依賴關(guān)系，對當(dāng)前編碼單元的編碼決策會影響后續(xù)參考它的編碼單元可達到的率失真性能。為此，文獻［11］中分析了HEVC 低延遲編碼結(jié)構(gòu)中的失真?zhèn)鞑リP(guān)系，提出基于信源失真時域擴散模型的拉格朗日乘子自適應(yīng)算法，通過改善對后續(xù)編碼影響較大的像素塊編碼質(zhì)量，在一定程度上提升了全局率失真性能。類似地，文獻［12］中對屏幕內(nèi)容編碼提出了加權(quán)率失真優(yōu)化算法，其仍然是通過自適應(yīng)調(diào)節(jié)基本編碼單元的拉格朗日乘子進行編碼優(yōu)化。不同于直接調(diào)整QP 的算法，上述幾種算法通過拉格朗日乘子自適應(yīng)實現(xiàn)編碼比特資源優(yōu)化分配。

自適應(yīng)量化參數(shù)和自適應(yīng)拉格朗日乘子的視頻編碼優(yōu)化方法探索率失真依賴性并用于優(yōu)化編碼比特資源分配，一定程度上改善了HEVC 編碼器壓縮性能，但這些方法沒有考慮到編碼單元自身的率失真特性，率失真性能提升較為有限。本文通過分析HEVC 不同層級編碼單元的率失真特性，建立冪函數(shù)率失真模型，再結(jié)合文獻［11］中的信源失真時域擴散模型提出一種采用二次編碼框架的率失真優(yōu)化算法。本文的創(chuàng)新工作主要是結(jié)合編碼樹單元的率失真模型和信源失真時域擴散模型建立幀級比特預(yù)算約束下的最優(yōu)比特資源分配方程，從而自適應(yīng)地調(diào)整編碼樹單元的拉格朗日乘子和量化參數(shù)，最終實現(xiàn)了顯著的壓縮性能提升。

1 率失真特性分析

根據(jù)率失真理論，率失真函數(shù)給出了限定失真條件下的最大壓縮性能，視頻編碼作為一種典型的有損壓縮方式，其壓縮性能同樣受到率失真函數(shù)的限制。事實上，由于編碼技術(shù)以及硬件條件有限，當(dāng)前視頻編碼遠未達到率失真函數(shù)的理論值；另外，混合視頻編碼框架下，可選擇的編碼參數(shù)集有限。因此，實際視頻編碼可達到的最佳率失真點是離散的，這些最佳率失真點的外包絡(luò)線稱為最優(yōu)可操作率失真曲線，如圖1 所示。

圖1 可操作率失真曲線Fig.1 Operational rate-distortion curve

與理論率失真曲線相比，可操作率失真曲線更能反映視頻編碼中的碼率與失真關(guān)系，但要獲得確切的可操作率失真曲線非常困難，涉及多次編碼要求極高的運算量和超長延時。一種可行的可操作率失真曲線描述方法是建立基于函數(shù)的率失真模型，為此本文以HEVC 測試模型（HEVC test Model，HM）16.7 為平臺進行實驗統(tǒng)計和分析，建立不同層級編碼單元的率失真模型。具體地，編碼器配置文件采用encoder_lowdelay_P_main.cfg，參數(shù)設(shè)置服從視頻編碼聯(lián)合協(xié)作小組（Joint Collaborative Team on Video Coding，JCT-VC）制定的通用測試條件（Common Test Conditions，CTC）［13］，從CTC 建議的Class D 和Class E 中選擇RaceHorses（416×240）和FourPeople（1 280×720）兩個視頻序列進行編碼，統(tǒng)計4 個輸入QP（22，27，32，37）編碼后序列級、幀級和編碼樹單元（Coding Tree Unit，CTU）級的碼率和失真。碼率統(tǒng)一用每像素的比特數(shù)（bits per pixel，bpp）度量，失真用原始視頻像素與重建視頻像素亮度分量的均方誤差（Mean Square Error，MSE）度量。

通過對4 個可操作率失真點進行函數(shù)擬合得到如圖2～4所示序列級、幀級和CTU 級R-D 曲線，可以發(fā)現(xiàn)冪函數(shù)能非常好地表示HEVC 不同層級編碼單元的率失真特性。圖中R2是函數(shù)擬合相關(guān)系數(shù)，R2的值越接近1 則冪函數(shù)與可操作R-D 曲線的吻合度越好，通過對大量實驗數(shù)據(jù)統(tǒng)計得出序列級和幀級的R-D 曲線與冪函數(shù)的相關(guān)系數(shù)均高于0.9，絕大部分CTU 級的R-D 曲線也能很好地由冪函數(shù)表示。需要說明的是，圖4（d）中4 個碼率點均為0.000 2 bpp，這是因為序列FourPeople 是背景固定的會議場景，不管編碼QP 取22 還是37，第2 幀第4 個CTU 均由前一幀對應(yīng)位置的像素直接表示，即采用了skip 模式，此時的編碼失真完全由參考塊的質(zhì)量決定。綜上，除了類似于圖4（d）中參考像素與待編碼像素完全一致的特殊幀間預(yù)測情況外，可采用冪函數(shù)模型表示HEVC 的率失真特性：

圖4 CTU級的擬合R-D 曲線Fig.4 Fitted R-D curves at CTU level

式中C和K是兩個模型參數(shù)。由圖2～4 可見，不同編碼單元R-D 模型的參數(shù)各不相同，但C和K總是大于0。

圖2 序列級的擬合R-D 曲線Fig.2 Fitted R-D curves at sequence level

圖3 幀級的擬合R-D 曲線Fig.3 Fitted R-D curves at frame level

2 本文算法

2.1 基于一次編碼的R-D模型估計

第1 章分析得出冪函數(shù)R-D 模型能非常好地表示HEVC中CTU 的率失真特性，然而每個CTU 可能具有非常不同的模型參數(shù)。采用第1 章的4 個率失真點擬合R-D 曲線需要進行4 次編碼，而且當(dāng)參考幀的編碼策略發(fā)生變化后，待編碼幀和CTU 的R-D 曲線也會發(fā)生改變。根據(jù)視頻編碼的率失真優(yōu)化理論［5］，編碼失真對編碼碼率的一階導(dǎo)的負數(shù)即是編碼過程中使用的拉格朗日乘子，對式（1）的冪函數(shù)R-D 模型求一階導(dǎo)可得：

然后聯(lián)立式（1）和式（2）可求解得R-D 模型參數(shù)為：

當(dāng)一幀被編碼后可以獲得當(dāng)前幀中每個CTU 的碼率和編碼失真，結(jié)合編碼過程中采用的λ即可由式（3）和式（4）計算出CTU 的R-D 模型參數(shù)。

2.2 依賴率失真優(yōu)化

由于幀間預(yù)測編碼導(dǎo)致編碼單元之間存在時域率失真依賴關(guān)系，當(dāng)前幀中不同CTU 對后續(xù)編碼過程可能具有不同的重要性。為了使后續(xù)幀達到更好的率失真性能，應(yīng)減小對后續(xù)編碼性能影響較大的CTU 編碼失真，因此編碼一個CTU的最小化率失真代價過程可描述為：

式中，W用于表示當(dāng)前CTU 在編碼中的重要性，與時域失真?zhèn)鞑ハ嚓P(guān)。顯然，越重要的CTU 其失真權(quán)重越大，編碼過程中偏向于消耗更多的碼率從而減小編碼失真。為便于算法實現(xiàn)，依賴率失真優(yōu)化方法通常簡化式（5）為：

式（6）表示可以通過修改編碼CTU 的拉格朗日乘子調(diào)節(jié)不同CTU 的編碼質(zhì)量。針對HEVC 分級編碼結(jié)構(gòu)和多參考幀設(shè)置的特點，文獻［11］中通過簡化16×16 像素塊的失真擴散路徑，提出了一種基于信源失真時域擴散模型的自適應(yīng)拉格朗日乘子優(yōu)化算法。在本文提出的二次編碼優(yōu)化中，采用文獻［11］中的方法度量時域率失真依賴關(guān)系，式（6）中的權(quán)重系數(shù)Wi=1+ωi，ωi稱為第i個CTU 的時域失真?zhèn)鞑ヒ蜃印?/p>

2.3 二次編碼優(yōu)化框架

結(jié)合編碼單元的率失真特性和時域編碼塊之間的率失真依賴性，本節(jié)提出一種二次編碼框架優(yōu)化CTU 級編碼比特資源分配，進一步改善了編碼器率失真性能。編碼過程中每一幀會被連續(xù)編碼兩次：第1 次按照原始HEVC 的方法編碼但不輸出碼流，記錄下每個CTU 的失真、碼率和編碼中采用的拉格朗日乘子，據(jù)此得到每個CTU 的R-D 模型參數(shù)；第2次編碼前，結(jié)合當(dāng)前幀中每個CTU 的R-D 模型和文獻［11］中的時域失真?zhèn)鞑ヒ蜃咏⒈忍胤峙浞匠?，通過求解該方程得到優(yōu)化后每個CTU 的拉格朗日乘子，再進行第2 次編碼，并正常輸出碼流和存儲重建圖像。本文算法具體步驟描述如下：

1）獲取當(dāng)前幀和每個CTU 消耗的比特數(shù)以及每個CTU的編碼失真。使用HEVC 默認方法由輸入QP 計算當(dāng)前幀的λ進行編碼，記錄下編碼后當(dāng)前幀消耗的比特數(shù)TF和每個CTU 的碼率及失真。然后根據(jù)式（3）和式（4）計算得到CTU的R-D 模型參數(shù)，對于類似于圖4（d）的特殊情況，設(shè)置RCTU=Clip3（0.000 5，10.0，RCTU）以簡化率失真模型，運算符Clip3（a，b，c）使輸出c的值不小于a并且不大于b。

2）恢復(fù)參考列表等信息并計算新的λ和QP。第1 次編碼不輸出當(dāng)前幀的碼流，也不存儲重建圖像。第1 次編碼結(jié)束后需重置編碼器中圖像鏈表到編碼當(dāng)前幀之前的狀態(tài)，包括恢復(fù)圖像鏈表中的參考幀標(biāo)識等。舉例來說，低延遲編碼配置下圖像序列號（Picture Order Count，POC）為17 的幀會選擇POC 為16、12、8、4 的重建幀為參考幀，但第1 次編碼POC 為17 的幀后，POC 為4 的重建幀將被標(biāo)記為不再作為參考幀，若不恢復(fù)該標(biāo)識將導(dǎo)致第2 次編碼POC 為17 的幀時可選參考幀只剩下POC 為16、12 和8 三個重建幀。

根據(jù)式（2）推導(dǎo)出第i個CTU 的碼率可以表示為：

再結(jié)合依賴率失真優(yōu)化過程中λi=λ/W，代入式（7）得到：

把第1 次編碼當(dāng)前幀消耗的比特數(shù)作為可用的比特資源數(shù)，則考慮CTU 率失真特性和率失真依賴性的比特資源分配可表示為：

其中NU是一幀中的CTU 個數(shù)，Mi是第i個CTU 中的像素數(shù)，Wi=1+ωi采用文獻［11］中的方法獲得。因此，式（9）中只有λ為待求解未知量。為了獲得精確的數(shù)值解，采用迭代泰勒展開法（Recursive Taylor Expansion，RTE）［14］求解式（9）得到λ的值。然后，用于第2 次編碼第i個CTU 的拉格朗日乘子為：

由于每個CTU 使用了不同的拉格朗日乘子進行率失真優(yōu)化，相應(yīng)地量化參數(shù)QP 也應(yīng)該調(diào)整，因此每個CTU 的量化參數(shù)根據(jù)QP 修正技術(shù)［15］重新計算：

3）第2 次編碼當(dāng)前幀并輸出碼流和重建圖像。采用步驟2）計算的拉格朗日乘子和量化參數(shù)再次編碼當(dāng)前幀中每個CTU，并按照編碼器默認方式輸出碼流和存儲重建圖像。需要強調(diào)的是無論第1 次編碼還是第2 次編碼，它們參考的都是之前幀被第2 次編碼后的信息，如此編碼順序設(shè)計是為了確保獲得的CTU 率失真特性更加準(zhǔn)確，因為參考幀的編碼決策變化會改變待編碼幀中CTU 的率失真特性。

3 實驗與結(jié)果分析

3.1 實驗設(shè)置

提出的二次編碼優(yōu)化算法被實現(xiàn)在測試軟件HM16.7以評估其率失真性能。另外，文獻［10］中的最優(yōu)比特分配算法已經(jīng)被JCT-VC 采納，集成在HM16.7 的碼率控制模塊中。編碼器配置采用低延遲B 幀（Low Delay B-frame，LDB）和低延遲P 幀（Low Delay P-frame，LDP）分級編碼結(jié)構(gòu)，對應(yīng)配置文件分別是encoder_lowdelay_main.cfg 和encoder_lowdelay_P_main.cfg。測試序列選用CTC［13］建議的Class B、Class C、Class D 和Class E 中全部16 個視頻，包括了從416×240 到1 920×1 080 不同分辨率、幀率和場景內(nèi)容的原始視頻序列。每個視頻序列依據(jù)CTC 測試4 個碼率點，即原始HM16.7 和本文算法采用22、27、32 和37 四個輸入QP值，文獻［10］根據(jù)原始HM16.7 的四個輸出碼率設(shè)置目標(biāo)碼率。

3.2 實驗結(jié)果

表1 給出了分別從Class B、Class C、Class D 和Class E 中選取4 個測試序列在LDB 和LDP 配置下的實驗數(shù)據(jù)，其中峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）是指亮度分量的PSNR值。從中可以看到，無論是LDB 還是LDP 配置，4 個測試序列在4 個碼率點處，本文算法獲得的PSNR 幾乎都是最高的，僅在個別低碼率時本文算法的PSNR值略低于其他算法，主要是因為低碼率時本文算法輸出碼率有時略小于其他兩種算法輸出碼率。

表1 LDB和LDP配置下的碼率和PSNR對比Tab.1 Bitrate and PSNR comparision under LDB and LDP configurations

為了直觀地呈現(xiàn)各種算法的率失真性能，根據(jù)四個碼率點繪制LDB 配置下測試序列Kimono 和LDP 配置下測試序列BasketballDrill 的R-D 曲線如圖5 所示，圖中，橫坐標(biāo)bitrate 是碼率，縱坐標(biāo)YPSNR是亮度分量的峰值信噪比。

圖5 三種算法的率失真曲線對比Fig.5 Comparison of R-D curves for three algorithms

需要說明的是，與前文所述用bpp 和MSE 度量碼率和失真的R-D 曲線不同，這里的碼率單位是kb/s，編碼失真用PSNR 度量，因此曲線越靠向上說明率失真性能越好?？梢钥吹?，對于選取的這兩個測試序列，本文算法率失真性能優(yōu)于文獻［10］算法和基準(zhǔn)編碼器HM16.7。對于LDP 配置下的BasketballDrill 測試序列，文獻［10］算法的率失真性能優(yōu)于基準(zhǔn)編碼器HM16.7；而對于LDB 配置下的Kimono 測試序列，文獻［10］算法顯示了較差的率失真性能。事實上，文獻［10］算法是碼率控制下的最優(yōu)比特分配，其相較于原始的R-λ模型碼率控制算法，率失真性能有所提升，但對于大部分測試序列其率失真性能略差于不開啟碼率控制的HEVC基準(zhǔn)編碼器。

事實上，比較視頻編碼的率失真性能不能僅看壓縮視頻的PSNR，還需要綜合其編碼碼率進行對比。為了綜合碼率和失真評判不同算法的率失真性能，本文使用評價標(biāo)準(zhǔn)BD-rate（Bj?ntegaard Delta bit-rate）全面客觀地對比多種優(yōu)化算法的性能。BD-rate 表示在相同客觀質(zhì)量下，測試算法相對于基準(zhǔn)編碼器的碼率節(jié)省百分比，正值表示率失真性能損失，負值表示率失真性能改善，本文中的客觀質(zhì)量用壓縮視頻亮度分量的PSNR 度量。表2 給出了LDB 和LDP 配置下，文獻［6］算法、文獻［7］算法、文獻［10］算法、文獻［11］算法和本文算法相對于HEVC 基準(zhǔn)編碼器的BD-rate。其中，除了文獻［10］算法和本文算法的實驗數(shù)據(jù)采用HM16.7 測試以外，其他三種對比算法的實驗數(shù)據(jù)從相關(guān)文獻中摘錄?？梢钥吹?，文獻［10］算法的平均率失真性能有少許下降，這是因為文獻［10］算法是碼率控制下的最優(yōu)比特分配，其在編碼過程中受到嚴(yán)格的碼率約束，碼率控制下大部分測試序列的率失真性能有所下降。文獻［6］算法和文獻［7］算法根據(jù)視頻內(nèi)容變化自適應(yīng)調(diào)節(jié)幀級量化參數(shù)獲得了大約1.5%的編碼性能提升，而文獻［11］算法根據(jù)塊級失真?zhèn)鞑ヒ蜃幼赃m應(yīng)調(diào)節(jié)CTU 級的拉格朗日乘子獲得了更高的率失真性能提升。本文算法在LDB 和LDP 配置下，除了Class E 外，其他幾類視頻均獲得最高的率失真性能提升，總的平均性能提升分別達到3.5%和3.8%，優(yōu)于其他幾種對比算法。

表2 不同算法相對于HEVC基準(zhǔn)的BD-rate對比 單位：%Tab.2 BD-rate comparison of different algorithms against HEVC benchmark unit：%

測試序列Class E 是背景固定的會議場景，具有相對更強的時域率失真依賴性。因此，基于時域依賴性的率失真優(yōu)化算法能獲得很高的性能提升。本文提出的二次編碼優(yōu)化算法涉及的時域率失真依賴關(guān)系采用文獻［11］中的時域傳播因子度量，但所提算法對Class E 的性能提升還略小于文獻［11］獲得的率失真性能提升。原因主要是所提二次編碼算法用到了CTU 的R-D 模型，而正如圖4（d）所示，Class E 測試序列背景區(qū)域的許多CTU 編碼不具有冪函數(shù)的R-D 特性，導(dǎo)致所提算法中的R-D 模型出現(xiàn)較大誤差。事實上，由于會議場景視頻具有很強的時域率失真依賴性，提升視頻第一幀（I 幀）的編碼質(zhì)量，可以帶來較大率失真性能改善。但為了實驗對比公平性，文獻［11］算法未對I 幀編碼進行優(yōu)化，因此本文二次編碼算法也未修改I 幀的編碼策略。另外，相同輸入QP 情況下，所提二次編碼優(yōu)化算法獲得較大率失真性能提升的同時其輸出碼率與HEVC 基準(zhǔn)編碼器基本保持一致，說明率失真特性和率失真依賴性可以被進一步地用于碼率控制算法設(shè)計，在實現(xiàn)碼率控制的同時獲得率失真性能改善。

4 結(jié)語

本文提出了一種二次編碼優(yōu)化算法。首先采用實驗統(tǒng)計分析得到冪函數(shù)形式的率失真模型較好地描述HEVC 不同層級編碼單元的率失真特性；然后根據(jù)率失真理論得出可以通過一次編碼計算每個編碼單元的率失真模型參數(shù)；最后提出了一種結(jié)合CTU 的率失真特性和率失真依賴性的二次編碼優(yōu)化算法。本文算法有效地提升了編碼器率失真性能，并且其輸出碼率與原始HEVC 基準(zhǔn)編碼器輸出碼率基本一致。本文算法中的率失真依賴性度量采用信源失真時域擴散模型估算，其需要預(yù)先讀取后續(xù)幀建立時域傳播鏈。下一步將研究在不緩存后續(xù)幀情況下通過第一次編碼估計率失真依賴關(guān)系，以進一步改進視頻編碼優(yōu)化算法。