基于提前終止編碼單元劃分的快速幀內(nèi)預(yù)測算法

沈　健　楊　靜

(上海海事大學(xué)　上海 201306)

?

基于提前終止編碼單元劃分的快速幀內(nèi)預(yù)測算法

沈健楊靜*

(上海海事大學(xué)上海 201306)

摘要為了降低高效視頻編碼HEVC(High Efficiency Video Coding)幀內(nèi)預(yù)測過程的計算復(fù)雜度，提出一種提前終止編碼單元(CU)劃分的快速幀內(nèi)預(yù)測算法。首先，針對HEVC編碼結(jié)構(gòu)，提出一種紋理復(fù)雜度測度的方法(即像素亮度方差值)。然后,分析不同紋理特性對幀內(nèi)預(yù)測編碼單元層次結(jié)構(gòu)的影響，提出一種基于像素亮度方差值統(tǒng)計的提前終止編碼單元的方法。對不同層次結(jié)構(gòu)的編碼單元進(jìn)行像素亮度方差值統(tǒng)計，同時結(jié)合平均像素代價值統(tǒng)計，設(shè)置合理的閾值，自適應(yīng)提前終止編碼單元的劃分，從而降低了幀內(nèi)預(yù)測的編碼復(fù)雜度。實(shí)驗結(jié)果表明，在保證信噪比和比特率不變的情況下,該算法與HEVC參考軟件HM10.0相比,編碼時間平均節(jié)省32%。

關(guān)鍵詞高效視頻編碼(HEVC)幀內(nèi)預(yù)測編碼單元紋理特性像素亮度方差值平均像素代價值

0引言

高效視頻編碼HEVC標(biāo)準(zhǔn)是目前最新的視頻編碼標(biāo)準(zhǔn)。由于采用了靈活遞歸的四叉樹結(jié)構(gòu)編碼單元分割模式，用編碼單元(CU)代替宏塊(MB)，且采用了35種幀內(nèi)預(yù)測模式，因此，與H.264/AVC標(biāo)準(zhǔn)相比，HEVC的碼率可以減小一半。在HEVC標(biāo)準(zhǔn)中，對于不同尺寸的宏塊所對應(yīng)的預(yù)測模式的數(shù)量也是不同的，宏塊尺寸的變化和預(yù)測模式數(shù)量的增加使HEVC的幀內(nèi)預(yù)測更加準(zhǔn)確，但同時也使編碼復(fù)雜度顯著增加。因此，減少幀內(nèi)預(yù)測計算的復(fù)雜度是當(dāng)前的一個研究熱點(diǎn)。

針對H.264/AVC幀內(nèi)預(yù)測高計算復(fù)雜度的問題， Yinbo Liu等人提出了基于空間域能量的快速幀內(nèi)模式?jīng)Q策算法，通過計算16×16宏塊的像素方差值和平均亮度值確定參數(shù)R，根據(jù)參數(shù)R判斷16×16宏塊的紋理特性，從而選擇16×16,8×8,或者4×4的幀內(nèi)預(yù)測模式。文獻(xiàn)[2]中，Yunhui Shi利用像素方差值提出一種檢測平滑區(qū)域紋理特性的快速幀內(nèi)預(yù)測算法，根據(jù)平滑區(qū)域的紋理特性選擇4×4或者16×16宏塊的幀內(nèi)預(yù)測模式，有效地減少了幀內(nèi)預(yù)測計算的復(fù)雜度。在HEVC視頻編碼標(biāo)準(zhǔn)中，由于編碼單元CU采用的是遞歸劃分，且編碼塊的尺寸大小分別為64×64，32×32,16×16和8×8。因此，上述H.264/AVC標(biāo)準(zhǔn)中的幀內(nèi)預(yù)測快速算法不能直接用于判斷編碼單元的紋理特性，提前終止編碼單元的遞歸劃分。

同樣，針對HEVC幀內(nèi)預(yù)測計算復(fù)雜度的問題，文獻(xiàn)[3]中，Mingyuan Yang等人采用不同的方法分別提出了快速CU終止算法，快速PU(預(yù)測單元)決策算法，快速TU(變換單元)決策算法，該算法分別從編碼單元，預(yù)測單元，變換單元三個方面對幀內(nèi)預(yù)測過程進(jìn)行優(yōu)化，有效地減少了幀內(nèi)預(yù)測計算的復(fù)雜度。文獻(xiàn)[4]中，通過計算CTB的Sobel邊緣密度的方法，Yet-Chuan Lin提出了一種提前終止CU遞歸劃分的算法。胥加旺等人在文獻(xiàn)[5]中，利用圖像的紋理特性，分析不同深度下相鄰編碼塊劃分的相關(guān)性，提出提前終止編碼塊劃分的一種幀內(nèi)預(yù)測優(yōu)化算法。文獻(xiàn)[6]中，雷海軍等人提出了一種快速HEVC編碼單元決策算法,該算法統(tǒng)計當(dāng)前編碼單元和相鄰編碼單元的相關(guān)性，分析編碼單元紋理復(fù)雜度，并設(shè)定合理的閾值，判斷編碼單元是否提前終止劃分。文獻(xiàn)[7]中，K.Saurty等人提出了通過定義并計算一個編碼單元的平均像素代價值，減少CU的遞歸劃分過程，該算法只通過平均像素代價值閾值判斷CU是否進(jìn)行遞歸劃分，且只針對量化步長(QP)為32的CU劃分過程有效。以上提出的HEVC幀內(nèi)預(yù)測快速算法都是從不同的角度，通過判斷編碼單元的紋理特性，設(shè)置閾值，減少編碼單元的遞歸劃分,但這些算法都并未考慮通過分析編碼單元像素亮度值的關(guān)系進(jìn)行提前終止CU分割過程。

本文利用像素亮度值對幀內(nèi)預(yù)測編碼單元劃分過程進(jìn)行優(yōu)化，提出了基于提前終止編碼單元劃分的快速幀內(nèi)預(yù)測算法。首先，該算法通過統(tǒng)計不同視頻序列CU深度分布特性，分析不同序列的紋理復(fù)雜度。然后，計算并分析64×64的LCU像素亮度方差值和深度為1時CU的平均像素代價值，提出基于紋理復(fù)雜度測度方法和基于APC提前終止編碼單元劃分的快速幀內(nèi)預(yù)測算法。最后，通過設(shè)置合理的閾值，減少CU遞歸劃分，在率失真性能沒有明顯下降情況下，減少編碼時間，降低復(fù)雜度。

1HEVC幀內(nèi)預(yù)測編碼單元快速算法

1.1編碼單元紋理特性分析

在HEVC標(biāo)準(zhǔn)中,由于紋理復(fù)雜的區(qū)域采用較小的編碼塊，紋理平緩的區(qū)域采用較大的編碼塊,因此,本文首先分析LCU的紋理復(fù)雜性,分別統(tǒng)測試序列 BasketballPass,Kimono,BQTerrace50個LCU的深度(0到3),統(tǒng)計結(jié)果如表1所示。

表1　LCU的劃分深度

分析表1中的數(shù)據(jù)可以看出紋理特性相對平緩的視頻序列Kimono和BQTerrace更多的分為深度為0的64×64塊和深度為1的32×32塊，而紋理復(fù)雜的視頻序列BasketballPass則更多地分為深度為2的16×16塊和深度為3的8×8的塊。因此，基于不同紋理復(fù)雜度的視頻序列與其對應(yīng)的劃分塊深度關(guān)系的分析，本文提出一種判斷紋理復(fù)雜度測度的方法，用來減少編碼單元遞歸劃分。

1.2提出基于紋理復(fù)雜度測度方法

對于64×64的LCU塊，為了判斷其紋理復(fù)雜性，本文提出的幀內(nèi)預(yù)測算法首先將64×64塊分割為16個16×16的塊B0到B15，再將每個16×16的塊進(jìn)一步分割為更小的16個4×4的子塊A0到A15，且每個4×4的子塊分別包含16個像素P0到P15。一個LCU塊的具體劃分過程如圖1所示。

圖1　LCU劃分示意圖

如圖1所示劃分好LCU后，首先，計算每個16×16子塊中256個像素的總和Sum1到Sum16，如式(1)所示：

(1)

然后，計算16個16×16塊亮度像素平均值Var1到Var16，如式(2)所示：

(2)

得到每個16×16塊的亮度像素平均值后，計算一個LCU的亮度像素平均值，如式(3)所示：

(3)

最后，計算LCU的像素亮度方差值，如式(4)所示：

(4)

分別統(tǒng)計測試序列BasketballPass,Kimono,BQTerracece50個LCU的像素亮度方差值，統(tǒng)計結(jié)果如表2所示。

表2　LCU像素亮度方差值

分析表2中的數(shù)據(jù)可以看出紋理特性復(fù)雜的視頻序列BasketballPass的LCU像素亮度方差值較大，而紋理特性平滑的視頻序列Kimono,BQTerrace的LCU像素亮度方差值相對較小。因此，本文所提出的基于計算LCU像素亮度方差值的方法可以判斷不同序列的紋理復(fù)雜度。例如，對于16×16的塊，可以通過判斷LCU的像素亮度方差值是否超過閥值減少編碼單元遞歸劃分，而在LCU中，如果所有16×16塊的深度均小于3，則可以提前終止遞歸劃分。

1.3基于APC編碼單元快速算法

在32×32的大小塊是否進(jìn)行遞歸劃分的層次上，對100個LCU的像素亮度方差值進(jìn)行統(tǒng)計，其中，包含深度為1的塊的個數(shù)可能為1、2、3或者4，統(tǒng)計出現(xiàn)深度為1的塊的LCU像素亮度方差值，結(jié)果如表3所示。

表3　32×32塊的像素亮度方差值

對于紋理特性平滑的視頻序列，從表3中可以看出，出現(xiàn)所有深度都為1的塊的個數(shù)較多，且LCU像素亮度方差值差別不大。因此，用LCU的像素亮度方差值可以提前終止深度為1的CU遞歸劃分。

然而，對于紋理特性復(fù)雜的視頻序列，由表3中可以看出，幾乎很少出現(xiàn)所有32×32塊的深度都為1的情況，所以無法用像素亮度方差值判斷深度為1的編碼單元是否提前終止劃分。原因是在32×32塊的劃分層次上，紋理特性復(fù)雜的序列基本上都要進(jìn)行遞歸劃分，所以出現(xiàn)所有深度都為1的個數(shù)很少。

因此，在對32×32的大小塊是否進(jìn)行遞歸劃分的層次上，無法用LCU像素亮度方差值提前終止判斷，所以，本文引入CU的平均像素代價值(APC)[7]對深度為1的CU逐個進(jìn)行判斷，如式(5)所示。

(5)

1.4提出的快速算法整體流程

對1.1節(jié)、1.2節(jié)以及1.3節(jié)提出的算法進(jìn)行了整合，總的算法流程描述如下：

Step1depth=0時，如果像素亮度方差值小于閾值(S2

Step2depth=1時，如果平均像素代價值小于閾值(APC

Step3depth=2時，分析深度為1的32×32的塊，統(tǒng)計其16個8×8的子塊中CU的深度，如果含有深度為3的CU個數(shù)較少，則深度為2時16×16的塊不進(jìn)行遞歸劃分，結(jié)合表1中CU深度分布特性和表2中的像素亮度方差值的關(guān)系確定深度為2時16×16的塊是否遞歸劃分的LCU像素亮度方差值閾值S12。如果LCU像素亮度方差值小于閾值(S2

2實(shí)驗結(jié)果仿真

在HEVC參考軟件HM10.0 上，對本文提出的基于提前終止編碼單元劃分的快速幀內(nèi)預(yù)測算法進(jìn)行仿真測試，使用的測試平臺為：CPU為Intel(R)Core(TM)i3-3240 ,內(nèi)存為4.00 GB。采用配置為encoder_intra_main的全I(xiàn)幀編碼，編碼幀數(shù)為100 frame，四個量化參數(shù)分別為22、27、32、37。算法性能的評價指標(biāo)采用ΔBitrate, ΔPSNR和ΔT, ΔBitrate, ΔPSNR和ΔT的計算公式如式(6)-式(8)所示。

(6)

ΔP=PSNR本文算法-PSNRHM10.0

(7)

(8)

實(shí)驗中采用5個紋理特性不同的通用測試序列進(jìn)行測試,其中,Kimono,ParkScene,BQTerrace的測試序列紋理特性相對平滑，而測試序列RaceHorses,BasketballPass的紋理特性比較復(fù)雜。經(jīng)過大量的實(shí)驗測試，本文算法結(jié)果采用的閾值S02=5，APC0=12，S12=100，文獻(xiàn)[7]中算法采用的閾值A(chǔ)PC=25，所得的測試結(jié)果如表4、表5所示。

表4　本文算法實(shí)驗結(jié)果

表5　文獻(xiàn)[7]算法實(shí)驗結(jié)果

續(xù)表5

表4是本文算法與HM10.0算法的實(shí)驗數(shù)據(jù)比較，表5是文獻(xiàn)[7]算法與HM10.0算法的實(shí)驗數(shù)據(jù)比較。分析可知，本文算法在比特率增加約0.6%，PSNR值降低約0.05 dB的情況下，平均編碼時間降低了約32%，且編碼時間最多可以減少74.5%。而文獻(xiàn)[7]中算法與本文算法相比較，雖然平均編碼時間減少更多，但比特率顯著增加，PSNR下降也更加明顯。同時，對比表4和表5的實(shí)驗結(jié)果，可以看出，在量化步長為22時，對于所有的測試序列，文獻(xiàn)[7]中的算法比特率都顯著增加，PSNR下降明顯，且BasketballPass的測試序列，比特率增加甚至超過20%；而本文算法比特率幾乎沒有增加，PSNR下降很少。且對于不同量化步長的測試條件，相比于文獻(xiàn)[7]中的算法，本文算法實(shí)驗結(jié)果的差異性較小。

因此，本文提出的算法相比于文獻(xiàn)[7]中的算法，雖然編碼時間有一定的增加，但比特率增加明顯減少，PSNR下降更少，且更適用于不同量化步長(QP)的情況。相比于HM10.0原始算法，本文算法在相同碼率下，保持了較好的編碼圖像質(zhì)量，尤其對于紋理特性較為平滑的視頻(Kimono), 而對于紋理特性復(fù)雜的視頻(BasketballPass),本文算法仍有較好的效果，具有較好的普適性。

3結(jié)語

本文首先簡單介紹了最新的視頻編碼標(biāo)準(zhǔn)HEVC的幀內(nèi)預(yù)測編碼技術(shù)，然后，分析了不同視頻序列的紋理特性,計算LCU的像素亮度方差值和深度為1的CU的平均像素代價值，進(jìn)而提出基于紋理復(fù)雜度測度的方法和基于APC提前終止編碼單元的幀內(nèi)預(yù)測快速算法，通過合理設(shè)置LCU像素亮度方差閾值和深度為1時CU平均像素代價值閾值，減少CU的遞歸劃分，降低了幀內(nèi)預(yù)測計算的復(fù)雜度。最后，分別與HM10.0標(biāo)準(zhǔn)算法和文獻(xiàn)[7]中的算法進(jìn)行比較，本文提出的基于編碼單元快速幀內(nèi)預(yù)測算法在保持視頻信噪比和碼率穩(wěn)定的前提下，有效地節(jié)省了幀內(nèi)編碼時間，同時，本文算法更適用于不同的量化步長。

（2）邊坡系數(shù)為1∶1的表層無覆土無植草邊坡60min內(nèi)的土壤流失質(zhì)量1.31kg，15～20，20～25，25～30mm植生混凝土組的底部土壤流失量分別為0.0792，0.1089，0.1584kg；植生混凝土對底部土壤的反濾攔截率達(dá)86.92%。

參考文獻(xiàn)

[1] Liu Y,Liu X,Shen Z,et al.Fast Intra Mode Decision Algorithm Based on Spatial-Domain Energy for H.264/AVC[C]//Trust,Security and Privacy in Computing and Communications (TrustCom),2013 12th IEEE International Conference on.IEEE,2013:1357-1361.

[2] Shi Y,Cai H,Yin B.A fast and efficient intra mode decision algorithm for H.264/AVC[C]//Wireless Communications,Networking and Mobile Computing,2009.WiCom’09.5th International Conference on.IEEE,2009:1-4.

[3] Yang M,Grecos C.Fast intra encoding decisions for high efficiency video coding standard[J].Journal of Real-Time Image Processing,1-10.

[4] Lin Y C,Lai J C.Edge Density Early Termination Algorithm for HEVC Coding Tree Block[C]//Computer,Consumer and Control (IS3C),2014 International Symposium on.IEEE,2014:39-42.

[5] 胥加旺.基于HEVC幀內(nèi)預(yù)測算法的優(yōu)化[D].南京理工大學(xué),2014.

[6] 雷海軍,楊忠旺,陳驍,等.一種快速HEVC編碼單元決策算法[J].計算機(jī)工程,2014,40(3):270-273.

[7] Saurty K,Catherine P C,Soyjaudah K M S.Early CU size determination in HEVC intra prediction using Average Pixel Cost[C]//Digital Information and Communication Technology and it's Applications (DICTAP),2014 Fourth International Conference on.IEEE,2014:247-252.

[8] Sullivan G J,Ohm J,Han W J,et al.Overview of the high efficiency video coding (HEVC) standard[J].Circuits and Systems for Video Technology,IEEE Transactions on,2012,22(12):1649-1668.

[9] Hao Zhang,Zhan Ma.Fast Intra Mode Decision for High Efficiency Video Coding (HEVC)[J].IEEE Transactions on Circuits and Systems for Video Technology,2013,24(4):660-668.

[10] 陳王煥.新一代高效視頻編碼幀內(nèi)預(yù)測快速算法研究[D].中山大學(xué),2012.

[11] 陶陽.面向高性能視頻壓縮的關(guān)鍵技術(shù)研究[D].國防科學(xué)技術(shù)大學(xué),2007.

FAST INTRA PREDICTION ALGORITHM BASED ON EARLY TERMINATION OF CODING UNIT

Shen JianYang Jing*

(ShanghaiMaritimeUniversity,Shanghai201306,China)

AbstractThis paper presents a fast intra prediction algorithm which is based on early termination of coding unit (CU) partition in order to reduce the computational complexity of intra prediction process in HEVC. First, aiming at HEVC coding structure we put forward a texture complexity measurement method (i.e. the pixel luminance variance value). Then we analysed the influences of different texture features on CU hierarchical structure of intra prediction, and gave a new method for early termination of CU based on pixel luminance variance value statistics. By counting the luminance variance value of coding units with different hierarchical structure and in combination with counting the average pixel cost value, we set the reasonable threshold to adaptively terminate the CU partition early, so that reduced the coding complexity of intra prediction. Experimental results showed that comparing with the reference software HM10.0 of HEVC, the algorithm reduced the encoding time by 32% in average with negligible changes in PSNR and bit rate.

KeywordsHigh efficient video coding (HEVC)Intra predictionCoding unit (CU)Texture featurePixel luminance variance valueAverage pixel cost value

收稿日期：2015-01-09。國家自然科學(xué)基金項目(61402278)；上海市國際科技合作基金項目(12510708400)。黃志勇，工程師，主研領(lǐng)域：圖像處理。陳一民，教授。 2014-12-16。國家自然科學(xué)基金項目(61404083)。沈健，碩士生，主研領(lǐng)域：圖像通信與視頻壓縮編碼。楊靜，副教授。

中圖分類號TP3

文獻(xiàn)標(biāo)識碼A

DOI:10.3969/j.issn.1000-386x.2016.05.042