一種HEVC快速幀內(nèi)模式判斷算法

肖秀秀， 張新晨

(華中師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院， 武漢 430079)

?

一種HEVC快速幀內(nèi)模式判斷算法

肖秀秀*， 張新晨

(華中師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院， 武漢 430079)

針對(duì)HEVC幀內(nèi)預(yù)測(cè)模式較為復(fù)雜的過(guò)程，提出一種適合HEVC幀內(nèi)預(yù)測(cè)的快速算法.本文提出的算法充分利用了相鄰PU塊之間的結(jié)構(gòu)相似性(SSIM)，以及在候選模式中，MPM、PLANAR模式和DC模式最終被選為最佳預(yù)測(cè)模式的概率的規(guī)律，以達(dá)到減少幀內(nèi)模式數(shù)量，降低計(jì)算復(fù)雜度的目的.實(shí)驗(yàn)結(jié)果表明，與參考編碼算法相比，該算法可以穩(wěn)定減少HM12.1編碼時(shí)間35.6%，相應(yīng)平均碼率減少2.29%，PSNR-Y平均增加0.5058 dB，本算法具有實(shí)用價(jià)值.

視頻編碼； 高效率視頻編碼HEVC； 幀內(nèi)預(yù)測(cè)； 模式選擇

HEVC 是繼 H.264/AVC 之后的新一代視頻編碼標(biāo)準(zhǔn)，由 ITU-T 的 VCEG 和ISO/IEC 的 MPEG 組織組成的聯(lián)合協(xié)作視頻編碼組(JCT-VC)[1]制定，其目的是為了獲得更高的視頻壓縮效率和更好地適應(yīng)各種不同的網(wǎng)絡(luò)環(huán)境，并能夠支持多核并行編解碼.但是，HEVC 視頻編碼的更高的性能是以更高的計(jì)算復(fù)雜度為代價(jià)的，在幀內(nèi)編碼過(guò)程中[2]，采用了四叉樹(shù)遞歸編碼單元結(jié)構(gòu)以及采用枚舉法遍歷35種幀內(nèi)預(yù)測(cè)模式找出最佳模式，其計(jì)算的復(fù)雜度成倍的增加，導(dǎo)致HEVC不能有效地應(yīng)用于實(shí)時(shí)通信應(yīng)用.因此，在保持HEVC視頻主客觀質(zhì)量的前提下，如何降低 HEVC 視頻編碼的算法復(fù)雜度，加快編碼速度，滿足實(shí)際應(yīng)用，成為 HEVC視頻編碼研究的重要課題.文獻(xiàn)[3] 提出了一種利用編碼單元CU、預(yù)測(cè)單元PU和變換單元TU等級(jí)結(jié)構(gòu)關(guān)系的幀內(nèi)快速算法[3].文獻(xiàn)[4] 提出了一種新的幀內(nèi)角度預(yù)測(cè)方法，使用了傳統(tǒng)二抽頭濾波器和4抽頭的基于離散余弦變換的插值濾波器[4](DCT-based Interpolation Filter， DIF).文獻(xiàn)[5]提出使用當(dāng)前幀相鄰塊和前一幀的同一位置的相鄰塊的方向信息來(lái)加快幀內(nèi)方向預(yù)測(cè)[5].以上幾種快速算法，都是在已有的HM框架上，增加額外的編碼信息來(lái)降低編碼復(fù)雜度，但是它們并未考慮到HM自身的規(guī)律，本文在分析HM規(guī)律的基礎(chǔ)上，提出了一種幀內(nèi)快速算法，利用圖像相關(guān)性的特點(diǎn)，同時(shí)依據(jù)平面PLANAR模式、DC直流模式和最有可能模式MPM最終被選為最佳預(yù)測(cè)模式高概率的規(guī)律，可進(jìn)一步降低預(yù)測(cè)模式選擇的計(jì)算復(fù)雜度，實(shí)驗(yàn)結(jié)果表明本文提出的幀內(nèi)模式判斷快速算法在較小代價(jià)下，可降低模式預(yù)測(cè)判斷的復(fù)雜度，更適應(yīng)實(shí)際應(yīng)用情況.

1 HEVC幀內(nèi)編碼關(guān)鍵技術(shù)

1.1 HEVC幀內(nèi)預(yù)測(cè)模式

與H.264/AVC相似，HEVC幀內(nèi)預(yù)測(cè)分為亮度和色度預(yù)測(cè)，并為亮度分量和色度分量分別規(guī)定了35種和6種預(yù)測(cè)模式[6].在選取最佳、模式方面，HEVC也是借助率失真代價(jià)RDCost來(lái)選取的.但是，HEVC和H.264/AVC相比，在幀內(nèi)編碼方面最大的優(yōu)點(diǎn)就是大大豐富了幀內(nèi)預(yù)測(cè)模式的數(shù)量，從原來(lái)H.264/AVC中的最多9種模式，增加到現(xiàn)在的35種[7].除此之外，HEVC比H.264/AVC多出了一種非方向性的預(yù)測(cè)模式—平面Planar模式[8]，對(duì)紋理平滑且有一定漸變趨勢(shì)的區(qū)域處理效果很好.而且HEVC是以PU作為預(yù)測(cè)單元，其形狀及大小種類比H.264/AVC更為豐富，使其能更好地跟紋理相匹配，進(jìn)而得到更好的預(yù)測(cè)結(jié)果.

1.2 幀內(nèi)預(yù)測(cè)模式判斷過(guò)程

根據(jù)目前的HEVC標(biāo)準(zhǔn)測(cè)試軟件HM12.1，HEVC幀內(nèi)模式判斷的流程大致分為3個(gè)階段：

第一階段：使用基于 SATD(預(yù)測(cè)圖像與原圖像殘差的hadamard變換的絕對(duì)值之和)的代價(jià)函數(shù)進(jìn)行粗略的模式選擇，對(duì)所有34或17種角度的預(yù)測(cè)模式進(jìn)行粗選(Rough Mode Decision，RMD)，計(jì)算其率失真代價(jià)(Rate-Distortion Cost，RDCost)[9]并將其按照代價(jià)遞增順序排列，將代價(jià)最小的前N種模式作為候選模式，其中，N的值取決于PU塊的大小，對(duì)于4×4和8×8塊，N等于8；對(duì)于其它塊，N等于3.候選模式集中的候選模式的數(shù)量如表1所示.

表1 候選模式集中的候選模式的數(shù)量

第二階段：驗(yàn)證最有可能模式MPM[10]是否已包含在候選模式中，若不包含，則將其加入其末端.

第三階段：使用率失真優(yōu)化(Rate-Distortion Optimization，RDO)代價(jià)函數(shù)進(jìn)行最后模式選擇[11].通過(guò)對(duì)這些候選模式進(jìn)行率失真代價(jià)的計(jì)算，選擇最小代價(jià)的預(yù)測(cè)模式作為最佳的預(yù)測(cè)模式.

2 幀內(nèi)預(yù)測(cè)的優(yōu)化算法

幀內(nèi)預(yù)測(cè)模式計(jì)算，計(jì)算量巨大.幀內(nèi)模式快速選擇算法的研究一直以來(lái)都是提高編碼效率的研究重點(diǎn)之一.通過(guò)上述對(duì)HEVC中較為耗時(shí)模塊的分析，降低幀內(nèi)預(yù)測(cè)算法復(fù)雜度的可以從以下3個(gè)方面進(jìn)行研究：

第一方面：釆用某種策略減少候選預(yù)測(cè)模式的數(shù)量;

第二方面：對(duì)算法本身進(jìn)行優(yōu)化;

第三方面：對(duì)軟硬件算法結(jié)構(gòu)上的優(yōu)化.

2.1 結(jié)構(gòu)相似度(SSIM)

圖像像素之間的相關(guān)性暗示著圖像的結(jié)構(gòu)信息.在觀察圖像時(shí)，人眼對(duì)場(chǎng)景中結(jié)構(gòu)信息的變化比對(duì)單個(gè)像素取值的變化更敏感[12].在此基礎(chǔ)上，文獻(xiàn)[13]提出了圖像結(jié)構(gòu)相似度(SSIM)的質(zhì)量評(píng)價(jià)方法，把對(duì)圖像結(jié)構(gòu)信息的度量近似為圖像感知質(zhì)量，并利用此特點(diǎn)將當(dāng)前PU塊x和相鄰PU塊y的SSIM建模為亮度l(x，y)、對(duì)比度c(x，y)和結(jié)構(gòu)信息s(x，y)三分量的組合[13]：

SSIM(x，y)=l(x，y)c(x，y)s

(1)

其中， 亮度、對(duì)比度和結(jié)構(gòu)信息是與x和y的均值ux、uy，標(biāo)準(zhǔn)差、或協(xié)方差σxy有關(guān)的量，其表達(dá)式

(2)

(3)

(4)

式中，c1，c2和是為了避免分母為零而添加的小常數(shù)，c1=(k1L)2，c2=(k2L)2，c3=c2/2 ，其中,L是像素值的動(dòng)態(tài)范圍，一般，k1=0.01，k2=0.03，L=255.

2.2 精簡(jiǎn)候選模式

在候選模式集合中，候選模式按代價(jià)值由小到大排列，本文統(tǒng)計(jì)了各個(gè)候選模式在最終被選擇為最佳候選模式時(shí)，分別所占的百分比，圖1用直方圖反映了D類視頻序列RaceHorses.yuv中各個(gè)候選模式所占百分比.

圖1 各個(gè)候選模式所占百分比Fig.1 The percentage of each candidate mode

從直方圖1可以看出，在候選模式集合中，排在前面的候選模式，即代價(jià)小的模式，被選為最佳預(yù)測(cè)模式的概率更高.

為了減少算法復(fù)雜度，同時(shí)保證視頻預(yù)測(cè)的質(zhì)量，則在候選模式中，對(duì)于大于8×8的PU塊，選取前幾種預(yù)測(cè)候選模式的概率之和達(dá)到80%以上的模式，對(duì)于小于等于8×8的PU塊，由于塊的信息更精細(xì)，則首先在候選模式中，選取前幾種預(yù)測(cè)候選模式的概率之和達(dá)到65%以上的模式，然后，加入兩種在HEVC幀內(nèi)預(yù)測(cè)時(shí)使用率較高的兩種模式—PLANAR模式和DC模式，從而縮減RDO決策模式的數(shù)量.通過(guò)統(tǒng)計(jì)分析得到各個(gè)塊所要保留的粗選擇模式數(shù)量如表2所示：

表2 縮減RDO決策模式數(shù)量

2.3 算法描述

本文提出算法流程如下:

1)在進(jìn)行粗選模式之前，計(jì)算當(dāng)前PU塊與相鄰左邊塊、上邊塊、左上邊塊及右上邊塊四個(gè)PU的SSIM，當(dāng)其中某個(gè)SSIM>0.000001時(shí)，則將此PU的預(yù)測(cè)模式作為當(dāng)前PU的預(yù)測(cè)模式.

2)若某個(gè)SSIM≤0.000001時(shí)，則驗(yàn)證當(dāng)前PU的MPM的SATD是否最小，若其SATD最小，則將此PU的預(yù)測(cè)模式作為當(dāng)前PU的預(yù)測(cè)模式.

3)若MPM的SATD并非最小，則在精簡(jiǎn)候選模式中，選出最小的RD(Rate-Distortion率失真)代價(jià)的模式作為最佳預(yù)測(cè)模式.

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)環(huán)境是主頻為2.6 GHz的Pentium(R)Dual-Core CPU、2 Gbyte 內(nèi)存的 Windows 7 系統(tǒng)，實(shí)驗(yàn)平臺(tái)采用由VS2010編譯的HM12.1，配置文件選用配置encoder_intra_main.cfg，QP=27，測(cè)試過(guò)程中I幀的周期設(shè)置為1，所有編碼幀均為幀內(nèi)編碼，每個(gè)序列測(cè)試100幀.測(cè)試結(jié)果如表3所示.

表3 模式選擇快速算法的實(shí)驗(yàn)性能比較

表3的實(shí)驗(yàn)結(jié)果表明，本文算法在幀內(nèi)預(yù)測(cè)編碼平均節(jié)省35.6%的編碼時(shí)間，在峰值信噪比PSNR有所增加的同時(shí)編碼碼率的減少了2.29%，這個(gè)性能損失值是可以接受的.在不同的分辨率或者序列特征下，可以實(shí)現(xiàn)降低幾乎相同的復(fù)雜度，表明本文所提出的算法在實(shí)時(shí)HEVC編碼應(yīng)用的潛力.

為了更直觀地表示編碼器性能的損失，分別給出了在QP為22、27、32、37下，BQTerrace序列、BQMall序列、BlowingBubbles序列和vidyo1序列在文中算法與HEVC中現(xiàn)有算法的RD曲線比較.從圖2中可以看出，兩條曲線離得較近，說(shuō)明本文提出的快速算法性能較好.

為了更好的比較本文算法的主觀質(zhì)量效果，圖3給出了BasketballDrive序列的主觀質(zhì)量比較，從圖可知，文中算法的主觀質(zhì)量與HEVC的算法相比，也沒(méi)有明顯下降.

圖2 文中算法與RD算法的RD曲線Fig.2 RD curve of algorithm in this paper and the RD algorithm

圖3 文中算法與RD算法的主觀質(zhì)量對(duì)比Fig.3 Subjective quality comparison of algorithm in this paper and the RD algorithm

4 結(jié)束語(yǔ)

本文在分析了HEVC中幀內(nèi)預(yù)測(cè)算法和現(xiàn)有快速算法的基礎(chǔ)上，提出了一種利用圖形像素之間的結(jié)構(gòu)相似度(SSIM)的快速處理方法，再通過(guò)統(tǒng)計(jì)MPM、PLANAR模式和DC模式最終被選為最佳預(yù)測(cè)模式的概率數(shù)據(jù)，來(lái)精簡(jiǎn)幀內(nèi)預(yù)測(cè)候選模式，快速判決PU的預(yù)測(cè)模式.最后，本文將提出的算法與HM12.1的標(biāo)準(zhǔn)算法進(jìn)行了比較，結(jié)論表明本文提出的快速幀內(nèi)模式判斷算法在不降低編碼質(zhì)量的情況下編碼時(shí)間上減少了35.6%，而且對(duì)應(yīng)的碼率有輕微的減少，PSNR有一定的增加.總體來(lái)說(shuō)，本文提出的HEVC快速幀內(nèi)模式判決算法具有顯著的實(shí)用價(jià)值和研究意義.

[1] Bross B， McCann K， Han W， et al. HEVC draft and test model editing[C]//ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting， 2013(1):3-58.

[2] Bross B， Han W， Ohm J， et al. WD5: Working draft 5 of high-efficiency video coding[C]//ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting， 2011:31-158．

[3] Kim J， Yang J， Lee H， et al. Fast intra mode decision of HEVC based on hierarchical structure[C]//Information， Communications and Signal Processing (ICICS) 2011 8th International Conference on IEEE， 2011:1-4．

[4] Matsuo S， Takamura S， Jozawa H. Improved intra angular prediction by DCT-based interpolation filter[C]//Signal Processing Conference (EUSIPCO)， 2012 Proceedings of the 20th European. IEEE， 2012:1568-1572．

[5] Motra A S， Gupta A， Shukla M， et al. Fast intra mode decision for HEVC video encoder[C]//Software， Telecommunications and Computer Networks (SoftCOM)， 2012 20th International Conference on IEEE， 2012：1-5．

[6] Sugimoto K， Itani Y， Isu Y， et al. Description of video coding technology proposal by Mitsubishi Electric[J]. JCTVC， A107， 2010: 29-59．

[7] Wiegand T， Ohm J， Sullivan G J， et al. Special section on the joint call for proposals on high efficiency video coding (HEVC) standardization[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2012(3): 1661-1666．

[8] McCann K， Bross B， Kim I， et al. HM5: High efficiency video coding (HEVC) Test Model 5 Encoder Description[C]//ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting， Geneva, 2011: 89-147．

[9] Corrêa G， Assuncao P， da Silva Cruz L A， et al. Adaptive coding tree for complexity control of high efficiency video encoders[C]//Picture Coding Symposium (PCS)， IEEE， 2012: 425-428．

[10] Zhao L， Zhang L， Ma S， et al. Fast mode decision algorithm for intra prediction in HEVC[C]//Visual Communications and Image Processing (VCIP)， IEEE， 2011:1-4．

[11] Bross B， Han W， Ohm J， et al. WD5: Working draft 5 of high-efficiency video coding[C]//ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting，2011: 401-438．

[12] Yang Chun-ling， Xiao Dong-1in. Improvements for H.264 intra mode selection based on SSE and SSIM [J]. Journal of Electronics & Information Technology， 2011， 33(2)：1-6.

[13] Wang Z， Bovik A C， Sheikh H R， et al. Image quality assessment: from error visibility to structural similarity[J]. Image Processing， IEEE Transactions， 2004， 13(4): 600-612．

A fast intra prediction algorithm for HEVC

XIAO Xiuxiu， ZHANG Xinchen

(Physics Science and Technology School， Central China Normal University， Wuhan 430079)

A fast algorithm for intra mode decision in High Efficiency Video Coding (HEVC) is presented in this paper. In order to reduce the number of intra prediction mode and cut down the computational complexity, this algorithm takes full use of the structural similarity (SSIM) of the adjacent PU block and the regularity of selection probability of MPM、PLANAR model and DC model-in the candidate pattern. The experimental results show that time reduction from HM12.1 is averagely 35.6% and stable for various sequences. The corresponding bit rate decreases by 1.34% and PSNR-Y increases by 0.5058 dB．

video coding; HEVC; intra prediction; mode decision

2014-12-25.

教育部-中國(guó)移動(dòng)科研基金研發(fā)項(xiàng)目(MCM20122041)；湖北省自然科學(xué)基金項(xiàng)目(2014CFB656); 華中師范大學(xué)中央高?；究蒲袠I(yè)務(wù)費(fèi)項(xiàng)目(CCNU14A05044)．

1000-1190(2015)05-0687-05

TN919.81

A

*E-mail: xiaoxx620@163.com．