基于空域相關(guān)性的快速HEVC幀間預(yù)測方法

劉梅鋒，鐘國韻，徐洪珍，吳有用

（東華理工大學(xué) 機(jī)械與電子工程學(xué)院，江西 撫州 344000）

現(xiàn)有視頻編碼標(biāo)準(zhǔn)（包括動態(tài)圖像專家組第四版本（MPEG-4）、國際視頻編碼標(biāo)準(zhǔn)/高級視頻編碼（H.264/AVC）[1]和音視頻編碼標(biāo)準(zhǔn)（AVS）等）對于標(biāo)清（720×576）及其以下規(guī)格的視頻，有著較好的視頻編碼性能。但是，對于高清（1 280×720）以上分辨率的視頻編碼，其性能還遠(yuǎn)未達(dá)到市場應(yīng)用的需求[2]。目前正在制定的新一代國際視頻標(biāo)準(zhǔn)，即高性能視頻編碼（HEVC）標(biāo)準(zhǔn)[3-5]，其目標(biāo)是在保持H.264/AVC標(biāo)準(zhǔn)視頻質(zhì)量的基礎(chǔ)上，使比特率降低一半，即壓縮率提高一倍。經(jīng)過近兩年的發(fā)展和研究者的努力，目前在HEVC的初步框架下，其壓縮率較H.264已有一定程度的提升，但是其視頻編碼計算復(fù)雜度為H.264/AVC的4~5倍。

相比以前的視頻壓縮編碼標(biāo)準(zhǔn)，HEVC主要是采用3種新編碼技術(shù)：編碼單元（CU）、預(yù)測單元（PU）和變換單元（TU）。HEVC采用了4個深度的CU和8種不同的PU預(yù)測模式，各種CU深度和PU模式的組合下均要進(jìn)行率—失真代價計算，因此，HEVC視頻編碼具有很高的編碼計算復(fù)雜度。于是，若要實現(xiàn)HEVC的實時應(yīng)用，則必需降低其編碼的計算復(fù)雜度。針對H.264/AVC，近些年國內(nèi)外的研究人員已經(jīng)提出了一些快速模式判決的方法。文獻(xiàn)[6]提出利用先驗預(yù)測的幀間編碼模式來加速當(dāng)前模式選擇。文獻(xiàn)[7]根據(jù)層間相關(guān)性，利用基本層的模式信息來預(yù)測提高層的幀間預(yù)測模式，從而降低了編碼計算復(fù)雜度。文獻(xiàn)[11]根據(jù)時域上相鄰幀的預(yù)測模式分布模式，提出了自適應(yīng)的快速幀間預(yù)測方法。文獻(xiàn)[12-13]通過分析4×4塊的運動向量場得到MV的一致性，判決當(dāng)前的幀間預(yù)測模式，從而降低幀間預(yù)測的編碼計算復(fù)雜度。文獻(xiàn)[14]利用16×16塊與最優(yōu)的分塊預(yù)測模式之間率—失真的相似性，跳過其他分塊的預(yù)測模式。文獻(xiàn)[15]利用空域上和時域上相鄰塊之間的預(yù)測模式的相關(guān)性，構(gòu)成了最大可能模式列表，降低了編碼的計算復(fù)雜度。

對H.264來說，上述方法均獲得較好的編碼性能，但針對HEVC新提出的新編碼方法，必需研究新的方法來降低其編碼計算復(fù)雜度。本文通過實驗及分析認(rèn)為，時域上相鄰幀中對應(yīng)塊平滑時，當(dāng)前分塊的幀間預(yù)測的CU尺寸將比較大，并且其PU模式將有很大的概率為PART_2N×2N，于是，當(dāng)滿足該條件時，將能跳過一些不太可能的幀間預(yù)測模式，從而降低編碼的計算復(fù)雜度。

1 HEVC幀間預(yù)測模式判決

對于CU中的每個PU，編碼器將進(jìn)行單獨的運動搜索，如圖1所示，設(shè)當(dāng)前的PU預(yù)測模式為PART_nL×2N，該CU分為p和q兩個PU，這兩個PU將進(jìn)行獨立的運動估計和率—失真代價的計算，兩個PU對應(yīng)的率—失真代價值的和為該模式下總的代價值，對于當(dāng)前CU，將遍歷所有的PU模式，取其中率—失真代價值最小的一種PU模式作為最佳PU預(yù)測模式。

HEVC總體幀間模式判決過程如下：

1）對于一個LCU，將通過計算判決所有尺寸的各個CU的最佳PU模式，然后從下往上，將4個8×8尺寸CU總的率—失真代價值與16×16尺寸CU的率—失真代價值相比，取其中較小的模式。

2）計算4個16×16尺寸CU總的率—失真代價值。

3）將4個16×16尺寸CU總的率—失真代價值與32×32尺寸CU的代價值相比，也取其中較小的。

4）計算4個32×32尺寸CU總的率—失真代價值。

5）將4個32×32尺寸CU總的率—失真代價值與64×64尺寸CU的代價值相比，也取其中較小的。最終就形成了該LCU各個CU分割尺寸及其最佳的PU預(yù)測模式。

2 基于時域相關(guān)性的快速幀間模式判決

假想這樣一種情況：當(dāng)之前一幀中對應(yīng)位置區(qū)域為平坦的或者其中的運動對象有著相同的運動向量時，根據(jù)時域上的相關(guān)性，則當(dāng)前CU分塊所處區(qū)域也應(yīng)有著類似的特性?？紤]到時域上的運動，當(dāng)前幀中的部分對象可能是從前一幀中對應(yīng)位置CU分塊的周圍CU分塊中移動過來的，此時，當(dāng)前CU分塊所處的區(qū)域中還是平滑的或者其中的對象還是有著相同的運動向量。由于HEVC中定義了4種深度的CU，因此，必須分析對應(yīng)CU分塊與其空域上相鄰的CU分塊之間的關(guān)系。在HEVC中的8中PU模式中，模式PART_2N×2N代表最平滑的PU預(yù)測模式。因此，如果對應(yīng)CU分塊及其周圍的CU分塊的PU模式均為PART_2N×2N，則當(dāng)前CU分塊的PU模式將很有可能為PART_2N×2N，而其他的PU模式可以跳過，從而降低幀間預(yù)測的計算復(fù)雜度，如圖2所示。接著將對上述的假設(shè)條件進(jìn)行測試，并通過對測試結(jié)果的分析，構(gòu)建該條件下快速算法。

為了描述對應(yīng)CU分塊及其周圍CU分塊所處區(qū)域的平滑程度，本文定義了一種區(qū)域平滑的條件

式中：Lj為對應(yīng)塊周圍CU分塊的邊長，j取0，1，2，3分別表示對應(yīng)CU分塊的上、左、右和下方的CU分塊；Pj分別表示對應(yīng)CU分塊的上、左、右和下方的CU分塊的PU模式，下標(biāo)i表示CU深度，其取值0，1，2或3；條件Suri表示對應(yīng)CU分塊周圍的CU分塊尺寸比對應(yīng)CU分塊尺寸大，或者前者尺寸相對，但其PU模式為PART_2N×2N。

基于條件Suri，本文定義另一個條件

式中：C1表示當(dāng)條件Suri和Lcu＜Lco滿足時的條件。于是，可以定義3種概率

式中：Ni，s表示條件Suri滿足時對應(yīng) CU 分塊的數(shù)量；Ni是總的對應(yīng)CU分塊的數(shù)量；下標(biāo)s表示條件Suri滿足；下標(biāo)i表示CU 深度；Ri，s表示滿足條件Suri的概率。

式中：Ni，d表示條件C1滿足時對應(yīng)CU分塊的數(shù)量；下標(biāo)d表示條件更深的CU深度；Ri，d表示條件Suri下當(dāng)前CU尺寸小于對應(yīng)CU的概率。

式中：Ni，p表示條件C1下當(dāng)前塊中 PU模式為PART_2N×2N的CU分塊的數(shù)量；Ni，c表示條件C1下當(dāng)前塊中所有CU分塊的數(shù)量；Ri，e表示條件C1下其PU模式為PART_2N×2N的當(dāng)前CU分塊的概率；下標(biāo)e表示PU模式為PART_2N×2N的當(dāng)前CU分塊的索引號。

為了更直觀地描述現(xiàn)象，本文定義了一個比例系數(shù)

式中：Ri表示條件Suri下當(dāng)前CU尺寸小于對應(yīng)CU且其PU模式為除PART_2N×2N外的其他模式的概率。

為了分析概率Ri，s，Ri，d，Ri.e和Ri，本文在 HM7.0平臺上測試了6種不同分辨率和運動特性的不同CU尺寸，結(jié)果如表1~3所示。

表1 64×64的CU分割深度下Ri，s，Ri，d，Ri.e 和Ri的結(jié)果 %

表2 32×32的CU分割深度下Ri，s，Ri，d，Ri.e 和Ri的結(jié)果 %

表3 16×16的CU分割深度下Ri，s，Ri，d，Ri.e 和Ri的結(jié)果 %

從表 1～3 中的結(jié)果可以看出，概率R0，s，R1，d和R2，d的范圍分別為29.35%～52.78%，28.32%～57.62%和29.35%～71.92%。這說明了在實際視頻編碼過程中條件Suri占一定的比例，因此，如果能把該條件中冗余的PU模式去除，則能較大地降低編碼的計算復(fù)雜度。

表1～3顯示，R0，d的范圍為5.56%～11.96%，R1，d和R2，d的范圍分別為12.78%～20.74%和21.19%～29.80%。該結(jié)果說明了：對于64×64尺寸的對應(yīng)CU分塊，當(dāng)條件Suri滿足時，當(dāng)前CU尺寸小于對應(yīng)CU分塊尺寸的概率為5.56%～11.96%，而對于32×32和16×16尺寸的對應(yīng)CU分塊，當(dāng)條件Suri滿足時，當(dāng)前CU尺寸小于對應(yīng)CU分塊尺寸的概率分別為12.78%～20.74%和21.19%～29.80%。這個現(xiàn)象可以解釋如下：條件Sur0表示對應(yīng)CU分塊的周圍CU分塊尺寸均為64×64且其PU模式均為PART_2N×2N。當(dāng)條件滿足時，對應(yīng)CU分塊及其周圍CU分塊均有著最大的尺寸及最平滑的PU分割模式，該現(xiàn)象也預(yù)示著對應(yīng)CU分塊所處區(qū)域是平坦的，或者其中的對象有著相同的運動向量，于是，即使有運動對象從對應(yīng)CU分塊的周圍的CU分塊中移動到當(dāng)前CU分塊中，當(dāng)前CU分塊中的對象也會有著相同的運動向量。然而，對于Sur1和Sur2，對應(yīng)CU分塊及其周圍的CU分塊不全是最大的尺寸，這就意味著當(dāng)前CU分塊中將可能出現(xiàn)更多的紋理或者不同的運動向量。

表1～3也顯示了R0，e范圍為90.35%～96.04%，而R1，e和R2，e的范圍分別為67.21%～72.79%和52.45%～58.53%，這說明了當(dāng)條件C1滿足時，64×64尺寸的CU分塊要比32×32和16×16尺寸的CU分塊更有可能具有PART_2N×2N的PU預(yù)測模式。

表1～3還顯示了R0范圍為0.23%～1.15%，而R1和R2的范圍分別為3.66%～6.80%和7.93%～13.80%，這些結(jié)果說明了以下現(xiàn)象：當(dāng)條件Suri滿足時，對于64×64尺寸的對應(yīng)CU分塊，當(dāng)前塊中的CU分塊尺寸小于對應(yīng)CU分塊尺寸時，當(dāng)前CU分塊的PU模式幾乎均為PART_2N×2N。而對于32×32和16×16尺寸的對應(yīng)CU分塊，當(dāng)前CU分塊的PU模式就有一定概率非PART_2N×2N模式。因此，當(dāng)條件Suri滿足時且對應(yīng)CU分塊的尺寸為64×64時，對于當(dāng)前塊，只需檢測各層深度CU下的PART_2N×2N的PU模式，其他的PU模式可被跳過以節(jié)省編碼計算復(fù)雜度。但是，當(dāng)對應(yīng)CU分塊的尺寸為其他尺寸時，則當(dāng)前塊中各層深度CU下的其他PU模式不能被跳過。

基于上述的分析，當(dāng)對應(yīng)CU分塊尺寸大于當(dāng)前CU分塊尺寸時的快速幀間預(yù)測方法可以如圖3所示。

圖3 當(dāng)對應(yīng)CU分塊尺寸大于當(dāng)前CU分塊尺寸時的快速幀間預(yù)測方法流程圖

3 實驗結(jié)果及分析

為了測試提出的算法的性能，本文將提出算法與HEVC標(biāo)準(zhǔn)幀間預(yù)測方法相比，實驗平臺均為HEVC標(biāo)準(zhǔn)參考軟件JM，實驗中JM采用的為默認(rèn)配置。另外，為了闡述并討論分析最終算法與算法過程步驟之間的對應(yīng)關(guān)系，本文編碼性能的比較還基于以下3個性能指標(biāo)

式中：ΔBitrate是比特率增量；Bitratepro和Bitrateref分別是所提出的快速模式選擇算法和HM7.0的比特率；ΔPSNR是峰值信號噪聲比的增量；PSNRpro和PSNRref分別是所提出的算法和HM7.0的PSNR；ΔTime是模擬時間增量；Timepro和Timeref分別是所提出的算法和HM7.0的仿真時間。從表4中可以看出，相比HM7.0，本文算法在損失了0.21%~0.69%的壓縮率和0~0.05 dB的視頻質(zhì)量的前提下，節(jié)省了8.30%~34.14%的編碼時間。

表4 本文算法與HM7.0在比特率、視頻質(zhì)量和編碼時間方面的比較

4 結(jié)論

本文首先分析了前一幀中當(dāng)前塊對應(yīng)塊所處區(qū)域的平坦性和區(qū)域中對象運動向量的一致性，分析并用實驗驗證了當(dāng)前塊與前一幀對應(yīng)塊幀間模式的相似性，提出當(dāng)前塊幀間模式的判決方法，從而跳過一些不太可能的模式，降低了編碼的計算復(fù)雜度。實驗結(jié)果顯示，與HM7.0相比，本文提出的方法在比特率和視頻質(zhì)量損失很小的情況下，節(jié)省了8.30%～34.14%的編碼時間。

：

[1]WIEGAND T，SULLIVAN G，BJONTEGAARD G，et al.Overview of the H.264/AVC video coding standard[J].IEEE Trans.Circuits Syst.Video Technol.，2003，13（7）：560-576.

[2]LEE K，ALSHINA E，MIN J.Technical considerations for Ad Hoc group on new challenges in video coding standardization[S].2008.

[3]UGUR K，ANDERSSON K，F(xiàn)ULDSETH A，et al.High performance，low complexity video coding and the emerging HEVC standard[J].IEEE Trans.Circuits Syst.Video Technol.，2010，20（12）：1688-1697.

[4]劉梅鋒，陸玲.新一代視頻編碼標(biāo)準(zhǔn)HEVC變換方法的研究[J].電視技術(shù)，2012，36（1）：1-5.

[5]李元，何小海，鐘國韻，等.基于時域相關(guān)性的HEVC快速幀內(nèi)預(yù)測算法[J].電視技術(shù)，2012，36（9）：1-4.

[6]干宗良，齊麗娜，朱秀昌.H.264中基于先驗預(yù)測的幀間編碼模式選擇算法研究[J].電子與信息學(xué)報，2006，28（10）：1883-1887.

[7]LI H，LI Z，WEN C.Fast mode decision algorithm for inter-frame coding in fully scalable video coding[J].IEEE Trans.Circuits Syst.，Video Technol.，2006，16（7）：889-895.

[8]KIM S，HO Y.Fast mode decision algorithm for H.264 using statis?tics of rate-distortion cost[J].Electron.Lett.，2008，44（14）：849-850.

[9]LIU Z，SHEN L，ZHANG Z.An efficient intermode decision algo?rithm based on motion homogeneity for H.264/AVC[J].IEEE Trans.Circuits Syst.Video Technol.，2009，19（1）：128-132.

[10]SHEN L，LIU Z，ZHANG Z，et al.Fast inter mode decision using spatial property of motion field[J].IEEE Trans.Multimedia，2008，10（6）：1208-1214.

[11]KNESEBECK M，NASIOPOILOS P.An efficient early-termina?tion mode decision algorithm for H.264[J].IEEE Trans.Consum.Electron.，2009，55（3）：1501-1510.

[12]ZHAO T，WANG H，KWONG S，et al.Fast mode decision based on mode adaptation[J].IEEE Trans.Circuits Syst.Video Tech?nol.，2010，20（5）：697-705.