基于模式預(yù)測的低復(fù)雜度高清視頻幀內(nèi)編碼方法

張冠軍 朱林衛(wèi) 張 云

(中國科學(xué)院深圳先進(jìn)技術(shù)研究院 深圳 518055)

基于模式預(yù)測的低復(fù)雜度高清視頻幀內(nèi)編碼方法

張冠軍 朱林衛(wèi) 張 云

(中國科學(xué)院深圳先進(jìn)技術(shù)研究院 深圳 518055)

為了解決高分辨率及超高分辨率的視頻數(shù)據(jù)量龐大的問題，國際視頻編碼標(biāo)準(zhǔn)化組織正制定更先進(jìn)的視頻壓縮標(biāo)準(zhǔn)——高效視頻編碼標(biāo)準(zhǔn)(High Efficiency Video Coding，HEVC)，即 H.265。幀內(nèi)編碼作為視頻編碼的重要組成部分，其編碼的復(fù)雜度和性能會嚴(yán)重影響整個視頻的編碼復(fù)雜度和壓縮性能。為了降低HEVC中幀內(nèi)編碼的復(fù)雜度，文章提出了一種重新確定備選模式列表的方法，該方法根據(jù)備選模式列表中第一個模式的不同，快速自適應(yīng)地確定備選模式列表中需要保留的模式，減少執(zhí)行率失真優(yōu)化的模式數(shù)目。實(shí)驗(yàn)結(jié)果表明，文章提出的算法在保證與標(biāo)準(zhǔn)測試平臺 HM8.0 編碼性能一致的條件下，幀內(nèi)編碼時間與原始 HM8.0 相比平均節(jié)省 24.50%，有效地降低了幀內(nèi)編碼的復(fù)雜度。同時，所提出的算法能夠與其它層次的快速編碼方法相融合， 以進(jìn)一步減少復(fù)雜度。

高效視頻編碼標(biāo)準(zhǔn)；備選模式列表；率失真優(yōu)化；編碼樹單元；粗略模式?jīng)Q定

1 引 言

隨著科技的進(jìn)步和生活水平的提高，人們欣賞視頻時對視頻圖像畫質(zhì)、沉浸感等要求也越來越高。因此視頻技術(shù)正向著高質(zhì)量、高分辨率、立體效果等方向發(fā)展。由于用戶體驗(yàn)需求越來越高，視頻的數(shù)據(jù)量也越來越龐大。而目前用戶接入的帶寬仍無法滿足高清/超清視頻的傳輸要求，如果未能有效壓縮高清視頻信號，那么用戶將無法看到令人畫質(zhì)滿意的視頻。現(xiàn)在視頻流行的格式是高清和超高清，超高清視頻的分辨率為4K(4096×2160)和 8K(8192×4320)。以 4K 分辨率為例，按 YUV4:4:4 的格式計(jì)算，每幀圖像原始數(shù)據(jù)量為 24 MB，若是想觀看流暢的視頻畫面大概需要每秒 50 幀或以上，也就是說，分辨率為 4096×2160 的高清視頻，原始數(shù)據(jù)每秒大小為 1.2 GB。一部高清電影播放時長以兩個小時計(jì)算，未壓縮的超高清視頻數(shù)據(jù)量將高達(dá) 8 TB。面對這個數(shù)據(jù)量，無論是網(wǎng)絡(luò)傳輸與存儲，還是實(shí)時讀取數(shù)據(jù)都是非常困難的。因此需要在視頻傳輸與存儲之前進(jìn)行有效地壓縮，去除原始數(shù)據(jù)中的各種冗余，以減少對帶寬和存儲空間的需求。

目前國際上主要有兩個組織負(fù)責(zé)視頻編碼標(biāo)準(zhǔn)的制定，一個是國家標(biāo)準(zhǔn)化組織的運(yùn)動圖像專家組(Motion Picture Expert Group，MPEG)。MPEG 制定的標(biāo)準(zhǔn)為 MPEG 系列，主要包括MPEG-1、MPEG-2、MPEG-4、MPEG-7 等，而 MPEG-1 和 MPEG-2 分別是我們所熟悉的VCD 和 DVD 格式。另一個是國際電信聯(lián)盟組織的視頻編碼專家組(Video Code Expert Group，VCEG)。VCEG 制定的標(biāo)準(zhǔn)為 H.26x 系列，如H.261、H.262、H.263 等。由于肩負(fù)著共同的使命，MPEG 和 VCEG 的專家組成員于 2003 年組成聯(lián)合視頻專家組(Joint Video Team，JVT)，聯(lián)合制定了新一代視頻編碼標(biāo)準(zhǔn) H.264[1]，亦即MPEG-4/AVC 的第十部分。該標(biāo)準(zhǔn)的目標(biāo)是保持與 MPEG-2 相同視頻質(zhì)量的前提下將視頻的壓縮效率提高一倍。該標(biāo)準(zhǔn)一經(jīng)制定，就得到了廣泛的應(yīng)用，如視頻會議、視頻監(jiān)控、高清電視、網(wǎng)絡(luò)視頻直播、無線移動視頻通訊、3DTV、Mobile TV、虛擬現(xiàn)實(shí)和多屏互動等。圖 1 展示了視頻技術(shù)的一些應(yīng)用。

圖 1 視頻技術(shù)的應(yīng)用Fig. 1. Applications of video technology

2010 年，MPEG 和 VCEG 再度聯(lián)手成立了視頻編碼聯(lián)合專家組，并于 2013 年 1 月正式發(fā)布面向高清和超高清等視頻應(yīng)用的下一代視頻編碼標(biāo)準(zhǔn)——高效視頻編碼標(biāo)準(zhǔn)(High Efficiency Video Coding，HEVC)[2]，即 H.265。該標(biāo)準(zhǔn)的目標(biāo)是保持與 H.264 相同視頻質(zhì)量的前提下將視頻的壓縮效率提高一倍，即碼率降低 50%。雖然HEVC 壓縮效率增加，但是編碼的復(fù)雜度激增為H.264 的數(shù)十倍，有時甚至達(dá)上百倍，這限制了視頻編碼技術(shù)的應(yīng)用。

隨著時間的推移，視頻的壓縮效率翻倍提升，如圖 2 所示。大約每隔十年，視頻的壓縮效率提高一倍?？梢灶A(yù)期，至 2023 年左右很可能會制定出壓縮效率更高的視頻編碼標(biāo)準(zhǔn)。但要提高視頻的壓縮比，需要采用更有效、更復(fù)雜的算法去除視頻中存在的各種冗余，伴隨而來的是非常高的計(jì)算復(fù)雜度，這將限制視頻壓縮技術(shù)的實(shí)時應(yīng)用。

圖 2 視頻編碼標(biāo)準(zhǔn)的發(fā)展Fig. 2. The development of video coding standard

2 HEVC 幀內(nèi)計(jì)算復(fù)雜度分析

HEVC 的壓縮效率很高，同時其算法復(fù)雜度亦很高。就編碼而言，其復(fù)雜度大約是 H.264 的1.5～3 倍，是 MPEG-2 的 4 倍。巨大的算法復(fù)雜度雖然帶來了壓縮效率的提升，但也很大程度上限制了 HEVC 的實(shí)際應(yīng)用。造成 HEVC 算法復(fù)雜度高的技術(shù)主要有靈活的編碼結(jié)構(gòu)，復(fù)雜的幀內(nèi)預(yù)測模式和基于四叉樹的多層變換結(jié)構(gòu)等。

2.1 編碼結(jié)構(gòu)

HEVC 將一幅圖像劃分成多個小塊逐個進(jìn)行處理，每個小塊稱為編碼樹單元(Coding Tree Unit，CTU)。而編碼樹單元的編碼過程使用三個基本單元來描述：編碼單元、預(yù)測單元和變換單元，編碼層次過程如圖 3 所示。

圖 3 CTU 的編碼結(jié)構(gòu)Fig. 3. Structure of CTU

編碼單元是采用四叉樹結(jié)構(gòu)遞歸分割的編碼樹單元的葉子節(jié)點(diǎn)。編碼樹單元利用分割標(biāo)識(Split Flag)確定當(dāng)前編碼單元是否需要繼續(xù)分割。若需要分割時，當(dāng)前編碼單元可以分成四個大小相同的下一級編碼單元。同時，編碼單元也是確定幀間預(yù)測或幀內(nèi)預(yù)測的基本單元。

預(yù)測單元是預(yù)測的基本單元，其根節(jié)點(diǎn)在編碼單元層。幀間預(yù)測模式的分割類型有2N×2N，2N×N，N×2N，N×N，2N×nU，2N×nD，nL×2N，nR×2N，其中 2N×nU，2N×nD，nL×2N，nR×2N 屬于非對稱運(yùn)動分割[3]，分割類型如圖 3 中預(yù)測單元行所示。非對稱運(yùn)動分割主要針對某些不規(guī)律類型的塊，使用非對稱的預(yù)測方式比進(jìn)一步分割得到的預(yù)測結(jié)果更加準(zhǔn)確。幀內(nèi)預(yù)測模式的分割類型有2N×2N 和 N×N。對于幀間預(yù)測和幀內(nèi)預(yù)測，分割模式 N×N 只有當(dāng)編碼單元遞歸達(dá)到最小尺寸時才執(zhí)行。

變換單元是殘差變換的基本單元，根節(jié)點(diǎn)也在編碼單元層。變換單元的處理也采用四叉樹結(jié)構(gòu)，其四叉樹稱為殘差四叉樹變換(Residual Quadtree Transform)，包含方形四叉樹變換和非方形四叉樹變換，如圖 3 中變換單元行所示。

采用圖 3 所示編碼結(jié)構(gòu)的目的是可以根據(jù)視頻內(nèi)容自適應(yīng)選擇最優(yōu)的編碼單元、預(yù)測單元和變換單元組合，從而獲得更好的編碼性能。但是HEVC 通過全遍歷的方式選擇最優(yōu)的編碼單元、預(yù)測單元和變換單元組合，很明顯這種方式的復(fù)雜度非常地高。

2.2 幀內(nèi)預(yù)測模式

在視頻編碼標(biāo)準(zhǔn) H.264 中，為了提高幀內(nèi)預(yù)測的準(zhǔn)確性，當(dāng)待編碼的塊尺寸為 16×16 時遍歷4 種預(yù)測模式，當(dāng)待編碼的塊尺寸為 4×4 時遍歷9 種預(yù)測模式(8 種方向性預(yù)測模式和 1 種平均模式)。圖 4 所示為 H.264 中 4×4 塊的 8 種方向性幀內(nèi)預(yù)測模式，每個預(yù)測方向最小間隔為 22.5°。cc

圖 4 H.264 幀內(nèi)預(yù)測模式Fig. 4. Intra prediction modes of H.264

為了使得幀內(nèi)預(yù)測更加準(zhǔn)確，幀內(nèi)編碼效率更高，HEVC 采用了更精密的幀內(nèi)預(yù)測模式，多達(dá) 35 種，其中 33 種方向預(yù)測模式和 2 種非方向預(yù)測模式，如圖 5 所示，預(yù)測方向最小間隔約為 5°。0～34 中每個值分別代表一種模式，其中 2～34 每個值代表一種方向模式，0 代表平面模式(Planar)，1 代表直流模式(Direct Current，DC)。幀內(nèi)編碼通過遍歷上述 35 種模式選擇率失真代價最小的模式作為最佳幀內(nèi)預(yù)測模式。盡管這種遍歷方式可以進(jìn)一步提高預(yù)測準(zhǔn)確性從而提高編碼效率，但也極大地增加了編碼復(fù)雜度。

圖 5 HEVC 幀內(nèi)預(yù)測模式Fig. 5. Intra prediction modes of HEVC

在不降低幀內(nèi)編碼視頻質(zhì)量的前提下，為了降低幀內(nèi)編碼過程的復(fù)雜度，HEVC 采用了 Piao等[4]提出的粗略模式判定方法獲得備選模式列表。該技術(shù)主要通過減少幀內(nèi)預(yù)測中執(zhí)行率失真優(yōu)化模式的數(shù)目，從而降低幀內(nèi)預(yù)測的復(fù)雜度。執(zhí)行粗略模式判定后得到的備選模式列表根據(jù)公式(1)計(jì)算預(yù)測模式對應(yīng)的代價 J，并按 J 從小到大的順序排列各種模式。然后將周圍相鄰塊選擇的最佳預(yù)測模式構(gòu)成的最可能模式中未包含在備選模式列表中的模式添加到備選模式列表。最終確定的備選模式列表中每個模式需要進(jìn)一步執(zhí)行率失真優(yōu)化，根據(jù)率失真優(yōu)化選擇最佳的幀內(nèi)預(yù)測模式。盡管 HEVC 采用了 Piao 等[4]提出的快速算法，但幀內(nèi)預(yù)測的復(fù)雜度仍然很高。

其中，D(r,mi)為當(dāng)前預(yù)測單元使用幀內(nèi)第 i個預(yù)測模式 mi預(yù)測后得到的殘差信號 r 進(jìn)行Hadamard 變換后變換系數(shù)的絕對差值之和；R(mi)為編碼幀內(nèi)預(yù)測模式 mi所需的比特；λ 為拉格朗日乘子；J 為粗略模式判定過程中使用幀內(nèi)預(yù)測模式 mi預(yù)測當(dāng)前塊得到的代價。

2.3 基于四叉樹的變換結(jié)構(gòu)

圖 3 最下方變換單元行就是描述變換單元的四叉樹結(jié)構(gòu)。當(dāng)預(yù)測單元分割類型是 2N×2N或 N×N 時，方形四叉樹變換(SQT)采用方形變換；當(dāng)預(yù)測單元分割類型是 2N×N，2N×nU 和2N×nD 時，非方形四叉樹變換(NSQT)采用水平類型變換；當(dāng)預(yù)測單元分割類型是 N×2N，nL×2N 和 nR×2N 時，非方形四叉樹變換(NSQT)采用垂直類型變換。預(yù)測單元分割類型與變換單元四叉樹劃分類型的對應(yīng)關(guān)系如圖3 所示。變換單元基本上都采用離散余弦變換(Discrete Cosine Transform)，但如果是幀內(nèi)預(yù)測且變換單元大小為 4×4 時則選擇離散正弦變換(Discrete Sine Transform)[5]。為了更好地去除視頻中存在的空域統(tǒng)計(jì)冗余，HEVC 采用了復(fù)雜度很高的離散余弦變換或者離散正弦變換兩種變換提高視頻的編碼性能。并且對編碼單元使用基于四叉樹的變換結(jié)構(gòu)自適應(yīng)地選擇合適的變換單元大小進(jìn)行變換，這也就意味著對一個編碼單元重復(fù)進(jìn)行不用層次的變換，選擇具有最優(yōu)編碼性能的變換單元組合，進(jìn)一步增加了編碼過程的復(fù)雜度，使編碼過程的復(fù)雜度成倍增加。

由以上分析可知，HEVC 采用復(fù)雜度很高的算法提高視頻的壓縮效率，造成了 HEVC 的編碼復(fù)雜度非常高。編碼復(fù)雜度過高會造成對硬件和電源的依賴程度太高，不利于在移動設(shè)備上的推廣和應(yīng)用。因此，如何有效地降低 HEVC 的編碼復(fù)雜度是當(dāng)前研究的關(guān)鍵問題。

3 相關(guān)工作的綜述

為了降低 HEVC 幀內(nèi)編碼過程的復(fù)雜度，研究人員進(jìn)行了很多相關(guān)研究工作并提出了改進(jìn)型幀內(nèi)編碼算法。這些改進(jìn)方法可以劃分成兩類，一類是針對編碼單元尺寸選擇，修剪編碼樹單元分割的四叉樹，通過提前確定編碼尺寸降低計(jì)算復(fù)雜度[7-10]；另一類主要通過減少 35 種預(yù)測模式數(shù)量，降低計(jì)算復(fù)雜度[5,11-13]。

HEVC 在編碼過程中為了獲得最佳的編碼單元，會遍歷所有的編碼單元深度。雖然該方法使得編碼性能得到了顯著提高，但是編碼的復(fù)雜度也相應(yīng)增加。為了減少遍歷編碼單元的數(shù)目，Li等[7]提出自適應(yīng)確定編碼單元深度范圍的算法降低編碼復(fù)雜度。Shen 等[8]利用先前已編碼幀和相鄰已編碼編碼單元的深度快速確定當(dāng)前編碼單元的深度范圍。Leng 等[9]在幀層和編碼單元層分別提出一個快速確定編碼單元深度的算法加速編碼過程。Shen 等[8]還利用貝葉斯準(zhǔn)則結(jié)合一些相關(guān)的特征快速決定編碼單元的深度。蔣潔等[10]探索圖像平滑特性與編碼塊尺寸大小的關(guān)系，進(jìn)而根據(jù)當(dāng)前區(qū)域是否屬平滑自適應(yīng)地跳過不適合的編碼塊劃分。以上方法主要通過最優(yōu)編碼單元尺寸的預(yù)測或早期決策，減少對不必要的編碼單元尺寸的計(jì)算，降低計(jì)算復(fù)雜度，但并未考慮到率失真優(yōu)化中的模式選擇過程。

為了降低幀內(nèi)編碼復(fù)雜度，研究人員還通過減少預(yù)測模式降低計(jì)算復(fù)雜度。Piao 等[4]改進(jìn)了粗略模式判定選擇準(zhǔn)則，將編碼模式所占比特加入到粗略模式判定選擇準(zhǔn)則中，實(shí)現(xiàn)碼率和預(yù)測精度的最優(yōu)化。Zhao 等[11]通過實(shí)驗(yàn)選擇對應(yīng)于不同預(yù)測單元的最佳備選模式的數(shù)目。Jiang 等[12]利用梯度直方圖尋找當(dāng)前編碼單元最可能的預(yù)測方向，比較準(zhǔn)確地減少了進(jìn)行粗略模式判定以及率失真優(yōu)化的模式數(shù)目。Zhang 等[13]分析了紋理特征與編碼模式之間的關(guān)系，提出了一個自適應(yīng)地確定幀內(nèi)預(yù)測模式的方法。以上方法較好地減少了預(yù)測模式的數(shù)量，但是缺乏對備選模式列表特性的利用，因此仍有較大的優(yōu)化空間。

根據(jù)對以上算法的分析，本文提出了一種基于模式預(yù)測的低復(fù)雜度高清視頻幀內(nèi)編碼方法。該方法主要利用備選模式列表中不同位置的模式成為最佳預(yù)測模式的概率差異性，并且同一位置不同模式成為最佳預(yù)測模式的概率存在的差異性，通過重新建表，進(jìn)一步減小備選模式列表中實(shí)際執(zhí)行率失真優(yōu)化的幀內(nèi)預(yù)測模式數(shù)目。

4 基于模式預(yù)測的低復(fù)雜度高清視頻幀內(nèi)編碼方法

HEVC 幀內(nèi)編碼過程中，編碼單元塊尺寸編碼單元和預(yù)測塊尺寸預(yù)測單元分割模式確定后，首先使用粗略模式判定從 35 種預(yù)測模式中選擇最有可能成為最佳預(yù)測模式的集合。然后集合中的每個模式逐個執(zhí)行率失真優(yōu)化，比較每種模式對應(yīng)的率失真代價，選擇率失真代價最小的模式作為最佳幀內(nèi)預(yù)測模式。表 1 是幀內(nèi)編碼過程中粗略模式判定和率失真優(yōu)化兩個過程花費(fèi)時間占幀內(nèi)編碼時間的百分比。其中，Class A～Class E 是提案[14]中不同分辨率不同場景的標(biāo)準(zhǔn)測試序列，國際上統(tǒng)一使用這些標(biāo)準(zhǔn)序列進(jìn)行算法性能比較。

表 1 RMD 和 RDO 消耗時間占幀內(nèi)編碼過程消耗時間的比例Table 1. Time-consuming proportions of RMD or RDO

由表 1 可知，幀內(nèi)預(yù)測模式選擇過程中粗略模式判定消耗時間占整個幀內(nèi)編碼總時間的6.27%，而率失真優(yōu)化消耗時間占整個幀內(nèi)編碼過程總時間的 63.76%。由于粗略模式判定采用較簡單的計(jì)算方式，所以即使粗略模式判定過程遍歷的模式數(shù)目遠(yuǎn)遠(yuǎn)多于率失真優(yōu)化過程遍歷的模式數(shù)目，但是粗略模式判定花費(fèi)的時間遠(yuǎn)小于率失真優(yōu)化花費(fèi)的時間。因此，每種模式執(zhí)行率失真優(yōu)化過程的復(fù)雜度遠(yuǎn)遠(yuǎn)大于執(zhí)行粗略模式判定過程的復(fù)雜度。為了盡可能降低 HEVC 幀內(nèi)編碼過程的復(fù)雜度，我們將進(jìn)一步優(yōu)化率失真優(yōu)化過程。

由于粗略模式判定過程中 J 的大小在一定程度上反映了最終率失真代價的大小，并且粗略模式判定后得到的備選模式列表根據(jù) J 按從小到大的順序排列，所以，備選模式列表中不同位置的預(yù)測模式成為最佳預(yù)測模式的概率是不同的，一般概率逐漸降低[13]。

為了分析最佳模式與備選列表排序的關(guān)系，本文定義以下三種事件：

(1)當(dāng)備選列表中第一個模式是直流模式或平面模式時，直流模式或平面模式成為最佳預(yù)測模式，該事件記為 A，對應(yīng)發(fā)生概率為 P(A)；

(2)當(dāng)備選模式列表中第一個模式屬于最可能的模型時，該模式成為最佳模式的事件記為B，對應(yīng)發(fā)生概率為 P(B)；

(3)當(dāng)備選模式列表中第一個模式為上述兩種類型之外的模式時，該模式成為最佳預(yù)測模式的事件為 C，對應(yīng)發(fā)生概率為 P(C)。

對不同視頻序列編碼測試的實(shí)驗(yàn)結(jié)果如表 2所示，可以發(fā)現(xiàn) P(A)平均為 81.87%，P(B)平均為 76.78%，而 P(C)平均只有 30.72%。明顯地，當(dāng)備選模式列表中第一個模式是直流模式或平面模式、最可能的模型時，該模式成為最佳預(yù)測模式的概率遠(yuǎn)大于第一個模式屬于其他模式時的概率。這是因?yàn)?，?dāng)?shù)谝粋€模式屬于直流模式或平面模式時，說明當(dāng)前預(yù)測塊相對平滑，而直流模式和平面模式兩種模式對平滑區(qū)域的預(yù)測效果更好，因此最終選擇直流模式或平面模式的概率較大。由于視頻具有較強(qiáng)的空間相關(guān)性，因此，第一個模式屬于最可能的模型時，說明當(dāng)前預(yù)測塊選擇的預(yù)測模式跟周圍塊選擇的最佳預(yù)測模式相同的可能性很大。

表 2 備選列表中第一個模式屬于不同類型時對應(yīng)的命中率Table 2. Hit rate of the first mode in candidate list

基于以上分析，本文針對不同的情況分別定義了兩種預(yù)測方案：

方案 1：當(dāng)備選模式列表中第一位的模式屬于最可能的模型時，直接使用備選模式列表中前兩個模式作為最佳預(yù)測模式。

方案 2：當(dāng)備選模式列表中第一個模式為直流模式或平面模式時，若預(yù)測單元大于等于 16，則直接使用直流模式和平面模式作為最佳預(yù)測模式，若預(yù)測單元尺寸小于等于 8 時，則選擇直流模式，平面模式和第二個備選模式作為最佳預(yù)測模式。

圖 6 方案 1 的命中率Fig. 6. Hit rate of scheme 1

圖 7 方案 2 的命中率Fig.7. Hit rate of scheme 2

為了測試兩個方案的命中率，我們對不同的測試序列進(jìn)行了編碼實(shí)驗(yàn)，方案 1 的命中率如圖 6所示，圖中不同的柱狀體分別表示不同序列和不同的預(yù)測尺寸。由圖 6 可以發(fā)現(xiàn)方案 1 的概率平均為 88%，并且不同的預(yù)測單元間這個值變化不大。因此當(dāng)備選模式列表中第一個模式屬于最可能的模型時，備選模式列表僅保留前兩種模式。對于方案 2 該方法的命中率如圖 7 所示，平均命中率為 86%。通過編碼實(shí)驗(yàn)可說明方案 1 和 2 的具有較高的準(zhǔn)確率，而且適用于不同測試序列。

最后，對于方案 1 和 2 不適用的情況，即當(dāng)備選模式列表中第一個模式為其他模式時，則采用 HEVC 標(biāo)準(zhǔn)中原始的方法處理。

圖 8 本文算法流程圖Fig. 8. Flowchart of the proposed algorithm

根據(jù)上述分析，本文的算法流程如圖 8 所示。具體流程說明如下：

(1)開始編碼某一編碼單元和預(yù)測單元；

(2)執(zhí)行粗略模式判定，并將最可能的模型中不包含在備選模式列表中的模式添加到其中，得到最初的備選模式列表；

(3)判斷初步備選模式列表中的第一個備選模式是否屬于最可能的模型，若否，備選模式中保留前兩個備選模式，并轉(zhuǎn)至步驟(6)；否則轉(zhuǎn)至步驟(4)；

(4)判斷第一個備選模式是否屬于直流模式或者平面模式，若否，備選模式不變，并轉(zhuǎn)至步驟(6)，否則轉(zhuǎn)至步驟(5)；

(5)判斷預(yù)測塊尺寸是否小于 16×16，若是，備選模式列表中保留直流模式、平面模式和第二個備選模式；否則列表中保留直流模式和平面模式模式；

(6)對備選模式列表中的每個模式執(zhí)行率失真優(yōu)化，選擇具有最小代價的模式作為最佳預(yù)測模式。判斷編碼樹單元中是否有下一個編碼單元和預(yù)測單元，若是轉(zhuǎn)至步驟(2)，否則結(jié)束編碼樹單元的編碼。

步驟(3)至(5)為備選列表重建過程。本方法根據(jù)粗略模式判定后備選模式列表中不同位置的模式成為最佳預(yù)測模式的概率差異以及第一個備選模式成為最佳預(yù)測模式的概率差異重建備選模式列表，減少執(zhí)行率失真優(yōu)化的幀內(nèi)預(yù)測模式數(shù)目。因此，該方法在保證編碼后視頻質(zhì)量的前提下，能較好地去除了編碼過程中的冗余。

5 實(shí)驗(yàn)與分析

為了評價提出算法的性能，本文在 HEVC 參考軟件 HM8.0[15]上實(shí)現(xiàn)相應(yīng)的算法。測試平臺的配置如下：處理器 AMD Athlon(tm)ⅡX2 B24，主頻 2.99 GHz，內(nèi)存 2.00 G。在兩種標(biāo)準(zhǔn)測試條件(Standard Test Conditions，STC)下測試本文提出的算法：全幀內(nèi)幀—高效檔次(記為STC1)，全幀內(nèi)幀—主檔次 (記為STC2)，并且規(guī)定最大的編碼單元寬度和高度都是 64，最大的編碼單元深度為 4，這就意味著最小的編碼單元大小為8×8。為了證明本文提出算法的有效性，與 Zhang等[13]提出的算法進(jìn)行了比較。在測試過程中本文測試了 HEVC 標(biāo)準(zhǔn)[14]中規(guī)定的測試序列 Class A～Class E 中所有的視頻序列，每個 Class 的每個測試序列需要測試 4 個量化參數(shù)：22、27、32、37，每個序列每個量化參數(shù)編碼幀數(shù)為 100 幀。實(shí)驗(yàn)結(jié)果如表 3 所示，同時使用 Bj?ntegaard 平均差異峰值信噪比 BDPSNR(dB)、Bj?ntegaard平均差異碼率BDBR(%)[16]以及節(jié)約時間(TS)(%)評價提出算法的性能，其中 BDPSNR 為正值表示質(zhì)量提高，負(fù)值表示質(zhì)量降低；BDBR 為正值表示標(biāo)準(zhǔn)碼率增加，負(fù)值表示碼率減少；節(jié)約時間的定義如公式(2)所示：

表 3 在 STC1 下的測試結(jié)果Table 3. Comparative results of performance within STC1

表 4 在 STC2 下的測試結(jié)果Table 4. Comparative results of performance within STC2

由表 3 可以發(fā)現(xiàn)，在 STC1 條件下，Zhang等[13]算法對 Class A～Class E 編碼后 BDPSNR 平均值為 —0.02 dB，BDBR 平均值為 0.33%，節(jié)約時間的平均值為 19.63%。而本文提出算法對 Class A～Class E 編碼后 BDPSNR 平均值為 —0.01 dB，BDBR 平均值為 0.20%，節(jié)約時間的平均值為24.50%。由此可看出，與 Zhang 等[13]算法相比，本文算法質(zhì)量降低更少和碼率增加更少，即編碼性能略好，同時進(jìn)一步節(jié)省編碼時間約 5%。同樣，從表 4 可以發(fā)現(xiàn)，在 STC2 條件下，本文提出算法與 Zhang 等[13]提出的算法相比，在編碼性能更佳的前提下，編碼時間進(jìn)一步節(jié)約 5% 左右。

綜上可知，本文提出算法與原始的 HM8.0相比，在編碼性能基本不變的條件下，幀內(nèi)編碼時間平均節(jié)約 24.50%。同時，本文提出算法與Zhang 等[13]提出的算法相比，在編碼性能更佳的前提下，編碼時間節(jié)約 5% 左右。這就意味著本文提出的算法在編碼后視頻的質(zhì)量基本提高條件下，進(jìn)一步節(jié)省了視頻編碼所需時間。

6 結(jié)論與展望

本文提出了一種基于模式預(yù)測的低復(fù)雜度高清視頻幀內(nèi)編碼方法。該算法利用粗略模式判定獲得的備選模式列表中不同位置的模式成為最佳預(yù)測模式的概率差異以及同一位置不同模式成為最佳模式的概率差異快速重新確定執(zhí)行率失真優(yōu)化的模式數(shù)目，有效地降低了幀內(nèi)預(yù)測的復(fù)雜度，提高了 HEVC 的編碼性能。實(shí)驗(yàn)結(jié)果表明，本文提出的方法在保證率失真性能與HM8.0 編碼的性能基本一致的條件下，幀內(nèi)編碼時間平均節(jié)省 24.50%，降低了幀內(nèi)預(yù)測編碼的復(fù)雜度。

本文方法主要針對幀內(nèi)編碼的預(yù)測模式層進(jìn)行優(yōu)化，可以通過編碼單元層、變換層相結(jié)合進(jìn)一步提升優(yōu)化效率；同時，幀間的編碼樹單元的修剪也是非常重要的優(yōu)化方向；另外并行化處理是高清與超高清視頻編碼優(yōu)化的又一重要方向。

[1] ISO/IEC14496-10. H.264: Advanced video coding for generic audiovisual services [S]. 2013.

[2] Sullivan GJ, Ohm JR. Recent developments in standardizationof high efficiency video coding (HEVC) [C] // Proceedings of SPIE 7798, Applications of Digital Image Processing XXXIII, 2010: 77980V.

[3] 朱秀昌, 李欣, 陳杰. 新一代視頻編碼標(biāo)準(zhǔn)——HEVC [J]. 南京郵電大學(xué)學(xué)報(自然科學(xué)版), 2013, 33(3): 1-11.

[4] Piao Y, Min J, Chen J. Unified directional intra prediction in tmuC [R]. JCTVC-C207, CN:ISO/IEC and ITU-T, 2010.

[5] 陳相濤, 何小海, 鐘國韻, 等. 一種自適應(yīng) HEVC視頻編碼行列變換跳過模式 [J]. 四川大學(xué)學(xué)報(工程科學(xué)版), 2012, 44(1): 208-212.

[6] Cann KM, Han WJ, Kim IK. Samsung’s response to the call for proposals on video compression technology [R]. JCTVC-A124, DE: ISO/IEC and ITU-T, 2010.

[7] Li X, An J, Guo X, et al. Adaptive CU depth range [R]. JCTVC-E090, CH:ISO/IEC and ITU-T, 2011.

[8] Shen L, Liu Z. Zhang X, et al. An effective CU size decision method for HEVC encoders [J]. IEEE Transactions on Multimedia, 2013, 15(2): 465-470.

[9] Leng J, Sun L, Ikenkga T, et al. Content based hierarchical fast coding unit decision algorithm for HEVC [C] // International Conference on Multimedia and Signal Proceesing, 2011: 56-59.

[10] 蔣潔, 郭寶龍, 莫瑋, 等. 利用平滑區(qū)域檢測的HEVC 幀內(nèi)編碼快速算法 [J]. 西安電子科技大學(xué)學(xué)報(自然科學(xué)版), 2013, 40(3): 194-200.

[11] Zhao L, Zhang L, Zhao X, et al. Further Encoder Improvement of intra mode decision [R]. JCTVC-D283, KR: ISO/IEC and ITU-T, 2011.

[12] Jiang W, Ma H, Chen Y. Gradient based fast mode decision algorithm for intra prediction in HEVC [C] // International Conference on Consumer Electronics, Communications and Networks, 2012: 1836-1840.

[13] Zhang M, Zhao C, Xu J. An adaptive fast intra mode decision in HEVC [C] // IEEE International Conference on Image Processing, 2012: 221-224.

[14] Bossen F. Common test conditions and software reference configurations [R]. JCTVC-J1100, SE:ISO/IEC and ITU-T, 2012.

[15] HEVC Reference Software HM8.0 [OL]. https:// hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/ tags/HM-8.0/.

[16] Bj?ntegaard G. Calculation of average PSNR differences between RD-curves [R]. VCEG-M33, TX: ITU-T SG16 Q.6, 2001.

Low Complexity High Definition Intra-coding Based on Mode Prediction

ZHANG Guanjun ZHU Linwei ZHANG Yun

( Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen 518055, China )

In order to solve the huge data problem for high resolution or ultra-high resolution video, the International Organization for Standardization in video coding has been developing the most advanced video compression standard - High Efficiency Video Coding (HEVC), namely H.265. As an important part of this standard, the complexity and performance of intra-coding will seriously affect the compression complexity and performance of the standard. To reduce the complexity of HEVC intra-coding, an algorithm of re-determining the candidate mode list was presented is this paper. In the proposed algorithm, according to the different modes of the first index in candidate mode list, an adaptive method was utilized to determine which mode will be kept in candidate mode list, then the number of modes which are needed to perform rate distortion optimization was reduced. Experimental results show that, compared with original HM8.0, the proposed algorithm saves 24.50% on average in time for intra-coding with the same compression performance. The proposed algorithm can be combined with other level of fast coding optimization to further reduce the complexity.

high efficiency video coding; candidate mode list; rate distortion optimization; coding tree unit; rough mode decision

TN 911

A

2013-12-23

張冠軍，碩士，研究方向?yàn)橐曨l編碼與處理；朱林衛(wèi)，碩士，研究助理，研究方向?yàn)橐曨l信號處理、三維視頻和機(jī)器學(xué)習(xí)；張?jiān)?通訊作者)，副研究員，博士，研究方向?yàn)槎嗝襟w信號處理與通信、視頻編碼和計(jì)算機(jī)視覺，E-mail：yun.zhang@siat.ac.cn。