對(duì)特定模式進(jìn)行預(yù)判的H.264 幀間快速編碼算法

劉鵬宇，何絮，賈克斌

(北京工業(yè)大學(xué) 電子信息與控制工程學(xué)院，北京100124)

H.264/AVC(以下簡(jiǎn)稱H.264)是由國際電信聯(lián)盟和國際標(biāo)準(zhǔn)化組織共同開發(fā)的新一代視頻壓縮標(biāo)準(zhǔn)，具有更高的壓縮效率。它采用了最新的視頻壓縮技術(shù)，如1/4 像素精度運(yùn)動(dòng)估計(jì)、多參考幀與多模式的幀間預(yù)測(cè)，去塊效應(yīng)濾波器等，因此具有眾多突出優(yōu)點(diǎn)［1］: 對(duì)信道時(shí)延的適應(yīng)性較強(qiáng)，既可工作于低時(shí)延模式，如會(huì)議電視，以滿足實(shí)時(shí)業(yè)務(wù); 又可工作于無時(shí)延限制的場(chǎng)合，如視頻存儲(chǔ)。在相同的重建圖象質(zhì)量下，不僅H.264 比H.263 +和MPEG-4 減小了約50%的碼率［2］，同時(shí)將編碼壓縮效率提高了1 倍。

H.264 采用遍歷的基于率失真代價(jià)最優(yōu)模式選擇算法，在獲得較高編碼效率的同時(shí)導(dǎo)致了編碼計(jì)算量的急劇增加，其計(jì)算復(fù)雜度約為H.263 的4～5倍，是MPEG-4 的3 倍［3］，如此高的復(fù)雜度使得H.264很難直接應(yīng)用于對(duì)實(shí)時(shí)性要求較高的場(chǎng)合。分析表明，在H.264 巨大的編碼計(jì)算量中，幀間模式選擇和運(yùn)動(dòng)估計(jì)約占據(jù)了編碼開銷的80%，因此對(duì)幀間預(yù)測(cè)編碼進(jìn)行優(yōu)化，尤其重要。如何在不損失圖像質(zhì)量、無碼率增加的前提下，優(yōu)化幀間預(yù)測(cè)算法，提高H.264 的編碼速度，已成為目前視頻編碼領(lǐng)域的重要研究方向之一。文獻(xiàn)［4］提出利用離散余弦變換系數(shù)計(jì)算該塊的能量，獲得宏塊的紋理復(fù)雜度并劃分模式選擇，優(yōu)化效果較好，但在變換域嵌入優(yōu)化編碼，會(huì)影響算法通用性，需重新設(shè)計(jì)解碼器;文獻(xiàn)［5］提出了基于低運(yùn)算復(fù)雜度視頻的幀間預(yù)測(cè)快速算法，編碼時(shí)間節(jié)省十分優(yōu)異，不過在應(yīng)用范圍上還可以做進(jìn)一步擴(kuò)展; 文獻(xiàn)［6］分析了選擇幀間各模式的域值和參數(shù)設(shè)定，但在幀內(nèi)模式判決方面還可以繼續(xù)改進(jìn)。本文針對(duì)H.264 幀間編碼的特點(diǎn)，在詳盡分析上述幀間預(yù)測(cè)編碼優(yōu)化算法的基礎(chǔ)上，根據(jù)幀間各預(yù)測(cè)模式的概率統(tǒng)計(jì)特性，對(duì)特定模式進(jìn)行預(yù)判以提前終止不必要的宏塊搜索和率失真代價(jià)計(jì)算，提出了新的基于特定模式選擇的幀間快速編碼算法，在有效降低幀間預(yù)測(cè)復(fù)雜度的同時(shí)，仍然能夠保持很好的圖像質(zhì)量和壓縮性能。

1 H.264 幀間預(yù)測(cè)模式選擇

1.1 H.264 幀間預(yù)測(cè)模式選擇方法概述

幀間預(yù)測(cè)是H.264 視頻壓縮的關(guān)鍵技術(shù)之一，通過利用己經(jīng)重建的參考幀對(duì)當(dāng)前幀進(jìn)行預(yù)測(cè)編碼，只對(duì)當(dāng)前塊與參考?jí)K的運(yùn)動(dòng)矢量以及相應(yīng)的運(yùn)動(dòng)補(bǔ)償殘差值進(jìn)行編碼，可以有效消除視頻編碼中的時(shí)間冗余，提高編碼效率。在H.264 視頻編碼標(biāo)準(zhǔn)中，幀間預(yù)測(cè)采用多模式運(yùn)動(dòng)估計(jì)，支持可變尺寸塊的宏塊分割和亞分割以及幀內(nèi)預(yù)測(cè)，共有7 種幀間編碼模式:

ModeP∈{ SKIP(mode0)，{ 16 × 16(mode1)，16 ×8 (mode2)，8 ×16(mode3)，8 ×8(mode4)}，{I16 MB，I4 MB}}

在選定8 × 8 模式的情況下，需要進(jìn)行8 ×4(mode5)，4 ×8(mode6)和4 ×4(mode7)3 種亞分割模式。

H.264 標(biāo)準(zhǔn)幀間預(yù)測(cè)編碼算法采用率失真優(yōu)化方法，通過遍歷計(jì)算所有幀間預(yù)測(cè)模式的絕對(duì)誤差和(SAD)，得到各模式的率失真代價(jià)值(RD cos t)，并根據(jù)率失真優(yōu)化準(zhǔn)則選擇最佳編碼模式。H.264使用拉格朗日率失真優(yōu)化策略，其目標(biāo)是在給定的碼率約束條件下使失真達(dá)到最小，通過率失真優(yōu)化(RDO)選擇RD cos t 值最小的模式作為最佳幀間預(yù)測(cè)模式進(jìn)行編碼。

式中:M，N 分別為宏塊的寬和高; s 為源視頻信號(hào);c 為解碼視頻信號(hào)。

式中:m =(mx，my)T為運(yùn)動(dòng)矢量; p =(px，py)T為預(yù)測(cè)的運(yùn)動(dòng)矢量;λMotion為拉格朗日運(yùn)動(dòng)模式乘數(shù)因子;R(m-p)為運(yùn)動(dòng)矢量差值所需的二進(jìn)制位數(shù)。

1.2 各種幀間預(yù)測(cè)編碼模式的統(tǒng)計(jì)特性

視頻圖像基本可以分為背景紋理平坦區(qū)域、背景紋理細(xì)致區(qū)域和運(yùn)動(dòng)區(qū)域3 大類: 通常背景紋理平坦區(qū)域在視頻內(nèi)容中占有很大比重［7］，對(duì)于這類平坦區(qū)域和運(yùn)動(dòng)平滑區(qū)域，大多采取SKIP 模式或者宏塊級(jí)編碼模式(mode1～mode3)進(jìn)行預(yù)測(cè);在運(yùn)動(dòng)復(fù)雜的情況下需要使用更多的編碼模式進(jìn)行預(yù)測(cè)，才會(huì)使用到亞分割預(yù)測(cè)模式(mode4～mode7);只有在視頻圖像的邊緣部分才會(huì)使用到幀內(nèi)預(yù)測(cè)模式(I16 MB，I4 MB)，因此其出現(xiàn)的幾率非常低。

以H.264 的JM10.2 測(cè)試模型為實(shí)驗(yàn)平臺(tái)，在1 G內(nèi)存，1.6 GHz 主頻的計(jì)算機(jī)上運(yùn)行，對(duì)標(biāo)準(zhǔn)視頻序列進(jìn)行測(cè)試，得到的幀間預(yù)測(cè)編碼中各種模式使用的統(tǒng)計(jì)結(jié)果如表1所示。

表1 幀間編碼中各種模式的統(tǒng)計(jì)概率分布Tab.1 Mode distribution in inter-frame encoding %

由表1可見，對(duì)于Akiyo、Silent 等背景平坦的視頻序列較多采用了宏塊級(jí)編碼模式，而Foreman、Football 等紋理細(xì)膩且運(yùn)動(dòng)劇烈的序列較多使用亞分割編碼模式;整體上宏塊級(jí)預(yù)測(cè)明顯多于亞分割預(yù)測(cè)，SKIP 模式平均所占比重約為50%，Inter16 ×16 模式也達(dá)到17.7%，幀內(nèi)預(yù)測(cè)模式只有1.2%.

上述實(shí)驗(yàn)結(jié)果和已有文獻(xiàn)［8］都表明，可以根據(jù)幀間預(yù)測(cè)模式統(tǒng)計(jì)特性進(jìn)行預(yù)先判決，分集篩選，以排除掉出現(xiàn)機(jī)率很小的編碼模式，提高編碼速度，大幅節(jié)省H.264 的編碼時(shí)間。

2 基于模式選擇的幀間快速算法

2.1 SKIP 模式的預(yù)判

SKIP 模式是指不經(jīng)過運(yùn)動(dòng)估計(jì)，可直接以參考幀中對(duì)應(yīng)位置的宏塊作為運(yùn)動(dòng)補(bǔ)償塊，其復(fù)雜度很小不包含運(yùn)動(dòng)信息，在通常的視頻序列中，相鄰圖像之間普遍存在著時(shí)間相關(guān)性，在變化緩慢的區(qū)域中SKIP 模式占有相當(dāng)大的比重。因此在對(duì)所有其它模式進(jìn)行遍歷前做出對(duì)SKIP 模式的預(yù)判，可以極大減少運(yùn)動(dòng)搜索以及計(jì)算率失真代價(jià)的開銷。

在H.264 標(biāo)準(zhǔn)中，被判決采用SKIP 模式的宏塊須同時(shí)滿足以下4 個(gè)條件: 運(yùn)動(dòng)補(bǔ)償?shù)淖罴押陦K劃分方法為16 ×16; 參考幀為當(dāng)前幀的前一幀; 運(yùn)動(dòng)搜索出的最佳運(yùn)動(dòng)向量和運(yùn)動(dòng)向量預(yù)測(cè)值完全一致;當(dāng)前宏塊與參考宏塊的殘差經(jīng)變換量化后系數(shù)全部為0.為了簡(jiǎn)化這一復(fù)雜的判定流程，在保證低誤判率的前提下，本文提出利用自適應(yīng)域值的方法來提前判定SKIP 模式:

1)計(jì)算SKIP 模式(mode0)的率失真代價(jià)值Jskip，如果小于域值T 則停止對(duì)其他模式的搜索，選定SKIP 作為最佳預(yù)測(cè)模式，否則執(zhí)行步驟2).

2)計(jì)算Inter 16 ×16 模式(mode1)的率失真代價(jià)值J16×16，如果J16×16＞Jskip，則仍選定SKIP 作為最佳編碼模式。

根據(jù)宏塊率失真代價(jià)的大小，設(shè)定相應(yīng)的調(diào)整系數(shù)，經(jīng)過實(shí)驗(yàn)數(shù)據(jù)的修正并本著簡(jiǎn)潔和自適應(yīng)的原則，域值T 設(shè)定為

式中Min_cos t 為前一個(gè)編碼宏塊的最優(yōu)率失真代價(jià)值。

2.2 Inter 16 ×16 模式的提前判決

如表1所示Inter 16 ×16 平均占所有編碼模式的17.7%，在不滿足選擇SKIP 模式的條件下，預(yù)判出是否選擇Inter 16 ×16 模式意義重大，具體步驟為:

1)計(jì)算Inter 16 ×16 模式和Inter 8 ×8 模式的率失真代價(jià)，即J16×16和J8×8.

2)若J8×8-J16×16＞T0，則選定Inter 16 ×16 模式作為最佳編碼模式。

這里T0=0.2Min_cos t，是根據(jù)實(shí)驗(yàn)數(shù)據(jù)得出的自適應(yīng)經(jīng)驗(yàn)域值，可以在保證快速判決模式的同時(shí)，盡量減少誤判率。

2.3 幀內(nèi)模式的提前判決

H.264 幀間編碼并不排斥幀內(nèi)模式，盡管幀內(nèi)模式被選定的比例很小，但對(duì)幀內(nèi)模式率失真代價(jià)計(jì)算開銷卻占到總遍歷編碼時(shí)間的20%.如果直接忽略幀內(nèi)預(yù)測(cè)，雖然可以大幅節(jié)省編碼時(shí)間，但會(huì)影響算法的適用范圍。本文提出了基于宏塊時(shí)空相關(guān)性的幀內(nèi)模式提前判決策略:

1)計(jì)算宏塊的平均邊緣誤差值(ABE)與邊緣誤差總和(SBE)，平均邊緣誤差值反映了宏塊的時(shí)間相關(guān)性;

式中:Yorig為當(dāng)前編碼宏塊的像素值; Yrec為重構(gòu)宏塊的像素值。

2)計(jì)算宏塊的平均比特率(AR)，平均比特率反映了宏塊的空間相關(guān)性

式中:λ 為拉格朗日乘數(shù)因; Rate 為宏塊編碼所需的比特?cái)?shù)。

3)比較宏塊的平均邊緣誤差和平均比特率，若ABE＜CAR (C =0.95)，則說明該宏塊的空域冗余小于時(shí)域冗余，可以提前中止對(duì)幀內(nèi)模式的遍歷。

經(jīng)過上述步驟的預(yù)處理，既可以節(jié)省因遍歷幀內(nèi)模式所帶來的巨大計(jì)算開銷，又不會(huì)因?yàn)閬G失對(duì)幀內(nèi)預(yù)測(cè)的計(jì)算而造成圖像質(zhì)量的損失。

2.4 幀間快速預(yù)測(cè)編碼算法步驟

在基于率失真代價(jià)的H.264 標(biāo)準(zhǔn)幀間預(yù)測(cè)算法的基礎(chǔ)上，結(jié)合上述SKIP，Inter 16 ×16 和幀內(nèi)模式提前判決策略和各幀間編碼模式統(tǒng)計(jì)特性，本文提出的快速算法流程如圖2所示。

1)計(jì)算SKIP 的率失真代價(jià)值(Jskip)，如果Jskip小于自適應(yīng)域值T，則直接跳轉(zhuǎn)至步驟8)，選擇SKIP 模式作為最佳預(yù)測(cè)模式。否則進(jìn)行步驟2).

2)計(jì)算幀間16 × 16 模式的率失真代價(jià)值(J16×16)，如果J16×16＞Jskip，則仍然選擇SKIP 模式作為最佳預(yù)測(cè)模式，跳轉(zhuǎn)至步驟8).否則進(jìn)行步驟3).

3)計(jì)算幀間8 × 8 模式的率失真代價(jià)值(J8×8)，如果J8×8與J16×16之差大于門限T0，則選定幀間16 ×16 模式作為最佳預(yù)測(cè)模式，跳轉(zhuǎn)至步驟8);否則進(jìn)行步驟4).

4)計(jì)算幀間4 × 4 模式的率失真代價(jià)值(J4×4)，如果J4×4同時(shí)小于J16×16和J8×8，則對(duì)該宏塊進(jìn)行亞分割，在小塊模式中選擇SAD 值最小的模式作為幀間備選模式。否則進(jìn)行步驟5).

5)忽略亞分割預(yù)測(cè)，計(jì)算16 ×8 和8 ×16 模式的率失真代價(jià)值，在大塊模式中比較，選擇SAD 值最小的模式作為幀間預(yù)測(cè)備選模式。

6)判斷是否需要進(jìn)行幀內(nèi)預(yù)測(cè)，如果不需要幀內(nèi)預(yù)測(cè)則選定幀間預(yù)測(cè)備選模式作為最佳預(yù)測(cè)模式，跳轉(zhuǎn)至步驟8);否則進(jìn)行步驟7).

7)計(jì)算幀內(nèi)4 ×4(JI4MB)和16 ×16(JI16MB)模式的率失真代價(jià)，如果幀內(nèi)的最小率失真代價(jià)小于幀間預(yù)測(cè)備選模式，則選擇幀內(nèi)作為最佳預(yù)測(cè)模式;否則將幀間備選模式作為最佳預(yù)測(cè)模式。

8)以最佳預(yù)測(cè)模式開始進(jìn)行幀間預(yù)測(cè)編碼。

整體幀間快速預(yù)測(cè)編碼算法的流程圖如圖1所示。

圖1 幀間快速預(yù)測(cè)編碼算法流程圖Fig.1 Flow chart of inter-frame prediction algorithm

3 仿真結(jié)果與分析

與表1實(shí)驗(yàn)條件相同，測(cè)試本文提出算法在編碼時(shí)間、輸出碼率和輸出圖像質(zhì)量三方面與H.264標(biāo)準(zhǔn)算法作比較，驗(yàn)證本算法的優(yōu)化效果。優(yōu)化效果計(jì)算公式分別記為:

編碼時(shí)間優(yōu)化效果ΔT% =(JM10.2 測(cè)試模型編碼時(shí)間-本算法編碼時(shí)間)/JM10.2 測(cè)試模型編碼時(shí)間。

碼率優(yōu)化效果ΔB% =(JM10.2 測(cè)試模型輸出碼率-本算法輸出碼率)/JM10.2 測(cè)試模型輸出碼率。

圖像質(zhì)量?jī)?yōu)化效果=ΔPSNR =JM10.2 測(cè)試模型輸出圖像質(zhì)量-本算法輸出圖像質(zhì)量。

測(cè)試標(biāo)準(zhǔn)視頻序列的前30 幀，序列結(jié)構(gòu)為IPPP，QP 值為30，實(shí)驗(yàn)結(jié)果如表2所示。

由表2可見，本文提出的快速算法在基本不影響輸出視頻圖像質(zhì)量的前提下，平均節(jié)省編碼時(shí)間69.59%，最高節(jié)省80.40%，優(yōu)化效果十分明顯，碼率平均減少0.54%.對(duì)于圖像運(yùn)動(dòng)平滑的視頻序列，如Claire、Container、Akiyo 等，節(jié)省編碼時(shí)間均超過75%，同時(shí)還可以降低碼率。編碼速度優(yōu)化效果明顯優(yōu)于文獻(xiàn)［6］，與文獻(xiàn)［4 -5］相比本文算法在通用性和適用范圍上有了提高。

圖2～圖5分析了以Claire、Foreman 為典型代表的運(yùn)動(dòng)平滑和紋理復(fù)雜的兩類視頻序列，由圖2和圖4可見，在不同的QP 條件下，本文算法的輸出碼率基本與標(biāo)準(zhǔn)算法相當(dāng)，很好的保持了H.264 低碼率這一突出優(yōu)勢(shì)。由圖3和圖5可見，在不同的QP 條件下，本文算法在編碼時(shí)間上明顯優(yōu)于標(biāo)準(zhǔn)算法，特別是對(duì)于平坦的視頻片斷，曲線平滑，優(yōu)化效果明顯而且穩(wěn)定。

表2 快速算法同H.264 標(biāo)準(zhǔn)算法的性能比較統(tǒng)計(jì)表Tab.2 Comparison of fast and standard algorithms of H.264

圖2 Claire 視頻序列碼率的優(yōu)化效果Fig.2 Optimization result in bit-rate of Claire

圖3 Claire 視頻序列編碼時(shí)間的優(yōu)化效果Fig.3 Optimization result in encoding time of Claire

圖4 Foreman 視頻序列碼率的優(yōu)化效果Fig.4 Optimization result in bit-rate of Foreman

圖5 Foreman 視頻序列編碼時(shí)間的優(yōu)化效果Fig.5 Optimization result in encoding time of Foreman

4 結(jié)論

本文提出了新的基于特定模式選擇的快速幀間編碼預(yù)測(cè)算法，通過對(duì)SKIP、Inter 16 ×16 和幀內(nèi)模式的預(yù)判以及對(duì)各幀間預(yù)測(cè)模式統(tǒng)計(jì)特性的分析，對(duì)H.264 幀間預(yù)測(cè)編碼算法進(jìn)行了優(yōu)化。實(shí)驗(yàn)仿真結(jié)果表明，本文提出的快速算法對(duì)具有不同運(yùn)動(dòng)復(fù)雜程度的視頻序列均具有理想的優(yōu)化效果，通用性良好。本文算法能夠很好地克服原H.264 標(biāo)準(zhǔn)算法實(shí)時(shí)性差的缺陷，在不影響圖像質(zhì)量和碼率，保持原輸出碼流結(jié)構(gòu)的前提下，大幅提高了編碼速率，尤其適用于會(huì)議電視、可視電話等實(shí)時(shí)應(yīng)用場(chǎng)合。

References)

［1］Luthra A，Sullivan G J，Wiegand T.Introduction to the special issue on the H.264/AVC video coding standard［J］.IEEE Transactions on Circuits and Systems for Video Technology，2003，13(7):557 -559.

［2］Sullivan G J，Wiegand T.Rate-distortion optimization for video compression［J］.IEEE Signal Processing Manazine，1998，15(6):74 -90.

［3］Lappalainen V，Hallapuro A，H?m?l?inen T D.Optimization of emerging H.26L video encoder［C］∥IEEE Workshop on Signal Processing Systems-Design and Implementation.Antwerp: Institute of Electrical and Electronics Engineers Inc，2001: 406 -415.

［4］Tian L，Zhou Y M，Sun S X.Optimal complexity prediction approach for H.264/AVC inter frame encoding［J］.Journal of Information and Computational Science，2010，7(4): 855 -862.

［5］Chien-Da Wu，Yinyi Lin.Efficient inter/intra mode decision for H.264/AVC inter frame transcoding［C］∥Proceedings of the 16th International Conference on Image Processing.Piscataway: IEEE，2009: 697 -700.

［6］Fan J L，Chen Y，Zhang X D.A novel fast inter mode decision for H.264［C］∥Processings of the 8th International Conference on Signal.Piscataway: IEEE，2006: 16 - 20.

［7］干宗良，齊麗娜，朱秀昌.H.264 中基于先驗(yàn)預(yù)測(cè)的幀間編碼模式選擇算法研究［J］.電子與信息學(xué)報(bào)，2006，28(10):1883 -1887.GAN Zong-liang，QI Li-na，ZHU Xiu-chang.Interframe video coding mode decision algorithm based on prior detection in H.264［J］.Journal of Electronics ＆ Information Technology，2006，28(10):1883 -1887.(in Chinese)

［8］藤國偉，張兆揚(yáng)，張一鈞，等.一種基于H.264/AVC 的幀間模式快速判決算法［J］.光電子·激光，2005，16(7): 866 -870.TENG Guo-wei，ZHANG Zhao-yang，ZHANG Yi-jun，et al.Fast mode decision algorithm in inter pictures based on H.264/AVC［J］.Journal of Optoelectronics·Laser，2005，16(7): 866 -870.(in Chinese)