H.264 High Profile的幀內(nèi)預(yù)測模式快速判決算法研究

靳梔艷，高志勇，張小云，張 婭

（上海交通大學(xué)，上海 200240）

1 .H.264/AVC簡介

H.264/AVC標準自提出以來，由于其卓越的性能受到了極大的關(guān)注。跟之前編碼標準相比，H.264幀內(nèi)預(yù)測支持多種塊大小、多種模式，極大限度地利用編碼宏塊與其相鄰宏塊之間的空間相關(guān)性，來提高編碼效率。

H.264幀內(nèi)預(yù)測支持多種塊大小:H.264 Baseline支持16×16和4×4共2種塊大小，H.264 High Profile支持16×16、8×8和4×4共3種塊大小。其中，Intra16×16支持4種模式，Intra8×8和Intra4×4則支持高達9種模式，如圖1所示。

圖1 多種塊大小的幀內(nèi)預(yù)測模式

H.264采用拉格朗日算子計算所有預(yù)測模式的拉格朗日代價，取最小代價值對應(yīng)的模式為最優(yōu)模式，這種算法也稱為窮盡搜索算法。拉格朗日RDO代價函數(shù)定義為

其中，mode∈{Intra16×16的4種模式、Intra8×8的9種模式、Intra4×4的9種模式};QP是量化參數(shù);λmode是拉格朗日算子;SSD代表原始亮度塊和預(yù)測塊的差值的平方和;R代表用于編碼指定模式、宏塊頭和殘差信息所需的總比特。

由于窮盡搜索估計比特數(shù)時，要對每1種模式都進行變換量化反變換反量化并進行編碼，計算復(fù)雜度相當高，因此JM參考軟件也支持另1種快速計算的代價計算函數(shù)

其中，SATD代表對原始亮度塊和預(yù)測塊的差值進行Hadamard變換后的絕對和，當前模式等于最可能模式時，P=0;否則，P=1。

2 幀內(nèi)預(yù)測模式判決研究現(xiàn)狀

由于RDO技術(shù)的高復(fù)雜性，近些年來，很多研究者們對H.264幀內(nèi)預(yù)測模式判決方面做出了研究。

幀內(nèi)預(yù)測模式判決可分為2個層次:塊大小的判別和預(yù)測模式的判別。窮盡搜索由于遍歷所有預(yù)測模式，確定模式后隨之也確定塊大小，所以并不嚴格區(qū)分塊大小的快速判別。然而研究顯示，通過宏塊信息可對宏塊的塊大小進行粗略判別，可極大地減少計算時間。由于1個宏塊可分為16個4×4塊，而每個4×4塊模式多達9種，復(fù)雜度極高，因此關(guān)于幀內(nèi)預(yù)測模式判別的文章也多集中于減少4×4塊的模式待選數(shù)上。

對于塊大小的判別，文獻［1］提出的方法是以宏塊的紋理復(fù)雜度即宏塊的方差作為依據(jù)，方差大的復(fù)雜度高，宏塊細節(jié)豐富，只判別Intra4×4和Intra8×8兩種塊大小;方差小的復(fù)雜度低，宏塊較為平坦，只判別Intra16×16和Intra 8×8兩種塊大小。文獻［2］利用Intra16×16的最小值SATD值作為判別Intra16×16或Intra4×4的依據(jù)。

對于預(yù)測模式的判別，已有許多文獻提出方法來降低H.264編碼器的計算復(fù)雜度?？偟恼f來，大體分為兩種:一種是改造RDO判別公式，Tseng等人［3］將RDO判別公式改造為為SATD和1個比特率估計之和，文獻［4］是利用SATD標準偏差信息來估計比特率;一種是減少進入RDO判決的待選模式個數(shù)，Pan等人［5］通過對每個像素使用sobel算子得到塊的方向直方圖信息來探測最可能方向，從而濾除不可能模式，A.C.Tsai等人［6］得到4×4塊9個方向中像素差值最小的3個模式加DC模式共4個模式進入RDO判決，文獻［7］利用SATD特征和圖像空間相關(guān)性提出一種快速預(yù)測算法，文獻［8］利用H.264幀內(nèi)模式判決統(tǒng)計特性，SATD與率失真的相關(guān)性減少預(yù)測模式。以上算法都在視頻的RDO性能影響不大的條件下提高時間30%～70%不等。

3 塊大小判別算法

文獻［2］中提出利用16×16的4種預(yù)測模式的最小SATD值作為判決宏塊復(fù)雜度的依據(jù)，認為宏塊細節(jié)平滑時，SATD16×16較小，更可能判決為16×16;反之宏塊細節(jié)豐富時，SATD16×16較大，更可能判決為4×4。然而該算法沒有考慮8×8塊大小，不適合High Profile，因此本文基于SATD16×16提出High Profile的快速塊大小判別算法。

為了發(fā)現(xiàn)塊大小分布與SATD16×16之間的關(guān)系，對foreman、akiyo、sunflower、parkrun4 個序列在不同 QP 時16 ×16，8×8，4×4這3種塊大小的發(fā)生概率進行了統(tǒng)計。圖2顯示了QP=28時foreman序列3種塊大小隨SATD16×16的分布規(guī)律。由圖2可見，當SATD16×16值很?。ㄐ∮陂撝礣 1）時，4×4概率很小，可能是16×16或8×8;大于閾值T 1小于閾值T 2時，3種塊大小都有可能;大于閾值T 2小于閾值T 3時，16×16概率很小，可能是8×8或4×4;大于閾值T 3時，只可能是4×4?；诖擞^察，可以設(shè)置若干閾值來排除可能性不大的塊大小。本文設(shè)置T 1為4×4概率為10%的臨界點，設(shè)置T 2為16×16概率為10%的臨界點，設(shè)置T 3為8×8概率為10%的臨界點。因為不同的QP值產(chǎn)生不同復(fù)雜度的圖像，可想而知，3個閾值會隨QP產(chǎn)生偏移，例如QP=24時，T 2設(shè)為2 000;QP=28時，T 2設(shè)為2 100;QP=32時，T 2設(shè)為2 200。

圖2 QP=28時16×16，8×8，4×4 3種塊大小的SATD概率曲線

通過對不同QP值的觀察，發(fā)現(xiàn)閾值與QP基本滿足線性關(guān)系f（x）=ax+b，利用MATLAB擬合得到

另外，從圖2 可見，當 SATD16×16很小時，如 QP=28，SATD16×16小于300時，雖然8×8發(fā)生的概率和16×16的概率相當，但是由于8×8傳輸預(yù)測模式的比特數(shù)可能比16×16大，只考慮16×16在不影響圖像質(zhì)量的情況下不僅可加快判決時間，而且可能減少比特數(shù)。因此可以在此設(shè)置閾值T，本文設(shè)為10 QP。

因此，提出的塊大小判決算法可概括為

4 預(yù)測模式判別算法

4.1 利用8×8模式判決產(chǎn)生的信息

經(jīng)觀察發(fā)現(xiàn)，當最可能模式同時是SATD值最小的模式時，最可能模式往往是RDO判決后的最佳模式;另外，由于High Profile增加8×8模式，8×8模式判決后再繼續(xù)4×4模式判決。每個8×8塊判決后會產(chǎn)生1個最佳模式，而該最佳模式在4×4模式判決時還可以加以利用。也就是說每個8×8塊分為4個4×4塊，當此8×8塊選擇某種最優(yōu)模式m并且該模式SATD值很小時，可認為該8×8塊分成的4個4×4塊都選用模式m?；谏鲜鏊枷耄ATD值前4個模式進入RDO判決，并且增加判決條件。

case 1:假如最可能模式同時是SATD最小的模式時，最可能模式即為最優(yōu)模式，不再進行RDO判決。

case 2:case 1不滿足的條件下，假如8×8判決后的最優(yōu)模式m的SATD值小于閾值T4（設(shè)為50）時，該8×8塊分成的4個4×4塊都選用模式m。流程圖如圖3所示。

圖3 預(yù)測模式選擇的流程圖

4.2 增加提前終止決策

幀內(nèi)預(yù)測依次計算16×16、4個8×8塊最優(yōu)模式的RDcost之和，16個4×4塊最優(yōu)模式的RDcost之和，再比較取最小RDcost值對應(yīng)的塊大小和模式。如果若干個8×8塊或4×4塊的 RDcost之和已經(jīng)大于16×16的最小RDcost，即可提前終止模式判決，不必進行下1個8×8塊或者4×4塊的模式判決。

5 實驗結(jié)果與分析

為驗證本文算法的性能，從峰值信噪比變化量（簡稱ΔPSNR）、比特率變化率（簡稱ΔBR）及時間變化率（簡稱ΔT）進行考察，分別定義如下。

ΔPSNR=提出算法的PSNR-JM未改進的PSNR（5）

分別驗證了提出的塊大小判決算法、4×4預(yù)測模式判決算法及聯(lián)合使用塊大小判決和4×4預(yù)測模式判決算法在參考軟件代碼JM13.0上的性能，所有算法都與JM未進行任何改進的RDO優(yōu)化性能進行比較。實驗環(huán)境如下:

1）2.93 GHz Intel core 2，1.99 Gbyte RAM;

2）QP 值分別設(shè)為 20，24，28，32;

3）RDO優(yōu)化打開，CABAC編碼;

4）選用4個標準序列:CIF格式的foreman序列，QCIF格式的akiyo序列，1 080p的sunflower序列和720p的park_run序列;

5）100幀全I幀。

圖4顯示了4個序列與JM13.0的RDO性能對比，從圖中可以看出，4個序列都與JM13.0的PSNR－比特率曲線基本吻合。

圖4 RDO的性能對比圖

表1顯示了4個序列在不同QP下的塊大小判決算法（block size）、預(yù)測模式判決算法（prediction mode）及聯(lián)合使用（combined）的 ΔPSNR，ΔBR，ΔT的具體數(shù)值。從block size一欄可以看到，PSNR平均降低0.01 dB，比特率平均增加0.37%，時間平均減少35%;從prediciton mode一欄可以看到，PSNR平均降低0.03 dB，比特率平均增加0.39%，時間平均減少51.6%;從combined一欄可以看到，PSNR平均降低0.04 dB，比特率平均增加0.63%，時間減少平均61.2%。

表1 4個序列在不同QP下的塊大小判決算法、預(yù)測模式判決算法及聯(lián)合使用的ΔPSNR，ΔBR，ΔT的具體數(shù)值

6 小結(jié)

本文提出了1種適合High Profile的基于SATD值的幀內(nèi)預(yù)測塊大小快速判別算法和預(yù)測模式判別算法:塊大小判別算法通過統(tǒng)計信息得到閾值，設(shè)定閾值可快速排除不可能的塊大小，從而節(jié)省計算時間;預(yù)測模式判別算法利用SATD值和最可能模式及8×8塊判決的最優(yōu)模式之間的關(guān)系，進行快速判決。實驗結(jié)果顯示:在塊大小判決可節(jié)省時間至44.4%，預(yù)測模式判別可節(jié)省時間至54.9%，聯(lián)合使用兩種算法可節(jié)省時間至64.40%，而PSNR－比特率性能影響很小（PSNR降低平均0.04 dB，比特率增加平均0.63%）。該算法簡單有效，不僅可以用于不同編碼標準中，也可用于轉(zhuǎn)碼系統(tǒng)中。

：

［1］HUANG Y H，OU T S.Fast decision of block size，prediction mode，and intra block for H.264 intra prediction［J］.Circuits and Systems for Video Technology，2010，20（8）:1122-1132.

［2］ZENG H，MA KK，CAI C.Hierarchical intra mode decision for H.264/AVC［J］.Circuits and Systems for Video Technology，2010，20（8）:907-912.

［3］TSENG C H，WANG H M，YANG J F.Enhanced intra-4×4 mode decision for H.264/AVC coders［J］.Circuits and Systems for Video Technology，2006，16（8）:1027-1032.

［4］LEE Y M，SUN Y T，LIN Y.SATD-based intra mode decision for H.264/AVC video coding［J］.Circuits and Systems for Video Technology，2010，20（3）:463-469.

［5］PAN F，LIN X，RAHARDJA S，et al.Fast mode decision algorithm for intra prediction in H.264/AVC video coding［J］.Circuits and Systems for Video Technology，2005，15（7）:813-822.

［6］TSAI A C，PAUL A，WANG J C.Intensity gradient technique for efficient intra-prediction in H.264/AVC［J］.Circuits and Systems for Video Technology，2008，18（5）:694-698.

［7］劉代如，宋昊，李曉輝，等.H.264中的一種快速幀內(nèi)預(yù)測判決算法［J］.電視技術(shù)，2007，31（4）:10-11.

［8］王海勇，孫雁飛，吳啟宗，等.H.264編碼中幀內(nèi)預(yù)測算法研究［J］.電視技術(shù)，2009，33（8）:11-12.