基于圖像亮度差加權(quán)估算的視頻碼率控制算法

胡偉剛，豐洪才，龔 永，張 赤，金 凱

(1.武漢工業(yè)學(xué)院數(shù)學(xué)與計(jì)算機(jī)學(xué)院，湖北 武漢 430023;2.北部灣職業(yè)技術(shù)學(xué)校機(jī)電學(xué)部，廣西 欽州 535000;3.武漢工業(yè)學(xué)院網(wǎng)絡(luò)中心，湖北 武漢 430023)

碼率控制(rate control，RC)作為視頻編碼的重要組成部分，其主要任務(wù)在于有效地控制視頻編碼器的輸出碼流，以便在解碼端盡可能獲得最優(yōu)的視頻解碼質(zhì)量，因此視頻碼率控制一直是視頻編碼中的研究熱點(diǎn)。國(guó)內(nèi)外專家提出了許多相應(yīng)的碼率控制方案，其中比較經(jīng)典的方案有MPEG-2的TM5、MPEG-4的 VM8和 H.263的TMN8算法等。

H.264是目前使用最普遍的視頻編碼國(guó)際標(biāo)準(zhǔn)，與以前的視頻壓縮標(biāo)準(zhǔn)相比，H.264標(biāo)準(zhǔn)可以實(shí)現(xiàn)高質(zhì)量、低比特率的編碼。相對(duì)應(yīng)的碼率控制方案有 JVT-F086 和 JVT-G012[1]等，其中JVT-F086是在TM5算法基礎(chǔ)上改進(jìn)得來(lái)，JVT-G012在H.264碼率控制方面效果非常理想。然而JVT-G012的不足之處在于當(dāng)視頻序列快速運(yùn)動(dòng)或場(chǎng)景變換時(shí)，各幀之間的平均絕對(duì)誤差(mean absolute difference，MAD)波動(dòng)很大，G012采用線性MAD預(yù)測(cè)模型所得到的MAD與實(shí)際值相差很大，在不規(guī)則幀數(shù)據(jù)參與預(yù)測(cè)模型的參數(shù)更新后，會(huì)引起該模型的失效;此外該算法在處理P幀的基本單元比特分配時(shí)，平均分配給所有未編碼的基本單元，而沒(méi)有考慮到各個(gè)基本單元復(fù)雜度的大小，容易造成幀內(nèi)圖像的波動(dòng)。KIM等[2]采用幀復(fù)雜度來(lái)預(yù)測(cè)MAD，使得每幀的比特分配與幀率和幀復(fù)雜度有關(guān);侯晨娟等[3]通過(guò)相鄰宏塊的相關(guān)性預(yù)測(cè)的方法來(lái)預(yù)測(cè)MAD;實(shí)驗(yàn)表明，他們的方法都在預(yù)測(cè)精度方面取得很好的效果，但是都是靠一定的算法復(fù)雜度來(lái)?yè)Q得的。袁武等[4]采用線性模型和二次模型的位比特分配方案，改進(jìn)了率失真建模的有效性。當(dāng)圖像內(nèi)容變換較大時(shí)，G012算法的分配方案會(huì)導(dǎo)致估算的目標(biāo)比特?cái)?shù)與實(shí)際輸出之間誤差很大，甚至使圖像質(zhì)量發(fā)生劇烈波動(dòng)，相鄰兩幀圖像之間的劇烈波動(dòng)會(huì)嚴(yán)重影響視頻的主觀質(zhì)量[5]。為了有效解決這個(gè)問(wèn)題，筆者提出了基于亮度梯度加權(quán)的碼率控制算法，較好地解決了由于圖像劇烈波動(dòng)而造成的視頻編解碼質(zhì)量下降的問(wèn)題。

1 JVT-G012算法及改進(jìn)

1.1 傳統(tǒng)的G012算法

G012標(biāo)準(zhǔn)中，碼率控制方案將視頻分成3層，即GOP(group of pictures)層、幀層和BU層。

由于H.264標(biāo)準(zhǔn)草案中編碼碼流及解碼方法占據(jù)了主要地位，因此對(duì)碼率控制并沒(méi)有很好地研究。在H.264中，將QP同時(shí)用于碼率控制算法和率失真優(yōu)化(rate-distortion optimization，RDO)[6]，如圖1 所示。

圖1 宏塊級(jí)編碼流程圖

從圖1可以看出，當(dāng)要執(zhí)行碼率控制時(shí)，為了對(duì)當(dāng)前宏塊進(jìn)行RDO，必須先得到其QP值，而宏塊的QP需要當(dāng)前宏塊的MAD值才能求出，然而當(dāng)前宏塊的MAD只能通過(guò)對(duì)當(dāng)前宏塊RDO后才能得出，這就形成了典型的蛋雞悖論。

G012算法采用預(yù)測(cè)MAD值的方法來(lái)解決上述問(wèn)題，它利用一個(gè)線性模型來(lái)預(yù)測(cè)當(dāng)前幀中基本單元的MAD值，其參考量是前一幀中對(duì)應(yīng)位置基本單元的MAD值。假設(shè)當(dāng)前幀基本單元的MAD值為MADcb，而前一幀中相應(yīng)位置基本單元的MAD值為MADpb，那么該線性預(yù)測(cè)模型可表示如下:

其中:a1和a2為該預(yù)測(cè)模型中的兩個(gè)參數(shù)，其初始值分別設(shè)為1和0，當(dāng)每個(gè)基本單元的編碼結(jié)束后，a1和a2的值也會(huì)得到相應(yīng)的更新。

根據(jù)基本單元的概念和基于MAD的線性預(yù)測(cè)模型，G012算法的具體步驟如下:

(1)計(jì)算當(dāng)前幀的目標(biāo)位數(shù);

(2)平均分配剩余位數(shù)給當(dāng)前幀中未編碼的基本單元;

(3)根據(jù)前一幀參考位置基本單元的實(shí)際MAD值，利用基于MAD值的線性預(yù)測(cè)模型預(yù)測(cè)當(dāng)前幀中當(dāng)前基本單元的MAD值;

(4)利用二元R-D模型[7-8]計(jì)算相應(yīng)的參數(shù)值;

(5)利用從步驟(4)得出的參數(shù)值，實(shí)現(xiàn)當(dāng)前基本單元中每個(gè)宏塊(macro block，MB)的RDO[9-10]。

1.2 MAD預(yù)測(cè)模型的改進(jìn)

由于G012碼率控制算法中的MAD預(yù)測(cè)方案在處理一些場(chǎng)景變化較快的視頻序列時(shí)，預(yù)測(cè)得到的MAD與實(shí)際MAD值相差很大，筆者提出一種基于圖像亮度差的加權(quán)預(yù)算方法，基本思路是首先計(jì)算當(dāng)前編碼幀與前一幀的亮度梯度值作為權(quán)值，然后通過(guò)式(2)共同預(yù)測(cè)MAD值:

式中:ρ為當(dāng)前GOP中第i個(gè)P幀第j個(gè)BU第k個(gè)宏塊與前一幀相同位置宏塊的亮度梯度值;y(i，j，k)為當(dāng)前位置的亮度值;MADcbnews為當(dāng)前基本單元的MAD值;MADpbnews為前一幀相應(yīng)位置的MAD值;Nmbunit的定義將于下文詳述。其中ρ體現(xiàn)了當(dāng)前BU層在相鄰兩幀間的亮度變化程度，變化越大，說(shuō)明幀間的差異越大。

2 基于PSNR的BU層分配算法

假設(shè)一幀圖像由Nmbpic個(gè)宏塊組成，一個(gè)基本單元是一組連續(xù)的 Nmbunit個(gè)宏塊，其中 Nmbunit是Nmbpic的一部分，一幀中基本單元的總數(shù)為Nunit，于是有:

基本單元可以是一個(gè)宏塊，一片(slice)，一場(chǎng)(field)或一幀。例如:考慮一個(gè)QCIF大小的視頻序列，Nmbpic為99，由圖像結(jié)構(gòu)可知，Nmbunit可以為1，3，9，11，33 或 99，則對(duì)應(yīng)的 Nunit分別為 99，33，11，9，3 或 1。

由于G012算法在分配基本單元比特?cái)?shù)時(shí)，采用了平均分配的方法，沒(méi)有考慮到圖像間的復(fù)雜度。由此筆者提出一種基于前一幀的峰值信噪比(peak signal to noise ratio，PSNR)分配方法。將PSNR作為衡量圖像復(fù)雜度的一個(gè)參數(shù)，利用前一幀中各基本單元的PSNR值，估算當(dāng)前幀各個(gè)基本單元的復(fù)雜度，再對(duì)當(dāng)前幀相對(duì)應(yīng)的基本單元分配比特?cái)?shù)，具體算法描述如下:

(1)通過(guò)式(5)計(jì)算當(dāng)前編碼幀的前一幀圖像的平均峰值信噪比PSNRav，其中PSNRki-1為第i-1幀第k個(gè)基本單元的PSNR值;

(2)通過(guò)式(6)計(jì)算 αi-1。αi-1為第 i-1幀圖像內(nèi)基本單元PSNR的一個(gè)波動(dòng)系數(shù)，為第i-1幀第k個(gè)基本單元的PSNR值，即:

(3)計(jì)算各個(gè)基本單元所分配的比特?cái)?shù)，根據(jù)步驟(1)所計(jì)算出的PSNRav值，計(jì)算當(dāng)前基本單元所分配的比特?cái)?shù)。當(dāng)時(shí)，第k個(gè)基本單元就按照公式來(lái)分配比特?cái)?shù);當(dāng)時(shí)，第 k個(gè)基本單元就按照公式來(lái)分配比特?cái)?shù);當(dāng)時(shí)，第 k個(gè)基本單元就按照公式來(lái)分配比特?cái)?shù)，其中為當(dāng)前幀第k個(gè)基本單元分配的比特?cái)?shù)。

結(jié)合亮度梯度加權(quán)預(yù)測(cè)MAD值以及基于PSNR的BU層比特分配方案，改進(jìn)的碼率控制流程如圖2所示。

圖2 幀級(jí)碼率控制流程

3 實(shí)驗(yàn)結(jié)果及分析

在JVT的校驗(yàn)?zāi)Ｐ蚃M86上實(shí)現(xiàn)筆者提出的算法，并且與標(biāo)準(zhǔn)提案中的G012的碼率控制算法進(jìn)行對(duì)比。測(cè)試序列分別為視頻場(chǎng)景變化速度不同的FOOTBALL和bridge-close的標(biāo)準(zhǔn)QCIF視頻序列，序列結(jié)構(gòu)為IPPP…，共編碼100幀，幀率為30幀/s。FOOTBALL序列是一場(chǎng)球賽場(chǎng)面，場(chǎng)景變化比較快;bridge-close是對(duì)一座橋的描述場(chǎng)景，圖像變化相對(duì)比較慢。筆者的算法與G012算法對(duì)比測(cè)試結(jié)果如表1所示。

表1 兩種算法的測(cè)試結(jié)果

由表1測(cè)試結(jié)果可以看出，筆者算法對(duì)視頻序列編碼得到的平均PSNR比G012算法在Y、U、V分量上分別高出 2.16、1.50、1.40(FOOTBALL視頻序列)、0.89、0.61、0.86(bridge-close 視頻序列)。對(duì)bridge-close視頻序列進(jìn)行編碼得到的平均PSNR比G012算法編碼得到的高出0.79，而在場(chǎng)景變化較快的FOOTBALL視頻序列中要高出1.69。PSNR作為評(píng)判視頻客觀質(zhì)量的主要標(biāo)準(zhǔn)之一，從實(shí)驗(yàn)數(shù)據(jù)可以發(fā)現(xiàn)，使用筆者算法對(duì)視頻進(jìn)行編碼碼率控制，相比G012算法，可以獲取到更好的視頻質(zhì)量。同時(shí)在測(cè)試序列中隨機(jī)選取9幀編碼數(shù)據(jù)進(jìn)行對(duì)比分析(如圖3所示)，可以看出，筆者算法編碼得到的PSNR普遍比G012算法要高，并且G012算法在場(chǎng)景變化較快的FOOTBALL視頻序列中得到的PSNR波動(dòng)較大，容易造成視頻的劇烈波動(dòng)，因此應(yīng)用筆者算法在對(duì)場(chǎng)景變化較快的視頻序列進(jìn)行編碼碼率控制時(shí)，優(yōu)勢(shì)尤為突出。

圖3 編碼結(jié)果對(duì)比

4 結(jié)論

通過(guò)分析標(biāo)準(zhǔn)的 G012碼率控制算法，對(duì)MAD線性預(yù)測(cè)模型進(jìn)行改進(jìn)，筆者設(shè)計(jì)了一種基于亮度的加權(quán)預(yù)測(cè)模型，充分利用了圖像序列的時(shí)空相關(guān)性，提高了預(yù)測(cè)精度;在分配基本單元層比特?cái)?shù)方面，提出了一種基于前一幀PSNR的分配方案，有效地避免了由于幀內(nèi)圖像復(fù)雜度不均引起的圖像波動(dòng)。由測(cè)試結(jié)果可以看出，在視頻結(jié)構(gòu)復(fù)雜以及快速變化時(shí)，改進(jìn)算法的平均PSNR均大于G012算法，另外BU層的比特分配應(yīng)用了筆者的算法后，編碼后的PSNR值相比G012算法更高。

[1] LI Z G，PAN F，LIM K P，et al.Adaptive basic unit layer rate control for JVT，JVT-GOl2[C]//7thJVT Meeting，Pattaya II JVT-GOl2.Thailand:[s.n.]，2003:7-14.

[2] KIM M J，HONG M C.Adaptive rate control in frame-layer for real-time H.264/AVC[C]//Proceedings of APCC.[S.l.]:[s.n.]，2008:1-5.

[3] 侯晨娟，何小海.優(yōu)化的H.264/AVC碼率控制算法[J].計(jì)算機(jī)工程與應(yīng)用，2009，45(24):159-161.

[4] 袁武，林守勛，牛振東，等.H.264.AVC碼率控制優(yōu)化算法[J].計(jì)算機(jī)學(xué)報(bào)，2008，31(2):329-339.

[5] 楊曉琴，季曉勇.基于H.264的碼率控制[J].計(jì)算機(jī)工程與應(yīng)用，2011，47(13):186-187.

[6] MOSES Y，ULLMAN S.Limitation of non-modelbase recognition schemes[C]//Proe ECCV-92.[S.l.]:Springer-Verlag，1992:820-828.

[7] LEE H J，CHIANG T H，CHANG Y Q.Scalable rate control for MPEG-4 video[J].IEEE Trans Circuit Syst Video Technology，2000(10):878-894.

[8] VETRO A，SUN H，WANG Y.MPEG-4 rate control for multiple video objects[J].IEEE Trans Circuit Syst Video Technology，1999(9):186-199.

[9] 馬宏興，張伶.H.264/AVC率失真優(yōu)化技術(shù)綜述[J].數(shù)字視頻，2010，34(6):19-22.

[10] 葛晛晛，王宇.H.264/AVC率失真優(yōu)化(RDO)策略研究[J].無(wú)線通信技術(shù)，2006，15(2):14-17.