碼率恒定小尺寸視頻流DCT編碼二次插值優(yōu)化

何志堅(jiān)，曹 沖，張立文，宋占偉

（吉林大學(xué) 電子科學(xué)與工程學(xué)院，長(zhǎng)春 130012）

碼率恒定小尺寸視頻流DCT編碼二次插值優(yōu)化

何志堅(jiān)，曹 沖，張立文，宋占偉

（吉林大學(xué) 電子科學(xué)與工程學(xué)院，長(zhǎng)春 130012）

為了在小尺寸屏幕上保持碼流恒定，以使視頻流清晰，在幀內(nèi)預(yù)測(cè)編碼的基礎(chǔ)上，提出了一種改進(jìn)的DCT（Discrete Cosine Transform）編碼二次插值優(yōu)化算法。該算法根據(jù)幀內(nèi)預(yù)測(cè)編碼的DCT變換機(jī)制，利用DCT編碼的二次插值可以使碼流恒定，小尺寸屏幕的塊效應(yīng)減弱，在保持視頻流速度穩(wěn)定的情況下，提高了圖像的清晰度。實(shí)驗(yàn)結(jié)果表明，傳統(tǒng)DCT變換在小尺寸屏幕的限制下，塊效應(yīng)明顯，而且編碼的復(fù)雜度較高，而DCT編碼二次插值明顯比傳統(tǒng)算法圖像清晰，而且保持了碼流的恒定。

DCT變換；幀內(nèi)預(yù)測(cè)編碼；二次插值

0 引 言

為了解決現(xiàn)階段中國(guó)用戶多，平均帶寬受限的移動(dòng)通信瓶頸問(wèn)題，視頻壓縮編碼成了現(xiàn)在最熱門(mén)的流媒體研究方法之一，H.264、MPEG4、H.264／AVC憑借高效的壓縮編碼性能，已經(jīng)在高清電視、存儲(chǔ)媒體、無(wú)線多媒體應(yīng)用等方面顯示出了巨大的應(yīng)用潛力。幀內(nèi)預(yù)測(cè)是H.264／AVC編碼標(biāo)準(zhǔn)的一種基本預(yù)測(cè)方式。H.264／AVC幀內(nèi)預(yù)測(cè)總共有17種預(yù)測(cè)模式：9種4×4亮度預(yù)測(cè)模式、4種16×16亮度預(yù)測(cè)模式和4種8×8色度預(yù)測(cè)模式。對(duì)每個(gè)16×16的宏模塊（4：2：0圖像），編碼器必須完成144次亮度的4×4預(yù)測(cè)模式運(yùn)算、4次亮度的16×16預(yù)測(cè)模式運(yùn)算和4次色度的8×8預(yù)測(cè)模式運(yùn)算［1］，而在流行手機(jī)的小屏幕限制下，幀內(nèi)預(yù)測(cè)編碼直接對(duì)宏塊進(jìn)行離散余弦變換（DCT：Discrete Cosine Transform）編碼。在實(shí)時(shí)幀內(nèi)編碼器工作時(shí)，由于需保證碼率恒定，所以手機(jī)這種小屏幕的塊效應(yīng)相對(duì)嚴(yán)重，流媒體失真嚴(yán)重。用DCT編碼的二次插值優(yōu)化算法可以讓圖像進(jìn)一步分割，從而保證了碼率恒定的前提下，提高流媒體質(zhì)量。

1 小屏幕幀內(nèi)預(yù)測(cè)DCT變換編碼算法

幀內(nèi)預(yù)測(cè)是現(xiàn)在主流的視頻流壓縮的基本環(huán)節(jié)之一，DCT被認(rèn)為是在高相關(guān)性的隨機(jī)矢量情況下對(duì)圖像能量緊湊特性的最優(yōu)可實(shí)現(xiàn)變換。一般對(duì)圖像幀內(nèi)預(yù)測(cè)可以分為8×8DCT編碼或16×16DCT編碼，之后對(duì)這些宏塊進(jìn)行變換系數(shù)熵編碼，以達(dá)到消除幀內(nèi)的空間冗余［2］。

其中二維的DCT變換編碼表示如下

但在小屏幕上，16×16DCT編碼或8×8DCT編碼，梯形噪聲在圖像的強(qiáng)邊緣處出現(xiàn)。在低碼率下，DCT的很多高頻系數(shù)被量化為零，結(jié)果與強(qiáng)邊緣有關(guān)的高頻分量在變換域內(nèi)不能完全被體現(xiàn)。而圖像塊的分別處理，不能保證穿過(guò)塊邊界強(qiáng)邊緣的連續(xù)性，導(dǎo)致在圖像邊緣處出現(xiàn)鋸齒狀噪聲，這種噪聲多在圖像的平坦區(qū)域出現(xiàn)。在變換域內(nèi)，直流分量DDC系數(shù)體現(xiàn)了圖像塊的平均亮度［3］，所以該系數(shù)包含了圖像塊的大部分能量。在平坦區(qū)域，亮度的變化很小，但如果有亮度的遞增或遞減，在量化取整時(shí)進(jìn)行了四舍五入，可能會(huì)導(dǎo)致DDC系數(shù)越過(guò)相鄰量化級(jí)的判決門(mén)限［4］，造成在重建圖像中塊邊界處出現(xiàn)亮度突變，在視覺(jué)效果上表現(xiàn)為平坦區(qū)域內(nèi)出現(xiàn)的片狀輪廓，這樣會(huì)導(dǎo)致分割后的圖像塊效應(yīng)嚴(yán)重（見(jiàn)圖1）。

圖1 320×240小屏幕的16×16分割恢復(fù)前后對(duì)比圖Fig.1 16×16small split on the 320×240screen comparison chart

2 基于DCT變換編碼的二次插值優(yōu)化算法

在H.264算法中進(jìn)行DCT變換編碼的時(shí)間與分割矩陣的大小選取有很大關(guān)系，如果所選取矩陣的尺寸偏大，則DCT變換編碼的時(shí)間就會(huì)急劇增加，如果選取64×64的矩陣進(jìn)行分割，按照DCT的公式，N偏大，圖像的相關(guān)性好，圖像質(zhì)量較高，但需要的時(shí)間遠(yuǎn)比4個(gè)16×16的矩陣長(zhǎng)，但如果矩陣分割尺寸小，N就小，則整個(gè)圖像的塊效應(yīng)會(huì)非常嚴(yán)重［5］。

針對(duì)這個(gè)問(wèn)題，筆者在Matlab下進(jìn)行的算法改進(jìn)如下：

1）為了保持碼流恒定，N必須偏小，這樣的DCT變換選取4×4尺寸的矩陣進(jìn)行分割，示意圖如圖2所示。

2）由于出現(xiàn)塊效應(yīng)嚴(yán)重，所以利用每個(gè)4×4尺寸的矩陣的平均加權(quán)算子，對(duì)系數(shù)進(jìn)行加權(quán)平均，之后生成這一幀圖像內(nèi)的每個(gè)小塊的系數(shù)表，在邊界上利用二次插值把相鄰的兩個(gè)系數(shù)的平均值進(jìn)行邊界模糊處理［6］。邊界模糊處理的加權(quán)平均算法示意圖如圖3所示。

圖2 小屏幕4×4分割示意圖Fig.2 4×4separate small screen diagram

圖3 邊界模糊處理的加權(quán)平均算法示意圖Fig.3 Diagram of boundaries blur the weighted average algorithm

算法步驟

1）利用式（1）對(duì)4×4的矩陣進(jìn)行DCT變換得出DCT的加權(quán)系數(shù)

其中x為輸入矩陣，X為DCT變換系數(shù)。

2）針對(duì)相鄰的4×4矩陣DCT加權(quán)系數(shù)進(jìn)行能量加權(quán)平均，以A為例，計(jì)算出圖中H與I，形成一個(gè)DCT系數(shù)的加權(quán)平均表格［7］，形成新的系數(shù)列表，記錄了關(guān)于4×4宏塊與宏塊之間的加權(quán)平均，之后在終端上根據(jù)該加權(quán)平均系數(shù)表進(jìn)行邊界模糊的二次插值［8］，得出的二次插值如下

其中k為選取與A相鄰4×4矩陣的個(gè)數(shù)，d為代表矩陣個(gè)數(shù)的變量。

把式（2）代入式（3），得

把fi（P）組成新的系數(shù)矩陣表，該表為DCT加權(quán)平均的邊界模糊二次插值表。

3）如果傳輸過(guò)程中，加權(quán)平均系數(shù)表丟失其中一部分，再次在現(xiàn)有數(shù)據(jù)的基礎(chǔ)上進(jìn)行加權(quán)平均系數(shù)的推理，假設(shè)丟失的是第N個(gè)4×4矩陣［9］，表示如下

其中l(wèi)≠N，t為最逼近第N 個(gè)丟失的4×4矩陣的DCT變換矩陣的個(gè)數(shù)［10］。

3 計(jì)算結(jié)果與比較

為檢驗(yàn)程序的可靠性與實(shí)用性，實(shí)驗(yàn)理論虛擬是基于Matlab參考軟件基礎(chǔ)上完成的。筆者選擇4×4尺寸的矩陣作為測(cè)試序列。首先是進(jìn)行傳統(tǒng)的DCT編碼對(duì)比；再進(jìn)行二次插值優(yōu)化，可以得到兩個(gè)算法相應(yīng)的編碼結(jié)果。

在DCT傳統(tǒng)算法中4×4的矩陣分割尺寸是運(yùn)算最快的，在帶寬受限的情況下，這樣的分割才能保持碼率恒定，在同樣的碼率下，筆者首先在Matlab上進(jìn)行數(shù)據(jù)仿真，輸入的數(shù)據(jù)如圖4所示，輸出的數(shù)據(jù)如圖5所示。

圖4 DCT系數(shù)輸入矩陣Fig.4 DCT coefficients input matrix

圖5 DCT系數(shù)二次插值優(yōu)化后輸出矩陣Fig.5 DCT coefficients quadratic interpolation output matrix

為了確保實(shí)驗(yàn)的實(shí)用性，在DSP平臺(tái)上移植了該算法并在3.5寸彩屏上進(jìn)行了效果對(duì)比，在3.5寸彩屏的算法移植前后的效果對(duì)比圖如圖6和圖7所示［11，12］。

圖6 算法移植前的圖片顯示Fig.6 Image display before algorithm transplant

圖7 算法移植后的圖片顯示Fig.7 Image display after algorithm transplant

從圖6和圖7兩幅效果圖可以看出，加入DCT二次插值優(yōu)化算法的圖像更加逼近原圖質(zhì)量。

4 結(jié) 語(yǔ)

通過(guò)視頻流傳統(tǒng)的DCT編碼算法和二次插值優(yōu)化算法的效果對(duì)比，可以明顯看出，視頻流的DCT編碼二次插值優(yōu)化算法在圖像質(zhì)量上得到了提升，而且確保了碼率恒定。在帶寬惡劣的情況下，還可以利用終端的加權(quán)平均算法彌補(bǔ)系數(shù)的丟失。該模型的建立為提高碼率傳輸速度，消除圖像的塊效應(yīng)問(wèn)題提供了有效的工具。

［1］THOMAS WIEGAND.Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification［J］.ITU-T Rec H.264／ISO／IEC14486-10AVC in Joint Video Team（JVT）of ISO／IEC／ MPEG and ITU-T VCEG，JVT.G050，2003，10（13）：196-203.

［2］WU Jing，CHEN Shu-zhen.Integrated Joint Source-Channel Decoding for H.264Video Transmission［J］.Wuhan University Journal of Natural Sciences，2007，11（12）：57-62.

［3］JEYUN LEE，BYEUNGWOO JEON.Fast Mode Decision for H.264［C］∥Proceedings of the 2004IEEE International Conference on Multimedia and Expo.Taipei，Taiwan：ICME，2004：1131-1134.

［4］WIEGAND T，SULLIVAN G，BJNTEGAARD G，et al.Overview of the H.264／AVC Video Coding Standard［J］.IEEE Transactions on Circuits and Systems for Video Technology，2003，13（7）：560-576.

［5］IAIN E G RICHARDSON.H.264and MPEG-4Video Compression Video Coding for Next-Generation Multimedia［M］.New York：John Wiley ＆Sons，2003.

［6］ANTHONY JOCH.Performance Comparison of Video Coding Standards Using Lagragian Coder Control［C］∥Proceedings of the 2002International Conference on Image Processing.New York，USA：ICIP，2002：501-504.

［7］劉向東，朱志良，王光興，等.圖像掃描波動(dòng)性度量及Hilbert掃描矩陣的快速生成［J］.中國(guó)圖象圖形學(xué)報(bào)，2002，7（6）：539-542.

LIU Xiang-dong，ZHU Zhi-liang，WANG Guang-xing，et al.Measuring the Undulation of the Image Scanning and a Fast Hilbert Scanning Matrix Constructing Algorithm［J］.Journal of Image and Graphics，2002，7（6）：539-542.

［8］沙磊，葉霞.利用離散余弦變換進(jìn)行圖像壓縮的方法［J］.成都理工學(xué)院學(xué)報(bào)，1997（3）：108-115.

SHA Lei，YE Xia.A Method for Picture Compression Using Discrete Cosine Transform［J］.Journal of Chengdu University of Technology，1997（3）：108-115.

［9］HYUNGJOON KIM，YUCEL ALTUNBASAK.Low-Complexity Macro Block Mode Selection for H.264／Avc Encoders［C］∥Proceedings of the 2004International Conference on Image Process.Singapore：ICIP，2004：765-768.

［10］RAFAEL C GOLLZALEZ，RICHARD E WOODS，STEVEN L EDDINS.Digital Image Processing Using MATLAB［M］.New Jersey：Prentice Hall，2002.

［11］KIM CHANGSUNG.Fast H.264NTRA Prediction Mode Selection Using Joint Spatial and Transform Domain Features［J］.Journal of Visual Communication and Image Representation，2005，17（2）：291-310.

［12］仲元紅.基于 H.264的視頻編解碼及DSP實(shí)現(xiàn)［D］.重慶：重慶大學(xué)通信工程學(xué)院，2007：128-168.

ZHONG Yuan-hong.Video Encoding ＆ Decoding Based on H.264and Its Realization on DSP［D］.Chongqing：College of Communication Engineering，Chongqing University，2007：128-168.

Stable Rate of Video Stream in Small Size Screen Based on DCT Coding Quadratic Interpolation Optimization

HE Zhi-jian，CAO Chong，ZHANG Li-wen，SONG Zhan-wei
（College of Electronic Science and Engineering，Jilin University，Changchun 130012，China）

The size of the screen for popular mobile phones are small currently.In order to maintain the clear video stream without fluctuation，on the basis of the intra prediction encoding，an improved quadratic interpolation of DCT（Discrete Cosine Transform）coding optimization algorithm is proposed.Based on intra prediction coding of DCT mechanism，the quadratic interpolation using DCT coding can make a constant stream，make the small size of the screen blocking reduced，and make the video stream enhance clarity while maintaining the speed stability of the image.Experimental results show that traditional DCT transform in the small size of the screen block effects are more obvious，and coding is more complex.The DCT coding algorithm quadratic interpolation makes the image significantly clear，and also maintain a constant stream.

discrete cosine transform（DCT）；intra-prediction coding；quadratic interpolation

TP311.5

A

1671-5896（2012）01-0030-05

2011-08-27

吉林省科技支撐計(jì)劃重點(diǎn)基金資助項(xiàng)目（20100314）

何志堅(jiān)（1987—），男，廣東江門(mén)人，吉林大學(xué)碩士研究生，主要從事嵌入式系統(tǒng)研究，（Tel）86-13944082482（E-mail）dadameili＠126.com；宋占偉（1962—），男，長(zhǎng)春人，吉林大學(xué)教授，碩士生導(dǎo)師，主要從事嵌入式系統(tǒng)研究，（Tel）86-13504473223（E-mail）songzw＠jlu.edu.cn。

（責(zé)任編輯：張潔）