基于運(yùn)動(dòng)矢量可分級(jí)的視頻編碼方法*

袁嘉晟，方志軍，葉金財(cái)

（江西財(cái)經(jīng)大學(xué) 信息管理學(xué)院，江西 南昌 330013）

1 引言

為適應(yīng)復(fù)雜多變的異構(gòu)環(huán)境，視頻編碼引入了可分級(jí)編碼的概念，可分級(jí)視頻編碼（Scalable Video Coding，SVC）可以使視頻流較好地適應(yīng)各種不同的網(wǎng)絡(luò)環(huán)境和用戶終端，并具有一定的容錯(cuò)性和可分級(jí)性。在編碼后的視頻流中，紋理信息占據(jù)了大部分比特，但是在低碼率下，運(yùn)動(dòng)矢量占據(jù)了大部分的碼流，如在可分級(jí)視頻編碼中，運(yùn)動(dòng)矢量占據(jù)了基本層碼流中的絕大部分[1-2]。因此在可分級(jí)視頻編碼中，對(duì)運(yùn)動(dòng)矢量的可分級(jí)編碼是一個(gè)重要要求，特別是在低碼率或者小圖像中。針對(duì)這一問題，筆者提出了一種基于運(yùn)動(dòng)矢量的視頻可分級(jí)編碼思想。

2 運(yùn)動(dòng)矢量編碼技術(shù)與可分級(jí)技術(shù)

2.1 運(yùn)動(dòng)矢量

視頻編碼是數(shù)字視頻處理的重要應(yīng)用，在許多通信服務(wù)中起著至關(guān)重要的作用。視頻序列在時(shí)間維上有很強(qiáng)的相關(guān)性，即存在著大量冗余，利用運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償技術(shù)可以有效地去除視頻幀間的冗余，實(shí)現(xiàn)編碼壓縮。運(yùn)動(dòng)估計(jì)是視頻處理系統(tǒng)的一個(gè)重要的組成部分，已廣泛運(yùn)用于視頻壓縮的標(biāo)準(zhǔn)中。在運(yùn)動(dòng)估計(jì)中，模擬化運(yùn)動(dòng)的最簡(jiǎn)單形式是用一個(gè)常量位移表示，這個(gè)常量位移就是運(yùn)動(dòng)矢量（MV）。 圖 1是測(cè)試視頻序列“foreman”中第1幀到第2幀的運(yùn)動(dòng)矢量表示圖。

計(jì)算出的運(yùn)動(dòng)矢量即可用于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，圖2是原視頻序列第1幀和第2幀的直接差值效果圖，圖3是用加入運(yùn)動(dòng)矢量的視頻第1幀，來(lái)預(yù)測(cè)第2幀，并將預(yù)測(cè)出的第2幀與原視頻序列第2幀進(jìn)行差值的效果。從圖2和圖3的比較中可以看出，若不加運(yùn)動(dòng)矢量，第1幀和第2幀的差值是明顯的，兩幀之間的變化部分可以清楚得看到；若加入運(yùn)動(dòng)矢量預(yù)測(cè)下一幀，預(yù)測(cè)效果明顯變好，預(yù)測(cè)出的幀圖像與原序列幀相差不大，其中可以根據(jù)搜索匹配塊和精度的大小調(diào)節(jié)預(yù)測(cè)精度。

2.2 可分級(jí)技術(shù)

圖1 第1幀到第2幀的運(yùn)動(dòng)矢量表示圖

圖2 原序列第1幀圖像與第2幀直接差值

圖3 加入運(yùn)動(dòng)矢量預(yù)測(cè)出的幀圖像和原序列第2幀圖像差值

可分級(jí)性（Scalable）是指通過(guò)僅解碼一部分壓縮的比特流物理地恢復(fù)有意義的圖像或視頻信息的能力[3]。即視頻圖像經(jīng)過(guò)一次編碼后，其壓縮視頻流的碼率可以根據(jù)網(wǎng)絡(luò)的變化而調(diào)節(jié)，生成不同碼率的視頻流，因此在碼率降低后，視頻流也可以解碼后正常播放。因此可分級(jí)編碼一般通過(guò)生成不同碼率的視頻流來(lái)實(shí)現(xiàn)，采取的方式有PSNR（質(zhì)量）可分級(jí)、空間可分級(jí)、時(shí)間可分級(jí)或它們的組合。可分級(jí)編碼技術(shù)將視頻編碼成N層可分級(jí)的比特流，第1層為基本層，其他層為增強(qiáng)層，第1層提供了能夠解碼重建最基本圖像視頻的比特流，對(duì)其他層的解碼能提高重建圖像視頻的質(zhì)量，直至最佳效果。目前視頻編碼中常用的可分級(jí)技術(shù)主要有質(zhì)量可分級(jí)[4-6]、空間可分級(jí)[7]、時(shí)間可分級(jí)[8]等。

質(zhì)量可分級(jí)是利用越來(lái)越精細(xì)的量化步長(zhǎng)產(chǎn)生的圖像信息的損失來(lái)對(duì)每幀圖像進(jìn)行分層。其基本思想是通過(guò)對(duì)原始圖像和第1層重建圖像之間的量化差值進(jìn)行編碼以形成增強(qiáng)層。

空間可分級(jí)是從改變單幀圖像分辨力的角度來(lái)對(duì)視頻進(jìn)行分級(jí)，形成不同分層。其基本思想是通過(guò)解碼第1層，形成一個(gè)低分辨力的圖像版本，隨后解碼第2層，將第1層解碼的圖像內(nèi)插到第2層解碼圖像中，隨后以相同的方式解碼后面的增強(qiáng)層。

時(shí)間可分級(jí)是從改變視頻幀序列的幀率的角度對(duì)視頻進(jìn)行分級(jí)，形成不同分層。其基本思想是先將視頻幀進(jìn)行采樣分割，基本層根據(jù)本身的數(shù)據(jù)編碼以提供基本的幀率，增強(qiáng)層通過(guò)對(duì)基本層或增強(qiáng)層的預(yù)測(cè)編碼，最后產(chǎn)生原始視頻的全時(shí)間分辨力。

因?yàn)檫\(yùn)動(dòng)矢量是由兩幀幀間的運(yùn)動(dòng)估計(jì)來(lái)表示，所以運(yùn)動(dòng)矢量具有時(shí)間可分級(jí)性，但是不經(jīng)過(guò)編碼的運(yùn)動(dòng)矢量并不具有質(zhì)量可分級(jí)性和空間可分級(jí)性。在目前的大多數(shù)視頻壓縮編碼標(biāo)準(zhǔn)里，如H.263，MPEG-4等，運(yùn)動(dòng)矢量的編碼使用的是預(yù)測(cè)差分編碼，即1個(gè)宏塊的運(yùn)動(dòng)矢量與其空間相臨的3個(gè)宏塊的運(yùn)動(dòng)矢量的中值作差，然后對(duì)差值進(jìn)行編碼；而在MC-EZBC[9]中，提出了一種基于上下文的自適應(yīng)二進(jìn)制算數(shù)編碼對(duì)運(yùn)動(dòng)矢量進(jìn)行編碼，使其具有質(zhì)量可分級(jí)和空間可分級(jí)。

目前的這些運(yùn)動(dòng)矢量編碼方法本質(zhì)上是對(duì)塊匹配后計(jì)算出的運(yùn)動(dòng)矢量比特流進(jìn)行熵編碼，并能夠?qū)幋a后的比特流進(jìn)行截取，達(dá)到相應(yīng)的可分級(jí)性。然而這些運(yùn)動(dòng)矢量編碼方法并沒有對(duì)運(yùn)動(dòng)矢量本身進(jìn)行分析，筆者針對(duì)這種情況，提出一種對(duì)運(yùn)動(dòng)矢量本身進(jìn)行處理的的思路。

3 基于運(yùn)動(dòng)矢量模值可分級(jí)編碼方法

前面提到的運(yùn)動(dòng)矢量編碼方法雖然具有可分級(jí)性，但是這些編碼方法都是編碼所有的運(yùn)動(dòng)矢量，而當(dāng)前視頻編碼標(biāo)準(zhǔn)中的運(yùn)動(dòng)估計(jì)中都是分塊進(jìn)行匹配，因此運(yùn)動(dòng)矢量本身存在著大量冗余，例如：相鄰兩幀塊運(yùn)動(dòng)可能并不劇烈或者沒有運(yùn)動(dòng)，其運(yùn)動(dòng)矢量的幅值不大或?yàn)榱?。試?yàn)發(fā)現(xiàn)，在運(yùn)動(dòng)矢量比特流中，有一些運(yùn)動(dòng)矢量對(duì)其后的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的影響不大，但是這些運(yùn)動(dòng)矢量所占用的比特流還是一定的，因此可以將這些運(yùn)動(dòng)矢量的比特流進(jìn)行截取以達(dá)到可分級(jí)的效果。

對(duì)運(yùn)動(dòng)矢量進(jìn)行分析判斷，先設(shè)定閾值T，將運(yùn)動(dòng)矢量的模與閾值比較，若運(yùn)動(dòng)矢量的模值大于閾值，則將該運(yùn)動(dòng)矢量保留，反之則去除。其判斷依據(jù)為

兩幀之間的運(yùn)動(dòng)矢量存在一個(gè)最大值，因此T可以先取最大值，此時(shí)運(yùn)動(dòng)矢量比特流為0，隨后逐漸減小T，可以逐步得到部分的運(yùn)動(dòng)矢量比特流，直到完全獲取運(yùn)動(dòng)矢量比特流，最后再對(duì)截取出的運(yùn)動(dòng)矢量比特流進(jìn)行相應(yīng)的運(yùn)動(dòng)矢量編碼。圖4是閾值為5時(shí)測(cè)試視頻序列foreman第1幀到第2幀截取后的運(yùn)動(dòng)矢量表示圖。比較圖1可見，一些模值相對(duì)小的運(yùn)動(dòng)矢量被去除了，如背景圖案部分，而保留了模值較大即塊運(yùn)動(dòng)較為劇烈的運(yùn)動(dòng)矢量，如臉部部分。

圖4 閾值為5時(shí)，截取后第1幀到第2幀的運(yùn)動(dòng)矢量表示圖

4 實(shí)驗(yàn)結(jié)果與分析

為了評(píng)估文中提出的思想，使用了stefan和foreman視頻序列進(jìn)行測(cè)試。其視頻序列為CIF格式，幀率30 f/s（幀/秒），分塊大小8，搜索范圍4，精度為半像素。對(duì)視頻的前2幀進(jìn)行分析，將第1幀設(shè)為參考幀，第2幀設(shè)為預(yù)測(cè)幀，隨后對(duì)計(jì)算出的運(yùn)動(dòng)矢量由閾值進(jìn)行截取，得到運(yùn)動(dòng)矢量的比特流，計(jì)算其模值大??；然后將截取后的運(yùn)動(dòng)矢量加入到參考幀中，以預(yù)測(cè)下一幀；將預(yù)測(cè)出的幀圖像與原序列第2幀作差值，算出方差和峰值信噪比。圖5為foreman視頻序列第1幀，圖6為foreman視頻序列第2幀，圖7為在設(shè)定閾值為5時(shí)，加入截取后運(yùn)動(dòng)矢量比特流的foreman視頻序列第1幀預(yù)測(cè)出的幀圖像，圖8為預(yù)測(cè)出的幀圖像（閾值5）與原序列第2幀圖像的差值圖像。將圖8與第2節(jié)介紹的加入全運(yùn)動(dòng)矢量比特流預(yù)測(cè)出的幀圖像作比較，可以看到差別不是很大；但在一些運(yùn)動(dòng)變化較小的區(qū)域，差值的效果變得明顯，如背景圖案部分，這是因?yàn)榻?jīng)過(guò)閾值判斷后，去除了模值小的運(yùn)動(dòng)矢量。

圖5 foreman序列第1幀

圖6 foreman序列第2幀

圖7 閾值為5時(shí)的預(yù)測(cè)幀

圖8 預(yù)測(cè)出的第2幀（閾值5）與原序列第2幀的差值圖

針對(duì)foreman視頻序列，表1顯示的是在不同閾值下，第1幀加入運(yùn)動(dòng)矢量預(yù)測(cè)出的第2幀與原序列第2幀的方差（SE）和峰值信噪比（PSNR）值及待編碼的運(yùn)動(dòng)矢量比特?cái)?shù)。表中閾值為0時(shí)，表示運(yùn)動(dòng)矢量全保留，此時(shí)SE最小，PSNR和比特?cái)?shù)最大；其次因?yàn)橄噜弮蓭g的運(yùn)動(dòng)矢量模值必存在一個(gè)最大值，在閾值達(dá)到這個(gè)最大值時(shí)，運(yùn)動(dòng)矢量將全被去除，此時(shí)相當(dāng)于第1幀不預(yù)測(cè)，而差值正是兩幀之間相減，此時(shí)SE最大，PSNR最小，比特?cái)?shù)為0。

圖9為stefan視頻序列第1幀，圖10為stefan視頻序列第2幀，圖11為在設(shè)定閾值為5時(shí)，加入截取后運(yùn)動(dòng)矢量比特流的stefan視頻序列第1幀預(yù)測(cè)出的幀圖像，圖12為預(yù)測(cè)出的幀圖像（閾值5）與原序列第2幀圖像的差值圖像。

針對(duì)stefan視頻序列，表2顯示的是在不同閾值下，第1幀加入運(yùn)動(dòng)矢量預(yù)測(cè)出的第2幀與原序列第2幀的方差和峰值信噪比值及待編碼的運(yùn)動(dòng)矢量比特?cái)?shù)。

表1 foreman視頻序列在不同閾值下的SE和PSNR和比特?cái)?shù)

圖9 stefan序列第1幀

圖10 stefan序列第2幀

圖11 閾值為5時(shí)的預(yù)測(cè)幀

圖12 預(yù)測(cè)出的第2幀（閾值5）與原序列第2幀的差值圖

表2 stefan視頻序列在不同閾值下的SE和PSNR和比特?cái)?shù)

從兩個(gè)實(shí)驗(yàn)結(jié)果可見，隨著閾值的增大，運(yùn)動(dòng)矢量的比特?cái)?shù)也隨之減少，且減少的幅度較大。這樣可以對(duì)運(yùn)動(dòng)矢量的比特流在任意點(diǎn)截取，將截取的運(yùn)動(dòng)矢量加入到參考幀中，以預(yù)測(cè)下一幀。這樣做可以在預(yù)測(cè)時(shí)先傳輸一部分運(yùn)動(dòng)矢量，其后漸進(jìn)傳輸剩下的運(yùn)動(dòng)矢量比特流，以逐步提高預(yù)測(cè)后的視頻幀圖像質(zhì)量，達(dá)到質(zhì)量可分級(jí)的目的。

5 小結(jié)

筆者提出了一種基于運(yùn)動(dòng)矢量可分級(jí)的視頻編碼方法，對(duì)運(yùn)動(dòng)矢量模進(jìn)行判斷，截取其比特流，以達(dá)到質(zhì)量可分級(jí)，并通過(guò)實(shí)驗(yàn)分析，說(shuō)明了該方法的可行性。但該方法的進(jìn)一步應(yīng)用還有諸多問題需要解決，如截取運(yùn)動(dòng)矢量比特流的方式、與熵編碼的結(jié)合方式等，這也是下一步研究的方向。

[1]LI Weiping.Overview of fine granularity scalability in MPEG-4 video standard[J].IEEE Trans.Circuits and Systems，2001，11（3）：301-317.

[2]哈力旦·A，方勇.一種改進(jìn)的運(yùn)動(dòng)矢量編碼方法[J].西安電子科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2005，32（4）：639-642.

[3]WANG Y，OSTERMANN J，ZHANG YQ.視頻處理與通信[M].候正信，譯.北京：電子工業(yè)出版社，2003.

[4]朱瑩，郁梅，陳懇，等.H.264標(biāo)準(zhǔn)的新擴(kuò)展——可伸縮性編碼及應(yīng)用[J].電視技術(shù)，2006（4）：11-13.

[5]韓濤，王群生，楊春玲.精細(xì)可伸縮性視頻編碼的研究[J].電視技術(shù)，2007，31（9）：12-14.

[6]楊雪婷，林其偉.基于H.264的精細(xì)可分級(jí)編碼結(jié)構(gòu)改進(jìn)方案[J].電視技術(shù)，2009，33（S1）∶36-37.

[7]馮璐，鮑衛(wèi)兵，劉峰.基于H.264的空間SVC快速模式選擇算法[J].電視技術(shù)，2007，31（12）：20-22.

[8]閻金，全子一，門愛東.基于H.264的時(shí)間可分級(jí)編碼結(jié)構(gòu)的研究[J].電視技術(shù)，2006（1）：16-18.

[9]CHEN Peisong.Fully scalable subband/wavelet coding[D].Troy，NY USA：Rensselaer Polytechnic Institute，2003.