DVC轉(zhuǎn)碼技術(shù)研究

吳 偉，卿粼波，王正勇，楊 紅

(四川大學(xué) 電子信息學(xué)院 圖像信息研究所，四川 成都 610065)

DVC轉(zhuǎn)碼技術(shù)研究

吳 偉，卿粼波，王正勇，楊 紅

(四川大學(xué) 電子信息學(xué)院 圖像信息研究所，四川 成都 610065)

介紹了分布式視頻編碼(DVC)到傳統(tǒng)視頻轉(zhuǎn)碼的方案，該轉(zhuǎn)碼方案適用于移動(dòng)終端設(shè)備之間的視頻通信。著重講述了DVC到H.264的轉(zhuǎn)碼，針對(duì)轉(zhuǎn)碼過(guò)程中復(fù)雜度高和時(shí)延長(zhǎng)等問(wèn)題，利用DVC解碼端生成的運(yùn)動(dòng)矢量來(lái)減少H.264編碼的工作量，在幾乎不影響視頻質(zhì)量的前提下，極大地降低了轉(zhuǎn)碼的計(jì)算復(fù)雜度和時(shí)間，提高了轉(zhuǎn)碼效率。同時(shí)介紹了DVC轉(zhuǎn)到其他傳統(tǒng)視頻的方法和方案，最后分析了DVC轉(zhuǎn)碼在當(dāng)前移動(dòng)視頻通信市場(chǎng)中存在的巨大潛能，以及對(duì)轉(zhuǎn)碼技術(shù)的未來(lái)發(fā)展和方向進(jìn)行了展望。

DVC;H.264;轉(zhuǎn)碼；移動(dòng)視頻通信

1 分布式視頻編碼(DVC)技術(shù)概述

1.1 DVC的發(fā)展

隨著數(shù)字視頻的廣泛應(yīng)用，移動(dòng)通信設(shè)備已由單純的文字或語(yǔ)音通信向多媒體視頻通信發(fā)展。尤其是現(xiàn)在4G技術(shù)的普及，各種手持移動(dòng)設(shè)備之間的視頻通信日趨頻繁。通常這些終端設(shè)備因能耗資源和編碼處理能力有限，而又要保證具有良好的抗誤碼性和壓縮效率，因此要求視頻編碼器簡(jiǎn)單易實(shí)現(xiàn)。傳統(tǒng)的視頻編碼方案如MPEG、H.26X因需要在編碼端做大量的運(yùn)動(dòng)估計(jì)，以達(dá)到視頻壓縮的目的，編碼端復(fù)雜度遠(yuǎn)高于解碼端，而無(wú)法達(dá)到這一要求。于是，分布式視頻編碼(Distributed Video Coding，DVC)技術(shù)近年來(lái)被提出并得到廣泛研究。在DVC方案中，對(duì)視頻間的相關(guān)性的挖掘與利用從編碼端被轉(zhuǎn)移到解碼端，使得各視頻幀獨(dú)立編碼，并通過(guò)聯(lián)合解碼重建視頻序列，將編碼端的復(fù)雜度轉(zhuǎn)移到解碼端，因此對(duì)于需要編碼復(fù)雜度較低的無(wú)線視頻場(chǎng)合適用性很強(qiáng)。而現(xiàn)在手持移動(dòng)終端設(shè)備直接端對(duì)端相互視頻通信(如手機(jī)和手機(jī)之間)，編碼端和解碼端都需要達(dá)到低復(fù)雜度、低成本和低功耗的要求。因此從DVC到傳統(tǒng)視頻的轉(zhuǎn)碼技術(shù)應(yīng)運(yùn)而生，對(duì)終端設(shè)備而言，發(fā)送方和接收方都只需進(jìn)行低復(fù)雜度的編碼與解碼計(jì)算。

DVC轉(zhuǎn)碼是在2005年首次被提出[1]，但當(dāng)時(shí)只介紹DVC應(yīng)用于轉(zhuǎn)碼方面的前景，并沒(méi)有在上面做實(shí)際工作，2008年則最先實(shí)現(xiàn)了從DVC到H.263視頻轉(zhuǎn)碼的策略[2]。DVC到傳統(tǒng)視頻的轉(zhuǎn)碼應(yīng)用于手持移動(dòng)終端設(shè)備之間視頻通信的構(gòu)架如圖1所示。

圖1 應(yīng)用于手機(jī)之間通信的DVC轉(zhuǎn)碼

由于DVC與傳統(tǒng)視頻編碼具有互補(bǔ)性，在基站安放一個(gè)視頻轉(zhuǎn)碼器，可以實(shí)現(xiàn)在手機(jī)終端進(jìn)行低復(fù)雜度編解碼。該轉(zhuǎn)碼器負(fù)責(zé)接收DVC視頻流，并對(duì)其進(jìn)行轉(zhuǎn)換編碼以生成H.26X或者M(jìn)PEG-X視頻流，接收端將收到的H.26X或者M(jìn)PEG-X視頻流按照傳統(tǒng)方式進(jìn)行解碼，最終得到所要的視頻信息。

圖1提供了一個(gè)方案，其中發(fā)送端和接收端都執(zhí)行較低復(fù)雜度的算法，而把大量復(fù)雜工作留給中間作為轉(zhuǎn)碼器的網(wǎng)絡(luò)中心結(jié)點(diǎn)。理論上，轉(zhuǎn)碼器擁有大量資源且沒(méi)有電量的限制，不用擔(dān)心功耗等問(wèn)題，但在實(shí)際應(yīng)用中，為了DVC到傳統(tǒng)視頻能實(shí)時(shí)有效的傳輸，需要對(duì)轉(zhuǎn)碼器執(zhí)行過(guò)程做簡(jiǎn)單有效的處理。近年來(lái)，國(guó)內(nèi)外學(xué)者提出了一些DVC到不同傳統(tǒng)視頻格式[3-5]之間的轉(zhuǎn)碼，包括H.263、H.264、SVC、AVS、VC-1等。雖然所轉(zhuǎn)格式不同，但快速轉(zhuǎn)碼基本思想都是利用DVC解碼端生成的運(yùn)動(dòng)矢量加速傳統(tǒng)視頻的編碼，且其基本算法核心都相似。當(dāng)前主流視頻格式依然是H.264，并且從DVC轉(zhuǎn)到H.264方案研究甚廣且具有代表性，因此本文主要介紹從DVC到H.264轉(zhuǎn)碼的基本思想和方法。

1.2 DVC技術(shù)要點(diǎn)

分布式視頻編碼理論基于兩大信息理論的，即Slepian-Wolf[6]的理論和Wyner-Ziv理論[7]。這兩個(gè)理論指出：利用獨(dú)立編碼、聯(lián)合解碼的方法對(duì)兩個(gè)統(tǒng)計(jì)相關(guān)信源進(jìn)行壓縮，可以達(dá)到與傳統(tǒng)聯(lián)合編解碼方法相同的壓縮效率。圖2是分布式視頻編碼系統(tǒng)框圖。其中，編碼端將視頻序列按一定間隔交替劃分為關(guān)鍵幀(K幀)和Wyner-Ziv幀(WZ幀)，兩種幀交替的間隔由參數(shù)GOP(Group of Pictures)指定。其中關(guān)鍵幀K幀與傳統(tǒng)視頻編碼中的幀內(nèi)編碼模式相同，碼流直接傳輸?shù)浇獯a端。而WZ幀則采用Wyner-Ziv編碼模式，首先將像素域的視頻幀轉(zhuǎn)換到變換域，常采用的算法是離散余弦變換(Discrete Cosine Transform，DCT)，對(duì)變換后的數(shù)據(jù)進(jìn)行量化，然后經(jīng)過(guò)信道編碼產(chǎn)生校驗(yàn)位。解碼端先解碼接收到的K幀編碼的碼流，然后將其作為參考幀對(duì)WZ幀做邊信息估計(jì)。將獲得的邊信息也進(jìn)行和編碼端相同的DCT變換、量化作為信息位，使用編碼端傳輸過(guò)來(lái)的校驗(yàn)位對(duì)其進(jìn)行糾錯(cuò)解碼。最后對(duì)解碼重構(gòu)后的序列進(jìn)行IDCT(Inverse DCT)變換獲得最終的重建WZ幀。

圖2 DVC編解碼系統(tǒng)

在該系統(tǒng)中，編碼只進(jìn)行計(jì)算復(fù)雜度較低的幀內(nèi)編碼和信道編碼，而解碼器需要進(jìn)行幀內(nèi)解碼、邊信息產(chǎn)生、信道解碼和WZ幀重建。其中，邊信息的產(chǎn)生算法較為復(fù)雜，因此該系統(tǒng)編碼端的復(fù)雜度要遠(yuǎn)低于解碼端。

1.3 H.264技術(shù)要點(diǎn)

H.264是目前廣泛應(yīng)用的數(shù)字視頻壓縮標(biāo)準(zhǔn)，其編碼器的功能組成見(jiàn)圖3。從圖3可見(jiàn)， H.264和以前的傳統(tǒng)視頻編碼(如H.261、H.263、MPEG-1、MPEG-4)在大體框架上并沒(méi)有什么區(qū)別，主要不同是對(duì)功能塊的細(xì)節(jié)方面做了一些改進(jìn)。

圖3 H.264編碼系統(tǒng)

在H.264視頻編碼中，運(yùn)動(dòng)估計(jì)計(jì)算量最復(fù)雜，需要的時(shí)間也最長(zhǎng)。H.264通過(guò)運(yùn)動(dòng)估計(jì)從之前已編碼的幀中獲得當(dāng)前編碼塊的預(yù)測(cè)值。用當(dāng)前編碼塊的像素值減去其預(yù)測(cè)值，得到預(yù)測(cè)殘差，然后對(duì)殘差進(jìn)行編碼，去除了視頻序列間的冗余度實(shí)現(xiàn)了對(duì)數(shù)據(jù)的壓縮。其中運(yùn)動(dòng)估計(jì)過(guò)程占據(jù)了H.264整個(gè)壓縮編碼過(guò)程的大約60%～70%[8]。因此如何在確保壓縮圖像質(zhì)量的前提下，盡可能降低運(yùn)動(dòng)估計(jì)的復(fù)雜度一直是H.264研究的重點(diǎn)和難點(diǎn)。

2 轉(zhuǎn)碼器

DVC到H.264視頻的的轉(zhuǎn)碼框架如圖5所示，DVC解碼是轉(zhuǎn)碼器的一部分。為了避免轉(zhuǎn)碼器第二部分即H.264編碼工作的繁重，轉(zhuǎn)碼器利用DVC解碼生成邊信息過(guò)程所獲得的運(yùn)動(dòng)矢量來(lái)加速H.264的編碼。

圖5 DVC到H.264視頻轉(zhuǎn)碼器

邊信息生成是DVC解碼端的一部分，它是DVC快速轉(zhuǎn)碼的中間橋梁，起著至關(guān)重要的作用。一般邊信息生成方案有運(yùn)動(dòng)補(bǔ)償外推[9]，運(yùn)動(dòng)補(bǔ)償時(shí)域內(nèi)插[10]，基于哈希碼(Hash)時(shí)域邊信息生成[11]等算法。MCTI因?yàn)槔们昂箨P(guān)鍵幀進(jìn)行預(yù)測(cè)補(bǔ)償生成邊信息，效果較好，并且運(yùn)用MCTI生成的運(yùn)動(dòng)矢量能在轉(zhuǎn)碼中直接為傳統(tǒng)視頻編碼提供幫助，因此轉(zhuǎn)碼中DVC解碼端邊信息生成采用MCTI，具體模型如圖4所示。設(shè)需要建立的邊信息幀為Yi，已知其前后相鄰的關(guān)鍵幀為Xi-t1和Xi+t2，其中t1和t2表示已知幀與邊信息之間的時(shí)間距離。

圖4 基于MCTI邊信息生成

在該算法中，先對(duì)后向關(guān)鍵幀中的每個(gè)分塊在前向關(guān)鍵幀中進(jìn)行運(yùn)動(dòng)搜索，得到最佳匹配塊后獲得后向運(yùn)動(dòng)矢量MVb，進(jìn)而得到插值值對(duì)應(yīng)塊的后向運(yùn)動(dòng)矢量，有了差值幀每一塊的運(yùn)動(dòng)矢量，通過(guò)運(yùn)動(dòng)補(bǔ)償可以得到一個(gè)差值幀Xb，其中尋找最佳匹配塊時(shí)，運(yùn)用絕對(duì)誤差和公式

(1)

式中：B代表M×N宏塊，(dx，dy)為運(yùn)動(dòng)矢量，fn和fn-1分別為當(dāng)前幀和前一幀的灰度值。同理對(duì)前向關(guān)鍵幀做同樣的計(jì)算獲得前向運(yùn)動(dòng)矢量MVf，然后得到差值幀xf，有了前向運(yùn)動(dòng)矢量和后向運(yùn)動(dòng)矢量分別對(duì)應(yīng)的補(bǔ)償?shù)玫降牟钪祹?，該算法中假設(shè)運(yùn)動(dòng)是均勻的，因此中間邊信息幀的計(jì)算方式為

(2)

2.1 運(yùn)動(dòng)矢量映射

在DVC視頻編碼中，視頻序列分為K幀和WZ幀，而傳統(tǒng)視頻編碼如H.264通常分I幀，P幀和B幀。分布式視頻編碼與傳統(tǒng)視頻編碼幀的編碼方式不同，GOP也不同，因此轉(zhuǎn)碼工作首先要解決的就是DVC到H.264視頻幀之間的映射和GOP的映射方式。一般傳統(tǒng)視頻編碼的GOP可以和DVC相等，也可以是DVC的若干倍[13]。DVC中K幀利用傳統(tǒng)視頻編碼進(jìn)行幀內(nèi)編解碼，它與H.264編碼的I幀一致，因此轉(zhuǎn)碼時(shí)DVC的K幀直接轉(zhuǎn)到H.264的I幀，不做任何處理。

2.1.1 P幀的映射

根據(jù)前文可知，在DVC解碼生成邊信息時(shí)會(huì)做大量的運(yùn)動(dòng)估計(jì)，以尋找當(dāng)前幀各塊的最佳匹配塊而獲得最優(yōu)的運(yùn)動(dòng)矢量。當(dāng)DVC的GOP大于2時(shí)，前后參考幀的間距將大于1，而此時(shí)產(chǎn)生的運(yùn)動(dòng)矢量將不適用于H.264編碼階段，因?yàn)閰⒖紟嚯x較大時(shí)所獲得的運(yùn)動(dòng)矢量若用于轉(zhuǎn)碼器第二部分(H.264編碼)將不夠精確，轉(zhuǎn)碼盡量要選取上一階段最好的運(yùn)動(dòng)矢量。圖6描述了DVC的GOP為4時(shí)轉(zhuǎn)到H.264的GOP為IPPP形式P幀映射的范例[12-20]。

圖6 DVC GOP 4到H.264 GOP IPPP的映射

最后，H.264 GOP為IPPP，P幀與參考幀的間距都為1，而第二步運(yùn)動(dòng)矢量都是在間距為2的情況下生成的，因此將得到的矢量V0-2和V2-4各取1/2對(duì)應(yīng)到H.264 P幀的編碼。對(duì)于DVC GOP更大的轉(zhuǎn)到H.264 I11P形式同樣適用，只不過(guò)是保存DVC最后解碼階段(即參考幀間距為2)所生成的運(yùn)動(dòng)矢量，來(lái)幫助轉(zhuǎn)碼時(shí)H.264中P幀的編碼。

2.1.2 B幀的映射

H.264的B幀是雙向預(yù)測(cè)幀，B幀是同時(shí)根據(jù)前面和后面的參考幀進(jìn)行編碼的幀，也是運(yùn)用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)技術(shù)來(lái)完成編碼，其壓縮效果更佳。B幀的映射方式和P幀類似，如圖7所示。圖7介紹了DVC GOP為4時(shí)轉(zhuǎn)到H.264 GOP 為IBIB的大致流程[14，20]。前面兩步和2.1.1節(jié)一樣，只不過(guò)最后在H.264編碼階段有所不同。因?yàn)锽幀是雙向預(yù)測(cè)幀，它需要同時(shí)借助前后參考幀編碼，因此前后預(yù)測(cè)都需要利用DVC最后階段生成的運(yùn)動(dòng)矢量。

圖7 DVC GOP為4到H.264 GOP IBIB

2.1.3 P幀和B幀的混合映射

上文分別介紹了P幀和B幀的映射，但實(shí)際視頻編碼中P幀和B幀混合的情況居多，性能也較好[14，17-18，20]。圖8展示了DVC GOP為4轉(zhuǎn)到H.264 GOP為IBBP的范例。

圖8 DVC GOP為4到H.264 GOP IBBP

在此情況下，前面兩步同2.1.1節(jié)，H.264編碼時(shí)，先利用已解碼的I幀來(lái)編碼P3，P3是前向預(yù)測(cè)幀，離參考幀I0的距離為3，而DVC解碼端兩幀之間做運(yùn)動(dòng)估計(jì)時(shí)距離為2，因此獲得的運(yùn)動(dòng)矢量V2-4需要乘以1.5才可以適用于P3幀的編碼。然后編碼B1幀，B1幀是雙向預(yù)測(cè)幀，需要借助前后參考幀編碼。B1與前向參考幀I0的距離為1，因此需要將DVC解碼端生成的運(yùn)動(dòng)矢量V0-2乘以0.5做為B1幀前向運(yùn)動(dòng)矢量，而B1與后向參考幀的距離為2，可以直接借用V0-2做為B1幀后向運(yùn)動(dòng)矢量來(lái)編碼。同理，編碼B2幀時(shí)，V0-2乘以0.5作為B2幀后向運(yùn)動(dòng)矢量，直接借用V0-2作為B2幀前向運(yùn)動(dòng)矢量。

在文獻(xiàn)[2，21-22]中的WZ幀映射到P幀和B幀時(shí)，DVC端邊信息生成依舊運(yùn)用MCTI，不同的是它保存了DVC解碼端每一步生成的運(yùn)動(dòng)矢量，在H.264編碼時(shí)根據(jù)編碼幀與參考幀的間隔與DVC端生成運(yùn)動(dòng)矢量的間隔的比例設(shè)置權(quán)重因子，然后將運(yùn)動(dòng)矢量乘以權(quán)重因子就是H.264編碼幀對(duì)應(yīng)每一塊的運(yùn)動(dòng)矢量，并且在編碼B幀時(shí)同時(shí)分別利用了DVC解碼端生成的前向運(yùn)動(dòng)矢量和后向運(yùn)動(dòng)矢量。最后將H.264得到的運(yùn)動(dòng)矢量進(jìn)行優(yōu)化處理，在視頻質(zhì)量下降很小的情況下大大增加轉(zhuǎn)碼的效率。

2.2 減小運(yùn)動(dòng)估計(jì)搜索范圍

H.264視頻編碼復(fù)雜度高的主要原因是編碼端要做大量的運(yùn)動(dòng)估計(jì)，因?yàn)樾枰獙ふ耶?dāng)前塊的最佳匹配塊，而對(duì)于物體運(yùn)動(dòng)量大的，所搜索的范圍將增大，計(jì)算復(fù)雜度和所花費(fèi)的時(shí)間也將增加。為了減少運(yùn)動(dòng)估計(jì)的工作量，可以利用DVC解碼端生成邊信息所做的運(yùn)動(dòng)估計(jì)來(lái)減少H.264定位最佳匹配塊的時(shí)間。實(shí)際工作就是根據(jù)DVC解碼端已有的運(yùn)動(dòng)矢量，靈活地減少H.264編碼時(shí)運(yùn)動(dòng)估計(jì)的搜索范圍[13-18，20，23-24]。減小搜索范圍將作用于H.264每個(gè)宏塊和子宏塊。具體原理如下

A={(x,y)/(x,y)∈(T∩R)}

(3)

式中：A定義的是轉(zhuǎn)碼器中H.264運(yùn)動(dòng)估計(jì)需要搜索的范圍；(x，y)是運(yùn)動(dòng)估計(jì)候選區(qū)域；T是H.264單獨(dú)編碼時(shí)運(yùn)動(dòng)估計(jì)所需要搜索的范圍；R是轉(zhuǎn)碼過(guò)程中借助DVC解碼端所做運(yùn)動(dòng)估計(jì)而H.264可以不必搜索的范圍，R的搜索范圍定義為

(4)

(5)

(6)

在式(5)和式(6)中，運(yùn)動(dòng)矢量來(lái)自DVC解碼端生成的運(yùn)動(dòng)矢量(MVx和MVy)，各自取運(yùn)動(dòng)矢量的二分之一，它們的權(quán)重為d，d代表著參考幀的間距(即H.264編碼時(shí)當(dāng)前幀和參考幀的間隔)。另外，為了避免運(yùn)動(dòng)估計(jì)搜索范圍太小引起轉(zhuǎn)碼后視頻質(zhì)量的下降，在這里設(shè)置了最小運(yùn)動(dòng)估計(jì)搜索范圍L?？梢跃C合考慮轉(zhuǎn)碼的時(shí)間和質(zhì)量，適當(dāng)調(diào)整L的大小，一般在轉(zhuǎn)碼視頻PSNR和碼率幾乎不變的情況下可以提高一半的時(shí)間。

2.3 模式選擇

在H.264編碼標(biāo)準(zhǔn)中，支持7種不同塊大小的幀間編碼模式。每個(gè)宏塊可按照16×16，16×8，8×16，8×8進(jìn)行分割，如果選擇8×8塊模式，還可按照8×8，8×4，4×8，4×4進(jìn)行亞分割。圖9直觀地顯示了這7種模式。另外，幀間編碼還采用了直接拷貝模式SKIP和幀內(nèi)預(yù)測(cè)模式[25]。當(dāng)使用率失真優(yōu)化(RDO)時(shí)，需要通過(guò)遍歷所有的模式比較已選取RD代價(jià)最小的模式[26]，雖然編碼效果好，但計(jì)算量大耗時(shí)長(zhǎng)。而在DVC轉(zhuǎn)碼中，可以運(yùn)用DVC解碼端已獲得的信息來(lái)幫助H.264選擇需要編碼塊的大小，在轉(zhuǎn)碼視頻質(zhì)量幾乎不變的情況下，可以大大降低H.264編碼復(fù)雜度，即降低轉(zhuǎn)碼的復(fù)雜度，提高轉(zhuǎn)碼的效率[29]。

圖9 幀間宏塊模式

一般而言，視頻序列運(yùn)動(dòng)緩慢或平坦區(qū)域一般選擇幀間編碼的幀間模塊(例如16×16，16×8或8×16)或者選擇直接拷貝模式SKIP。另一方面，如果是紋理精細(xì)復(fù)雜或者是運(yùn)動(dòng)劇烈的圖像就選擇比較小的模塊(如4×4)甚至選擇幀內(nèi)預(yù)測(cè)模式。

通常用絕對(duì)誤差和SAD來(lái)判斷相鄰兩幀的相似程度，SAD越大，相鄰兩幀的相似程度越小，說(shuō)明運(yùn)動(dòng)越劇烈；SAD越小，相鄰兩幀的相似性越高，運(yùn)動(dòng)越緩慢。在轉(zhuǎn)碼器中，SAD不需要在H.264編碼時(shí)計(jì)算，SAD的計(jì)算在DVC解碼端運(yùn)動(dòng)估計(jì)尋找最佳矢量時(shí)已經(jīng)完成，因此只需要對(duì)SAD數(shù)據(jù)進(jìn)行保存?zhèn)鬟f到H.264編碼時(shí)直接利用，來(lái)決定H.264編碼時(shí)的最佳MV模塊。

一般，SAD值很大時(shí)H.264編碼會(huì)選擇幀內(nèi)預(yù)測(cè)模式，但在有些情況中SAD很大，選擇幀間模式效果反而更好。例如，均勻快速運(yùn)動(dòng)中的物體對(duì)應(yīng)的塊會(huì)導(dǎo)致SAD變得很大，這種情況，最好模式仍然是幀間模式編碼。因此，需要另外的參數(shù)來(lái)決定圖像中宏塊的相關(guān)性，即運(yùn)動(dòng)矢量的大小。

DVC解碼端邊信息實(shí)際上是對(duì)WZ幀的預(yù)測(cè)，如果圖像紋理比較平坦或圖像變化緩慢，生成的邊信息也就越好，與WZ幀相似度也就越高，解碼重建WZ幀時(shí)邊信息落入WZ幀量化索引值對(duì)應(yīng)的區(qū)間內(nèi)的概率就越大。根據(jù)研究發(fā)現(xiàn)，邊信息沒(méi)有落入解碼后WZ幀量化索引值對(duì)應(yīng)的區(qū)間時(shí)，所對(duì)應(yīng)的塊的運(yùn)動(dòng)劇烈，生成的邊信息的質(zhì)量較差，因此在轉(zhuǎn)碼過(guò)程中H.264編碼時(shí)一般選擇4×4或者幀內(nèi)模式。

H.264編碼塊模式選擇本質(zhì)上說(shuō)是一個(gè)決策樹(shù)的問(wèn)題，因此可以根據(jù)DVC解碼過(guò)程中得到的信息：SAD的值，運(yùn)動(dòng)矢量的大小，邊信息落入量化區(qū)間的數(shù)量3個(gè)參數(shù)對(duì)編碼模式選擇的分塊大小做出選擇。其中模式選擇的閾值確定是最為重要的，為了更準(zhǔn)確地劃分決策樹(shù)中的閾值，文獻(xiàn)[23-24，27-29]采用了WEKA[30]數(shù)據(jù)挖掘工具，采用機(jī)器學(xué)習(xí)的方法，輸入大量的訓(xùn)練數(shù)據(jù)，得出最好的模式選擇決策樹(shù)。WEKA工具的數(shù)據(jù)序列輸入采用ARFF文件格式，采用ASCII碼，每行為一組訓(xùn)練數(shù)據(jù)，包括該次訓(xùn)練結(jié)果以及一系列相關(guān)屬性[31]。通過(guò)機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)了DVC到H.264的快速轉(zhuǎn)碼。得到的決策樹(shù)如圖10所示。

圖10 模式?jīng)Q策樹(shù)結(jié)構(gòu)

第1層，分為低復(fù)雜度的模塊和高復(fù)雜度的模塊。低復(fù)雜度模塊包括{SKIP塊，16×16，16×8，8×16}，高復(fù)雜的模塊包括{8×8，8×4，4×8，4×4和幀內(nèi)塊}。

第2層，將上一層低復(fù)雜度的模塊又分為兩個(gè)分支，即{SKIP，16×16}和{16×8，8×16}。將高復(fù)雜度的分支也分為兩個(gè)分支，即{8×8，8×4和4×8}和{4×4和幀內(nèi)塊}。

第3層，繼續(xù)將{8×8，8×4和4×8}分為兩個(gè)分支：{8×8-4×4DCT，8×8-8×8DCT}和{8×4，4×8}。

在轉(zhuǎn)碼過(guò)程中，將編碼塊按尺寸大小分層做出模式選擇，H.264編碼時(shí)可以直接選擇編碼塊的大小，避免了各個(gè)大小的塊逐一編碼，與全解全編的轉(zhuǎn)碼器相比，大大提高了轉(zhuǎn)碼器的工作效率，且基本保持了原有視頻的質(zhì)量。尤其對(duì)運(yùn)動(dòng)宏塊較多，但是運(yùn)動(dòng)宏塊包含的細(xì)節(jié)較少的視頻序列有更好的表現(xiàn)。

3 DVC其他轉(zhuǎn)碼方法和方案

文獻(xiàn)[12]提出了一種利用GPU(圖像處理單元)強(qiáng)大的并行計(jì)算能力來(lái)加速視頻轉(zhuǎn)碼的算法，在開(kāi)發(fā)GPU通用計(jì)算能力的時(shí)候，采用NVIDIA公司的CUDA(統(tǒng)一計(jì)算設(shè)備架構(gòu))計(jì)算平臺(tái)，該算法將視頻轉(zhuǎn)碼過(guò)程中耗時(shí)最多、最復(fù)雜的運(yùn)動(dòng)估計(jì)過(guò)程轉(zhuǎn)移到GPU上并行執(zhí)行，為DVC的轉(zhuǎn)碼提供了一個(gè)新的途徑。文獻(xiàn)[14]測(cè)試了DVC在VBR和CBR兩種情況下轉(zhuǎn)碼到H.264結(jié)果，在不同指標(biāo)下獲得了良好的結(jié)果，為DVC在轉(zhuǎn)碼過(guò)程中碼率控制方面提供了新的參考。文獻(xiàn)[15，17]都分別介紹了在轉(zhuǎn)碼器第一部分(即DVC解碼)來(lái)減少轉(zhuǎn)碼所需要的時(shí)間，利用現(xiàn)在計(jì)算機(jī)資源豐富的多核并行計(jì)算來(lái)進(jìn)行DVC解碼，大大降低了DVC解碼所需要的時(shí)間，并且可以同時(shí)在轉(zhuǎn)碼器第二部分(H.264編碼)利用DVC解碼獲得的信息進(jìn)行H.264的快速編碼，實(shí)現(xiàn)了整個(gè)轉(zhuǎn)碼器快速轉(zhuǎn)碼的需求。文獻(xiàn)[19]根據(jù)H.264編碼時(shí)宏塊的分塊尺寸大小與DVC解碼端邊信息的殘差分布具有很高相關(guān)性這一特點(diǎn)，實(shí)現(xiàn)了快速的模式選擇編碼算法，在與利用減小運(yùn)動(dòng)估計(jì)搜索范圍算法融合的情況下，使轉(zhuǎn)碼時(shí)間提高了大約93%。文獻(xiàn)[16，18，20]中介紹了從DVC轉(zhuǎn)到SVC(可伸縮視頻編碼)的策略，可伸縮視頻編碼有效地解決了之前編碼標(biāo)準(zhǔn)輸出碼流的不靈活性，DVC轉(zhuǎn)到SVC后，可以適應(yīng)多種不同信道，使實(shí)際應(yīng)用更加廣泛。文獻(xiàn)[32]實(shí)現(xiàn)了從DVC到VC-1的轉(zhuǎn)碼，提出了最佳矢量匹配選擇(Best Matched Vector Selection，BMVS)算法，BMVS運(yùn)用了多個(gè)參考幀做運(yùn)動(dòng)估計(jì)，來(lái)選擇最佳的運(yùn)動(dòng)矢量，突破了以往快速轉(zhuǎn)碼中為借用DVC運(yùn)動(dòng)矢量，都只采用單個(gè)參考幀的局限。文獻(xiàn)[33]首次將DVC到傳統(tǒng)視頻的轉(zhuǎn)碼過(guò)程放在云端進(jìn)行實(shí)現(xiàn)，結(jié)合了當(dāng)前熱門的云計(jì)算，將DVC的轉(zhuǎn)碼和云計(jì)算有機(jī)結(jié)合，為DVC轉(zhuǎn)碼提供了更廣闊的空間。文獻(xiàn)[34]實(shí)現(xiàn)了DVC到AVS的轉(zhuǎn)碼，AVS是國(guó)內(nèi)具備自主知識(shí)產(chǎn)權(quán)的第二代信源編碼標(biāo)準(zhǔn)，也是數(shù)字音視頻產(chǎn)業(yè)的共性基礎(chǔ)標(biāo)準(zhǔn)。

4 結(jié)論與展望

隨著人們視頻通信的需要，客戶終端設(shè)備在趨向于無(wú)線化、便攜式方向發(fā)展的同時(shí)，也要求其具有對(duì)視頻信號(hào)進(jìn)行實(shí)時(shí)編碼、傳輸?shù)裙δ?。而客戶終端的計(jì)算能力和存儲(chǔ)容量等資源又十分有限，因此如何實(shí)現(xiàn)終端設(shè)備視頻編解碼低復(fù)雜度算法一直備受關(guān)注，DVC轉(zhuǎn)碼技術(shù)的出現(xiàn)正好解決了這一問(wèn)題，它綜合了DVC編碼端簡(jiǎn)單和傳統(tǒng)視頻編碼技術(shù)解碼端簡(jiǎn)單的優(yōu)點(diǎn)，使發(fā)送端和接受端都只處理簡(jiǎn)單的過(guò)程，而將復(fù)雜的轉(zhuǎn)碼過(guò)程留給擁有強(qiáng)大計(jì)算和存儲(chǔ)能力的網(wǎng)絡(luò)中心結(jié)點(diǎn)，在手機(jī)與手機(jī)相互之間視頻通信具有非常廣闊的市場(chǎng)。因此DVC轉(zhuǎn)碼將是下一階段研究的熱門技術(shù)。本文詳細(xì)介紹了DVC主要的幾種快速轉(zhuǎn)碼技術(shù)以及DVC其他轉(zhuǎn)碼方法和方案。就目前來(lái)看，DVC快速轉(zhuǎn)碼還有待深入研究的方面有：

1)DVC到傳統(tǒng)視頻的快速轉(zhuǎn)碼矢量映射時(shí)，P幀和B幀分別只用了單個(gè)和前后兩個(gè)參考幀進(jìn)行編碼。而實(shí)際傳統(tǒng)視頻編碼中P幀和B幀都可以借用已解碼的多幀進(jìn)行編碼，這樣解碼圖像效果將更佳。因此對(duì)于轉(zhuǎn)碼中傳統(tǒng)視頻編碼在借用DVC端運(yùn)動(dòng)矢量時(shí)選擇多參考幀將是下一步研究的方向。

2)DVC轉(zhuǎn)到其他傳統(tǒng)視頻格式都有良好的實(shí)現(xiàn)，目前主要是轉(zhuǎn)到H.264，還沒(méi)有轉(zhuǎn)到HEVC的，而現(xiàn)在HEVC日趨成熟，在保證相同視頻質(zhì)量的前提下，HEVC的壓縮率相比H.264提高了一倍左右，大有取代H.264之勢(shì)。因此如何實(shí)現(xiàn)DVC到HEVC的轉(zhuǎn)碼還亟待探討。

3)當(dāng)前，云計(jì)算技術(shù)已經(jīng)在互聯(lián)網(wǎng)領(lǐng)域得到廣泛應(yīng)用并成為最熱門技術(shù)之一。基于云計(jì)算平臺(tái)的其他視頻轉(zhuǎn)碼技術(shù)也有提及[35-36]，云計(jì)算以其高效快速可擴(kuò)展性強(qiáng)的特點(diǎn)，能為轉(zhuǎn)碼提供可靠的平臺(tái)和空間。因此如何將DVC轉(zhuǎn)碼和云計(jì)算具體結(jié)合的應(yīng)用研究是下一階段研究的熱點(diǎn)和難點(diǎn)。

[1] GIROD B，AARON A，RANE S，et al.Distributed video coding[J].Proceedings of the IEEE，2005，93(1)：71-83.

[2] PEIXOTO E，QUEIROZ R L，MUKHERJEE D. Mobile video communications using a Wyner-Ziv transcoder[EB/OL].[2013-12-12].http://image.unb.br/queiroz/papers/vcip_2008_transcoder.pdf.

[3] SCHWARZ H，MARPE D，WIEGAND T. Overview of the scalable video coding extension of the H. 264/AVC standard[J]. IEEE Trans. Circuits and Systems for Video Technology，2007，17(9)：1103-1120.

[4] GB/T 20090.2—2006，Information technology-advanced audio and video coding standard：video[S].2006.

[5] KALVA H，LEE J B. The VC-1 video coding standard[J].IEEEMultiMedia，2007，14(4)：88-91.

[6] SLEPIAN D，WOLF J. Noiseless coding of correlated information sources[J].IEEE Trans. Inform Theory，1973，19(4)：471-480.

[7] WYNER A，ZIV J. The rate-distortion function for source coding with side information at thedecoder [J].IEEE Trans. Information Theory，1976，22(1)：1-10.

[8] 殷國(guó)炯，薛永林.MPEG-2到H.264轉(zhuǎn)碼的快速模式選擇算法[J].電視技術(shù)，2010，34(1)：26-29.

[9] NATáRIO L，BRITES C，ASCENSO J.Visual content processing and representation[M].[S.l.]：Springer Berlin Heidelberg，2006.

[10] WONG C K，OSCAR C A.Fast motion compensated temporal interpolation for video[C]//Proc. SPIE.[S.l.]：SPIE Press，1995：1108-1118.

[11] TOAN N D，GUEESANG L，JUNE Y C. Side information generation using extra information in distributed video coding[C]//IEEE International Symposium on Signal Processing and Information Technology.[S.l.]：IEEE Press，2007：138-143.

[12] CORRALES-GARCíA A，RODRíGUEZ-SáNCHEZ R，MARTíNEZ J L，et al. Hybrid Artificial Intelligence Systems[M].[S.l.]：Springer Berlin Heidelberg，2010.

[13] CORRALES-GARCIA A，F(xiàn)ERNANDEZ-ESCRIBANO G，QUILES F J. Mapping GOPS in an improved DVC to H. 264 video transcoder[C]//Proc. Advanced Concepts for Intelligent Vision Systems.[S.l.]：Springer Berlin Heidelberg，2010：22-33.

[14] CORRALES-GARCíA A，MARTíNEZ J L，F(xiàn)ERNáNDEZ-ESCRIBANO G，et al. Variable and constant bitrate in a DVC to H. 264/AVC transcoder[J]. Signal Processing：Image Communication，2011，26(6)：310-323.

[15] CORRALES-GARCIA A，MARTíNEZ J L，F(xiàn)ERNáNDEZ-ESCRIBANO G. Efficient mobile-to-mobile video communications using a multicore transcoder[C]//Proc. Mobile Multimedia Communications.[S.l.]：Springer Berlin Heidelberg，2012：74-87.

[16] CORRALES-GARCIA A，MARTíNEZ J L，F(xiàn)ERNáNDEZ-ESCRIBANO G，et al. Scalable mobile-to-mobile video communications based on an improved WZ-to-SVC transcoder[M]. [S.l.]：Springer Berlin Heidelberg，2012.

[17] GARCIAAC，ESCRIBANOGF，MARTINEZJL，et al. Mobile video communications based on fast DVC to H. 264 transcoding[EB/OL].[2014-10-10]. http://cdn.intechopen.com/pdfs-wm/33731.pdf.

[18] CORRALES-GARCíA A，MARTíNEZ J L，F(xiàn)ERNáNDEZ-ESCRIBANO G，et al. Temporal scalable mobile video communications based on an improved WZ-to-SVC transcoder[J]. EURASIP Journal on Advances in Signal Processing，2013，2013(1)：1-10.

[19] CORRALES-GARCíA A，MARTíNEZ J L，F(xiàn)ERNáNDEZ-ESCRIBANO G，et al. Wyner-Ziv to baseline H. 264 video transcoder[J]. EURASIP Journal on Advances in Signal Processing，2012，2012(1)：1-19.

[20] CORRALES-GARCíA A，RODRíGUEZ-SáNCHEZ R，MARTíNEZ J L，et al. Multimedia Communications Using a Fast and Flexible DVC to H. 264/AVC/SVC Transcoder[J]. Journal of Signal Processing Systems，2015，79(3)：211-232.

[21] PEIXOTO E，DE QUEIROZ R L，MUKHERJEE D. Mapping motion vectors for Awyner-Ziv video transcoder[C]//Proc. 2009 16th IEEE International Conference onImage Processing. [S.l.]：IEEE Press，2009：3681-3684.

[22] PEIXOTO E， QUEIROZ R L，MUKHERJEE D. A Wyner-Ziv video transcoder[J].IEEE Trans. Circuits and Systems for Video Technology，2010，20(2)：189-200.

[23] MARTINEZ J L，KALVA H，F(xiàn)ERNANDEZ-ESCRIBANO G，et al. Wyner-Ziv to H. 264 video transcoder[C]//Proc. 2009 16th IEEE International Conference onImage Processing. [S.l.]：IEEE Press，2009：2941-2944.

[24] MARTINEZ J L，KALVA H，F(xiàn)ERNANDO W A C，et al. Effiecient WZ-to-H264 transcoding using motion vector information sharing[C]//Proc.IEEE International Conference onMultimedia and Expo.[S.l.]：IEEE Press,2009：1394-1397.

[25] 廖婷，許潔斌，丁月華. H. 264 快速幀間塊模式選擇算法的研究[J].電視技術(shù)，2006，30(11)：16-18.

[26] ZHOU Z，SUN S J，LEI S M，et al. Motion information and coding mode reuse for MPEG-2 to H.264 transcoding[C]//Proc.IEEE ISCAS. Kobe，Japan：IEEE Press，2005：1230-1233.

[27] MARTINEZ J L，F(xiàn)ERNANDEZ-ESCRIBANO G，KALVA H，et al. Wyner-Ziv to H. 264 video transcoder for mobile telephony[C]//Proc.Digest of Technical Papers International Conference on Consumer Electronics.[S.l.]：IEEE Press,2009：1-2.

[28] MARTíNEZ J L，CORRALES-GARCíA A，CUENCA P，et al. Advances in Computational Intelligence[M].[S.l.]：Springer Berlin Heidelberg，2011.

[29] MARTINEZ J L，F(xiàn)ERNANDEZ-ESCRIBANO G，KALVA H，et al. Wyner-Ziv to H. 264 video transcoder for low cost video encoding[J].IEEE Trans. Consumer Electronics，2009，55(3)：1453-1461.

[30] WITTEN IH，F(xiàn)RANK E.Data mining：practical machine learning tools and techniques[M]. 2nd Ed.[S.l.]：Morgan Kaufmann，2005.

[31] FERNáNDEZ-ESCRIBANO G，KALVA H，CUENCA P，et al. A fast MB mode decision algorithm for MPEG-2 to H. 264 P-frame transcoding[J]. IEEE Trans.Circuits and Systems for Video Technology，2008，18(2)：172-185.

[32] LEE J Y，HAN J K，SIM D G. Efficient motion vector selection and mode decision schemes for transcoder between DVC and VC-1[J]. IEEE Trans.Consumer Electronics，2012，58(3)：905-911.

[33] 張剛止，陳柏翰，李昌明.基于云端運(yùn)算DVC到SVC快速轉(zhuǎn)碼系統(tǒng)[J].International Journal of Science and Engineering，2014，4(2)：63-66.

[34] YI A，LIU X，F(xiàn)AN X，et al.Advances in Multimedia Information Processing-PCM 2010[M].[S.l.]：Springer Berlin Heidelberg，2011.

[35] 包盛，段保通，邵鋒軍. 三網(wǎng)融合下基于云計(jì)算的實(shí)時(shí)轉(zhuǎn)碼技術(shù)研究和應(yīng)用[J]. 電信科學(xué)，2011，27(3)：12-16.

[36] 張浩，孫淑霞. Hadoop 云計(jì)算平臺(tái)在視頻轉(zhuǎn)碼上的應(yīng)用[J].電腦與電信，2012(12)：36-37.

吳 偉(1990— )，碩士生，主研圖像通信、視頻編碼；

卿粼波(1982— )，副教授，主要研究方向?yàn)閳D像處理、模式識(shí)別、多媒體通信；

王正勇(1969— )，碩士生導(dǎo)師，主要研究方向圖像處理、模式識(shí)別、多媒體通信；

楊 紅(1983— )，女，博士生，主研圖像通信、視頻編碼。

責(zé)任編輯：許 盈

Research of DVC Transcoding Technology

WU Wei, QING Linbo, WANG Zhengyong，YANG Hong

(ImageInformationInstitute,SchoolofElectronicsandInformationEngineering,SichuanUniversity,Chengdu610065,China)

Some typical transcoding techniques from DVC(distributed video coding) to traditional video coding are introduced in this paper, these techniques are well suited for mobile to mobile communication. Especially, the transcoding techniques from DVC to H.264 are introduced in detail, in which the high complexity and long delay for transcoding process is one of the most tough issues. To solve it, the motion vector generated in DVC decoding is made full use to reduce H.264 encoding workload.In this algorithm, the encoding time is decreased and the computational complexity of the transcoder is reduced, which could improve transcoding efficiency under the premise of scarcely affect video quality. In addition, the transcoding methods and programs from DVC to other traditional video coding are also introduced. Furthermore, the application potentials of DVC transcoding in the currently mobile video communications are analyzed. Finally, the challenges and development directions in this filed are pointed out in this paper.

DVC; H.264; transcoding; mobile video communications

國(guó)家自然科學(xué)基金項(xiàng)目(61201388);高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金項(xiàng)目(20110181120009)

TN919.81

A

10.16280/j.videoe.2015.19.018

2014-11-19

【本文獻(xiàn)信息】吳偉，卿粼波，王正勇，等.DVC轉(zhuǎn)碼技術(shù)研究[J].電視技術(shù),2015，39(19).