視頻轉(zhuǎn)碼分析探討

黨乙棋

西南交通大學(xué)，四川 成都 611756

視頻轉(zhuǎn)碼分析探討

黨乙棋

西南交通大學(xué)，四川 成都 611756

隨著網(wǎng)絡(luò)帶寬技術(shù)的急速發(fā)展，人們對(duì)于多媒體文件的需求越來(lái)越大，越來(lái)越廣，為了適應(yīng)不同格式、不同終端對(duì)多媒體文件的需求，視頻轉(zhuǎn)碼技術(shù)日益完善，不斷發(fā)展，從MPEG-2到H.264，再到HEVC，性能逐步提高，好的轉(zhuǎn)碼方法是伴隨著計(jì)算性能提示的同時(shí)在編碼質(zhì)量和轉(zhuǎn)碼速度上得到一個(gè)非常好的均衡。從視頻轉(zhuǎn)碼的原理、關(guān)鍵技術(shù)以及視頻轉(zhuǎn)碼的進(jìn)展方面作了研究探討。

視頻轉(zhuǎn)碼；多媒體；視頻編碼

引言

隨著網(wǎng)絡(luò)帶寬技術(shù)的急速發(fā)展，信息化聚集程度越來(lái)越高，多媒體文件由于其所帶來(lái)的視覺(jué)、聽(tīng)覺(jué)上無(wú)與倫比的體驗(yàn)，市場(chǎng)應(yīng)用度越來(lái)越高，如視頻點(diǎn)播、直播、遠(yuǎn)程教育、視頻會(huì)議等。正是由于不同的市場(chǎng)需求以及多樣的網(wǎng)絡(luò)接入對(duì)于多媒體文件的存儲(chǔ)、傳輸、適配也產(chǎn)生了各式各樣的標(biāo)準(zhǔn)。為了讓多媒體文件在不同的標(biāo)準(zhǔn)，不同的條件下向用戶(hù)傳輸，多媒體文件必須根據(jù)用戶(hù)環(huán)境做出相應(yīng)的調(diào)整，視頻轉(zhuǎn)碼技術(shù)（Video transcoding）[1]正好可以滿足上述的需求。一般來(lái)講，視頻轉(zhuǎn)碼技術(shù)就是把一種視頻編碼方式轉(zhuǎn)換為另外一種編碼方式的過(guò)程。為了適應(yīng)不同帶寬，異構(gòu)終端不同的處理能力，視頻轉(zhuǎn)碼的范圍包含十分廣泛，涉及到視頻的壓縮、分辨率、碼率、幀率、存儲(chǔ)格式等轉(zhuǎn)換。

為了便于傳播和滿足多業(yè)務(wù)需求，標(biāo)準(zhǔn)化組織提出并制定了多種視頻編碼標(biāo)準(zhǔn)，如H.26x系列，MPEG-x系列，HEVC，同等視頻感官質(zhì)量下，大幅度節(jié)約了碼率。視頻編碼技術(shù)不斷的推陳出新，極大的促進(jìn)了多媒體技術(shù)和通信產(chǎn)業(yè)的發(fā)展，如何將不同格式標(biāo)準(zhǔn)的編碼向用戶(hù)適配條件轉(zhuǎn)碼成了研究的熱點(diǎn)之一。

1 視頻壓縮編碼簡(jiǎn)介

對(duì)于數(shù)字視頻流而言，其數(shù)據(jù)量是巨大的，含有大量的信息冗余，產(chǎn)生信息冗余的原因和類(lèi)型是多方面的，當(dāng)圖像相鄰像素之間具備較強(qiáng)相關(guān)性時(shí)存在空間上的冗余，在相鄰時(shí)間內(nèi)傳送的數(shù)據(jù)會(huì)產(chǎn)生時(shí)間冗余，而對(duì)于具備相似紋理結(jié)構(gòu)時(shí)也會(huì)產(chǎn)生結(jié)構(gòu)上的冗余。因而，基于高信息熵，去冗余的基本思路，對(duì)視頻碼流進(jìn)行壓縮編碼處理，其目的為在保證視頻質(zhì)量的前提下，用盡可能少的比特量對(duì)信息視頻信息加以描述，以便于信息的傳輸、處理、存儲(chǔ)。

為了不斷適應(yīng)各式各樣場(chǎng)合以及不斷升級(jí)的硬件，不同的組織也不斷推出了適應(yīng)需求的國(guó)際視頻編碼標(biāo)準(zhǔn)，所采用的最廣泛的編碼框架為基于塊的混合視頻編碼框架，除MPEG-4基于內(nèi)容之外均有采用，圖1為基于塊的混合編碼基本框架。

圖1 基于塊的編碼框架

混合視頻編碼中在塊的劃分下綜合使用了離散的余弦變換（DCT）[2-3]或者整數(shù)余弦變換（ICT）[4-6]以及基于運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)編碼技術(shù)，不同的處理技術(shù)對(duì)于消除冗余的作用是不同的，在視頻圖像序列中幀與幀間的運(yùn)動(dòng)關(guān)系存在時(shí)間上的冗余，可由幀間預(yù)測(cè)加以去除，同樣，在幀內(nèi)相鄰像素間存在相似性存在空間冗余，可用幀內(nèi)預(yù)測(cè)加以處理，由于數(shù)據(jù)出現(xiàn)的概率不同，具備編碼冗余，此外，人眼對(duì)于圖像顯著性區(qū)域信息的敏感，可以通過(guò)變換和量化編碼對(duì)視覺(jué)冗余做處理等。

以H.264標(biāo)準(zhǔn)為例，H.264編碼的基本處理單元是一個(gè)宏塊，最大的宏塊為16X16，而每個(gè)宏塊可以繼續(xù)劃分為不同的子塊，有四種劃分，通過(guò)對(duì)劃分后的宏塊進(jìn)行進(jìn)一步劃分，可得到宏塊最小為4X4[7]。視頻處理中，每個(gè)宏塊或者亞宏塊會(huì)進(jìn)行獨(dú)立的運(yùn)動(dòng)補(bǔ)償，那么在碼流中，需要對(duì)運(yùn)動(dòng)矢量和所選擇的分割加以編碼和傳輸才會(huì)獲得正確的解碼。在圖像平坦的區(qū)域，我們選擇大的宏塊分割，相應(yīng)的在多細(xì)節(jié)的區(qū)域的宏塊尺寸較小，采用小的子塊。

H.264功能分為網(wǎng)絡(luò)提取層和視頻編碼層兩層，在視頻編碼的數(shù)據(jù)進(jìn)行傳輸或者存儲(chǔ)的時(shí)候，先要被映射或者封裝進(jìn)網(wǎng)絡(luò)提取的數(shù)據(jù)單元中，由網(wǎng)絡(luò)提取層包含其序列負(fù)荷和頭信息，增加網(wǎng)絡(luò)傳輸?shù)挠H和性。

2 視頻轉(zhuǎn)碼技術(shù)

2.1 視頻轉(zhuǎn)碼器

為了適應(yīng)異構(gòu)網(wǎng)絡(luò)、不同的接入設(shè)備、不同的多媒體視頻數(shù)據(jù)格式間的數(shù)據(jù)傳輸，需要對(duì)壓縮后的碼流進(jìn)行端到端的轉(zhuǎn)換，使壓縮后的視頻碼流更能適應(yīng)傳輸?shù)男诺篮徒邮芏说沫h(huán)境，執(zhí)行這種操作的設(shè)備，稱(chēng)之為視頻轉(zhuǎn)碼器。針對(duì)視頻轉(zhuǎn)碼的原因歸結(jié)起來(lái)如下：

（1）不同的應(yīng)用領(lǐng)域視頻編碼標(biāo)準(zhǔn)應(yīng)用不同；

（2）網(wǎng)絡(luò)急速的發(fā)展，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，多種接入帶寬并存；

（3）多樣化的接收端，對(duì)于視頻播放的有不同的需求，如有的需求高清、有的需求解碼速度、有的則都有需求而不同的接收端其緩存，性能有差異，此外對(duì)于所支持的視頻格式也可能有所不同。

對(duì)以上原因進(jìn)行分類(lèi)后，視頻轉(zhuǎn)碼可以分為同一視頻標(biāo)準(zhǔn)下進(jìn)行轉(zhuǎn)碼和不同標(biāo)準(zhǔn)間進(jìn)行轉(zhuǎn)碼，前一類(lèi)操作比較簡(jiǎn)單，算法度低，后一類(lèi)算法比較復(fù)雜，其轉(zhuǎn)碼器的設(shè)計(jì)也比較復(fù)雜[8]。最簡(jiǎn)單的視頻轉(zhuǎn)碼器為直連結(jié)構(gòu)，也就是編碼器解碼器的級(jí)聯(lián)如圖2。

圖2 直連轉(zhuǎn)碼器

正如前文所言，為了應(yīng)對(duì)動(dòng)態(tài)多樣的環(huán)境對(duì)視頻的不同需求，如圖像質(zhì)量、帶寬、轉(zhuǎn)碼速度等，對(duì)轉(zhuǎn)碼器進(jìn)行不斷改進(jìn)，按照其結(jié)構(gòu)和作用做出不同的分類(lèi)，設(shè)計(jì)上有開(kāi)環(huán)轉(zhuǎn)碼結(jié)構(gòu)，閉環(huán)轉(zhuǎn)碼結(jié)構(gòu)；和開(kāi)環(huán)結(jié)構(gòu)低復(fù)雜度不同的是，閉環(huán)結(jié)構(gòu)具備漂移誤差的補(bǔ)償反饋電路，反饋電路的存在，降低幀間編碼中漂移誤差對(duì)的累計(jì)擴(kuò)散對(duì) P幀的影響，提高了轉(zhuǎn)碼后的圖像質(zhì)量。因此，現(xiàn)在所采用的轉(zhuǎn)碼器基本都是采取閉環(huán)結(jié)構(gòu)而衍生，作用上有空域轉(zhuǎn)碼結(jié)構(gòu)，頻域轉(zhuǎn)碼結(jié)構(gòu)等。

2.2 視頻轉(zhuǎn)碼技術(shù)

針對(duì)不同的需求設(shè)計(jì)其轉(zhuǎn)碼算法也有很多選擇。對(duì)于同類(lèi)標(biāo)準(zhǔn)的視頻轉(zhuǎn)碼，算法主要有碼率變換、空域分辨率、時(shí)域分辨率變換，對(duì)于不同類(lèi)的轉(zhuǎn)換則要根據(jù)其壓縮碼流和輸出標(biāo)準(zhǔn)的特點(diǎn)進(jìn)行選取，如H.264到現(xiàn)在最流行的HEVC的轉(zhuǎn)換，可以基于統(tǒng)計(jì)分析，可以基于區(qū)域特征，也可以基于人眼顯著性進(jìn)行分析，此外有效的利用運(yùn)動(dòng)矢量也是優(yōu)化轉(zhuǎn)碼的一種方式。

在相同類(lèi)型的視頻轉(zhuǎn)碼中，主要實(shí)現(xiàn)對(duì)圖像尺寸的變換以及根據(jù)傳輸環(huán)境進(jìn)行碼率控制，其算法上主要有碼率轉(zhuǎn)碼，結(jié)合對(duì)運(yùn)動(dòng)矢量的重用的空間分辨率轉(zhuǎn)碼。在進(jìn)行數(shù)據(jù)傳輸中，由于網(wǎng)絡(luò)帶寬的不同，視頻轉(zhuǎn)碼器根據(jù)信道帶寬限制，對(duì)傳輸視頻碼率進(jìn)行碼率變換，其設(shè)計(jì)為解碼器和編碼器的直連，外部框架如圖3-1，可依據(jù)圖像質(zhì)量、傳輸碼率、轉(zhuǎn)碼速度根據(jù)不同的需求劃分優(yōu)先級(jí)，對(duì)全解全編的結(jié)構(gòu)進(jìn)行簡(jiǎn)化，在簡(jiǎn)化結(jié)構(gòu)中可考慮將輸入的碼流信息在解碼后再編碼時(shí)復(fù)用，在碼率變換中，保證圖像質(zhì)量的一定前提下，有效的解決再量化誤差和漂移誤差，降低運(yùn)算的復(fù)雜度，是這類(lèi)轉(zhuǎn)碼器所要研究的重點(diǎn)。

空間分辨率的轉(zhuǎn)碼是為了讓視頻流可以滿足在低分辨率頻幕上顯示。由于輸入碼流中包含如幀類(lèi)型、運(yùn)動(dòng)矢量、量化步長(zhǎng)、模式等信息，我們?cè)谙乱徊浇獯a的時(shí)候可以通過(guò)變長(zhǎng)解碼、反量化、反 DCT以及進(jìn)行運(yùn)動(dòng)補(bǔ)償提取出之前的有用信息交付與新的編碼器使用，從而將殘差數(shù)據(jù)編碼輸出。據(jù)統(tǒng)計(jì)，將輸入碼流的運(yùn)動(dòng)矢量信息在編碼端重用與完全運(yùn)動(dòng)估計(jì)方法相比可以節(jié)約60%～70%的運(yùn)算量，如何高效的利用運(yùn)動(dòng)矢量信息是，減少計(jì)算量，提高畫(huà)質(zhì)是研究的熱點(diǎn)。

對(duì)于不同標(biāo)準(zhǔn)之間的轉(zhuǎn)換，為各種各樣的網(wǎng)絡(luò)提供了一個(gè)中轉(zhuǎn)，當(dāng)其壓縮算法比較相近的時(shí)候轉(zhuǎn)換比較容易，由于標(biāo)準(zhǔn)的不同，大多數(shù)情況下源圖像中所包含的信息不能直接使用，這就要求不同標(biāo)準(zhǔn)間在設(shè)計(jì)轉(zhuǎn)碼器的時(shí)候?qū)煞N標(biāo)準(zhǔn)的相似度，壓縮碼的性質(zhì)進(jìn)行比對(duì)，如幀間運(yùn)動(dòng)補(bǔ)償，幀內(nèi)變換算法，幀圖像的所對(duì)應(yīng)的區(qū)域特性，在變換域特性相同的時(shí)候可使用頻域轉(zhuǎn)碼結(jié)構(gòu)，特性有差異的時(shí)候經(jīng)行個(gè)別的研究，但其整體思路為分析標(biāo)準(zhǔn)的不同，采用同一標(biāo)準(zhǔn)下的轉(zhuǎn)碼基礎(chǔ)框架結(jié)構(gòu)，提取出在轉(zhuǎn)碼中對(duì)提高轉(zhuǎn)碼質(zhì)量、效率有用的信息通過(guò)不同變換變換域系數(shù)[9]轉(zhuǎn)換達(dá)到目的，此外還要對(duì)不同標(biāo)準(zhǔn)間語(yǔ)義信息進(jìn)行比對(duì)。

在視頻轉(zhuǎn)碼中，除了特性的比對(duì)外，有效的重用運(yùn)動(dòng)矢量對(duì)于優(yōu)化轉(zhuǎn)碼效率起到非常好的作用。由于H.264的高效性，其他格式向 H.264 轉(zhuǎn)碼，或者是H.264適應(yīng)不同的適應(yīng)帶寬、分辨率也是研究的熱點(diǎn)，轉(zhuǎn)碼的算法思路可通過(guò)視覺(jué)特性對(duì)一些頻率特性進(jìn)行壓制，或通過(guò)對(duì)區(qū)域根據(jù)其特征進(jìn)行有效的劃分，提前預(yù)測(cè)出分割單元的預(yù)測(cè)類(lèi)型，減少搜索運(yùn)動(dòng)矢量的復(fù)雜度，優(yōu)化運(yùn)動(dòng)估計(jì)，在這一塊的算法主要對(duì)特征進(jìn)行聚類(lèi)分析[10]，達(dá)到信息重用，快速搜索減少匹配此處，也可以使用 PSO進(jìn)行塊的快速搜索。對(duì)于基于塊的區(qū)域特征轉(zhuǎn)碼可先進(jìn)行區(qū)域?qū)?yīng)，然后進(jìn)行區(qū)域聚類(lèi)分析，由此，可根據(jù)區(qū)域復(fù)雜度評(píng)級(jí)決定搜索的深度和范圍，降低全搜索運(yùn)算量，文獻(xiàn)[11]中通過(guò)聚類(lèi)分析對(duì)運(yùn)動(dòng)矢量經(jīng)行重用，其不足為沒(méi)有評(píng)比各種聚類(lèi)分析算法在此設(shè)計(jì)中的優(yōu)劣性。對(duì)于步入到云計(jì)算后，云計(jì)算所帶來(lái)的視頻轉(zhuǎn)碼大大提升了視頻轉(zhuǎn)碼的速度，新的結(jié)構(gòu)帶來(lái)了新的問(wèn)題，對(duì)于計(jì)算機(jī)性能差別，碼塊差別分布式匹配問(wèn)題需要進(jìn)一步研究，文獻(xiàn)[11]對(duì)在 MapReduce模型下發(fā)明了一種依據(jù)轉(zhuǎn)碼節(jié)點(diǎn)性能差異進(jìn)行轉(zhuǎn)碼耗時(shí)優(yōu)化的算法，文獻(xiàn)[12]對(duì)基于分塊差異性及節(jié)點(diǎn)轉(zhuǎn)碼性能匹配做了分析，其不足是只對(duì)不同視頻大小下分片大小的標(biāo)準(zhǔn)做了分析，沒(méi)有分析基于同類(lèi)型和不同類(lèi)型下轉(zhuǎn)碼耗耗時(shí)的優(yōu)化。

3 結(jié)束語(yǔ)

在流媒體發(fā)展越來(lái)越火的今天，視頻轉(zhuǎn)碼作為一項(xiàng)解決場(chǎng)景兼容的存在是不可缺少的，當(dāng)然隨著網(wǎng)絡(luò)的復(fù)雜化，云平臺(tái)、數(shù)據(jù)量巨大化，數(shù)據(jù)接收方要求快速、高質(zhì)量碼流、資源有效的調(diào)度方法等多樣的問(wèn)題依然是所要研究的熱點(diǎn)。

[1]Vetro A.，Christopoulos C.，Huifang Sun et al.Video transcoding architectures and techniq ues：an overview[J].IEEE Signal Processing Magazi ne，2003，20（2）：18-29.

[2]Ahmed N，Natarajan T，Rao K R.Discrete cosine transform [J].IEEE Transactions on Computers，1974，C-23（1）：90-93.

[3]Chen W，Smith C H，F(xiàn)ralick S C.Fast computation nal algorithm for the discrete cosine transform[J].IEEE Transactions on Conmmunications，1997，COM-25（9）：1004-1009.

[4]張曉晨.DCT算法分析與結(jié)構(gòu)設(shè)計(jì)[D].上海：上海交通大學(xué)，2010.

[5]張璐.整數(shù)余弦變換域上的感興趣區(qū)域識(shí)別方法研究[D].上海：上海交通大學(xué)，2006.

[6]杜耀剛，蔡安妮.DCT域視頻轉(zhuǎn)碼技術(shù)綜述[J].電子學(xué)報(bào)，2005，33（9）：1644-1650.

[7]畢厚杰.新一代視頻壓縮編碼標(biāo)準(zhǔn)——H.264/AVC，第一版[M].北京：人民郵電出版社，2005.

[8]XIN Jun，Improved Standard-Conforming Video Transcoding Techniques[D].Seattle：The Universit y of Washington，2002.

[9]M R Hashemi，L Winger，S panchanathan.Compres sed Domain Motion Vector Resampling for Downsca ling of MEPEGVideo[C]//International.Conf.On Image Processing，Kobe Japan：IEEE.1999.276- 279.

[10]蔣煒.H.264到HEVC視頻轉(zhuǎn)碼技術(shù)研究[D].杭州：浙江大學(xué)，2013.

[11]西安交通大學(xué).基于 Map-Reduce的視頻轉(zhuǎn)碼任務(wù)調(diào)度方法：CN201410386706.6[P].2014-11-19.

[12]畢莎莎，陳清華，高煜紅.基于 Hadoop視頻轉(zhuǎn)碼的任務(wù)調(diào)度算法[J].無(wú)線電通信技術(shù)，2014（2）：63-66.

Video Transcoding Analysis

Dang Yiqi
Southwest Jiaotong University, Sichuan Chengdu 611756

With the rapid development of networking broadband technology, the demand for multimedia files is becoming increasingly larger and wider.In order to satisfy the requirements of different formats and terminals for multimedia files, video transcoding technology is ever-improved and continuously developing, whose performance keeps making progress, from MPEG-2to H.264, and to HEVC, a good transcoding method will balance the encoding quality and transcoding speed in a proper way accompanying by the computational performance tips.In this paper, the principle,key technology and the development of video transcoding are studied.

Video transcoding; multimedia; video coding

TN919.81

A

1009-6434（2017）3-0154-03

黨乙棋（1991—），男，漢族，甘肅省隴南市人，碩士，西南交通大學(xué)，研究方向?yàn)樾畔⑴c通信系統(tǒng)。