高效視頻編碼的Merge模式候選決策研究與改進(jìn)

楊 靜，孫 煜

（上海海事大學(xué)信息與工程學(xué)院，上海201306）

1 概述

Merge模式基于四叉樹的圖像編碼方式，可以將多個(gè)具有相似運(yùn)動(dòng)信息且相鄰的預(yù)測單元（Prediction Unit，PU）塊合并為同一區(qū)域，并使其具有相同的運(yùn)動(dòng)信息。在這種情況下，編碼器不需要為每個(gè)幀間預(yù)測塊單獨(dú)傳輸各自的運(yùn)動(dòng)信息，比如，運(yùn)動(dòng)矢量、參考索引、預(yù)測方向，只需為整個(gè)區(qū)域傳遞一次運(yùn)動(dòng)信息即可，大大提升了編碼效率。

在H．264／AVC中，在幀間預(yù)測過程中采用了Direct模式和Skip模式，目的在于盡可能減少傳遞信息［1－3］。從概念上看，高效視頻編碼（High Efficiency Video Coding，HEVC）中的 Merge模式和 H．264／AVC中的direct模式是類似的，但它們之間有2個(gè)重要區(qū)別：（1）Merge模式可以構(gòu)建一個(gè)候選列表，即運(yùn)動(dòng)矢量競爭機(jī)制，它會(huì)制定一個(gè)運(yùn)動(dòng)矢量候選集，并通過率失真優(yōu)化（Rate Distortion Optimization，RDO）準(zhǔn)則判斷各個(gè)候選，然后從若干個(gè)中選取其一，并通過索引方式傳送到編碼端；（2）定義了參考圖像列表和索引，而 Direct模式假定具有默認(rèn)值［4－5］。

本文研究的HEVC中使用了Merge模式來獲取運(yùn)動(dòng)信息，而不是自適應(yīng)運(yùn)動(dòng)矢量預(yù)測（Adaptive Motion Vector Prediction，AMVP）選擇機(jī)制，以此進(jìn)一步增加Merge模式的利用率。

2 Merge模式

在HEVC中，對(duì)于每個(gè)正在進(jìn)行幀間編碼的PU，編碼器主要使用以下2種方法：

（1）用運(yùn)動(dòng)矢量估計(jì)來編碼運(yùn)動(dòng)矢量差和參考幀；

（2）使用Merge模式，為當(dāng)前PU創(chuàng)建一個(gè)周圍已經(jīng)編碼PU的列表。編碼器根據(jù)率失真結(jié)果，從候選列表中選擇最佳候選，此時(shí)當(dāng)前PU的運(yùn)動(dòng)信息直接復(fù)制候選的運(yùn)動(dòng)信息即可。

在HEVC中，最大運(yùn)動(dòng)矢量候選數(shù)默認(rèn)為5，可能的候選包括空間相鄰候選、時(shí)間候選和生成的候選。Merge的時(shí)間和空間預(yù)測候選列表由以下元素構(gòu)成：L（A1），A（B1），RA（B0），BL（A0），LA（B2），TRb，Tc［6－7］，如圖1所示。

圖1 候選位置示意圖

Merge模式先檢查空域候選位置A1，B1，B0，A0，判斷4個(gè)空域候選是否可用（是否為幀內(nèi)模式）并且是否存在冗余信息，這里主要指的是2種冗余：（1）如果用于當(dāng)前PU的候選位置指的是同一個(gè)CU中的第一個(gè)PU，則該位置可以被排除，這主要是因?yàn)镻U合并后相當(dāng)于一個(gè)未劃分成預(yù)測分割的CU；（2）包含完全相同的運(yùn)動(dòng)信息。去除冗余候選后，只有當(dāng)有效的空域候選數(shù)少于4的時(shí)候，B2位置才可以被檢驗(yàn)。對(duì)于時(shí)域候選TRb，其位于時(shí)域參考幀中與當(dāng)前塊相同位置下PU的右下方。如果處在參考圖像對(duì)應(yīng)PU之外的右下角位置是可用的，那么使用該候選，否則使用處于中心位置的TC作為時(shí)域候選［8－9］。

在默認(rèn)情況下，Merge模式預(yù)測候選的最大數(shù)量為5，若為P條帶，此時(shí)若時(shí)間域候選集數(shù)加上空間域候選集個(gè)數(shù)仍小于5，則直接增加0歸并候選，直到候選集個(gè)數(shù)等于5為止，此時(shí)結(jié)束候選集的選擇過程。若為B條帶，用于列表0（list0）和列表1（list1）的額外合并候選會(huì)通過預(yù)定義的順序來選擇2個(gè)候選生成。排除冗余后，對(duì)候選列表進(jìn)行補(bǔ)充，數(shù)量不大于5個(gè)［10－11］。運(yùn)動(dòng)候選集選擇過程如圖2所示。

圖2 候選列表選取過程

3 Merge模式的候選決策研究

分析并跟蹤Merge模式的整個(gè)流程得知：

（1）選擇候選集的過程需要在空間域和時(shí)間域至少進(jìn)行5次判斷，但最終通過率失真計(jì)算后得到的最終候選只有一個(gè)。并且由于是相鄰塊的緣故，A1與A0，B1與B0之間的關(guān)聯(lián)程度很高，往往具有相同的運(yùn)動(dòng)信息，導(dǎo)致很多時(shí)候進(jìn)行了多次不必要的判斷。

（2）在進(jìn)行率失真計(jì)算時(shí)，往往要考慮到編碼參數(shù)、最終所需傳輸?shù)倪\(yùn)動(dòng)矢量等總體編碼數(shù)據(jù)的多少。由于在編碼Merge＿idx過程中使用的是一元截?cái)啻a，對(duì)于MaxNumMergerCand＝5，Merge＿idx如表1所示，若MaxNumMergerCand＝3，則 Merge＿idx如表2所示。由表1、表2可以看出，減少候選個(gè)數(shù)，其一元截?cái)啻a的位數(shù)也相應(yīng)減少，勢必會(huì)對(duì)率失真計(jì)算結(jié)果造成影響。由此可以推斷出當(dāng)MaxNumMergerCand＝3時(shí)，既有助于使各個(gè)候選的JMerge減小，又可以減少由于5個(gè)候選bin位數(shù)跨度較大而對(duì)比較結(jié)果產(chǎn)生的影響，使在比較各個(gè)候選的率失真結(jié)果時(shí)更加公平。

表1 列表尺寸（ListSize＝5）

表2 列表尺寸（ListSize＝3）

（3）在不同的CU尺寸情況下測試各個(gè)PU在進(jìn)行Merge模式時(shí)其候選位置出現(xiàn)情況的概率，統(tǒng)計(jì)結(jié)果如圖3～圖5所示。

從圖3～圖5中可以得知，A1，B1，T三者所占比例之和遠(yuǎn)遠(yuǎn)高于其他候選之和。這主要是因?yàn)锳1，B1的bin位數(shù)較低，在計(jì)算率失真過程中常常占有很大優(yōu)勢，其次B1，A1與B0，A0常常有著相同的運(yùn)動(dòng)信息，導(dǎo)致B0，A0在候選過程中無法出現(xiàn)。綜上所述，將最大候選數(shù)量由5改為3，且在決策過程中優(yōu)先選擇A1，B1，T。

事實(shí)上，由于Merge模式的計(jì)算結(jié)果并不一定是編碼過程最終所選取的結(jié)果，計(jì)算所得的JMerge還要與AMVP模式所得的JAMVP進(jìn)行比較［12］。它們都只是得到最優(yōu)結(jié)果的一種手段，如圖6所示。當(dāng)出現(xiàn)旋轉(zhuǎn)或者形變運(yùn)動(dòng)時(shí)，由于Merge模式本身的局限性（主要解決剛體平移運(yùn)動(dòng)），就很難對(duì)這種運(yùn)動(dòng)得到較好的預(yù)測，但AMVP模式（預(yù)測更為精準(zhǔn)，但需要更多的比特）就可以更好地解決其問題，所以適當(dāng)減少候選數(shù)，既能讓Merge模式在平移運(yùn)動(dòng)中更好地發(fā)揮優(yōu)勢，又能在一些非剛體運(yùn)動(dòng)中利用AMVP的預(yù)測結(jié)果，從而不會(huì)對(duì)整個(gè)編碼結(jié)果造成較大的影響。

圖6 幀間預(yù)測的決策過程

另一方面，通過觀察圖3～圖5可以得到：對(duì)于2N×N和N×2N這2種情況，T的出現(xiàn)概率會(huì)高于B1，且在N×2N中T出現(xiàn)的概率幾乎與A1持平。這主要是因?yàn)樵贜×2N中A1是不適用于第2個(gè)PU的，而在2N×N中，B1也不適用于第2個(gè)PU。如果在這2種情況下分別使用了A1和B1，則會(huì)出現(xiàn)2個(gè)本來屬于同一個(gè)CU的PU又融合成了一個(gè)CU的情況［13］。所以在這2種情況下T候選的出現(xiàn)幾率將得到提升。進(jìn)一步分析可知，Merge模式主要應(yīng)用于剛體平移運(yùn)動(dòng)，而通常在這種情況下，時(shí)間域上的相關(guān)性往往大于空間域上的相關(guān)性，并且從圖3數(shù)據(jù)得知，T在bin位數(shù)較高的情況下，依舊可以有著較高的出現(xiàn)概率。因此，將時(shí)間候選T優(yōu)先于空間候選，即在候選順序上將時(shí)域候選排在空域候選之前，目的是讓其分配更小的位數(shù)，這樣做可以讓預(yù)測結(jié)果更加精確并消耗更少的比特。為了讓時(shí)間候選放在空域候選之前這一變化發(fā)揮更大的作用，還可以考慮通過增加時(shí)間候選的個(gè)數(shù)來提高候選的準(zhǔn)確度。

4 改進(jìn)的低復(fù)雜度候選決策

針對(duì)上述情況，具體將做出如下改進(jìn)：

（1）將最大候選集的個(gè)數(shù)由5改為3，其中空域候選集個(gè)數(shù)為2，時(shí)域候選集個(gè)數(shù)為1，這樣做是考慮到A1和A0，B1和B0有著很高的相似程度。

（2）在進(jìn)行空域候選時(shí)，優(yōu)先選擇A1和B1，看其是否存在并具有冗余，如果存在且不存在冗余，則空域候選集停止繼續(xù)判斷，直接進(jìn)行時(shí)間域上的選擇。假如在空域候選集判斷出A1和B1有一個(gè)不存在或者2個(gè)不存在或者存在A1的信息與B1的信息相同，則此時(shí)繼續(xù)依次判斷B0，A0，B2，直到空域候選集個(gè)數(shù)等于2后停止進(jìn)行判斷。如果空域候選集個(gè)數(shù)小于2，則可以在后續(xù)添加雙向運(yùn)動(dòng)候選和0候選。設(shè)NumCand為當(dāng)前已選候選數(shù)量，空域候選的詳細(xì)流程如圖7所示。

圖7 改進(jìn)后空域候選流

（3）更改候選決策的先后順序，將時(shí)間候選T排在空間候選之前。

（4）當(dāng)TRb不存在的情況下，通過增加時(shí)間域上的候選數(shù)量并取其中值，依舊可以較為精確地取得時(shí)間候選。具體操作為：如果TRb不存在，將檢驗(yàn)參考幀中與當(dāng)前幀位置相同的B0，A0還有TC，設(shè)它們?nèi)叩闹兄禐閙edian（B0，A0，TC），并用其代替TC；當(dāng)B0，A0有一個(gè)不存在時(shí)，就按照原始算法直接使用TC。這么做的目的是可以將時(shí)間候選排在空間候選之前的這一變化發(fā)揮更佳的效果。

5 實(shí)驗(yàn)平臺(tái)與仿真結(jié)果分析

仿真采用的是HM12．0代碼，實(shí)驗(yàn)平臺(tái)為CPU 2GHz Intel Core2，內(nèi)存2GB，操作系統(tǒng)為Windows 7的64位計(jì)算機(jī)，運(yùn)行環(huán)境是Microsoft Visual Studio 2010，編碼結(jié)構(gòu)為IPPP。實(shí)驗(yàn)結(jié)果如表3、表4所示，從中可以看出改進(jìn)后的結(jié)果與標(biāo)準(zhǔn)算法結(jié)果之間的對(duì)比。

表3 改進(jìn)前的測試序列

表4 改進(jìn)后的測試序列

從表3中可以看出，首先通過減少候選數(shù)量，直接降低了候選決策的復(fù)雜程度，編碼時(shí)間縮減了大約2．00%～6．70%不等；同時(shí)由于 Merge＿idx的編碼位數(shù)相對(duì)減少而導(dǎo)致JMerge相應(yīng)減小，進(jìn)而在與JAMVP比較中占據(jù)一定優(yōu)勢，讓原來一部分使用AMVP模式的PU轉(zhuǎn)而使用Merge模式，使得整個(gè)過程比特率降低，平均降低了大約0．35%～4．49%不等，并且PSNR值幾乎都得到了提升。

加入第4點(diǎn)改進(jìn)后的仿真結(jié)果如表4所示，可以看出，相對(duì)表3，增加時(shí)間域候選后進(jìn)一步降低了比特率，從而使率失真性能由于同時(shí)提升了復(fù)雜度，會(huì)損耗更多的時(shí)間。注意到SlideShow序列的比特率有輕微提升，這主要是由于其內(nèi)容多有場景轉(zhuǎn)換，導(dǎo)致時(shí)間候選T使用率較低，使得比特率提升。

整體上來看，本文算法在有效提高編碼率失真性能的同時(shí)，明顯縮短了編碼時(shí)間，降低了編碼復(fù)雜度。

6 結(jié)束語

本文針對(duì)HEVC中Merge模式的候選過程進(jìn)行分析和改進(jìn)，提出基于候選決策的低復(fù)雜度算法。通過減少候選列表的候選數(shù)量和改變時(shí)空域候選的選擇順序，既降低了計(jì)算的復(fù)雜度，又提升了各個(gè)候選列表的利用效率。仿真結(jié)果表明，在圖像PSNR略微提升的同時(shí)，編碼時(shí)間和比特率都得到了優(yōu)化。

［1］ITU－T．Recommendation and Final Draft International Standard of Joint Video Specification［Z］．2003．

［2］Tourapis A M，Wu F，Li S．Direct Mode Coding for Bipredictive Slices in the H．264Standard［J］．IEEE Transactions on Circuits and Systems for Video Technology，2005，15（1）：119－126．

［3］高文趙，德 斌，馬思偉．?dāng)?shù)字視頻編碼技術(shù)原理［M］．北京：科學(xué)出版社，2010．

［4］ITU－T．H．264and ISO／IEC 14496－2010Advanced Video Coding for Generic Audiovisual Services［S］．2010．

［5］Lin Jianliang，Chen Yiwen，Tsai Y P，et al．Motion Vector Coding Techniques for HEVC ［C ］／／Proceedings of the 13th International Workshop on Multimedia Signal Processing．Washington D．C．，USA：IEEE Press，2011：1－6．

［6］彭金虎，岑 峰．HEVC幀間運(yùn)動(dòng)歸并技術(shù)的研究［D］．上海：同濟(jì)大學(xué)，2013．

［7］JCT－VC．Working Draft 4of High－efficiency Video Coding［Z］．2011．

［8］Bross B，Han W J，Ohm J R，et al．High Efficiency Video Coding（HEVC）Text Specification Draft 10［Z］．2013．

［9］Sullivan G J，Ohm J R，Han W J，et al．Overview of the High Efficiency Video Coding（HEVC）Standard［J］．IEEE Transactions on Circuits and System for Video Technology，2012，22（12）：1649－1668．

［10］Kim I K，McCann K，Sugimoto K，et al．High Efficiency Video Coding （HEVC）Test Model 9 Encoder Description［Z］．2012．

［11］Helle P，Oudin S，Bross B，et al．Block Merging for Quad Tree－based Partitioning in HEVC［J］．IEEE Transactions on Circuits and Systems for Video Technology，2012，22（12）：1720－1731．

［12］Vanne J，Viitanen M，H?m?l?inen T D，et al．Comparative Rate－distortion Complexity Analysis of HEVC and AVC Video Codes［J］．IEEE Transactions on Circuits and Systems for Video Technology，2012，22（12）：1885－1898．

［13］Zhou Minhua．AHG10：Configurable and CU－group Level Parallel Merge／Skip［C］／／Proceedings of the 8th Meeting on Joint Collaborative Team on Video Coding．San Jose，USA：［s．n．］，2012．