采用相似度分析的MV-HEVC碼率控制算法

嚴(yán) 濤, 黃金火, 雷中岳, 陳德禮

(莆田學(xué)院信息工程學(xué)院, 福建 莆田 351100)

0 引言

隨著信息技術(shù)的不斷發(fā)展與應(yīng)用，傳統(tǒng)的二維視頻技術(shù)已經(jīng)不能滿(mǎn)足用戶(hù)的視覺(jué)需求，高清、3D、無(wú)線移動(dòng)已經(jīng)成為視頻應(yīng)用的主流趨勢(shì).但是現(xiàn)有的編碼標(biāo)準(zhǔn)的壓縮效率仍然不足以應(yīng)對(duì)高清、超高清視頻應(yīng)用，仍需要更為高效的編碼壓縮方案.為此ITU-T和MPEG成立了視頻編碼聯(lián)合小組(joint collaborative team on video coding, JCT-VC).2013年，第一代高效率視頻編碼(HEVC)標(biāo)準(zhǔn)完成[1].2015年，MV-HEVC作為一種基于HEVC的新3D標(biāo)準(zhǔn)之一，具有強(qiáng)烈的立體感和靈活的交互能力，能夠生動(dòng)地呈現(xiàn)視頻場(chǎng)景，在3DTV和視頻會(huì)議等領(lǐng)域展現(xiàn)了廣闊的應(yīng)用前景[2-3], 已成為視頻領(lǐng)域的國(guó)際研究熱點(diǎn)[4-5].

碼率控制是通過(guò)控制編碼參數(shù)以使產(chǎn)生的比特流符合不同信道比特率的需求，并達(dá)到高的編碼質(zhì)量，其是視頻編碼中非常重要的技術(shù)之一，任何視頻壓縮標(biāo)準(zhǔn)離開(kāi)碼率控制其應(yīng)用都會(huì)受到限制.以往的視頻壓縮標(biāo)準(zhǔn)如MPEG-2、MPEG-4、H.263、H.264、MVC(多視點(diǎn)視頻編碼)等已給出碼率控制模型，而目前國(guó)際上公布的MV-HEVC的檢驗(yàn)?zāi)Ｐ蚚6]，尚未給出有效的碼率控制算法.

現(xiàn)階段，國(guó)內(nèi)外從事MV-HEVC碼率控制的研究較少，而主要從事MVC碼率控制的相關(guān)研究.Woo等[7]基于率失真理論研究了立體視頻編碼中的最佳比特分配問(wèn)題，提出了合理的比特分配算法，但編碼復(fù)雜度高、計(jì)算量大，很難滿(mǎn)足應(yīng)用的需求.Lim等[8]提出了基于二項(xiàng)式模型的多視點(diǎn)視頻編碼的碼率控制算法.該算法利用運(yùn)動(dòng)預(yù)測(cè)和視差預(yù)測(cè)的空間結(jié)構(gòu)關(guān)系，將所有圖像分成多種編碼類(lèi)型，然后對(duì)各種類(lèi)型的圖像分別建模，根據(jù)模型的參數(shù)計(jì)算各種類(lèi)型幀的目標(biāo)比特?cái)?shù)和幀級(jí)量化參數(shù).然而在多視點(diǎn)視頻編碼中，各個(gè)視點(diǎn)之間的視差預(yù)測(cè)特性具有較大的差異，因此預(yù)測(cè)關(guān)系相同的編碼圖像可能具有不同的編碼特性，這時(shí)采用相同的模型參數(shù)計(jì)算得到的目標(biāo)比特?cái)?shù)會(huì)出現(xiàn)一定的偏差.Park等[9]考慮多視點(diǎn)視頻編碼中采用分層B幀的影響，在H.264基礎(chǔ)上對(duì)多視點(diǎn)視頻編碼進(jìn)行比特分配，也能保持高效的編碼效率，但碼率控制偏差比較大，平均碼率控制誤差在1%以上，在實(shí)際應(yīng)用中不具有可操作性.文獻(xiàn)[10]在立體視頻編碼的碼率控制算法中，對(duì)左右兩個(gè)視點(diǎn)的碼流采用了統(tǒng)一的緩沖區(qū)，然后使用 MPEG-2的碼率控制模型TM5進(jìn)行碼流速率的控制.但由于在多視點(diǎn)視頻編碼中，隨著編碼圖像類(lèi)型的增多，此種基于TM5的目標(biāo)比特?cái)?shù)分配的準(zhǔn)確率會(huì)變差.以上碼率控制都是基于H.264的多視點(diǎn)視頻編碼碼率控制研究，目前基于MV-HEVC的多視點(diǎn)視頻編碼碼率控制研究較少.文獻(xiàn)[11]提出了基于3D-HEVC的多視點(diǎn)視頻編碼碼率控制研究，但是該算法碼率控制誤差比較大，離實(shí)際應(yīng)用還很遙遠(yuǎn).

為此，本研究在分析現(xiàn)有視頻碼率控制中率失真模型的不足和多視點(diǎn)視頻編碼的特點(diǎn)后，提出一種面向MV-HEVC多視點(diǎn)視頻碼率控制算法.實(shí)驗(yàn)仿真結(jié)果表明，該碼率控制算法的實(shí)際碼率與目標(biāo)碼率平均誤差僅為0.96%，同時(shí)保持高效的編碼效率，理論上已達(dá)到實(shí)際應(yīng)用基本要求.

1 碼率控制新策略與率失真理論

ρ域的碼率控制算法是由He等[12-13]提出的，其中ρ表示變換系數(shù)量化后零系數(shù)的個(gè)數(shù)占所有系數(shù)的百分?jǐn)?shù).通過(guò)大量的試驗(yàn)及理論證明得出以下結(jié)論： 對(duì)于視頻信號(hào)，ρ與紋理部分編碼比特率T(ρ)成線性關(guān)系，線性模型表示為：

T(ρ)=θ(1-ρ)

(1)

此模型簡(jiǎn)單有效，作為基礎(chǔ)已被廣泛應(yīng)用[14].

為了將ρ域源模型的方法引入到MV-MVC碼率控制，本研究通過(guò)大量試驗(yàn)，找到ρ與紋理部分編碼比特率的關(guān)系.試驗(yàn)采用的平臺(tái)是2016年國(guó)際上公布的MV-HEVC的檢驗(yàn)?zāi)Ｐ蚚6]，“exit”視頻序列，幀率25幀·s-1，量化參數(shù)QP的取值范圍為0～51，圖1給出了15幀的R(ρ)曲線.從圖中可以看出，R(ρ)近似為一條經(jīng)過(guò)(1, 0)點(diǎn)的二次曲線.本序列的其他視點(diǎn)、其他幀以及其他序列的試驗(yàn)結(jié)果也同樣表明有此結(jié)論.不失一般性，可以假設(shè)ρ與紋理部分編碼比特率R(ρ)具有如下二次關(guān)系

R(ρ)=α(1-ρ)2+β(1-ρ)+γ

(2)

其中:α,β,γ為一元回歸系數(shù)，初值設(shè)為0、R/2和0，在每幀編碼完成后，需在后編碼階段進(jìn)行刷新.又

(3)

那么研究如下R-ρ模型即可

R(ρ)=α(1-ρ)2+β(1-ρ)

(4)

其中,α,β可以由如下的統(tǒng)計(jì)分析方法給出： 令x1(ρ)=(1-ρ)2,x2(ρ)=1-ρ, (x11,x21,R1), (x12,x22,R2), …, (x1n,x2n,Rn)是已存在的n個(gè)樣本值. 再令

(5)

利用多元回歸技術(shù)，可以計(jì)算得到模型參數(shù)N為

N=(KTK)-1KTR

(6)

其中:KT是K的轉(zhuǎn)置矩陣，(KTK)-1是KTK的逆矩陣.

圖1 exit序列R(ρ)曲線Fig.1 Experimental results for exit

2 MV-HEVC碼率控制算法描述

為了與最新視頻編碼標(biāo)準(zhǔn)HEVC兼容，本研究提出的比特分配與碼率控制是以HEVC碼率控制算法為基礎(chǔ).這里主要在于如何在MV-HEVC各個(gè)視點(diǎn)之間進(jìn)行合理的碼率分配，采用視點(diǎn)間相似度分析進(jìn)行合理比特分配.

2.1 視點(diǎn)間比特分配

根據(jù)視點(diǎn)間的相似度以及已編碼信息給不同視點(diǎn)合理的分配比特.用權(quán)重wk表示該視點(diǎn)k的重要程度，wk越大表明該視點(diǎn)越重要.在每個(gè)編碼GGOP圖像組內(nèi)第k個(gè)視點(diǎn)GOPk分配到的比特總數(shù)由式(7)給出

TGOP(nk, 0)=TGGOP(sni, 0)·wk

(7)

其中:wk(k=0, 1, 2,L, …,Nview-1)初值由式(8)給出, 即

(8)

這里，N表示編碼視點(diǎn)的數(shù)目;S(Vj,Vk)表示視點(diǎn)Vj,Vk相似度，采用雙線性相似度度量算法.該算法已成功用于圖像檢索領(lǐng)域，其優(yōu)于傳統(tǒng)的距離度量方法，沒(méi)有距離度量等限制條件.Ej,Ek分別為兩個(gè)視點(diǎn)特征向量，T為本研究要學(xué)習(xí)的矩陣. 即有

(9)

2.2 幀層比特分配

在HEVC幀層碼率分配中，每幀比特分配由幀率、目標(biāo)緩沖區(qū)容量以及實(shí)際緩沖區(qū)大小等決定，沒(méi)有把該編碼幀的殘差能量考慮進(jìn)去，這樣很可能引起圖像質(zhì)量下降和跳幀現(xiàn)象.文獻(xiàn)[15]按編碼幀的殘差能量提出了下面最佳幀目標(biāo)比特分配方法：

(10)

式中:T為編碼M幀所消耗比特?cái)?shù)之和； MADa表示所有幀MAD的平均值； MADj表示第j幀的MAD；Cj和Cm分別為第j幀和第m幀幀頭信息占有比特.從式(10)可知，MADj和Cj的圖像幀越大分配的目標(biāo)比特越多.

在多視點(diǎn)視頻編碼中，第(j-1)幀分配的目標(biāo)比特如下：

(11)

式中:Ca表示編碼當(dāng)前GOP中已編碼幀的頭信息所消耗比特的平均值.

一般來(lái)說(shuō)，幀的活動(dòng)時(shí)域越小，需要的比特越少； 反之，幀的活動(dòng)時(shí)域越大，需要的比特越多.為了多視點(diǎn)視頻編碼碼率控制更為精確，將式(11)的碼率控制方法作進(jìn)一步改進(jìn)，當(dāng)前幀目標(biāo)比特由式(12)計(jì)算：

(12)

式中: FD(j)、FD(j-1)分別為第j編碼幀和第j-1編碼幀的活動(dòng)時(shí)域度；Tj為第j幀幀頭信息所消耗比特.

2.3 基本單元層比特分配

根據(jù)MAD的預(yù)測(cè)值分配當(dāng)前基本宏塊的目標(biāo)比特，此方法比較簡(jiǎn)單，就是把每幀所分配的比特再平均分給該幀的每個(gè)基本單元層，這樣同一基本單元層中不同宏塊用相同的量化參數(shù)進(jìn)行編碼.

(13)

上式中，MADmbi，MADunit表示當(dāng)前基本單元層中第i個(gè)宏塊的MAD的預(yù)測(cè)值和當(dāng)前基本單元的MAD的預(yù)測(cè)值； QPmbi，QPunit表示當(dāng)前基本單元層中第i個(gè)宏塊的量化參數(shù)和當(dāng)前基本單元的量化參數(shù).

3 實(shí)驗(yàn)測(cè)試

為了驗(yàn)證本研究算法，在JCT-3V提供的MV-HEVC系統(tǒng)平臺(tái)上[6]，對(duì)本研究碼率控制算法與文獻(xiàn)[11]提出的多視點(diǎn)碼率控制算法進(jìn)行編碼性能的實(shí)驗(yàn)比較.采用了Newspaper 、Kendo 、Lovebird1、Poznan Hall2 、Undo Dancer 5個(gè)標(biāo)準(zhǔn)3DV測(cè)試序列測(cè)試.序列的分辨率包括1 920 px×1 088 px和1 024 px×768 px.相關(guān)參數(shù)見(jiàn)表1.

表1 測(cè)試序列的相關(guān)參數(shù)

如表1所示，本研究采用的5個(gè)測(cè)試序列都有各自的特點(diǎn)： Newspaper 、Kendo 、Lovebird1尺寸為1 024 px×768 px，Poznan Hall2 、Undo Dancer 尺寸更大1 920 px×1 088 px； Newspaper和Kendo 序列場(chǎng)景變化緩慢，Poznan Hall2和Undo Dancer序列全局運(yùn)動(dòng)較快； Newspaper 、Kendo、Poznan Hall2選取室內(nèi)場(chǎng)景，Lovebird1和Undo Dancer在室外場(chǎng)景拍攝.

圖2給出了Newspaper和Poznan Hall2序列PSNR波動(dòng)圖，結(jié)果表明本研究所采用的碼率控制算法，前后幀之間PSNR的波動(dòng)明顯降低，改善了主觀效果.圖3給出了序列Newspaper和Poznan Hall2 PSNR實(shí)驗(yàn)結(jié)果，與文獻(xiàn)[11]相比，本研究的算法能夠有效地控制多視點(diǎn)視頻編碼的碼率，同時(shí)保持較高的編碼效率.

表2給出了多視點(diǎn)視頻編碼碼率控制的仿真結(jié)果.從表2可見(jiàn)，本研究所提出的碼率控制算法與文獻(xiàn)[11]相比，碼率更為精確且偏差較小，平均碼率誤差小于1%，能滿(mǎn)足實(shí)際應(yīng)用要求.其主要原因?yàn)椴粌H在視點(diǎn)之間進(jìn)行較為合理的碼率控制，而且在幀層以及基本單元層都很好地進(jìn)行碼率控制.其中Poznan Hall2序列目標(biāo)比特2 000 kbit·s-1, 碼率控制誤差比較大為2.99%，這主要原因是Poznan Hall2序列運(yùn)動(dòng)比較劇烈，難以進(jìn)行精確比特分配.此外，從表2也可以看出本研究所提出的碼率控制算法與文獻(xiàn)[11]相比，PSNR也有所提高.

圖2 PSNR波動(dòng)圖Fig.2 PSNR fluctuations

圖3 PSNR實(shí)驗(yàn)結(jié)果Fig.3 PSNR experiment results

序列v目標(biāo) /kbit·s-1文獻(xiàn)[11]v[11] / kbit·s-1PSNR / dB本研究算法v本研究 / kbit·s-1PSNR /dB碼率控制誤差 / %文獻(xiàn)[11]本研究算法PoznanHall220001925.1940.981940.2540.973.742.9930002950.2341.802987.4641.721.660.4240003979.3442.144013.3942.200.520.33Lovebird120001973.3135.662023.0335.651.331.1530003075.7137.243020.0837.222.520.6740004058.6537.904023.2437.871.470.58Kendo20002011.8938.772017.2539.380.590.8630002993.0340.512982.2841.220.230.5940004020.0842.154028.3442.370.500.71UndoDancer20002069.4429.672012.7129.633.470.6430003088.5431.132978.8631.082.950.7040004078.5732.133973.3232.151.960.67Newspaper20001982.4734.322035.7234.750.881.7930003034.4536.063036.2336.311.151.20140004154.5037.174078.3737.363.861.96Average1.740.96

4 結(jié)論

本研究在分析了現(xiàn)有視頻碼率控制中率失真模型的不足和多視點(diǎn)視頻編碼的特點(diǎn)后，提出了一種基于HEVC多視點(diǎn)視頻編碼的碼率控制算法.該算法涉及整個(gè)碼率控制過(guò)程，從碼率模型設(shè)計(jì)到每個(gè)模型比特分配與碼率控制，這樣保證碼率控制算法精確性.實(shí)驗(yàn)結(jié)果表明, 提出的面向MV-HEVC的比特分配與碼率控制算法能基于事先給定的編碼參數(shù)進(jìn)行有效的碼率控制.下一步將深入研究視點(diǎn)間相關(guān)性以便提高碼率控制算法.另外，本研究尚未考慮多視點(diǎn)場(chǎng)景切換，這也是今后工作研究的重點(diǎn).