基于宏塊模式相關(guān)性的深度幀內(nèi)跳過編碼*

馬祥 霍俊彥 楊旭 任光亮 常義林

(西安電子科技大學(xué)綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國家重點實驗室，陜西西安710071)

三維視頻(3DV)能夠為觀眾提供身臨其境的感覺，同時，由于其涉及的領(lǐng)域較為廣泛，所以自提出以來便一直是眾多領(lǐng)域的研究熱點，已有的3DV格式包括雙目立體視頻、多視點視頻［1］、單視點視頻+深度、多視點視頻 +深度(MVD)等［2］．其中，MVD格式利用基于深度圖像的描繪(DIBR)技術(shù)［3］，可在解碼端一定角度內(nèi)的任一視點位置合成具有良好主觀質(zhì)量的虛擬視點，從而實現(xiàn)自由視點電視(FTV)等應(yīng)用．由于具有優(yōu)良的特性，MVD格式目前已被MPEG組織選作3DV的標(biāo)準(zhǔn)格式，并以此展開了標(biāo)準(zhǔn)制定的相關(guān)工作［4-7］．

由于MVD中的所有視點視頻及其對應(yīng)深度信息均需通過壓縮編碼傳輸至解碼端，而利用現(xiàn)有的H．264/AVC編碼標(biāo)準(zhǔn)對其編碼會導(dǎo)致傳輸碼率較高，阻礙了3DV進(jìn)一步的實際應(yīng)用，因此設(shè)計一種更加有效的深度編碼方法顯得尤為重要．目前眾多文獻(xiàn)對如何提高深度編碼效率，尤其是提高深度圖I幀的編碼效率展開了深入的研究．Silva等［8］考慮到深度圖主要是用于合成虛擬視點，提出了兩種按照合成視點失真最小原則來選取幀內(nèi)宏塊模式的編碼技術(shù)．基于深度圖是由尖銳邊緣和大面積平坦區(qū)域組成的特點［9-10］，文獻(xiàn)［11-13］對幀內(nèi)編碼中物體的邊緣部分進(jìn)行了研究，提出基于幾何或圖形的幀內(nèi)預(yù)測方法來提高預(yù)測精度，降低物體深度邊緣部分的失真．Tsang等［10］提出了一種跳過平坦區(qū)域中幀內(nèi)宏塊預(yù)測方向編碼的方法，提高了編碼效率．文獻(xiàn)［14］中提出了一種基于分段線性平面表示的幀內(nèi)編碼方法，對深度圖平坦區(qū)域進(jìn)行有效編碼．

文中依據(jù)深度圖像內(nèi)含有大面積平坦區(qū)域這一特點，研究了深度圖I幀中空間相鄰宏塊編碼模式信息之間的相關(guān)性，提出一種有效的幀內(nèi)宏塊模式跳過編碼方法，據(jù)此降低宏塊模式的編碼冗余．同時，針對現(xiàn)有標(biāo)準(zhǔn)編碼平坦區(qū)域宏塊殘差系數(shù)過程中引入冗余的問題，在對殘差系數(shù)特性進(jìn)行分析的基礎(chǔ)上，結(jié)合宏塊模式跳過編碼方法，提出了一種幀內(nèi)宏塊跳過編碼方法，同時跳過平坦區(qū)域宏塊模式信息與殘差信息的編碼，以期進(jìn)一步提高編碼效率．

1 H．264幀內(nèi)編碼模式描述

對于亮度部分，H．264的幀內(nèi)編碼支持兩種宏塊(MB)劃分方式［15］:一種是16×16劃分，稱為I16模式;另一種是4×4劃分，稱為I4模式．I16模式有4種可選的預(yù)測模式［16］，依次分別為垂直模式、水平模式、DC模式和平面模式，具體如圖1(a)所示．I4模式有9種可選的預(yù)測模式［16］，其具體預(yù)測方式與模式編號如圖1(b)所示．對于色度部分，其預(yù)測模式與I16的預(yù)測模式相同．

圖1 H．264/AVC幀內(nèi)預(yù)測模式Fig．1 Intra prediction modes of H．264/AVC

H．264/AVC編碼器通過率失真優(yōu)化(RDO)準(zhǔn)則選擇最優(yōu)的預(yù)測模式．在RDO過程中，對每個編碼塊的所有預(yù)測模式遍歷并計算其對應(yīng)的拉格朗日代價函數(shù)值J，最終選擇J值最小的模式作為最終模式．J的計算方法如下:

式中，D(S，I)按照下式計算，

式(1)中S為深度數(shù)據(jù)，I為包括宏塊編碼模式、量化參數(shù)等在內(nèi)的編碼參數(shù)集，m為拉格朗日乘子，R(S，I)為對應(yīng)的編碼比特數(shù)，包括模式頭信息的編碼比特數(shù)Rh以及殘差系數(shù)的編碼比特數(shù)Rr，D(S，I)是以參數(shù)集I編碼深度數(shù)據(jù)S得到的失真，具體為原始數(shù)據(jù)(org)與重建數(shù)據(jù)(rec)之間平方差的和(SSD)，如式(2)所示．

2 I幀宏塊相關(guān)性分析

與紋理視頻不同，深度圖表示拍攝場景中物體與攝像機(jī)光心之間的距離信息，與物體自身的紋理無關(guān)．因此，平坦的圖像區(qū)域占據(jù)整幅圖像的主要部分．圖2為一幅典型的深度圖像．深度圖的這一特性決定了I幀編碼在深度圖序列編碼中的重要性，以及I幀編碼中頭信息與殘差信息編碼比特的分布特性．前者表現(xiàn)在編碼一幅I幀圖像所需的比特數(shù)占據(jù)編碼一個圖像組(GOP)所需比特數(shù)的重要部分，后者表現(xiàn)在I幀編碼比特中用于編碼宏塊模式信息的比特占總編碼比特的較大比例．表1給出了Undo_Dancer序列第一個GOP在利用不同的量化參數(shù)(QP=30，34，38，42)編碼后，I幀編碼比特數(shù)占總編碼比特數(shù)的比例，以及I幀中宏塊模式信息的編碼比特數(shù)占I幀所有編碼比特數(shù)的百分比．該實驗采用MVC 參考軟件 JMVC(version 8．3．1)［17］進(jìn)行編碼，按照分級B幀編碼結(jié)構(gòu)，且GOP值設(shè)置為12．雖然一個GOP中只有一個I幀，但是從表1可以看出，I幀的編碼比特數(shù)仍占總編碼比特數(shù)的34．84%～44．73%．并且，宏塊模式編碼比特數(shù)占I幀總編碼比特數(shù)的百分比為36．74%～62．07%．統(tǒng)計結(jié)果表明，降低 I幀中宏塊模式信息的比特開銷是提高深度圖編碼效率的有效途徑．

圖2 典型的深度圖像(Undo_Dancer序列第一幀)Fig．2 Typical depth map image(First frame of Undo_Dancer sequence)

表1 不同QP條件下I幀編碼比特百分比以及I幀中宏塊模式信息編碼比特百分比Table 1 Percentage of coding bits of I frames and percentage of coding bits of MB mode in I frames under different QP conditions

當(dāng)深度圖按照I幀編碼時，平坦的圖像區(qū)域通常將會選擇I16模式進(jìn)行編碼［18］．而在H．264標(biāo)準(zhǔn)中，對于I16模式信息的編碼有著明確的規(guī)定．依據(jù)其采用的預(yù)測模式、色度編碼塊方式(CBP)和亮度CBP等信息，I16模式會被進(jìn)一步細(xì)分為各種類型，并分別賦予大小不同的索引值，對宏塊模式信息的編碼最終為對其相應(yīng)索引值的編碼［19］．雖然利用基于上、下文的熵編碼方法可有效地降低宏塊模式之間的相關(guān)性，但是對于深度圖中大量處于平坦區(qū)域的宏塊，它們的編碼模式之間仍存在較大的編碼冗余．下文將對其進(jìn)行詳細(xì)分析．

對于處在平坦區(qū)域中的當(dāng)前宏塊C及其相鄰的左宏塊A和上宏塊B，其相對位置如圖3所示．在進(jìn)行Intra宏塊模式判決過程中，最終會選擇具有最小代價函數(shù)值J*的預(yù)測模式作為最佳模式，即

圖3 空間相鄰宏塊A，B和C的相對位置Fig．3 Relative position of spatial adjacent MB A，B and C

由于A，B，C均處于平坦區(qū)域，所含紋理單一，所以無論C采用何種預(yù)測模式，所得預(yù)測數(shù)據(jù)都近似相等．并且，由于預(yù)測殘差數(shù)值較小且相近，經(jīng)過DCT變換和量化之后的殘差系數(shù)全部為0，殘差編碼比特數(shù)Rr也為0．因而重建數(shù)據(jù)和失真D(S，I)也近似相等．所以，模式選擇的結(jié)果主要由Rh決定．而在Intra模式判決階段，頭信息的編碼比特數(shù)Rh主要來自宏塊模式信息．當(dāng)對宏塊C的模式進(jìn)行編碼時，會利用周圍已編碼宏塊A、B的模式進(jìn)行預(yù)測，如果A、B的模式與C相同，編碼之后的比特數(shù)最少．顯然，相比于其他模式，C更易于選到與A、B相同的模式．上述分析對于任一處在平坦區(qū)域內(nèi)(不包括平坦區(qū)域邊緣部分)的宏塊均成立，所以平坦區(qū)域中的絕大部分宏塊均將以相同的宏塊模式編碼，從而平坦區(qū)域中宏塊的編碼模式信息之間存在較大的空間相關(guān)性．表2給出了Undo_Dancer序列空間相鄰宏塊編碼模式信息之間相關(guān)性的統(tǒng)計情況．利用 JMVC8．3．1 分別在 QP 為 30、34、38 和 42情況下按照GOP=12編碼60幀圖像，并分別統(tǒng)計所有I幀中可跳過宏塊以及量化之后殘差系數(shù)全部為0的可跳過宏塊的比例．其中可跳過宏塊的定義如下:如果宏塊C的編碼模式與宏塊A、B的編碼模式相同，則稱宏塊C的編碼模式可跳過．顯然，可跳過宏塊的比例越高，幀內(nèi)宏塊編碼模式之間的相關(guān)性越強(qiáng)．

表2 不同QP下空間相鄰宏塊模式之間相關(guān)性的統(tǒng)計結(jié)果Table 2 Statistic results of correlation among modes of spatial adjacent MBs under different QP conditions

由表2可知，深度圖I幀中模式可跳過的宏塊與殘差系數(shù)為0的可跳過宏塊均占較大比例．由于空間相鄰宏塊的模式信息之間存在較強(qiáng)的相關(guān)性，導(dǎo)致編碼中出現(xiàn)較多冗余．如果能夠降低可跳過宏塊編碼模式的編碼冗余，將會有效提高編碼效率．

3 幀內(nèi)跳過編碼方法

3．1 幀內(nèi)宏塊模式跳過編碼方法

由上述分析可知，空間相鄰宏塊編碼模式相同的概率較高，它們之間存在較強(qiáng)的相關(guān)性．基于此，文中提出一種宏塊模式跳過編碼方法．在經(jīng)過RDO模式選擇之后的宏塊編碼階段，利用空間相鄰已編碼宏塊模式計算出預(yù)測模式，如果當(dāng)前宏塊模式與預(yù)測模式相同，則直接跳過當(dāng)前宏塊模式編碼部分，不再對其進(jìn)行編碼．而在解碼端，按照同樣的方法，利用空間相鄰已解碼宏塊模式計算出預(yù)測模式，并作為當(dāng)前宏塊模式．為了在解碼端指明當(dāng)前宏塊是否采用了跳過編碼方法，引入標(biāo)志位IntraSkipFlag，當(dāng)IntraSkipFlag為1時，表明當(dāng)前宏塊為可跳過宏塊，其編碼模式?jīng)]有參與編碼，需要計算出預(yù)測模式作為當(dāng)前宏塊的編碼模式．當(dāng)IntraSkipFlag為0時，表明當(dāng)前宏塊為一般宏塊，其編碼模式參與編碼，需進(jìn)一步對當(dāng)前宏塊的編碼模式碼流進(jìn)行解析．

根據(jù)當(dāng)前宏塊所處位置的不同，預(yù)測模式的計算可分為兩種情況:第一種情況，對于處在平坦區(qū)域內(nèi)部的宏塊C，由于其空間相鄰宏塊A和B也處于平坦區(qū)域內(nèi)部，所以A，B和C的編碼模式均相同，利用A和B均能夠準(zhǔn)確預(yù)測當(dāng)前宏塊C的模式;第二種情況，對于處在靠近平坦區(qū)域邊緣部分的宏塊C，其空間相鄰宏塊A和B的模式并不一定相等．圖4給出了處于邊緣部分的宏塊位置示意圖．

圖4 靠近平坦區(qū)域邊緣部分的宏塊A，B和CFig．4 MB A，B and C near the edge of flat areas

如圖4所示，由于A、C均于平坦區(qū)域內(nèi)部，所以A、C的編碼模式最有可能相同，而B不一定采用相同模式．因此，利用A預(yù)測C的模式更準(zhǔn)確．又因為相比于處在非平坦區(qū)域的宏塊，平坦區(qū)域中的宏塊采用的編碼模式索引值較小［19］．綜上所述，文中提出了以下預(yù)測模式計算方法:

式中，MBModeA、MBModeB、MBModepre分別為宏塊 A模式、宏塊B模式和預(yù)測模式．它利用左宏塊A與上宏塊B編碼模式的最小值作為當(dāng)前宏塊C編碼模式的預(yù)測模式，這樣既能準(zhǔn)確預(yù)測平坦區(qū)域內(nèi)部的宏塊編碼模式，也能有效改善靠近平坦區(qū)域邊緣部分宏塊模式的預(yù)測效果．最終IntraSkipFlag的計算方法為:

3．2 幀內(nèi)宏塊跳過編碼方法

由于可跳過宏塊絕大部分位于平坦區(qū)域，而平坦區(qū)域中的可跳過宏塊由于紋理單一，預(yù)測較為準(zhǔn)確，所以預(yù)測殘差數(shù)值較?。杀?可知，模式可跳過宏塊的殘差系數(shù)經(jīng)過DCT變換和量化之后一般為0，對于其殘差部分可以完全跳過不編碼．利用現(xiàn)有標(biāo)準(zhǔn)對殘差系數(shù)編碼時，會引入指示信息指示當(dāng)前編碼塊中是否存在非0的編碼系數(shù)［19］，而對于絕大多數(shù)的可跳過宏塊，這些指示信息是不需要編碼的．鑒于此，文中進(jìn)一步提出了一種宏塊模式與殘差系數(shù)均跳過的幀內(nèi)宏塊跳過編碼方法．為了挑選出可跳過宏塊中殘差系數(shù)全部為0的宏塊，文中對式(5)中的條件進(jìn)行了加強(qiáng)，在宏塊模式跳過條件的基礎(chǔ)上，引入了一個額外條件:所有量化后的殘差系數(shù)為0，即篩選出量化后殘差系數(shù)全部為0的模式可跳過宏塊作為最終跳過宏塊．篩選條件如下所示:

式中，MBModepre仍然按照式(4)的方法計算．式中Coeffij為當(dāng)前宏塊C中第i行第j列位置量化之后的殘差系數(shù)．如果當(dāng)前宏塊的IntraSkipFlag為1，則跳過當(dāng)前宏塊模式與殘差部分的編碼．在解碼端，對于可跳過宏塊的宏塊模式仍然按照上述方法解碼，而對于殘差系數(shù)則直接用0填充．

3．3 碼流結(jié)構(gòu)的改變

所增加的IntraSkipFlag在MB級碼流結(jié)構(gòu)中的位置如圖5所示．由于要在解析宏塊模式之前判斷出當(dāng)前宏塊是否屬于跳過宏塊，所以將其放置于宏塊模式語法元素(MBtype)的前面．在解碼端，依據(jù)解析出來的IntraSkipFlag判斷是否為跳過宏塊．若為跳過宏塊，則按照式(4)的方法，直接取相鄰已解碼宏塊A、B編碼模式的最小值作為當(dāng)前宏塊的編碼模式;否則，按照原有的方式進(jìn)行解碼．

圖5 IntraSkipFlag在碼流結(jié)構(gòu)中的位置Fig．5 Location of IntraSkipFlag in stream structure

4 實驗結(jié)果及分析

為了驗證所提方法的有效性，文中采用了JMVC8．3．1作為測試平臺對多個測試序列進(jìn)行了編碼，并與采用原始JMVC8．3．1算法的編碼結(jié)果作比較．實驗對6個深度序列進(jìn)行了測試，分別為Mobile(720 ×540，24fps，view3)，Kendo(1024 ×768，30fps，view1)，Lovebird1(1024 × 768，30fps，view4)，Undo_Dancer(1920×1088，25fps，view1)，GT_Fly(1920 ×1088，25fps，view7)，Poznan_Hall2(1920 × 1088，25fps，view9)，括號內(nèi)3種參數(shù)分別表示序列分辨率，序列幀率以及編碼視點．編碼幀數(shù)均為100，QP為30、34、38和42．在編碼過程中，采用了全 I幀的編碼結(jié)構(gòu)，并且采用了基于內(nèi)容的算術(shù)熵編碼(CABAC)方式．由于文中所提算法位于模式判決之后的編碼階段，對重建幀的質(zhì)量沒有任何影響，所以文中只對編碼碼率進(jìn)行統(tǒng)計并給出碼率節(jié)省百分比．為了便于說明，文中所提兩種方法分別記作宏塊模式跳過(MBMS)方法和宏塊模式與殘差均跳過(MBMS+RS)方法．表3為統(tǒng)計的結(jié)果．

由表 3 可看出，與JMVC8．3．1相比，MBMS 和MBMS+RS碼率節(jié)省百分比平均為7．83%和8．93%．特別是對于Poznan_Hall2序列，其在QP為42時碼率節(jié)省百分比分別可以達(dá)到27．91%和30．42%．這是因為Poznan_Hall2序列相比于其他序列含有更大面積的平坦區(qū)域，空間相鄰宏塊的相關(guān)性更強(qiáng)，可跳過宏塊的比例更高．另外，由于MBMS+RS方法進(jìn)一步減少了殘差編碼過程中的冗余信息，碼率節(jié)省百分比相比于MBMS+RS稍高．此外，同一個序列在不同QP下的碼率節(jié)省百分比不同．具體說來，QP越大，碼率節(jié)省百分比越高．這是因為，對于一個給定序列，圖像中平坦區(qū)域的大小是不變的，即使利用不同的QP編碼，可跳過宏塊的比例仍基本保持一致，即節(jié)省的比特數(shù)基本保持不變，但是總的碼率隨著QP的增大而減小，所以碼率節(jié)省百分比隨著QP的增大而增大．

表3 文中所提方法與JMVC8．3．1編碼性能的比較Table 3 Coding performancecomparison between proposed methods and JMVC8．3．1

5 結(jié)語

文中針對深度圖平坦區(qū)域內(nèi)空間相鄰宏塊的編碼模式之間存在較強(qiáng)相關(guān)性的特點，提出了一種宏塊模式跳過編碼方法．為進(jìn)一步減小模式可跳過宏塊殘差系數(shù)編碼過程中引入的冗余信息，提出了宏塊模式和殘差均跳過的幀內(nèi)宏塊跳過編碼方法．實驗表明，相比于原有方法，文中所提兩種方法MBMS和MBMS+RS的碼率節(jié)省百分比分別可以達(dá)到7．83%和8．93%．由于所提兩種方法有效地降低了編碼碼率，提高了編碼效率，并且對重建幀的質(zhì)量沒有任何影響，所以可以將其應(yīng)用于現(xiàn)有的3DV編解碼系統(tǒng)中，以促進(jìn)3DV的進(jìn)一步發(fā)展和應(yīng)用．

［1］朱威，陳耀武．一種多視點視頻編碼快速運動估計算法［J］．華南理工大學(xué)學(xué)報:自然科學(xué)版，2011，39(2):39-45．Zhu Wei，Chen Yao-wu．A fast motion estimation algorithm for multi-view video coding［J］．Journal of South China University of Technology:Natural Science Edition，2011，39(2):39-45．

［2］Merkle P，Muller K，Wiegand T．3D video:acquisition，coding and display［J］．IEEE Transactions on Consumer Electronics，2010，56(2):946-950．

［3］Fehn C．Depth-image-based rendering(DIBR)，compression and transmission for a new approach on 3D-TV［C］∥Proceedings of the International Society for Optical Engineering．San Jose:SPIE，2004:93-104．

［4］Müller K，Vetro A，Baroncini V．Report of subjective test results from the call for proposals on 3D video coding technology［C］∥Proceedings of Moving Pictures Experts Group the 98th Meeting．Geneva:MPEG，2011:1-57．

［5］Schwarz H，Wegner K，Rusert T．Overview of 3DV coding tools proposed in the call for proposals［C］∥Proceedings of Moving Pictures Experts Group the 98th Meeting．Geneva:MPEG，2011:1-6．

［6］Hannuksela M M．Test model under consideration for AVC-based 3D video coding(3DV-ATM)［C］∥Proceedings of Moving Pictures Experts Group the 98th Meeting．Geneva:MPEG，2011:1-15．

［7］Schwarz H，Rusanovskyy D．Common test conditions for HEVC-and AVC-based 3DV［C］∥Proceedings of Moving Pictures Experts Group the 98th Meeting．Geneva:MPEG，2011:1-3．

［8］Silva D V S X De，F(xiàn)ernando W A C．Intra mode selection for depth map coding to minimize rendering distortions in 3D video［J］．IEEE Transactions on Consumer Electronics，2009，55(4):2385-2393．

［9］Lee J，Wey H，Park D．A fast and efficient multi-view depth image coding method based on temporal and inter view correlations of texture images［J］．IEEE Transactions on Circuits and Systems for Video Technology，2011，21(12):1859-1868．

［10］Tsang S，Chan Y，Siu W．Efficient intra prediction algorithm for smooth regions in depth coding［J］．Electronics Letters，2012，48(18):1117-1119．

［11］Kang M，Lee C，Lee J，et al．Adaptive geometry-based intra prediction for depth video coding［C］∥IEEE International Conference on Multimedia and Exposition．Singapore:IEEE，2010:1230-1235．

［12］Kang M，Ho Y．Depth video coding using adaptive geometry based intra prediction for 3D video systems［J］．IEEE Transactions on Multimedia，2012，14(1):121-128．

［13］Shen G，Kim W，Ortega A，et al．Edge-aware intra prediction for depth-map coding［C］∥IEEE International Conference on Image Processing．Hong Kong:IEEE，2010:3393-3396．

［14］Bici M O，Lainema J，Ugur K，et al．Planar representations for intra coding of depth maps［C］∥IEEE 3DTV Conference:The True Vision-Capture，Transmission and Display of 3D Video．Antalya:IEEE，2011:1-4．

［15］楊旭，常義林，霍俊彥，等．一種三維視頻深度圖像快速幀內(nèi)編碼方式［J］．西安電子科技大學(xué)學(xué)報，2012，39(3):8-14．Yang Xu，Chang Yi-lin，Huo Jun-yan，et al．An efficient intra-frame coding algorithm for depth image in 3D video［J］．Journal of Xidian University，2012，39(3):8-14．

［16］Wiegand T，Sullivan G，Biontegaard G，et al．Overview of the H．264/AVC video coding standard ［J］．IEEE Transactions on Circuits and Systems for Video Technology，2003，13(7):560-576．

［17］Chen Y，Yea S，Pandit P．Text of ISO/IEC 14496-5:2001/FDAM 15 MVC reference software［C］∥Proceedings of Moving Pictures Experts Group the 90th Meeting．Xi＇an:MPEG，2009:1-5．

［18］Choi I，Lee J，Jeon B．Fast coding mode selection with rate-distortion optimization for MPEG-4 Part10 AVC/H．264 ［J］．IEEE Transactions on Circuits and Systems for Video Technology，2006，16(12):1557-1561．

［19］ISO/IEC 14496-10．Advanced video coding for generic audiovisual services［S］．