3D-HEVC中深度圖編碼技術(shù)研究進展

雷海衛(wèi)，劉文怡，王安紅

(1. 中北大學 儀器科學與動態(tài)測試教育部重點實驗室，山西 太原 030051；2. 太原科技大學 電子信息工程學院，山西 太原 030024)

?

3D-HEVC中深度圖編碼技術(shù)研究進展

雷海衛(wèi)1，劉文怡1，王安紅2

(1. 中北大學 儀器科學與動態(tài)測試教育部重點實驗室，山西 太原 030051；2. 太原科技大學 電子信息工程學院，山西 太原 030024)

3D-HEVC是為了滿足3D視頻和自由視點視頻的高效編碼而最新制定的視頻編碼標準，它要求同時編碼幾個視點的紋理視頻和深度圖。完全采用傳統(tǒng)的技術(shù)來編碼深度圖會使得深度圖內(nèi)部銳利邊界處產(chǎn)生偽影效應(yīng)，為此，一些新的針對于深度圖的編碼工具被開發(fā)。詳細介紹了這些編碼工具，同時介紹了編碼深度圖時所使用的率失真優(yōu)化方法。

3D-HEVC；深度圖編碼；率失真優(yōu)化

1　3D-HEVC簡介

HEVC(High-efficiency Video Coding)作為最新一代的視頻編碼標準由運動圖像專家組(Moving Picture Experts Group，MPEG)和國際電信聯(lián)盟電信標準化部(International Telecommunication Union Telecommunication Standardization Sector，ITU-T)的視頻編碼專家組共同建立的視頻編碼聯(lián)合協(xié)作小組(Joint Collaborative Team on Video Coding，JCT-VC)在2013年制定完成。由于其高效性(相比AVC/H.264，性能翻倍)被廣泛關(guān)注。隨后，為了滿足3D視頻和自由視點視頻的高效編碼需求，3D視頻編碼協(xié)作小組(Joint Collaborative Team on 3D-Video， JCT-VC)成立，負責制定一個新的視頻編碼標準——3D-HEVC[1-2]。

3D-HEVC作為HEVC的擴展，用來編碼深度增強的3D視頻，格式可以是立體視頻、多視點視頻以及多視點視頻加深度。這種靈活的配置結(jié)構(gòu)可以適用于不同的解碼器，也可以滿足在不同顯示設(shè)備上的顯示需求。3D-HEVC的系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1　3D-HEVC的系統(tǒng)結(jié)構(gòu)

通常，編碼器端需要對幾個視點(包括基本視點和依賴視點)的紋理視頻以及對應(yīng)的深度圖進行編碼，產(chǎn)生既包含紋理又包含深度信息的碼流，相機參數(shù)也包含在碼流中。解碼器端如果是一個3D視頻解碼器，那么編碼的紋理視頻、對應(yīng)的深度圖以及相機參數(shù)將被解碼器重建出來。然后，通過采用基于深度圖繪制的技術(shù)[3]合成出多個虛擬視點。原有視點和虛擬視點用于在一個自由立體顯示設(shè)備上顯示。如果3D視頻解碼器連接的是一個立體顯示設(shè)備，那么一個立體視頻對將被產(chǎn)生用于在立體顯示設(shè)備上顯示。如果3D視頻解碼器連接的是一個傳統(tǒng)的2D顯示設(shè)備。那么一個原有視點或虛擬視點將用于在傳統(tǒng)2D設(shè)備上顯示。

除了3D視頻解碼器，接收端的解碼器也可以是一個傳統(tǒng)的2D視頻解碼器。這時，解碼器前面需要額外連接一個碼流抽取器，負責只抽取基本視點的碼流，抽取出的碼流經(jīng)2D解碼器解碼后用于在傳統(tǒng)的2D顯示設(shè)備上顯示。

編碼器端編碼的多個視點也可以配置為包含一個立體視頻對的結(jié)構(gòu)。此時，立體視頻對子碼流可以經(jīng)碼流抽取器從復(fù)合的3D視頻碼流中抽取出來。抽取的碼流被立體視頻解碼器解碼后用于在立體顯示設(shè)備上顯示。

如前所述，3D-HEVC中解碼端重建的深度圖和對應(yīng)的紋理視頻可以通過基于深度圖繪制的技術(shù)來合成中間的虛擬視點。此外，深度圖中的深度還可以為紋理視頻的編碼提供輔助的信息。基于這些信息，新的用于改善紋理圖編碼的工具被開發(fā)，比如面向深度的基于鄰居塊的視差矢量(Depth-oriented Neighboring-block-based Disparity Vector， DoNBDV)[4]和基于深度的塊劃分(Depth-based Block Partitioning， DBBP)[5]，這些基于深度的編碼工具的使用有主于提高紋理圖的編碼性能。因此，如何高效且高質(zhì)量地編碼深度圖顯得尤為重要。

2　深度圖編碼

深度圖的編碼基本沿用了HEVC中的編碼技術(shù)，包括基于塊的編碼結(jié)構(gòu)以及相關(guān)的編碼工具。然而，深度圖具有有別于紋理視頻的特征，它內(nèi)部包含了大塊的平坦區(qū)域和一些銳利的邊界。因此，使用HEVC對深度圖編碼，解碼后的深度圖內(nèi)部邊界處會產(chǎn)生偽影效應(yīng)，而這些偽影會使合成的虛擬視點產(chǎn)生幾何失真。為了改善對深度圖的編碼，HEVC中原有的一些編碼工具被禁用，比如循環(huán)濾波(In-loop Filtering)模塊。一些編碼工具被修改，比如運動補償預(yù)測(Motion-compensated Prediction)和視差補償預(yù)測(Disparity-compensated Prediction)過程中將不再進行插值操作，使運動矢量的預(yù)測值不再保持1/4像素精度而是整像素精度。另外，還增加了一些新的深度圖編碼工具。比如深度圖建模模式(Depth Modelling Mode)[6]、簡化的深度圖編碼(Simplified Depth Coding)[7]、深度查找表(Depth Lookup Table)[7]等。

2.1深度圖建模模式

為了更好地編碼深度圖內(nèi)部銳利的邊界區(qū)域，引入了深度圖建模模式，它被看做是新增加的幀內(nèi)預(yù)測模式。最初的深度圖建模模式包含了DMM1，DMM2，DMM3和DMM4四種模式，目前保留使用的是DMM1(Explicit Wedgelet Signalling)和DMM4(Inter-component-predicted Contour Partitioning)。深度圖建模模式將要編碼的深度塊分割為兩個非矩形的區(qū)域，每個區(qū)域用一個常量值來表示。這樣的模型需要包含兩個信息，一個是分割信息，指明每一個樣本點屬于哪個區(qū)域；另一個是常量值信息，指明區(qū)域中的所有樣本點的深度值。由于分割區(qū)域的方式不同，因此存在兩種不同的區(qū)域分割，即楔形分割和輪廓形分割。圖2描述了這兩種分割，其中左側(cè)代表了連續(xù)的信號空間，右側(cè)代表了離散的信號空間。

圖2　塊的楔形分割(上)和輪廓形分割(下)

輪廓形的區(qū)域分割要參考同一視點的紋理圖中同位的亮度分量塊。它采用了一種閾值的方法，亮度塊4個角的樣本點的均值作為閾值，依據(jù)亮度塊中每個樣本點值大于還是小于這個閾值分割出P1和P2兩個區(qū)域。最后，把亮度塊的區(qū)域分割結(jié)果看作是深度塊的區(qū)域分割。

楔形的區(qū)域分割采用了完全不同的機制，楔形的所有分割方案將根據(jù)塊的大小事先被計算出來并編號。在定義了起點和終點之后，這些分割方案被分成2類和6個方向。如圖3所示，左側(cè)是相鄰邊的情況，右側(cè)是對邊的情況。4個相鄰邊的情況分別表示4個不同的方向，編號為0～3；2個對邊的情況代表另外2個方向，編號為4和5。此外，角點也被定義。對于相鄰邊的情況，角點被定義為4個角中離起點和終點距離最近的那個點。對于對邊的情況，角點分別被定義為左下和右下角的點。起點和終點的位置也遵循一定的規(guī)則：相鄰邊的情況，起點和終點的位置必須是偶數(shù)；對邊的情況，起點的位置必須是偶數(shù)，終點位置沒有要求。

圖3　楔形分割方案：鄰邊情況(左)對邊情況(右)

經(jīng)過上述的定義后，不同的方向以及不同的起點和終點位置均代表了一種不同的分割方案。這些所有的分割方案被存儲在一個列表中，當對某個深度塊進行編碼時，將從列表中選取一個最佳匹配的分割方案作為當前深度塊的分割。

除了對當前深度塊進行區(qū)域分割外，還要為每個區(qū)域選取一個最佳的常量值來近似此區(qū)域的深度值。取區(qū)域內(nèi)所有樣本點的均值作為常量值是一個不錯的選擇，但這個方法不是基于視點合成優(yōu)化的方法。因此，一個包含粗選和提煉兩步的搜索算法被開發(fā)，用于為每個區(qū)域?qū)ふ易罴训某Ａ恐怠?/p>

2.2簡化的深度編碼

簡化的深度編碼也稱為分段的DC編碼(Segment-wise DC Coding， SDC)，是用于深度圖的一種可供選擇的殘差編碼方法。如果使用SDC，當前編碼的編碼單元被劃分為一個或兩個分割區(qū)域，每個區(qū)域中一個單一的殘差值被編碼。由于跳過了變換和量化過程而直接在像素域進行編碼，偽影效應(yīng)在一定程度上被降低。另外，要求使用SDC編碼的編碼單元所對應(yīng)的預(yù)測單元(Predicted Unit，PU)的劃分形式必須是2N×2N。SDC分為幀內(nèi)的分段DC編碼(Intra-SDC)和幀間的分段DC編碼(Inter-SDC)。

2.2.1Intra-SDC

當采用Intra-SDC方式時，當前編碼單元可以采用HEVC中的幀內(nèi)預(yù)測模式或DMM模式進行預(yù)測。如果采用的是傳統(tǒng)幀內(nèi)預(yù)測模式，整個編碼單元被看作一個分割；如果采用的是DMM模式，整個編碼單元被看做兩個分割區(qū)域。

以采用傳統(tǒng)預(yù)測模式為例來說明SDC的過程，編碼時，首先經(jīng)過預(yù)測得到當前預(yù)測單元的預(yù)測塊，取預(yù)測塊中4個角樣本點的平均值作為當前預(yù)測單元的預(yù)測值。再取當前預(yù)測單元中所有樣本點的均值與預(yù)測值的差作為殘差。最后只編碼和傳輸這個單一的殘差值。解碼時，仍然是先通過預(yù)測得到預(yù)測塊，在預(yù)測塊的基礎(chǔ)上加上這個殘差值即得到重建的編碼塊。

2.2.2Inter-SDC

Inter-SDC與Intra-SDC類似，只是在預(yù)測時采用的是幀間預(yù)測方式。

2.3分段預(yù)測SDC

分段預(yù)測SDC[8]是SDC的擴展，與深度圖建模模式類似，它會把當前的編碼塊分割成兩個區(qū)域，每個區(qū)域用一個單一值來表示。分段預(yù)測SDC的預(yù)測過程可以采用幀內(nèi)預(yù)測，也可以采用幀間預(yù)測，其整個過程通常包含以下3個步驟。

1) 預(yù)測：通過幀內(nèi)或幀間預(yù)測方式得到當前編碼塊的預(yù)測塊。

2) 區(qū)域劃分：根據(jù)閾值T把預(yù)測塊分為兩個區(qū)域，其中T為預(yù)測塊中4個角樣本點的平均值。

3) 為每個區(qū)域計算一個單一值：單一值被定義為V=E+O，其中E是預(yù)測塊中某個區(qū)域的估計值，可以通過計算此區(qū)域內(nèi)所有樣本點的平均值得到。O是對應(yīng)的偏移量，可以通過計算編碼塊中屬于此區(qū)域的樣本點的均值再減去E得到，O是需要編碼和發(fā)送到解碼端的數(shù)據(jù)。

2.4深度查找表

深度圖中樣本點的深度值是所有可用深度值(用8位表示深度，則深度值的范圍為0～255)的一個子集，因為深度圖在采集時被強量化了。依據(jù)這個事實，通過使用深度查找表[7]可以進一步減小編碼深度圖時所使用的比特數(shù)目。深度查找表建立了深度值與其對應(yīng)的索引之間的一一對應(yīng)關(guān)系。為了構(gòu)建深度查找表，編碼器需要先從即將編碼的深度圖序列中讀取一定數(shù)量的幀，通過掃描幀中的樣本點來獲得深度圖中的深度值。

深度查找表用D(·)表示，索引查找表用I(·)表示，深度映射表用M(·)表示，Dt為t時刻的深度圖，深度查找表構(gòu)建過程的偽代碼如下：

1.Initialization

index counteri=0

2.Process each sample positionpinDtfor multiple time instancest：

i=i+1

以簡化的深度編碼方式為例來說明深度查找表的使用過程。在使用深度查找表的情況下，當前編碼塊所有樣本點的均值(dorig)和預(yù)測值(dpred)的差將不再作為殘差被編碼，而是根據(jù)各自的深度值dorig和dpred在索引表中查找出各自的索引，兩個索引的差iresi被編碼，如式(1)所示

(1)

(2)

(3)

最終，每個樣本點的重建值Px,y^由式(4)計算得到

(4)

式中：Px，y表示位置(x，y)處樣本點的預(yù)測值。

2.5單一深度幀內(nèi)模式

觀察發(fā)現(xiàn)深度圖中包含大量的平坦區(qū)域，且區(qū)域中的樣本點具有幾乎相同的深度值。單一深度模式(Single Depth Intra Mode)[9]被設(shè)計用來編碼這些平坦區(qū)域，也就是說單一深度模式僅使用一個深度值來表示當前編碼單元(Coding Unit， CU)。這個深度值會從當前編碼單元相鄰的樣本點中選取。如圖4所示，位置An/2和Bn/2處的樣本點被選為深度值的候選，同時被放入到樣本點候選列表。候選的索引被編碼用來指明采用哪一個樣本點的值來填充當前編碼單元。如果當前編碼單元采用了單一深度模式編碼，將不再處理殘差信號。

圖4　被選為候選的樣本點

3　深度圖編碼的率失真優(yōu)化

由于深度圖主要用來合成虛擬視點，而不會被直接觀看。因此，完全以深度圖自身的失真作為深度圖編碼質(zhì)量的度量標準將不再合適。深度圖編碼的率失真優(yōu)化過程應(yīng)同時考慮深度圖自身的失真以及合成視點的失真。為了測量合成視點的失真情況，兩個新的度量標準被設(shè)計，它們分別是合成視點失真變化(Synthesized View Distortion Change，SVDC)[10]和視點合成失真(View Synthesis Distortion，VSD)[11]。

3.1合成視點失真變化

合成視點失真變化定義為兩次的合成視點與參考視點的失真之差，如式(5)所示

(5)

圖5　合成視點失真變化的原理圖

3.2視點合成失真

為了降低率失真優(yōu)化的計算復(fù)雜度，另一個描述合成視點失真的度量標準被定義，即視點合成失真。它基于深度圖的失真不是線性影響合成視點的失真，而是隨相應(yīng)的紋理圖的變化而變化。如式(6)所示

(7)

式中：f表示焦距；L表示當前視點和合成視點的基線距離；Znear和Zfar分別表示場景的最近和最遠深度值。

4　小結(jié)

本文對3D-HEVC新增的深度圖編碼工具以及率失真優(yōu)化方法進行了總結(jié)，這些工具的使用能在一定程度上改善深度圖的編碼性能。然而，針對如何高效編碼深度圖的研究工作遠沒有結(jié)束。另外，過高的編碼復(fù)雜度是需要考慮的另一個問題，它制約著編碼的實時性處理。

[1]SULLIVAN G J，BOYCE J M，YING C，et al. Standardized extensions of High Efficiency Video Coding (HEVC)[J]. IEEE journal of selected topics in signal processing，2013，7(6)：1001-1016.

[2]田恬，姜秀華，王彩虹.新一代基于HEVC的3D視頻編碼技術(shù)[J].電視技術(shù)，2014，38(11)：5-8.

[3]FEHN C. Depth-image-based rendering(DIBR)，compression and transmission for a new approach on 3D-TV[C]//Proc. Stereoscopic Displays and Virtual Reality Systems XI. San Jose，CA，United States：SPIE，2004：93-104.

[5]CHANG Y L，WU C L，TSAI Y P， et al. CE1.h：depth-oriented neighboring block disparity vector (DoNBDV) with virtual depth retrieval，JCT3V-C0131[S].2013.

[6]MERKLE P，BARTNIK C，MULLER K，et al. 3D video：depth coding based on inter-component prediction of block partitions[C]//Proc. Picture Coding Symposium (PCS). Krakow，Poland：IEEE，2012：149-152.

[7]FABIAN J. 3D-CE6.h：simplified depth coding with an optional depth lookup table，JCT3V-B0036[S].2012.

[8]ZHANG K，AN J C，ZHANG X G，et al. Segmental prediction for Inter-SDC in 3D-HEVC，JCT3V-I0075[S].2014.

[9]CHEN Y W，LIN J L，HUANG Y W，et al. Single depth intra mode for 3D-HEVC， JCT3V-H0087[S].2014.

[10]TECH G，SCHWARZ H，MULLER K，et al. 3D video coding using the synthesized view distortion change[C]//Proc. Picture Coding Symposium (PCS). Krakow，Poland：IEEE，2012：25-28.

[11]BYUNG T O，KWAN-JUNG O. View synthesis distortion estimation for AVC- and HEVC-compatible 3-D video coding[J]. IEEE transactions on circuits and systems for video technology，2014，24(6)：1006-1015.

責任編輯：時雯

Advances in encoding depth map in 3D-HEVC

LEI Haiwei1，LIU Wenyi1，WANG Anhong2

(1.KeyLaboratoryofInstrumentationScience&DynamicMeasurement，MinistryofEducation，NorthUniversityofChina，Taiyuan030051，China；2.SchoolofElectronicInformationEngineering，TaiyuanUniversityofScienceandTechnology，Taiyuan030024，China)

3D-HEVC is a newly developed video coding standard to efficiently encode the 3D video and free view video， which requires simultaneous coding of texture video and the corresponding depth map. Encoding the depth map by using the traditional techniques would produce artifacts at the sharp boundaries，therefore，some new depth map coding tools have been developed. This paper details these coding tools， also introduces the rate distortion optimization methods used in encoding the depth map.

3D-HEVC；depth map coding；rate distortion optimization (RDO)

TN919.8

ADOI：10.16280/j.videoe.2016.07.004

國家基金委重大國際(地區(qū))合作研究項目(61210006)；國家自然科學基金項目(61272262)

2015-12-07

文獻引用格式：雷海衛(wèi)，劉文怡，王安紅.3D-HEVC中深度圖編碼技術(shù)研究進展[J].電視技術(shù)，2016，40(7)：15-19.

LEI H W，LIU W Y，WANG A H.Advances in encoding depth map in 3D-HEVC[J].Video engineering，2016,40(7)：15-19.