基于邊緣復雜度的深度圖幀內(nèi)模式選擇方法

項璐露，張 樺，戴國駿

(杭州電子科技大學計算機應用技術研究所，浙江 杭州 310018)

?

基于邊緣復雜度的深度圖幀內(nèi)模式選擇方法

項璐露，張 樺，戴國駿

(杭州電子科技大學計算機應用技術研究所，浙江 杭州 310018)

3D-HEVC在深度圖中的內(nèi)部模式眾多導致了編碼時間大量增加.為此，提出了一種基于邊緣復雜度的深度圖幀內(nèi)模式選擇方法.由于DMMs中的深度圖幀內(nèi)模式適用于不同特征的邊緣，其中的Intra_Wedge模式針對簡單邊緣而Intra_Contour模式適用復雜邊緣.因此提出了依據(jù)邊緣復雜度情況分別選擇不同深度圖幀內(nèi)模式到候選列表中.實驗結果表明，該算法在保證視頻質量的條件下，節(jié)省了29.24%的編碼時間.

3D-HEVC；深度圖內(nèi)部編碼；邊緣復雜度

0 引 言

近年來3D技術的應用得到了廣泛的關注，由3D視頻編碼擴展開發(fā)聯(lián)合協(xié)作組(JCT-3V)開發(fā)的3D-HEVC(3D High Efficiency Video Coding)應運而生.其中深度建模模型(Depth modeling modes，DMMs)是3D-HEVC深度圖內(nèi)部編碼中為了保護深度圖尖銳邊緣而設計的編碼模式.然而深度圖中存在大片的平坦區(qū)域，DMMs模式不適用于這些區(qū)域.因此每次將DMMs模式放入模式候選列表中增加了計算復雜度和編碼時間.為了解決以上問題，眾多國內(nèi)外學者著手研究3D-HEVC編碼技術并提出改進[1-4].文獻[1]提出，當深度圖內(nèi)部模式候選列表第一個模式為Planar模式且該PU梯度值小于一定閾值時，跳過DMMs模式.文獻[2]采用Hardmard變換域進行邊緣分類，選擇性地忽略DMMs模式.文獻[3]通過獲取深度圖特征取得了理想的效果.文獻[4]提出了一種深度圖編碼提早終止算法減少編碼時間耗費.上述方法都獲得了理想的效果，然而目前提出的大部分方法是針對所有DMMs模式的提前終止或選擇性加入候選列表，在加入候選列表后仍要從DMMs模式中選出合適的模式對編碼預測塊進行編碼，而DMMs中不同的模式適用于不同特征的深度圖.因此本文提出了基于邊緣復雜度的深度圖內(nèi)部模式快速選擇方法，本算法根據(jù)DMMs模式不同特點選擇不同模式，避免了計算冗余模式、減少計算量，對減少編碼時間具有長遠意義.

1 3D-HEVC深度圖內(nèi)部模式編碼

除了HEVC提供的35種內(nèi)部預測模式，3D-HEVC增加了DMMs模式.跳躍模式Intra-picture skip和3種新的預測模式(Intra_Single, Intra_Wedge和Intra_Contour)用于深度圖層的幀內(nèi)編碼[5].深度圖主要由尖銳邊緣和大量近乎常數(shù)或者緩慢變化的樣本值組成.HEVC原有的內(nèi)部預測和變換編碼在深度圖近乎常數(shù)區(qū)域應用得很好，然而在尖銳邊緣區(qū)域會產(chǎn)生振鈴效應，從而導致中間視圖合成(Intermediate view synthesis)達不到預期的視頻質量.DMMs模式的產(chǎn)生正是為了解決這個問題.DMMs中使用了2種劃分類型，即Wedgelets和Contours劃分，分別對應Intra_Wedge和Intra_Contour模式[6].

1.1 Intra_Wedge模式

Intra_Wedge模式適用于簡單邊緣，在編碼時首先查找最匹配的Wedgelets劃分，然后以比特串形式傳輸劃分信息.

在Wedgelets劃分中，深度塊由一條直線劃分，Wedgelets劃分如圖1所示.劃分后的2個區(qū)域分別由不同顏色表示.劃分線由分別在塊中不同邊界的起點和終點決定.在連續(xù)信號空間，劃分線可以由直線表達式表示，如圖1(a)所示.在離散樣本空間，塊由一系列樣本組成，塊的劃分結果有所不同，如圖1(b)所示.雖然劃分線也可以用直線表達式表示，但劃分后的區(qū)域只能以完整樣本分配到劃分后的不同部分中.

圖1(a)中，Wedgelets劃分對應的邊緣SE是一條直線且所有邊緣點的梯度方向θ都是相同的，說明Intra_Wedge模式更適合解決邊緣梯度方向比較集中的深度圖邊緣編碼問題.

圖1 Wedgelet劃分

1.2 Intra_Contour模式

Intra_Contour模式主要針對復雜邊緣，通過組件預測得到對應紋理圖參考塊，從而預測一個Contour劃分.

復雜邊緣用幾何公式描述很難做到.Contour劃分如圖2所示，一個塊中的復雜邊緣可能是任何形狀的，也可能具有多部分，因此在Contour劃分中不能像Wedge劃分一樣描述劃分線.每個預測塊根據(jù)其對應的參考塊信號得到劃分模式，如圖2(b)所示.圖2(a)中，Contour劃分適用的邊緣，其方向θ指向各個方向，具有邊緣方向分散且數(shù)量眾多的特點，故Intra_Contour模式適合編碼方向數(shù)量多的邊緣.

圖2 Contour劃分

2 基于邊緣復雜度的內(nèi)部預測模式方法

2.1 邊緣復雜度

本文的邊緣復雜度主要從兩個方面描述，即邊緣強度以及邊緣的方向.一般情況下，邊緣梯度值的大小意味邊緣強弱；邊緣方向越多說明邊緣線種類越多，邊緣具有不規(guī)則性.本文采用Sobel算法檢測預測塊邊緣.Sobel是常用的邊緣檢測方法，其計算復雜度低，對邊緣檢測有較好的效果.本文中的邊緣檢測對算法效率要求高，因此Sobel更為適合本算法.

2.1.1 邊緣強度

在本算法中，Sobel水平和垂直空間濾波器如下：

(1)

對當前PU的圖像矩陣進行卷積計算得到水平梯度值Gx以及垂直梯度值Gy，并由計算得到邊緣強度：

|G|=|Gx|+|Gy|.

(2)

G是像素點的邊緣強度，為了減少計算復雜度，取G的絕對值等于水平梯度Gx絕對值與垂直梯度Gy絕對值的和.邊緣強度大于一定閾值的像素點被稱為邊緣像素點.

2.1.2 邊緣方向

由Sobel濾波與圖形矩陣卷積后得到的水平梯度值Gx以及垂直梯度值Gy進行計算得到該邊緣像素點的邊緣方向：

(3)

其中，θ為邊緣方向.只有當樣本值為邊緣像素點時才會計算其邊緣方向.

2.2 邊緣方向量化

將邊緣方向-90°～90°量化為9個方向，分別為-90°～-70°,-70°～-50°,-50°～-30°,-30°～-10°,-10°～10°,10°～30°,30°～50°,50°～70°,70°～90°，如圖3所示.根據(jù)該塊所得邊緣像素點的邊緣方向判斷屬于哪個區(qū)間，依次判斷每個像素點的邊緣方向，并統(tǒng)計該PU內(nèi)所有邊緣點的邊緣方向量化方向數(shù)量.由于深度圖幀內(nèi)模式中的Intra_Wedg模式適用于少且簡單邊緣，而Intra_Contour模式適用于多而復雜邊緣，因此，當邊緣方向數(shù)量較少時，很可能該塊中邊緣方向比較集中，邊緣點方向相同，可以用一條直線表示這些邊緣，將Intra_Wedg模式加入模式候選列表；而當邊緣方向數(shù)量較多時，很可能表示邊緣方向分散，邊緣點方向各不相同，形成的邊緣多而復雜，很難用直線描述，將Intra_Contour模式加入模式候選列表.

本算法步驟如圖4所示，其中編碼塊的方差的計算方法參考文獻[1]，取閾值STh=max(Q?3-1,3)2-8，其中STh表示求得閾值，Q為配置文件中深度圖的qp值，?表示右移.SvarCU表示編碼塊的方差.

圖3 量化方向

圖4 本文算法流程圖

3 實驗結果及分析

為了驗證本文提出的基于邊緣復雜度的深度圖內(nèi)部模式選擇算法結果，將本文算法、文獻[1]算法、文獻[8]HTM8.1ver算法分別進行實驗并將實驗結果進行比較.其中文獻[8]算法是HTM未加入文獻[1]算法的最后一個版本，即DMMs模式全部加入候選列表的原始算法.文獻[1]算法在2013年提出，是對文獻[8]算法的改進并已經(jīng)被采用加入到HTM(3D-HEVC官方開發(fā)平臺)中，為目前收錄在HTM平臺中關于深度圖內(nèi)部模式選擇方向最新的算法.

實驗在3D-HEVC標準參考軟件HTM13.0平臺上進行，主要依據(jù)標準測試條件(CTC)[7]配置.選取3D-HEVC給出的標準序列進行測試，每個序列紋理圖與深度圖QP分別為(25,34),(30,39)，(35,42)，(40,45)，在Intra-only配置下輸入3視點加深度圖序列.在配置為Interl(R)Core(TM)i5-4590 CPU @3.30 GHz,8 G RAM,64位操作系統(tǒng)的PC機上運行.

將實驗結果進行整理得到表1中結果，表1將文獻[1]與本文算法分別與文獻[8]算法結果比較，通過比較可以看到文獻[1]算法與本算法相對于文獻[8]算法的改進.BD-Rate與BD-PSNR表示視圖合成質量以及總比特率的率失真情況.texture與depth分別表示輸入視點的紋理視頻與深度視頻，每個序列共有3個視點、6個輸入視頻，例如balloons中，有3個視點且每個視點對應1個紋理圖與1個深度圖.

表1 本文算法及文獻[1]算法分別與文獻[8]算法實驗結果比較

從表1中分別整理并提取本文算法與文獻[1]算法結果，得到本文算法與文獻[1]算法實驗比較結果如表2所示，本算法與文獻[8]算法比較結果如表3所示.

表2 本文算法與文獻[1]算法實驗結果比較

表3 本文算法與文獻[8]算法實驗結果比較

通過比較表2中本文算法與文獻[1]算法可以發(fā)現(xiàn)，△BD-Rate的表現(xiàn)上，本文算法下降了0.05%，平均BD-PSNR上，本文算法有0.09的增加，編碼平均時間上，本文算法節(jié)省了12.55%；通過比較表3種本文算法與文獻[8]算法的可以發(fā)現(xiàn)，△BD-Rate的表現(xiàn)上，本文算法下降了0.09%，平均BD-PSNR上，本文算法有0.09的增加，編碼平均時間上，本文算法節(jié)省了29.24%.

根據(jù)以上結果比較發(fā)現(xiàn)，本算法在同樣的客觀質量下，碼率有微小的節(jié)省，且碼率一定的情況下具有更高的PSNR-Y，另在編碼平均時間上本文算法具有不錯的表現(xiàn).即本方法在不影響編碼視頻質量的情況下，實現(xiàn)了比文獻[1]算法更有效的深度圖內(nèi)部模式快速選擇算法.

從每個測試序列結果對比中得到，各序列結果會有一些不同，從表1中可以看出在BD-Rate，BD-PSNR與編碼平均時間表現(xiàn)上各序列結果有所不同，即本算法對不同的序列適用情況會有差別，因每個序列深度圖邊緣分布以及邊緣特征不同，目前還不能做到全都處理的很理想，但基本維持在較小的偏差上.

4 結束語

本文提出一種基于邊緣復雜度的深度圖內(nèi)部模式選擇算法.針對深度圖內(nèi)部選擇模式眾多、計算過程耗時的情況，本文根據(jù)深度圖內(nèi)部編碼模式特征對模式進行選擇從而摒棄了不必要的計算，節(jié)省了運算時間.另外，實際情況中，視頻的特征與邊緣特性是多種多樣的，本文算法對邊緣點空間位置的考慮不夠，有待進一步改進.因此，繼續(xù)研究一種更通用、準確的方法來進行模式選擇具有深刻的意義.

[1]GU Z Y, ZHENG J H, LING N, et al. Fast Intra Prediction Mode Selection for Intra Depth Map Coding[C/OL].[2015-12-01].http://phenix.int-evry.fr/jct2/index.php.

[2]PARK C S. Edge-based intramode selection for depth-map coding in 3D-HEVC[J]. IEEE Transactions on Image Processing, 2015, 24(1): 155-162.

[3]LUCAS L F R, WEGNER K, RODRIGUES N M M, et al. Intra Predictive Depth Map Coding Using Flexible Block Partitioning[J]. Image Processing, IEEE Transactions on, 2015, 24(11): 4055-4068.

[4]ZHANG Q, LI N, HUANG L, et al. Effective early termination algorithm for depth map intra coding in 3D-HEVC[J]. Electronics Letters, 2014, 50(14): 994-996.

[5]TECH G, CHEN Y, MüLLER K, et al. Overview of the multiview and 3D extensions of High Efficiency Video Coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(1): 35-49.

[6]CHEN Y,TECH G,WEGNER K,et al.Test Model 11 of 3D-HEVC and MV-HEVC[C/OL].[2015-12-01].http://phenix.int-evry.fr/jct2/index.php.

[7]MüLLER K. Vetro A Common Test Conditions of 3DV Core Experiments[C/OL].[2015-12-01]. http://phenix.int-evry.fr/jct2/index.php.

[8]JCT-3V 3D-HEVC.3D High Efficiency Video Coding Test Model software HTMver.8.1. [CP/OL].[2015-12-01].https://hevc.hhi.fraunhofer.de/trac/3d-hevc/browser/3DVCSoftware/tags/HTM-8.1.

Edge Complexity Based Intra Mode Selection for Depth-map Coding in 3D-HEVC

XIANG Lulu, ZHANG Hua, DAI Guojun

(InstituteofComputerApplicationTechnology,HangzhouDianziUniversity,HangzhouZhejiang310018,China)

In 3D-HEVC, a large quantity of depth map intra models results in unexpected increase of time consuming. In this paper, a new intra mode decision algorithm by detecting edge complexity is proposed. Depth intra prediction modes in DMMs are applicable for edges of different features, among which Intra Wedge mode is mainly for simple edges and Intral Contour mode is aimed at complex edges. Then based on edge complexity, we add Intra Wedge or Intra Contour to mode candidates instead of all DMMs modes. The experiment results show that our algorithm is capable to save 29.24% of the depth maps coding time without any loss of the quality.

3D-HEVC; depth intra coding; edge complexity

10.13954/j.cnki.hdu.2016.06.006

2016-05-04

國家自然科學基金資助項目(61471150)；國家國際科技合作專項資助項目(2014DFA12040)；浙江省“3D產(chǎn)業(yè)關鍵技術創(chuàng)新團隊”資助項目(2011R50009)

項璐露(1992-)，女，浙江金華人，碩士研究生，計算機應用技術.通信作者：張樺副教授，E-mail：zhangh@hdu.edu.cn.

TN919.81

A

1001-9146(2016)06-0025-05