面向繪制質(zhì)量的深度圖像快速幀內(nèi)編碼

斯曉華，王國中，彭建華

(上海大學(xué) 通信與信息工程學(xué)院，上海 200436)

面向繪制質(zhì)量的深度圖像快速幀內(nèi)編碼

斯曉華，王國中，彭建華

(上海大學(xué) 通信與信息工程學(xué)院，上海 200436)

與彩色視頻用來直接顯示不同，在三維視頻系統(tǒng)中深度視頻序列的作用是在繪制虛擬視點時提供所需的幾何信息，所以直接將現(xiàn)有編碼算法應(yīng)用于深度圖像存在一定的局限性。針對深度視頻序列的作用以及深度圖像自身特征，提出了一種面向繪制質(zhì)量的深度圖像快速幀內(nèi)編碼方法，該方法包括基于深度圖像統(tǒng)計特性和空域相關(guān)性的圖像區(qū)域劃分算法、HEVC的快速編碼單元(CU)和預(yù)測塊(PB)決策算法和幀內(nèi)編碼模式預(yù)先選擇算法。實驗結(jié)果表明：與直接利用HEVC測試軟件編碼深度視頻相比，該快速算法在保證幾乎相同的主客觀繪制質(zhì)量的前提下，每個視點的編碼速度平均提升了35%以上。

高效視頻編碼標(biāo)準(zhǔn)；快速幀內(nèi)編碼；區(qū)域劃分算法；編碼單元決策

隨著多媒體應(yīng)用高速發(fā)展，為了更好地適應(yīng)高效編碼和網(wǎng)絡(luò)友好型編碼的需求，在2010年VCEG (Video Coding Experts Group)和 MPEG (Moving Picture Experts Group)聯(lián)合成立了視頻編碼聯(lián)合組 (Joint Collaborative Team on Video Coding，JCT-VC)來制定高效視頻編碼標(biāo)準(zhǔn)(High Efficiency Video Coding，HEVC)[1]。HEVC采用了多種新的編碼工具來提高編碼性能[2]，這就導(dǎo)致計算復(fù)雜度大幅地上升，于是針對HEVC出現(xiàn)了很多的快速算法，Shen等人[3，4]提出了利用空域相關(guān)性快速編碼單元(Coding Unit，CU)和幀內(nèi)模式?jīng)Q策算法；Jiang和Zhang等人[5，6]提出基于梯度的快速編碼模式?jīng)Q策算法。

由于深度圖像是用來繪制虛擬視點并不需要顯示，這樣針對深度視頻這一特性在原有編碼算法上產(chǎn)生了很多的改進(jìn)快速算法，Chang等人[7]利用深度圖像特征提出了一種快速模式?jīng)Q定算法；Zhang等人[8]提出了一種深度圖像楔形提前決定算法；在多視點加深度(Multiview Video Plus Depth， MVD)中，文獻(xiàn)[9]利用深度圖像和彩色圖像的相關(guān)性提高編碼深度。

綜合考慮深度圖像特性和HEVC編碼框架，本文在HEVC參考代碼[10]上實現(xiàn)了基于繪制質(zhì)量的深度圖像快速幀內(nèi)編碼算法，實驗結(jié)果表明在保證繪制質(zhì)量的前提下，該算法明顯降低了編碼時間，提升了編碼效率。

1 深度圖像特性和繪制失真

1.1 深度圖像特征概述

深度圖像表征了場景中的幾何信息，圖1(原圖為彩色圖片)可以看出深度圖像是1幅灰度圖像，其紋理與對應(yīng)的彩色圖像有很強的相關(guān)性且紋理較簡單。深度圖像的深度值表示鏡頭到目標(biāo)物體之間距離，這樣也就從另一個側(cè)面表示場景中的物體之間的遠(yuǎn)近關(guān)系。由于同一個物體的表面到鏡頭的距離是平滑變化的，所以深度圖像邊緣中間存在大片的平滑變化區(qū)域(平坦區(qū)域)。

圖1 彩色圖像和對應(yīng)深度圖像

總結(jié)深度圖像特征主要有以下幾點：1)深度圖像的深度值表征了目標(biāo)之間的遠(yuǎn)近關(guān)系；2)深度圖像的紋理表示了物體的邊緣，且紋理較為簡單；3)深度圖像紋理的中心是大片的平坦區(qū)域。

1.2 深度圖像失真與繪制失真

在3D系統(tǒng)的客戶端通過基于深度圖繪制(Depth-Image-Based-Rendering，DIBR)技術(shù)[11]，利用深度圖像繪制虛擬視點，下面研究深度圖像編碼失真與繪制的虛擬視點失真之間的關(guān)系。Zhang等人[12]利用DIBR映射原理推導(dǎo)出了在水平陣列相機情況下深度失真與繪制失真可以近似表示為

ΔPr(Δxh,Δyv)=k·ΔDp(xp,yp)

(1)

式中：ΔPr(Δxh,Δyv)表示在P位置水平失真Δxh和垂直失真Δyv產(chǎn)生的繪制失真；k是尺度因子；ΔDp(xp,yp)表示在P位置深度圖像的失真?？梢钥闯錾疃葓D像失真和繪制失真是成線性關(guān)系。由于深度失真ΔDp(xp,yp)產(chǎn)生映射旋轉(zhuǎn)失真，當(dāng)深度失真一定時，xp和yp可以分別表示為

(2)

(3)

式中：z，Δz分別表示鏡頭到目標(biāo)之間的距離及其失真；x和y分別表示有失真時對應(yīng)的虛擬視的位置?？梢钥闯霎?dāng)距離失真Δz一定時，距離越遠(yuǎn)繪制失真越小。深度值和距離的對應(yīng)量化如下

(4)

式中：d為深度圖像的深度值；znear和zfar分別表示鏡頭到目標(biāo)之間的最近距離和最遠(yuǎn)距離。

總之，在水平相機陣列中，深度圖像失真和對應(yīng)的虛擬視點失真成線性關(guān)系，且相同深度值失真的情況下，深度值越大的區(qū)域失真越大，也即越近的目標(biāo)失真越大。

2 本文算法

深度圖像的作用是用來繪制虛擬視點，所以繪制圖像的質(zhì)量是評價深度圖像編碼性能的重要指標(biāo)，筆者基于HEVC平臺提出了一種面向繪制質(zhì)量的深度圖像快速幀內(nèi)編碼算法，該算法利用深度圖像特征提出了基于統(tǒng)計特性的深度圖像區(qū)域預(yù)劃分算法，并利用空域相關(guān)性對深度圖像進(jìn)行區(qū)域再劃分。筆者在研究了深度圖像編碼失真對繪制視質(zhì)量的影響之后，結(jié)合人眼主觀感興趣區(qū)域特性，提出了快速CU決策算法和幀內(nèi)編碼模式預(yù)先選擇算法。

算法實現(xiàn)主要包括3個部分：首先，利用深度圖像的特征采用統(tǒng)計的方法將編碼樹單元(CodingTreeUnit,CTU)所屬圖像區(qū)域進(jìn)行預(yù)劃分，劃分出前景、背景和待定區(qū)域；然后，利用CU空間相關(guān)性將待定區(qū)域劃分為平坦和紋理區(qū)域，并對不同的區(qū)域做CU和PB塊大小做提前決策；最后，根據(jù)PB區(qū)域?qū)傩詫B幀內(nèi)模式進(jìn)行提前選擇。

2.1 深度圖像區(qū)域預(yù)劃分

由于深度圖像的深度值可以表征目標(biāo)之間的遠(yuǎn)近，本文提出了一種基于統(tǒng)計的深度圖像區(qū)域預(yù)劃分算法。首先統(tǒng)計得到深度圖像值的最大值和最小值，獲得判決圖像區(qū)域的閾值，如圖2所示；然后分別統(tǒng)計每個CTU像素點屬性，對CTU所屬圖像區(qū)域進(jìn)行預(yù)劃分，程序流程如圖2所示。

圖2 深度值特征獲取流程

圖2是統(tǒng)計1幀獲得當(dāng)前幀深度值的最大值Dmax和最小值Dmin，然后通過式(5)、式(6)獲得當(dāng)前幀的前景和背景劃分的閾值

Tfg=Dmax-(Dmax-Dmin)/4

(5)

Tbg=Dmin+(Dmax-Dmin)/4

(6)

式中：fg和bg分別表示前景和背景像素點個數(shù)；Tfg和Tbg分別表示前景劃分閾值和背景劃分閾值。這兩個閾值對輸入的CTU進(jìn)行區(qū)域預(yù)劃分，通過圖3的過程統(tǒng)計當(dāng)前CTU屬于背

圖3 CTU區(qū)域預(yù)劃分流程

景和前景像素總數(shù)，當(dāng)前景像素總數(shù)大于預(yù)劃分閾值時，把該CTU劃分為前景區(qū)域；當(dāng)背景像素總數(shù)大于預(yù)劃分閾值時，把該CTU劃分為背景區(qū)域；其他CTU劃分為待定區(qū)域，這樣就完成了CTU區(qū)域預(yù)劃分。預(yù)劃分閾值Tpre為

(7)

式中：WCTU和HCTU分別CTU的寬和高，是常量。

2.2HEVC的CU和PB決策算法

HEVC中每個CTU按金字塔分層結(jié)構(gòu)分成一定層數(shù)的CU(用CU的深度表征層數(shù))，而每個CU在幀內(nèi)編碼時又劃分為2N×2N和N×N兩種形式的PB。

從1.1節(jié)得出深度圖像有以下特征：深度圖像紋理的中心是大片的平坦區(qū)域，表征目標(biāo)的表面。該文算法預(yù)劃分的前景區(qū)域就是近景物體的表面，該區(qū)域?qū)儆谄教箙^(qū)域，適合HEVC的大塊編碼，結(jié)合經(jīng)驗選擇CU的深度為0，PB的大小選擇2N×2N和N×N兩種；從1.2節(jié)得出越遠(yuǎn)的目標(biāo)(背景區(qū)域)編碼失真對繪制質(zhì)量影響越小，由基于人眼視覺特性(HumanVisualSystem，HVS)可知人眼對背景區(qū)域的失真不敏感，綜合考慮這兩點筆者對背景區(qū)域進(jìn)行了提前決策：CU的深度選擇1和2，PB的大小選擇2N×2N。

CU和PB決策算法充分利用了深度圖像的特征和HVS，對前景和背景區(qū)域的編碼CU和PB塊大小提前進(jìn)行了提前決策，減少了塊模式選擇運算，有效地減少了編碼器的編碼時間。

2.3 幀內(nèi)編碼模式預(yù)先選擇算法

該部分主要包括兩個部分：根據(jù)空域相關(guān)性再劃分待定區(qū)域的CU屬性以及幀內(nèi)編碼模式預(yù)先選擇。流程圖如圖4所示，首先判斷當(dāng)前CU是否屬于待定區(qū)域(2.1節(jié)已經(jīng)對CTU進(jìn)行了區(qū)域預(yù)劃分)，如果不屬于，即當(dāng)前CU屬于前景區(qū)域或者背景區(qū)域，則選擇當(dāng)前PB的編碼模式為0(planar模式，適用于表面平滑濾波)和1(DC模式，適用于平坦區(qū)域)；如果屬于待定區(qū)域，則根據(jù)左上PB的編碼模式來判定當(dāng)前PB屬性，如果左上PB均為方向模式(幀內(nèi)模式2～34)則當(dāng)前PB屬于紋理區(qū)域需遍歷所有模式；如果左上PB均為模式1則當(dāng)前PB屬于平坦區(qū)域采用模式1；如果左上PB均為模式0則當(dāng)前PB屬于目標(biāo)表面區(qū)域采用模式1；其他情況則采用模式0和1。

圖4 幀內(nèi)編碼模式預(yù)先選擇

本部分利用了PB與周圍PB的空域相關(guān)性，通過已編碼的PB對當(dāng)前PB屬性進(jìn)行預(yù)測，對待定區(qū)域的CU進(jìn)一步細(xì)劃分，然后利用不同區(qū)域的特點對編碼模式進(jìn)行預(yù)先選擇，減少了模式候選項，有效地提升了幀內(nèi)編碼速度。

3 實驗與分析

在Intel(R) Core(TM) i3-2120 CPU，4 GHz RAM，32位Windows 7操作系統(tǒng)下進(jìn)行了實驗，算法實現(xiàn)的平臺為HEVC參考模型HM10.0，測試序列為JCT-3V(Joint Collaborative Team on 3D Video Coding)官方標(biāo)準(zhǔn)序列，左視點序列分別為Balloons(視點3)、ChampagneTower(視點39)、Kendo(視點3)、Lovebird1(視點6)、Newspaper(視點4)、Pantomime(視點37)；右視點序列分別為Balloons(視點5)、ChampagneTower(視點41)、Kendo(視點5)、Lovebird1(視點8)、Newspaper(視點6)、Pantomime(視點39)。然后分別利用HEVC和本文算法編碼左右視點并繪制虛擬視點。本文利用時間節(jié)省率(Time Saving Rate，TSR)來表征快速算法編碼速度提升

(8)

由于繪制視點質(zhì)量是表征深度圖像編碼的一個重要指標(biāo)，本文利用PSNR提升(Increase PSNR，Inc_PSNR)來表征虛擬視點的客觀質(zhì)量提升，計算如下

(9)

式中：THM10.0，Tprop分別表示HEVC和本文快速算法的編碼時間；PHM10.0，Pprop分別表示HEVC和本文快速算法編碼的深度圖像解碼后的繪制視點的PSNR。

從表1可知本文快速算法可以平均提升35%以上的編碼速度，最終繪制的虛擬視點保持了和HEVC編碼基本一致的客觀質(zhì)量。

表1 快速算法編碼節(jié)省時間率以及虛擬視點PSNR提升

4 結(jié)束語

本文對深度圖像的特性以及深度失真對虛擬視點繪制的主客觀質(zhì)量影響進(jìn)行了研究，綜合考慮HEVC編碼塊的結(jié)構(gòu)和幀內(nèi)編碼模式的特征，提出了深度圖像的快速幀內(nèi)編碼方法。為了更好地適應(yīng)于全I(xiàn)幀的應(yīng)用場合并有效地改進(jìn)HEVC編碼計算的復(fù)雜度，本文采用了3個算法的有效組合，大量的實驗結(jié)果顯示：本文的算法不僅能夠有效地降低深度圖像編碼復(fù)雜度，而且能夠保證繪制的虛擬視點的主客觀質(zhì)量。

[1]BROSS B，HAN W J，SULLIVAN G J，et al.High efficiency video coding (HEVC) text specification draft 10，document JCTVC-L1003[S].2013.

[2]HAN G J，OHM J R，HAN W J，et al.Overview of the high efficiency video coding(HEVC) standard[J].IEEE Trans.Circuits Syst.Video Technol.，2012，22(12)：1649-1668.

[3]SHEN L，LIU Z，ZHANG X，et al.An effective CU size decision method for HEVC encoders[J].IEEE Trans.Multimedia，2013，15(2)：465-470.

[4]SHEN L，ZHANG Z.An fast CU size decision and mode decision algorithm for HEVC intra coding[J].IEEE Trans.Consumer Electronics，2013，59(1)：207-213.

[5]JIANG W，MA H，CHEN Y.Gradient based fast mode decision algorithm for intra prediction in HEVC[C]//Proc.CECNet 2012.[S.l.]：IEEE Press，2012：1836-1840.

[6]ZHANG Y，LI Z，LI B.Gradient-based fast decision for intra prediction in HEVC[C]//Proc.VCIP 2012.[S.l.]：IEEE Press，2012：1-6.

[7]CHANG Y T，CHUNG W H.Fast intra mode decision for depth map coding[C]//Proc.Consumer Electronics(ISCE 2013).[S.l.]：IEEE Press，2013：93-94.

[8]ZHANG Mengmeng，ZHAO Chuan，XU Jizheng，et al.A fast depth-map wedgelet partitioning scheme for intra prediction in 3D video coding[C]//Proc.Circuits and Systems(ISCAS 2013).Beijing，China：IEEE Press，2013：2852-2855.

[9]ZHANG Q.Low complexity multiview video plus depth coding[J]. IEEE Trans.Consumer Electronics，2011，57(4)：1857-1865.

[10]MCCANN K,BROSS B,HAN W J. High efficiency video coding (HEVC) test model 10 (HM10) encoder description[C]//Proc. 12th JCT-VC Meeting,JCTVC-L 1002.Geneva:JCTVC Press,2013:106-109.

[11]CHRISTOPH F.Depth-image-based rendering(DIBR)，compression and transmission for a new approach on 3D-TV[J].Proceedings of SPIE，2004(5291)：93-104.

[12]ZHANG Q，AN P，ZHANG Y，et al.Efficient rendering distortion estimation for depth map compression[C]//Proc.Image Processing (ICIP 2011).Brussels：IEEE Press，2011：1105-1108.

斯曉華(1990— )，碩士生，主研三維視頻編解碼技術(shù)、深度視頻編碼技術(shù)；

王國中(1962— )，博士生導(dǎo)師，研究方向為視頻編解碼與多媒體通信、數(shù)字電視、視頻云計算等；

彭建華(1989— )，碩士生，主研三維深度視頻編碼、圖像處理技術(shù)。

責(zé)任編輯：時 雯

Fast Depth Map Intra Mode Coding Focus on Quality of View Synthesis

SI Xiaohua，WANG Guozhong，PENG Jianhua

(CommunicationandInformationEngineeringDepartment，ShanghaiUniversity，Shanghai200436，China)

The depth map provides the geometrical information for virtual view rendering in 3D video system and it is not displayed in screen，which is different from the color video.As a result，it is necessary to improve the existing compression algorithm when compress the depth map.Aiming at the function and feature of depth map， a fast depth map intra mode compression method focus on quality of view synthesis is proposed.This fast method include image region segmentation algorithm based on the statistic characteristic of depth map and the spatial correlation，fast CU and PB decision strategy in HEVC and fast intra mode decision algorithm.The experimental results show that the proposed fast method can reduce computation time more than 35% and maintain almost the similar quality of synthesized view.

HEVC；fast intra mode coding；region segmentation algorithm；CU and PB decision

國家自然科學(xué)基金項目(61271212)；工信部電子信息產(chǎn)業(yè)發(fā)展基金項目(1213711)；上海市科委重點項目 (12511502502)

TN919.81

A

10.16280/j.videoe.2015.05.003

2014-06-13

【本文獻(xiàn)信息】斯曉華，王國中，彭建華.面向繪制質(zhì)量的深度圖像快速幀內(nèi)編碼[J].電視技術(shù),2015，39(5).