基于JNDD邊界劃分的立體視頻深度編碼

（天津大學電子信息工程學院，天津300072）

基于JNDD邊界劃分的立體視頻深度編碼

（天津大學電子信息工程學院，天津300072）

針對編碼后的深度圖中邊界區(qū)域失真導致的虛擬視圖質量下降的問題，利用基于恰可察覺深度差異（JNDD）的邊界提取方法，將深度圖劃分為尖銳的邊界區(qū)域和平滑的非邊界區(qū)域，并對劃分后的區(qū)域分配不同的量化參數(shù)值進行深度編碼．實驗結果表明：本文提出的方法能夠很好地保留深度圖的邊緣信息，有效地減輕虛擬視圖繪制的失真；同時，繪制的虛擬視圖能夠保持較高的峰值信噪比（PSNR）和結構相似性測量參數(shù)（SSIM）值．

虛擬視點合成圖；深度失真；立體視頻編碼

隨著平面信息技術的日臻成熟，3D信息的完美再現(xiàn)必將成為新一代信息技術的發(fā)展方向和趨勢．為了實現(xiàn)多視點自由立體顯示［1-2］，需要多個攝像機從多個視點拍攝場景，從而加大了對存儲空間和傳輸帶寬的要求．因此，必須要對視頻數(shù)據(jù)進行高效的壓縮．多視點視頻+深度（multi-view video plus depth，MVD）［3］由彩色視頻和相應的深度視頻組成．MVD視頻可以利用基于深度的視點繪制（depth imagebased rendering，DIBR）技術［4-6］在自由立體視頻系統(tǒng)的終端生成虛擬視點視頻，大大節(jié)省了存儲空間和傳輸帶寬，具有廣闊的應用前景［7-8］．

深度圖中各像素點的值表示這點與攝像機之間的距離［9］．DIBR技術利用深度圖及相機參數(shù)來繪制虛擬視點圖像，因此深度圖的質量直接影響了繪制的虛擬視圖的質量［10］．

深度編碼是多視點加深度視頻編碼的重要組成部分［11-12］．在深度編碼過程中，由于量化的原因，經(jīng)過編碼后深度圖中像素點的值會發(fā)生改變，從而產(chǎn)生深度失真．這種失真在深度變化較大的邊緣區(qū)域尤為明顯．由于深度圖的邊緣對于區(qū)分場景中不同的物體、前景與背景以及虛擬視點繪制都有著重要的作用．因此，在深度編碼過程中，保持深度圖中的邊緣信息具有重要的意義．

恰可察覺深度差異（just noticeable depth difference，JNDD）是指人眼能夠感知到的深度差異的最小變化.本文以宏塊為單位，提出了一種基于JNDD的邊界提取方法．并且，通過對深度變化引起的虛擬視圖失真以及深度編碼造成的深度失真分析，提出了一種合理分配邊界區(qū)域與非邊界區(qū)域的量化參數(shù)QP值［13］的深度編碼方法．通過比較本文方法獲得的虛擬視圖質量和HEVC方法獲得的虛擬視圖質量，可以發(fā)現(xiàn)，本文方法可以有效地保持深度的邊界信息，同時降低了虛擬視點繪制的失真．

1　視圖合成失真及深度編碼失真

在DIBR中，錯誤的深度值會使得參考圖像中的像素點映射到虛擬視點中錯誤的位置，從而使得繪制的虛擬視圖產(chǎn)生幾何失真．深度失真造成的虛擬視圖的幾何失真［8］

式中：Δx和Δy分別表示在水平方向和垂直方向的位置失真；d為深度圖中的深度值；Δd為深度值的改變量；K′、R′、t′分別表示虛擬相機的內參矩陣、旋轉矩陣和平移矩陣；t為參考相機的平移矩陣．

深度編碼過程中由于量化引起的編碼失真使得重構后的深度圖像產(chǎn)生失真．為了比較明確地顯示深度圖編碼之后容易產(chǎn)生失真的區(qū)域，在本文中對每個序列預先設定了一個可容忍的深度失真范圍［14］，當深度差異在此范圍外時標記為255，反之則標記為0.

2　基于JNDD邊界劃分的深度編碼

2.1基于JNDD的深度邊界提取

深度圖中每個物體區(qū)域的深度值都相對比較平滑，像素間的差異通常不會超過恰可察覺深度差異（just noticeable depth difference，JNDD）值，而物體間的邊界區(qū)域通常為深度變化明顯的區(qū)域，其像素間的差異遠遠超過了JNDD值.文獻［11］給出了JNDD與深度之間的關系，為了降低復雜度，本文將JNDD值DJND取為18．

將深度圖劃分為大小為16× 16的宏塊，并計算當前宏塊MBij中的最小深度值mij．

將當前宏塊中與mij的差值大于DJND的位置標記為1，并統(tǒng)計標記矩陣a（s, k）中1的個數(shù)，即為當前宏塊中深度值與mij的差值大于DJND的個數(shù)N．a(chǎn)（s, k）和N的表達式為

若N≥162/2，則判定該宏塊為邊界宏塊，否則為非邊界宏塊．利用本文提出的方法獲得邊界宏塊如圖1所示．

圖1　本文算法提取的邊界宏塊Fig.1Boundary macro block extracted by the proposed method

2.2基于邊界劃分的比特分配

從圖1中可以看出，在深度編碼的過程中深度變化較大的邊界區(qū)域更容易產(chǎn)生失真．圖2分別為Lovebirds1和Kendo序列編碼后邊界區(qū)域和非邊界區(qū)域與對應的原始視頻幀之間的均方誤差MSE隨量化參數(shù)QP變化的曲線，其中均方誤差MSE越大則表明失真越嚴重．

圖2　MSE隨QP值變化曲線Fig.2MSE curve varying with QP

從圖2可以看出來，隨著QP值的增大，邊界區(qū)域的均方誤差曲線的斜率一直在增大，而非邊界區(qū)域的均方誤差曲線卻比較平滑．因此，在深度編碼時，可以給邊界區(qū)域分配更多的比特來減輕深度邊界的失真，對于平滑的非邊界區(qū)域分配更少的比特來提高深度編碼的壓縮效率．

3　實驗結果及分析

本文以編碼參考軟件HEVC和虛擬視點合成軟件VSRS3.0為實驗平臺，利用日本Tanimoto實驗室提供的Balloons和Kendo以及德國HHI研究所提供的Lovebird1和Book-arrival 4組測試序列進行實驗驗證．本文對易失真的邊界區(qū)域分配較小的QP值，對平滑的非邊界區(qū)域分配較大的QP值．為降低算法的復雜度，本文設提取的邊界區(qū)域的QP值為22，而非邊界區(qū)域的QP值為47．表1給出了QP＝37時的HEVC深度編碼的比特率及本文方法的編碼比特率．根據(jù)先驗知識可得編碼比特率越高表示編碼性能越優(yōu)越．圖3、圖4和圖5給出了利用未壓縮、本文方法及QP＝37的HEVC方法獲得的深度圖合成的虛擬視圖的對比結果．

表1　設定的編碼比特率Tab.1Encoding bit rate assigned

圖3　Kendo序列虛擬視圖比較Fig.3Comparisons of virtual views for Kendo sequence

圖4　Book-arrival序列虛擬視圖比較Fig.4Comparisons of virtual views for Book-arrival sequence

圖5　Balloons序列虛擬視圖比較Fig.5Comparisons of virtual views for Balloons sequence

從圖3、圖4和圖5中的放大部分可以看出，采用全局QP＝37的HEVC方法進行編碼后得到的虛擬視圖，在邊界處明顯存在偽影、斷裂以及拖尾等問題．如圖3（e）中擊劍者的衣服邊界處存在拖尾和鋸齒效應，圖4（e）中人的鼻子和下巴等面部部分存在明顯的削平和缺失現(xiàn)象，圖5（e）中氣球的邊緣存在明顯的破裂及不平滑．而利用本文方法壓縮后的深度圖由于很好地保留了邊界信息，避免了繪制視圖中上述問題的發(fā)生．

為了進一步比較本文方法的性能，本文引入了客觀質量評價方法，即峰值信噪比（PSNR）［13］和結構相似性測量參數(shù)（SSIM）［15］2種評價方法．圖6和圖7以虛擬視點位置的標準視圖為基準，分別給出了利用未壓縮的深度圖、本文方法編碼后的深度圖以及QP＝37的HEVC方法編碼后的深度圖繪制的虛擬視圖與基準視圖之間的PSNR和SSIM曲線．同時，表2分別列出了采用不同的編碼方法繪制的虛擬視圖的PSNR和SSIM的均值．

圖6　虛擬視圖PSNR比較Fig.6Comparisons of PSNR for virtual views

圖7　虛擬視圖SSIM比較Fig.7Comparisons of SSIM for virtual views

表2　虛擬視圖客觀質量比較Tab.2Comparison of objective quality of virtual views

從圖6和圖7所示的PSNR曲線和SSIM曲線可以明顯地看出利用本文方案獲得的深度圖所繪制的虛擬視圖更接近在深度圖無壓縮的情況下所繪制的虛擬視圖．同時，結合表1和表2可以得出，在編碼比特率相同的情況下利用本文方案所獲得虛擬視圖的PSNR和SSIM值比在QP＝37的HEVC方案情況下要高，因此本文方案能夠更好地保證繪制視圖的質量．

4　結　語

為減輕深度壓縮后深度圖的失真對視圖合成質量的影響，本文提出了一種基于邊界劃分的深度編碼方法．在該方法中，設計了一種以宏塊為單位的基于JNDD的邊界提取算法，能夠很好地提取出深度編碼中容易發(fā)生失真的邊界區(qū)域．同時，在深度編碼的過程中對劃分的不同區(qū)域分配不同的QP值來確保深度編碼后深度圖的質量．對繪制的虛擬視圖進行主觀比較以及客觀質量評價，結果表明該方法能夠很好地保持深度的邊界，獲得較高質量的虛擬視點圖像．

［1］侯春萍，許國，沈麗麗.基于狹縫光柵的自由立體顯示器視區(qū)模型與計算仿真［J］.天津大學學報，2012，45（8）：677-681. Hou Chunping，Xu Guo，Shen Lili.Calculation and simulation of viewing zone based on parallax barrier autostereoscopicdisplay［J］.JournalofTianjin University，2012，45（8）：677-681（in Chinese）.

［2］岳斌，侯春萍.立體視差調整的快速估計方法［J］.天津大學學報：自然科學與工程技術版，2013，46（7）：571-578. Yue Bin，Hou Chunping.A rapid stereo disparity adjustment estimate method［J］.Journal of Tianjin University：Science and Technology，2013，46（7）：571-578（in Chinese）.

［3］Shao Feng，Jiang Gangyi，Yu Mei，et al.View synthesis distortion model optimization for bit allocation in three-dimensional video coding［J］.Optical Engineering Letters，2011，50（12）：895-900.

［4］Xu X Y，Po L M，Ng K H，et al.Depth map misalignment correction and dilation for DIBR view synthesis［J］.Signal Processing Image Communication，2013，28（9）：1023-1045.

［5］Fehn C.Depth-image-based rendering（DIBR），compression，and transmission for a new approach on 3DTV［C］//Proceedings of SPIE Conference on Stereoscopic DisplaysandVirtualRealitySystems．Berlin，Germany，2004：93-104.

［6］Battisti F，Bosc E，Carli M，et al.Objective image quality assessment of 3D synthesized views［J］.Signal Processing：Image Communication，2015，30（c）：78-88.

［7］Daribo I，Saito H.A novel inpainting-based layered depth video for 3DTV［J］.IEEE Transactions on Broadcasting，2011，57（2）：533-541.

［8］Zhang Qiuwen，Tian Liang，Huang Lixun，et al. Rendering distortion estimation model for 3D high efficiency depth coding［J］.Mathematical Problems in Engineering，2014（Suppl）：1-7.

［9］侯春萍，李桂苓，雷建軍.3D技術知識解讀［M］.北京：人民郵電出版社，2013. Hou Chunping，Li Guiling，Lei Jianjun.Interpretation of 3D Technical Knowledge［M］.Beijing：The People's Posts and Telecommunications Publishing House，2013（in Chinese）.

［10］Liu Shujie，Lai Polin，Tian Dong，et al.New depth coding techniques with utilization of corresponding video［J］.IEEE Transactions on Broadcasting，2011，57（2）：551-561.

［11］Jung S W，Ko S J.Depth sensation enhancement using thejustnoticeabledepthdifference［J］.IEEE Transactions on Image Processing，2012，21（8）：3624-3637.

［12］馮坤.多視點視頻編碼碼率控制及比特分配研究［D］.天津：天津大學電子信息工程學院，2014. Feng Kun.Research on Rate Control and Bit Allocation of Multi-View Video Coding［D］.Tianjin：School of Electronic Information Engineering，Tianjin University，2014（in Chinese）.

［13］Li Xiangjun，Cai Jianfei.Robust transmission of JPEG2000 encoded images over packet loss channels［C］//2007 IEEE International Conference on Multimedia and EXPO.Beijing，China，2007：947-950.

［14］Zhao Yin，Zhu Ce，Chen Zhenzhong，et al.Depth nosynthesis-error model for view synthesis in 3-D video［J］.IEEE Transactions on Image Processing，2011，20（8）：2221-2228.

［15］Cadik M，Herzog R，Mantiuk R，et al.New measurementsrevealweaknessesofimagequality metricsinevaluatinggraphicsartifacts［J］.ACM Transactions on Graphics，2012，31（6）：1-10.

（責任編輯：王曉燕）

Stereoscopic Video Depth Coding Based on JNDD Boundary Segmentation

Wang Laihua，Hou Chunping，Zhu Tao，Wang Baoliang，Yan Weiqing
（School of Electronic Information Engineering，Tianjin University，Tianjin 300072，China）

The distorted edge regions in depth map caused by depth coding will result in the quality of virtual view reduced．Depth map is divided into sharped boundary regions and smoothed non-boundary areas through the method that boundary segmentation is based on the just noticed depth difference（JNDD）and assign the different quantization parameters to the segmented regions，respectively．The experimental results show that the proposed method can well retain the edge information of depth map and effectively reduce the distortion of rendered virtual view．The rendered virtual view can also maintain high values of peak signal to noise ratio（PSNR）and structural similarity measurement parameters（SSIM）.

renderedvirtual view；depth distortion；stereoscopic video coding

TP391

A

0493-2137（2016）09-0967-05

10.11784/tdxbz201506070

2015-06-19；

2015-09-16.

國家高技術研究發(fā)展計劃（863計劃）資助項目（2012AA03A301）；國家基金重大研究計劃重點資助項目（91320201）；國家自然科學基金資助項目（61471262）；教育部博士點基金資助項目（20130032110010）.

王來花（1988—），女，博士，wlh@tju.edu.cn.

侯春萍，hcp@tju.edu.cn.