引入零視差緩沖的DIBR改良方法

林堅普，呂昭宏，許勝允，辛 琦，姚劍敏，郭太良

(1.福州大學(xué) 場致發(fā)射國家地方聯(lián)合工程實驗室，福建 福州 350000；2.冠捷顯示科技(廈門)有限公司 廈門創(chuàng)新中心，福建 廈門 361000)

引入零視差緩沖的DIBR改良方法

林堅普1，呂昭宏2，許勝允2，辛 琦1，姚劍敏1，郭太良1

(1.福州大學(xué) 場致發(fā)射國家地方聯(lián)合工程實驗室，福建 福州 350000；2.冠捷顯示科技(廈門)有限公司 廈門創(chuàng)新中心，福建 廈門 361000)

針對圖像部分像素深度值失真，導(dǎo)致圖像變形后物體邊緣失真的問題，提出了一種引入“零視差緩沖”的方法。首先，選取4幅具有不同復(fù)雜程度場景的圖像，引入零視差緩沖對圖像進行變形；其次采用傳統(tǒng)圖像質(zhì)量評價體系(結(jié)構(gòu)相似度SSIM和模糊系數(shù)K)對得到的圖像進行質(zhì)量評價；最后，對比傳統(tǒng)DIBR方法和引入零視差緩沖方法得到的視點圖中物體邊緣的表現(xiàn)。實驗結(jié)果表明，該方法對于變形圖像的SSIM平均提高了4.66%，K平均下降了1.73%。提高了視點圖中物體邊緣的質(zhì)量，提高了3D圖像的整體質(zhì)量。

DIBR；深度圖；圖像變形

隨著平板顯示技術(shù)的飛躍發(fā)展，電視屏幕分辨率由全高清(分辨率1 920×1 080)發(fā)展到了如今的超高清(分辨率3 840×2 160)，長期以來困擾著多視點裸眼3D顯示的圖像分辨率下降的瓶頸問題得以緩解，3D技術(shù)迎來了2010年之后的又一次發(fā)展熱潮。目前3D片源的獲取主要為DIBR(Depth-Image-Based Rendering)虛擬視點合成技術(shù)[1]，DIBR技術(shù)對于圖像深度圖的準(zhǔn)確度的依賴程度過大，但目前還沒有一種完善的技術(shù)能準(zhǔn)確獲得影片的對應(yīng)深度圖，這導(dǎo)致了DIBR生成的圖片存在著邊緣失真的問題[2]。深度圖的誤差主要集中在兩個深度值相差較大的物體的交界處，錯誤的深度值導(dǎo)致計算出的視差值錯誤，在圖像變形后給填洞過程帶來了一定的困擾[3]。目前的解決方法主要為對深度圖進行預(yù)處理如高斯濾波、非對稱濾波、對稱濾波等[4-5]，但是預(yù)處理后的深度圖在一定程度上已經(jīng)失真，由此得到的變形圖像物體邊緣將存在很大的失真[6]。

本文針對兩個深度值差異較大物體交界處深度信息模糊的問題，提出了一種改良的DIBR方法，在兩個物體交界處引入“零視差緩沖”進行圖像變形，以減小由于深度圖誤差導(dǎo)致的圖像變形錯誤，得出質(zhì)量較佳的變形圖像。該方法摒棄了對深度圖進行預(yù)處理的過程，提高了變形圖像的邊緣部分的質(zhì)量。

1 DIBR技術(shù)及其存在的問題

1.1 DIBR流程

DIBR是一種基于深度圖的圖像處理技術(shù)，主要應(yīng)用于3D圖像、視頻領(lǐng)域。由于其只需要輸入1路2D圖像、1路對應(yīng)深度圖像即可，因此相比于多目攝像機系統(tǒng)其傳輸帶寬較小，并且能根據(jù)使用者的需求繪制出任意視點的視差圖像[7]。DIBR流程中主要包含兩個步驟：圖像變形(warping)和填洞(hole filling)。其主要運行框架如圖1所示。

圖1 DIBR流程框圖

1.2 DIBR存在的問題

DIBR根據(jù)深度圖將物體從圖像坐標(biāo)系投影到3D坐標(biāo)系，再投影到新的圖像坐標(biāo)系完成圖像物體的移位[8]。因此DIBR對于深度圖的準(zhǔn)確性具有很強的依賴性，繪制出的視點圖像的正確與否主要取決于深度圖中每個像素的深度值是否準(zhǔn)確。理論上當(dāng)兩個物體的深度值相差較大時，在兩物體交界處其深度信息應(yīng)該是跳變的，通過觀察實際的深度圖發(fā)現(xiàn)，在兩個深度值差異較大的物體的交界處存在一個過渡的深度值，如圖2所示。

圖2 深度信息誤差示意圖

圖2中像素a～g為背景物體，像素h～n為前景物體，前景物體與背景物體深度值相差較大，像素f，g，h，i，j為前景物體與背景物體交界處的像素。由圖可以看出，背景物體的深度值為63～65，前景物體的深度值為145～148，兩物體的交界處的像素的深度值為介于63～148的值。交界處的像素其深度值的獲取容易發(fā)生誤差，如圖中像素i的深度值發(fā)生錯誤，這將導(dǎo)致圖像變形時得到的視點圖像存在誤差。

2 引入零視差緩沖

2.1 圖像變形誤差

由于深度圖中兩物體交界處深度信息不準(zhǔn)確，圖像變形時出現(xiàn)了背景信息覆蓋前景信息的錯誤，如圖3所示。

圖3 背景覆蓋前景示意圖

由圖3中可以看出，由于深度信息的誤差，變形后的圖像中前景物體內(nèi)部出現(xiàn)了背景物體的圖像信息，這將導(dǎo)致變形圖物體邊緣模糊，降低圖像質(zhì)量。其原理如圖4所示。

圖4 圖像變形原理圖，無陰影為背景物體，有陰影為前景物體。

圖4為圖像變形原理，由于深度值的不同，像素點具有不同的位移值和位移方向。圖中像素i處于前景物體與背景物體交界處且深度值明顯錯誤。利用深度圖將原始圖像從圖像坐標(biāo)系投影到3D坐標(biāo)系時，背景物體往右移動，前景物體往左移動，由于像素i的深度值錯誤，像素i往右移動，這便導(dǎo)致前景物體中出現(xiàn)了斷口，人眼能透過前景物體觀看到本應(yīng)被遮蔽的背景物體。將物體從3D坐標(biāo)系投影到新的圖像坐標(biāo)系時，生成背景覆蓋前景的錯誤圖像。

2.2 引入零視差緩沖原理

基于兩深度值差異較大物體交界處深度值容易出錯的問題，提出了一種方法，該方法將這一交界處的部分像素的視差值設(shè)定為0，通過調(diào)整這一區(qū)域部分像素的視差值來提升得到的變形圖像物體的邊緣質(zhì)量，原理如圖5所示。

圖5中將像素i的視差值設(shè)為0，在圖像變形時前景物體的邊緣不再發(fā)生錯誤位移，前景物體沒出現(xiàn)斷口，保持了前景物體的連續(xù)性，背景覆蓋前景的問題得到了解決。

圖5 圖像變形原理圖

3 實驗流程

3.1 利用深度圖計算視差值

以障壁光柵式裸眼3D顯示器為例，圖6所示為8視點裸眼3D顯示器視差計算原理。

圖6 3D視差計算原理圖

圖6中：u為人眼雙目視距；S為人眼與3D屏的距離；Pz為物體成像景深；dis為像素位移視差；Znear，Zfar分別為成像最近景深和最遠景深，它們代表屏幕所能容忍的景深大小，由于不同的人具有不同的視距，因此Znear和Zfar計算的值因人而異，其計算公式為

(1)

(2)

式中：a1，a2分別為屏幕最大入屏視差值和屏幕最大出屏視差值，屬于裸眼3D顯示屏的內(nèi)在參數(shù)。深度圖實際上是一幅255階的灰度圖，將Znear+Zfar的值進行255量化

(3)

式中：p為景深量化后一個灰度值代表的成像景深；g為深度值。根據(jù)式(3)，入屏物體景深值Pz為

Pz=Zfar-P

(4)

(5)

根據(jù)相似三角形原理，入屏物體視差值dis為

(6)

出屏物體視差值dis′為

(7)

通過以上公式能計算出原始圖像中各像素的視差值，利用計算得到的視差值進行圖像變形。

3.2 引入零視差緩沖

在實際圖像變形中，利用式(6)、式(7)計算得到的視差值并不是一個整數(shù)值，因此得到的視差值要進行四舍五入的計算。經(jīng)過統(tǒng)計分析發(fā)現(xiàn)在前景與背景交界處視差值等于1的像素點其深度值往往容易發(fā)生錯誤。經(jīng)過視差公式計算，當(dāng)深度值介于139和160，視差值等于1，介于117和96時，視差值等于-1。因此將深度值處于這兩個區(qū)間的的像素設(shè)置為視差值等于0，便達到了引入零視差緩沖的目的，即深度值為96～160的像素其視差值均設(shè)為0。

3.3 填洞(holefilling)

圖像變形時由于物體發(fā)生了移動，容易產(chǎn)生許多洞區(qū)，目前存在著多種的填洞技術(shù)如：水平鏡像填補法、相鄰幀背景信息填補法、水平內(nèi)插法等[9]方法。本文采用較為簡單的水平背景信息填充法，即直接拿相鄰的背景圖像信息對洞區(qū)進行填補。首先先對變形圖像進行洞區(qū)(hole)檢測，當(dāng)檢測到當(dāng)前像素(f(i，j))無值時，將當(dāng)前像素標(biāo)記為洞(f(i，j)=hole(i，j))，對洞進行左右的臨域搜索，對搜索結(jié)果進行深度值比較，選取深度值較小(min_depth{f(i，j+1)， f(i，j-1)})的像素來作為填洞信息進行填洞處理，即

hole(i，j)=min_depth{f(i，j+1)， f(i，j-1)}

(8)

式中：hole(i，j)表示當(dāng)前坐標(biāo)為洞；min_depth{f(i，j+1)， f(i，j-1)}表示當(dāng)前坐標(biāo)左右相鄰像素中深度值較小的像素。

4 實驗

由于在復(fù)雜程度不同的場景中深度圖的誤差程度也不同，因此選取4幅不同復(fù)雜程度的場景圖(分別為場景1、場景2、場景3、場景4，分辨率均為FHD1 920×1 080，如圖7所示)進行實驗。Znear，Zfar對應(yīng)視差值設(shè)置為+6和-6，設(shè)置深度值處于(96，160)的像素視差值為0。對得到的結(jié)果進行結(jié)構(gòu)相似度SSIM、模糊系數(shù)K測試。

圖7 實驗場景圖

5 實驗結(jié)果分析

對經(jīng)過DIBR處理后的視點圖像進行結(jié)構(gòu)相似度(SSIM)和模糊系數(shù)(K)的測試，SSIM數(shù)據(jù)如表1所示，模糊系數(shù)數(shù)據(jù)如表2所示。

表2 模糊系數(shù)K數(shù)據(jù)表

SSIM是測試變形后圖像與原始圖像結(jié)構(gòu)上的相似度的一個函數(shù)，理論依據(jù)是圖像的像素在空間上有一定的關(guān)聯(lián)性，通過測試這些關(guān)聯(lián)性來測試兩幅圖像在結(jié)構(gòu)上的相似程度[10]，其數(shù)值越大表明物體結(jié)構(gòu)保持得越完整。

模糊系數(shù)K為對圖像物體的邊緣進行能量檢測，其數(shù)值越接近于1表明圖像邊緣信息越清晰，即K與1的差值越小越好。

從表1中可以看出，引入零視差緩沖后，變形的視點圖像整體上SSIM值均得到了提高，表明變形圖像結(jié)構(gòu)上保持得較為完整。模糊系數(shù)K的下降表明了變形圖像的邊緣的模糊程度下降，圖像變得更為清晰。

對比傳統(tǒng)方法和本文方法得到的視點圖像的邊緣細節(jié)，兩物體的交界處的圖像失真情況得到了明顯改善，結(jié)果如圖8～11所示。

圖8 場景1實驗結(jié)果對比

圖9 場景2實驗結(jié)果對比

圖10 場景3實驗結(jié)果對比

圖11 場景4實驗結(jié)果對比

從圖中對比可以看出，當(dāng)未引入“零視差緩沖”，在局部位置由于深度信息的錯誤導(dǎo)致了圖像的失真，圖像邊緣處部分像素的圖像變形方向錯誤，導(dǎo)致背景信息覆蓋了前景，而引入“零視差緩沖”時，圖像質(zhì)量得到了明顯的改善。

6 小結(jié)

針對目前DIBR中準(zhǔn)確的深度圖像的獲取較難，并且對深度圖進行預(yù)處理后深度圖將變形，導(dǎo)致圖像變形時物體邊緣出現(xiàn)失真的問題，提出了引入“零視差緩沖”的概念，通過實驗數(shù)據(jù)和實驗圖像細節(jié)部分的表現(xiàn)發(fā)現(xiàn)，經(jīng)本文方法變形后的圖像中物體邊緣的質(zhì)量優(yōu)于傳統(tǒng)方法得到的變形圖像中物體邊緣的質(zhì)量。

[1]周真理，卓力，李曉光.一種基于深度圖的三維/多視點視頻視點合成方法[J].測控技術(shù)， 2011，30(5)：18-21.

[2] ZHANG L，TAM W.Stereoscopic image generation basen on depth images for 3D TV[J]．IEEE Trans.Broadcasting，2005，51(2)：191-199.

[3]李哲.基于深度圖像繪制的自由視點生成的研究[D].濟南：山東大學(xué)，2011.

[4]馮雅美.自然三維電視系統(tǒng)中虛擬視點繪制技術(shù)研究[D].杭州：浙江大學(xué)，2010.

[5]JUNG K H，PARK Y K，KIM J K，et al.2D/3D mixed service in T-DMB system using depth image based rendering[C]//Proc.ICACT2008.New York，USA：IEEE Press，2008：1868-1871.

[6]鞠芹，安平，張倩，等.高質(zhì)量的虛擬視點圖像的繪制方法[J].電視技術(shù)，2009，33(9)：9-11.

[7]郁理.基于深度圖像繪制的自由視點視頻關(guān)鍵技術(shù)研究[D].合肥：中國科學(xué)技術(shù)大學(xué)，2010.

[8]駱凱，李東曉，馮雅美，等.基于DIBR和圖像修復(fù)的任意視點繪制[J].中國圖象圖形學(xué)報，2010，15(3)：443-449.

[9]NILS P，SEBASTIAN K.Adaptive image warping for hole prevention in 3D view synthesis[J].IEEE Trans.Image Processing，2013(9)：3420-3432.

[10]黃文輝，陳仁雷，張家謀.數(shù)字視頻圖像質(zhì)量客觀測量方法的改進與實現(xiàn)[J].北京郵電大學(xué)學(xué)報，2005，28(4)：87-90.

林堅普(1989— )，碩士生，主研3D圖像處理技術(shù)；

呂昭宏(1979— )，博士，主任工程師，主要研究方向為裸眼3D顯示技術(shù)等；

許勝允(1976— )，碩士，正工程師，主研裸眼3D顯示技術(shù)、新型背光技術(shù)等；

辛 琦(1978— )，女，博士，主研有機電致發(fā)光、三維立體顯示技術(shù)等；

姚劍敏(1978— )，博士，碩士生導(dǎo)師、副研究員，主研物理電子學(xué)領(lǐng)域光電信息處理、電路與系統(tǒng)、視頻圖像處理等；

郭太良(1963— )，碩士，博士生導(dǎo)師，研究員，主研新型場致發(fā)射顯示器件、新型光學(xué)器件等。

責(zé)任編輯：時 雯

收稿日期：2014-03-08

Improved DIBR Method with Introducing Zero-parallax Buffer

LIN Jianpu1，Lü Zhaohong2，XU Shengyun2，XIN Qi1, YAO Jianmin1， GUO Tailiang1

(1.FieldEmissionLocalJointEngineeringLaboratoryoftheNational，F(xiàn)uzhouUniversity，F(xiàn)uzhou350000，China； 2.XiamenInnovationCenter，TPVDisplayTechnology(Xiamen)Co.，Ltd.，F(xiàn)ujianXiamen361000，China)

For the problem of fringe distortion after image warping results from the depth-map deviation of some image pixels，a method with introducing zero-parallax buffer is proposed.Firstly，four pictures with different complexities are converted by zero-parallax buffer method.AndSSIMandKimage evaluation systems are used to assess the quality of pictures.Finally，the performance of image which generate from traditional method and zero-parallax method are compared.The results of experiment show thatSSIMvalues are increased with average value of 4.66% andKvalues are decreased with average value of 1.73%.The quality of viewpoint images is improved.

DIBR；depth map；image warping

2014-07-28

國家“863”計劃項目(2012AA03A301;2013AA030601);國家自然科學(xué)基金項目(61101169;6106053);福建省自然科學(xué)基金項目(2011J01347)

TN27

A

10.16280/j.videoe.2015.05.006

【本文獻信息】林堅普，呂昭宏，許勝允,等.引入零視差緩沖的DIBR改良方法[J].電視技術(shù),2015，39(5).