基于聯(lián)合雙邊濾波的深度圖像增強(qiáng)算法

劉金榮，李淳芃，歐陽(yáng)建權(quán)，劉 京

?

基于聯(lián)合雙邊濾波的深度圖像增強(qiáng)算法

劉金榮1,2，李淳芃2，歐陽(yáng)建權(quán)1，劉 京2

(1. 湘潭大學(xué)智能計(jì)算與信息處理教育部重點(diǎn)實(shí)驗(yàn)室，湖南 湘潭 411105；2. 中國(guó)科學(xué)院計(jì)算技術(shù)研究所，北京 100190)

主動(dòng)光設(shè)備是目前獲取深度圖的主要方法，被廣泛應(yīng)用于導(dǎo)航、人機(jī)交互、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域。但主動(dòng)光設(shè)備存在分辨率低、空洞、邊緣不匹配等問題。為此，提出一種基于聯(lián)合雙邊濾波的深度圖像增強(qiáng)算法。采用基于深度的前景分割方法，找出深度圖與彩色圖邊緣不匹配像素集合，利用基于聯(lián)合雙邊濾波的插值算法對(duì)空洞進(jìn)行填充。為更好保持邊緣細(xì)節(jié)，增加引導(dǎo)深度相似項(xiàng)與梯度域項(xiàng)的方法進(jìn)行插值。實(shí)驗(yàn)結(jié)果表明，該算法比已有方法的最小均方誤差平均減少約13%，具有更好的保持邊緣效果。

聯(lián)合雙邊插值；雙邊濾波；梯度域；邊緣保持；前景分割；深度圖像增強(qiáng)

1 概述

深度圖像被廣泛應(yīng)用于導(dǎo)航、人機(jī)交互、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域。當(dāng)前獲取深度圖像的方法主要有被動(dòng)光方法[1]和主動(dòng)光方法[2]。被動(dòng)光方法是利用計(jì)算機(jī)視覺技術(shù)，通過(guò)計(jì)算二維圖像特征與三維空間的幾何對(duì)應(yīng)關(guān)系獲取深度圖像。然而，被動(dòng)光方法需要高代價(jià)的時(shí)間復(fù)雜度、嚴(yán)格的約束條件以及精確的圖像校正等，因此很難在實(shí)際中得到應(yīng)用。被動(dòng)光方法是通過(guò)飛行時(shí)間或者光編碼技術(shù)捕捉三維場(chǎng)景的深度，相對(duì)被動(dòng)光方法，主動(dòng)光設(shè)備因其能實(shí)時(shí)獲取深度圖像，成為另一種越來(lái)越受關(guān)注的深度獲取方法。然而低成本的深度獲取設(shè)備存在分辨率低、空洞、邊緣不匹配等問題，限制其在實(shí)際中的應(yīng)用。如何從低成本主動(dòng)光設(shè)備獲取的深度圖中恢復(fù)高質(zhì)量的深度圖像具有重要作用。

深度信息與顏色紋理信息是對(duì)相同三維場(chǎng)景的不同觀察結(jié)果，兩者具有很強(qiáng)的結(jié)構(gòu)相關(guān)性，因此通過(guò)融合高分辨率彩色圖像增強(qiáng)深度圖是可行的。在此基礎(chǔ)上，目前對(duì)于深度圖像增強(qiáng)方法已有不少的研究，歸納起來(lái)，主要分為2類：基于全局優(yōu)化的插值方法[3-4]和基于雙邊的插值方法[5-6]。文獻(xiàn)[3]采用基于馬爾科夫隨機(jī)場(chǎng)的深度圖像插值方法，將高分辨率深度圖的后驗(yàn)概率分布定義馬爾科夫隨機(jī)場(chǎng)，求最大后驗(yàn)概率。文獻(xiàn)[4]提出了基于最小二乘優(yōu)化的插值方法，并結(jié)合非局部均值和多元特征權(quán)重約束因子考慮像素間的平滑性，有效保證了邊緣結(jié)構(gòu)特征。文獻(xiàn)[5]針對(duì)邊緣擴(kuò)散問題，提出一種自適應(yīng)融合顏色相似項(xiàng)與原始深度相似項(xiàng)的插值方法，有效阻止了邊緣擴(kuò)散，使得算法更具魯棒性。然而，基于雙邊濾波的插值方法容易損傷深度圖像邊緣結(jié)構(gòu)，導(dǎo)致邊緣過(guò)平滑。文獻(xiàn)[6]提出基于雙邊濾波的插值算法，即將已知的高分辨率彩色圖像作為引導(dǎo)圖，直接對(duì)低分辨率圖像進(jìn)行聯(lián)合雙邊上采樣，但在深度不連續(xù)的區(qū)域?qū)?yīng)相同的顏色時(shí)，該方法導(dǎo)致邊緣擴(kuò)散。文獻(xiàn)[7]的工作與文獻(xiàn)[4]比較相關(guān)，采用自回歸作為優(yōu)化模型?；谌謨?yōu)化的插值方法，不僅考慮局部?jī)?nèi)的平滑因素，而且從整體上考慮深度圖像全局代價(jià)，能獲得高質(zhì)量的深度圖，但此類方法復(fù)雜度高，在實(shí)時(shí)性較強(qiáng)的深度圖像增強(qiáng)中，低復(fù)雜度的基于雙邊濾波的插值方法更合適。文獻(xiàn)[8-9]提出了基于雙邊濾波的空洞填補(bǔ)方法，但并沒有增強(qiáng)深度圖像的分辨率。近年來(lái)，基于梯度域的彩色圖像濾波[10-11]被認(rèn)為是一種有效保持邊緣的濾波器。文獻(xiàn)[4]證明了在基于全局優(yōu)化框架下，彩色圖像梯度域的平滑約束具有更好的邊緣保持作用。因此，針對(duì)已有的基于聯(lián)合雙邊濾波插值方法容易導(dǎo)致過(guò)平滑問題，本文引入引導(dǎo)深度相似項(xiàng)及梯度域項(xiàng)，提出一種改進(jìn)的聯(lián)合雙邊的深度圖像插值方法，從而進(jìn)一步減少邊緣過(guò)平滑問題，進(jìn)而提高插值效果。

2 算法描述

本文作為主動(dòng)光深度圖像后處理增強(qiáng)算法，提出一種融合彩色圖像的深度圖像增強(qiáng)方法，該方法首先對(duì)深度圖像做預(yù)處理，然后計(jì)算出彩色圖像梯度域、引導(dǎo)深度圖像，最后采用改進(jìn)的聯(lián)合雙邊濾波插值方法進(jìn)行插值。本文的總體框架如圖1所示。

圖1 深度圖增強(qiáng)整體框架

2.1 預(yù)處理

經(jīng)過(guò)圖像視角對(duì)齊之后，深度圖與彩色圖存在不匹配的前景邊緣，例如圖2(c)彩色與深度圖的融合結(jié)果所示，其邊緣不匹配。如果這種不匹配邊緣問題在插值之前沒有解決，這些不匹配像素被當(dāng)作正確的采樣數(shù)據(jù)，導(dǎo)致插值錯(cuò)誤，從而進(jìn)一步惡化前景邊不匹配現(xiàn)象。為解決此問題，本文首先根據(jù)前景與背景的顯著深度差異，得到深度圖的前景邊緣輪廓，如圖2(d)所示，記為。隨后采用基于深度圖的前景分割方法[13]得到彩色圖的前景邊緣輪廓，如圖2(e)所示，記為，該方法根據(jù)對(duì)應(yīng)的，對(duì)彩色圖像建立前景與背景的混合高斯模型，然后采用圖割法進(jìn)行優(yōu)化。

2.2 標(biāo)準(zhǔn)聯(lián)合雙邊濾波插值

2.3 改進(jìn)的聯(lián)合雙邊濾波插值

圖3 Art深度圖局部2倍上采樣的結(jié)果

針對(duì)上述第1個(gè)問題，采用文獻(xiàn)[5]方法加入引導(dǎo)深度相似項(xiàng)。其基本思想是低分辨率的深度圖像包含高分辨率的部分深度信息，可利用低分辨率的冗余信息來(lái)彌補(bǔ)僅依賴顏色相似項(xiàng)的不足。針對(duì)第2個(gè)問題，引入梯度項(xiàng)約束因子，相對(duì)于像素顏色的相似性的不穩(wěn)定性，梯度項(xiàng)更穩(wěn)定，從圖像顯著結(jié)構(gòu)來(lái)說(shuō)，梯度比顏色具有更強(qiáng)烈的邊緣結(jié)構(gòu)特征。綜上所述，改進(jìn)的聯(lián)合多邊插值方法如式(5)：

引導(dǎo)深度相似項(xiàng)定義為：

3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文改進(jìn)方法的可行性與有效性，就本文算法與聯(lián)合雙邊插值(JBU)[6]、基于MRF插值算法(MRFs)[3]、自適應(yīng)聯(lián)合雙邊插值(NAFDU)[5]作對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)采用了middlebury[1]標(biāo)準(zhǔn)數(shù)據(jù)集Art、Book、Moebius及由kinect采集的數(shù)據(jù)。標(biāo)準(zhǔn)數(shù)據(jù)集的彩色圖像分辨率為1 376×1 088，原始深度圖像分辨率分別為688×544、344×272、172×136 (即上采樣2倍、4倍、8倍)。Kinect數(shù)據(jù)的彩色圖像分辨率為1 280×1 024，深度圖像分辨率為640×480。

3.1 實(shí)驗(yàn)1

各個(gè)算法運(yùn)行在Art、Book及Mobius 3組實(shí)驗(yàn)數(shù)據(jù)下的結(jié)果與真實(shí)值之間的最小均方誤差(MSE)如表1所示。

表1 最小均方誤差對(duì)比

由表1可知，本文方法的MES值比MRFs、JBU及NAFDU分別減少了21.14%、20.57%、5.43%，比JBU與NAFDU平均減少了13%。本文算法的結(jié)果明顯優(yōu)于JBU方法和MRFs，較NAFDU方法也有改進(jìn)。

3.2 實(shí)驗(yàn)2

對(duì)Art深度圖進(jìn)行4倍上采樣，結(jié)果如圖4所示，其中，左圖為4倍深度圖上采樣，右圖為左圖方框放大結(jié)果。JBU算法[6](圖4(a))與MRF[3](圖4(b))均在在邊緣起許多“毛狀”想象，這是因僅靠彩色相似項(xiàng)約束時(shí)，當(dāng)深度圖兩邊的顏色相差不大時(shí)導(dǎo)致邊緣擴(kuò)散。而NAFDU算法[5](圖4(c))通過(guò)加入引導(dǎo)深度圖的約束，解決邊緣擴(kuò)散問題，但是它們?cè)谶吘壧幱羞^(guò)平滑問題。圖4(d)說(shuō)明了本文算法不僅在平滑區(qū)域得到了好的濾波，而且在邊緣區(qū)域保持邊緣細(xì)節(jié)。

圖4 Art深度圖4倍上采樣的直觀結(jié)果

3.3 實(shí)驗(yàn)3

為更進(jìn)一步驗(yàn)證本文方法的實(shí)際可行性，本文在kinect獲取的數(shù)據(jù)上做了驗(yàn)證，如圖5所示。圖5(c)是未經(jīng)過(guò)前景邊緣匹配處理的深度圖，圖5(e)是經(jīng)過(guò)前景邊緣匹配處理后的深度圖。直觀上圖5(e)顯然比圖5(c)更加合理。從點(diǎn)云繪制結(jié)果來(lái)看，圖5(f)的前景邊緣附近的錯(cuò)誤點(diǎn)比圖5(d)的前景邊緣附近的錯(cuò)誤點(diǎn)要少很多，說(shuō)明本文對(duì)深度圖與彩色圖像的前景不匹配問題處理是有效的。圖2與圖5說(shuō)明了本文方法不僅能填充空洞，而且還將分辨率從640×480提升到1 280×1 024。

圖5 kinect深度圖增強(qiáng)

4 結(jié)束語(yǔ)

本文通過(guò)結(jié)合基于深度的前景分割、聯(lián)合雙邊濾波插值方法，實(shí)現(xiàn)了一種融合彩色圖的深度圖增強(qiáng)方法。為了更好保持邊緣信息，引入引導(dǎo)深度相似項(xiàng)及梯度域項(xiàng)，改進(jìn)了已有的聯(lián)雙邊濾波插值方法。實(shí)驗(yàn)結(jié)果表明，本文方法比已有的聯(lián)合雙邊插值方法具有更好的保邊效果。此外基于深度的前景分割預(yù)處理方法有效解決了前景邊緣不匹配問題。下一步工作將解決其他非前景邊緣不對(duì)稱問題，進(jìn)一步提高深度圖質(zhì)量。

[1] Scharstein D, Szeliski R. A Taxonomy and Evaluation of Dense Two-frame Stereo Correspondence Algorithms[J]. International Journal of Computer Vision, 2002, 47(1/3): 7-42.

[2] SwissRangerTMSR4000 Data Sheet[EB/OL]. (2012-10-10). http://www.mesaimaging.ch/prodview4k.php.

[3] Diebel J. An Application of Markov Random Fields to Range Sensing[C]//Proc. of Advances in Neural Information Processing Systems Conference. [S. 1.]: IEEE Press, 2006: 291-298.

[4] Park J, Kim H, Tai Y W, et al. High Quality Depth Map Upsampling for 3D-TOF Cameras[C]//Proc. of IEEE International Conference on Computer Vision. [S. 1.]: IEEE Press, 2011: 1623-1630.

[5] Chan D, Buisman H, Theobalt C, et al. A Noise-aware Filter for Real-time Depth Upsampling[C]//Proc. of Workshop on Multi-camera and Multi-model Sensor Fusion Algorithms and Applications. Marseille, France: [s. n.], 2008: 1-12.

[6] Kopf J, Cohen M F. Joint Bilateral Upsampling[J]. ACM Transactions on Graphics, 2007, 26(3): 96-100.

[7] Yang Jingyu, Ye Xincheng, Li Kun, et al. Depth Recovery Using an Adaptive Color-guided Auto-regressive Model[C]// Proc. of ECCV’12. Berlin, Germany: Springer, 2012: 158-171.

[8] Matyunin S, Vatolin D, Berdnikov Y, et al. Temporal Filtering for Depth Maps Generated by Kinect Depth Camera[C]//Proc. of 3DTV’11. [S. 1.]: IEEE Press, 2011: 1-4.

[9]Camplani M, Salgado L. Efficient Spatio-temporal Hole Filling Strategy for Kinect Depth Maps[C]//Proc. of IS&T/SPIE’12. [S. 1.]: IEEE Press, 2012: 8920-8928.

[10] Li Zhengguo, Zheng Jinghong, Zhu Zijian, et al. A Bilateral Filter in Gradient Domain[C]//Proc. of ICASSP’12. [S. 1.]: IEEE Press, 2012: 1113-1116.

[11] Yang Qingxiong. Recursive Bilateral Filtering[C]//Proc. of ECCV’12. Berlin, Germany: Springer, 2012: 399-413.

[12] Herrera C, Kannala J. Joint Depth and Color Camera Calibration with Distortion Correction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 2058-2064.

[13] Wang Liang, Gong Minglun, Zhang Chenxi, et al. Automatic Real-time Video Matting Using Time-of-flight Camera and Multi-channel Poisson Qquations[J]. International Journal of Computer Vision, 2012, 97(1): 104-121.

[14] Tomasi C, Manduchi R. Bilateral Filtering for Gray and Color Images[C]//Proc. of the 6th International Conference on Computer Vision. [S. 1.]: IEEE Press, 1998: 839-846.

[15] Keys R. Cubic Convolution Interpolation for Digital Image Processing[J]. IEEE Transactions on Acoustics, Speech and Signal Processing, 1981, 29(6): 1153-1160.

[16] 王孝通, 金 鑫, 徐曉剛, 等. 聯(lián)合雙邊圖像插值[J]. 中國(guó)圖象圖形學(xué)報(bào), 2011, 16(12): 2117-2123.

編輯 索書志

Depth Image Enhancement Algorithm Based on Joint Bilateral Filtering

LIU Jin-rong1,2, LI Chun-peng2, OUYANG Jian-quan1, LIU Jing2

(1. Key Laboratory of Ministry of Education for Intelligence Computation and Information Processing, Xiangtan University, Xiangtan 411105, China; 2. Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China)

Depth image captured by active sensor is a current tendency, which is widely used in navigation, human computer interaction, augmented reality and so on. However, common low-cost sensors have their own disadvantages, such as low resolution, holes, unmatched boundary of edge. For these problems, this paper proposes a depth image enhancement algorithm based on improved joint bilateral filtering. Depth-based foreground segmentation method is adopted to figure out the set of pixels of unmatched foreground edge, and interpolation algorithm based on joint bilateral filter is used to fill the holes. Meanwhile, in order to make further improvement, guided depth similar item and gradient item are introduced to preserve edge structure. Experimental results show that compared with the existing joint bilateral interpolation, the improved method decreases the Mean Squared Error(MSE) by 13% in average which has better effect on edge-preserving.

joint bilateral interpolation; bilateral filtering; gradient domain; edge preserving; foreground segmentation; depth image enhancement

1000-3428(2014)03-0249-04

A

TP391.41

湖南省高校創(chuàng)新平臺(tái)開放基金資助項(xiàng)目(12K043)；湖南省科技廳基金資助項(xiàng)目(2012SK3165)。

劉金榮(1987－)，男，碩士研究生，主研方向：圖像處理，多媒體處理；李淳芃，助理研究員；歐陽(yáng)建權(quán)(通訊作者)，教授；劉 京，博士研究生。

2013-03-12

2013-04-09 E-mail：jinrong.liujy@gmail.com

10.3969/j.issn.1000-3428.2014.03.052