一種基于改進(jìn)MRF的深度圖超分辨率重建

陳金奇，李 榕

（華南師范大學(xué)物理與電信工程學(xué)院，廣州510006）

一種基于改進(jìn)MRF的深度圖超分辨率重建

陳金奇，李 榕

（華南師范大學(xué)物理與電信工程學(xué)院，廣州510006）

隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，快速直接獲取深度信息越來越受到大家的重視，然而直接獲取的深度圖像因受到其成像原理以及硬件設(shè)備所限，存在分辨率低、邊緣噪聲大等缺點(diǎn)，而無(wú)法達(dá)到實(shí)際應(yīng)用要求。為此提出一種基于改進(jìn)馬爾科夫隨機(jī)場(chǎng)的深度圖超分辨率重建方法，具體就是引進(jìn)同場(chǎng)景高分辨率彩色圖，充分挖掘彩色圖和深度圖的內(nèi)在關(guān)系，構(gòu)建局部自相關(guān)性特征結(jié)構(gòu)，從而重新構(gòu)建馬爾科夫隨機(jī)場(chǎng)的深度數(shù)據(jù)約束項(xiàng)和深度平滑項(xiàng)，從而將重建問題轉(zhuǎn)化為求最優(yōu)解問題。實(shí)驗(yàn)表明該方法較其他方法在面對(duì)圖像邊緣過度平滑以及邊緣像素稀疏等問題時(shí)有更好的抑制作用，在峰值信噪比和均方根誤差兩項(xiàng)評(píng)價(jià)指標(biāo)上均取得較好結(jié)果，能得到高質(zhì)量致密深度圖，有很好的視覺效果。

深度圖；超分辨率；TOF相機(jī)；彩色圖像引導(dǎo)；局部自相關(guān)性；馬爾科夫隨機(jī)場(chǎng)

1 引言

隨著三維目標(biāo)視覺技術(shù)的發(fā)展，獲取高質(zhì)量的三維場(chǎng)景深度信息成為大家關(guān)注的焦點(diǎn)。獲取深度信息的方法從所用設(shè)備可以分為間接獲取和直接獲取。雙目立體視覺[1-2]是間接獲取的經(jīng)典方法，該方法需要兩個(gè)具有一定距離的相機(jī)對(duì)同一場(chǎng)景進(jìn)行同時(shí)拍攝或者從不同角度拍攝同一場(chǎng)景，通過立體匹配算法找出左右兩幅圖像各對(duì)應(yīng)點(diǎn)之間的視差信息從而計(jì)算得到深度信息。該方法對(duì)無(wú)紋理區(qū)域效果差而且不能解決左右圖像之間遮擋問題，所以不能很好的應(yīng)用到實(shí)際中。直接獲取比較于間接獲取的區(qū)別在于設(shè)備本身需要發(fā)射能量來獲取深度信息。激光測(cè)距掃描儀[3-5]通過單點(diǎn)掃描獲取場(chǎng)景深度信息，但獲取的深度值呈現(xiàn)出離散形式而限制了其應(yīng)用。TOF相機(jī)通過對(duì)場(chǎng)景發(fā)射近紅外脈沖，計(jì)算脈沖往返場(chǎng)景的時(shí)間差來獲取深度信息，然而受到硬件限制，TOF相機(jī)得到的深度圖存在分辨率低，邊緣噪聲大等缺點(diǎn)。

由于受到硬件限制，獲取的深度信息無(wú)法達(dá)到實(shí)際應(yīng)用要求，從軟件方面通過構(gòu)造數(shù)學(xué)模型，以分辨率低、噪聲大的深度圖獲得高分辨率、高質(zhì)量的深度圖成為眾多學(xué)者的研究熱點(diǎn)。深度圖超分辨率重建就是其中之一。從處理的數(shù)據(jù)源信息不同，可以分為多幀圖像的超分辨率重建和單幀圖像的超分辨率重建。然而在實(shí)際應(yīng)用中很難得到同一場(chǎng)景的多幀深度圖，主要是對(duì)多幀低分辨率深度圖之間的運(yùn)動(dòng)有很高的要求（必須是亞像素級(jí)別的運(yùn)動(dòng)位移）。因此，多幀深度圖像的超分辨率重建的可行性很低。單幀深度圖由于本身分辨率低、噪聲大、所含信息少等缺點(diǎn)，只用它本身進(jìn)行重建也很難獲得理想的結(jié)果。所以大家提出一類結(jié)合同場(chǎng)景高分辨率彩色圖的方法。Kopf等人[6]采用聯(lián)合雙邊上采樣，由低分辨率深度圖得到高分辨率深度圖；Yang等人[7]將彩色圖的局部特征運(yùn)用到深度圖的超分辨率重建；Chan等人[8]將局部窗口深度信息的相似性與聯(lián)合濾波相結(jié)合，很好的解決了彩色紋理信息對(duì)深度圖的影響；Min等人[9]提出一種帶權(quán)重系數(shù)的眾數(shù)濾波方法，該方法對(duì)聯(lián)合雙邊濾波出現(xiàn)的邊緣過度深度值有很好的抑制效果；Matsuo等人[10]提出帶權(quán)重聯(lián)合雙邊濾波器，有較好的實(shí)時(shí)運(yùn)算效率；董文箐等人[11]將二階微分算子和測(cè)地距離運(yùn)用到深度圖超分辨率重建中，對(duì)圖像邊緣結(jié)構(gòu)有較好的保護(hù)作用并且解決了偽影問題；Li等人[12]提出一種基于稀疏表示過完備字典基的學(xué)習(xí)方法，能得到高質(zhì)量深度圖，但該方法耗時(shí)長(zhǎng)，運(yùn)算效率低；Diebel等人[13]最早將馬爾科夫隨機(jī)場(chǎng)運(yùn)用到深度圖升采樣中，將像素點(diǎn)間的顏色相似性引申為馬爾科夫隨機(jī)場(chǎng)的平滑項(xiàng)，轉(zhuǎn)化為求最優(yōu)解問題。

總之采用與同場(chǎng)景高分辨率彩色圖相結(jié)合的各種方法在一定的條件下都得到較高質(zhì)量的深度圖，然而各自有優(yōu)缺點(diǎn)。上述的系列濾波方法都是基于局部信息的深度圖重建方法，有較快的運(yùn)行效率，在圖像邊緣處理上有較好效果，然而以馬爾科夫隨機(jī)場(chǎng)模型為代表的基于全局優(yōu)化的深度圖重建方法能夠保持更多全局結(jié)構(gòu)化信息，但是該方法得到的結(jié)果往往會(huì)出現(xiàn)部分像素點(diǎn)沒有深度值或深度值誤差較大，而且圖像邊緣過度平滑。針對(duì)這種問題，提出一種以馬爾科夫隨機(jī)場(chǎng)為基礎(chǔ)，以同場(chǎng)景高分辨率彩色圖為引導(dǎo)，尋找彩色圖和深度圖局部?jī)?nèi)在聯(lián)系，構(gòu)建局部自相似性，重新構(gòu)造馬爾科夫隨機(jī)場(chǎng)的能量項(xiàng)的方法，從而將超分辨率重建問題轉(zhuǎn)化為求最優(yōu)解問題。本方法最終在保持更多全局結(jié)構(gòu)化信息的前提下，得到高致密的深度圖，并對(duì)邊緣過度平滑有較好的抑制作用。

2 馬爾科夫隨機(jī)場(chǎng)

在文獻(xiàn)[14]中，將馬爾科夫隨機(jī)場(chǎng)運(yùn)用到深度圖超分辨率重建中，其模型表達(dá)式可以寫成如下形式：

其中y表示待估算的深度點(diǎn)，z表示輸入的原始深度點(diǎn)，x表示同場(chǎng)景相對(duì)應(yīng)的彩色點(diǎn)。分別表示馬爾科夫隨機(jī)場(chǎng)中兩個(gè)能量項(xiàng)的深度數(shù)據(jù)項(xiàng)和深度平滑項(xiàng)，其具體表達(dá)式如下：

對(duì)公式（1）“-log”運(yùn)算，可將深度圖像超分辨率重建問題（后驗(yàn)概率最大化問題）轉(zhuǎn)換成為關(guān)于y的全局能量最小化問題：

該方法得到的結(jié)果整體上存在深度值稀疏，邊緣過度平滑的問題。為此通過充分挖掘深度圖與同場(chǎng)景高分辨率彩色圖的內(nèi)在關(guān)系，構(gòu)建局部特征關(guān)系形成新的能量約束項(xiàng)來抑制上述問題。

通過觀察可以發(fā)現(xiàn)，真實(shí)場(chǎng)景中顏色相似的地方有較大的概率存在相似的深度值，但不能要求顏色突變，對(duì)應(yīng)的深度值也突變，場(chǎng)景表面是分段光滑的?；谝陨系南闰?yàn)假設(shè)，可以重新構(gòu)造權(quán)重

表示顏色越相似，有相同深度值概率越大，

表示空間距離越近，有相同深度值概率越大。

于是構(gòu)建新的深度平滑項(xiàng)，

同時(shí)構(gòu)建新的深度數(shù)據(jù)約束項(xiàng)，

表示初始深度值相似度越大，最終有相同深度值概率越大。

將公式（9）和（10）代入公式（5）中進(jìn)行求解，最終得到理想結(jié)果。

3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證所提方法的有效性，采用Middlebury數(shù)據(jù)集[13]提供的深度圖進(jìn)行實(shí)驗(yàn)，并與雙立方插值法、文獻(xiàn)[12]中的馬爾科夫隨機(jī)場(chǎng)模型方法和實(shí)際深度值進(jìn)行比較。

表1 均方根誤差評(píng)價(jià)結(jié)果

表2 峰值信噪比評(píng)價(jià)結(jié)果

圖1 Middleburry數(shù)據(jù)集[13]實(shí)驗(yàn)結(jié)果

為客觀分析該重建方法效果，采用均方根誤差和峰值信噪比分別對(duì)Art、Baby、Bowling三組圖像的重建結(jié)果進(jìn)行比較。對(duì)比采用的是[15]中提供的真實(shí)深度值。表1給出各算法的均方根誤差結(jié)果，表2給出峰值信噪比結(jié)果

從表1、表2的評(píng)價(jià)結(jié)果可以看出，該方法在均方根誤差和峰值信噪比評(píng)價(jià)結(jié)果上均優(yōu)于雙立方插值法和文獻(xiàn)[12]的方法。

4 結(jié)束語(yǔ)

提出一種深度圖超分辨率重建算法。以馬爾科夫隨機(jī)場(chǎng)模型為基礎(chǔ)，引入同場(chǎng)景高分辨率彩色圖，充分挖掘深度圖與彩色圖的內(nèi)在聯(lián)系以構(gòu)造局部特征結(jié)構(gòu)模型，從而重新構(gòu)造馬爾科夫隨機(jī)場(chǎng)的深度數(shù)據(jù)約束項(xiàng)和深度平滑項(xiàng)，將深度圖超分辨率重建問題轉(zhuǎn)化為求最優(yōu)解問題。實(shí)驗(yàn)表明，該方法對(duì)深度圖邊緣噪聲，邊緣過度平滑，圖像邊緣像素稀疏等問題有很好的抑制作用，最后能得到高質(zhì)量、高致密深度圖，有很好的視覺效果。

[1]Hartley R,Zisserman A.Multiple view geometry in computer vision[M].Cambridge Universes,2000.

[2]Hosni A,Rheman C,Bleger M,et al.Fast cost-volume filetering for visual correspondence and beyond [J].IEEE Transaction on Patten Analysis and Machine Intelligence,2012,35(2):504-511.

[3]Cheng X,Zhang H,Xie R.Study on 3D laser scanning modeling method for large-scale history building[C].//Computer Application and System Modeling(ICCASM),2010 International Conference on.IEEE,2010(7):573-577.

[4]Jarvis R A.A Perspective on Range Finding Techniques for Computer Vision[J].IEEE Trans on Pattern Analysis and Machine Intelligence,1983,5(2):122-139

[5]Salvi J,Pages J,Batlle J.Pattern Codification Strategies in Structured Light Systems[J].Pattern Recognition,2004,37(4):827-849

[6]Kopf J,Cohen M F,Lischinski D,et al.Joint Bilateral up Sampling[J].ACMTransactions on Graphics,2007,26(3):96.

[7]Park J,Kim H,Tai Y,et al.High Quality Depth Map up Sampling for 3D-TOF Cameras[C].//Computer Vision(ICCV),2011 IEEE International Conference on.IEE,2011:1623-1630.

[8]Chan D,Buisman H,Theobalt C,et al.A Noise-aware Filter for Real-time Depth up Sampling [C].//Workshop on Multi-camera and Multi-modal Sensor Fusion Algorithms and Applications-M2SFA2 2008.

[9]Dongbo M,Jiangbo L,Do M N.Depth Video Enhancement Based on Weighted Mode Filtering[J].Image Processing,IEEE Transaction on,2012,21(3):1176-1190.

[10]MatsuoT,FukushimaN,IshibashiY.WeightedJointBilateral Filter with Slope Depth Compensation Filter for Depth Map Refinement[J].VISAPP,2013(2):300-309.

[11]董文菁，胡良梅，張旭東，楊慧，陳仲海.基于二階微分算子和測(cè)地距離的深度圖超分辨率重建[J].計(jì)算機(jī)應(yīng)用與軟件，2016,33（7）：200-203.Dong Wenjing,Hu Liangmei,Zhang Xudong,Yang Hui,Chen Zhonghai.Second-order Differential Operator and Geodesic Distance[J].Computer Application and Software,2016,33(7):200-203.

[12]Li Y J,Cohen M F,Lischinski D,et al.Joint Example-based Depth Map Super-resolution [C].//Proceedings of the 9th International Conference on Multimedia and Expo.Australia:IEEE Single Processing Society,2012:152-157.

[13]Diebel,Thrun S.An application of Markov Random Fields to Range Sensing [J].Advances in NeuralInformation Processing Systems,2006,18:291.

[14]劉俊毅.彩色圖像引導(dǎo)的深度圖像增強(qiáng)[D].杭州:浙江大學(xué)，2014.Liu Junyi.Color Image Guided Depth Image Enhancement[D].Hangzhou:Zhejiang University,2014.

[15]Middlebury datasets[EB/OL].2001-03-10[2011-07-05].http://vision.middlebury.edu/stereo/data/.

A Depth Map Super-resolution Reconstruction Based on Improved Markov Random Field

Chen Jinqi,Li Rong
(School of Physics and Telecommunication Engineering,South China Normal University,Guangzhou 510006,China)

As the development of the computer vision technology,rapid direct access to depth information is increasingly concerned,but direct access to the depth map has some disadvantages such as low resolution and heavy edge noise because of the limitation of its imaging principle and hardware,and can't meet the requirements of practical application.For this,a depth map super-resolution reconstruction method based on improved MRF is presented,which in detail is:fully digging the inner relationship of color graph and depth map,constructing local autocorrelation feature structure,and reconstructing the depth data constraint term and depth smoothing term of MRF,so as to convert the problem of reconstruction into finding optimal solution.Experiments show that this method has better suppression effect than others when confronting the problems of edge over-smoothing and sparse edge pixel and achieves better results in the two terms of assessment criteria of peak signal-to-noise ratio and root-mean-square error,which can obtain high quality dense depth map with a good visual effect.

Depth Map；Super-resolution；TOF Camera；Color image guidance；Local autocorrelation；Markov Random Field

10.3969/j.issn.1002-2279.2017.04.015

TP391.7

A

1002-2279-（2017）04-0060-04

陳金奇（1988—），男，湖北省咸寧市崇陽(yáng)縣人，碩士研究生，主研方向：圖像處理與機(jī)器視覺。

李 榕（1957—），男，廣東省廣州人，教授，碩士生導(dǎo)師，主研方向：圖像處理與機(jī)器視覺、光信息處理。

2017-03-03