基于置信度和非局部自相似濾波的超分辨率重建

吳翔驊 吳永忠

摘要：針對低分辨率深度圖像在超分辨率重建中出現(xiàn)邊緣細節(jié)模糊和振鈴效應問題，提出了結合同場景彩色高分辨率圖像，利用深度圖像置信度和非局部自相似濾波的超分辨率重建算法。在聯(lián)合雙邊上采樣濾波器的基礎上，結合深度圖像置信度，去噪平滑圖像，在非局部自相似濾波中結合同場景彩色圖像的特征結構信息進行約束，可以很好減輕振鈴效應，重建出高分辨率圖像。實驗結果表明，本文方法在去噪平滑圖像的同時更好地保護邊緣細節(jié)，避免振鈴效應，取得不錯效果。

關鍵詞：深度圖像，置信度，非局部自相似，濾波器，飛行時間 ，超分辨率

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2018）09-0194-03

隨著數(shù)字成像技術的發(fā)展，計算機視覺被廣泛研究。通過二維圖像提取圖像中物體的三維信息受外部環(huán)境影響較大，三維視覺[1-2]克服了二維視覺的許多問題，可以直接將前景與背景分開。3D ToF技術[3]不同于二維圖像提取三維信息，而是通過調(diào)制的紅外光在空氣中的飛行時間，計算出目標體的距離。3D ToF技術改變了機器視覺行業(yè)，通過使用低成本CMOS像素面陣列和主動調(diào)制光源技術來提供三維場景的距離景深信息。不同于單點逐點掃描方式[4]，而是每個像素都能測量對應目標體的亮度和反射回來的調(diào)制光的到達時間，從而計算出該點對應的距離景深。該技術結構簡單，容易使用，不依賴環(huán)境光，高準確性和高幀速率使得ToF相機應用更有吸引力。但是，由于目前硬件水平的影響，設備成像分辨率較低，不能更好地應用。通過深度圖像的后期算法[5]處理來提高深度圖像的質(zhì)量具有重要意義，也是目前的研究熱點。

基于自然圖像成熟豐富的算法在深度圖像超分辨率問題中運用，通過單幅或者多幅圖像的重建高分辨率圖像。Li Feng[6]等人提出基于UHMT先驗模型是在小波變換HMT的先驗模型上基于MAP估計的方法，算法的迭代優(yōu)化過程計算量大；Li[7]等人提出基于最小二乘方法（LS）的邊緣指導內(nèi)插算法，該算法是運用最小二乘方法根據(jù)低分辨率圖像與高分辨率圖像的特征相似性來自適應的選擇插值格式，較傳統(tǒng)插值算法取得更好重建效果；Yang[8]等人在此基礎上改進圖像局部自相似性，結合小波域的投影算子的全局優(yōu)化，提出了一種基于圖像局部自相似性的超分辨率快速重構算法，提高了視覺效果和滿意的峰值信噪比；Ra-jagopalan[9]等人根據(jù)深度圖像滿足馬爾可夫隨機場先驗分布模型，結合最大后驗概率方法，將MRF模型運用到深度圖像超分辨率問題中。自然圖像的方法都是基于初始低分辨率深度圖像的內(nèi)在信息進行重建，分辨率提升效果有限。通過構造序列深度圖像，一方面對圖像運動位移要求很高，另一方面構造飛行時間相機陣列代價較大，很難得到實際應用。

結合同場景彩色圖像的方法是通過RGB-Depth系統(tǒng)的特征信息融合，發(fā)掘兩者之間的內(nèi)在聯(lián)系，指導深度圖像的重建。Bo[10]等人提取RGB圖像特征梯度核描述子和Depth圖像特征深度核描述子提高3D目標物體的識別；Hu[11]等人基于SIFT特征子的仿射不變性，提出一種基于多核學習的融合RGB特征和Depth特征的3D目標識別方法，解決類內(nèi)差異和類間相似的3D目標識別問題；Kopf[12]和Buades[13]分別采用聯(lián)合雙邊上采樣濾波器和非局部權值濾波器的方法指導深度圖像重建；Diehel等人[14]在馬爾可夫隨機場模型上建立同場景彩色圖像和深度圖像之間的聯(lián)系；Yang[15]提出結合局部和非局部自適應權值濾波的深度圖像超分辨率重建，取得更理性效果。結合彩色圖像引導重建深度圖像方法在深度不連續(xù)處受到一定程度濾波器核函數(shù)的影響，會導致過度平滑和模糊邊緣細節(jié)，在彩色圖像紋理豐富處易發(fā)生錯誤的映射，在深度圖像普遍分辨率不高的情況下會帶來振鈴效應。非局部相似濾波考慮圖像的結構相似性，可以更好地保留圖像邊緣細節(jié)，抑制振鈴效應。非局部均值濾波主要思想是通過圖像塊相似性比較，通過找到與搜索窗的像素塊匹配相似的其他像素參與濾波過程。

雙邊濾波器在去噪平滑圖像的同時可以保護邊緣細節(jié)，聯(lián)合雙邊上采樣濾波器結合彩色圖像可以進一步約束圖像。為了進一步提高重建效果，在平滑圖像的同時保持邊緣細節(jié)結構，避免振鈴效應影響，本文在此基礎上結合深度圖像置信度和非局部相似性可以更好地重建圖像。通過引入深度圖像置信度可以進一步提高濾波效果，保護邊緣細節(jié)特性，更好地平滑圖像；同時，結合高分辨率彩色圖像約束非局部濾波，可以更好地抑制振鈴效應。通過實驗可以得出，本文的優(yōu)化算法在進一步提高圖像平滑的同時更好地保護邊緣細節(jié)特性，抑制紋理錯誤映射和振鈴效應。

1 聯(lián)合雙邊上采樣濾波器

空間濾波器通過減小像素鄰域之間的方差來衰減噪聲。最終結果是更平滑的表面，通常以圖像的結構元素的對比度降低為代價，例如模糊的線條和點。雙邊濾波器本質(zhì)上是高斯濾波器的邊緣保持版本，可以在平滑圖像的同時保持邊緣結構。除了通過增加另一個高斯項來增強加權函數(shù)，該高斯項將中心像素的強度與其鄰居的強度進行比較。雙邊濾波器的具體表達式如下：

[p′]為[p]在[w]領域范圍內(nèi)的像素（[w]通常為3×3或5×5）。[Ip]和[Ip′]為像素點[p]和[p′]的灰度值或RGB值。[g]和[s]構成了濾波器的空間權重參數(shù)和值域權重參數(shù)。Kopf[12]在雙邊濾波器的基礎上通過插值算法上采樣低分辨率深度圖像，結合同場景的高分辨率彩色圖像，兩者融合可以更好的重建深度圖像。[Ip]和[Ip′]為對應彩色圖像值，可以得到濾波器表示為：

2 基于置信度和非局部自相似約束的超分辨率重建算法

上述方法雖然能快速高效地重建出高分辨深度圖像，但是無法解決重建過程中的邊緣模糊、紋理映射問題，其主要原因在于濾波器的空間距離項和顏色相似項難以區(qū)分深度圖像邊緣。本文通過引入深度圖像置信度構造新的濾波，可以在得到去噪平滑圖像的同時減小邊緣細小結構的模糊和丟失。針對圖像分辨率低導致的振鈴影響，考慮到非局部濾波可以在一定程度上減小振鈴效果，本文在此基礎上結合高分辨率彩色圖像信息指導約束，取得更好的效果。

2.1 基于置信度的深度圖像濾波

由于原始深度圖像分辨率低，受到噪聲和場景誤差的干擾會導致很多細小結構的模糊和消除，即使上述超分辨率算法也不能很好地的重建出細小結構，本文在此基礎上通過像素點的置信度[R]進一步來提高圖像質(zhì)量，更好地平滑圖像的同時保持邊緣細小結構特性。設定閾值為[t]，如果像素點置信度[R]大于[t]，則保留像素點，否則丟棄，可以剔除相位失真的像素點。像素點[p]的深度值可以由以下等式得出：

2.2基于非局部自相似約束濾波

基于同一場景的彩色圖像與深度圖像在特征處存在相似的不連續(xù)性，顏色相同的兩個領域往往有相同深度的可能性比較大。本文在傳統(tǒng)的非局部均值濾波基礎上結合高分辨率的彩色圖像的特征信息對比原始的深度圖像特征來進行非局部自相似濾波，對應的權值系數(shù)為：

式中，[UNi]表示深度圖像中以[Ni]為中心的圖像塊，[Nj]是[Ni]的領域塊，[UGi]和[UGj]分別為彩色圖像中對應的圖像塊。[a]，[b]分別為對應高斯核函數(shù)的標準差，[hN]和[hG]為控制濾波衰減速度的濾波器參數(shù)，進而控制圖像的平滑程度，[wij]指得是在深度圖像中圖像塊[Ni]和[Nj]的相似程度。因此，在設定搜索窗口[I]后，濾波后的深度圖像[UNi]由以下公式給出：

3 實驗對比分析

為了驗證本文方法的有效性，采用3D TOF相機和彩色相機拍攝場景數(shù)據(jù)，使用Middlebury標準數(shù)據(jù)集進行測試，同時與聯(lián)合雙邊濾波方法及非局部均值濾波方法進行對比分析。實驗的配置環(huán)境是：Intel Core i5 CPU@2.5GHz，4GB內(nèi)存，操作系統(tǒng)是win7。

第一部分實驗是采用TOF相機（TI）和彩色相機進行真實場景拍攝，獲取場景深度圖像和彩色圖像進行配準[16]后進行實驗，實驗結果如圖1所示。由圖1各方法的對比可以得出本文算法取得更好的重建效果，邊緣細節(jié)更加明顯。

第二部分實驗是采用Middlebury數(shù)據(jù)集進行實驗，進一步分析本文算法的有效性。通過對數(shù)據(jù)集中的高分辨率深度圖像8倍下采樣取得低分辨率深度圖像，然后通過本文算法和聯(lián)合雙邊上采樣濾算法以及非局部濾波算法處理獲得高分辨率深度圖像，進行比較分析。從實驗結果可以看出經(jīng)本文的算法處理的深度圖（d）相比較于圖（b）（c），邊緣細節(jié)得到更好的細化和保留，取得很好的重建效果。

通過實驗值與真值的均方根比較，定量分析算法的有效性，在不同的放大因子下，比較圖像的均方根差值。由表1可以得出，在本文算法的試驗下取得的均方根誤差最小，說明了本文算法的有效性。

3 結語

本文針對初始低分辨率深度圖像在濾波過程中出現(xiàn)邊緣細節(jié)模糊和振鈴效應等問題，提出了結合同場景彩色高分辨率圖像，利用深度圖像置信度信息和非局部自相似的超分辨率重建算法。在聯(lián)合雙邊上采樣濾波的基礎上，利用深度圖像置信度輔助提升去噪平滑圖像的效果，在非局部濾波中結合同場景彩色圖像的結構特征信息，可以很好減輕振鈴效應，保護邊緣細節(jié)，重建出高分辨率圖像。實驗結果表明本文的優(yōu)化方法從定性和定量兩方面都取得不錯效果，對深度圖像處理具有價值。

參考文獻：

[1] Fabian J，Young T， Jones J，et al. Integrating the micraosoft kinect with simulink： real-time object tracking example [J]. IEEE Transaction on Mechatronics， 2012，19（1）：249-257.

[2] 張旭東，吳國松，胡良梅，等. 飛行時間3維相機的多視角散亂點云優(yōu)化配準[J].中國圖像圖形學報，2013，18（11） ：1445一1451.

[3] Molina J， Escudero-Vi[n]olo M，Signoriello A， et，al. real-time user independent hand gesture recognition from time-of-flight camera video using static and dynamic models [J]. Machine Vision and Applications，2013，24（1）：187-204.

[4] Cheng X，Zhang H， Xie R. Study on 3D laser scanning modeling method for large-scale history building [C] //Computer Application and System Modeling （ICCASM），2010 lntemational Conference on. IEEE ， 2010 ， 7 ： 573一577.

[5] 張旭東，沈玉亮，胡良梅，等.改進的PMD距離圖像超分辨率重建算法[J].中國圖像圖形學報，2012.17 （4） ：480 -486.

[6] Li Feng，Jia Xiuping， Donald Fraser.Universal hmt based super resolution for remote sensing images [C] //Proceedings of ICIP. Washington，DC：IEEE， Press， 2008， 333-336.

[7] Li Xin， Orchard M T. Edge-directed prediction for lossless compression of natural images [J].IEEE Transactions on Image Processing， 2001，10 （6） ：813-817.

[8] 楊宇翔，曹洋，汪增福.利用圖像局部自相似性的超分辨率重構算法 [J].中國圖像圖形學報，2011.16 （5）：720-725.

[9] Rajagopalan A N， Bhavsar A， Wallhoff F， et al. Resolution enhancement of PMD range maps [J].Lecture Notes in Computer Science， 2008， 5096：304-313.

[10] Bo L，Ren X，F(xiàn)ox D. Depth kernel descriptors for object recognition [C] //2011 IEEE/RSJ lnternational Conference on lntelligent Robots and Systems （IROS），San Francisco. CA. USA，2011 ：821-826.

[11] 胡良梅，楊慧，張旭東，等.融合RGB特征和Depth特征的3D目標識別方法 [J].電子測量與儀器學報，2015.29（10）：1431-1439.

[12] Kopf J，Cohen M F ， Lischinski D ， et al. Joint bilateral upsampling [J] . ACM Transactions on Graphics，2007，26 （3） ：839-846.

[13] Buades A ，Coll B ， Morel J M. A non-local algorithm for image denoising [C] //IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005：60-65.

[14] Diebel J，Thrun S. An application of Markov random fields to range sensing [J]. Advances in Neural Information Processing Systems， 2006，18：291-298.

[15] 楊宇翔，曾毓，何志偉，高明煜.基于自適應權值濾波的深度圖像超分辨率重建 [J].中國圖像圖形學報，2014，19（8）：1210-1218.

[16] Choi O，Jung S. A consensus-driven approach for structure and texture aware depth map upsampling [J]. IEEE Transactions onImage Processing，2014，23（8）：3321-3335.