遙現(xiàn)中基于顯著特征的深度圖像濾波算法

馮策，戴樹嶺

（北京航空航天大學(xué)自動化與電氣工程學(xué)院，北京100191）

遙現(xiàn)中基于顯著特征的深度圖像濾波算法

馮策，戴樹嶺

（北京航空航天大學(xué)自動化與電氣工程學(xué)院，北京100191）

針對遙現(xiàn)系統(tǒng)中，由于相機(jī)精度、材質(zhì)等原因?qū)е律疃刃畔①|(zhì)量不高，存在缺失以及噪聲等問題，提出了基于顯著特征的濾波算法。結(jié)合頻率域的顯著圖分析算法和基于圖的分割算法提取出人類感興趣的顯著區(qū)域，針對這部分區(qū)域利用聯(lián)合雙邊濾波法進(jìn)行重點(diǎn)處理。實驗結(jié)果表明，該算法在有效抑制了平坦區(qū)域的噪聲的同時，增強(qiáng)了顯著區(qū)域深度圖像的細(xì)節(jié)，并填補(bǔ)了邊緣部分的缺失，實現(xiàn)了實時條件下深度圖像的有效濾波。

深度圖；聯(lián)合雙邊濾波法；顯著圖；遙現(xiàn)；圖像分割；濾波算法

遙現(xiàn)是一種致力于為本地用戶呈現(xiàn)遙遠(yuǎn)現(xiàn)場體驗感的技術(shù)。通過傳感器獲取遠(yuǎn)程的深度信息和彩色信息，實時傳輸?shù)奖镜?，為本地用戶?gòu)建起遠(yuǎn)程的三維場景，使用戶能夠身臨其境。近年來，這一技術(shù)在航天領(lǐng)域、3D視頻通信［1］以及遠(yuǎn)程手術(shù)中都得到了廣泛的應(yīng)用，但是由于相機(jī)的自身精度以及對象材質(zhì)等原因，導(dǎo)致獲取的深度信息質(zhì)量欠佳，若直接用于遠(yuǎn)程顯示，效果較差，所以，如何改善深度圖像的質(zhì)量，提升遠(yuǎn)程的重構(gòu)效果，是遙現(xiàn)系統(tǒng)中應(yīng)當(dāng)首要解決的問題。

近幾年，隨著深度傳感器發(fā)展，研究人員在深度圖像處理方面做出了許多的卓越工作［2-6］。傳統(tǒng)保持邊緣的濾波算法能有效改善深度圖像的質(zhì)量，但是存在修復(fù)質(zhì)量和計算速度上相互制約的問題，無法滿足遙現(xiàn)系統(tǒng)的需求，其中利用高斯核的保邊濾波法［3-5］處理圖像時需要較大尺寸的濾波窗口，導(dǎo)致計算速度低下，無法滿足實時性的需求；而傳統(tǒng)的中值濾波［6］雖然可以快速修復(fù)深度圖，但是沒有考慮圖像邊緣毛糙的問題。因此本文的研究目的是尋找一種方法來實現(xiàn)計算速度和修復(fù)質(zhì)量的平衡。

通過對一組深度圖像的觀察和分析，總結(jié)出影響深度圖像質(zhì)量的2個主要因素：1）由于攝像頭精度問題所固有的誤差和光噪聲；2）深度缺失。由于在物體邊緣處存在深度不連續(xù)性，導(dǎo)致在對象的邊界處會出現(xiàn)許多缺失。

針對以上2方面的問題，同時考慮到遙現(xiàn)系統(tǒng)對于實時性的要求，本文提出了一種基于顯著特征的雙邊濾波法來改善深度圖像的質(zhì)量，只針對深度圖像的顯著區(qū)域進(jìn)行重點(diǎn)優(yōu)化，一方面可以節(jié)省計算資源，提升效率，另一方面可以利用顯著圖來修復(fù)深度圖像的缺失，為遠(yuǎn)程顯示創(chuàng)建更為真實的3D場景，提升用戶的臨場感。

1 算法框架

針對深度圖像優(yōu)化的需求，濾波算法需要具備4個性質(zhì)，即平滑噪聲、修復(fù)缺失、保持細(xì)節(jié)、高效性。

對于抑制噪聲同時保持細(xì)節(jié)的要求，雙邊濾波法是最常用的算法，經(jīng)典雙邊濾波法可以修復(fù)深度圖像中較小的缺失，但對于較大的缺失則無能為力，而且對于質(zhì)量較差圖片需要較大半徑的濾波器來處理，實時性也無法滿足要求。

由于人類視覺主要集中在圖像的某些關(guān)鍵區(qū)域，因此只針對這些區(qū)域進(jìn)行雙邊濾波，可以優(yōu)先的分配計算資源，實現(xiàn)濾波的高效性，同時可以利用相應(yīng)的彩色紋理圖對深度圖像進(jìn)行修復(fù)，基于以上考慮，本文研究算法的主要步驟如下：

1）計算彩色圖的顯著特征；

2）利用圖像分割方法提取顯著區(qū)域；

3）將顯著圖作為雙邊濾波的引導(dǎo)圖，對深度圖的顯著區(qū)域進(jìn)行濾波；

4）對深度圖的非顯著區(qū)域進(jìn)行高斯濾波。

2 聯(lián)合顯著特征的濾波算法

在圖像中，顯著區(qū)域是人類的注意力最為集中的某些區(qū)域，也是圖像中最能表現(xiàn)圖像內(nèi)容的區(qū)域。顯著區(qū)域是由視覺特殊性以及圖像中的顏色、亮度、邊緣等特征所決定的。計算機(jī)視覺領(lǐng)域利用數(shù)學(xué)模型模擬了人類視覺的注意力機(jī)制，提出了自底向上和自頂向下的顯著特征估計算法，顯著特征估計目前是自適應(yīng)壓縮，興趣區(qū)域提取任務(wù)中重要的步驟。

2.1 基于頻率域的顯著特征計算

根據(jù)本系統(tǒng)對于實時性的需求，本文采用的基于頻率域的顯著性分析算法［7］，該方法優(yōu)點(diǎn)是顯著性區(qū)域細(xì)節(jié)突出，比傳統(tǒng)的顯著圖算法保存了更多的高頻信息，尤其是邊緣部分，如圖2所示，這樣可以更好的提取圖像邊界信息來修復(fù)圖像邊緣部分的缺失和噪聲。本算法具體算式如下：

式中：Iu是圖像I的算術(shù)平均灰度值，Iwhc是該圖像經(jīng)過高斯模糊后的圖像，S（x，y）為圖像I的顯著值。

2.2 顯著區(qū)域提取

本文的顯著區(qū)域提取方法首先是利用圖像分割算法對顯著特征圖進(jìn)行分割，然后再根據(jù)自適應(yīng)閾值提取出顯著區(qū)域。

2.2.1 基于圖的圖像分割算法

文獻(xiàn)［7］中顯著區(qū)域的提取采用mean-shift算法來進(jìn)行圖像分割，雖然分割效果較好，但是很難滿足實時性的需求，所以這里采用基于圖的圖像分割方法［8］，此方法是一種基于貪心選擇的分割方法，該圖像分割算法的運(yùn)行時間接近于線性，滿足系統(tǒng)對于實時性的要求。該算法更重要的特性在于，重視紋理特征變化較小的部分，這樣更有助于深度圖細(xì)節(jié)部分的修復(fù)。

基于圖的圖像分割方法［8］是通過2個特征來判斷2個區(qū)域是否應(yīng)該合并：區(qū)域間間距和區(qū)域內(nèi)間距。如果2個區(qū)域的區(qū)域間間距明顯大于其中任意一個區(qū)域的區(qū)域內(nèi)間距，則認(rèn)為這2個區(qū)域不可以合并。分割后提取出的顯著區(qū)域如圖3所示。

圖2 基于頻率域的顯著特征計算Fig.2 Frequency-tuned salient characteristics computation

圖3 顯著區(qū)域的提取結(jié)果Fig.3 The result of salient region extraction

2.2.2 自適應(yīng)閾值的定義

用基于圖的圖像分割方法提取出顯著區(qū)域，將輸入的顯著圖像分割成若干部分，通過設(shè)定自適應(yīng)閾值來判定哪些部分為顯著區(qū)域，一個部分顯著均值如果大于閾值，則判定此部分為顯著區(qū)域，不滿足條件則為非顯著區(qū)域，如圖3（b）所示，非黑色區(qū)域為提取的顯著區(qū)域，黑色區(qū)域則為非顯著區(qū)域。其中自適應(yīng)閾值定義如下：

2.3 改進(jìn)的濾波算法

針對顯著區(qū)域，本文利用聯(lián)合顯著區(qū)域的雙邊濾波法進(jìn)行處理。針對非顯著區(qū)域，利用高斯濾波進(jìn)行處理。

圖4 本文算法流程圖Fig.4 Algorithm flowchart

本文算法的流程圖如圖4所示，算法針對圖像進(jìn)行逐像素的處理，當(dāng)遍歷到顯著區(qū)域的像素時應(yīng)用聯(lián)合雙邊濾波，此處濾波只利用顯著區(qū)域的鄰域像素進(jìn)行加權(quán)平均；當(dāng)遍歷到非顯著區(qū)域的像素時則應(yīng)用高斯濾波，此處濾波只利用非顯著區(qū)域的鄰域像素進(jìn)行加權(quán)平均。

經(jīng)典的高斯濾波器是利用局部加權(quán)平均的思想，但缺點(diǎn)是平滑了圖像的同時，也模糊了圖像的邊緣。為了保持圖像邊緣，Tomasi等提出了雙邊濾波算法［9］，不僅考慮了距離權(quán)重，也考慮到了像素灰度相似性，Petschnig等［10］在雙邊濾波法的基礎(chǔ)上提出了聯(lián)合雙邊濾波的概念。它與雙邊濾波不同的是，聯(lián)合雙邊濾波法的灰度相似性權(quán)重不是基于輸入圖像而是基于引導(dǎo)圖像進(jìn)行計算的，具體如下：

式中：Ip為輸出圖像，Iq為輸入圖像，g為引導(dǎo)圖的灰度相似度權(quán)重因子，d為幾何相似度的權(quán)重因子。

針對傳統(tǒng)雙邊濾波法無法修復(fù)較大缺失的缺點(diǎn)，本文對雙邊濾波法進(jìn)行了改進(jìn)，一方面可以抑制噪聲，保持細(xì)節(jié)；另一方面可以修復(fù)深度圖像的較大缺失。

傳感器在采集深度圖像的同時可以獲取相應(yīng)的彩色圖像，因此可以利用彩色圖像中的有效信息來對深度圖像進(jìn)行修復(fù)，有效信息包括彩色圖像的梯度、顏色、邊緣、邊界信息等。本文具體思想是利用顯著圖作為濾波算法的引導(dǎo)圖，同時利用顯著圖的有效信息來對深度圖像進(jìn)行修復(fù)。

空間濾波算法是利用鄰域像素的加權(quán)平均對中心像素進(jìn)行填充，但是深度圖像中存在2種無效鄰域像素（第1種是缺失像素；第2種是與中心像素不處于同一背景的鄰域像素），即無法對中心像素的填充做出貢獻(xiàn)，這2種像素通常存在于邊緣部分。因此，首先需要判斷濾波窗口內(nèi)的像素是否為有效像素，只有有效像素才可以對中心像素具有貢獻(xiàn)。如圖5所示，判斷鄰域像素是否有效需要同時滿足3個方面條件：

1）鄰域像素與待處理的中心像素處于同一區(qū)域內(nèi)（同時在顯著區(qū)域內(nèi)，或同時在非顯著區(qū)域內(nèi)）；

2）鄰域像素深度值大于設(shè)定的深度閾值（不是缺失像素）；

3）鄰域像素與中心像素處于同一背景，即在顯著圖中對應(yīng)位置的顯著值近似。

圖5 濾波窗口Fig.5 Filtering window

圖5 是平滑圖像的窗口，圖5（b）中的右上方框的像素不滿足深度閾值的條件，為無效像素，左上方框內(nèi)的同時滿足以上條件，為有效像素。針對顯著區(qū)域的濾波如下：

其中：

而對于非顯著區(qū)域，同理改進(jìn)高斯濾波算法，使其去噪同時，也可以修復(fù)圖像。針對非顯著區(qū)域的濾波如下：

其中：

式中：Dpb為非顯著區(qū)域的深度圖加權(quán)求和的像素。

3 實驗結(jié)果與分析

在實驗中對一組真實圖像采用本文所提出的方法進(jìn)行了濾波。其中，玩具熊和人物2幅圖像來源于深度相機(jī)拍攝的真實數(shù)據(jù)，深度圖像分辨率為640×480，另一幅圖像來源于公開測試集［11］。本文算法在PC機(jī)上（AMD2.6 Hz四核CPU，2 G內(nèi)存），針對深度相機(jī)采集到的640×480分辨率的人物視頻上進(jìn)行了平均耗時的測試，本文采用14×14大小的窗口濾波器，同等窗口大小的雙邊濾波法平均耗時為1.36 s，而本文算法平均耗時為0.467 s（其中顯著特征計算、顯著區(qū)域提取、高斯濾波和雙邊濾波的平均耗時分別為為0.034，0.04，0.393 s），滿足實時性的要求。

由圖6所示，隨著顯著區(qū)域面積增加，雙邊濾波處理的圖像面積也隨之增大，因此耗時也逐漸呈上升趨勢。

圖6 耗時分析Fig.6 Time comsumption analysis

圖7 為顯著區(qū)域提取的過程，圖8為本文算法濾波結(jié)果圖，實驗中與雙邊濾波法進(jìn)行比較，圖8（d）是細(xì)節(jié)放大圖，圓框內(nèi)是本文算法針對邊緣毛糙的平滑效果，方框內(nèi)是針對較大缺失的修復(fù)結(jié)果，橢圓框內(nèi)是對于細(xì)節(jié)部分的保持，可以從對比中看出本文算法對于玩具熊的領(lǐng)結(jié)等細(xì)節(jié)部分給予了很好保持。圖9是公開測試集的測試結(jié)果，與經(jīng)典雙邊濾波結(jié)果進(jìn)行了比較，本文算法邊緣的優(yōu)化效果比較理想。

圖7 顯著區(qū)域提取Fig.7 Extraction of salient region

圖8 濾波結(jié)果圖Fig.8 Filtering results

4 結(jié)論

本文提出了結(jié)合顯著特征的濾波算法來修復(fù)深度圖像。采用頻率域的方法和基于圖的圖像分割方法計算其顯著區(qū)域，針對深度圖的顯著區(qū)域使用聯(lián)合雙邊濾波法進(jìn)行重點(diǎn)優(yōu)化。

1）該方法一方面利用顯著區(qū)域的特點(diǎn)來修復(fù)深度圖像的邊緣毛糙和缺失，另一方面對于人類視覺敏感區(qū)域進(jìn)行重點(diǎn)濾波，滿足了遙現(xiàn)系統(tǒng)對于實時性的要求。在3幅真實的圖像數(shù)據(jù)上測試了本文的方法，細(xì)節(jié)保持效果優(yōu)于傳統(tǒng)雙邊濾波法，缺失修復(fù)效果也較好。

2）本文算法適用于前景部分主要是人物的遙現(xiàn)系統(tǒng)，對于復(fù)雜背景的情況不是很適用，需要進(jìn)一步的改進(jìn)。在未來的工作中，將結(jié)合時間和空間的特性來改善深度圖像的質(zhì)量。

［1］張兆楊，安平，張之江，等.二維和三維視頻處理及立體顯示技術(shù)［M］.北京：科學(xué)出版社，2010：131-133.

［2］KIM S Y，LEEE K，HO Y S.Generation of ROI enhanced depth maps using stereoscopic cameras and a depth camera［J］.IEEE Transactions on Broadcasting，2008，54：732-740.

［3］KIM S Y，CHO W，KOSCHAN A，et al.Depth map enhancement using adaptive steering kernel regression based on distance transform［J］／／Lecture Notes in Computer Science，2011，6938：291-300.

［4］CAMPLANI M，SALGADO L.Efficient spatio-temporal hole filling strategy for kinect depth maps［C］／／3D Image Processing and Applications.Burlingame：SPIE，2012：8920.［5］MATSUO T，F(xiàn)UKUSHIMA N，ISHIBASHI Y.Weighted joint bilateral filter with slope depth compensation filter for depth map refinement［C］／／VISAPP.Barcelona：Springer，2013：300-309.

［6］MAIMONE A，F(xiàn)UCHS H.Encumbrance-free telepresence system with real-time 3d capture and display using commodity depth cameras［C］／／10th IEEE International Symposium in Mixed and Augmented Reality（ISMAR）.Basel：IEEE，2011：137-146.

［7］ACHANTA R，HEMAMI S，ESTRADA F，et al.Frequency-tuned salient region detection［C］／／Computer Vision and Pattern Recognition.Miami：IEEE，2009：1597-1604.

［8］FELZENSZWALB P F，HUTTENLOCHER D P.Efficient graph-based image segmentation［J］.International Journal of Computer Vision，2004，59（2）：167-181.

［9］TOMASI C，MANDUCHI R.Bilateral filtering for gray and color images［C］／／International Conference on Computer Vision（ICCV）.Bombay：IEEE，1998：839.

［10］PETSCHNIGG G，SZELISKI R，AGRAWALA M.Digital photography with flash and no-flash image pairs［J］.ACM Transactions on Graphics，2004，23（3）：664-672.

［11］SCHARSTEIN D，SZELISKI R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms［J］.International Journal of Computer Vision，2002，47（1／2／3）：7-42.

The depth map filter algorithm based on salient features in telepresence

FENG Ce，DAI Shuling
（School of Automation Science and Electrical Engineering，Beijing University of Aeronautics and Astronautics，Beijing 100191，China）

In telepresence there are many critical problems，such as low quality depth data，absence of depth information，and noise，which are caused by the precision and material of camera.For solving these problems，a salient features based filter algorithm is proposed.The algorithm first extracts a salient region by the frequency-tuned method and graph-based image segmentation method.Next，the algorithm uses joint bilateral filter to process this region on purpose.Experimental results show that the proposed method can effectively reduce noise，recover the lost region and enhance details at the same time.This allows for achieving filtering depth map effectively in real time.

depth map；joint bilateral filter；salient map；telepresence；image segmentation；filter algorithm

10.3969／j.issn.1006-7043.201307011

http：／／www.cnki.net／kcms／doi／10.3969／j.issn.1006-7043.201307011.html

TN911.73

A

1006-7043（2014）11-1364-05

2013-07-04.網(wǎng)絡(luò)出版時間：2014-09-25.

國家自然科學(xué)基金資助項目（50975010）；北京市科委基金資助項目（Z111100074811001）.

馮策（1984-），男，博士研究生；戴樹嶺（1966-），男，教授，博士生導(dǎo)師.

馮策，E-mail：fengce1984＠163.com.