一種改進(jìn)的非銳化掩模深度圖像增強(qiáng)算法

馮 策，戴樹嶺

(北京航空航天大學(xué)自動(dòng)化與電氣工程學(xué)院，100191北京)

深度圖像的獲取是機(jī)器視覺中的重要步驟，三維重建、碰撞檢測(cè)、增強(qiáng)現(xiàn)實(shí)、模式識(shí)別等都依賴于對(duì)深度圖像的分析.由于深度信息獨(dú)立于光照以及物體表面的光反射特性，與傳統(tǒng)的圖像相比，深度圖像不受光照改變以及陰影的影響，因此，深度圖像更容易表現(xiàn)物體的特征，適用于提升機(jī)器視覺任務(wù)的可靠性和實(shí)時(shí)性.

深度圖像通常由雙目相機(jī)，陣列相機(jī)以及深度相機(jī)［1］進(jìn)行采集，然而由于采集設(shè)備獲取的深度圖質(zhì)量不高，通常存在圖像缺失，分辨率低，以及噪聲嚴(yán)重等問題，制約了深度信息在工業(yè)上的應(yīng)用.所以如何來(lái)改善深度圖的質(zhì)量是本文所要研究的內(nèi)容.

1 問題分析

由傳感器獲取的深度信息主要存在以下兩方面問題:由于攝像頭精度問題所固有的誤差和光噪聲;由于在物體邊緣處存在深度不連續(xù)性，導(dǎo)致在對(duì)象的邊界處會(huì)出現(xiàn)許多空洞，即深度缺失.

近些年，研究人員在深度圖像質(zhì)量?jī)?yōu)化方面做出了許多工作.在深度圖降噪方面，文獻(xiàn)［2］改進(jìn)了自適應(yīng)核回歸算法，對(duì)深度圖像進(jìn)行了降噪的同時(shí)保持了細(xì)節(jié)，但是沒有修復(fù)缺失，并且計(jì)算復(fù)雜度較高.文獻(xiàn)［3］采用了三邊濾波法進(jìn)行降噪處理，并在時(shí)域上增強(qiáng)了圖像細(xì)節(jié)，但預(yù)處理流程復(fù)雜，需要對(duì)圖像進(jìn)行分割以及前景提取等.在深度圖修復(fù)缺失方面，文獻(xiàn)［4］分別采用兩種尺寸的窗體對(duì)深度圖像進(jìn)行中值濾波，大尺寸窗體用來(lái)填充缺失，小窗體用來(lái)平滑噪聲，但是算法沒有解決邊緣毛糙的問題.文獻(xiàn)［5］提出了時(shí)域?yàn)V波深度圖修復(fù)增強(qiáng)算法，但是這種方法復(fù)雜度高，也不適用于修復(fù)單幅的深度圖像.文獻(xiàn)［6］在硬件方面作了創(chuàng)新，提出了結(jié)合深度相機(jī)與雙目相機(jī)方式來(lái)修復(fù)深度圖像，但是系統(tǒng)過于龐大，不易于實(shí)現(xiàn).

這里針對(duì)傳統(tǒng)修復(fù)算法存在的問題提出了深度圖增強(qiáng)的分析方法:1)結(jié)合空間濾波算法與空間圖像增強(qiáng)算法來(lái)提高圖像質(zhì)量，目的是濾除噪聲同時(shí)增強(qiáng)被模糊的細(xì)節(jié)部分;2)深度圖像的缺失通常存在于邊緣部分以及深色部分，利用深度圖對(duì)應(yīng)的彩色圖像相關(guān)性填補(bǔ)圖像中缺失的部分.根據(jù)以上分析，本文改進(jìn)了經(jīng)典的非銳化掩模算法［7］，并結(jié)合了聯(lián)合雙邊濾波法，構(gòu)造出了自適應(yīng)的深度圖像增強(qiáng)的算法，既可以填補(bǔ)缺失，平滑噪聲，又可以保持細(xì)節(jié)的清晰.

2 自適應(yīng)的非銳化掩模深度圖像增強(qiáng)算法

2.1 改進(jìn)的非銳化掩模算法

如圖1所示，經(jīng)典的非銳化掩模是將圖像的高頻部分與原圖像疊加的增強(qiáng)過程，如下式所示，高頻部分是通過原圖像與圖像的低頻部分作差得到的.通常深度圖像包含3種類型的區(qū)域:邊緣區(qū)域、平坦區(qū)域和細(xì)節(jié)區(qū)域，對(duì)應(yīng)圖2、3中的標(biāo)號(hào)1、2、3部分，其中細(xì)節(jié)區(qū)域和邊緣區(qū)域包含圖像的重要信息，圖像增強(qiáng)的主要目的是對(duì)這兩類區(qū)域作適當(dāng)?shù)脑鰪?qiáng)，同時(shí)盡量避免放大圖像噪聲.

圖1 非銳化掩模算法

其中:Di為待處理的深度圖，Do為增強(qiáng)后的深度圖像為原圖像高斯濾波的過程，ΔDi為得到的圖像高頻部分，λ為增強(qiáng)部分的權(quán)重因子．

非銳化掩模算法非常適用于深度圖像的增強(qiáng)，原因如下:1)深度圖和彩色圖不同，彩色圖像中存在高光和陰影等不希望增強(qiáng)的部分，而這些部分在深度圖像中是不存在的;2)非銳化掩模的高頻掩模部分，通常一側(cè)是光暈，另一側(cè)是陰影，如圖4中的掩模ΔDi所示，主要適用于不同層次物體間的邊緣以及細(xì)節(jié)區(qū)域的增強(qiáng)，而深度圖像中高對(duì)比度的部分主要是邊緣區(qū)域和細(xì)節(jié)區(qū)域.2006年Luft等［8］利用深度圖的高頻部分疊加到彩色紋理上，進(jìn)而增強(qiáng)彩色圖像的邊緣以及細(xì)節(jié)部分.

經(jīng)典的非銳化掩模算法的缺點(diǎn)是會(huì)導(dǎo)致平坦區(qū)域高頻噪聲的放大，如圖1所示，本文思想是結(jié)合保邊的濾波算法，克服經(jīng)典方法的缺點(diǎn)，修復(fù)圖像的同時(shí)增強(qiáng)圖像細(xì)節(jié)以及邊緣部分.

圖2 高斯濾波掩模

圖3 雙邊濾波掩模

從圖2中可見，ΔD是原圖像與高斯模糊圖像作差所得到的高頻部分，圖2中標(biāo)號(hào)2位置對(duì)應(yīng)的ΔD是高頻噪聲，而這一高頻部分是圖像增強(qiáng)中所不需要的，因此如何濾除平坦區(qū)域的高頻噪聲，修補(bǔ)缺失，增強(qiáng)細(xì)節(jié)以及邊緣區(qū)域部分是本文所追求的目標(biāo)．根據(jù)需求本文聯(lián)想到了保持邊緣的濾波算法:雙邊濾波法．

經(jīng)典的高斯濾波是利用局部加權(quán)平均的思想，但是平滑了圖像的同時(shí)，也模糊了圖像的邊緣.為了保持圖像邊緣信息，Tomasi等提出了雙邊濾波算法［9］，不僅考慮了距離權(quán)重，也考慮到了像素灰度相似性，其中與中心像素相似的鄰域像素的權(quán)重較大，即加權(quán)平均的貢獻(xiàn)較大;而非相似的鄰域像素則權(quán)重很小，幾乎不參與加權(quán)平均，因此雙邊濾波這種特性很好地保持了圖像邊緣，即高頻部分，模型如下式所示.

其中:Ⅰ為輸出圖像，Ⅰi為輸入圖像，wr為灰度相似度權(quán)重因子，ws為幾何相似度的權(quán)重因子，權(quán)重函數(shù)為高斯分布函數(shù)．

從圖3中可見，本文將雙邊濾波法應(yīng)用到了一維圖像上，并與原圖像作差，僅得到平坦區(qū)域的高頻噪聲，而邊緣區(qū)域的高頻部分ΔD趨近于0．對(duì)比圖2與圖3，平坦區(qū)域ΔD基本相同，由此可知，如果參數(shù)設(shè)置適當(dāng)，雙邊濾波法和高斯濾波法在平坦區(qū)域的濾波效果相似，因此可以利用這個(gè)特點(diǎn)對(duì)傳統(tǒng)非銳化掩模算法進(jìn)行改進(jìn):將雙邊濾波法應(yīng)用到原圖像上，平滑原圖像平坦區(qū)域的高頻噪聲，再與高斯濾波的低頻圖像作差，得到了降噪的高頻部分ΔD，如圖3所示．圖4(a)是經(jīng)典的非銳化掩模算法得到高頻部分ΔD，圖4(b)是本文改進(jìn)的算法得到的高頻部分ΔD，可以看出改進(jìn)算法后得到ΔD中的噪聲部分趨近于0，利用去噪的ΔD進(jìn)行局部掩模計(jì)算，這樣得到的圖像只會(huì)增強(qiáng)細(xì)節(jié)和邊緣部分，不會(huì)增強(qiáng)噪聲部分，有效地克服了經(jīng)典非銳化掩模放大噪聲的缺點(diǎn)．改進(jìn)后的算法為

其中:Di為待處理的深度圖，Do為增強(qiáng)后的深度圖像為對(duì)圖像進(jìn)行雙邊濾波的過程，為原圖像高斯濾波的過程，ΔDi為得到的像高頻部分，λ為增強(qiáng)部分的權(quán)重因子．

圖5為經(jīng)典非銳化掩模的算法流程，對(duì)應(yīng)式(1)、(2):待處理圖像Di與經(jīng)過高斯濾波的圖像*Di作差得到掩模ΔDi，再將ΔDi乘以權(quán)重λ，并疊加到圖像Di上，得到增強(qiáng)后的圖像Do．

圖6為改進(jìn)后的算法流程，對(duì)應(yīng)式(4)、(5):將經(jīng)過雙邊濾波的圖像*Di與經(jīng)過高斯濾波的圖像*Di作差得到掩模ΔDi，再將ΔDi乘上權(quán)重λ，并疊加到雙邊濾波的圖像*Di上，得到增強(qiáng)后的圖像Do．

圖5 經(jīng)典的非銳化掩模算法

圖6 改進(jìn)后的非銳化掩模算法

2.2 濾波器的改進(jìn)

本文對(duì)式(4)中的雙邊濾波法的改進(jìn)目標(biāo)是保持邊緣和細(xì)節(jié)清晰;填補(bǔ)缺失，平滑噪聲．

深度圖缺失通常是由于深度不連續(xù)性造成的，這部分缺失一般處于邊緣位置，傳統(tǒng)的圖像缺失修復(fù)方式是利用窗口內(nèi)鄰域像素加權(quán)平均進(jìn)行填充，但是處于邊緣部分的缺失像素，其鄰域會(huì)分為前景和背景部分，如果利用全部的鄰域信息進(jìn)行填充，會(huì)導(dǎo)致待填充像素信息的不準(zhǔn)確，即前景和背景的混淆，這樣就無(wú)法保證邊緣以及細(xì)節(jié)部分的清晰性.

根據(jù)以上存在的問題進(jìn)行分析:1)缺失區(qū)域的深度像素對(duì)中心像素的填充沒有參考價(jià)值;2)只有處于同一平面物體的深度信息才有參考價(jià)值.根據(jù)以上分析，本文改進(jìn)了增強(qiáng)算法中的濾波法，使其在抑制噪聲的同時(shí)能夠修復(fù)深度圖像的缺失.本文利用聯(lián)合雙邊濾波的思想來(lái)解決前后背景像素混淆的問題，聯(lián)合雙邊濾波［10］是一種非線性的濾波方法，是在雙邊濾波法［9］的基礎(chǔ)上提出來(lái)的，是結(jié)合了引導(dǎo)圖灰度相似度和空間鄰近度的濾波法.本文利用引導(dǎo)圖像素間的灰度相關(guān)性來(lái)判斷鄰域像素是否有效，即對(duì)于中心像素是否具有貢獻(xiàn).鄰域像素為有效像素，需要滿足兩方面的條件:1)不是缺失像素．如果不是缺失像素，其深度值可以作為加權(quán)平均的參考值，從實(shí)驗(yàn)獲取的深度圖，以及網(wǎng)上公開測(cè)試集中可知缺失像素的灰度值為0，因此本文將缺失閾值設(shè)定為0，即Dth=0，判定缺失像素的權(quán)重為H(Dq)，當(dāng)Dq＞Dth時(shí)，此鄰域像素不是缺失像素．2)與中心像素的灰度值相近．只有與中心像素處于同一平面的鄰域像素才認(rèn)為是有效的，同平面的標(biāo)準(zhǔn)是利用引導(dǎo)圖像中的像素灰度相似性來(lái)判斷，本文所使用的引導(dǎo)圖像是深度圖像對(duì)應(yīng)的彩色圖像，如下式所示，判定同一平面的權(quán)重為wr(Ⅰp，Ⅰq)，其中Ⅰp代表在彩色圖像中p位置的像素，Ⅰq代表在彩色圖像中q位置的像素，wr為高斯函數(shù)．

因此寫成為

其中:Db為雙邊濾波后的深度圖像，H(Dq)為判斷像素是否有效的權(quán)重因子，Ⅰ為聯(lián)合濾波的引導(dǎo)圖像，Dth為判斷像素是否缺失的閾值，ws(p，q)為距離權(quán)重，wr(p，q)為引導(dǎo)圖灰度權(quán)重．

式(4)中的高斯濾波作用是獲取低頻信息，不需要保持邊緣清晰，因此只需要填補(bǔ)缺失像素為

其中:Dg為高斯濾波后的深度圖像，H(Dq)為式(8)所示，ws(p，q)為距離權(quán)重式(10)所示．

2.3 自適應(yīng)圖像增強(qiáng)

在有效的處理圖像的同時(shí)，盡可能最大程度的保證原圖像深度信息的準(zhǔn)確性，避免引入新的深度信息，因此在疊加高頻信息時(shí)需要對(duì)權(quán)重因子作適當(dāng)優(yōu)化.

自適應(yīng)深度圖像增強(qiáng)的目標(biāo):1)削弱疊加到高對(duì)比度(邊緣)處的高頻部分，避免過沖現(xiàn)象.2)重點(diǎn)增強(qiáng)低對(duì)比度的細(xì)節(jié)區(qū)域.

通過對(duì)高頻部分|ΔD|觀察，處于邊緣處的|ΔD|值較大，一些細(xì)小幾何結(jié)構(gòu)變化部分的|ΔD|值較小，處于平坦區(qū)域的|ΔD|值接近于0，如圖3所示．根據(jù)以上特點(diǎn)進(jìn)行分析，本文改進(jìn)了權(quán)重值λ，用自適應(yīng)的參數(shù)替代了傳統(tǒng)權(quán)重值λ．

因此λ·ΔD轉(zhuǎn)化為

函數(shù)中的m為閾值，由圖7可見，當(dāng)|ΔD|高于m被削弱，即λ小于1，這樣減弱疊加到高對(duì)比度處的高頻部分ΔD，避免增強(qiáng)過度的情況;當(dāng)|ΔD|低于m時(shí)被增強(qiáng)，即λ大于1，這樣重點(diǎn)增強(qiáng)了低對(duì)比度的部分，彌補(bǔ)了傳統(tǒng)濾波器會(huì)導(dǎo)致細(xì)節(jié)模糊的不足．參數(shù)E控制了削弱增強(qiáng)的程度．

對(duì)于閾值m的選取，對(duì)一組圖片進(jìn)行測(cè)試，當(dāng)λ=1時(shí)，歸一化后的|ΔD|為0.032 5時(shí)的圖像會(huì)出現(xiàn)過沖效果，因此本文選取m值為0.032 5，函數(shù)曲線如圖8所示．通過實(shí)驗(yàn)效果和曲線兩方面進(jìn)行比較，E=-3時(shí)效果最為理想．從曲線中可以看出，當(dāng)E=-4時(shí)λ·ΔD超過了0.032 5，而E=-2時(shí)高對(duì)比度部分增強(qiáng)過度．

圖7 自適應(yīng)權(quán)重λ曲線圖

圖8 λ·|ΔD|曲線圖

圖9為不同λ疊加效果，由圖9(c)的圖片可見，|ΔD|＞0的部分是非平坦區(qū)域，包括邊緣和細(xì)節(jié)變化區(qū)域:ΔD＜0是邊緣內(nèi)側(cè)部分，用ΔD-表示，ΔD＞0是邊緣外側(cè)部分，用ΔD+表示，當(dāng)ΔD＜0時(shí)疊加后的邊緣內(nèi)側(cè)會(huì)呈現(xiàn)光暈狀，ΔD＞0邊緣外側(cè)會(huì)呈現(xiàn)出陰影狀．由于光暈出現(xiàn)在邊緣內(nèi)側(cè)，即相對(duì)的前景物體上，如果光暈范圍過大或者過強(qiáng)會(huì)影響前景物體深度信息的準(zhǔn)確性．

如圖9(a)所示，方框內(nèi)腳部邊緣的光暈過強(qiáng).因此ΔD-部分要弱于ΔD+部分，本文改進(jìn)了式(5)，對(duì)于不同ΔD使用不同的權(quán)重因子來(lái)增強(qiáng)，即

其中:Di為待處理的深度圖，Do為增強(qiáng)后的深度圖像，*Di為原圖像雙邊濾波的過程，λ+和λ-分別為ΔD+和ΔD-高頻部分的權(quán)重因子．

圖9的4幅圖展示了是不同權(quán)重下的深度圖像增強(qiáng)效果.其中9(a)、9(c)、9(d)是 λ+與 λ-相同時(shí)的增強(qiáng)效果，而9(b)是λ+與λ-不同時(shí)的增強(qiáng)效果，對(duì)比可見9(b)的效果較為理想.

圖9 不同λ疊加效果

3 實(shí)驗(yàn)結(jié)果

采用本文所提出的方法對(duì)一組kinect采集的深度圖像［11］進(jìn)行處理，如圖10所示.針對(duì)640×480分辨率的深度圖像，當(dāng)濾波窗口大小為15×15，灰度權(quán)重的標(biāo)準(zhǔn)差σr為0.1，距離權(quán)重的標(biāo)準(zhǔn)差σs=5時(shí)的實(shí)驗(yàn)效果比較理想．圖10中將本文的算法結(jié)果與修復(fù)缺失的雙邊濾波法結(jié)果進(jìn)行比較，從放大的細(xì)節(jié)區(qū)域可以看到，本文算法對(duì)于細(xì)節(jié)部分給予了很好的增強(qiáng)．

圖10 實(shí)驗(yàn)結(jié)果

由圖10中細(xì)節(jié)放大部分可見，寵物的毛絨邊緣增強(qiáng)效果比較理想;其中第5行圖片中，玩偶帽沿的邊緣部分以及鼻子細(xì)節(jié)部分增強(qiáng)效果也較明顯.

4 結(jié)論

1)提出了改進(jìn)的非銳化掩模深度圖像增強(qiáng)算法，利用聯(lián)合雙邊濾波法對(duì)圖像的高頻信息進(jìn)行提取，克服了傳統(tǒng)方法放大高頻噪聲的缺點(diǎn)，增強(qiáng)了深度圖像邊緣以及細(xì)節(jié)的部分.

2)采用了深度信息對(duì)應(yīng)的彩色圖作為引導(dǎo)圖，修復(fù)了深度圖像的缺失，改善了深度圖像的質(zhì)量.

3)在一組低質(zhì)量的深度圖像上測(cè)試了該算法，圖像質(zhì)量提升效果明顯.但是算法缺點(diǎn)是在修復(fù)較大缺失過程中比較耗時(shí)，濾波窗口的尺寸不滿足實(shí)時(shí)性的需求.由于該算法滿足并行計(jì)算的要求，因此下一步計(jì)劃在GPU上實(shí)現(xiàn)該算法，并嘗試采用引導(dǎo)濾波法［12］來(lái)提升效率.

［1］FOIX S，ALENYA G，TORRAS C.Lock-in time-off light(ToF)cameras:a survey［J］.Sensors Journal，IEEE，2011，11(9):1917-1926.

［2］KIM S Y，CHO W，KOSCHAN A，et al.Depth map enhancementusing adaptive steering kernel regression based on distance transform［J］.Lecture Notes in Computer Science，2011，6938:291-300.

［3］KIM S Y，CHO J H，KOSCHAN A，et al.Spatial and temporal enhancement of depth images captured by a time-of-light depth sensor［C］//20th International Conference on Pattern Recognition(ICPR).Istanbul:IEEE，2010:2358-2361.

［4］MAIMONE A，F(xiàn)UCHS H.Encumbrance-free telepresence system with real-time 3d capture and display using commodity depth cameras［C］//10th IEEE International Symposium in Mixed and Augmented Reality(ISMAR).Basel，Switzerland:IEEE，2011:137-146.

［5］MATYUNIN S，VATOLIN D，BERDNIKOV Y，et al.Temporal filtering for depth maps generated by kinect depth camera［C］//3DTV Conference:The True Vision-Capture，Transmission and Display of 3D Video(3DTV-CON).Antalya，Turkey:IEEE，2011:1-4.

［6］KIM S Y，LEEE K，HO Y S.Generation of roi enhanced depth maps using stereoscopic cameras and a depth camera［J］.IEEE Transactions on Broadcasting，2008，54:732-740.

［7］LEU J G.Edge sharpening through ramp width reduction［J］.Image and Vision Computing，2000，18(6/7):501-514.

［8］LUFT T， COLDITZ C，DEUSSEN O.Image enhancement by unsharp masking the depth buffer［J］.ACM Transactions on Graphics，2006，25(3):1206-1213.

［9］TOMASI C，MANDUCHI R.Bilateral filtering for gray and color images［C］//International Conference on Computer Vision(ICCV).Bombay:IEEE，1998:839.

［10］PETSCHNIGG G，SZELISKI R，AGRAWALA M.Digital photography with flash and no-flash image pairs［J］.ACM Transactions on Graphics，2004，23(3):664-672.

［11］LAI K， BO L， REN X， et al.A large-scale hierarchical multi-view RGB-Dobject dataset［C］//2011 IEEE International Conference on Robotics and Automation(ICRA).Shanghai:IEEE，2011:1817-1824.

［12］HE K，SUN J，TANG X.Guided image filtering［M］.Heidelberg，Berlin:Springer，2010:1-14.