基于彩色圖像輪廓的深度圖像修復(fù)方法

蘇 東， 張 艷， 曲承志， 張 鑫

(中山大學(xué) 航空航天學(xué)院，廣東 深圳 518060)

1 引 言

深度圖像被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)、圖形學(xué)、虛擬現(xiàn)實(shí)等領(lǐng)域。根據(jù)獲取深度信息的方式不同，可分為被動(dòng)光方法和主動(dòng)光方法。被動(dòng)光方法[1]是利用計(jì)算機(jī)視覺(jué)技術(shù)，通過(guò)計(jì)算二維圖像特征與三維空間的幾何對(duì)應(yīng)關(guān)系來(lái)獲取深度圖像，但存在高代價(jià)的時(shí)間復(fù)雜度和深度圖像分辨率較低的問(wèn)題?；陲w行時(shí)間(Time-of-Fly，ToF)原理的主動(dòng)光方法[2]是通過(guò)測(cè)量光線發(fā)射時(shí)間和經(jīng)物體表面后反射回來(lái)的時(shí)間差值計(jì)算物體的距離信息,具有可實(shí)時(shí)采集物體表面的三維幾何信息、受環(huán)境和光照條件影響小的優(yōu)點(diǎn)，是對(duì)傳統(tǒng)三維信息獲取方法的一種突破，勢(shì)必會(huì)促進(jìn)相關(guān)領(lǐng)域的發(fā)展。但由于受到傳感器硬件條件的限制，它得到的深度圖像分辨率低，并且含有大量的無(wú)效點(diǎn)，限制了ToF相機(jī)的市場(chǎng)推廣與應(yīng)用。

根據(jù)ToF相機(jī)的成像機(jī)制，對(duì)同一場(chǎng)景的彩色圖像和深度圖像進(jìn)行分析，一般存在3種無(wú)法獲得物體深度信息的情況[3]:特殊材料(透明玻璃、鏡子、黑色的物體),導(dǎo)致回波的光子強(qiáng)度太強(qiáng)或者太弱，接收系統(tǒng)無(wú)法接收到回波光子；遮擋(目標(biāo)物體的邊緣)，使得回波光子無(wú)法返回接收系統(tǒng)；超出ToF傳感器的范圍。

針對(duì)上述問(wèn)題，已有大量的學(xué)者做了相關(guān)研究。李詩(shī)銳等人[4]選擇簡(jiǎn)單的直通濾波對(duì)深度圖像進(jìn)行修復(fù)處理,該方法可以對(duì)特定視場(chǎng)內(nèi)物體進(jìn)行重建，避免不必要物體的干擾，但是對(duì)于在閾值范圍內(nèi)的像素點(diǎn)無(wú)法進(jìn)行修復(fù)處理。Newcombe等人[5]提出的KinectFusion方法在深度圖預(yù)處理階段使用雙邊濾波，雖然該方法在一定程度上可以對(duì)范圍較小的無(wú)效點(diǎn)進(jìn)行修復(fù)，但沒(méi)有利用高質(zhì)量的彩色圖像信息，且存在過(guò)度平滑的現(xiàn)象。王亞強(qiáng)等[6]提出了各向異性擴(kuò)散算法，這種平滑在顏色均勻區(qū)域不受限制，只有在跨越邊緣時(shí)受到抑制，從而有選擇性地降低噪聲，但該算法在去除無(wú)效點(diǎn)的過(guò)程中都只用到像素點(diǎn)的四鄰域，可靠性較差。Le Av等人[7]提出了指向性聯(lián)合雙邊濾波方法，由于對(duì)高分辨率的彩色圖像加以利用，使得該方法與前文提到的方法相比保邊和修復(fù)效果更好，但對(duì)于含有大面積無(wú)效點(diǎn)的深度圖像無(wú)法進(jìn)行有效填充。為此，Li Chen等人[8]對(duì)聯(lián)合濾波方法進(jìn)行了研究，并且預(yù)先對(duì)無(wú)效點(diǎn)進(jìn)行填充，在填充時(shí)利用無(wú)效點(diǎn)對(duì)應(yīng)的彩色圖像來(lái)確定填充區(qū)域，當(dāng)需要填充的無(wú)效面積大于之前確定的填充區(qū)域時(shí)，這些區(qū)域中的某些無(wú)效點(diǎn)就不會(huì)被填充。Wang Zhongyuan等人[9]采用位置引導(dǎo)矩陣完成深度圖像中無(wú)效點(diǎn)的填充，可以更好地提高深度圖像的質(zhì)量，但對(duì)于一些大面積的孔，它仍然有一定的局限性。Diebel等人[10]提出了一個(gè)基于兩層的馬爾科夫隨機(jī)場(chǎng)方法對(duì)低分辨率的深度圖像和與之對(duì)應(yīng)的高分辨率彩色圖像進(jìn)行建模，通過(guò)求解馬爾科夫隨機(jī)場(chǎng)最優(yōu)化問(wèn)題對(duì)深度圖像進(jìn)行上采樣，進(jìn)而得到修復(fù)后的高分辨率深度圖像。Yang等人[11]則首先找出深度圖像中的所有缺失區(qū)域，然后對(duì)每個(gè)缺失區(qū)域選擇其鄰近區(qū)域，繪制該鄰近區(qū)域中所有的有效像素值的分布圖，利用分布圖中像素值最大的幾個(gè)像素點(diǎn)的均值來(lái)代替所要修復(fù)區(qū)域中的深度值，但是該方法將整個(gè)無(wú)效區(qū)域作為一個(gè)整體，沒(méi)有考慮到無(wú)效區(qū)域中不同像素點(diǎn)之間的差異性，故該方法具有盲目性、修復(fù)精度不高的缺點(diǎn)。Criminisi等人[12]先找到待修復(fù)區(qū)域，確定待修復(fù)區(qū)域的填充次序，然后從待修復(fù)區(qū)域邊界上尋找最先需要被修復(fù)的像素點(diǎn)，在其附近搜尋最佳的匹配區(qū)域，將該區(qū)域相應(yīng)位置的有效像素值填充到待修復(fù)像素點(diǎn)上，通過(guò)不斷迭代完成無(wú)效點(diǎn)的填充。Xiong Xinli等人[13]在確定待修復(fù)區(qū)域的填充次序時(shí)將方差考慮進(jìn)去，優(yōu)化了填充順序函數(shù)，但在計(jì)算方差時(shí)沒(méi)有考慮到不同距離的有效點(diǎn)的權(quán)值應(yīng)該有所不同。

本文考慮到深度圖像與彩色圖像是對(duì)同一三維場(chǎng)景的不同觀察結(jié)果，兩者具有很強(qiáng)的結(jié)構(gòu)相關(guān)性，并且彩色圖像比深度圖像擁有更加清晰的紋理細(xì)節(jié)。因此，為解決無(wú)效點(diǎn)的填充問(wèn)題，本文提出一種基于彩色圖像輪廓的深度圖像修復(fù)方法。該方法考慮到不同位置的像素重要程度不同，將高斯權(quán)值函數(shù)引入到方差計(jì)算過(guò)程中，對(duì)填充次序函數(shù)進(jìn)行優(yōu)化；為了解決邊緣模糊，提高填充質(zhì)量，該方法結(jié)合投影過(guò)來(lái)的高質(zhì)量彩色圖像輪廓進(jìn)行填充點(diǎn)的優(yōu)化，在對(duì)無(wú)效點(diǎn)進(jìn)行填充時(shí)，目標(biāo)物體內(nèi)的點(diǎn)只在目標(biāo)物體內(nèi)采用最小歐式距離的方式尋找最佳填充點(diǎn)。

2 基本原理

2.1 確定無(wú)效點(diǎn)和填充窗口

根據(jù)ToF相機(jī)的距離測(cè)量機(jī)制，傳輸和反射的紅外光波在某些情況下可能無(wú)法測(cè)量到場(chǎng)景中某些點(diǎn)的距離信息，本文稱這些未被觀測(cè)到的點(diǎn)為無(wú)效點(diǎn)。由于場(chǎng)景的距離信息以深度圖像的形式存儲(chǔ)，所以這些無(wú)效點(diǎn)就會(huì)在深度圖像中被表示成值為零的像素，通過(guò)遍歷圖像，可以對(duì)無(wú)效點(diǎn)進(jìn)行標(biāo)記和跟蹤。如圖1所示，本文將整個(gè)圖像區(qū)域定義為I，需要填充的無(wú)效點(diǎn)區(qū)域定義為Ω，有效點(diǎn)所在區(qū)域定義為Φ(Φ=I-Ω)，目標(biāo)物體所在區(qū)域定義為O，待填充的無(wú)效區(qū)域邊界上的無(wú)效點(diǎn)定義為p，表達(dá)式為

{p|I(p)=O∩p∈?Ω}

(1)

式中，I(p)是點(diǎn)p處的像素值。

圖1 各符號(hào)說(shuō)明圖Fig.1 Illustration of each symbol

接下來(lái)，如同exemplar-based[14]紋理合成，必須指定點(diǎn)p的鄰域Ψp，本文提供的默認(rèn)鄰域Ψp的大小為點(diǎn)p的8鄰域(點(diǎn)p周?chē)嚯x其最近的8個(gè)像素)，但在實(shí)際運(yùn)用過(guò)程中可根據(jù)需要填充的目標(biāo)區(qū)域的大小靈活確定。一旦確定了這些參數(shù)，無(wú)效點(diǎn)的填充就會(huì)自動(dòng)進(jìn)行。

2.2 無(wú)效點(diǎn)的填充優(yōu)先級(jí)計(jì)算

通過(guò)選擇最佳填充策略來(lái)實(shí)現(xiàn)無(wú)效點(diǎn)的填充，該策略完全取決于每個(gè)待填充的無(wú)效點(diǎn)的優(yōu)先級(jí)。填充優(yōu)先級(jí)將會(huì)偏向于以下無(wú)效點(diǎn)：(i)無(wú)效點(diǎn)被高置信度像素包圍，即處在目標(biāo)區(qū)域Ω邊緣上的無(wú)效點(diǎn)；(ii)鄰域Ψ內(nèi)的像素方差較低的點(diǎn)。

如圖1所示，給定一個(gè)待填充的點(diǎn)p的鄰域Ψp，p∈?Ω，點(diǎn)p的優(yōu)先級(jí)的表達(dá)式為:

(2)

式中,C(p)是置信度函數(shù)，即點(diǎn)p鄰域Ψ內(nèi)有效點(diǎn)的像素個(gè)數(shù)，D(p)是點(diǎn)p鄰域Ψp中有效點(diǎn)像素值的方差，可表示為:

C(p)=∑q∈Ψp∩(I-Ω)C(q),
D(p)=∑q∈Ψp(I(q)-E(p))2ω(q)

(3)

式中，I(q)是點(diǎn)q的像素值，E(p)是鄰域Ψp內(nèi)像素值的期望，ω(q)是權(quán)值函數(shù)，表達(dá)式為:

(4)

式中，|Ψp|是鄰域Ψp內(nèi)的非零值像素個(gè)數(shù)，σ為標(biāo)準(zhǔn)差，(p-q)2是兩個(gè)點(diǎn)之間距離的平方。

置信度C(p)可以被認(rèn)為是一種度量無(wú)效點(diǎn)周?chē)行c(diǎn)個(gè)數(shù)的函數(shù)，意圖是首先填補(bǔ)那些周?chē)懈嘤行c(diǎn)的無(wú)效點(diǎn)。粗略地說(shuō)，式(2)中的C(p)項(xiàng)近似地實(shí)現(xiàn)了理想的向內(nèi)填充順序，使得目標(biāo)區(qū)域邊界上的像素往往具有更大的置信值，因此會(huì)被優(yōu)先填充；反之，無(wú)效點(diǎn)在目標(biāo)區(qū)域的中心則會(huì)有較小的置信度，后被填充。

通過(guò)分析深度圖像產(chǎn)生無(wú)效點(diǎn)的原因，可以得知無(wú)效點(diǎn)的出現(xiàn)造成了深度數(shù)據(jù)的突變，使得該區(qū)域深度值不再連續(xù)，方差變大，因此方差項(xiàng)D(p)可以被認(rèn)為是一種度量無(wú)效點(diǎn)周?chē)行c(diǎn)可靠程度的函數(shù)。

2.3 彩色圖像的輪廓提取與投影

本文方法在對(duì)無(wú)效點(diǎn)的填充過(guò)程中，需要對(duì)彩色圖像的輪廓加以利用,但深度圖像和彩色圖像之間存在視差，所以需要事先將深度圖像與彩色圖像進(jìn)行配準(zhǔn)，如圖2所示。首先為了能夠在圖2(a)中提取出目標(biāo)物體的最外層輪廓，需要先利用彩色圖像像素值的差異對(duì)目標(biāo)物體進(jìn)行前背景分離，分離后可以看到背景顏色被設(shè)置成了黑色,如圖2(b)所示；然后將分離出來(lái)的目標(biāo)物體的顏色設(shè)置成白色，并對(duì)圖片進(jìn)行二值化處理(二值化處理是將三通道彩色圖像轉(zhuǎn)換成單通道的二值圖像)，如圖2(c)所示；其次采用Canny算子[15]對(duì)目標(biāo)物體的最外層輪廓進(jìn)行提取，得到的輪廓還包含少許噪聲，這時(shí)我們選取面積最大的輪廓就得到了不含噪聲的目標(biāo)物體的最外層輪廓。最后采用張正友標(biāo)定法[16]，得到相機(jī)的內(nèi)外參矩陣，再利用同一時(shí)刻的彩色相機(jī)和深度相機(jī)的外參矩陣，求得它們之間的旋轉(zhuǎn)矩陣Rd2rgb和平移矩陣Td2rgb，具體計(jì)算過(guò)程如式(5)所示：

Rd2rgb=Rrgb*Rd-1
Td2rgb=Trgb-Rd2rgb*Td

(5)

式中，Rd,Td和Rrgb,Trgb分別是深度圖像和彩色圖像的旋轉(zhuǎn)和平移矩陣。配準(zhǔn)后的彩色圖像輪廓，如圖2(d)所示，與圖2(e)深度圖像中的目標(biāo)物體的輪廓相比，可以看到彩色圖像的輪廓更加清晰，且沒(méi)有最外層的偽輪廓。

圖2 預(yù)處理過(guò)程。(a)彩色圖像；(b)彩色圖像前景分離；(c)彩色圖像二值化；(d)配準(zhǔn)后的彩色圖像輪廓；(e)原始深度圖像。Fig.2 Pretreatment process. (a) Color images; (b) Separation of perspectives; (c) Binary images; (d) Image contour after alignment(e)Original depth image.

2.4 最優(yōu)填充值確定

(6)

2.5 填充優(yōu)先級(jí)的更新

假設(shè)待填充區(qū)域的像素值如圖3(a)所示，如利用按行或者列的方式對(duì)待填充區(qū)域進(jìn)行填充，當(dāng)填充到點(diǎn)p(3,4)時(shí)，由于其鄰域Ψp的像素值都為零，則無(wú)法對(duì)該點(diǎn)進(jìn)行填充。而本文方法通過(guò)優(yōu)先級(jí)函數(shù)來(lái)確定無(wú)效點(diǎn)的填充順序(為了便于說(shuō)明，將有效點(diǎn)的填充優(yōu)先級(jí)設(shè)置為*)，則可以彌補(bǔ)按行或者列的填充方法的不足。

通過(guò)圖3(b)可以看出，根據(jù)優(yōu)先級(jí)函數(shù)計(jì)算結(jié)果，首先被填充的點(diǎn)是p(3,4)，使用式(6)對(duì)其進(jìn)行填充，圖3(c)表示點(diǎn)p(3,4)填充后的像素值，圖3(d)表示填充后的優(yōu)先級(jí)函數(shù)計(jì)算結(jié)果，由圖可見(jiàn)，每次填充結(jié)束后，只會(huì)改變被填充的點(diǎn)p及其鄰域Ψp中無(wú)效點(diǎn)的填充優(yōu)先級(jí)，因此迭代更新計(jì)算可以簡(jiǎn)化，不需要更新所有點(diǎn)的填充優(yōu)先級(jí)，僅需更新點(diǎn)p及其鄰域Ψp的填充優(yōu)先級(jí)即可，可節(jié)省大量計(jì)算時(shí)間。

圖3 填充優(yōu)先級(jí)更新。(a)點(diǎn)p填充前的像素值；(b)點(diǎn)p填充前的填充優(yōu)先級(jí)；(c)點(diǎn)p填充后的像素值；(d)點(diǎn)p填充后的填充優(yōu)先級(jí)。Fig.3 Fill priority update. (a) Pixel value before filling point p; (b) Filling priority before point p filling; (c) Pixel value after point p filling; (d) Filling priority after point p filling.

3 分析與討論

基于彩色圖像輪廓的深度圖像修復(fù)方法的實(shí)現(xiàn)流程如圖4所示，首先通過(guò)制定規(guī)則，確定無(wú)效點(diǎn)的填充順序；再對(duì)彩色圖像的輪廓進(jìn)行提取和投影，確定填充邊界；最后利用歐式距離選取最佳填充點(diǎn)。通過(guò)迭代上述3個(gè)步驟，直到所有無(wú)效點(diǎn)得到填充。

圖4 方法流程圖Fig.4 Chart of method flow

為了評(píng)估上述方法對(duì)于深度圖像的修復(fù)性能，實(shí)驗(yàn)采用了兩類(lèi)測(cè)試圖像。一類(lèi)測(cè)試圖像是由標(biāo)準(zhǔn)深度圖像合成的模擬深度圖，另一類(lèi)測(cè)試圖像是由kinect v2深度相機(jī)對(duì)實(shí)驗(yàn)場(chǎng)景拍攝的原始深度圖像。其中，模擬深度圖像是以middleburry[17-18]數(shù)據(jù)集中的標(biāo)準(zhǔn)視差圖為基礎(chǔ)，通過(guò)疊加環(huán)境光噪聲合成得到，包括“art”、“books”、“dolls”、“moebius”和“Reindeer”5組數(shù)據(jù)。因?yàn)闃?biāo)準(zhǔn)視差圖像是人工矯正過(guò)的，故可直接將合成的模擬圖像當(dāng)作對(duì)應(yīng)的“真實(shí)值”。另外，本文從現(xiàn)有的深度圖像修復(fù)方法中選取中值濾波、聯(lián)合雙邊濾波方法和基于填充優(yōu)先級(jí)函數(shù)的深度圖像修復(fù)方法[13]與本文提出的方法進(jìn)行實(shí)驗(yàn)對(duì)比。

第一組實(shí)驗(yàn)選取的是由“art”數(shù)據(jù)集中的標(biāo)準(zhǔn)視差圖生成的模擬深度圖像，如圖5所示。這幅測(cè)試圖的特點(diǎn)是強(qiáng)調(diào)了遠(yuǎn)景和近景組合的噪聲特性，其背景組成較為復(fù)雜，人物邊緣的信息很豐富。圖5(a)展示了原始的模擬深度圖像，即測(cè)試圖像對(duì)應(yīng)的場(chǎng)景真實(shí)深度，圖5(b)是對(duì)模擬深度圖像施加了環(huán)境光噪聲后生成的測(cè)試圖像，圖5(c)～圖5(f)分別展示了中值濾波、聯(lián)合雙邊濾波、基于填充優(yōu)先級(jí)函數(shù)的深度圖像修復(fù)方法和本文方法對(duì)測(cè)試圖像進(jìn)行無(wú)效點(diǎn)填充后的結(jié)果。為了直觀比較不同算法的濾波性能，圖5(g)～圖5(l)分別展示了圖5(a)～圖5(f)中標(biāo)注框?qū)?yīng)的局部細(xì)節(jié)放大圖。對(duì)比實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，中值濾波在人頭像的下巴處出現(xiàn)過(guò)度平滑現(xiàn)象,聯(lián)合雙邊濾波對(duì)于面積稍微大一點(diǎn)的無(wú)效點(diǎn)填充效果很不理想，填充優(yōu)先級(jí)的修復(fù)方法由于沒(méi)有對(duì)匹配點(diǎn)的區(qū)域進(jìn)行限制，導(dǎo)致在細(xì)節(jié)圖中存在很多錯(cuò)誤的匹配點(diǎn)，本文方法則能在有效填充大面積無(wú)效點(diǎn)的同時(shí)更好地保持其邊緣信息。

圖5 各方法修復(fù)效果對(duì)比。(a)標(biāo)準(zhǔn)視差圖像；(b)加噪聲圖像；(c)中值濾波；(d)聯(lián)合雙邊濾波；(e)填充優(yōu)先級(jí)的修復(fù)方法；(f)本文方法；(g)標(biāo)準(zhǔn)視差局部細(xì)節(jié)圖像；(h)加噪聲圖像局部細(xì)節(jié)圖像；(i)中值濾波局部細(xì)節(jié)圖像；(j)聯(lián)合雙邊濾波局部細(xì)節(jié)圖像；(k)填充優(yōu)先級(jí)的修復(fù)方法局部細(xì)節(jié)圖像;(l)本文方法局部細(xì)節(jié)圖像。Fig.5 Comparison of denoising effects of each method. (a) Standard parallax image; (b) Noise image (c) Median filter image; (d) Joint bilateral filtered images; (e) Filling priority repair method; (f) Image filtering method in this paper; (g) Standard parallax image local detail image; (h) Plus noise image local detail image; (i) Median filter local detail image; (j) Joint bilateral filtering of local detailed images;(k) Filling priority repair method partial detail image; (l) The method in this paper is used to filter local detail image.

圖6顯示的是中值濾波、聯(lián)合雙邊濾波方法、填充優(yōu)先級(jí)的修復(fù)方法和本文方法對(duì)模擬的深度圖像修復(fù)后的邊緣細(xì)節(jié)對(duì)比。其中，圖6(a)是原始的模擬深度圖像(真值)，圖6(b)～圖6(e)分別是經(jīng)中值濾波、聯(lián)合雙邊濾波、填充優(yōu)先級(jí)的修復(fù)方法和本文方法處理后的結(jié)果。為了在邊緣信息上進(jìn)行確切的數(shù)值分析，圖6(f)展示了圖6(a)～圖6(e)中橫線部分的數(shù)值，可以看出，中值濾波在填充過(guò)程中，會(huì)使像素變化的區(qū)域出現(xiàn)過(guò)度平滑，而聯(lián)合雙邊濾波為了保持目標(biāo)物體的邊緣信息，則對(duì)大面積無(wú)效點(diǎn)無(wú)法進(jìn)行修復(fù)(像素值大幅度階躍至零值，即無(wú)效點(diǎn)沒(méi)有得到填充)，填充優(yōu)先級(jí)的修復(fù)方法雖然能對(duì)大面積的無(wú)效點(diǎn)進(jìn)行填充，但存在許多錯(cuò)誤的匹配點(diǎn)。由此可見(jiàn)，與其他方法相比，本文方法可以兼顧兩方面的需求，既能實(shí)現(xiàn)對(duì)大面積無(wú)效點(diǎn)的有效修復(fù)，也可以保持物體的邊緣信息。

圖6 濾波效果與標(biāo)準(zhǔn)深度圖像對(duì)比。(a)標(biāo)準(zhǔn)視差圖像局部細(xì)節(jié)圖像；(b)中值濾波局部細(xì)節(jié)圖像；(c)聯(lián)合雙邊濾波局部細(xì)節(jié)圖像；(d)填充優(yōu)先級(jí)的修復(fù)方法局部細(xì)節(jié)圖像；(e)本文方法濾波局部細(xì)節(jié)圖像；(f)濾波結(jié)果與標(biāo)準(zhǔn)深度圖像細(xì)節(jié)對(duì)比圖。

除了從圖像上主觀感受各濾波算法的修復(fù)性能，本文還以信噪比(SNR)作為定量評(píng)價(jià)指標(biāo)，對(duì)各濾波算法在模擬的深度測(cè)試圖像上的修復(fù)能力進(jìn)行客觀比較。深度圖像的SNR值的計(jì)算方法如式(7)所示，它表示深度圖像中信號(hào)與噪聲的方差之比。對(duì)于同一真實(shí)深度圖，濾波后深度圖的SNR值越大，說(shuō)明算法的修復(fù)效果越好，反之說(shuō)明對(duì)深度圖像的修復(fù)效果越差。

(7)

式中，I(p)表示原始的標(biāo)準(zhǔn)視察圖在點(diǎn)p處的像素值，I′(p)則表示經(jīng)過(guò)濾波處理后的深度圖像在點(diǎn)p處的像素值。另外，M和N分別是深度圖像在x和y方向上的分辨率。

各種濾波算法對(duì)5組測(cè)試圖像的修復(fù)結(jié)果如表1所示。模擬加噪聲圖像后的深度圖像的SNR值是30～36dB。其中，各濾波算法的參數(shù)設(shè)置如下：中值濾波的內(nèi)核設(shè)定為7～9；聯(lián)合雙邊濾波的圖像空間域的標(biāo)準(zhǔn)差σs=5～7，顏色域的標(biāo)準(zhǔn)差σr=5～7。值得注意的一點(diǎn)是，其他濾波方法的參數(shù)需要根據(jù)測(cè)試圖像中的場(chǎng)景信息而定，目的是為了盡量避免濾波后的深度圖像的邊緣過(guò)度平滑。

表1 模擬深度測(cè)試圖像中各中濾波算法的修復(fù)性能對(duì)比(dB)Tab.1 Comparison of denoising performances of various filtering algorithms in simulated depth test images (dB)

從表1的實(shí)驗(yàn)結(jié)果可以看出，本文所提方法在無(wú)效點(diǎn)填充和噪聲濾上明顯優(yōu)于其他常用方法，針對(duì)不同目標(biāo)物體在SNR指標(biāo)上提高了2～14 dB。

第二組實(shí)驗(yàn)則利用kinect v2深度相機(jī)，開(kāi)展對(duì)實(shí)際拍攝深度圖像的濾波效果驗(yàn)證。其中，圖7(a)顯示的是由kinect v2相機(jī)拍攝的原始深度圖像，圖7(b)～圖7(e)是經(jīng)中值濾波、聯(lián)合雙邊濾波、填充優(yōu)先級(jí)的修復(fù)方法和本文方法處理后的結(jié)果。為了便于分析比較，圖7(f)～圖7(j)分別對(duì)應(yīng)了圖7(a)～圖7(e)中方框標(biāo)注區(qū)域的局部放大圖。從圖7(f)～圖7(j)可以看出，中值濾波會(huì)出現(xiàn)過(guò)度平滑的現(xiàn)象，聯(lián)合雙邊濾波的保邊效果不錯(cuò)，但對(duì)于大面積的無(wú)效點(diǎn)填充能力有限，填充優(yōu)先級(jí)的修復(fù)方法會(huì)出現(xiàn)一些錯(cuò)誤的匹配點(diǎn)，而本文提出方法不僅實(shí)現(xiàn)了無(wú)效區(qū)域的有效填充，還能保持物體邊緣區(qū)域的信息，如場(chǎng)景中人物的右耳部分。為了對(duì)算法性能進(jìn)行直觀比較，圖8中顯示了圖7(f)～圖7(j)中橫線部分的深度數(shù)值。由圖8可知，中值濾波會(huì)出現(xiàn)過(guò)度平滑的現(xiàn)象(階躍的像素值變化經(jīng)過(guò)平滑后變成了緩慢變化)，聯(lián)合雙邊濾波為了保持物體的邊緣信息，導(dǎo)致了大面積的無(wú)效點(diǎn)(像素值為0)的填充效果不明顯，填充優(yōu)先級(jí)的修復(fù)方法出現(xiàn)了錯(cuò)誤匹配的點(diǎn)，而本文方法在保持目標(biāo)物體邊緣信息的同時(shí)還可以對(duì)無(wú)效點(diǎn)進(jìn)行有效的填充。

圖7 各個(gè)算法對(duì)真實(shí)ToF深度圖像的修復(fù)效果對(duì)比。(a)原始深度圖像；(b)中值濾波；(c)聯(lián)合雙邊濾波；(d)填充優(yōu)先級(jí)的修復(fù)方法；(e)本文方法；(f)原始細(xì)節(jié)圖像；(g)中值濾波局部細(xì)節(jié)圖像；(h)聯(lián)合雙邊濾波細(xì)節(jié)圖像；(i)填充優(yōu)先級(jí)的修復(fù)方法局部細(xì)節(jié)圖像；(j)本文方法局部細(xì)節(jié)圖像。Fig.7 Comparison of denoising effects of various algorithms on real ToF depth images. (a) Ori-ginal depth image; (b) Median filtering; (c) Joint bilateral filtering; (d) Filling priority restoration method; (e) Method of this paper; (f) Original detail image; (g) Median filteringlocal detail image; (h) Joint bilateral filtering detail image; (i) Filling priority repair method local detail image; (j) This method local detail image.

圖8 濾波結(jié)果與標(biāo)準(zhǔn)深度圖像細(xì)節(jié)對(duì)比圖Fig.8 Comparison of filtering results with standard depth image details

實(shí)驗(yàn)結(jié)果表明，與中值濾波相比，本文方法可以很好地保持目標(biāo)的邊緣信息；與聯(lián)合濾波相比，本文對(duì)于大面積無(wú)效點(diǎn)的填充效果更好；與填充優(yōu)先級(jí)的修復(fù)方法相比，本文方法可以有效地減少錯(cuò)誤點(diǎn)的匹配數(shù)量?？傊c其他修復(fù)算法相比，本文算法在保護(hù)目標(biāo)物體邊緣的前提下，可以將信噪比提高2～14 dB，實(shí)現(xiàn)對(duì)無(wú)效點(diǎn)的有效填充。

5 結(jié) 論

由于場(chǎng)景的遮擋、材料對(duì)紅外線的吸收和物體超出成像范圍的原因，使得深度圖像中存在不同類(lèi)型的無(wú)效點(diǎn)，因此本文提出了一種基于優(yōu)先級(jí)函數(shù)計(jì)算的深度圖像無(wú)效點(diǎn)填充算法。該算法不同于以往按照行或列掃描來(lái)對(duì)深度圖像的無(wú)效點(diǎn)的填充方法，而是根據(jù)貪心算法和彩色圖像設(shè)計(jì)一種評(píng)價(jià)函數(shù)來(lái)確定深度圖像中無(wú)效點(diǎn)的填充優(yōu)先級(jí)，再按照填充優(yōu)先級(jí)對(duì)無(wú)效點(diǎn)依次填充。本文方法在填充的過(guò)程中可動(dòng)態(tài)地評(píng)估待填充無(wú)效點(diǎn)的優(yōu)先級(jí)，因此在對(duì)深度圖像中大面積無(wú)效點(diǎn)進(jìn)行有效填充的同時(shí)，還可以提高目標(biāo)物體邊緣信息的可靠性。