一種預(yù)處理后分類填補(bǔ)空洞的方法

楊依忠, 徐逸琛, 馬 蘢, 張 強(qiáng)

(合肥工業(yè)大學(xué) 電子科學(xué)與應(yīng)用物理學(xué)院,安徽 合肥 230009)

一種預(yù)處理后分類填補(bǔ)空洞的方法

楊依忠, 徐逸琛, 馬 蘢, 張 強(qiáng)

(合肥工業(yè)大學(xué) 電子科學(xué)與應(yīng)用物理學(xué)院,安徽 合肥 230009)

深度圖像繪制(depth-image-based rendering,DIBR)技術(shù)是目前解決3D顯示中片源短缺問題普遍采用的方法,但采用DIBR技術(shù)繪制的目標(biāo)圖像上不可避免地會產(chǎn)生空洞點(diǎn)。為了獲取更高質(zhì)量的目標(biāo)圖像,文章提出一種預(yù)處理后分類填補(bǔ)的空洞點(diǎn)解決方案。該方案在預(yù)處理階段,先對濾波后的深度圖進(jìn)行前景向后景的梯度過渡,經(jīng)過DIBR變換之后得到的目標(biāo)圖像上空洞點(diǎn)會減少且更為分散;在空洞填補(bǔ)階段,先對目標(biāo)圖像上的空洞點(diǎn)進(jìn)行標(biāo)記,對非邊界的大小空洞點(diǎn)自動匹配不同的插值模板進(jìn)行插值填補(bǔ),對邊界位置的大空洞點(diǎn)則用參考圖像上相應(yīng)位置像素點(diǎn)進(jìn)行填補(bǔ)。實(shí)驗(yàn)結(jié)果表明,該方案能夠較好地填補(bǔ)梯度過渡后目標(biāo)圖像上的空洞點(diǎn),填補(bǔ)結(jié)果準(zhǔn)確且算法簡單,填補(bǔ)耗時(shí)短。

深度圖像繪制(DIBR);梯度過渡;空洞點(diǎn);空洞填補(bǔ)

0 引 言

近幾十年來隨著視頻顯示技術(shù)的發(fā)展,觀眾對顯示效果的要求越來越高,單純的提高分辨率已經(jīng)不能滿足人們對視覺享受的追求。而3D顯示憑借著強(qiáng)烈的立體感和真實(shí)感給觀眾帶來了極大的震撼,3D視頻在影院和電視系統(tǒng)都占據(jù)著越來越多的比重。因此,立體顯示將會成為未來顯示技術(shù)的新方向[1-2]。

3D片源的短缺是影響3D顯示進(jìn)一步發(fā)展的關(guān)鍵[3]。利用多攝像機(jī)可以采集到準(zhǔn)確的三維視頻源,但是成本高、制作周期長，限制了其推廣應(yīng)用;2D到3D的視頻轉(zhuǎn)換技術(shù)難度小、成本低,且可以充分利用現(xiàn)有大量視頻源,已經(jīng)成為解決3D片源短缺問題的主要方法。其中基于深度圖像繪制(depth image based rending, DIBR)[4-5]的2D轉(zhuǎn)3D技術(shù)憑借良好的目標(biāo)圖像效果逐漸得到廣泛認(rèn)可。

DIBR技術(shù)在實(shí)現(xiàn)時(shí)輸入?yún)⒖紙D像及其對應(yīng)的深度圖像,然后進(jìn)行新視點(diǎn)的繪制得到目標(biāo)圖像,DIBR算法流程如圖1所示。該方法的繪制過程包括深度圖像的預(yù)處理、DIBR虛擬視點(diǎn)繪制和空洞填補(bǔ)3個(gè)關(guān)鍵部分[6]。

圖1 DIBR算法流程

采用DIBR技術(shù)進(jìn)行虛擬視點(diǎn)的繪制,繪制后的目標(biāo)圖像上會不可避免地產(chǎn)生空洞點(diǎn),其主要原因如下[7]:

(1) 將參考圖像上的像素點(diǎn)繪制到目標(biāo)圖像上時(shí),由參考圖像中的可見物體在目標(biāo)圖像上的投影發(fā)生了擴(kuò)張而引起空洞點(diǎn)。該類空洞點(diǎn)產(chǎn)生的示意圖如圖2所示,參考圖像上的相鄰像素點(diǎn)F和B分別繪制到目標(biāo)圖像上的F′點(diǎn)和B′點(diǎn)的位置,若在F′和B′之間沒有其他像素點(diǎn)繪制過來,則該區(qū)域在目標(biāo)圖像上就會以空洞點(diǎn)的形式呈現(xiàn),這類空洞點(diǎn)通常會出現(xiàn)在深度圖像中灰度值變化比較劇烈的區(qū)域,一般為前后景的邊界位置。

圖2 第1類空洞產(chǎn)生的示意圖

(2) 由物體的可見性發(fā)生變化而引起空洞點(diǎn)。這類空洞點(diǎn)一般出現(xiàn)在目標(biāo)圖像邊界位置,通常以大空洞點(diǎn)呈現(xiàn),嚴(yán)重影響目標(biāo)試點(diǎn)的視覺效果。為解決該類空洞點(diǎn)的問題,常用的方法是采用繪制前對深度圖進(jìn)行預(yù)處理和虛擬視點(diǎn)繪制后對目標(biāo)圖像進(jìn)行空洞填補(bǔ)。

對深度圖像進(jìn)行預(yù)處理操作主要是濾波深度圖像[8]以平滑深度圖,減少深度圖像上相鄰像素點(diǎn)深度信息的突變,從而減小繪制后的目標(biāo)圖像上空洞點(diǎn)的尺寸和數(shù)量。對于濾波器的選擇,文獻(xiàn)[9]提出采用高斯濾波器平滑深度圖以消除合成視圖中較大的空洞或使之變小;文獻(xiàn)[10]對濾波器進(jìn)行了非對稱改進(jìn)以減弱幾何扭曲的現(xiàn)象,常見的濾波器還有均值濾波器、邊緣濾波器等。在濾波區(qū)域的選擇上,由于前、后景物體對視覺效果的影響不同,一般會對前景物體進(jìn)行保護(hù),即只對深度圖的后景進(jìn)行濾波來提高目標(biāo)圖像的真實(shí)度。平滑深度圖已成為減少空洞點(diǎn)常用的方法,但是濾波深度圖不可能消除目標(biāo)圖像上所有的空洞點(diǎn),輕微的平滑對于空洞點(diǎn)的減少作用有限,過度的濾波又會影響最后所得目標(biāo)圖像的質(zhì)量。

既然濾波不能消除所有的空洞點(diǎn),為了提高目標(biāo)圖像的質(zhì)量,就要對剩余的空洞點(diǎn)進(jìn)行填補(bǔ),空洞填補(bǔ)結(jié)果的好壞直接決定著最終3D顯示的效果。最為準(zhǔn)確的空洞填補(bǔ)方法是利用多攝像機(jī)視點(diǎn)進(jìn)行填補(bǔ),這是由于目標(biāo)圖像中空洞位置的像素信息可能存在于另一個(gè)攝像機(jī)視角中。多攝像機(jī)視點(diǎn)如圖3所示,若求攝像機(jī)4的目標(biāo)右視圖,則物體1右下區(qū)域的深色部分很可能在目標(biāo)視圖中以空洞來呈現(xiàn),可以利用預(yù)先采集到的攝像機(jī)5視角的相應(yīng)位置進(jìn)行填補(bǔ),因此這種方法填補(bǔ)的是該位置最真實(shí)的像素信息。但是該方法技術(shù)難度大、采集成本高。

圖3 多攝像機(jī)視點(diǎn)

常用的對于小空洞點(diǎn)的填補(bǔ)主要有插值法[11],即通過插值相鄰像素點(diǎn)或偏移量來進(jìn)行空洞的填補(bǔ),這種方法雖不精確但復(fù)雜性低。而對于大空洞點(diǎn)的填補(bǔ),最近比較流行的圖像修復(fù)技術(shù)[12-14]如圖4所示,其需要依據(jù)紋理和構(gòu)造對待修補(bǔ)區(qū)域進(jìn)行最適合匹配塊的搜索,因此復(fù)雜度高、耗時(shí)長。

圖4中,Φ為源區(qū)域；?Ω為邊界；I為P點(diǎn)的等照度線方向；nP為P點(diǎn)的法向量方向。

圖4 圖像修復(fù)技術(shù)

1 本文方法

濾波會降低深度圖的質(zhì)量,尤其是對前景物體的濾波會大大降低繪制后的目標(biāo)圖像的真實(shí)度。而如果只對深度圖中變化比較劇烈的前、后景邊界進(jìn)行處理,那么不會對深度圖的質(zhì)量有太大的影響。

對該區(qū)域進(jìn)行梯度漸變過渡之后,該區(qū)域的深度值差值會變小,由DIBR算法得到的相鄰像素點(diǎn)視差值的差值也會變小,因此繪制后的目標(biāo)圖像上的大空洞區(qū)域也會減少,再對繪制后的大、小空洞點(diǎn)分開填補(bǔ)就會比較準(zhǔn)確。

因此,本文提出一種梯度過渡后分類填補(bǔ)的空洞點(diǎn)解決方案。該方案包括預(yù)處理和空洞填補(bǔ)2個(gè)部分:① 在預(yù)處理部分先對濾波后的深度圖進(jìn)行前、后景梯度過渡;② 在空洞填補(bǔ)部分先把繪制后的目標(biāo)圖像上的空洞點(diǎn)分類標(biāo)記,然后根據(jù)空洞點(diǎn)的大小和位置自動匹配不同的方法進(jìn)行填補(bǔ)。

1.1 預(yù)處理

本文以獲取目標(biāo)左視圖為例,對深度圖進(jìn)行預(yù)處理的流程包括濾波、前后景邊界標(biāo)記、梯度過渡等步驟。在進(jìn)行簡單的濾波處理后,需要對深度圖的前景物體左側(cè)邊界進(jìn)行標(biāo)記,本文在標(biāo)記時(shí)對前后景邊界和物體自身邊界不進(jìn)行區(qū)分。具體實(shí)現(xiàn)時(shí)根據(jù)深度圖中相鄰的2個(gè)像素點(diǎn)Dep(i,j-1),Dep(i,j)進(jìn)行前景邊界的判斷,如果其差值大于預(yù)先給定的閾值d0,那么認(rèn)為該處為前、后景邊界處,即

(1)

其中，當(dāng)Depd(i,j)=1時(shí)，標(biāo)記了前景物體左側(cè)邊界。

對深度圖進(jìn)行前景邊界標(biāo)記,如圖5所示,圖5a標(biāo)記的為深度圖5b前景物體的左側(cè)邊界。對前景物體復(fù)雜的情況,同樣把按(1)式提取的邊界當(dāng)作前、后景邊界進(jìn)行處理。

圖5 深度圖前左側(cè)邊界標(biāo)記

完成圖5所示的邊界標(biāo)記后,再進(jìn)行邊界位置前景向后景灰度值的梯度過渡[15]。首先對邊界處的前、后景灰度值進(jìn)行判斷,看其是否滿足過渡條件,即

Dep(i,j-n)-Dep(i,j-n-1)>a

(2)

其中,Dep(i,j)為Depd(i,j)=1處,即(1)式標(biāo)記的前、后景邊界位置;a為梯度閾值;n為當(dāng)前完成梯度過渡的步數(shù)。若滿足(2)式的條件,則進(jìn)行梯度遞減的過渡,即

Dep(i,j-n-1)=Dep(i,j-n)-a

(3)

完成1次過渡后再重新對邊界位置進(jìn)行判斷、梯度遞減直至相鄰兩像素點(diǎn)深度值差值小于閾值a。(3)式中若n取值大于8,一般就能完成邊界處前、后景的梯度過渡操作。

對前景物體左側(cè)邊界進(jìn)行梯度過渡前、后的示意圖如圖6所示,其中黑點(diǎn)表示繪制后的目標(biāo)圖像上的空洞點(diǎn)。

圖6 深度圖前景梯度過渡前、后的示意圖

經(jīng)過上述預(yù)處理后即可得到深度圖,其中濾波操作能夠去除深度圖上的噪聲點(diǎn),并且失真不會太嚴(yán)重;而前、后景的梯度過渡專門平滑前、后景邊界處深度值變化劇烈的區(qū)域(見圖6),能夠分割繪制后的目標(biāo)圖像上非邊界的大空洞點(diǎn)。

1.2 空洞填補(bǔ)

把預(yù)處理后的深度圖與參考圖像輸入到平行攝像機(jī)模型進(jìn)行DIBR三維圖像變換[16-17],由于所求為目標(biāo)左視圖,為消除褶皺[18],繪制目標(biāo)圖像的順序?yàn)閺挠蚁蜃?、從上到?即可得到帶有空洞點(diǎn)的目標(biāo)圖像。

目標(biāo)圖像上存在的空洞點(diǎn)可以分為邊界的大空洞點(diǎn)、前后景邊界處分割后的空洞點(diǎn)和孤立的雜質(zhì)小空洞點(diǎn)。本文提出的填補(bǔ)方法先對空洞點(diǎn)進(jìn)行大小和位置的判斷,再分別匹配不同的插值模板完成填補(bǔ)。在判斷空洞點(diǎn)的大小之前先用mask(i,j)模板對目標(biāo)圖像上所有的空洞點(diǎn)進(jìn)行標(biāo)記,即

(4)

其中,Des(i,j)為繪制后的目標(biāo)圖像上點(diǎn)(i,j)處的灰度值。

如果某一位置空洞點(diǎn)Dep(i,j)周圍8個(gè)像素點(diǎn)Des(i-1,j-1)、Des(i-1,j)、Des(i-1,j+1)、Des(i,j-1)、Des(i,j+1)、Des(i+1,j-1)、Des(i+1,j)、Des(i+1,j+1)中標(biāo)記的非空洞點(diǎn)數(shù)量(即 mask(i,j)=0的數(shù)量)不小于3,那么該類空洞點(diǎn)標(biāo)記為小空洞點(diǎn);如果該空洞點(diǎn)周圍8個(gè)像素點(diǎn)中標(biāo)記的非空洞點(diǎn)數(shù)量小于3,那么把該類空洞點(diǎn)標(biāo)記為大空洞點(diǎn)。

對于標(biāo)記的非邊界位置的大、小空洞點(diǎn)自動匹配不同的插值模板進(jìn)行插值填補(bǔ),小空洞點(diǎn)用其周圍8個(gè)像素點(diǎn)中非空洞點(diǎn)均值進(jìn)行插值填補(bǔ),大空洞點(diǎn)則在11×11的模板內(nèi)尋找非空洞點(diǎn)進(jìn)行填補(bǔ)。11×11模板內(nèi)進(jìn)行非空洞點(diǎn)插值的形式為:

Des(i,j)=

(5)

其中,分子為以點(diǎn)(i,j)為中心的11×11模板內(nèi)所有非空洞點(diǎn)像素值的和;分母為以點(diǎn)(i,j)為中心的11×11模板內(nèi)所有非空洞點(diǎn)的個(gè)數(shù)。

對于邊界位置的大空洞點(diǎn)則直接用參考圖像上相應(yīng)位置像素點(diǎn)進(jìn)行填補(bǔ),Img(i,j)表示輸入的參考圖像上相應(yīng)位置的像素點(diǎn)灰度值,則有：

Des(i,j)=Img(i,j)

(6)

經(jīng)過上述對虛擬視點(diǎn)繪制后的目標(biāo)圖像上大、小空洞點(diǎn)的分開填補(bǔ),即可得到填補(bǔ)后的目標(biāo)圖像。

2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文提出的梯度過渡后分類填補(bǔ)方法的效果,本文用大小為564×738的“ding”和600×800的“overlook”2幅圖像進(jìn)行驗(yàn)證。實(shí)驗(yàn)平臺是一臺主頻為3.40 GHz、內(nèi)存為4 GB、Intel處理器的PC機(jī)。驗(yàn)證包括2個(gè)部分:① 提出的深度圖預(yù)處理對繪制后的目標(biāo)圖像上空洞點(diǎn)的影響;② 空洞填補(bǔ)算法需要的填補(bǔ)時(shí)間和最后所得目標(biāo)圖像的質(zhì)量。

用本文方法得到的深度圖與參考圖像進(jìn)行虛擬視點(diǎn)繪制,得到帶有空洞點(diǎn)的目標(biāo)圖像,統(tǒng)計(jì)繪制后目標(biāo)圖像上的空洞點(diǎn)數(shù)量和分布情況,并與其他2種不同預(yù)處理深度圖繪制的目標(biāo)圖像進(jìn)行比較,結(jié)果如圖7所示。

(a) 未處理 (b) 均值濾波 (c) 高斯低通濾波 (d) 本文方法

其中,圖7a為原始深度圖與參考圖像進(jìn)行3D繪制得到的目標(biāo)圖像;圖7b為進(jìn)行均值濾波[19]后的深度圖與參考圖像進(jìn)行3D繪制得到的目標(biāo)圖像;圖7c為進(jìn)行高斯低通濾波[20]后的深度圖與參考圖像進(jìn)行3D繪制得到的目標(biāo)圖像;圖7d為本文方法操作后的深度圖與參考圖像進(jìn)行3D繪制得到的目標(biāo)圖像。

對圖7中幾種不同預(yù)處理方法得到的目標(biāo)圖像上的空洞點(diǎn)進(jìn)行統(tǒng)計(jì),結(jié)果見表1所列。

表1 目標(biāo)圖像上空洞點(diǎn)的數(shù)量統(tǒng)計(jì)

從表1可以看出,圖像“overlook”采用本文方法預(yù)處理后的深度圖繪制得到的目標(biāo)圖像上空洞點(diǎn)數(shù)量是最少的,并且在目標(biāo)圖像(圖7d)上的空洞點(diǎn)與其他幾幅目標(biāo)圖像相比也是最為分散的;而對于圖像“ding”,采用本文方法預(yù)處理后的深度圖繪制得到的目標(biāo)圖像上空洞點(diǎn)數(shù)量僅略高于高斯低通濾波器的,但是目標(biāo)圖像(圖7d)上的空洞點(diǎn)比其他目標(biāo)圖像上的更為分散。由此可見,本文提出的深度圖預(yù)處理方法的效果較好,繪制后的目標(biāo)圖像上空洞點(diǎn)數(shù)量大大減少,且大空洞被分割為小空洞點(diǎn)。

用本文提出的空洞填補(bǔ)方法對圖7“ding”和“overlook”的目標(biāo)圖像(圖7d)上的空洞點(diǎn)進(jìn)行填補(bǔ),計(jì)算填補(bǔ)時(shí)間和填補(bǔ)后的目標(biāo)圖像峰值信噪比(peak signal to noise ratio,PSNR),并與另外2種空洞填補(bǔ)方法進(jìn)行比較。深度輔助填補(bǔ)需要參考深度圖,在目標(biāo)圖像待填補(bǔ)點(diǎn)41×41的模板內(nèi)尋找與該點(diǎn)深度值相差小于6的非空洞點(diǎn)進(jìn)行填補(bǔ)。循環(huán)插值方法優(yōu)先填補(bǔ)最小的那些空洞點(diǎn),之后再次掃描、填補(bǔ),直至所有空洞點(diǎn)填補(bǔ)完成。目標(biāo)圖像“ding”和“overlook”采用不同方法[21]進(jìn)行空洞填補(bǔ)后的效果如圖8所示。不同填補(bǔ)方法填補(bǔ)后的目標(biāo)圖像的PSNR值和填補(bǔ)耗時(shí)見表2所列。

(a) 未填補(bǔ) (b) 深度輔助填補(bǔ) (c) 循環(huán)插值方法 (d) 本文算法

圖8 “ding”(上)和“overlook”(下)的目標(biāo)圖像經(jīng)不同方法填補(bǔ)后的效果

由表2可以看出,對于圖像“ding”,本文方法填補(bǔ)后目標(biāo)圖像的PSNR值僅稍低于深度輔助填補(bǔ)方法,但填補(bǔ)耗時(shí)卻遠(yuǎn)遠(yuǎn)低于深度輔助填補(bǔ)方法;而對于圖像“overlook”,本文方法得到的目標(biāo)圖像的PSNR值是最高的,且填補(bǔ)耗時(shí)是最低的。因此,本文提出的空洞填補(bǔ)方法具有較好的填補(bǔ)效果,其填補(bǔ)得到的目標(biāo)圖像不僅具有較高的PSNR值,而且耗時(shí)非常短。

3 結(jié) 論

本文提出了一種預(yù)處理后分類填補(bǔ)的空洞點(diǎn)解決方案。先對濾波后的深度圖進(jìn)行前景向后景梯度過渡的預(yù)處理,對完成虛擬視點(diǎn)繪制后的目標(biāo)圖像上的空洞點(diǎn)進(jìn)行大小和位置標(biāo)記,并對非邊界的大小空洞點(diǎn)自動匹配不同的差值模板進(jìn)行插值填補(bǔ)。實(shí)驗(yàn)結(jié)果表明,經(jīng)過深度圖前、后景梯度過渡后,繪制得到的目標(biāo)圖像上空洞點(diǎn)數(shù)量減少,且大空洞點(diǎn)被分割成小空洞點(diǎn);經(jīng)過本文提出的空洞點(diǎn)分類填補(bǔ)方法填補(bǔ)后的目標(biāo)圖像具有較高的PSNR值,且填補(bǔ)耗時(shí)非常短。

[1] JENG T R,HUANG D R,LIU K C,et al.New 3D image technologies developed in Taiwan[J]. IEEE Transactions on Magnetics,2011,47(3):663-668.

[2] LIU R,XIE H,TAI G,et al.Depth adjustment for depth-image-based rendering in 3D TV system[J].Journal of Informational and Computational Science,2011,8(16):4233-4240.

[3] 趙興朋.視頻圖像2D轉(zhuǎn)3D算法研究及硬件實(shí)現(xiàn)[D].青島：中國海洋大學(xué),2012.

[4] LEE P J，EFFENDI E.Nongeometic distortion smoothing approach for depth map preprocessing[J].IEEE Transactions on Multimedia,2011,13(2):246-254.

[5] RUNG Y H,CHENG Y.VLSI architecture for real-time HD 1080p view synthesis engine[J].IEEE Transactions on Circuits and Systems for Video Technology,2011,21(9):1329-1340.

[6] CHEN W Y,CHANG Y L,CHIU H K,et al.Real-time depth image based rendering hardware accelerator for advanced three dimensional television system[C]// IEEE International Conference on Multimedia and Expo. [S.l.]:IEEE,2006:2069-2072.

[7] GAUTIER J,MEUR L,GUILLEMOT C.Depth-based image completion for view synthsis[C]// The True Vision-Capture,Transmission Display of 3D Video.[S.l.]:IEEE,2011:1-4.

[8] KOPPEL M,MAKHLOUF M B,NDJIKI-NYA P.Optimized adaptive depth map filtering[C]// IEEE International Conference on Image Processing.[S.l.]:IEEE,2014:1356-1360.

[9] FEHN C.Depth-image-based rendering (DIBR),compression,and transmission for a new approach on 3D-TV[J].Proceedings of SPIE-The International Society for Optical Engineering,2004,5291:93-104.

[10] ZHANG L,TAM W J,WANG D.Stereoscopic image generation based on depth images[J].IEEE Transactions on Broadcasting,2005,51(2):191-199.

[11] CHEN C H,SUNG C Y,CHEN T Y,et al.An efficient hole-filling approach using adaptive rendering[C]// International Conference on Genetic & Evolutionary Computing.[S.l.]:IEEE Computer Society,2012:336-339.

[12] 駱凱,李東曉,馮雅美,等.基于DIBR和圖像修復(fù)的任意視點(diǎn)繪制[J].中國圖象圖形學(xué)報(bào),2010,15(3):443-449.

[13] CHENG C,LIU J,YUAN H,et al.A DIBR method based on inverse mapping and depth-aided image inpainting[C]// IEEE China Summit & International Conference on Signal and Information Processing.[S.l.]:IEEE,2013:518-522.

[14] WU H,FENG J,ZHANG H,et al.A virtual view synthesis algorithm based on image inpainting[C]// Third International Conference on Networking and Distributed Computing.[S.l.]:IEEE,2012:153-156.

[15] LU X H,FANG W,CHEN F M.Foreground-Object-Protected Depth Map Smoothing for DIBR [C]// IEEE International Conference on Multimedia and Expo.[S.l.]:IEEE, 2012:339-343.

[16] LIN T C,HUANG H C,HUANG Y M.Preserving depth resolution of synthesized images using parallax-map-based DIBR for 3D-TV[J].IEEE Transactions on Consumer Electronics,2010,56(2):720-727.

[17] XU X,PO L M,CHENG K W,et al.A foreground biased depth map refinement method for DIBR view synthesis[C]// IEEE International Conference on Acoustics, Speech and Signal Processing.[S.l.]:IEEE,2012:805-808.

[18] 劉占偉,安平,劉蘇醒.基于 DIBR 和圖像融合的任意視點(diǎn)繪制[J].中國圖像圖形學(xué)報(bào),2007,12(10):1696-1700.

[19] 謝輝.基于深度圖像繪制的視圖合成研究[D].重慶：重慶大學(xué),2013.

[20] HSIAO P Y,CHOU S S,HUANG F C.Generic 2D gaussian smoothing filter for noisy image processing[C]// TENCON 2007-2007 IEEE Region 10 Conference.[S.l.]:IEEE,2007:1-4.

[21] 劉然,朱慶生,張小云,等.一種用于視圖合成的空洞填充算法[J].計(jì)算機(jī)應(yīng)用研究,2009,26(8):3146-3148.

(責(zé)任編輯 胡亞敏)

Hole-filling method with classification after pre-processing

YANG Yizhong, XU Yichen, MA Long, ZHANG Qiang

(School of Electronic Science and Applied Physics, Hefei University of Technology, Hefei 230009, China)

Depth-image-based rendering(DIBR) technology is widely used in 3D drawing to solve the problem of sources inadequacy. However, there tends to be some empty by the view of DIBR synthesis. To reduce the influence of holes on target image as much as possible, a hole-filling method with classification after pre-processing is proposed. The program consists of two parts: the gradient transition between foreground and background is taken when pre-processing depth image, so there will be less and scattered holes on target image after 3D warping; the holes must be classified before they are filled, then the interpolation template will adjust automatically when filling big or small non-boundary holes, and the left boundary big holes will be filled by pixel corresponding position on reference image. Experimental results show that the algorithm can be employed efficiently for filling the holes after gradient transition, and the algorithm is simple, the filling time is short.

depth-image-based rendering(DIBR); gradient transition; hole; hole-filling

2016-01-27；

2016-03-18

合肥工業(yè)大學(xué)科學(xué)研究發(fā)展基金資助項(xiàng)目(J2014HGXJ0083)

楊依忠(1975-),男,安徽合肥人,合肥工業(yè)大學(xué)副教授,碩士生導(dǎo)師.

10.3969/j.issn.1003-5060.2017.08.015

TP751

A

1003-5060(2017)08-1082-06