視點(diǎn)合成中基于深度的空洞修復(fù)

杜 歆，鄒 瀧

（浙江大學(xué)信息與電子工程學(xué)系，浙江杭州310027）

視點(diǎn)合成中基于深度的空洞修復(fù)

杜 歆，鄒 瀧

（浙江大學(xué)信息與電子工程學(xué)系，浙江杭州310027）

為提高視點(diǎn)合成中空洞的修復(fù)質(zhì)量，基于樣本圖像修復(fù)技術(shù)，提出利用深度信息進(jìn)行修復(fù)的方法.通過(guò)深度圖預(yù)處理、圖像映射變換、合成深度圖修復(fù)以及合成視圖修復(fù)等步驟，實(shí)現(xiàn)對(duì)空洞區(qū)域的填充，得到虛擬視點(diǎn)視圖.所提出的深度邊緣單向膨脹預(yù)處理方法、先修復(fù)合成深度圖再修復(fù)合成視圖的策略以及匹配塊的預(yù)編輯方法，可以提高最終合成視圖的質(zhì)量.實(shí)驗(yàn)結(jié)果表明：所提出方法在主觀視覺(jué)對(duì)比、峰值信噪比（PSNR）以及運(yùn)行耗時(shí)上優(yōu)于現(xiàn)有方法，在圖像邊緣連續(xù)性的保持、前景和背景像素滲透現(xiàn)象的消除等方面具有較好的效果.

視點(diǎn)合成；空洞修復(fù)；深度圖修復(fù)

虛擬視點(diǎn)合成是指用一個(gè)或多個(gè)視點(diǎn)的真實(shí)圖像，通過(guò)相應(yīng)參數(shù)，生成虛擬視點(diǎn)圖像的過(guò)程.虛擬視點(diǎn)合成在虛擬現(xiàn)實(shí)、三維自由視點(diǎn)電視、人機(jī)交互、2D到3D視頻轉(zhuǎn)換等相關(guān)領(lǐng)域有著廣泛的應(yīng)用.目前，虛擬視點(diǎn)合成主要有2種方法：基于三維模型的繪制（model based rendering，MBR）和基于圖像的繪制（image based rendering，IBR）［1］.其中基于深度圖像的繪制技術(shù)（depth image based rendering，DIBR）［2］只須輸入?yún)⒖家晥D和相應(yīng)的深度圖即可合成虛擬視點(diǎn)圖像，是目前IBR方法中使用較為廣泛的技術(shù).

雖然DIBR易于實(shí)現(xiàn)，但是這種方法對(duì)深度圖的精確度要求很高.如果深度圖有錯(cuò)誤，則會(huì)給視點(diǎn)合成結(jié)果帶來(lái)較大的瑕疵，如：繪制后的圖像中存在偽像、空洞等現(xiàn)象.除此之外，遮擋也是造成空洞的主要原因.為了消除這些空洞及偽像，學(xué)者們提出了一系列方法，這些方法大致可分為3類.1）層次化的深度圖技術(shù)（layered depth image，LDI）［3］，即圖像的每一個(gè)像素點(diǎn)包含了多層深度的顏色信息.通過(guò)這種方式可以有效填充合成視圖中由于遮擋所產(chǎn)生的空洞區(qū)域.文獻(xiàn)［4］和［5］首先構(gòu)造了全局背景，并以此為輔助填補(bǔ)映射結(jié)果中的空洞.王奎等［6］同樣采用構(gòu)造全局背景的方法修復(fù)Kinect的中深度圖空洞.由于需要采集多層深度的顏色信息，這類方法存在的問(wèn)題是采樣復(fù)雜，數(shù)據(jù)量過(guò)大.2）深度圖的預(yù)處理和合成視圖的后處理.常用的方法是對(duì)深度圖進(jìn)行低通濾波平滑來(lái)減少合成視圖中的空洞，并通過(guò)均值濾波、像素內(nèi)插來(lái)修復(fù)合成視圖中的較小空洞.Zhang等［7］采用高斯濾波對(duì)深度圖進(jìn)行預(yù)處理，Lee等［8］則選用了高斯雙邊非對(duì)稱濾波器.高凱等［9］提出了à-Trous小波濾波方法，能夠有效地保留深度圖上的邊緣.李應(yīng)彬等［10］基于改進(jìn)的雙邊濾波對(duì)深度圖進(jìn)行修復(fù).這類方法對(duì)于較大空洞的修補(bǔ)效果并不理想.3）利用圖像修復(fù)技術(shù)對(duì)空洞進(jìn)行填補(bǔ)［11-12］，即將二維圖像的修復(fù)技術(shù)引入到立體圖像空洞修復(fù)中.Ma等［13］在自由視點(diǎn)視頻的修復(fù)過(guò)程中加入了深度信息的導(dǎo)引.Wu等［14］先將圖像分為前景和背景，再利用分割信息對(duì)空洞進(jìn)行修復(fù).Xu等［15］在修復(fù)過(guò)程中采用先對(duì)深度圖中空洞進(jìn)行修復(fù)的策略.

本文提出一種新的空洞修復(fù)方法.首先提出一種深度邊緣單向膨脹的預(yù)處理方法，該方法能有效抑制前景邊緣深度誤差所引起的合成視圖中的像素滲透.其次，由于所合成的虛擬視角一般位于參考視角的水平方向上，如果視角右移，空洞會(huì)出現(xiàn)在前景右側(cè)；如果視角左移，空洞則會(huì)出現(xiàn)在前景左側(cè)，而且空洞處一般缺失的是背景像素.基于上述認(rèn)識(shí)，本文在圖像修復(fù)中將此與場(chǎng)景的深度信息相結(jié)合，有效提升圖像修復(fù)結(jié)果.最后，在傳統(tǒng)的基于樣本的圖像修復(fù)方法中加入深度輔助和匹配塊預(yù)編輯的措施，得到較好的空洞修復(fù)效果.

1 整體流程

視點(diǎn)合成算法的整體流程如圖1所示，算法僅需輸入?yún)⒖家晥D和對(duì)應(yīng)的深度圖，合成過(guò)程總共包含4個(gè)步驟：1）對(duì)深度圖進(jìn)行預(yù)處理，以消除合成視圖的小空洞以及前景背景相互滲透的現(xiàn)象；2）對(duì)參考視圖和預(yù)處理后的深度圖進(jìn)行像素映射變換，得到帶有空洞的合成視圖及其深度圖；3）對(duì)合成深度圖的空洞進(jìn)行修復(fù)；4）用修復(fù)好的深度圖對(duì)合成視圖的空洞進(jìn)行修復(fù)，得到最終結(jié)果視圖.

圖1 視點(diǎn)合成算法框圖Fig.1 Flow chart of view synthesis algorithm

2 深度圖預(yù)處理

在圖像前景和背景的交界處，深度通常會(huì)發(fā)生顯著變化，由于視角變化造成的遮擋，在合成的虛擬視圖中會(huì)存在空洞區(qū)域.這些交界處的視點(diǎn)合成結(jié)果對(duì)輸入的深度值錯(cuò)誤異常敏感，極易出現(xiàn)前景像素和背景像素之間的互相滲透，從而造成明顯的瑕疵.

圖2給出了采用微軟“Ballet”序列［16］的實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)中以Cam5視角的第1幀為輸入，合成Cam4視角.其中圖2（a）為輸入的Cam5視圖，圖中的黑框區(qū)域?yàn)榈湫偷那熬昂捅尘敖唤缣帲瑘D2（b）、（c）為該區(qū)域的放大圖和相應(yīng)的深度圖.圖2（d）和（e）分別為未經(jīng)本文方法預(yù)處理的映射結(jié)果和填充后的結(jié)果，圖中的黑色區(qū)域?yàn)橛捎谡趽踉斐傻挠成浣Y(jié)果中的空洞區(qū)域.由于深度圖在前景和背景交界處的不準(zhǔn)確，在投影結(jié)果中很容易造成交界處前景像素和背景像素之間的混淆，使得邊界不清晰.后續(xù)的空洞填充進(jìn)一步將這種效應(yīng)放大，從而形成明顯的瑕疵.

圖2 加入深度圖預(yù)處理前后的合成視圖結(jié)果Fig.2 Synthesis results before and after performing depth preprocessing

由于獲得完全準(zhǔn)確的深度圖非常困難，為了有效消除這種相互滲透現(xiàn)象，提出一種深度邊緣的單向膨脹方法，流程如圖3所示.首先判斷深度圖中水平方向上相鄰2點(diǎn)在映射變換后是否仍然相鄰，若不相鄰，則在該處產(chǎn)生空洞或發(fā)生像素重疊.這時(shí)需要選擇這2點(diǎn)中深度值較大的前景像素繼續(xù)進(jìn)行判斷.如果該點(diǎn)在映射變換后，被投射到新的背景上，則放棄該點(diǎn)的預(yù)處理，以避免前景邊緣出現(xiàn)2種背景的突兀現(xiàn)象；反之，將該點(diǎn)的深度值向其水平鄰域像素中膨脹，僅覆蓋深度值小于該點(diǎn)的像素，圖3中w為膨脹寬度.

圖3 深度圖預(yù)處理流程圖Fig.3 Flowchart of depth map preprocessing

圖4（a）為某視角原始深度圖中的一行，A～L為該行中的像素.由像素值所代表的深度值可知，該行中A～C、J～L為背景像素，D～I(xiàn)為前景像素.為了判別這些在原始深度圖中的像素在映射后是否相鄰，先對(duì)這些像素進(jìn)行像素映射變換（見(jiàn)圖1中的映射變換），然后考察映射結(jié)果.如圖4（b）所示，在圖4（a）中相鄰的像素C和D、像素I和J在圖4（b）中不再相鄰，像素C和D之間發(fā)生了重疊，而像素I和J之間產(chǎn)生了空洞.預(yù)處理選擇其中深度值較大的前景像素，如上面的D和I.由于D被映射到新的背景A上，不會(huì)像I和J之間那樣產(chǎn)生空洞，只須處理像素I.在原始深度圖中將像素I的深度值賦給w鄰域內(nèi)深度值小于I的像素.實(shí)驗(yàn)中取w＝2，將像素I賦給像素J、K，即J＝I，K＝I，得到圖4（c）的預(yù)處理結(jié)果.

圖4 深度圖預(yù)處理Fig.4 Depth map preprocessing

通過(guò)上述深度邊緣單向膨脹的預(yù)處理，原深度圖中產(chǎn)生空洞的前景邊緣會(huì)有所擴(kuò)展.這能去除合成的虛擬視圖的背景上的前景像素殘留，相當(dāng)于將空洞的背景一側(cè)w單位寬度的像素移動(dòng)拼接到前景邊緣一側(cè)，經(jīng)預(yù)處理后的結(jié)果如圖2（f）、（g）所示.

3 像素映射變換

像素點(diǎn)的映射變換是視點(diǎn)合成技術(shù)中一個(gè)重要的步驟.映射方式可分為2種：3D映射［2］和1D映射［17］.3D映射是根據(jù)深度圖、參考視圖和相機(jī)參數(shù)，將參考視圖中的像素點(diǎn)映射到世界坐標(biāo)系下，將世界坐標(biāo)系的點(diǎn)映射到目標(biāo)視圖上.這種方式可以合成任意視點(diǎn)下的虛擬視圖.1D映射也被稱為視點(diǎn)插值（view interpolation），其不同之處在于直接將參考視圖的像素點(diǎn)水平映射到目標(biāo)視圖中同一行的對(duì)應(yīng)位置，使用的是普通標(biāo)準(zhǔn)立體圖像及其視差圖，適用于合成視角位于基線上的虛擬視點(diǎn)視圖.下面以3D映射為例對(duì)本文方法進(jìn)行描述，并在最后的實(shí)驗(yàn)結(jié)果中增加1D映射方法的結(jié)果.

以“Ballet”序列Cam5視角第1幀為參考視圖，經(jīng)過(guò)深度圖預(yù)處理后，采用3D映射方式合成Cam4視角的合成視圖及其深度圖如圖5所示，圖中黑色區(qū)域?yàn)榇畛涞目斩磪^(qū)域.為了消除合成視圖中的小型空洞和裂縫，需要對(duì)映射結(jié)果進(jìn)行中值濾波處理.

圖5 3D映射變換的結(jié)果Fig.5 Results of 3D image warping

4 合成深度圖修復(fù)

為了保證修改后的合成視點(diǎn)視圖仍舊符合立體視覺(jué)性質(zhì)，首先對(duì)合成深度圖進(jìn)行修復(fù).圖像修復(fù)技術(shù)包括基于像素的方法［18］和基于樣本的方法［19］.基于像素的方法通常沿等照度線方向?qū)⒁阎袼匦畔⑾蚩斩磪^(qū)域進(jìn)行逐點(diǎn)擴(kuò)散填充，容易造成模糊現(xiàn)象，無(wú)法處理紋理區(qū)域.基于樣本的方法通常采用塊填充的方式，通過(guò)搜索最佳匹配塊對(duì)空洞區(qū)域進(jìn)行填充，可有效保持圖像的紋理性質(zhì).相比合成視圖，合成深度圖反映的是場(chǎng)景的深度變化，其紋理變化較平緩，對(duì)其修復(fù)適合采用基于像素的方法.

空洞像素的填充順序?qū)D像修復(fù)結(jié)果影響很大.傳統(tǒng)方法大多采用“剝洋蔥”的順序，即沿各個(gè)方向同時(shí)向空洞的中心進(jìn)行生長(zhǎng)填充，如：Telea［18］提出的快速匹配法（fast marching method，F(xiàn)MM），在視點(diǎn)合成結(jié)果中，空洞區(qū)域一般為被遮擋的背景，如果填充從前景像素開(kāi)始，容易造成前景像素向空洞的錯(cuò)誤滲透，造成視覺(jué)上的突兀.本文利用前景和背景的相對(duì)位置信息，提出一種新的填充順序，即只由空洞背景一側(cè)向前景一側(cè)生長(zhǎng)填充.

在視點(diǎn)合成的應(yīng)用中，虛擬視角的位置一般位于參考視點(diǎn)的水平方向上.在這樣的合成視圖中，前景、空洞、背景會(huì)在水平方向上呈“一”字型排列.定義由背景指向空洞的方向?yàn)関.若合成的目標(biāo)視點(diǎn)相對(duì)于參考視點(diǎn)左移，空洞會(huì)出現(xiàn)在背景的右邊，則v水平向右；反之，則v水平向左.

如圖6所示，在傳統(tǒng)的“剝洋蔥”順序中，填充的起始點(diǎn)只限定在空洞區(qū)域的邊界像素，并沒(méi)有對(duì)前景和背景進(jìn)行區(qū)分.本文方法進(jìn)一步對(duì)其進(jìn)行限定，規(guī)定填充須從背景開(kāi)始，沿著方向v進(jìn)行.對(duì)于每一個(gè)空洞點(diǎn)p，利用其ε鄰域內(nèi)的已知像素的加權(quán)［18］得到其像素值.

圖6 新填充順序示意圖Fig.6 Sketch map of new propagation mode

如圖7所示，通過(guò)改進(jìn)的填充順序，最終的修復(fù)效果更加可靠，能保持更好的前景邊緣.這對(duì)后續(xù)的合成視圖修復(fù)提供了很好的深度參考.圖7（a）為FMM的修復(fù)結(jié)果，圖7（b）為本文方法的修復(fù)結(jié)果.

圖7 2種方法的深度圖修復(fù)結(jié)果Fig.7 Depth map inpainting result of two methods

5 合成視圖修復(fù)

通過(guò)對(duì)深度圖的修復(fù)，得到?jīng)]有空洞的深度圖（圖7（b）），可利用其對(duì)如圖5（a）所示的有空洞的合成視圖像進(jìn)行修復(fù).對(duì)通常具有較豐富紋理的合成視圖修復(fù)，將采用基于樣本的方法.

如圖8所示，基于樣本的圖像修復(fù)［19］通常按照一定的填充順序，以空洞區(qū)域Ω的邊緣點(diǎn)p為中心的矩形塊Ψp為參考，在已知區(qū)域Φ中搜索與之最相似的以點(diǎn)q為中心的矩形塊Ψq，然后將Ψq填入Ψp的空洞中.圖中，np為空洞邊緣單位法向量.在上述過(guò)程中有3個(gè)關(guān)鍵問(wèn)題要解決：1）以什么順序進(jìn)行填充；2）以什么度量來(lái)搜索匹配塊Ψq；3）匹配塊如何填入空洞.

圖8 基于樣本的圖像修復(fù)Fig.8 Examplar-based image inpainting

5.1 填充順序

為了確定合適的填充順序，對(duì)每一個(gè)空洞像素點(diǎn)計(jì)算優(yōu)先值，然后根據(jù)優(yōu)先值的大小來(lái)確定填充順序.本文提出一種加入深度權(quán)重的優(yōu)先值計(jì)算方法.由于待填充的空洞大多位于前景和背景的交界處，修復(fù)應(yīng)盡量從背景一側(cè)開(kāi)始，即像素深度值越小，優(yōu)先值越高.此外，在深度變化較大的前景和背景交界處，為了保持前景邊緣的連續(xù)性，也應(yīng)具有較高的優(yōu)先值.最后得到優(yōu)先值計(jì)算公式為

式中：C（p）為置信項(xiàng)，表示以點(diǎn)p為中心的矩形塊中已知像素所占的百分比，C（p）越大，則填充該點(diǎn)的置信度越高；D（p）為數(shù)據(jù)項(xiàng)，該點(diǎn)像素值梯度越大，等照度線方向與空洞邊緣法向越接近，則優(yōu)先值越高，該項(xiàng)保證了紋理垂直于空洞邊緣的點(diǎn)有更高的優(yōu)先值，從而有利于紋理的保持；Z（p）為深度項(xiàng)，該點(diǎn)深度值越小，則優(yōu)先值越高，深度值較小通常為背景，該項(xiàng)保證了空洞中背景相對(duì)于前景具有較高的優(yōu)先值；Q（p）為深度變化項(xiàng)，在深度圖變化大的地方，優(yōu)先值較高；β、γ、λ為預(yù)定義的權(quán)重，在實(shí)驗(yàn)中分別取0.8、0.1、0.1.上述幾項(xiàng)的具體定義如下：

式中：Ip為點(diǎn)p的像素值，dp為該點(diǎn)深度值，dmax和dmin分別為整幅圖像最大、最小深度值，〈，〉為向量的內(nèi)積；α和δ為歸一化常數(shù)，通常取α＝1／（255×圖像通道數(shù) ），δ＝1／（dmax－dmin）.運(yùn)算符?⊥表示求梯度后再將結(jié)果向量順時(shí)針旋轉(zhuǎn)90°，與等照度線方向相同.

式中：d（，）為非相似性度量，傳統(tǒng)的圖像修補(bǔ)方法通常取差的平方和或差的絕對(duì)值和度量.

由于已經(jīng)對(duì)合成深度圖進(jìn)行了修復(fù)，有效利用深度圖作為指引將得到更好的修復(fù)結(jié)果，提出加入深度信息的新度量為

5.2 搜索匹配塊

假設(shè)優(yōu)先值最高的點(diǎn)為p，首先構(gòu)成一個(gè)以點(diǎn)p為中心，13×13大小的矩形塊作為參考?jí)KΨp，在相鄰已知區(qū)域中搜索與Ψp最為相似的匹配塊Ψq：

式中：Ip、dp分別為點(diǎn)p的像素值和深度值.通過(guò)式（7），匹配塊搜索同時(shí)考慮了2個(gè)塊之間紋理的相似性以及深度，與空洞區(qū)域具有相近深度的區(qū)域?qū)⒕哂懈蟮南嗨菩?這一措施可以有效提高最終修復(fù)結(jié)果的質(zhì)量.

5.3 填充塊預(yù)編輯

由于搜索到的匹配塊與填充的空洞區(qū)域仍存在差別，將其直接填充到空洞區(qū)域可能會(huì)造成明顯的拼接痕跡，為此，需要對(duì)搜索到的匹配塊進(jìn)行預(yù)編輯再將其填入.預(yù)編輯的目標(biāo)是讓空洞處的像素梯度和匹配塊對(duì)應(yīng)點(diǎn)的梯度盡量相同.傳統(tǒng)的泊松編輯［20］很容易出現(xiàn)錯(cuò)誤的像素?cái)U(kuò)散.如圖9所示，Ψp已經(jīng)搜索到最佳的匹配塊Ψq，這種簡(jiǎn)單的情況下直接復(fù)制填充效果會(huì)很好，但是如果對(duì)Ψq進(jìn)行泊松編輯，則會(huì)出現(xiàn)如圖9（b）所示深色向淺色擴(kuò)散的現(xiàn)象.

圖9 采用泊松編輯的匹配塊填充結(jié)果Fig.9 Filling results of matching patch using poisson editing

為了避免這種擴(kuò)散現(xiàn)象，提出一種新的編輯方式.將Ψp中空洞區(qū)域f向已知區(qū)域擴(kuò)展1個(gè)像素寬度，得到區(qū)域g，如圖10所示.這時(shí)，優(yōu)化處理方程轉(zhuǎn)換為

其中，m為Ψq中對(duì)應(yīng)于g的區(qū)域.將參考?jí)K中擴(kuò)展的邊緣像素作為區(qū)域g中的已知量，將匹配塊中像素值作為區(qū)域g中對(duì)應(yīng)位置的初值、分行、分列，采用共軛梯度迭代法求解可得到優(yōu)化結(jié)果，即預(yù)編輯結(jié)果g，再將g中與空洞像素對(duì)應(yīng)的點(diǎn)復(fù)制到空洞中.

圖10 匹配塊預(yù)編輯Fig.10 Pre-edit of matched patch

6 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證算法的有效性，采用3D映射和1D映射2種方式分別進(jìn)行視點(diǎn)合成實(shí)驗(yàn).3D映射實(shí)驗(yàn)采用由微軟提供的“Ballet”序列，其中包含8個(gè)視角的參考視圖和深度圖，同時(shí)提供所有視角拍攝時(shí)的相機(jī)參數(shù).在3D映射中，在存在多參考視圖的前提下，通常采用多參考視圖的虛擬視點(diǎn)合成方法使目標(biāo)視圖中由遮擋產(chǎn)生的空洞區(qū)域降為最少.由于本文旨在對(duì)空洞修復(fù)問(wèn)題進(jìn)行討論，為了更好驗(yàn)證本文方法的性能，實(shí)驗(yàn)中仍采用單參考視圖的合成方式.對(duì)只給出視差圖的1D映射情況，采用由Middlebury網(wǎng)站［21］提供的標(biāo)準(zhǔn)立體圖像和標(biāo)準(zhǔn)視差圖.

如圖11所示為基于3D映射方法的結(jié)果比較.以“Ballet”序列Cam5視角作為輸入，在圖11（a）、（b）分別給出了合成Cam4和Cam2的視角視圖，并在圖11（c）給出了上述結(jié)果中標(biāo)記區(qū)域的細(xì)節(jié)放大.由圖中結(jié)果比較可見(jiàn)，本文方法的結(jié)果在前景邊緣的保持、消除背景中的前景像素滲透等方面，要明顯地優(yōu)于其他3種方法.

為了對(duì)算法性能進(jìn)行定量評(píng)價(jià)，在圖12中給出了上述方法的指標(biāo)——峰值信噪比（peak signal to noise ratio，PSNR）曲線，計(jì)算時(shí)將對(duì)應(yīng)視角的真實(shí)視圖作為參考視圖，且只對(duì)映射結(jié)果存在空洞的區(qū)域進(jìn)行比較.由圖12可知，本文方法對(duì)應(yīng)的PSNR較高.

表1中給出了“Ballet”圖像序列最終結(jié)果的統(tǒng)計(jì)數(shù)據(jù)，其中η表示空洞占全圖面積的平均比例，t為平均每幀圖像的處理耗時(shí).可以看出，短基線（Cam5→Cam4）由于視角變化小，使得空洞區(qū)域面積較小，算法耗時(shí)較短且修復(fù)質(zhì)量較高；而基線的增長(zhǎng)（Cam5→Cam2）在增加算法耗時(shí)的同時(shí)，還會(huì)使視點(diǎn)合成質(zhì)量降低.相對(duì)而言，本文方法在時(shí)間復(fù)雜度和性能的綜合表現(xiàn)最佳，修復(fù)后圖像的PSNR最高且耗時(shí)只是略多于文獻(xiàn)［19］的方法.

圖11 “Ballet”圖像序列視點(diǎn)合成實(shí)驗(yàn)結(jié)果比較Fig.11 Comparison of experimental results of view synthesis for“Ballet”image sequence

表1 “Ballet”圖像序列統(tǒng)計(jì)結(jié)果Tab.1 Statistical results of＂Ballet＂image sequence

在耗時(shí)方面，雖然本文方法在合成視圖修復(fù)之前加入了深度圖的修復(fù)，但由于深度圖修復(fù)采用的是基于像素的快速修復(fù)方法，其耗時(shí)遠(yuǎn)小于合成視圖空洞修復(fù).4種方法在時(shí)間消耗上的差別主要體現(xiàn)在合成視圖的修復(fù)過(guò)程中.本文方法、文獻(xiàn)［12］和文獻(xiàn)［15］、［22］的方法在合成視圖修復(fù)時(shí)都在文獻(xiàn)［19］的基礎(chǔ)上加入了深度信息，故都更為耗時(shí)；文獻(xiàn)［12］的方法在計(jì)算優(yōu)先值時(shí)采用三維張量的形式，并有較復(fù)雜的矩陣運(yùn)算，耗時(shí)稍長(zhǎng)；文獻(xiàn)［15］、［22］的方法在計(jì)算時(shí)有大量的指數(shù)運(yùn)算，耗時(shí)最長(zhǎng)；本文方法在引入深度信息時(shí)采用了較為簡(jiǎn)單的向量運(yùn)算及少量指數(shù)運(yùn)算，計(jì)算量較小，所以最終耗時(shí)較文獻(xiàn)［19］和［15］、［22］中的方法要少.

圖12 “Ballet”圖像序列PSNR結(jié)果Fig.12 PSNR results of＂Ballet＂image sequence

圖13 Middlebury立體圖視點(diǎn)合成實(shí)驗(yàn)Fig.13 View synthesis on Middlebury stereo images

給出了以1D映射方式得到的視點(diǎn)合成結(jié)果，選用了“ART”和“Reindeer”標(biāo)準(zhǔn)立體圖像的左右視圖及其視差圖作為輸入，用于合成位于左右視圖中間視角（即位于基線中點(diǎn)）的虛擬視點(diǎn)視圖.其中“ART”和“Reindeer”圖像分辨率分別為1 390× 1 110和1 342×1 110，中間視圖映射結(jié)果中空洞區(qū)域面積占全圖比例分別為2.15%和0.62%.以“ART”圖像為例，圖13（a）、（b）為輸入的左視圖和左視差圖，作為輸入圖像質(zhì)量參考.通過(guò)1D映射得到中間視角視圖和視差圖在圖13（c）、（d）中給出，圖中的黑色區(qū)域表示空洞待填充區(qū)域.對(duì)視差圖13（d）中的空洞進(jìn)行修復(fù)，結(jié)果見(jiàn)圖13（e）.結(jié)合修復(fù)后的視差圖（e），對(duì)中間視圖（c）中的空洞進(jìn)行修補(bǔ)，最終結(jié)果及局部視圖見(jiàn)圖13（f）.作為對(duì)比，在圖13（g）中給出VSRS（view synthesis reference software）［23］的視點(diǎn)合成結(jié)果及局部視圖.表2中給出了2組實(shí)驗(yàn)的統(tǒng)計(jì)結(jié)果.從圖13中給出的實(shí)驗(yàn)結(jié)果和表2中給出的客觀指標(biāo)可以看出，本文方法對(duì)空洞的修補(bǔ)更為合理，最終得到的合成視圖質(zhì)量較高.本文方法的時(shí)間消耗長(zhǎng)于VSRS，這是因?yàn)樵撥浖?duì)空洞的修復(fù)采用的是基于像素的圖像修復(fù)方法，雖然速度較快，但無(wú)法還原圖像的紋理結(jié)構(gòu)，容易造成過(guò)于平滑和黏連的現(xiàn)象，修復(fù)的空洞質(zhì)量較差.

表2 Middlebury立體視圖統(tǒng)計(jì)結(jié)果Tab.2 Statistical results of Middlebury stereo images

7 結(jié) 語(yǔ)

本文算法在圖像邊緣連續(xù)性的保持、前景和背景像素滲透現(xiàn)象的消除等方面具有較好的效果.在視點(diǎn)合成中，充分利用立體圖像的深度信息，以及各視角之間的相對(duì)位置關(guān)系，對(duì)提高合成視圖質(zhì)量能起到重要作用.例如：合成的虛擬視角一般位于參考視角的水平方向上，如果視角右移，空洞會(huì)出現(xiàn)在前景右側(cè)；如果視角左移，空洞則會(huì)出現(xiàn)在前景左側(cè).空洞區(qū)域一般為被遮擋的背景，如果空洞填充從前景像素開(kāi)始，容易造成前景像素向空洞的錯(cuò)誤滲透，造成視覺(jué)上的突兀.基于由深度信息給出的前景和背景的相對(duì)位置，則可以給出更好的填充順序.此外，在傳統(tǒng)的基于樣本的圖像修復(fù)方法中加入深度信息輔助，也可以提高最終合成視圖的質(zhì)量.未來(lái)的研究將著眼于對(duì)深度和視差圖的處理，以及通過(guò)相機(jī)參數(shù)的提取，獲得更為精確的場(chǎng)景結(jié)構(gòu)上.

（References）：

［1］SHUM H Y，KANG S B.A review of image-based rendering techniques［C］∥Proceedings of SPIE 4067，Visual Communications and Image Processing 2000.Perth：SPIE，2000：2- 13.

［2］FEHN C.Depth-image-based rendering（DIBR），compression，and transmission for a new approach on 3D-TV［C］∥Proceedings of SPIE 5291，Stereoscopic Displays and Virtual Reality Systems XI.San Jose：SPIE，2004：93- 104.

［3］SHADE J，GORTLER S，HE L，et al.Layered depth images［C］∥Proceedings of the 25th Annual Conference on Computer Graphics and Interactive Techniques.Orlando：ACM，1998：231- 242.

［4］陳坤斌，劉海旭，李學(xué)明.構(gòu)造全局背景的虛擬視點(diǎn)合成算法［J］.信號(hào)處理，2013，29（10）：1307- 1314.

CHEN Kun-bin，LIU Hai-xu，LI Xue-ming.Virtual view synthesis using generated global background［J］.Journal of Signal Processing，2013，29（10）：1307- 1314.

［5］YAO C，TILLO T，ZHAO Y，et al.Depth map driven hole filling algorithm exploiting temporal correlation information［J］.IEEE Transactions on Broadcasting，2014，60（2）：394- 404.

［6］王奎，安平，張兆楊，等.Kinect深度圖像快速修復(fù)算法［J］.上海大學(xué)學(xué)報(bào)：自然科學(xué)版，2012，18（5）：454- 458.

WANG Kui，AN Ping，ZHANG Zhao-yang，et al.Fast inpainting algorithm for kinect depth map［J］.Journal of Shanghai University：Natural Science Edition，2012，18（5）：454- 458.

［7］ZHANG L，TAM W J.Stereoscopic image generation based on depth images for 3DTV［J］.IEEE Transactions on Broadcasting，2005，51（2）：191- 199.

［8］LEE P J，EFFENDI.Non-geometric distortion smoothing approach for depth map preprocessing［J］.IEEE Transactions on Multimedia，2011，13（2）：246- 254.

［9］高凱，陳賀新，趙巖，等.面向虛擬視點(diǎn)繪制的深度圖濾波及上采樣方法［J］.中國(guó)圖象圖形學(xué)報(bào)，2013，18（9）：1085- 1092.

GAO Kai，CHEN He-xin，ZHAO Yan，et al.Depth map filtering and up-sampling method for virtual view rendering［J］.Journal of Image and Graphics，2013，18（9）：1085- 1092.

［10］李應(yīng)彬，馮杰，張華熊，等.基于改進(jìn)雙邊濾波的Kinect深度圖像空洞修復(fù)算法研究［J］.工業(yè)控制計(jì)算機(jī)，2013，26（11）：105- 106，109.

LI Ying-bing，F(xiàn)ENG Jie，ZHANG Hua-xiong，et al.New algorithm of depth hole filling based on intensive bilateral filter［J］.Industrial Control Computer，2013，26（11）：105- 106，109.

［11］DARIBO I，SAITO H.Depth-aided image inpainting for novel view synthesis［C］∥Proceedings of 2010 IEEE International Workshop on Multimedia Signal Processing（MMSP）.（S.l.）：IEEE，2010：167- 170.

［12］GAUTIER J，LE MEUR O，GUILLEMOT C.Depth based image completion for view synthesis［C］∥3DTV Conference：the True Vision-Capture，Transmission and Display of 3D Video（3DTV-CON）.Antalya：IEEE，2011：1- 4.

［13］MA L N，DO L，WITH D，et al.Depth-guided inpainting algorithm for free-viewpoint video［C］∥2012 19th IEEE International Conferenceon on Image Processing（ICIP）.Orlando：IEEE，2012：1721- 1724.

［14］WU H Y，F(xiàn)ENG J，ZHANG H X，et al.A virtual view synthesis algorithm based on image inpainting［C］∥Third International Conference on Networking and Distributed Computing.Hangzhou：IEEE，2012：153- 156.

［15］XU X Y，PO L M，Cheung C H，et al.Depth-aided exemplar-based hole filling for DIBR view synthesis［C］∥2013 IEEE International Symposium on Circuits and Systems（ISCAS）.Beijing：IEEE，2013：2840-2843.

［16］ZITNICK C L，SING B K，MATTHEW U，et al.High quality video view interpolation using a layered representation［J］.ACM Transactions on Graphics. 2004，23（3）：600- 608.

［17］SCHARSTEIN D.Stereo vision for view synthesis［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR’96）.San Francisco：IEEE，1996：852- 858.

［18］TELEA A.An image inpainting technique based on the fast marching method［J］.Journal of Graphics Tools，2004，9（1）：23- 34.

［19］CRIMINISI A，PEREZ P，TOYAMA K，Region filling and object removal by exemplar-based image inpainting［J］.IEEE Transactions on Image Processing，2004，13（9）：1200- 1212.

［20］PEREZ P，GANGNET M，AND BLAKE A.Poisson image editing［J］.Proceedings of the SIGGRAPH，2003，22（3）：313- 318.

［21］SCHARSTEIN D，PAL C.Learning conditional random fields for stereo［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR 2007）.Minneapolis：IEEE，2007：1- 8.

［22］XU X Y，PO L M，NG K H，et al.Depth map misalignment correction and dilation for DIBR view synthesis［J］.Signal Processing：Image Communication.2013，28（9）：1023- 1045.

［23］TIAN D，LAI P L，PATRICK L.View synthesis techniques for 3D video［C］∥SPIE Optical Engineering and Applications.San Diego：SPIE，2009：74430T-74430T-11.

Depth-based hole filling in view synthesis

DU Xin，ZOU Shuang
（Department of Information Science and Electronic Engineering，Zhejiang University，Hangzhou 310027，China）

An image inpainting method based on exemplar-based image restoration technology was proposed to improve the quality of hole filling in view synthesis by using depth information.This method fills the holes and provides a synthesized view through depth map preprocessing，image warping，depth inpainting and color image inpainting.The final synthesized view quality is improved by the depth edge’s unidirectional dilation，the strategy that firstly inpaintes synthesized depth map and then the synthesized image，and the pre-editing of matched patch.The experimental results show that this method is superior to the existing methods in terms of subjective visual perception and objective index，such as peak signal to noise ratio（PSNR）and time consuming.The proposed method also has outstanding effects on maintaining the foreground edges and eliminating the infiltration from foreground to background.

view synthesis；hole-filling；depth map inpainting

10.3785／j.issn.1008-973X.2015.09.002

TP 391.4

A

1008- 973X（2015）09- 1616- 09

2014- 08- 01. 浙江大學(xué)學(xué)報(bào)（工學(xué)版）網(wǎng)址：www.journals.zju.edu.cn／eng

國(guó)家自然科學(xué)基金資助項(xiàng)目（61271339）；浙江省自然科學(xué)基金資助項(xiàng)目（LY12F01019）.

杜歆（1975－），男，副教授，博士，從事計(jì)算機(jī)視覺(jué)、3D視頻處理研究.ORCID：0000-0002-6215-9733.E-mail：duxin＠zju.edu.cn