一種基于時間導(dǎo)向的DIBR空洞填補方法

丁陳敏，呂昭宏，姚劍敏，許勝允，林博瑛，郭太良

(1.福州大學(xué)場致發(fā)射國家地方聯(lián)合工程實驗室，福建福州350000;2.冠捷顯示科技(廈門)有限公司廈門創(chuàng)新中心，福建廈門361000)

近年來，隨著視頻顯示技術(shù)的發(fā)展，3D顯示技術(shù)已成為下一代具有立體感、真實感和交互性特點的視頻顯示技術(shù)的基礎(chǔ)［1］。目前，比較常見的方法是利用關(guān)鍵幀與其對應(yīng)的深度圖合成任意視點的圖像，然而采用DIBR合成的視圖往往存在空洞［2］?？斩串a(chǎn)生的原因大致分為兩類:第一類是將關(guān)鍵幀映射到新視點圖像時，二維圖像中的可見物體在新視點圖像上的投影發(fā)生了錯誤而引起的;第二類是由物體之間發(fā)生遮蔽現(xiàn)象引起的［3］。

針對視點合成時視圖中產(chǎn)生的空洞，現(xiàn)有技術(shù)采用的DIBR算法均是在同一個畫面中對空洞附近進行水平像素的推測運算，這樣得到的填洞像素值的正確率不高，容易造成圖像邊緣的失真［4］。

基于傳統(tǒng)空洞填補方法存在的局限性，本文提出一種基于時間導(dǎo)向的DIBR孔填充的方法，利用結(jié)構(gòu)相似性的方法查找連續(xù)視頻序列中與關(guān)鍵幀擁有相同背景信息的前后相似幀，然后比較前后相似幀的深度信息，利用背景信息對新視點中的空洞進行填補。

1 傳統(tǒng)DIBR孔填充方法

如圖1所示，繪制新視點的過程中，變形后的新視點中有未被像素填充的區(qū)域，稱之為空洞區(qū)域，空洞區(qū)域填補效果的好壞，決定了最終生成的多視點圖像的立體效果［5］。因此，空洞填補是視點繪制的一個重要步驟。

圖1 新視點圖像細節(jié)圖(其中黑色區(qū)域為空洞區(qū)域)

針對如何解決DIBR產(chǎn)生空洞引起的新視點圖像中各種失真問題，國內(nèi)外的學(xué)者提出了很多相關(guān)的填洞算法，主要分為兩類:

1)第一類是采用圖像修復(fù)技術(shù)填補空洞。主要是利用二維圖像與其對應(yīng)的深度圖進行圖像變形后，對生成的新視點中的空洞區(qū)域周圍的像素信息進行處理計算，以此找到合適的背景信息，對空洞進行填補。比較常用的有水平鏡像方法，顧名思義，就是選取一條參照線，按照相對位置關(guān)系選取對應(yīng)的像素信息填洞［6］。利用水平鏡像方法得到的填洞后，圖像在物體的交界處畫面會產(chǎn)生偽影，造成圖像邊緣模糊的現(xiàn)象，如圖2所示。

圖2 水平鏡像填洞結(jié)果

2)第二類是構(gòu)造全局背景填補空洞［7］。主要是利用視頻序列幀間信息的互補性生成一張全局背景圖像，并以此為輔助圖像，去填補從關(guān)鍵幀映射到新視點時產(chǎn)生的空洞，該方法相比于第一類方法，對于簡單場景中的空洞有很好的填補效果(如圖3a所示)。但該類方法也存在一些不足，首先，構(gòu)造全局背景需要確保單鏡頭中序列沒有相機運動。目前，多數(shù)影片中的場景都不能做到這一點。其次，構(gòu)造全局背景，需要從序列中提取與關(guān)鍵幀相關(guān)的背景信息，這就需要很多的幀間信息。再次，全局背景圖像對于圖像中有多個物體移動的情況不能起到很好的填補效果［8］，如圖3b、3c所示。最后，使用構(gòu)造的全局背景去填補空洞，不能完整地對新視點中的所有空洞區(qū)域進行填補，填補后預(yù)留的空洞使用圖像修復(fù)方法進行處理，增加了算法實施的運算量。

圖3 構(gòu)造全局背景填洞效果

2 基于時間導(dǎo)向的DIBR空洞填補方法

2.1 算法思路

針對上述算法填洞效果會造成新視點在填洞后產(chǎn)生偽影、紋理失真以及運算量過大等情況。本文提出了一種基于時間導(dǎo)向的空洞填補方法，對基于視頻序列生成一張全局背景圖像來填補空洞的方法進行改進。

首先，視頻序列的幀間信息具有關(guān)聯(lián)性，如圖4所示，中間幀第8幀缺失的背景像素可以在前后幀第7幀和第9幀中找到合適的背景像素信息。利用結(jié)構(gòu)相似性的方法得到擁有相同背景的系列圖像，以此作為依據(jù)，去填補新視點中空洞，得到的填補像素是真實存在的，優(yōu)于傳統(tǒng)填洞方法對空洞周圍像素進行猜測得到填洞信息。其次，結(jié)構(gòu)相似性方法設(shè)定了相似幀的范圍，在采用相似幀填洞時，只用到了關(guān)鍵幀的前后幀序列，不僅節(jié)省了運算量，還不用考量相機的角度就可以對新視點中的空洞進行填補［8］。另外得到相似幀與關(guān)鍵幀在時間上關(guān)聯(lián)密切，對于關(guān)鍵幀中有多個物體移動的情況，也能起到很好的填補效果。再次，采用相似幀填補空洞是遍歷整個新視點圖像，逐個像素進行填補，不需要另外使用圖像修復(fù)方法進行處理，減少了內(nèi)存的占用率，也大大增強了圖像填補的正確率［7］。

圖4 視頻序列幀間信息的關(guān)聯(lián)性

另外，采用相似幀填洞與構(gòu)造全局背景填洞方法比較，在影片拍攝要求、影片要求以及適用場景等方面均有所不同。首先，構(gòu)造全局背景對影片的拍攝有特殊的要求，全局背景的影片在拍攝時，攝像機是固定的，物體在移動，而相似幀方法使用的影片拍攝時不需要攝像機固定。其次，為了構(gòu)造完整的全局背景，根據(jù)場景的不同，需要的影片數(shù)目不定，而相似幀方法不論何種場景對于影片的數(shù)目要求都是固定的。再次，兩種方法適用的場景也有所不同，相似幀方法對于場景沒有限制，而構(gòu)造全局背景只能用在特殊的場景。兩種方法的比較具體如表1所示。

表1 相似幀方法與構(gòu)造全局背景方法比較

2.2 算法框架

本算法的架構(gòu)由3個部分組成，如圖5所示。第1部分是利用已知的方法對二維圖像(即關(guān)鍵幀)及其深度圖進行圖像變形;第2部分是在二維圖像所在的連續(xù)視頻序列中利用結(jié)構(gòu)相似性的方法(SSIM)查找滿足相似范圍的前后相似幀;第3部分是利用得到的相似幀圖像對變形后的新視點圖像做空洞填補。

圖5 本文系統(tǒng)架構(gòu)圖

2.3 圖像變形

圖像變形部分的輸入是二維圖像和它對應(yīng)的深度圖，利用文獻［9］中的使用方法求得像素視差，然后對圖像進行變形(warping)，變形后，就會得到帶有空洞(holes)的新視點圖像(如圖6所示)。

圖6 新視點圖像(含有空洞區(qū)域)

2.4 基于結(jié)構(gòu)的相似幀查找方法(SSIM)

為了對新視點中的空洞區(qū)域進行填補，本文采用結(jié)構(gòu)相似性的方法在連續(xù)視頻序列中查找與新視點擁有相同背景信息的前后幀圖像。結(jié)構(gòu)相似性方法是一種衡量兩幅圖像相似度的新指標(biāo)，其值越大，表示兩幅圖像結(jié)構(gòu)越接近，最大值為1。本文中對相似幀的查找，按照視頻序列幀間信息的關(guān)聯(lián)性，選取的是在時間上序列中物體有相對位移關(guān)系的前后幀圖像，所以對于相似幀的查找，按照實驗結(jié)果，選取的前后幀與關(guān)鍵幀的相似范圍在［0.85 0.96］時，就可以作為填洞的參考圖像。

結(jié)構(gòu)相似性方法(SSIM)的基本框圖如圖7所示［10］。其中，信號x，y分別是原圖像信號和連續(xù)前后幀圖像信號。結(jié)構(gòu)相似性方法的核心函數(shù)定義為

圖7 結(jié)構(gòu)相似性方法(SSIM)基本框圖

式中:S(x，y)描述了原始圖像信號與連續(xù)視頻幀前后圖像信號之間的相似性，作為相似度度量;l(x，y)是亮度比較函數(shù);c(x，y)是對比度比較函數(shù);s(x，y)是結(jié)構(gòu)比較函數(shù);f(·)是整合函數(shù)，3個函數(shù)相對獨立。3個比較函數(shù)定義如下

式中:C1，C2，C3是用來增加計算結(jié)果的穩(wěn)定性，一般數(shù)值都比較小;L 為像素的最大值(通常為 255);K1，K2＜ ＜1;μx，μy是亮度均值，作為亮度的估計;σx，σy是標(biāo)準(zhǔn)方差作為對比度的估計，σxy是x，y的協(xié)方差。結(jié)合上式定義信號x，y之間的SSIM指標(biāo)為

SSIM(x，y)=［l(x，y)α］·［c(x，y)］β·［s(x，y)］γ(3)式中:α，β，γ＞0，這3個參量對亮度、對比度和結(jié)構(gòu)信息進行權(quán)值調(diào)整。在本文中 L=255，K1=0．03，K2=0．05，α =β =γ =1。

2.5 基于時間導(dǎo)向的空洞填補

圖8a是視頻序列“dancer”中的第40幀在變形后得到的新視點圖像，圖8b和8c是依照結(jié)構(gòu)相似性的方法查找到滿足相似范圍的第38幀和第41幀圖像。對應(yīng)空洞區(qū)域的細節(jié)如圖 8d，8e，8f，8g 所示。

圖8 結(jié)構(gòu)相似性方法查找得到的前后相似幀以及對應(yīng)的細節(jié)圖像

查找到關(guān)鍵幀的前后相似幀后，依照相似幀與其對應(yīng)的深度圖的像素信息，對新視點中的空洞進行填補，填洞流程如圖9所示。按照流程圖所示，首先，輸入新視點圖像以及相似幀查找環(huán)節(jié)得到的前后幀圖像和其對應(yīng)深度圖。其次，對新視點中的空洞進行分類［11］。根據(jù)空洞所處的位置，本文將空洞分為單個像素的空洞和大范圍的空洞，即

圖9 填補空洞流程圖

對空洞區(qū)域進行分類，再選擇最佳的填洞方法對其進行處理，不僅降低了運算的時間，而且可以確保圖像填補后的品質(zhì)。再次，根據(jù)分類的情況，單個像素的空洞采用直接復(fù)制的方法填補。對大范圍空洞的處理，是本文的重點，主要思路是比較前后相似幀對應(yīng)深度圖的像素值大小，選取像素值小的對應(yīng)位置的像素信息對大范圍空洞區(qū)域進行填補。具體實施如圖10所示。

圖10 單個像素的空洞填補情況(其中像素值為0的區(qū)域為空洞)

如圖8d所示，對于單個像素的洞，由于只有一個像素的關(guān)系，不論用什么方法填補，不會影響圖像填補后的整體效果，而且單個像素的洞基本上都出現(xiàn)在圖像中物體的中間，因此，對于單個像素的洞，采取的方法是使用臨近像素直接復(fù)制對其進行填補，即用空洞對應(yīng)位置的前一個位置的像素信息對單個空洞進行填補，如圖10所示。

為了填補圖8e中大范圍的空洞(圖中的黑色區(qū)域)，本文的實施方案如圖11～15所示，其中圖11是紅色方塊區(qū)域?qū)?yīng)的紅色通道部分像素值。

圖11 單通道部分像素值

圖12 第41幀深度圖對應(yīng)位置像素值

圖13 第38幀深度圖對應(yīng)位置像素值

圖14 第38幀對應(yīng)位置的像素值

圖15 填補后得到的單通道像素值

查找到空洞位置后，接下來，逐個像素比較結(jié)構(gòu)相似幀查找環(huán)節(jié)得到的第38幀圖像和第41幀圖像深度圖對應(yīng)位置的像素值，如圖12和圖13所示。

對于圖11中的空洞區(qū)域(像素值為0的區(qū)域)，逐個位置比較圖12和圖13空洞對應(yīng)位置的像素值，可以得出，第38幀深度圖像空洞對應(yīng)的所有位置的像素值都小于第41幀深度圖像對應(yīng)位置的像素值。一般的大范圍空洞區(qū)域?qū)?yīng)圖像中的背景區(qū)域，而背景區(qū)域的像素值偏小，所以應(yīng)選取第38幀圖像的像素信息逐個去填補空洞，其像素值如圖14所示。如果第38幀深度圖像對應(yīng)空洞位置的像素值與第41幀深度圖像相比，有的大有的小，那么也是選取像素值小的對應(yīng)位置的信息填補空洞。

將第38幀圖像對應(yīng)位置的像素值逐個填補到新視點中的空洞位置，得到的紅色通道像素值如圖15所示。因此，基于結(jié)構(gòu)相似幀方法查找得到的填補空洞像素是真實存在的，只要比較前后幀深度圖的像素值的大小，就可以得到正確的背景像素信息，對空洞區(qū)域進行填補。另外，由于圖像是由RGB三色構(gòu)成的，對于綠色通道和藍色通道，也采用如流程圖7所示的方法，先對空洞進行分類，再根據(jù)分類的情況使用不同的方法處理空洞區(qū)域來得到填補像素。實驗證明，通過上述處理，RGB三通道都能找到合適的像素信息對空洞區(qū)域進行填補。

3 實驗結(jié)果

本文利用“dancer“序列，將采用直接復(fù)制方法、水平鏡像方法以及本文方法的填洞結(jié)果進行了比較，如圖16所示。由于大部分序列在影片拍攝要求、影片要求以及使用場景等方面都不滿足構(gòu)造全局背景的條件，所以在實驗中未和獲得全局背景的算法進行比較。

圖16 已有方法和本文方法的填洞結(jié)果比較圖

從上面的實驗結(jié)果可以看出，本文所采用的填補方法繪制得到的圖像在前后景的邊界處有較好的填補效果，可以真實地還原圖像的邊緣以及減少圖像邊緣的鬼影現(xiàn)象，使獲得的多視點圖像具有較高的填補質(zhì)量。

通過比較原始圖像和填洞后新視點圖像峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)以及結(jié)構(gòu)相似度(Structural Similarity Index，SSIM)來衡量新視點圖像繪制后的質(zhì)量［12］，比較結(jié)果如表2 所示。

表2 SSIM與PSNR結(jié)果比較

從表2可以看出，本文的填洞方法在數(shù)值上，相較于水平鏡像的方法峰值信噪比提高了12.7%，結(jié)構(gòu)相似度相較于水平鏡像方法，提高了8.38%。

4 結(jié)論

本文提出了一種基于時間導(dǎo)向的DIBR空洞填補方法，利用結(jié)構(gòu)相似性的方法查找連續(xù)視頻序列中與關(guān)鍵幀擁有相同背景信息的前后圖像，然后參照相似幀查找結(jié)果對圖像變形后的新視點中的空洞區(qū)域進行填補。本文的方法能夠最大限度地還原真實圖像，減少了空洞填充時由于人為因素猜測得到填補信息而引起的圖像失真現(xiàn)象，可以得到正確的、質(zhì)量好的多視點圖像。

［1］柴宏穎，顏淑惠.具有方向性的3D影像修補技術(shù)［D］.臺灣:淡江大學(xué)，2012.

［2］王愛紅，王瓊?cè)A，李大海，等.立體顯示中立體深度與視差圖獲取的關(guān)系［J］.光學(xué)精密工程，2009(17):474-475.

［3］ OH K J，YEA S，HO Y S.Hole filling method using depth based in-painting for view synthesis in free viewpoint television and 3-D video［C］//Proc.Picture Coding Symposium.［S.l.］:IEEE Press，2009:1-4.

［4］ CHOI S，HAM B，SOHN K.Hole filling with random walks using occlusion constraints in view synthesis［J］.IEEE Int.Conf.Image Process，2011(9):1965-1968.

［5］ BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting［J］.Acm Siggraph，2000(7):417-424.

［6］ CHOIS，HAM B.Space-time hole filling with random walks in view extrapolation for 3D video［J］.IEEE Trans.Image Processing，2013(6):2429-2435.

［7］陳坤斌，劉海旭，李學(xué)明.構(gòu)造全局背景的虛擬視點合成算法［J］.信號處理，2013(10):1307-1311.

［8］ SCHMEING M，JIANG X Y.A backgound modeling faithful approach to the disocclusion problem［J］.International Journal of Pattern Recognition and Artificial Intelligence，2013(2):1-4.

［9］劉楷哲，吳其霖，黃偉豪，等.基于3D顯示器格式之實時3D內(nèi)容合成技術(shù)［J］.影像與識別，2010(2):87-91.

［10］佟雨兵，張其善，祁云平.基于PSNR與SSIM聯(lián)合的圖像質(zhì)量評價模型［J］.中國圖象圖形學(xué)報，2006(12):1758-1760.

［11］陳昭和，郭柏廷，宋俊毅，等.立體影像產(chǎn)生之有效破洞填補方法［C］//第十一屆離島信息技術(shù)與應(yīng)用研討會論文集.［出版地不詳］:華僑大學(xué)，2010:474-478.

［12］ WANG Z，BOVIK A C，SHEIKH H R，et al.Image quality assessment:From error visibility to structural similarity［J］.IEEE Trans.Image Process，2004(4):600-612.