自動(dòng)2D-to-3D視頻轉(zhuǎn)換技術(shù)研究

楊宇，李鑒增

(中國傳媒大學(xué)信息工程學(xué)院，北京 100024)

自動(dòng)2D-to-3D視頻轉(zhuǎn)換技術(shù)研究

楊宇，李鑒增

(中國傳媒大學(xué)信息工程學(xué)院，北京 100024)

目前3D視頻內(nèi)容不足是制約3D技術(shù)發(fā)展的重要因素之一，自動(dòng)2D-to-3D視頻系統(tǒng)可以快速且低成本地將二維圖像轉(zhuǎn)換成雙目立體圖像，具有很好的發(fā)展前景。自動(dòng)2D-to-3D視頻系統(tǒng)分為圖像分割、深度信息提取、深度的融合與分配、立體圖像生成等多個(gè)部分，本文對(duì)自動(dòng)2D-to-3D系統(tǒng)的各個(gè)組成部分的原理與主要算法進(jìn)行了介紹與分析，最后，還介紹了自動(dòng)2D-to-3D系統(tǒng)生成的圖像客觀評(píng)價(jià)的發(fā)展情況。

2D-to-3D;雙目立體;圖像分割;深度信息;3DTV

1 引言

雙目立體圖像(Stereoscopic video，SSV)能給人帶來非同尋常的主觀感受，3D電視產(chǎn)業(yè)則利用雙目立體技術(shù)，吸引了大批觀眾。雙目立體節(jié)目制作方法主要有以下幾種［1］:第一，使用專業(yè)、昂貴、復(fù)雜的雙目立體攝像機(jī)系統(tǒng)拍攝，并使用專業(yè)實(shí)時(shí)硬件或后期軟件處理圖像。第二，利用CG制作三維動(dòng)畫，通過軟件的虛擬攝像機(jī)生成多路不同角度的圖像，進(jìn)而產(chǎn)生雙目立體圖像。第三，利用圖像處理方式將2D圖像通過人工的后期軟件制作成左右兩路圖像。第四，通過自動(dòng)2D-to-3D系統(tǒng)將2D圖像自動(dòng)處理合成為雙目立體圖像。前三種方法過程非常繁瑣，成本也很高，為了降低3D內(nèi)容的成本和制作難度，人們努力開發(fā)自動(dòng)2D-to-3D系統(tǒng)，該系統(tǒng)能自動(dòng)將二維圖像轉(zhuǎn)換成三維圖像，不需要復(fù)雜的立體攝像系統(tǒng)、實(shí)時(shí)處理系統(tǒng)和后期處理設(shè)備。

自動(dòng)2D-to-3D系統(tǒng)主要分為兩大類［2］:第一類是離線轉(zhuǎn)換，第二類是在線轉(zhuǎn)換。離線轉(zhuǎn)換對(duì)時(shí)間要求不高，可以對(duì)圖像進(jìn)行逐像素的分析，并使用復(fù)雜算法從而更加精確的進(jìn)行圖像分割，深度信息提取等圖像處理步驟。在線轉(zhuǎn)換則要求實(shí)時(shí)處理，一般還會(huì)結(jié)合人眼視覺中的錯(cuò)覺特性，減小數(shù)據(jù)處理的復(fù)雜程度。

自動(dòng)2D-to-3D系統(tǒng)的處理過程如圖1所示。首先利用空間域和時(shí)間域的特征，從單目圖像中提取深度信息;同時(shí)對(duì)單目圖像進(jìn)行圖像分割，即把2D圖像分割出多個(gè)區(qū)域。然后，將深度信息與圖像分割輪廓信息相結(jié)合，進(jìn)行深度分配和融合，之后，通過濾波可產(chǎn)生的深度圖。由于深度信息與雙目立體圖像的視差有直接關(guān)系，將原始2D圖像根據(jù)深度圖提供的數(shù)據(jù)進(jìn)行平移和填補(bǔ)，最終可形成左右兩幅雙目立體視頻圖像，即3D圖像。

2 深度信息提取

人眼具有三維立體視覺的能力，其原因有很多［3］，但最重要的因素是人類兩眼視軸存在間距。在觀察一定距離的物體時(shí)，左眼和右眼所接收到的視覺圖像是不同的。大腦通過眼球運(yùn)動(dòng)和調(diào)整，綜合了左右兩幅圖像的信息，產(chǎn)生立體感覺。

除了雙目視覺外，人類也能憑經(jīng)驗(yàn)通過單目圖像來判斷出畫面內(nèi)容的深度信息。對(duì)于靜態(tài)圖像，人們通過透視關(guān)系與相對(duì)大小、紋理變化、遮擋、清晰度、飽和度和色調(diào)的變化、高光及投影、形狀、水平高度等信息來判斷景物的深度。對(duì)于動(dòng)態(tài)圖像，圖像中的運(yùn)動(dòng)速度也可以是判斷深度的依據(jù)。自動(dòng)2D-to-3D系統(tǒng)中的深度提取主要是通過對(duì)以上單目信息進(jìn)行分析和處理而實(shí)現(xiàn)的。

在文獻(xiàn)［4］中，Battiato將圖像進(jìn)行中值濾波后，利用特征統(tǒng)計(jì)，將不同顏色的像素分類為天空、極遠(yuǎn)山、遠(yuǎn)山、近山、陸地、其他類;分類不同，則相應(yīng)區(qū)域就填充不同的灰度，從而表示不同的深度。接著將圖像進(jìn)行垂直分條，通過統(tǒng)計(jì)分析，將圖像分為室外類(無幾何物體)、室內(nèi)類、室外(有幾何物體)三類，各類圖像要使用不同的深度融合和深度分配方法。

在邊緣檢測方面，文獻(xiàn)［4］利用Sobel算子，通過水平濾波和垂直濾波再經(jīng)歸一化邊緣檢測獲得圖像的消失線。文獻(xiàn)［5］則利用Robinson算子進(jìn)行梯度檢測，然后引入尺寸可調(diào)的能量濾波塊，濾掉干擾型分割線，將能量較小的線型分割線挑選出來。最后對(duì)所有消失線的坐標(biāo)進(jìn)行統(tǒng)計(jì)，計(jì)算出這些消失線的交點(diǎn)——消失點(diǎn)(VP)。消失點(diǎn)的位置則決定了深度分配時(shí)，深度漸變填充的位置。

在利用紋理提取深度信息方面，David Harwood利用Laws紋理能量檢測技術(shù)［6］，采用圖2所示8個(gè)算子提取紋理特征。Young［7］則綜合使用紋理和運(yùn)動(dòng)信息提取深度。

圖2 八種3×3 Laws算子

對(duì)于小景深(Low DOF)的視頻來說，感興趣對(duì)象(Object of interest，OOI)一般都清晰成像，而景深以外的場景非常模糊。文獻(xiàn)［8］使用了基于色彩的高次統(tǒng)計(jì)(Higher Order Statistics，HOS)算法，對(duì)圖像的R、G、B分量分別計(jì)算一個(gè)區(qū)域范圍內(nèi)的均值四次方差，提取R、G、B最高值后歸一化，得出高頻信息。接著使用形態(tài)學(xué)做先閉后開運(yùn)算，將本不連續(xù)的圖像邊緣高頻信息連接到一起。經(jīng)過量化和區(qū)域渲染(Region Merging)［9］，即可得到 OOI區(qū)域。再結(jié)合運(yùn)動(dòng)矢量，繼而快速的計(jì)算出視頻序列的深度信息。

對(duì)于運(yùn)動(dòng)視頻序列來說，一般按照物體運(yùn)動(dòng)越快距離攝像機(jī)越近的原則提取深度信息。運(yùn)動(dòng)矢量的運(yùn)算需要依靠前后兩幀進(jìn)行運(yùn)動(dòng)搜索［10］，使用基于塊的運(yùn)動(dòng)搜索［11-12］可減少運(yùn)算量。相似塊的判斷可通過SAD(Sum of absolute difference)算法計(jì)算。

選到相似塊后，通過計(jì)算前后幀相對(duì)應(yīng)塊的運(yùn)動(dòng)矢量，即可得到深度信息。

由于深度信息的提取方法有很多種類，使用單一類型的信息進(jìn)行深度提取效果并不好，因此文獻(xiàn)［13］采用了隨機(jī)森林(RF)計(jì)算機(jī)學(xué)習(xí)方法，這種方法結(jié)合了多種深度提取的算法，用多種深度因子構(gòu)成RF模型。首先對(duì)RF模型進(jìn)行訓(xùn)練，訓(xùn)練用的圖像來自于Color+Depth型攝像機(jī)。模型的參數(shù)包括運(yùn)動(dòng)視差、紋理漸變、光線散射、透視關(guān)系(邊緣信息)、垂直空間坐標(biāo)、圖像清晰度、遮擋等，訓(xùn)練好的RF模型便可以作為自動(dòng)2D-to-3D系統(tǒng)的深度提取工具了。

3 圖像分割

圖像分割就是把圖像分成各具特性的區(qū)域，并利用圖像信息中部分特征，提取圖像中若干感興趣目標(biāo)的技術(shù)和過程。

為了減少計(jì)算量，自動(dòng)2D-to-3D系統(tǒng)常用基于塊的分割方法［14］，將圖像分割成N×N的塊，圖像的每個(gè)塊之間是默認(rèn)鏈接的，利用邊緣信息進(jìn)行判斷，如果邊緣梯度較強(qiáng)，則塊與塊之間的鏈接斷裂，這樣就可以將圖像分割成若干個(gè)連通的區(qū)域，如圖3所示。圖3(a)中每一個(gè)方格便是N×N的塊。對(duì)每一個(gè)塊進(jìn)行與周圍相鄰八個(gè)塊的平均值差運(yùn)算，利用最小生成樹的算法，即平均值差較小(相似度大)的相鄰塊被鏈接到一起，見圖3(b)中的實(shí)線部分;反之，則將塊與塊之間鏈接去除，見圖3(b)中的虛線。最終，鏈接到一起的便是分割好的整塊區(qū)域，如圖3(c)所示。

圖3 基于塊的邊緣檢測圖像分割

對(duì)于彩色圖像，可直接對(duì)圖像進(jìn)行色彩量化，或?qū)D像中的每個(gè)像素的色彩進(jìn)行閾值分割［4］，但是這種方式精度不高。色彩凝聚［14］的方法可以增加分割精度，但是這種方法要循環(huán)分析并統(tǒng)一圖像中最為相近的顏色，因此需要較長的運(yùn)算時(shí)間。

另外，在圖像分割之前進(jìn)行預(yù)處理濾波是十分必要的，一般的均值濾波、中值濾波、高斯濾波等低通濾波器不但平滑了區(qū)域內(nèi)部，也使區(qū)域邊緣的高頻信息被濾掉了。雙邊濾波器［15］可以將圖像區(qū)域邊緣的高頻信息保留，又能很好的將區(qū)域內(nèi)部的復(fù)雜度降低，從而使提高后續(xù)的分割質(zhì)量。

4 深度分配

深度信息提取得來的數(shù)據(jù)并不是最終的深度圖，需要根據(jù)深度信息的值，賦予相應(yīng)位置像素一定的灰度值?；叶戎翟礁?，表明對(duì)象距離攝像機(jī)越近;灰度值越低，表明對(duì)象距離攝像機(jī)約遠(yuǎn)。深度分配主要分為兩類，一類是針對(duì)深度變化不大的對(duì)象進(jìn)行深度分配，每一個(gè)區(qū)域賦予單一灰度值即可;另一類是針對(duì)空間上有遠(yuǎn)近漸變的物體進(jìn)行深度分配，這類區(qū)域需要填充漸變的灰度值。

第一種深度分配相對(duì)簡單，可根據(jù)統(tǒng)計(jì)，將不同顏色的區(qū)域劃分為不同的灰度［4］，藍(lán)色代表天空，所以深度最遠(yuǎn)，用較低值填充;青綠色代表草地，所以深度居中，所以用中間值填充。

根據(jù)近大遠(yuǎn)小的原則，也可以跟據(jù)區(qū)域在圖像中的水平或垂直位置，或?qū)捀邅碣x予灰度值。如圖4所示，物體的寬度(高度)Di與應(yīng)賦予的灰度值Li關(guān)系如公式(1)

圖4 深度與畫面寬度的關(guān)系

其中Zmax為最高灰度電平，一般為 255;Zmin為最低灰度電平，一般為 0;m為深度圖的量化比特?cái)?shù)，一般取 8;a為調(diào)整系數(shù)。

同理，對(duì)于檢測運(yùn)動(dòng)矢量判斷深度的算法，實(shí)際上就是探討不同對(duì)象區(qū)域在相同時(shí)間內(nèi)的位移量，賦予灰度電平的算法與上式一致。

對(duì)于第二類深度分配的方法，可根據(jù)圖像特征選取圖5所示的漸變灰度圖之一［14］?；叶入娖脚c水平垂直坐標(biāo)的關(guān)系亦同公式(2)。

圖5 五種漸變灰度

如果考慮到消失點(diǎn)和消失線的因素，深度漸變填充則更加復(fù)雜。結(jié)合消失點(diǎn)的位置不同，深度變化可分類為以下五種［4］，如圖6所示。圖中的虛線為畫面對(duì)角線，通過消失點(diǎn)坐標(biāo)即可判斷圖像屬于哪一種分類。

圖6 消失點(diǎn)在圖像中的位置

消失點(diǎn)是觀看者看到的最遠(yuǎn)點(diǎn)。結(jié)合消失線的位置和斜率，即可完成灰度漸變圖，如圖7所示。

5 深度融合

深度融合是將分割后的圖像與帶有深度信息的幾何深度圖合成最終的深度圖。獨(dú)立的圖像分割圖像和深度信息圖都不是深度圖，因?yàn)閳D像分割是不考慮深度的，而深度信息圖通常有很多噪點(diǎn)，也不能將圖像劃分為大塊區(qū)域，深度融合則要結(jié)合圖像分割提供的區(qū)域和深度信息對(duì)應(yīng)的灰度，生成最終的深度圖。

圖7 消失點(diǎn)與消失線對(duì)于灰度漸變的影響

對(duì)于深度信息灰度值極其離散的情況［12］，可對(duì)分割區(qū)域?qū)?yīng)的深度信息灰度做均值融合，中值融合或高頻值融合，使用具有代表性的灰度值填充分割區(qū)域。

文獻(xiàn)［4］則討論了更加復(fù)雜的情況，通過對(duì)分割后圖像進(jìn)行復(fù)雜的語義統(tǒng)計(jì)并分類(圖像分成室內(nèi)類、室外類、室外含幾何物體類)后，對(duì)于室內(nèi)類圖像，直接使用漸變灰度值(如圖7所示)填充，如果圖像屬于室外類，則對(duì)陸地等部分用漸變灰度填充，但天空和山脈用單一灰度值填充，如果圖像屬于室外含幾何物體類，則天空部分用單一灰度值填充，剩下的部分用漸變灰度填充。

6 雙目立體圖像生成

深度融合后產(chǎn)生的深度圖經(jīng)適當(dāng)?shù)臑V波，即可與原始2D圖像進(jìn)行運(yùn)算，主要使用的方法是DIBR(Depth-Image-Based Rendering)［16］。根據(jù)深度圖提供的深度值Z和假設(shè)已知的攝像機(jī)或人眼的間距e和焦距f，繼而計(jì)算出原始2D圖像上每一點(diǎn)像素在另一個(gè)視角下圖像中的平移量D，如式(2)。

由于不同像素的平移量不同，平移后的圖像會(huì)出現(xiàn)空洞，因此還要進(jìn)行填洞(Hole-Filling)，填洞的方法一般是內(nèi)插或復(fù)制邊緣值，并使用背景圖作為運(yùn)算參考，文獻(xiàn)［13］在填洞時(shí)，把深度圖進(jìn)行低通濾波，減少深度驟變的情況。文獻(xiàn)［17］則使用不同精度的深度值進(jìn)行圖像平移，避免了填洞的運(yùn)算。

7 質(zhì)量評(píng)價(jià)

自動(dòng)2D-to-3D系統(tǒng)中，深度信息提取，圖像分割，深度分配和融合等每一步驟都不可能完全精準(zhǔn)，而且2D圖像在記錄中已經(jīng)丟失了第三維信息，很難找到一種算法能完全正確的分析出深度信息，因此自動(dòng)2D-to-3D系統(tǒng)輸出的立體圖像質(zhì)量并不能像雙目立體攝像機(jī)拍攝到的立體圖像那樣令人滿意。另外，由于3D圖像是由2D圖像和深度圖通過計(jì)算生成的，因此對(duì)自動(dòng)2D-to-3D系統(tǒng)生成的雙目立體圖像質(zhì)量進(jìn)行評(píng)價(jià)時(shí)，不但要考慮到彩色圖的質(zhì)量，也要考慮深度圖的質(zhì)量。

針對(duì)2D色彩圖像加深度圖的質(zhì)量評(píng)價(jià)已經(jīng)得到了廣泛關(guān)注［19］，現(xiàn)存的2D圖像客觀評(píng)價(jià)的方法是可以獨(dú)立評(píng)價(jià)2D彩色圖像和深度圖像的，但是無法評(píng)判人腦感受到的三維效果，人們正在努力研究如何將深度重建加入到客觀評(píng)價(jià)運(yùn)算模型中。

另外，即使能對(duì)2D色彩圖像加深度圖進(jìn)行良好的客觀評(píng)價(jià)，在DIBR和填洞處理中，還是會(huì)進(jìn)一步引入2D圖像和深度感的失真。針對(duì)這一失真，還需進(jìn)一步完善客觀評(píng)價(jià)方法。

8 結(jié)論

3D圖像能夠給人帶來2D圖像無法提供的透視感，而高質(zhì)量的3D圖像的生成是需要花費(fèi)大量的人力物力的，自動(dòng)2D-to-3D系統(tǒng)能夠幫助人們以極的低成本獲得3D圖像，能夠使3D內(nèi)容市場更加豐富多彩。

但是目前的自動(dòng)2D-to-3D系統(tǒng)多為實(shí)時(shí)系統(tǒng)，在算法應(yīng)用上存在諸多限制，另外，雖然當(dāng)前人們對(duì)深度提取、圖像分割、深度分配與融合、圖像生成技術(shù)以及主觀、客觀評(píng)價(jià)方法的研究十分關(guān)注，而現(xiàn)有的技術(shù)和方法并不成熟，自動(dòng)2D-to-3D系統(tǒng)生成的立體圖像質(zhì)量也不盡如人意，不能完全滿足人們的需求。人們對(duì)自動(dòng)2D-to-3D系統(tǒng)的開發(fā)與研究，未來還有很長的路要走，不過，人們?cè)谶@方面的努力還是促進(jìn)了相關(guān)學(xué)科(如圖像處理、圖像識(shí)別等領(lǐng)域)和相關(guān)產(chǎn)業(yè)的進(jìn)一步發(fā)展，因此具有長遠(yuǎn)意義。

［1］Tam W J，Zhang L.3D-TV content generation:2D-to-3D conversion［C］.Proc.ICME，2006，1869-1872.

［2］Li Sisi，Wang Fei，Liu Wei.The Overview of 2D to 3D Conversion System［C］.CAIDCD，2010 IEEE 11th International Conference，17-19 Nov.2010:1388–1392.

［3］Bernard Mendiburu.3D Movie Making［M］.Burlington:Focal Press，2009:21-28.

［4］Battiato S，Curti S，Scordato E，et al.Depth map generation by image classification［J］.Three-Dimensional Image Capture and Applications VI，vol.5302，2004:95-104.

［5］Yi Min Tsai，Yu Lin Chang，Liang Gee Chen.Block-based Vanishing Line and Vanishing Point Detection for 3D Scene Reconstruction［C］.ISPAC2006:586-589.

［6］Harwood D，Ojala T，et al.Texture Classification by Center-symmetric Auto-correlation，using Kullback Discrimination of Distributions［J］.Pattern Recognition Letters，1995，16(1):1-10.

［7］Young M J，Landy M S，Maloney L T.A Perturbation Analysis of Depth Perception from Combinations of Texture and Motion［J］.Vision Res，1993，33(18):2685-2696.

［8］Park J，Kim C.Extracting Focused Object from Low Depth-of-Field Image Sequences［C］.Visual Communications and Image Processing，2006.

［9］Kim C.Segmenting a Low Depth-of-Field Image Using Morphological Filters and Region Merging［J］.IEEE Tr on Image Processing，2005，14(10):1503-1511.

［10］Turaga D，Alkanhal M.Search Algorithms for Block-Matching in Motion Estimation［EB/OL］.http://www.ece.cmu.edu/～ ee899/project/deepak_mid.htm.1998.

［11］Zhu S，Ma K.A New Diamond Search Algo-rithmfor Fast Block-Matching Motion Estimation［J］.IEEE transactions on image processing，2000，9(2):287-290.

［12］Po L M，Xu X Y，YS Zhu，et al.Automatic 2D-to-3D Video Conversion Technique Based on Depth-from Motion and Color Segmentation［C］.ICSP2010 Proceeding:1000-1003.

［13］Pourazad M T，Nasiopoulos P，Bashashati A.Random Forests-Based 2D-to-3D Video Conversion［C］.ICECS，2010:150-153.

［14］Cheng C C，Li C T，Chen L G.A 2D-to-3D conversion system using edge information［C］.IEEE International Conference on Consumer Electronics，2010:1739-1745.

［15］Tomasi C，Manduchi R.Bilateral Filtering for Gray and Color Images［C］.IEEE International Conference on Computer Vision，1998.

［16］Fehn C.A 3D-TV Approach Using Depth-Image-Based-Rendering(DIBR)［C］.in Proceedings of Visualization，Imaging，and Image Processing ’03 ，Benalmadena，Spain，Sep.2003:482-487.

［17］Fan Y C，Chi T C.The Novel Non-Hole-Filling Approach of Depth Image Based Rendering［C］.3DTV Conference:The True Vision – Capture，Transmission and Display of 3D Video，28-30 May 2008:325 – 328.

［18］Oh K J，Yea S，Ho Y S.Hole-Filling Method Using Depth Based In-Painting for View Synthesis in Free Viewpoint Television(FTV)and 3D Video［R］.Picture Coding Symposium(PCS)，May 2009(PCS 2009).

［19］Hewage C，Worrall S，Dogan S，Kondoz A M.Quality Evaluation of Colour plus Depth Map Based Stereoscopic Video［J］.IEEE Journal of Selected Topics in Signal Processing，2009，3(2):304-318.

The Research of Automatic 2D-to-3D Video Conversion Technology

YANG Yu，LI Jian-zeng
(Information Engineering School，Communication University of China，Beijing 100024，China)

Lack of 3D content embarrassed 3D development.2D images can be converted to 3D by automatic 2D-to-3D system，which can make 3D content generating more conveniently and cheaply.Automatic 2D-to-3D processing includes image segmentation，depth extraction，depth fusion and assignment，depth image based rendering.This paper presents the methods and algorithm，and then introduces the situation of assessment methods researching for color and depth image based stereo video.

2D-to-3D;stereoscopic;image segmentation;depth cue;3DTV

TP391.41

A

1673-4793(2012)02-0016-06

2011-12-20

楊宇(1978-)，女(漢族)，北京人，中國傳媒大學(xué)講師，在讀博士.E-mail:young_rain@cuc.edu.cn

(責(zé)任編輯

:王 謙)