基于深度圖的多視點裸眼3D立體視頻技術(shù)研究

李蓓

摘要：3D立體視頻技術(shù)正引起越來越多的關(guān)注，但是目前絕大多數(shù)3D視頻系統(tǒng)需要佩戴特殊眼鏡才能夠觀看立體效果，或者要求觀看者必須從某個固定角度進行觀看。而多視點裸眼3D立體視頻系統(tǒng)則可以避免以上兩點限制，得到最好的3D觀看體驗。目前國際上最前沿的3D立體視頻研究集中在基于深度圖的多視點3D立體視頻技術(shù)上面，本文對基于深度圖的多視點裸眼3D立體視頻系統(tǒng)的幾個關(guān)鍵技術(shù)環(huán)節(jié)，包括深度圖提取、虛擬視點合成、多視點視頻合成等進行了研究并進行了相應的仿真實驗，從實驗效果來看，基于深度圖的多視點裸眼3D立體視頻系統(tǒng)具有數(shù)據(jù)量小、傳輸效率高、顯示內(nèi)容可自適應調(diào)節(jié)，用戶交互性好等優(yōu)點。

關(guān)鍵詞：裸眼3D立體視頻；深度圖；3DTV

目前3D立體視頻技術(shù)正引起越來越多人的關(guān)注，其中主流的3D技術(shù)主要包括雙目立體視頻（包含2個視點的視頻數(shù)據(jù)）和多視點立體視頻（包含8個以上視點的視頻數(shù)據(jù)）。雙目立體視頻又可分為配戴眼鏡觀看和雙目裸眼立體顯示兩種，其中前者必須佩帶偏振眼鏡，為觀看帶來了不便，后者則要求觀看者必須從固定的角度進行觀看，當有多人同時觀看同一塊顯示器時，因為多數(shù)觀看者無法獲得最佳觀看位置從而大大影響觀看體驗。而對于多視點立體視頻技術(shù)而言，由于同一塊裸眼3D立體顯示器上可同時提供多個視點的內(nèi)容，所以觀看者可以從任意自由的角度來觀看，極大地提升了觀看的便利性。所以多視點立體視頻已經(jīng)成為當前技術(shù)研究的主流。但是，多視點立體視頻相對于雙目立體視頻而言數(shù)據(jù)量成倍增長，為存儲和傳輸帶來了不便，而基于深度圖的多視點立體視頻技術(shù)具有數(shù)據(jù)量小的優(yōu)點，因而成為最有潛力的多視點立體視頻方案。本文深入研究了基于深度圖的多視點3D立體視頻技術(shù)中的若干關(guān)鍵技術(shù)環(huán)節(jié)，并進行了相應的仿真實驗。本文的章節(jié)內(nèi)容安排如下：第2節(jié)介紹基于深度圖的多視點3D立體系統(tǒng)整體架構(gòu)，第3節(jié)介紹深度圖提取，第4節(jié)介紹虛擬視點生成，第5節(jié)介紹多視點視頻合成，第6節(jié)總結(jié)全文。

一、基于深度圖的多視點3D立體視頻系統(tǒng)框架

基于深度圖的多視點3D立體視頻系統(tǒng)的技術(shù)框架如圖1所示。首先需要進行原始視頻序列的拍攝，雖然最終多視點裸眼立體顯示系統(tǒng)需要9個甚至更多的視點的視頻內(nèi)容，但是實際的原始視頻序列拍攝階段只需要拍攝2-3個視點的視頻即可，這是因為基于深度圖的虛擬視點生成技術(shù)可以在解碼端通過2-3個視點的視頻生成多個視點（在本文中為9個視點）的虛擬視點視頻，所以基于深度圖的多視點立體視頻技術(shù)具有數(shù)據(jù)量小，易傳輸?shù)膬?yōu)點，克服了多視點視頻數(shù)據(jù)量大的缺陷。

在原始視頻序列拍攝完成后需要進行深度圖的提取和相機參數(shù)的計算，該步驟中提取的深度圖的質(zhì)量直接決定了后期生成虛擬視點視頻的質(zhì)量。完成以上步驟后則需進行壓縮編碼并通過網(wǎng)絡(luò)傳輸?shù)浇獯a端，解碼端對數(shù)據(jù)進行解碼后會進行基于深度圖的虛擬視點生成，將原始的2-3個視點的視頻數(shù)據(jù)變成9個視點的視頻數(shù)據(jù)，獲得的9個視點的視頻數(shù)據(jù)還不能直接在多視點裸眼3D立體顯示器上面播放，必須針對該顯示器所使用的3D光柵結(jié)構(gòu)進行多視點視頻合成。

本文的后續(xù)章節(jié)將會對深度圖提取、虛擬視點生成、多視點視頻合成三個環(huán)節(jié)進行詳細介紹并進行相應的仿真實驗。

二、深度圖提取

2.1深度圖介紹

深度圖是一副灰度圖像（如圖2-b），灰度值的范圍為0-255?；叶戎悼山Y(jié)合場景的景深信息進行換算得到深度值，立體視頻系統(tǒng)的實際應用中使用的是深度值。

深度圖上的像素是0-255的灰度值，前文提到過深度圖主要用于虛擬視點生成，在該過程中，我們用到的是實際的深度值，所以需要建立一個轉(zhuǎn)換關(guān)系，將深度圖中的像素灰度值換算為實際的深度值：

公式（1）中ｚ就是我們在虛擬視點生成過程所需要的深度值，ｖ表示圖2-b中的深度圖像中像素的灰度值，Ｚｎｅａｒ和Ｚｆａｒ分別表示該視頻所拍攝的場景中的最近深度和最遠深度，這兩個值需要在原始視頻序列的拍攝過程中進行測定。

2.2基于塊匹配的深度圖提取

用并排平行排列的兩臺相機拍攝同一場景，獲得兩幅圖像，要獲得其中一幅圖像的深度圖，需要用另一幅圖像來與之進行像素配對，經(jīng)過像素點的配對匹配之后就會獲得該幅圖像每個像素點在兩幅圖像中間的視差，而深度值與視差值之間的關(guān)系如下：

其中ｚ為我們要求的深度值，d為經(jīng)過像素匹配后得到的視差值，f為相機的焦距，b為兩臺相機之間的基線距離。所以有了視差值d之后就可以很容易的獲得深度值ｚ。但是最關(guān)鍵的環(huán)節(jié)是獲得準確的視差值，所以需要進行精確的像素點匹配，但是實際上由于不同相機之間曝光參數(shù)的差異，即使拍攝的是同一場景，像素點之間依然存在亮度差異，所以我們采用了圖像塊匹配的辦法，在一定程度上提高了像素點匹配的魯棒性，在本文的試驗中所使用的是3×3大小的圖像塊，必須指出的是，本文默認拍攝原始視頻序列的是嚴格水平平行的兩臺相機，所以在進行圖像塊的匹配時只進行水平搜索而不進行垂直搜索。整個深度圖提取過程如圖3所示。

對國際視頻標準制定組織MPEG提供的多視點視頻序列進行實驗提取的深度圖如圖4所示。

三、虛擬視點生成

虛擬視點生成技術(shù)[2]可以將左右視點中的像素投影到兩視點中間的任意位置，從而生成原本沒有被相機拍攝到的虛擬視點的視頻圖像（如圖5所示），該生成過程需要用到左右兩個視點的深度圖以及相機參數(shù)。該技術(shù)主要用到了3D投影的算法，3D投影算法用于發(fā)現(xiàn)兩個圖像平面之間的對應點，具體過程為將一個圖像平面上的點投影到3D世界坐標系，然后再將該點從3D世界坐標系投影到另一個圖像坐標平面。

對于任一給定的點p0，坐標為（u0，v0），位于圖像平面V0。如果要找到改點在圖像平面V1的對應點P1的坐標（u1，v1），那么整個3D投影過程應按如下式所示進行計算：

在這里，z是3D世界坐標中的點沿著相機坐標系的到相機的Z軸到相機的距離，P是對應的投影矩陣。該投影矩陣P由相機的內(nèi)部矩陣K，旋轉(zhuǎn)矩陣R和平移矩陣T組成，具體P的描述如下所示：

其中，K是3×3的上三角矩陣，由焦距f，傾斜參數(shù)？酌和虛擬相機位置上的理論點（u'，v'）組成。R和T描述了世界坐標空間下的相機位置。

經(jīng)過以上步驟即可初步實現(xiàn)基于深度圖的視點合成。

四、多視點視頻合成

4.1裸眼3D立體顯示原理

要使觀看者體驗到3D立體效果，其核心的原理是使雙眼分別同時看到不同的畫面，從而獲得立體感，最簡單的方法就是目前最為常見的佩帶特殊眼鏡，這樣可以強制控制兩眼所看到的內(nèi)容，但是該方案為觀看者帶來了極大的不便（特別是本身就戴眼鏡的觀眾）。本文使用的方案為裸眼3D立體顯示，主要實現(xiàn)途徑為在顯示器屏幕前增加視差柵欄，通過柵欄控制各像素光線的射出方向，使某些圖像僅射入左眼，某些圖像僅射入右眼，從而形成雙目視差，產(chǎn)生立體視覺（如圖6所示）。

4.2多視點視頻合成

本文中所使用的裸眼3D視差柵欄結(jié)構(gòu)上更為復雜，可以通過其柵欄遮擋控制9個視點的圖像內(nèi)容，從而實現(xiàn)了在同一塊顯示器上同時顯示9個視點的圖像，雖然觀看者在同一時刻雙眼只能分別看到其中兩個視點的圖像從而獲得立體感，但9個視點的圖像使得顯示器的可觀看角度大大增加。為了配合9視點光柵柵欄的顯示，我們需要對9個視點圖像的RGB像素進行重排列，重排列的順序如圖7所示。圖中的數(shù)字代表視點的編號，按圖中的順序?qū)?個視點圖像的RGB值重新組合排列，會得到一幅分辨率為原先每個視點圖像9倍大小的立體圖像，立體圖像可用于在多視點裸眼3D顯示器上播放。由9個視點圖像合成的立體圖像如圖8所示（該圖像只有在9視點裸眼柵欄式立體顯示器上才可以看到立體效果）。

結(jié)論

基于深度圖的多視點立體視頻技術(shù)是當前3D立體視頻的研究熱點，該技術(shù)不需要佩帶特殊的3D立體視頻眼鏡，并且具有總數(shù)據(jù)量小、觀看可視角度大的優(yōu)點。本文深入研究了基于深度圖的多視點裸眼3D立體視頻系統(tǒng)的幾個關(guān)鍵技術(shù)環(huán)節(jié)，包括深度圖提取、虛擬視點合成、多視點視頻合成等進行了研究并進行了相應的仿真實驗。

參考文獻

[1]Müller，K.；Merkle，P.；Wiegand，T.；，"3-DVideoRepresentationUsingDepthMaps，"ProceedingsoftheIEEE，vol.99，no.4，pp.643-656，April2011

[2]Ndjiki-Nya，P.；Koppel，M.；Doshkov，D.；Lakshman，H.；Merkle，P.；Muller，K.；Wiegand，T.；，"DepthImage-BasedRenderingWithAdvancedTextureSynthesisfor3-DVideo，"Multimedia，IEEETransactionson，vol.13，no.3，pp.453-465，June2011

[3]Muller，K.；Merkle，P.；，"Challengesin3Dvideostandardization，"VisualCommunicationsandImageProcessing（VCIP），2011IEEE，vol.，no.，pp.1-4，6-9Nov.2011

[4]Sourimant，G.；，"Asimpleandefficientwaytocomputedepthmapsformulti-viewvideos，"3DTV-Conference：TheTrueVision-Capture，TransmissionandDisplayof3DVideo（3DTV-CON），2010，vol.，no.，pp.1-4，7-9June2010

[5]Hopf，K.；，"Anautostereoscopicdisplayprovidingcomfortableviewingconditionsandahighdegreeoftelepresence，"CircuitsandSystemsforVideoTechnology，IEEETransactionson，vol.10，no.3，pp.359-365，Apr2000