3D立體視頻傳輸技術(shù)研究

李家龍　劉利　蘇東

摘 要：本文介紹了立體圖像的基本原理以及現(xiàn)有常見(jiàn)的立體視頻傳輸格式。針對(duì)左右兩路圖像合成編碼以及獨(dú)立編碼壓縮傳輸對(duì)比試驗(yàn)研究，分析了兩者在傳輸帶寬/傳輸性能上的差異。試驗(yàn)結(jié)果表明，用標(biāo)準(zhǔn)的左右兩個(gè)畫(huà)面單獨(dú)傳輸和經(jīng)過(guò)左右?guī)瑘D像冗余數(shù)據(jù)處理后的傳輸數(shù)據(jù)帶寬可以節(jié)約40%以上，通過(guò)對(duì)比左右?guī)膱D像數(shù)據(jù)獲取視差數(shù)據(jù)幀，在解碼顯示部分結(jié)合主數(shù)據(jù)幀以及視差數(shù)據(jù)幀的還原很好地展示了立體圖像。

一、3D立體顯示概況

3D立體顯示原理

幾年前一部《阿凡達(dá)》不僅給好萊塢的電影公司帶來(lái)了13億美元的票房收入，同時(shí)還攪動(dòng)了整個(gè)3D產(chǎn)業(yè)。不僅是家電終端廠商無(wú)一例外地加入了3D電視的陣營(yíng)，甚至包括內(nèi)容、配套附件在內(nèi)的上下游企業(yè)也蠢蠢欲動(dòng)?？v觀這兩年的發(fā)展，3D在推動(dòng)娛樂(lè)行業(yè)發(fā)展方面確實(shí)起到了一定的作用，但是在其它行業(yè)的應(yīng)用卻一直沒(méi)有得到有效的“挖掘”。

3D顯示的基本原理如下圖：

人的左眼看到左眼的圖像，右眼看到右眼的圖像，在大腦中將左右圖像融合形成立體視圖。

這里關(guān)鍵的就是立體視圖是在人的大腦中進(jìn)行合成的。

3D視圖從觀看者角度來(lái)劃分，又分成主動(dòng)式3D和被動(dòng)式3D。主動(dòng)式3D投影機(jī)本身帶3D功能，采用120Hz刷新率，其中左右眼圖像各占60Hz，要佩戴主動(dòng)式3D立體眼鏡，對(duì)屏幕要求不高，其實(shí)是一種左右圖像分時(shí)顯示方式，也就是利用時(shí)間差將左右眼的視圖進(jìn)行隔離；但缺點(diǎn)是眼鏡比較重，刷屏頻率快，容易產(chǎn)生眼睛疲勞。被動(dòng)式3D則要用兩臺(tái)投影機(jī)實(shí)現(xiàn)雙機(jī)疊加，用偏光鏡和偏光眼鏡在畫(huà)面錯(cuò)位的情況下形成立體效果，對(duì)屏幕增益要求很高，這種其實(shí)是左右圖像分光顯示方式，即利用偏振光將左右眼的視圖進(jìn)行隔離。

二、3D立體視頻傳輸方式概況

3D圖像的常見(jiàn)編碼傳輸格式有4種。

1、色差方式（如紅藍(lán)、紅綠等）：

立體顯示中的色差技術(shù)——分色技術(shù)，有紅藍(lán)、紅綠等，是最早出現(xiàn)的3D顯示技術(shù)，從技術(shù)層面上來(lái)看也是最為初級(jí)的一種3D效果顯示方法，這種3D顯示的輔助設(shè)備只需購(gòu)買(mǎi)一付色差眼鏡就可以了，成本也最為低廉，色差式3D顯示技術(shù)可以稱(chēng)為分色立體成像技術(shù)，是用兩臺(tái)不同視角上拍攝的影像分別以?xún)煞N不同的顏色印制在同一副畫(huà)面中。用肉眼觀看的話會(huì)呈現(xiàn)模糊的重影圖像，只有通過(guò)對(duì)應(yīng)的紅藍(lán)等立體分色眼鏡才可以看到立體效果。簡(jiǎn)單來(lái)說(shuō)就是對(duì)色彩進(jìn)行紅色和藍(lán)色的過(guò)濾，紅色的影像通過(guò)紅色鏡片藍(lán)色通過(guò)藍(lán)色鏡片，兩只眼睛看到的不同影像在大腦中重疊呈現(xiàn)出3D立體效果。色差式3D的不足是顯示效果有限，而且顯示圖像顏色不同，不利于進(jìn)行2D/3D進(jìn)行切換顯示。

2、基于圖像幀兼容模式的立體視頻格式；一個(gè)圖像幀數(shù)據(jù)里面含有左右?guī)瑘D像數(shù)據(jù)，通常有左右格式、上下格式、交錯(cuò)格式3種，分別如下圖（A）（B）（C）所示，這種方式是拆分了顯示分辨率的，雖然整個(gè)顯示畫(huà)面最大可以達(dá)到1080p，其實(shí)在單一的一個(gè)時(shí)刻，左右眼看到的都只有720p像素的圖像；

（A） 左右格式圖像幀

（B） 上下格式圖像幀

（c） 交錯(cuò)格式圖像幀

3、基于圖像幀序列模式的：也就是左、右眼圖像幀交錯(cuò)的方式傳輸，如右側(cè)示意圖所示，左右眼圖像幀都是1080p圖像，按照“左→右→左→右……”這種序列進(jìn)行傳輸，也就是1080p/60幀圖像中，有左右眼圖像各占了1080p/30。假如原來(lái)2D圖像采用H.264壓縮，1080p/30的帶寬需要10-20M，那么3D圖像的帶寬則需要20-40M，是原來(lái)的2倍。

4、Multi-View Code（MVC）標(biāo)準(zhǔn)中采用的方式即2D圖像加景深MAP的模式，如下圖所示：

這種模式，景深數(shù)據(jù)的內(nèi)容雖然少了，但是數(shù)據(jù)的分辨率以及像素沒(méi)有少，在進(jìn)行圖像壓縮時(shí)，需要的網(wǎng)絡(luò)帶寬和左右兩幀單獨(dú)壓縮占用的帶寬一樣。

三、3D圖像的編碼傳輸格式探索

眾所周知的，其實(shí)左右眼圖像中大部分的內(nèi)容是相同的，只有很少的一部分是不同的，因此是否可以將大部分相同的數(shù)據(jù)形成獨(dú)立數(shù)據(jù)幀——主圖像幀，再將左右眼圖像不同的部分取出來(lái)形成數(shù)據(jù)幀——視差數(shù)據(jù)幀，然后按照“主幀→視差幀→主幀→視差幀→……”這種序列進(jìn)行壓縮傳輸。

1、實(shí)現(xiàn)原理

實(shí)現(xiàn)這種方式的基本原理如下圖：

左畫(huà)面和右畫(huà)面圖像先進(jìn)行比較，分割出主幀數(shù)據(jù)，將左畫(huà)面和右畫(huà)面不同的數(shù)據(jù)封裝成視差幀，按照這種方式壓縮傳輸需要的帶寬：（1920-i）+（i左）+（i右）。

i：左右圖像視差像素點(diǎn)數(shù)。

傳輸幀結(jié)構(gòu)如下圖所示：

要實(shí)現(xiàn)以上的傳輸方式，需要有一些限制，而這些限制可以在前端的3D圖像捕捉的地方實(shí)現(xiàn)。

（1） 要保證左右眼視圖的水平線一致；

（2） 要保證左右眼視圖的光學(xué)參數(shù)一致，也就是鏡頭的焦距、對(duì)焦等參數(shù)一致；

（3） 要保證左右眼視圖的調(diào)整一致，也就是兩個(gè)圖像捕捉是同步的。

2、實(shí)現(xiàn)方法

在編碼端實(shí)現(xiàn)原理如下圖所示，左右圖像經(jīng)過(guò)視差處理模塊，形成主幀圖像和視差幀圖像，然后經(jīng)過(guò)標(biāo)準(zhǔn)的264壓縮，利用RTP封包進(jìn)行傳輸。

在解碼顯示還原端實(shí)現(xiàn)原理如下圖所示，由主幀和視差幀構(gòu)成的RTP圖像數(shù)據(jù)序列經(jīng)過(guò)解包和解碼拆分成主幀和視差幀，主幀和視差幀經(jīng)過(guò)視差還原模塊，分別還原出左視頻幀圖像和右視頻幀圖像，送入顯示器顯示即可。

四、 分析與結(jié)論

通常在立體顯示圖像中左右?guī)瑘D像的視差像素也就是在幾個(gè)像素左右，在一個(gè)1080p的圖像中，視差數(shù)據(jù)最大不會(huì)超過(guò)20個(gè)像素，即使按照100個(gè)像素的視差來(lái)計(jì)算，采用這種方式處理后的圖像數(shù)據(jù)比采用左右?guī)g隔傳輸減少的帶寬為：（1920+100）/1920×2=50.3%，也就是說(shuō)采用這種方式壓縮帶寬減少了將近50%，而經(jīng)過(guò)還原后左右眼的圖像分辨率還是1080p，圖像并沒(méi)有任何的損失。