雙視立體視頻同步合成系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

黎之樂，王興東 ，周 軍 ，熊怡因

（1.上海交通大學(xué) 電子工程系 圖像通信與信息處理研究所，上海 200240；2.上海市數(shù)字媒體處理與傳輸重點(diǎn)實(shí)驗(yàn)室，上海 200240；3.上海精視信息技術(shù)有限責(zé)任公司，上海 200030）

0 引言

立體視頻技術(shù)是當(dāng)前視頻研究中的一個(gè)活躍領(lǐng)域，已有越來越多的國(guó)內(nèi)外學(xué)者從事這方面的研究。立體視頻的研究范圍包括多個(gè)研究方向，如立體視頻的提取技術(shù)、立體視頻的顯示技術(shù)以及立體視頻的編碼壓縮技術(shù)[1-4]。立體視頻作為一種比普通視頻提供更多信息內(nèi)容和具有更多數(shù)據(jù)量的數(shù)字媒體[5]，廣受人們青睞，隨著技術(shù)的進(jìn)步與市場(chǎng)的推動(dòng)，立體視頻技術(shù)必將成為主流的視聽技術(shù)。

人兩眼的視差特性是使人產(chǎn)生立體感的根本因素，立體顯示終端要提供一對(duì)視差圖像信號(hào)，分別送左右眼接收。因此，要完整地傳輸和處理立體視頻需要2倍于普通平面視頻的帶寬。而對(duì)更高傳輸帶寬的需求也正是阻礙立體電視推廣的重要因素之一。

筆者介紹一套基于“左右放置”（side-by-side）合成算法[3-4]的立體視頻同步采集系統(tǒng)，其特點(diǎn)在于它可以實(shí)時(shí)拍攝和錄制符合“左右放置”標(biāo)準(zhǔn)的立體視頻。對(duì)合成的視頻信號(hào)的編解碼處理僅需要一套普通的編解碼器，且與普通信號(hào)的處理沒有任何差別。這樣的設(shè)計(jì)實(shí)現(xiàn)了通過普通電視網(wǎng)絡(luò)傳輸立體視頻信號(hào)而不需要傳輸網(wǎng)絡(luò)提供額外的帶寬，對(duì)立體電視的推廣有較大的意義。

1 立體視頻合成算法

1.1 合成算法的要求

合成視頻的算法要滿足以下要求：

1）最終的合成視頻必須同時(shí)包含兩路視頻信號(hào)的信息。

2）合成視頻的格式必須與合成源信號(hào)一致。

3）合成視頻的編解碼和網(wǎng)絡(luò)傳輸使用的帶寬與普通的平面視頻信號(hào)無異。

所有的合成算法均以視頻輸入源同步為前提。本系統(tǒng)使用了左右放置合成算法，并且提供了相應(yīng)的幀同步解決方案。

1.2 左右合成算法介紹

左右放置合成算法如圖1所示，最終得到的合成視頻信號(hào)數(shù)據(jù)是按視頻源分別左右放置的。用監(jiān)視器觀看時(shí)，會(huì)看到監(jiān)視器左右兩邊分別對(duì)應(yīng)顯示左右路攝像機(jī)拍攝的視頻。

2 立體視頻合成采集系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)結(jié)構(gòu)

圖2為合成系統(tǒng)的基本構(gòu)成圖。系統(tǒng)的兩路輸入視頻信號(hào)碼率以及輸出視頻信號(hào)碼率均為1.5 Gbit/s。

2.2 DDRSDRAM幀同步解決方案

筆者提出并實(shí)現(xiàn)了使用DDRSDRAM芯片作為緩沖器件來對(duì)兩路待合成視頻信號(hào)進(jìn)行幀同步的方案。

本方案使用DDRSDRAM作為一路視頻數(shù)據(jù)的緩存。圖3為本設(shè)計(jì)中DDRSDRAM部分的數(shù)據(jù)流示意圖，由于DDRSDRAM存在自刷新操作，因此進(jìn)出DDRS?DARM的數(shù)據(jù)流是不連續(xù)的，需要使用2個(gè)緩存隊(duì)列使數(shù)據(jù)流變得連續(xù)。

圖4為幀同步的狀態(tài)機(jī)示意圖。首先狀態(tài)機(jī)讀取存入DDRSDRAM中的數(shù)據(jù)找到幀首，狀態(tài)機(jī)跳轉(zhuǎn)，停止讀取DDRSDRAM中的數(shù)據(jù)，讀取另一路視頻數(shù)據(jù)找到幀首則狀態(tài)跳轉(zhuǎn)，恢復(fù)讀取DDRSDRAM中的數(shù)據(jù)，此時(shí)輸出兩路視頻信號(hào)已經(jīng)同步。

該方案與Genlock方案相比，要廉價(jià)和便宜很多，只要使用的FPGA開發(fā)板帶一塊與FPGA相連的DDRS?DRAM芯片即可。

本設(shè)計(jì)采用Lattice生產(chǎn)的LatticeECP2M系列672封裝的FPGA，使用的DDRSDRAM芯片為Etrontech生產(chǎn)的EM6AA160TS-5G，單顆芯片的存儲(chǔ)容量為256 Mbit。

2.3 立體視頻合成實(shí)現(xiàn)

2.3.1 降采樣算法

本設(shè)計(jì)采用的輸入源為1080i格式的高清視頻信號(hào)，其合成的關(guān)鍵是SMPTE292標(biāo)準(zhǔn)里定義的EAV序列和SAV序列的檢測(cè)。

根據(jù)SMPTE292標(biāo)準(zhǔn)，SAV到EAV之間的數(shù)據(jù)屬于有效的視頻行采樣數(shù)據(jù)，而EAV到SAV的數(shù)據(jù)為輔助空間數(shù)據(jù)，輔助數(shù)據(jù)包括嵌入式音頻等。

在合成過程中，輔助數(shù)據(jù)空間的數(shù)據(jù)以一路的數(shù)據(jù)為準(zhǔn)。YCbCr的采樣比例為4∶2∶2，因此需要對(duì)Y與Cb、Cr分開處理。

以20 bit的數(shù)據(jù)格式為例，在有效視頻空間的數(shù)據(jù)格式見表1。

表1 20 bit高清視頻格式數(shù)據(jù)

對(duì)灰度數(shù)據(jù)Y，采取隔點(diǎn)取樣的方法對(duì)兩路視頻的灰度數(shù)據(jù)進(jìn)行降采樣。也就是說表1中Y1，Y3等灰度數(shù)據(jù)將丟棄。

對(duì)色差數(shù)據(jù)Cb、Cr，不能采取與灰度數(shù)據(jù)Y一樣的取樣合成方法，否則色差空間里的數(shù)據(jù)將由第1路的Cb和第2路Cr數(shù)據(jù)組成。為解決這個(gè)問題，對(duì)每組Cb和Cr數(shù)據(jù)進(jìn)行降采樣。也就是說表1中的Cb1和Cr1等色差數(shù)據(jù)將被丟棄。

降采樣是視頻合成操作的第一步，是整個(gè)合成算法比較重要的一步。降采樣后兩路1920×1080的視頻信號(hào)變?yōu)?60×1080的降采樣視頻信號(hào)，但并不改變YCbCr信號(hào)的數(shù)據(jù)比。降采樣要保證經(jīng)過恢復(fù)算法后視頻信號(hào)的失真仍能被主觀接受。實(shí)驗(yàn)表明，這樣的降采樣可以被很好地恢復(fù)。

2.3.2 降采樣視頻數(shù)據(jù)合成

合成的任務(wù)是將降采樣得到的兩路960×1080視頻信號(hào)按照相應(yīng)的合成算法合成相應(yīng)的數(shù)據(jù)格式。

對(duì)左右放置的合成算法而言，需要將兩路960×1080的視頻信號(hào)按左右集中放置，并拼接成1920×1080格式的合成視頻信號(hào)。左右放置合成的編碼相關(guān)性較好，因此得到了廣泛應(yīng)用。

3 應(yīng)用系統(tǒng)

筆者等人利用上述技術(shù)方案設(shè)計(jì)了一套TD-LTE無線立體高清實(shí)時(shí)傳輸系統(tǒng)，系統(tǒng)方案見圖5。該系統(tǒng)的TD-LTE網(wǎng)絡(luò)由中國(guó)移動(dòng)提供。這套系統(tǒng)中使用的資源包括：2臺(tái)高清攝像頭，本設(shè)計(jì)中制作的幀同步模塊與合成模塊，普通的高清編解碼器，視頻恢復(fù)模塊，2臺(tái)帶偏振片的高清投影儀以及熒幕。圖6為整套系統(tǒng)使用的設(shè)備合影。

4 小結(jié)

圖6 立體視頻合成傳輸系統(tǒng)的設(shè)備

本文介紹的這套立體視頻同步采集系統(tǒng)使用非常靈活，合成算法集成性好，可以根據(jù)不同的需求配置成不同的系統(tǒng)。由于合成視頻成功地減少了額外的帶寬需求，因此這套系統(tǒng)對(duì)立體電視的推廣具有一定的意義。

[1]馮茂巖，沈春林.立體顯示技術(shù)及其研究現(xiàn)狀[J].電視技術(shù)，2008，32（11）：42-43.

[2]張兆楊，安平，張之江，等.發(fā)展3DTV需解決的技術(shù)及其應(yīng)用趨勢(shì)[J].電視技術(shù)，2010，34（6）：4-6.

[3]MUELLER K.3D-TV Transmission Formats and Coding[R].Berlin：Heinrich-Hertz Institut（HHI），Germany，2010.

[4]李小蘭.立體電視編碼傳輸技術(shù)及業(yè)務(wù)實(shí)現(xiàn)[J].電視技術(shù)，2010，34（11）：4-9.

[5]TAM J.3D-TV：benefits from human visual perception studies[R].Ottawa：Communications Research Centre（CRC），Canada，2010.