立體視頻技術的發(fā)展現(xiàn)狀綜述

魯業(yè)頻，李素平

（巢湖學院 電子工程系，安徽 合肥 238000）

電視是在電影基礎上產(chǎn)生，處理“光電-電光”的關系，實質是解決人眼與顯示的問題，以滿足人們對客觀世界極大程度獲取視覺信息的精神需求。然而，立體電視除了能給人提供傳統(tǒng)二維電視的上下、左右視覺信息外，還能提供“景深”的更大信息量，更具視覺沖擊力和臨場感，是正在普及的數(shù)字電視的新發(fā)展，也驅使世界范圍內的業(yè)界包括學界投入空前的力量給予關注。

1 立體視覺與立體視頻采集

人們通過左右眼觀看同樣的對象，由于人眼雙瞳間距一般在6～6.7 cm之間，使得兩眼觀看同一視點的角度不同而產(chǎn)生視覺差異，即兩路不同的光信號在視網(wǎng)膜上形成兩個不同的視像，經(jīng)過大腦綜合即可區(qū)分物體的前后遠近，產(chǎn)生立體感。因此，所謂3D就是視差產(chǎn)生的左右位移。立體電視與立體電影都是利用“視差構成立體”的視覺原理，但在成像機制上，卻是兩個不同的系統(tǒng)。實踐證明，當雙眼視線夾角在12°左右時，觀看到物體的表面最多，立體感最強。因此，為了滿足人眼的立體視覺需要，從拍攝到顯示的整個環(huán)節(jié)，都是圍繞如何處理兩路光信號或兩路視頻信號，而在采集立體視頻即解決光電問題時，需要根據(jù)被拍物體與鏡頭之間的距離來調節(jié)兩個攝像機距離，使兩路信號夾角接近12°左右。目前市場上產(chǎn)生立體視頻效果的主要方式有：立體拍攝、3D動畫、2D到3D轉換。它們的特點如表1所示。

表1 立體視頻效果的主要方式

立體拍攝主要方式有：雙機或多機同步拍攝（多視點視頻）、單機位移拍攝（單視點視頻結合單視點深度）、使用專用（雙鏡頭即雙目立體視頻）立體相機、普通單反（數(shù)碼）相機配合專用立體鏡頭、以及深度影像置換拍攝技術等。應用較多的是采用單機水平雙鏡頭專用立體相機，即模仿人的左右眼來獲得最基本的立體視頻。前不久索尼公司公布的單鏡頭3D攝像，仍然使用兩個CMOS圖像傳感器，分別記錄左右兩幅圖像，然后合成3D影像。在拍攝方式上，由多個攝像機從不同角度拍攝得到的多視點視頻，能夠使用戶自由選擇位置觀看不同角度的場景，是拍攝3D的發(fā)展方向，但鑒于采集的數(shù)據(jù)特性復雜且數(shù)據(jù)量巨大，實時壓縮處理技術尚不成熟，目前以相對成熟的單機雙鏡頭的立體攝像機為主。

現(xiàn)已證明，同一空間視點在兩鏡頭成像的圖像平面中的投影位置差矢量為

式中：l為兩攝像鏡頭的投影中心連線距離；f為鏡頭焦距；z為影像深度?？梢?，視差與深度成反比，即物體離雙眼越遠，視差位移越大，其雙眼張角（亦稱輻輳角）越大；影像深度越大，立體感越強，視差矢量蘊含深度信息。但客觀上深度與影像視點的最終呈現(xiàn)，與眼睛距離、舒適度有關。市場上，韓、日兩國的立體攝像機最多，技術上領先于國際水平，產(chǎn)品也相對成熟，如東芝、JVC、松下、索尼、三星等品牌。

2 立體視頻編碼與傳輸

2.1 關于編碼及其核心算法

平面電視僅需一路視頻信號編碼，而立體電視為了滿足視差的需要，至少需兩路視頻流的同時編碼。其共同點是通過編碼壓縮去掉時間冗余、空間冗余和心里視覺冗余，但由于立體視頻傳輸需要的資源至少是單通道平面電視的2倍以上，所以壓縮編碼是立體電視實現(xiàn)的關鍵，而運動和視差估計過程又是立體視頻編碼中的核心。目前流行如表2所示的3類壓縮編碼方法。

表2 目前立體視頻壓縮主要方式

基于多視點的編碼是立體電視發(fā)展方向，但目前基于視差估計和補償?shù)牧Ⅲw編碼是主流，其編碼的基本思路是：對左路視頻進行傳統(tǒng)數(shù)字視頻壓縮編碼，即同一視點間進行運動估計即MCP技術（不參考其他視點的信息），而右路視頻既要進行幀內的MCP，還要進行相鄰視點間預測編碼，參考左視點進行編碼，即進行相鄰視點間的視差估計，也即DCP預測技術。顯然視差估計越精確，殘差圖像就越小，壓縮比就越大。

須指出的是，不同的立體視頻采集方式，其壓縮編碼算法路線不同（與平面視頻編碼區(qū)別）。目前普遍采用平行攝像系統(tǒng)，該系統(tǒng)中的空間一點在左右圖像平面中的投影一般具有相同的y坐標，設其對應的兩個圖像點亮度相同，則可認為視差匹配搜索主要集中在水平方向，從而加快匹配搜索過程。鑒于立體視頻的左右視點是由兩臺間隔非常近的攝像機同時拍攝同一場景得到，因此左右視點的內容具有天然的高度相關性，考慮到立體幾何極線約束，場景中某一視點在左右圖像中的點必定位于對應的偏振線上，那么進行DCP搜索時只需沿水平方向進行搜索即可，即透視投影左圖像可認為是右圖像沿水平負向的局部平移。可見，相鄰視點間的視差估計是立體視頻編碼的關鍵，客觀上DCP估計要比MCP復雜得多，目前常用的視差估計有圖像特征點法和塊匹配算法，此外，編碼的原則要兼顧效率、容錯性能和時延等方面的需求，已有的立體視頻編碼效率有待進一步提高。因此在不降低圖像編碼質量的同時，尋求高效的立體視頻壓縮編碼是當今視頻研究的迫切課題，以解決編碼質量與效率之間的矛盾。可以充分結合視差域和運動域的信息互為利用的關系，即運動和視差聯(lián)合估計快速算法，以徹底改變JWVM軟件中將運動和視差估計分為2個獨立步驟進行搜索的現(xiàn)狀，文獻[1]在這一方面做了很有價值的研究，該文所提出的迭代搜索策略利用運動/視差模型不斷更新運動/視差矢量候選值，有效避免了陷入局部極小值的情況發(fā)生。實驗結果證明，該算法在保證失真率性能基本不變的前提下，降低了96%的運算復雜度，有效節(jié)省了編碼時間。而在立體視頻編碼中，運動和視差估計過程大約占編碼時間的90%。

多視點視頻編碼MVC目前也取得長足進展，特別是在保證編碼質量的前提下降低計算復雜度方面，基本思路是借鑒單視點視頻編碼的快速運動估計算法，同時考慮相鄰視點的視頻源于同一場景，視點之間編碼信息存在相關性，即同時考慮運動矢量視點間相關性和空間相關性，可以用來進一步優(yōu)化運動估計，降低計算復雜度[2-4]。MVC已經(jīng)作為H.264/AVC的擴展方案，且JVT也提出JMVM軟件測試平臺JMVC4.0[5]。至于立體視頻編碼的核心算法，則采用先進的壓縮編碼算法，如小波變換或冗余離散小波變換[6]、分形視頻編碼[7]以及神經(jīng)網(wǎng)絡編碼如利用多級神經(jīng)分類器快速確定預測模式[8]等。先進的編碼算法能更有效地提高壓縮比，更適合多視點視頻編碼。如分形編碼可以達到千倍以上的壓縮，且編碼時間更短。

在立體視頻編解碼標準方面，國際上已經(jīng)推出H.264標準或MPEG4標準。H.264/AVC編碼框架設計是目前單視點3D、多視點3D編碼的主流。我國具有自主知識產(chǎn)權的第二代信源編碼標準AVS2定義了立體視頻編解碼的標準，支持深度編碼、場景編碼等新的立體視頻表示方法，并已介入ISO/IEC MPEG的高效視頻編碼標準的制定。在國內許多地方試驗效果不錯，如在深圳、廣州、山東齊魯、北京大學等地，其AVS 3D頻道占用10 Mbit/s帶寬資源，一般采用所謂“云電視高清機頂盒”接收。

2.2 立體視頻傳輸

在帶寬受限的差錯信道中，如何更具穩(wěn)健性地傳輸立體視頻，是當前立體視頻傳輸技術中的重要課題。包括視頻流傳輸協(xié)議、容錯編碼、差錯控制、信源信道聯(lián)合編碼等。理論與實驗證明，在立體視頻傳輸過程中，利用顏色視頻和深度視頻相關性，對顏色視頻和深度視頻數(shù)據(jù)包分配不同的容錯碼率[9]，即采取不等的保護水平，能更有效地節(jié)約冗余碼率，或者左路視頻幀比右路視頻幀賦予更高的保護級別，可獲得較好的3D視頻質量。此外，結合視頻質量主要取決于質量較高的圖像視點的視覺特性[10]，利用后向錯誤隱藏技術，如利用二維視頻或顏色視頻與深度圖像之間的強相關性，或者利用空間相關性及左右視點間視差信息相關性，即時空域混合的錯誤隱藏技術，最終可獲得滿意的3D視頻效果。

立體視頻傳輸方式主要有：傳輸獨立的左右眼信號、傳輸時間交錯的立體信號、傳輸空間交錯的立體信號和傳輸二維+元數(shù)據(jù)信號。其中傳輸空間交錯的立體信號在目前應用最多，且以左右格式（Side by Side）和上下格式（Up Down）在立體電視領域應用中最為廣泛，而“隔行”方式和“棋盤”方式應用較少。左右格式和上下格式的傳輸方式，實質均為被動式立體信號傳輸?shù)呐帕蟹绞?，將一幀圖像在水平方向或垂直方向一分為二，前者在屏幕的左右兩邊分別顯示要看的視頻，后者在屏幕的上下半邊顯示左右眼要看的視頻，其特點是降低水平分辨力或垂直分辨力，導致清晰度下降。

我國2012年元旦通過中星6A衛(wèi)星開通的3D電視測試頻道（下行頻率、極化方式和符號率分別為：3 968，H，11 580），采用的就是SBS傳輸模式，需要1 920×1 080高清機頂盒及3D電視機進行接收。目前大多數(shù)國家3D廣播均采用SBS模式，這種“左右”方式幾乎成為目前傳輸3D視頻的事實標準。

3 立體顯示

立體顯示是最終環(huán)節(jié)，解決電與光的問題，即如何產(chǎn)生兩路光信號作用于左右眼，以形成視差使其綜合為立體視覺圖像。產(chǎn)生立體顯示的效果，需利用人眼的視差特性，使一對視差（電）信號的兩幅圖像同時出現(xiàn)在屏幕上，或者將一對視差（電）信號的兩幅圖像先后輪流地出現(xiàn)在屏幕上，從而獲得立體感。目前分為眼鏡式和自由式兩類，其中眼鏡式主要分為主動式和被動式兩種。

3.1 眼鏡式

在眼鏡式立體顯示中，從被動色差式到偏光技術，再到主動快門式技術，由于被動色差式立體效果差且偏色，幾乎被淘汰，目前市場上主要以偏光技術和主動快門式技術為主，它們的主要異同如表3所示。

表3 偏光與主動快門顯示特點

綜合各方面的技術看，目前眼鏡式立體電視會持續(xù)較長時間，且以通用眼鏡式的多視點顯示器研發(fā)為重點。在我國目前的市場上，3D電視機如LG、松下、康佳、海信、長虹、TCL、聯(lián)想、先鋒等品牌，以被動偏光式占有率最大，刷新頻率至少240 Hz以上的主動快門式也不少，如長虹、TCL、海爾、海信等品牌。在顯示器類型上，以LCD，LED液晶顯示器為主，盡管PDP顯示屏閃頻高，但其壽命不及前者，只是在3D超大屏幕顯示中有些應用。

3.2 自由式立體顯示

自由式顯示首先經(jīng)軟件處理，把視頻處理成恰當?shù)母袷?，然后通過硬件手段，將左右眼視頻分別折射到各自的區(qū)域，人們站在一些特定的區(qū)域，即可獲得兩路視差光信號，從而看到立體視頻。毋庸置疑，較戴眼鏡看立體視頻，自由式即裸眼立體顯示必將是立體電視的發(fā)展方向，目前自由式立體顯示[11]的形式與特點如表4所示。

表4 自由式立體顯示的形式與特點

采用柱狀透鏡技術的3D電視，在目前自由式立體顯示器中占多數(shù)，市場上的品牌有東芝、飛利浦、TCL、三星等。但柱狀透鏡技術的3D顯示器，在呈現(xiàn)傳統(tǒng)2D圖像時有一些較小的失真。研究表明，從眼鏡式立體到光柵式（多視點）立體電視，再到全息立體電視的發(fā)展過程，全息3D是真正的立體，是立體電視發(fā)展的最高境界，全息術可以實現(xiàn)“分身術”的視覺效果，目前系統(tǒng)在實時更新速度、穩(wěn)定性及成本上需要突破。隨著科技的飛速發(fā)展，很難說，2022年世界杯足球賽不采用全息技術實況轉播與收視。

4 立體視頻測試

MPEG于2011年4月面向全球各大科研院所發(fā)布了國際三維視頻標準提案，以期盡快征集完善三維（多視點）視頻編碼技術的實現(xiàn)方案[12]。而目前支持立體顯示的視頻種類繁多，沒有統(tǒng)一的國際標準，但在經(jīng)濟上和技術上有一定實力的國家，更是全力推出相關的技術或標準，我國在立體顯示技術方面，正在制定適合國情的顯示及測試標準，立體顯示技術直接影響3D視頻的清晰度、視場、深度、亮度均勻性、色度均勻性、對比度、可視角等，其中雙眼串擾、可視角、閃爍等方面已得到業(yè)界的廣泛關注。

5 結束語

立體視頻可應用于立體數(shù)字電視、立體視頻會議、視頻監(jiān)控、遠程醫(yī)療、遠程教育和視頻點播等領域，已成為當前視頻信號處理領域的研究熱點。本文從立體視頻的前端開始，經(jīng)編碼傳輸?shù)浇邮诊@示的整個過程，分門別類地就目前業(yè)界現(xiàn)狀及其熱點問題，作了重點梳理與歸納，從中找出結論性的內容，以期同行參考、抉擇。

：

[1]鄧智玭，賈克斌，陳銳霖，等.立體視頻編碼中運動和視差聯(lián)合估計算法的研究[J].中國科學：信息科學，2011，41（10）：1210-1218.

[2]孫懿雯，沈禮權，張兆揚.多視點編碼中一種快速的模式選擇方法[J].電視技術，2011，35（9）：6-9.

[3]楊中華，戴聲奎.新的多視點視頻編碼優(yōu)化算法[J].計算機應用，2011（9）：2461-2464.

[4]ISO/IEC JTC1/SC29/WG11.Description of exploration experiments in 3D video coding[R].[S.l.]：ISO/IEC JTCI，2008.

[5]DVB BlueBook A151，Commercial requirements for DVB 3D-TV[S].2010.

[6]祝世平，侯仰拴.快速分形立體視頻編碼系統(tǒng)的設計[J].光學精密工程，2010（11）：2506-2512.

[7]王翀，趙力，羅琳.AVS快速立體視頻編碼新方法[J].應用科學學報，2009（1）：29-33.

[8]高韜，劉正光.基于冗余小波變換的立體圖像視差估計[J].電視技術，2008，32（4）：23-25.

[9]HEWAGE C T E R，WORRALL S T，DOGAN S，et al.A novel frame concealment method for depth maps using corresponding colour motion vectors[C]//Proc.3DTV Conference:The True Vision-Capture,Transmission and Display of 3D Video.Istanbul：IEEE Press，2008：149-152.

[10]STELMACH L,TAM W J,MEEGAN D,et al.Stereo image quality:effects of mixed spatio-temporal resolution[J].IEEE Trans.Circuits and Systems for Video Technology，2000，10（2）：188-193.

[11]王瓊華，王愛紅，梁棟，等.裸視3D顯示技術概述[J].真空電子技術，2011（5）：1-5.

[12]MPEG N12036，Call for proposals on 3D video coding technology[S].2011.