發(fā)展3DTV需解決的技術(shù)及其應(yīng)用趨勢*

張兆楊，安 平，張之江，沈禮權(quán)

（上海大學(xué)，上海 200072）

1 引言

從模擬電視到數(shù)字電視、從標(biāo)清電視到高清電視的變革已基本實現(xiàn)，不論是從企業(yè)的走向、市場的需求或技術(shù)上的可能性，下一代變革的目標(biāo)無疑是人們期望已久的三維（3D）立體視頻系統(tǒng)。目前千家萬戶觀看的二維（2D）視頻平面顯示系統(tǒng)由于丟失了自然界中物體作為第三維的深度信息（景深），使人的視覺缺乏立體（深度）感而有與實際的自然場景不一致（失真）的感覺。這里介紹了3DTV的系統(tǒng)組成及其各種類型的立體圖像顯示方式和顯示器特點；對人們關(guān)注的觀看立體視頻圖像時會發(fā)生的視覺疲勞和不舒適感的成因作了較深入的分析，并提出了消除或改善的方法；最后，分析了今后的發(fā)展趨勢和有待解決的技術(shù)，并對各類3DTV進(jìn)入家庭的時間作了展望。

2 3DTV的系統(tǒng)組成

圖1是3DTV的系統(tǒng)框圖，由3D內(nèi)容獲取、編碼、傳輸、解碼合成和顯示5部分組成。其中由攝像子系統(tǒng)攝取3D場景，由編碼子系統(tǒng)將獲取的視頻信號去除冗余信息后編碼成便于傳輸?shù)囊曨l流，經(jīng)網(wǎng)絡(luò)傳輸后送入解碼/合成器，按照顯示端的要求重建視頻信號并分別送至不同類型的顯示器以顯示雙目立體圖像、多視立體圖像或二維平面圖像。

圖1 3DTV系統(tǒng)的組成框圖[1]

2.1 不同類型的3DTV系統(tǒng)

按照3D視頻獲取方法的不同，圖1包含了3種3DTV系統(tǒng)：

1）基于雙目的3DTV系統(tǒng)

圖1的最上端是傳統(tǒng)的雙目立體視頻系統(tǒng)，其3D場景的獲取是由光軸中心相距6.5 cm的相互平行的相同攝像機組成 （或由1部雙鏡頭3D立體攝像機構(gòu)成）。左、右兩路視頻經(jīng)立體視頻編碼壓縮成視頻流，經(jīng)傳輸后解碼復(fù)原成兩路視頻，再在顯示器中構(gòu)成與人的雙眼視覺對應(yīng)的稍有不同的兩幅圖，最后由大腦合成為有立體感的圖像。

2）基于多視的3DTV系統(tǒng)

多視3DTV系統(tǒng)由N個（N>3）攝像機陣列獲取3D場景，雖然N個攝像機型號相同，但其內(nèi)外參數(shù)很難完全一致，且由于N個攝像機空間位置不同，各自的光照也略有差異，因此需要在進(jìn)行攝像機幾何參數(shù)校正和亮度/色度補償?shù)阮A(yù)處理后，再將多路視頻信號經(jīng)多視視頻編碼（MVC）壓縮成視頻流。由于解碼后重構(gòu)的N個視（每一路視頻簡稱為一個視）不一定適合某個觀眾在顯示屏前所在位置的觀看要求，且為提高顯示質(zhì)量，視頻解碼后需選擇一些合適的視經(jīng)繪制合成為符合需要的兩個視[2]。多視3DTV系統(tǒng)的優(yōu)點是在顯示屏前人能看到立體效果的視角（簡稱立體視角）遠(yuǎn)比雙目3DTV系統(tǒng)要大，且便于應(yīng)用人眼跟蹤技術(shù)使人在屏前移動時所觀看到的立體圖像也隨人的移動而改變，從而提高真實感和臨場感。

3）2D轉(zhuǎn)3D的3DTV系統(tǒng)

由于目前的3D節(jié)目源甚少，也可由2D高清晰度視頻節(jié)目通過2D轉(zhuǎn)3D處理和后期制作形成的多視視頻送到多視視頻立體顯示器來播放富有很強縱深立體感的3D立體視頻節(jié)目。

2.2 與二維系統(tǒng)的兼容性

目前所有的家庭幾乎都已有了播放二維視頻圖像的電視機，若開播雙目或多視立體視頻節(jié)目，應(yīng)使現(xiàn)有的遍及每個家庭的電視機也能接收到3D立體節(jié)目 （盡管看到的仍是二維視頻圖像）。為實現(xiàn)此種后向兼容，在圖1中，無論是在立體視頻還是在多視視頻編碼中，基本視 （雙目視頻或多視視頻中作為參考視的1個視）應(yīng)沿用二維視頻的編碼標(biāo)準(zhǔn)（如H.264/AVC），這樣就可以由圖1中標(biāo)準(zhǔn)的2D視頻解碼器重建雙目或多視視頻中的基本視，提供給標(biāo)準(zhǔn)的2DTV。

3 立體圖像顯示方式和顯示器類型

3.1 立體顯示方式

可分為需佩戴立體眼鏡的立體顯示和用裸眼直接觀看的自動立體顯示兩種方式。

1）佩戴立體眼鏡的顯示方式

2010年1月風(fēng)行全球的《阿凡達(dá)》立體影片和在美國拉斯維加斯消費電子展上展出的大多數(shù)立體電視，都采用了佩戴立體眼鏡的立體顯示方式。

立體眼鏡分為偏振式、快門式和分色式3種：

（1）偏振式是指左、右眼分別使用極化方向相互垂直的偏振鏡片，其中一只眼用垂直偏振，另一只眼用水平偏振，顯示器投射相應(yīng)的偏振光，從而使雙眼分別看到左視和右視，由大腦融合為立體圖像。此種方式的缺點是人的頭部傾斜時偏振鏡片難以濾掉與之正交的偏振光，使一個視的圖像漏到另一個視中，導(dǎo)致觀看者產(chǎn)生不舒適感。

（2）快門式是指所佩戴的眼鏡為液晶制成的快門眼鏡，加上一定電壓時可以改變液晶分子的排列來控制開關(guān)狀態(tài)，使得光線在一個鏡片受阻時在另一個鏡片通過，從而使雙眼分別看到左、右視。此種方式的缺點是若顯示器刷新頻率不夠高，會產(chǎn)生閃爍等不舒適感。

（3）分色式是指左、右眼戴的鏡片分別為紅光或藍(lán)光濾色片（也有使用其他顏色的），使得戴紅光濾色片的眼鏡只能看到紅色圖像，戴藍(lán)色濾色片的眼鏡只能看到藍(lán)色圖像，由此來使雙眼僅分別看到左視和右視。此種方式的缺點是彩色信息損失大，色調(diào)單一。

2） 自動立體顯示方式

自動立體顯示方式是指不戴立體眼鏡由人眼直接觀看的立體顯示方式，又被稱為自由立體顯示方式或裸眼立體顯示方式，常用的有視差柵欄式和柱透鏡光柵式：

（1）視差柵欄式的原理是利用視差擋板分光，在液晶顯示器的液晶層之前或之后安裝視差柵欄，將其分為擋光和透光兩部分，使得顯示屏上各像素交替顯示左、右眼對應(yīng)的圖像，令一幅經(jīng)過匹配處理的視差圖像分別投射到左、右眼，產(chǎn)生立體視覺。視差柵欄式的優(yōu)點是工藝結(jié)構(gòu)較簡單，但由于被遮擋了約50%的光，因此顯示屏的亮度也損失了一半。

（2）柱透鏡光柵式是在顯示器內(nèi)部安裝一排垂直排列的柱面透鏡，利用每個柱透鏡對入射光的折射作用，把兩幅不同的視差圖像分別透射到對應(yīng)于雙眼的視域，使左圖像聚焦于觀看者左眼，右圖像聚焦于觀看者右眼，從而產(chǎn)生立體視覺。柱透鏡光柵式的優(yōu)點是由于沒有前述柵欄式那樣有50%的光遮擋的損失，使顯示屏的亮度幾乎超過視差柵欄式1倍，但其工藝要求高，每個透鏡的截面需達(dá)到微米級。

3.2 立體顯示器類型

立體圖像顯示器可分為單用戶立體顯示器和多用戶立體顯示器：

1）單用戶立體顯示器對應(yīng)于雙目立體視頻系統(tǒng)，雙目立體視頻由于只有兩個視，能顯示立體效果的區(qū)域范圍小，即立體視角小，一般適宜于單個觀眾觀看。這是因為若多人同時觀看，有的觀眾會因其雙眼無法同時接收到視差圖像源而感受不到立體效果。

2）多用戶立體顯示器對應(yīng)于多視視頻系統(tǒng)，多視視頻是由N個（N＞3）攝像機從不同視角同時拍攝相同場景獲得的，可使多個觀眾在不同位置接收到不同的視差圖像源，即其立體視角寬，所以可供多個觀眾同時觀看。但是由于屏上要容納多對視差圖像源，立體顯示分辨力也就相應(yīng)降低。因此，要求顯示器自身的分辨力很高，且使柱透鏡陣列適度傾斜，以便由垂直分辨力補償水平分辨力，相對提高立體圖像的清晰度。

4 立體圖像觀看的不舒適感及其解決方法

觀眾在屏前觀看立體視頻圖像時，常會感到頭暈?zāi)垦?、心情煩躁甚至惡心等視覺疲勞感和不舒適感，這會嚴(yán)重影響立體視頻的應(yīng)用和發(fā)展，如何克服這種缺陷成為當(dāng)前3D顯示研究的一個重點。日本經(jīng)濟(jì)產(chǎn)業(yè)省即將制定的立體電視標(biāo)準(zhǔn)就是以減輕或消除視覺不舒適感作為前提。

4.1 產(chǎn)生視覺不舒適感的原因之一：串?dāng)_

造成視覺不舒適的原因較多，且因人而異。主要的共性原因之一是：當(dāng)左圖像和右圖像因分離不完善使左（右）眼視圖漏進(jìn)了右（左）眼視圖而引起串?dāng)_。串?dāng)_會降低人眼把兩幅視圖融合為立體圖像的能力，常出現(xiàn)鬼影、重輪廓、形變、模糊等，且會隨著視差的增大（即立體感增強）而趨于嚴(yán)重。由于左、右視圖的不完善分離與立體顯示器的參數(shù)設(shè)置有關(guān)，可通過調(diào)整優(yōu)化顯示器的設(shè)計參數(shù)來降低串?dāng)_度。

4.2 產(chǎn)生視差不舒適感的原因之二：發(fā)散視差/負(fù)視差

在立體顯示器屏前人眼感受到的深度信息ZP與雙目視差H及觀看距離D相關(guān)[3]

式中：e為左右眼坐標(biāo)點間距。由式（1），可將視差分為如下4種：

1）零視差。當(dāng)ZP=D時，H=0，雙眼視線交于屏幕上一點P，如圖2a所示。

2） 正視差。 當(dāng) ZP＞D 時，0＜H＜e，左右眼投影在屏幕上的距離小于雙眼間距，雙眼視線在屏前不交叉，感覺P點在屏幕之后，如圖2b。正視差越大，圖像的縱深感越強。

3） 負(fù)視差。當(dāng)0＜ZP＜D時，H＜0。雙眼視線在屏前交叉，感覺P點位于屏前，如圖2c。負(fù)視差越大，立體圖像在屏前的凸出感越強，但會使人眼產(chǎn)生不舒適感。

4） 發(fā)散視差。 當(dāng) ZP＜0 時，H＞e，如圖 2d，屏上的成像點距離大于雙眼間距，雙眼視線在屏前和屏后都無交叉點，大腦無法將其融合為一點，這會使人眼產(chǎn)生極嚴(yán)重的不舒適感。

由上可知，設(shè)計立體顯示器時，要防止發(fā)散視差，也不宜為追求凸出感而增大負(fù)視差。

5 3DTV的發(fā)展趨勢及尚待解決的問題

3D視頻立體顯示系統(tǒng)除了可用于各種科學(xué)研究、航天航空、醫(yī)療、監(jiān)控、教學(xué)、軍事、藝術(shù)、博覽會、3D游戲、網(wǎng)上商場及網(wǎng)上旅游和文物展示等場合外，最受人們關(guān)心的是何時能走入家庭。

5.1 雙目立體視頻進(jìn)入家庭尚需解決的問題

戴立體眼鏡式的家用立體電視由于對目前家用電視機的改動少，若預(yù)制節(jié)目以DVD為信號源，或者在發(fā)送端將一對視差圖像共用一條信道交替順序傳送，并在接收端相應(yīng)地將這對圖像輪流在屏上顯示，很快就可進(jìn)入家庭。

而不戴立體眼鏡的自動立體顯示方式由于尚需在現(xiàn)有的電視機內(nèi)安裝如前文所說的柱透鏡光柵或視差柵欄（此技術(shù)相對已較成熟），以及通過光學(xué)視角倍增器來擴(kuò)大立體視角（尚在實驗室階段），預(yù)期約3～5年也可進(jìn)入家庭。

5.2 多視3D立體視頻進(jìn)入家庭尚需解決的問題

5.2.1 限制多視視頻進(jìn)入家庭尚存在的主要問題

多視視頻及其顯示系統(tǒng)目前尚未解決的主要問題有兩個：一是其3D內(nèi)容的獲取是由N個完全一致的攝像機同步同時完成的，N個攝像機同步變焦、調(diào)焦、變光圈（各參數(shù)必須相同地同時改變）在技術(shù)上并不易行，有待發(fā)展一種完全自動的、精確的基于多視的深度/視差獲取系統(tǒng)[4]；二是多視視頻巨大的數(shù)據(jù)量盡管經(jīng)MVC已有較大壓縮，但到3DTV廣播應(yīng)用尚有很大距離，進(jìn)一步優(yōu)化可對運算復(fù)雜度作大幅度降低，但對傳輸比特率的壓縮卻是有限的，這就需要發(fā)展一種可根據(jù)人的頭部位置選擇少數(shù)視而以相當(dāng)?shù)偷膸拏鬏斠曨l流的結(jié)構(gòu)與方法[5]，以及為適配各用戶差異性終端而研發(fā)的自適應(yīng)可分級多視視頻編碼[6]方法。此外，3DTV廣播不僅在節(jié)目制作費用上比二維HDTV昂貴，而且演播室設(shè)備還有相當(dāng)大的部分需要更新。因此，能夠進(jìn)入家庭的基于多視視頻的3D立體電視機預(yù)期還要等上10年或更長一些時間。

5.2.2 目前多視視頻的應(yīng)用

多視3D立體視頻目前可應(yīng)用于商業(yè)廣告、各種展示會和博覽會。例如，在2009年上海國際工業(yè)博覽會和2010年上海世界博覽會上已展示和應(yīng)用了 “3D多視節(jié)目制作與立體顯示系統(tǒng)”。該系統(tǒng)是在上海市科委組織和資助下，于2009年8月由上海大學(xué)主持、與清華大學(xué)聯(lián)合研制成功的。圖3為其中的103 in（1 in=2.54 cm）多視立體圖像顯示器（右下角是19 in二維圖像顯示器）。

：

[1]OLIVER S，PETER K，THOMAS S.3D video communication[S].England：John Wiley&Sons Ltd.，2005：23.

[2]安平，張倩，鞠芹，等.用于3DTV的圖像繪制技術(shù)[J].電視技術(shù)，2010，34（1）：49-51.

[3]張兆楊，安平，張之江，等.二維和三維視頻處理及立體顯示技術(shù)[M].北京：科學(xué)出版社，2010.

[4]OZAKTAS H M.Three-dimensional television：capture，transmission，display[M].Berlin:Springer，2008：317.

[5]TEKALP A M，KURUTEPE E，CIVANLAR M R.3DTV over IP：endto-end streaming of multiview video[J].IEEE Signal Processing Magazine，2007，24（6）：77-87.

[6]SHIMUZU S，KITANARA M，KIMATA H，et al. View scalable multiview video coding using 3D warping with depth Map[J].IEEE Trans.Circuits System for Video Technology，2007，17（11）：1485-1495.