幀兼容立體電視傳輸技術(shù)

鄭冠雯，姜秀華

（中國傳媒大學(xué) 信息工程學(xué)院，北京 100024）

立體電視是一個立體的成像系統(tǒng)，它將左、右眼兩路圖像同時或近乎同時地進(jìn)行播放，用戶能夠從視頻內(nèi)容中感受到縱深感，讓電視播放的效果更接近于實際生活中的雙眼觀看感覺[1]。

作為下一代電視的發(fā)展方向，立體電視已經(jīng)從幾年前的實驗性階段逐步進(jìn)入一個成熟的階段，越來越多的國家開始建設(shè)立體電視的播出、傳輸系統(tǒng)。2011年2月，國際數(shù)字視頻廣播組織DVB針對幀兼容立體電視提出了A154文件[2]，為立體電視的傳輸提供了可行的技術(shù)規(guī)范，極大地推動了立體電視業(yè)務(wù)的發(fā)展，我國已于2012年1月1日試播基于幀兼容方式的立體電視。

什么是兼容？在電視的發(fā)展歷史中，電視技術(shù)的發(fā)展經(jīng)歷了從黑白電視到彩色電視的過渡，由于考慮到用戶終端接收顯示設(shè)備的更新?lián)Q代很可能需要很長的一段時間，因此彩色電視信號采用了兼容制彩色電視制式。也即黑白電視機(jī)可以收看彩色電視信號的節(jié)目，但看到的是黑白圖像，稱為上兼容；彩色電視機(jī)也可以收看黑白電視節(jié)目，看到的當(dāng)然也是黑白圖像，稱為下兼容。

什么是幀兼容？當(dāng)前電視技術(shù)正處于從2D HDTV發(fā)展到3D HDTV的過程中，也需要考慮2D HDTV與3D TV兼容的問題[3-4]。但是，由于目前從技術(shù)方面還無法實現(xiàn)真正的2D HDTV與3D TV上下兼容，因此，現(xiàn)階段國際上普遍采用的是一種可以充分利用已有的2D HDTV的傳輸系統(tǒng)來傳輸3DTV的幀兼容的立體電視傳輸方式。

本文根據(jù)DVB A154文件，對幀兼容立體電視業(yè)務(wù)的傳輸技術(shù)[5]以及傳輸應(yīng)用場景進(jìn)行介紹與分析。

1 幀兼容立體電視圖像空間復(fù)用原理

在幀兼容立體電視傳輸技術(shù)中，需要將左、右眼兩路3D HDTV視頻圖像轉(zhuǎn)變?yōu)橐宦稨DTV圖像，因此需要對左、右眼兩路視頻圖像進(jìn)行空間復(fù)用。在DVB A154當(dāng)中，提出了兩種空間復(fù)用方式。

1.1 并排方式（Side-by-Side，SbS）

在并排空間復(fù)用方式中，水平方向左眼圖像占據(jù)空間復(fù)用的前半行，右眼圖像占據(jù)空間復(fù)用的后半行。并排方式幀兼容圖像具體的空間復(fù)用過程如圖1所示。

圖1 并排方式幀兼容圖像的空間復(fù)用過程

在發(fā)射端，首先將左、右眼全分解力的圖像進(jìn)行下變換，成為半分解力的左、右眼圖像；之后經(jīng)過幀重排，將半分解力的左、右眼圖像簡單地排列在了一起，就形成了并排方式的幀兼容圖像。復(fù)用后的圖像經(jīng)過普通HDTV的編碼、調(diào)制之后，送入HDTV傳輸系統(tǒng)進(jìn)行傳輸。

在接收端，經(jīng)過傳輸系統(tǒng)的幀兼容立體電視圖像，通過普通HDTV的解調(diào)、解碼之后，需要進(jìn)行空間解復(fù)用。并排方式幀兼容圖像的具體空間解復(fù)用過程如圖2所示。

圖2 并排方式幀兼容圖像的空間解復(fù)用過程

被接收到的并排方式幀兼容圖像首先要進(jìn)行幀重排，將左、右并排排列的幀兼容圖像分解為兩路水平半分解力的左、右眼圖像（如圖2所示）。之后對兩路半分解力的圖像進(jìn)行上變換，得到實際顯示中使用的左、右眼圖像。需要注意的是，這里顯示中所用的左、右眼圖像仍然是半分解力的圖像。

1.2 上下排列方式（Top-and-Bottom，TaB）

在上下排列空間復(fù)用方式中，垂直方向左眼圖像占據(jù)空間復(fù)用的上半幀、右眼圖像占據(jù)空間復(fù)用的下半幀。上下排列方式幀兼容圖像具體的空間復(fù)用過程如圖3所示。

圖3 上下排列方式幀兼容圖像的空間復(fù)用過程

在發(fā)射端，與并排方式幀兼容圖像空間復(fù)用過程的不同之處在于，上下排列方式幀兼容圖像的下變換過程是將圖像垂直方向上的分解力減半。因此，空間復(fù)用之后的幀兼容圖像是由兩個垂直方向上半分解力的圖像經(jīng)過上下并排拼接而形成的。在接收端，通過傳輸系統(tǒng)的上下排列方式幀兼容圖像的具體空間解復(fù)用過程如圖4所示。

圖4 上下排列方式幀兼容圖像的空間解復(fù)用過程

被接收到的上下排列方式幀兼容圖像首先要進(jìn)行幀重排，將上、下并排排列的幀兼容圖像分解為兩路垂直半分解力的左、右眼圖像（如圖4所示）。之后對兩路半分解力的圖像進(jìn)行上變換，得到實際顯示中使用的左、右眼圖像。

1.3 幀兼容空間復(fù)用方式的優(yōu)缺點

由于在幀兼容立體電視傳輸系統(tǒng)中，傳輸?shù)男盘柧鶠榘敕纸饬Φ淖?、右眼圖像形成的一路HDTV信號，編解碼設(shè)備完全可以把經(jīng)過空間復(fù)用的幀兼容圖像當(dāng)做一幀普通的HDTV圖像去處理，因此，可以采用普通的HDTV編碼設(shè)備，大大降低了整個傳輸系統(tǒng)處理立體電視信號的復(fù)雜程度。

但是，幀兼容的空間復(fù)用方式是以犧牲分解力為代價換來了良好的兼容性?？偟膩碚f，在從HD到3D過渡的早期階段，這種方式能夠最大限度對已有設(shè)備進(jìn)行重用，幀兼容立體電視傳輸方式擁有極大的優(yōu)勢，其優(yōu)點遠(yuǎn)大于其不足。

2 幀兼容立體電視傳輸系統(tǒng)分析

一個包含幀兼容立體電視業(yè)務(wù)的傳輸系統(tǒng)示意圖如圖5所示。

圖5主要說明了幀兼容立體電視業(yè)務(wù)與HDTV業(yè)務(wù)如何通過傳輸系統(tǒng)進(jìn)行兼容，以及兼容時編碼、傳輸、解碼過程的整體概念。圖5中，假設(shè)一路幀兼容的立體電視業(yè)務(wù)與一路傳統(tǒng)的HDTV業(yè)務(wù)進(jìn)行復(fù)用，通過一個MPEG-2 TS流傳輸系統(tǒng)進(jìn)行傳輸，并最終由用戶集成接收解碼器（Integrated Receiver Decoder，IRD）進(jìn)行接收，這些IRD有的能夠接收立體電視信號，有的則不能。

圖5 幀兼容立體電視業(yè)務(wù)傳輸系統(tǒng)示意圖

圖5中，由于使用了幀兼容的技術(shù)，“3DTV業(yè)務(wù)”所采用的視頻編碼方式和“HDTV業(yè)務(wù)”的視頻編碼方式完全相同，均為“HD視頻編碼”?？梢?，在HDTV傳輸系統(tǒng)的基礎(chǔ)上進(jìn)行3D化改造，無須為立體電視業(yè)務(wù)購置新的編碼器。在傳輸復(fù)用過程當(dāng)中，除了要將控制信息表等信令數(shù)據(jù)進(jìn)行復(fù)用之外，字幕信息也要獨立進(jìn)行復(fù)用。也就是說，接收終端除了要重現(xiàn)視頻信息以外，也負(fù)責(zé)對字幕等信息進(jìn)行重現(xiàn)。不同于2D環(huán)境下字幕信息簡單的疊加顯示，3D環(huán)境中字幕的放置要復(fù)雜的多。經(jīng)過傳輸復(fù)用的信號將通過標(biāo)準(zhǔn)的MPEG-2 TS流傳輸系統(tǒng)進(jìn)行傳輸，直至用戶家中的接收終端。

3 幀兼容立體電視接收應(yīng)用場景分析

在DVB A154制定之前，市面上已經(jīng)推出了很多3D顯示設(shè)備，同時，還有大量的用戶正在使用HDTV的接收與顯示設(shè)備，可能遇到的具體接收情況將會是多種多樣的。為分析不同類型的顯示設(shè)備、IRD在接收幀兼容立體電視業(yè)務(wù)時會遇到的問題，以及幀兼容立體電視業(yè)務(wù)與已有設(shè)備的兼容性問題，在圖6中列舉了幾種具有代表性的具體接收應(yīng)用情況。

圖6 幾種具有代表性的接收應(yīng)用情況

圖6中，虛線左側(cè)的方案中，顯示設(shè)備均具有3D顯示功能；虛線右側(cè)的方案中，顯示設(shè)備均不具備3D顯示功能。顯然，虛線左側(cè)的方案有可能顯示出3D視頻，虛線右側(cè)的方案不可能顯示出3D視頻，但有可能顯示出經(jīng)過處理的2D視頻。

1）方案A：用戶使用3D兼容型機(jī)頂盒，通過HDMI V1.4a[6]連接3D顯示器。顯然，用戶能夠正常接收幀兼容立體電視業(yè)務(wù)，當(dāng)然也能收看HDTV業(yè)務(wù)。

2）方案B：用戶使用3D兼容型的數(shù)字電視一體機(jī)（Integrated Digital Television，IDTV），這里的IDTV相當(dāng)于3D兼容型機(jī)頂盒加上3D顯示器。顯然，用戶能夠正常接收幀兼容立體電視業(yè)務(wù)和HDTV業(yè)務(wù)。A，B方案沒有本質(zhì)區(qū)別。

3）方案C：用戶擁有一個普通的HDTV機(jī)頂盒，通過HDMI連接3D顯示器，這是最常見的一種情況。若在國內(nèi)推行幀兼容立體電視業(yè)務(wù)，很多購買了3D顯示器的用戶將會面對這種情況。由于傳輸?shù)氖菐嫒萘Ⅲw電視，普通的HDTV機(jī)頂盒用戶能夠接收并解碼輸出幀兼容立體電視業(yè)務(wù)，但是，普通的HDTV機(jī)頂盒不能夠識別幀兼容立體電視業(yè)務(wù)中的相關(guān)信令，故機(jī)頂盒不會輸出當(dāng)前節(jié)目的制式信息，因此，3D顯示設(shè)備雖然能夠接收到幀兼容立體電視業(yè)務(wù)，卻無法自動將電視機(jī)顯示模式轉(zhuǎn)換為3D模式，需要用戶手動來將電視機(jī)切換到3D顯示模式，才能顯示3D畫面。

4）方案D：用戶使用3D兼容型機(jī)頂盒，通過HDMI連接普通的HDTV顯示器。3D兼容型IRD（機(jī)頂盒）能夠?qū)⒆笱刍蛘哂已蹐D像經(jīng)過上變換后作為2D圖像顯示，但是，獲得的是水平或垂直方向上半分解力的2D圖像。

5）方案E，F(xiàn)：這兩種方案類似，使用普通的、沒有升級的HDTV機(jī)頂盒和HDTV顯示器是無法接收到幀兼容立體電視業(yè)務(wù)。但如果將機(jī)頂盒升級到3D兼容型機(jī)頂盒，情況則與方案D類似。

4 新增的信令信息

在DVB A154當(dāng)中規(guī)定了一系列新的信令信息[7]，用于表征幀兼容立體電視業(yè)務(wù)是否存在以及表征3DTV中3D深度效果等。

4.1 表征幀兼容立體電視業(yè)務(wù)是否存在的信令

在幀兼容立體電視傳輸系統(tǒng)中，傳輸層使用MPEG-2的PSI信息以及DVB SI信息，視頻流中使用H.264/AVC中的SEI信息。其中，在PSI信息以及SEI信息當(dāng)中均有表征幀兼容立體電視業(yè)務(wù)是否存在的信令。

在PSI信息中，TS流的PMT表中會包含參數(shù)AVC_video_descriptor，該 參 數(shù) 當(dāng) 中 的 Frame_Pack?ing_SEI_not_present_flag能夠從一定程度上表征幀兼容立體電視業(yè)務(wù)是否存在。如果該參數(shù)為1，表示TS流中不存在幀兼容立體電視業(yè)務(wù)；如果該參數(shù)為0，則表示TS流中有可能為幀兼容立體電視業(yè)務(wù)，也有可能為HDTV業(yè)務(wù)。

在視頻當(dāng)中，可以通過SEI信息中新增的frame_packing_arrangement_cancel_flag參數(shù)來表征幀兼容立體電視業(yè)務(wù)是否存在。如果該數(shù)值為0，表示當(dāng)前視頻幀為幀兼容立體電視業(yè)務(wù)；如果為1，則表示當(dāng)前視頻幀不為幀兼容立體電視業(yè)務(wù)。

這二者的主要區(qū)別在于，前者包含在TS流的PMT表中，只有當(dāng)PMT表更新時，接收終端才能夠通過該參數(shù)來判斷當(dāng)前視頻內(nèi)容的情況；而后者是視頻流中的信息，其存在于每一個視頻幀當(dāng)中，只要有新的視頻幀到來，接收終端就能夠通過該信息來判斷當(dāng)前視頻幀是否為3D內(nèi)容。但是，SEI信息當(dāng)中的新增參數(shù)并非所有業(yè)務(wù)都會攜帶，對于幀兼容立體電視業(yè)務(wù)來說，一定會攜帶此參數(shù)，且該參數(shù)為0；而對于一般的HDTV業(yè)務(wù)而言，則不一定會攜帶該參數(shù)。

除了上述兩個參數(shù)之外，在A154當(dāng)中還規(guī)定了新的service_type，component_type等參數(shù)，也提供了幀兼容立體電視業(yè)務(wù)的相關(guān)信令。

4.2 表征幀兼容立體電視業(yè)務(wù)視頻深度范圍的信令

在DVB A154文件中，新增的視頻深度范圍指示信息（Video depth range descriptor）是一個針對幀兼容立體電視業(yè)務(wù)而設(shè)計的新的信令參數(shù)。該參數(shù)主要用于傳輸3D視頻中深度及視差的相關(guān)信息，IRD可以使用這一參數(shù)來控制屏幕上任何圖形、字幕等信息的深度位置。目前，視頻深度范圍指示信息只定義了一種視頻深度相關(guān)信息，即“production disparity hint information（節(jié)目視差提示信息）”，該參數(shù)包含了一個3D節(jié)目中最大/最小的視差值。節(jié)目視差提示信息是在水平分解力為11520的屏幕上進(jìn)行視差數(shù)值測量而得到的，這一視差數(shù)值在不同的實際3D顯示設(shè)備上（水平分解力1280，1440，1920）將按式（1）進(jìn)行換算。

式中，水平屏幕分解力可取1280，1440，1920。

這樣，就保證了“節(jié)目視差提示信息”這一數(shù)據(jù)能夠被任何一種顯示設(shè)備所使用。如果能夠獲得最大/最小視差值，不僅能夠?qū)ζ聊簧舷嚓P(guān)圖形、字幕等信息進(jìn)行深度控制，還能夠由接收終端使用，用來提升視覺體驗，把3D圖形放置在一個光學(xué)上適合于顯示屏幕及觀看者的位置上。當(dāng)最大/最小視差值之一不可知時，這一參數(shù)不能被使用。如果接收終端使用了錯誤的數(shù)值，將可能會重現(xiàn)出極其不適于觀看的，甚至是超出安全區(qū)域的、危險的視頻圖像。

5 幀兼容立體電視業(yè)務(wù)與普通HD業(yè)務(wù)共存時所帶來的問題

5.1 接收設(shè)備所存在的問題

幀兼容立體電視業(yè)務(wù)在傳輸過程中，采用了和普通HDTV業(yè)務(wù)極其類似的幀兼容格式對3D視頻進(jìn)行傳輸。因此，對于接收設(shè)備，尤其是傳統(tǒng)的HDTV接收設(shè)備應(yīng)如何區(qū)分業(yè)務(wù)的種類就成為了一個關(guān)鍵的問題。在HDTV IRD當(dāng)中，有些舊式的IRD會利用component_type這一參數(shù)來分辨和過濾接收到的業(yè)務(wù)，如果該參數(shù)為“3DTV”，IRD就會過濾掉這路業(yè)務(wù)，即使這路業(yè)務(wù)可能絕大多數(shù)都是普通的HDTV節(jié)目。因此，在傳輸過程當(dāng)中相關(guān)信令的選擇上必須考慮到這一點。

一般來說，如果一路業(yè)務(wù)當(dāng)中絕大多數(shù)都是HDTV業(yè)務(wù)，那么為了防止HDTV IRD過濾掉這一路業(yè)務(wù)，通常都將component_type設(shè)為“2D HD”或者不設(shè)置該參數(shù)。而當(dāng)一路業(yè)務(wù)當(dāng)中全部或絕大部分時間均為幀兼容立體電視業(yè)務(wù)時，如果該地區(qū)大多數(shù)用戶仍在使用HDTV IRD，也可不設(shè)置component_type參數(shù)。但隨著用戶設(shè)備的更新?lián)Q代，可以根據(jù)情況將該參數(shù)設(shè)置為“3DTV”。

5.2 視頻格式轉(zhuǎn)換過程中存在的問題

視頻格式的轉(zhuǎn)換是指從幀兼容立體電視業(yè)務(wù)轉(zhuǎn)換為HDTV業(yè)務(wù)，或者是逆過程。在視頻格式轉(zhuǎn)換過程當(dāng)中，會出現(xiàn)的主要問題是由于同步不當(dāng)而導(dǎo)致的PMT表信息與SEI信息在一段時間內(nèi)出現(xiàn)的不一致。若在HDTV業(yè)務(wù)當(dāng)中的SEI信息內(nèi)未包含新增的幀兼容立體電視業(yè)務(wù)提示信息時，會出現(xiàn)如圖7所示情況。

圖7 格式轉(zhuǎn)換情況（SEI內(nèi)未包含新增的幀兼容立體電視業(yè)務(wù)提示信息）

此時，由于HDTV業(yè)務(wù)中不存在SEI信息，IRD只能通過PMT中的PSI信息來判斷當(dāng)前業(yè)務(wù)的種類。而PMT表存在于TS流中，不是每個視頻幀都含有PSI信息，致使從格式轉(zhuǎn)換開始到下一個PMT表到來之前，IRD將無法正確對接收到的視頻進(jìn)行重現(xiàn)。而當(dāng)HDTV業(yè)務(wù)中包含了新增的SEI提示信息時，情況則會有所改變，如圖8所示。

圖8 格式轉(zhuǎn)換情況（SEI內(nèi)包含了新增的幀兼容立體電視業(yè)務(wù)提示信息）

此時，由于HDTV業(yè)務(wù)中也存在SEI信息中幀兼容立體電視業(yè)務(wù)的相關(guān)提示信息，因此IRD能夠由視頻流中SEI的相關(guān)提示信息來判斷當(dāng)前業(yè)務(wù)的種類。顯然，只要利用每個視頻幀當(dāng)中攜帶的該信息，就能夠做到精確的視頻格式轉(zhuǎn)換。因此，在HDTV業(yè)務(wù)當(dāng)中，也推薦攜帶SEI信息中新增的幀兼容立體電視業(yè)務(wù)相關(guān)提示信息。

6 幀兼容立體電視業(yè)務(wù)中的圖形與字幕信息

在2D環(huán)境下，對菜單、字幕等圖形信息進(jìn)行重現(xiàn)并不復(fù)雜，IRD只需簡單地將這些圖形信息覆蓋在原有畫面之上即可。而在3DTV業(yè)務(wù)當(dāng)中，這一問題將變得更復(fù)雜[8]，IRD必須要考慮如何將這些視覺元素放置在適當(dāng)?shù)纳疃任恢蒙?，使這些視覺元素既不會影響視頻當(dāng)中的3D顯示效果，也不會過于靠近觀看者。一般而言，根據(jù)是否能夠獲取節(jié)目視差提示信息，對圖形、字幕的擺放有以下3種解決方案：

1）如果能夠獲取節(jié)目視差提示信息，并且節(jié)目視差提示信息中的最小視差信息仍距離立體電視觀看安全區(qū)的邊界有一定距離，就可以把圖形、字幕等信息放置在最小視差與安全區(qū)域邊界之間的位置上。這樣，觀看者將會看到圖形、字幕等信息位于屏幕當(dāng)中最靠近觀眾的位置，由IRD重現(xiàn)的視覺元素既不會與屏幕中其他圖形產(chǎn)生沖突，也不會讓觀看者感覺到不適。

2）如果不能夠獲取節(jié)目視差提示信息，一個可行的方法是先將視頻中的全部內(nèi)容向屏幕后方進(jìn)行平移，再將圖形、字幕等信息放置于安全區(qū)域之內(nèi)。

3）另一個可行的方法是將3D視頻切換到2D模式，即只播放左眼圖像，再將圖形、字幕等信息覆蓋在原有視頻之上（或之前）。需要指出的是，這也是一般HDTV IRD顯示這類視覺元素的唯一方式。例如一個用戶想打開電子節(jié)目指南，而他的IRD是普通的HDTV IRD，這時該用戶只能先將電視切換至2D模式，再打開電子節(jié)目指南。

7 結(jié)束語

采用幀兼容的方式對立體電視業(yè)務(wù)進(jìn)行傳輸，能夠?qū)σ延蠬DTV傳輸系統(tǒng)中的編碼、調(diào)制、傳輸、解調(diào)、解碼等設(shè)備進(jìn)行充分的重用，大大節(jié)省了從2D HDTV到3D HDTV過渡期間所需的必要投入。DVB A154文件的推出勢必將極大地推動立體電視產(chǎn)業(yè)的發(fā)展，為很多準(zhǔn)備建設(shè)立體電視播出、傳輸系統(tǒng)的國家和地區(qū)提供了一個可行的技術(shù)方案。

然而，幀兼容只是2D HDTV到3D HDTV發(fā)展過程中的一個過渡方案，未來的立體電視傳輸標(biāo)準(zhǔn)將會以業(yè)務(wù)兼容為目標(biāo)，在提高立體電視畫面質(zhì)量的同時，真正實現(xiàn)2D HDTV與3D HDTV的上下兼容。

[1]侯春萍，楊蕾，宋曉煒，等.立體電視技術(shù)綜述[J].信號處理，2007（5）：729-736.

[2]DVB document A154，Digital video broadcasting(DVB)：frame com?patible plano-stereoscopic 3DTV[S].2011.

[3]呂朝輝，董躍.立體電視研究現(xiàn)狀與展望[J].電視技術(shù)，2006，30（8）：39-41.

[4]張兆，楊安平，張之江，等.發(fā)展3DTV需解決的技術(shù)及其應(yīng)用趨勢[J].電視技術(shù)，2010，34（6）：4-6.

[5]李小蘭.立體電視編碼傳輸技術(shù)及業(yè)務(wù)實現(xiàn)[J].電視技術(shù)，2010，34（11）：4-9.

[6]HDMI 1.4a，High-definition multimedia interface specification ver?sion 1.4a[S].2010.

[7]ETSI EN 300468，Digital video broadcasting(DVB)：specification for service information(SI)in DVB system[S].2011.

[8]ETSI EN 300743，Digital video broadcasting(DVB)：subtitling sys?tems[S].2011.