荊門電視臺虛擬演播室系統(tǒng)設(shè)計(jì)

馬 巾，別業(yè)鵬，馬 雙

（荊門電視臺，湖北 荊門 448000）

1 引言

荊門電視臺里現(xiàn)有的虛擬演播室為兩維半系統(tǒng)，建于2001年，承擔(dān)全臺自辦欄目、1小時(shí)民生類演播室直播等任務(wù)，部分配件已嚴(yán)重老化，尤其是色鍵器出現(xiàn)嚴(yán)重的不穩(wěn)定現(xiàn)象，直接影響安全播出[1]。系統(tǒng)中沒有三維物體，只能通過動畫文件來仿真，三維動畫數(shù)量有限，超過5個(gè)會丟幀。當(dāng)鏡頭推倒大廣角時(shí)，虛擬背景會被放大，變得很虛。攝像機(jī)左右搖擺幅度受限制，一般只能搖22.5°。演播室中的電視墻是一個(gè)面，當(dāng)電視墻旋轉(zhuǎn)90°時(shí)電視墻就變成了一條線，沒有厚度感；不能實(shí)現(xiàn)虛擬燈光效果；無法實(shí)現(xiàn)虛擬相機(jī)的瀏覽；演播特技效果有限，無法滿足實(shí)際播出的需要。

2 技術(shù)需求

2.1 系統(tǒng)架構(gòu)要求

系統(tǒng)架構(gòu)為三機(jī)位雙通道數(shù)字SDI真三維虛擬演播室系統(tǒng)；最少1個(gè)傳感機(jī)位，攝像機(jī)可以實(shí)現(xiàn)平搖、俯仰和變焦的精確機(jī)電跟蹤；雙通道，能在PGM和PST兩個(gè)通道中，任意調(diào)度3個(gè)機(jī)位，實(shí)現(xiàn)2通道的特技切換；系統(tǒng)提供2個(gè)進(jìn)口獨(dú)立色鍵，可同時(shí)監(jiān)看PGM和PST通道的摳像合成畫面；PGM和PST通道間切換支持包括硬切、淡入淡出、劃像、三維卷頁等至少200種切換特技，在機(jī)位切換過程中，保證前景信號與虛擬背景信號場同步切換，不出現(xiàn)前背景不同步、夾幀、畫面撕裂等現(xiàn)象；可以實(shí)現(xiàn)任意真實(shí)攝像機(jī)的虛擬運(yùn)動軌跡設(shè)置，實(shí)現(xiàn)虛擬搖臂、導(dǎo)軌、航拍運(yùn)動拍攝效果；系統(tǒng)設(shè)計(jì)構(gòu)架應(yīng)以簡潔為主，盡量減少單臺設(shè)備的數(shù)量，避免故障點(diǎn)、系統(tǒng)連線和維護(hù)量的增加；系統(tǒng)支持外同步功能，自帶同步分配器，滿足系統(tǒng)內(nèi)部各配件（如渲染主機(jī)、切換器、色鍵等）的同步信號鎖定需求，預(yù)留同步輸出口，方便鎖定其他外圍設(shè)備（如攝像機(jī)、錄像機(jī)、非編等）；系統(tǒng)需確保音視頻同步；雙通道之間的特技切換必須達(dá)到廣播級質(zhì)量。

2.2 虛擬場景渲染模式及性能要求

系統(tǒng)應(yīng)能支持三維模型實(shí)時(shí)渲染和場景圖像實(shí)時(shí)渲染的兩種渲染模式；三維模型實(shí)時(shí)渲染模式和場景圖像實(shí)時(shí)渲染模式相結(jié)合應(yīng)用的要求[2]。為保證場景精美細(xì)膩的渲染效果，如實(shí)現(xiàn)光影追蹤、紋理反射等高級渲染效果，虛擬大場景可采用預(yù)渲染的場景圖像（三維軟件預(yù)先渲染廣角場景圖片）；為體現(xiàn)場景動態(tài)效果和結(jié)合節(jié)目制作需要，場景中如三維字、虛擬大屏幕（電視機(jī)）、虛擬桌子、欄桿、地板等，可采用三維模型實(shí)時(shí)渲染。要求系統(tǒng)具備統(tǒng)一的坐標(biāo)系，保證無論是真實(shí)或者虛擬攝像機(jī)運(yùn)動過程中，主場景圖像和三維模型物件融為一體，兩者之間保持正確合理的透視關(guān)系，不會出現(xiàn)錯(cuò)位、漂移的現(xiàn)象，虛擬燈光每場8盞，并且保證攝像機(jī)快速變化過程中，場景不撕裂、不抖動，不出現(xiàn)黑場；系統(tǒng)場景圖像實(shí)時(shí)渲染能力應(yīng)達(dá)到2048×1024像素分辨力、32位 （帶Alpha通道）以上的要求[3]。

2.3 攝像機(jī)跟蹤系統(tǒng)技術(shù)要求

系統(tǒng)應(yīng)能同時(shí)支持真實(shí)攝像機(jī)機(jī)電傳感跟蹤和虛擬攝像機(jī)運(yùn)動軌跡跟蹤兩種跟蹤方式；真實(shí)攝像機(jī)機(jī)電傳感跟蹤的平搖、俯仰和鏡頭變焦（推拉）應(yīng)達(dá)到表1中的精度。

表1 傳感器精度表

系統(tǒng)應(yīng)能支持虛擬攝像機(jī)運(yùn)動軌跡跟蹤，無須配置搖臂、導(dǎo)軌等裝置，可實(shí)現(xiàn)任意真實(shí)攝像機(jī)的虛擬運(yùn)動軌跡設(shè)置，實(shí)現(xiàn)航拍、搖臂、導(dǎo)軌等拍攝效果；系統(tǒng)要求虛擬攝像機(jī)按照任意軌跡的運(yùn)動過程中，真實(shí)攝像機(jī)拍攝的前景人物與虛擬場景必須實(shí)現(xiàn)同步聯(lián)動、精準(zhǔn)定位和合理的遮罩關(guān)系，并且虛擬攝像機(jī)的軌跡不受空間限制，虛擬場景建模不受任何限制，可任意設(shè)置虛擬攝像機(jī)軌跡。

3 系統(tǒng)簡介

現(xiàn)在采用的系統(tǒng)為勵(lì)得公司U-Set 3D全景虛擬演播室系統(tǒng)；U-Set 3D全景虛擬演播室是一款支持三機(jī)位同步切換、采用計(jì)算機(jī)圖形跟蹤系統(tǒng)與攝像機(jī)機(jī)電傳感跟蹤系統(tǒng)相結(jié)合、渲染系統(tǒng)根據(jù)場景虛擬攝像機(jī)軌跡或者采集攝像機(jī)平搖（Pan）、俯仰（Tilt）和變焦（Zoom）的參數(shù)，實(shí)時(shí)生成與前景運(yùn)動一致并經(jīng)色鍵摳像合成以及添加字幕層輸出的新一代創(chuàng)新型虛擬演播室系統(tǒng)；用戶可定制加裝機(jī)電傳感跟蹤的攝像機(jī)機(jī)位，最大限度提升系統(tǒng)性價(jià)比，擺脫了傳統(tǒng)虛擬演播室攝像機(jī)取景空間范圍的限制，可以實(shí)現(xiàn)好萊塢大片式的恢宏航拍效果；其貼近虛擬節(jié)目制作實(shí)際的多跟蹤模式機(jī)位系統(tǒng)構(gòu)架，極大提升了虛擬演播室產(chǎn)品的性價(jià)比和易用性。

4 系統(tǒng)工作原理

系統(tǒng)各模塊和功能與工作原理（見圖1）如下：

1）切換器：完成攝像機(jī)前景信號的切換工作，受控于圖形工作站串口信號。

2）同步信號分配器：完成外來同步型號的分配，分別將同步信號分配給U-Set 3D圖形工作站、切換器以及預(yù)留給用戶攝像機(jī)的3個(gè)同步信號輸出口。

3）視頻輸入模塊：將切換器輸出攝像機(jī)前景視頻信號進(jìn)行廣播級數(shù)字處理。

4）色鍵1和2：運(yùn)用領(lǐng)先的色鍵摳像算法，將兩路前景數(shù)據(jù)流進(jìn)行實(shí)時(shí)的摳像處理并產(chǎn)生相應(yīng)前景畫面的鍵和填充數(shù)據(jù)信息。

5）傳感信息采集處理模塊：采用機(jī)械光電傳感跟蹤方式，采集攝像機(jī)平搖、俯仰、變焦6個(gè)方位的動作信息。

6）活動視頻采集模塊：實(shí)時(shí)采集輸入的活動視頻信號，并做10 bit廣播級數(shù)字處理，以用于建立虛擬場景視頻窗口。

7）活動機(jī)位背景渲染及前背景疊加模塊：采用先進(jìn)的計(jì)算機(jī)圖形運(yùn)動跟蹤算法，根據(jù)預(yù)設(shè)的虛擬攝像機(jī)軌跡關(guān)鍵幀，實(shí)時(shí)渲染生成動態(tài)虛擬背景和動態(tài)鍵遮罩信息，并與前景鍵和填充數(shù)據(jù)信息進(jìn)行合成處理，實(shí)現(xiàn)前景摳像人物與虛擬場景具備合理空間透視關(guān)系的完美結(jié)合；虛擬攝像機(jī)鏡頭進(jìn)行廣域航拍的全運(yùn)動過程中，真實(shí)攝像機(jī)拍攝的前景人物實(shí)現(xiàn)同步聯(lián)動、精準(zhǔn)定位和合理的遮罩關(guān)系，真實(shí)與虛擬空間結(jié)合得天衣無縫。此外，該模塊還需要控制攝像機(jī)切換模塊，當(dāng)虛擬背景進(jìn)行不同視角背景切換的時(shí)候，同時(shí)發(fā)出控制信號給攝像機(jī)切換模塊，切換至相應(yīng)視角的前景攝像機(jī)。

8）廣角機(jī)位背景渲染及前背景疊加模塊：根據(jù)傳感信息采集模塊送來的真實(shí)攝像機(jī)動作參數(shù)，將廣角虛擬背景實(shí)時(shí)渲染生成與真實(shí)攝像機(jī)動作一致的虛擬場景和遮罩關(guān)系，并完成各個(gè)機(jī)位的各種三維和二維物件、符合不同機(jī)位透視關(guān)系渲染工作，最后與前景鍵和填充數(shù)據(jù)信息進(jìn)行前背景的合成處理。此外，該模塊也還需要控制攝像機(jī)切換模塊，當(dāng)虛擬背景進(jìn)行不同視角背景切換的時(shí)候，同時(shí)發(fā)出控制信號給攝像機(jī)切換模塊，切換至相應(yīng)視角的前景攝像機(jī)。

9）DVE特技切換及字幕疊加模塊：對兩路合成信號進(jìn)行DVE特技切換處理，并在最終輸出信號上疊加字幕圖文。

10）音頻采集延時(shí)模塊：對演播室現(xiàn)場音頻實(shí)時(shí)采集并作相應(yīng)延時(shí)處理輸出，以保證虛擬演播室視音頻信號音畫同步。

圖1 系統(tǒng)原理圖

5 系統(tǒng)技術(shù)特點(diǎn)

U-Set 3D全景虛擬演播室系統(tǒng)具有以下技術(shù)特點(diǎn)：

1）虛實(shí)結(jié)合無限完美視界。U-Set 3D全景虛擬演播室的圖形運(yùn)動跟蹤算法，是通過設(shè)置虛擬攝像機(jī)的運(yùn)動軌跡關(guān)鍵幀，自動計(jì)算真實(shí)攝像機(jī)畫面中物體在虛擬空間的坐標(biāo)。在虛擬攝像機(jī)沿預(yù)設(shè)軌跡運(yùn)動過程中，真實(shí)物件始終保持位于虛擬空間的唯一位置，而虛擬場景隨著虛擬攝像機(jī)運(yùn)動而景別不斷變化，從而實(shí)現(xiàn)各種航拍、搖臂、移動導(dǎo)軌等真實(shí)拍攝才能實(shí)現(xiàn)的效果。同時(shí)，通過鍵遮擋技術(shù)，實(shí)現(xiàn)自動遮擋功能，從而將虛擬物件與真實(shí)物件的合理透視、景深關(guān)系完美體現(xiàn)。由于虛擬攝像機(jī)的運(yùn)動軌跡是在虛擬空間任意設(shè)置的，無論場景是山峰、城堡、輪船、摩天大廈，抑或太空、宇宙飛船，只要想象所及的任何虛擬場景和拍攝效果都可以實(shí)現(xiàn)。

2）機(jī)電傳感與圖形運(yùn)動跟蹤結(jié)合，最大限度貼近臺里應(yīng)用需求。

盡管在實(shí)現(xiàn)大范圍的虛擬節(jié)目拍攝效果方面，圖形運(yùn)動跟蹤算法獨(dú)具優(yōu)勢，但在節(jié)目實(shí)際制作過程中，攝像師需要對攝像機(jī)進(jìn)行平搖、俯仰或者推拉鏡頭的動作，由于沒有在真實(shí)攝像機(jī)前端加裝物理跟蹤方式，所以無法采集獲知攝像機(jī)參數(shù)變化，以便虛擬場景與真實(shí)前景同步運(yùn)動。

U-Set 3D全景系統(tǒng)并沒有試圖改變用戶的操作習(xí)慣，采用放大或者移動攝像機(jī)人物畫面的方法（這種方式會大大降低攝像機(jī)前景畫面指標(biāo)，原理如前所述），通過移動鼠標(biāo)的方法實(shí)現(xiàn)鏡頭變化的效果，而是在攝像機(jī)搖動、變焦以取景人物半身、特寫的過程中，傳感系統(tǒng)采集其相應(yīng)參數(shù)，傳遞至渲染系統(tǒng)，虛擬場景同步變化；采用機(jī)電傳感與圖形運(yùn)動跟蹤相結(jié)合的方式，可以運(yùn)用前者，滿足通常虛擬節(jié)目的制作需求；也可以運(yùn)用后者，實(shí)現(xiàn)恢宏的航拍、搖臂等飛行鏡頭，用于節(jié)目的開場與收場，將虛擬空間的廣闊場景充分表達(dá)，實(shí)現(xiàn)了技術(shù)與藝術(shù)完美和諧統(tǒng)一；U-Set 3D全景系統(tǒng)保留了廣角機(jī)位，它可以通過廣角機(jī)位的切換，體現(xiàn)出主持人處于虛擬空間的效果來。例如，機(jī)位一取的是主持人中景，機(jī)位二取的是全景，主持人和嘉賓都出現(xiàn)于虛擬演播室場景當(dāng)中，機(jī)位三取的是嘉賓中景，通過這3個(gè)攝像機(jī)的之間的切換，就可以很好地體現(xiàn)出虛擬演播室的空間效果，見圖2。

圖2 3個(gè)機(jī)位切換效果圖

由于沒有配置攝像機(jī)傳感跟蹤系統(tǒng)，虛擬背景不能隨著攝像機(jī)的推拉搖而作相應(yīng)運(yùn)動，所以在節(jié)目制作播出過程中攝像機(jī)是不能動的。但是，在U-Set 3D中提供了一個(gè)非常實(shí)用的功能，虛擬背景是可以通過軟件來進(jìn)行上下、左右、縮放的調(diào)整的。像上面提到的例子，若機(jī)位二取全景，就把背景縮小到一定程度，把虛擬場景的全景效果表現(xiàn)出來；機(jī)位一、三取的是中景，就把背景放大到相應(yīng)程度，如果需要虛擬大屏幕正好在主持人身后，可以上下或左右移動背景到相應(yīng)位置即可。

3）靈活的多機(jī)位設(shè)計(jì)。U-Set 3D全景虛擬演播室系統(tǒng)標(biāo)配三通道攝像機(jī)切換器，3個(gè)攝像機(jī)拍攝的不同景別前景對應(yīng)相應(yīng)廣角虛擬場景，同時(shí)，這3路攝像機(jī)信號可以任意綁定任何一路應(yīng)用圖形跟蹤算法的運(yùn)動機(jī)位，實(shí)現(xiàn)超出實(shí)際攝像機(jī)機(jī)位的靈活多機(jī)位切換效果，極大豐富了虛擬演播室的創(chuàng)作手段。

4）精美預(yù)渲染場景與靈活實(shí)時(shí)渲染場景元素完美融合。U-Set 3D全景虛擬演播室系統(tǒng)采用預(yù)渲染場景與實(shí)時(shí)渲染場景元素相結(jié)合的渲染模式。在場景內(nèi)可添加各種實(shí)時(shí)渲染三維、二維場景元素，場景元素完全遵循預(yù)渲染三維場景空間坐標(biāo)定義，滿足各個(gè)機(jī)位視角的合理透視關(guān)系，各種視頻、圖文、動畫序列、粒子、三維模型虛擬電視機(jī)/電視墻、統(tǒng)計(jì)柱狀圖和餅狀圖等可任意創(chuàng)建，并實(shí)現(xiàn)對前景的遮擋功能。

5）精彩的陰影、倒影色鍵處理效果。在U-Set 3D系統(tǒng)中，用戶不僅可以任意增加演員的陰影，控制陰影的深淺，而且還可以增加多個(gè)角度的陰影，更可以增加演員的倒影，與虛擬場景的反光地面相結(jié)合，制作出遠(yuǎn)遠(yuǎn)勝出以往的精彩虛擬演播室節(jié)目。

6）提供完整字幕解決方案。在虛擬合成畫面后的字幕疊加通道，可以實(shí)現(xiàn)在虛擬節(jié)目畫面前添加字幕圖文，省卻另外給虛擬演播室系統(tǒng)配置下游字幕的成本。

7）機(jī)械光電傳感跟蹤系統(tǒng)，攝像機(jī)跟蹤精確平穩(wěn)。U-Set 3D全景虛擬演播系統(tǒng)采用高精度的機(jī)械光電傳感器，實(shí)時(shí)控制三維虛擬場景中的虛擬攝像機(jī)參數(shù)，從而使三維虛擬場景隨著真實(shí)攝像機(jī)的動作變化而改變。在快速的鏡頭推拉搖動過程中，可以控制虛擬場景的快速同步變化，同時(shí)保持場精確的平穩(wěn)過渡，不會出現(xiàn)人與背景錯(cuò)位的現(xiàn)象。

萬能鏡頭傳感系統(tǒng)，兼容所有攝像鏡頭，不需要任何機(jī)械改造，安裝使用簡單快捷，系統(tǒng)狀態(tài)一目了然，見圖3。

8）本地硬盤播放和外接視頻信號的多路大屏設(shè)計(jì)。U-Set 3D系統(tǒng)可以實(shí)現(xiàn)獨(dú)家的多大屏的技術(shù)要求，即在虛擬場景里面實(shí)現(xiàn)同時(shí)打開多個(gè)不同內(nèi)容虛擬大屏幕，一路大屏幕信號來自外接視頻信號源，如VTR，DVD等；另外幾路大屏幕信號（路數(shù)隨計(jì)算機(jī)系統(tǒng)配置而定）可以是事先采集進(jìn)計(jì)算機(jī)主機(jī)的AVI視頻文件，而文件的壓縮格式可以支持 M-JPEG，MPEG-2（I幀、IBP 幀），DV25，DV50 等視頻壓縮格式。

圖3 鏡頭傳感系統(tǒng)

9）基于Ultra-Fx視頻流控制傳輸技術(shù)，確保前后景切換同步準(zhǔn)確。U-Set 3D成功地運(yùn)用Ultra-Fx視頻流控制傳輸技術(shù)，實(shí)現(xiàn)所有視頻流的傳輸都獨(dú)立于計(jì)算機(jī)傳輸總線。同時(shí)，最大限度降低視頻流控制對CPU的占用，通過在GPU里面設(shè)計(jì)大容量的DDR顯存，很好地解決了這一問題，實(shí)現(xiàn)機(jī)位切換時(shí)前背景同步準(zhǔn)確。

10）高質(zhì)量的虛擬大屏幕。U-Set 3D系統(tǒng)中的虛擬大屏幕接入信號可以采用復(fù)合、模擬分量、Y/C、數(shù)字SDI等基于廣播級的視頻信號格式輸入。

[1]別業(yè)鵬.荊門電視臺新聞直播系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電視技術(shù)，2008，32（9）：74－75.

[2]武紅辰.數(shù)字化播出系統(tǒng)的發(fā)展[J].世界廣播電視，2001（5）：36-38.

[3]沈丞，張利.虛擬演播室中三維模型簡化算法研究[J].電視技術(shù)，2009，33（12）：75-77.