XR演播室發(fā)展與技術(shù)研究

陳 錕

內(nèi)蒙古廣播電視臺 內(nèi)蒙古 呼和浩特市 010050

1 虛擬技術(shù)發(fā)展歷程

演播室是利用光和聲進行空間藝術(shù)創(chuàng)作的場所，是電視節(jié)目制作的常規(guī)基地，除了錄制聲音外，還要攝錄圖像。嘉賓、主持及演職人員在里面進行工作、制作及表演。因此，除了必要的攝錄編設(shè)備外，演播室必須具有足夠的聲、光設(shè)備和便于創(chuàng)作的條件。演播室作為電視節(jié)目制作的重要場所，承擔了除外拍節(jié)目外的大部分節(jié)目錄制和制作任務(wù)。隨著設(shè)備和技術(shù)突飛猛進的發(fā)展，本著少花錢辦大事的原則，演播室在不斷升級換代，從實景演播室，發(fā)展到虛擬演播室、XR演播室。

實景演播室，根據(jù)節(jié)目實際拍攝需求，采用實物置景，實際拍攝的效果真實、有質(zhì)感，但由于制作成本大，只能使用一次。改變布景只能重新設(shè)計制作，常用于場景固定的新聞類節(jié)目中。

綠幕摳像技術(shù)，目前比較成熟的虛擬演播室技術(shù)，廣泛應(yīng)用于各種電視節(jié)目制作中。人物在純色的背景中進行表演，現(xiàn)場攝像機拍攝畫面用計算機摳圖技術(shù)將背景顏色透明化，再與設(shè)計師提前設(shè)計好的三維場景相融合，就呈現(xiàn)了人物在虛擬場景中的活動。攝像機跟蹤技術(shù)能夠使三維場景與攝像機同步推拉搖移，拍攝出的節(jié)目效果更具立體感。由于RGB 標準以及數(shù)字拍攝的興起，目前使用綠幕作為摳像背景。摳像技術(shù)充分發(fā)揮設(shè)計師的想象力，使節(jié)目呈現(xiàn)豐富多彩的效果。但人物表演處于純色背景中，缺乏情景互動，對演員演技有極大考驗。

AR 增強現(xiàn)實技術(shù)，通過對現(xiàn)有實景電視節(jié)目演播室的改造升級，可以在實景中引入AR 特效，運用三維建模、攝像機追蹤、傳感定位和智能交互等技術(shù)，將三維模型、文字、圖像等虛擬信息與現(xiàn)場實景相融合，以虛擬前景的方式與演員實時互動，使節(jié)目更加生動、活靈活現(xiàn)，實施性價比較高。其局限在于只能將預設(shè)好的內(nèi)容對現(xiàn)場環(huán)境進行覆蓋，對節(jié)目現(xiàn)場實時反饋不夠，而且能實現(xiàn)的現(xiàn)場沉浸式有限。

XR 是一套以LED 屏幕為拍攝背景的影像空間合成技術(shù)，是虛擬制作（Virtual Production）概念的一種應(yīng)用實踐，可以作為綠幕拍攝技術(shù)的升級方案，應(yīng)用于影視制作和節(jié)目直播。通過攝像機實時追蹤技術(shù)、實時渲染技術(shù)、多屏幕播控管理技術(shù)，使LED 屏幕中呈現(xiàn)出的虛擬場景畫面與屏幕前的“真實角色”在攝像機視角下保持正確三點透視關(guān)系。同時，對于LED屏幕之外的畫面通過“前景疊加”（AR）技術(shù)進行實時合成，最終將“真實角色”置身于虛擬世界之中，達到虛實結(jié)合的視覺效果。

XR 演播室，XR （擴展現(xiàn)實）技術(shù)的發(fā)展已較為成熟，它囊括了AR（增強現(xiàn)實）、VR（虛擬現(xiàn)實）和MR（混合現(xiàn)實）全部內(nèi)容。AR 是在真實空間內(nèi)植入虛擬信息，將圖形、圖片、視頻、聲音植入現(xiàn)實。VR 是通過各種感官視覺、聽覺、觸覺、嗅覺等將人代入到電腦設(shè)計的虛擬世界中，沉浸感和臨場感強。MR 是AR 與VR 的結(jié)合體，將虛擬信息代入現(xiàn)實世界，在形成的新的可視化場景中與人進行交互，XR 集合了以上全部內(nèi)容。通過三面垂直的LED屏幕與地屏作為背景，使用空間視差透視和圖像動態(tài)校正技術(shù)，與前場實景相配合，再結(jié)合燈光、音響、舞美、道具等現(xiàn)場氣氛渲染，打造虛擬可視的沉浸式XR 演播室，特效更炫，沉浸感更強，根據(jù)背景內(nèi)容設(shè)計，使演播室區(qū)域可以無限放大。

圖1 綠幕摳像技術(shù)將人物置于虛擬場景之中

2 技術(shù)分析

2.1 攝像機追蹤系統(tǒng)

真實攝像機在世界中的坐標、姿態(tài)及鏡頭變焦數(shù)據(jù)是一切信號的起點，攝像機追蹤系統(tǒng)將這些參數(shù)捕捉后送給合成服務(wù)器，用以渲染引擎和AR 畫面的合成。景隨人動，這就要做到被攝人物在自由走動的時候達成近乎真實的拍攝場景。因此，定位追蹤技術(shù)就顯得額外重要。三維虛擬拍攝時通過定位追蹤系統(tǒng)將攝像機與三維場景內(nèi)的虛擬攝像機綁定，隨著攝像機鏡頭的移動，直接獲得人在現(xiàn)實空間中的實時位置和運動參數(shù)，并對這些數(shù)據(jù)進行運算和分析，就可以實時獲得完美的虛實合成畫面，實現(xiàn)景隨人動。

圖2 XR演播室主要系統(tǒng)配置功能及作用

圖3 XR演播室主要系統(tǒng)設(shè)備連線圖

圖4 XR演播室“前景”“背景”與“虛擬擴展”

2.2 實時圖像渲染引擎

渲染引擎是虛擬畫面生成的機器，是轉(zhuǎn)化設(shè)計師視覺創(chuàng)意的核心工具。在系統(tǒng)中，引擎接收服務(wù)器的渲染指令，渲染指定的幀畫面，并通過局域網(wǎng)將一幀一幀的畫面?zhèn)鬟f到系統(tǒng)下一流程，讓顯示大屏幕的虛擬場景實時跟蹤攝像機的視角，在攝像機鏡頭之前與現(xiàn)實所拍攝的畫面進行合成，實時映射人物和場景的空間關(guān)系，讓演員可以在LED屏幕所構(gòu)建的虛擬空間中進行表演，從而營造出無限的空間感。

2.3 LED屏幕背景透視投射

LED 屏幕視頻處理器將合成服務(wù)器的信號多屏幕同步播控管理，使攝像機拍攝的三折屏或弧形屏（含地屏）顯示的虛擬場景畫面與屏幕前的“真實角色”保持正確三點透視關(guān)系，攝像機的運動，使透視點也跟隨變動。同時實現(xiàn)的還有前景、背景、擴展、采集幾塊畫面區(qū)域的協(xié)同幀同步。

2.4 “背景”畫面擴展

在拍攝取景范圍運動到?jīng)]有LED 屏幕顯示的區(qū)域時，需要通過屏外區(qū)域疊加AR 畫面的方法，在采集信號上將場景延展顯示到無屏區(qū)域，實現(xiàn)虛擬世界的無限延伸。通過顏色校準及邊緣過度等畫面處理技術(shù)，實現(xiàn)屏內(nèi)外畫面的和諧統(tǒng)一。

2.5 周邊輔助設(shè)備

除主要XR 系統(tǒng)設(shè)備外，大屏內(nèi)容、虛擬擴展還要與演播室實景、燈光音響、舞美道具相配合，控制器聯(lián)動、虛實結(jié)合、輔助設(shè)備配合，共同完成節(jié)目制作導演所需要達到的效果。

3 發(fā)展前景

“沉浸式體驗”作為這些年的熱門話題，搜索增長量高達3800%。XR技術(shù)能夠打造兼具獨特風格與沉浸式觀眾體驗的舞臺，不僅可以突破空間限制，還能夠融入更多元的創(chuàng)意場景，豐富節(jié)目舞臺的表現(xiàn)層次，實現(xiàn)跨空間的奇妙互動，給觀眾耳目一新的視聽體驗。

XR 技術(shù)在今后的發(fā)展中可以與5G 和虛擬數(shù)字人等技術(shù)相結(jié)合，完成多項技術(shù)應(yīng)用的疊加使用。演唱會、主題晚會和常規(guī)節(jié)目的錄制，越來越多地采用XR 技術(shù)，這對于媒體從業(yè)人員也提出更高的挑戰(zhàn)。毋庸置疑的是，XR 技術(shù)將助力傳統(tǒng)媒體新的視覺語言表達和呈現(xiàn)，為行業(yè)帶來更多新活力。

審稿人：沈利俊 內(nèi)蒙古廣播電視臺正高級工程師