廣播電視臺(tái)超高清虛擬演播室系統(tǒng)技術(shù)及應(yīng)用

吳 勇

（梧州市廣播電視臺(tái)，廣西 梧州 543000）

0 引 言

隨著科技的飛速發(fā)展，廣播電視行業(yè)正迎來(lái)前所未有的變革。超高清虛擬演播室系統(tǒng)的出現(xiàn)，為觀眾提供了全新的視覺(jué)體驗(yàn)，還拓展了內(nèi)容創(chuàng)作的可能性。本文旨在深入探討超高清虛擬演播室系統(tǒng)的關(guān)鍵技術(shù)，以及它們?cè)趶V播電視領(lǐng)域的多種應(yīng)用。

1 超高清虛擬演播室系統(tǒng)的關(guān)鍵技術(shù)

1.1 4K/8K超高清視頻

4K和8K超高清視頻是指擁有極高分辨率的視頻格式，分別為3 840×2 160像素（4K）和7 680×4 320像素（8K）。4K視頻已經(jīng)相對(duì)成熟，廣泛應(yīng)用于電視、電影、流媒體和游戲。8K視頻則處于不斷發(fā)展中，目前主要用于高端電視和專(zhuān)業(yè)攝影領(lǐng)域。技術(shù)上，8K視頻需要更高的計(jì)算和存儲(chǔ)能力以及更大的帶寬來(lái)傳輸。4K/8K超高清視頻應(yīng)用場(chǎng)景十分豐富，包括媒體制作、電視和顯示技術(shù)、游戲、醫(yī)學(xué)成像以及虛擬現(xiàn)實(shí)等[1]。

1.2 虛擬交互技術(shù)

虛擬交互技術(shù)是一組涉及虛擬世界和現(xiàn)實(shí)世界的交互技術(shù)，其中包括虛擬現(xiàn)實(shí)（Virtual Reality，VR）、增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）、混合現(xiàn)實(shí)（Mixed Reality，MR）和拓展現(xiàn)實(shí)（Extended Reality，XR）等多種技術(shù)。VR技術(shù)通過(guò)戴在頭部的特殊頭戴顯示器，將用戶沉浸在完全虛構(gòu)的數(shù)字環(huán)境中。用戶可以與虛擬世界互動(dòng)，通常通過(guò)手柄、手勢(shì)識(shí)別或體感設(shè)備。VR可用于游戲、培訓(xùn)、醫(yī)學(xué)模擬和娛樂(lè)等領(lǐng)域。AR技術(shù)將數(shù)字信息疊加在現(xiàn)實(shí)世界中，通過(guò)手機(jī)、智能眼鏡或頭戴式顯示器實(shí)現(xiàn)。這使得用戶能夠看到和與真實(shí)世界中的物體進(jìn)行交互，同時(shí)獲取有關(guān)這些物體的數(shù)字信息。AR在導(dǎo)航、維修、教育和游戲等方面有廣泛的應(yīng)用。MR是VR和AR的混合，將虛擬元素嵌入到真實(shí)世界中，允許用戶與虛擬和現(xiàn)實(shí)物體進(jìn)行互動(dòng)。這種技術(shù)在培訓(xùn)、設(shè)計(jì)和遠(yuǎn)程協(xié)作等領(lǐng)域具有潛力。XR是一個(gè)涵蓋所有虛擬和增強(qiáng)現(xiàn)實(shí)技術(shù)的術(shù)語(yǔ)。它強(qiáng)調(diào)了這些技術(shù)之間的交叉和整合，以創(chuàng)造更豐富的交互體驗(yàn)。XR技術(shù)的發(fā)展正在逐漸消除虛擬與現(xiàn)實(shí)之間的界限[2]。

1.3 虛幻引擎

虛幻引擎是一款由Epic Games開(kāi)發(fā)的世界著名的游戲引擎，用于創(chuàng)建高質(zhì)量的3D游戲、VR、AR和模擬應(yīng)用程序。虛幻引擎以其卓越的圖形渲染能力而聞名。它支持先進(jìn)的渲染技術(shù)，如實(shí)時(shí)光線追蹤，可實(shí)現(xiàn)引人入勝的視覺(jué)效果。這使得虛幻引擎成為游戲制作、電影制作和虛擬現(xiàn)實(shí)體驗(yàn)的首選引擎。虛幻引擎采用了節(jié)點(diǎn)式的可視化編程方式，稱(chēng)為藍(lán)圖，使開(kāi)發(fā)人員可以快速創(chuàng)建和調(diào)整游戲邏輯、人工智能和交互性，而無(wú)須編寫(xiě)大量的代碼[3]。

1.4 攝像機(jī)跟蹤技術(shù)

攝像機(jī)跟蹤技術(shù)是一種用于電影制作、廣播、虛擬現(xiàn)實(shí)等領(lǐng)域的重要技術(shù)。它涉及自動(dòng)或半自動(dòng)地跟蹤移動(dòng)物體或目標(biāo)，并確保攝像機(jī)持續(xù)對(duì)準(zhǔn)目標(biāo)，以捕捉穩(wěn)定的圖像或視頻。攝像機(jī)跟蹤技術(shù)通常包括以下關(guān)鍵方面。第一，根據(jù)運(yùn)動(dòng)路徑進(jìn)行追蹤分析。攝像機(jī)通過(guò)自動(dòng)調(diào)整焦距、曝光和角度的運(yùn)算，以保持目標(biāo)在幀內(nèi)的穩(wěn)定位置。這對(duì)于拍攝運(yùn)動(dòng)比賽、行動(dòng)場(chǎng)景或虛擬現(xiàn)實(shí)體驗(yàn)非常重要。第二，物體識(shí)別。攝像機(jī)可以使用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)識(shí)別特定的物體或標(biāo)記，并將它們視為跟蹤目標(biāo)。這對(duì)于增強(qiáng)現(xiàn)實(shí)應(yīng)用程序、自動(dòng)駕駛汽車(chē)和工業(yè)自動(dòng)化等領(lǐng)域非常有用。第三，虛擬制作。在虛擬制作中，攝像機(jī)跟蹤技術(shù)與虛擬場(chǎng)景結(jié)合使用，以便將虛擬對(duì)象與實(shí)際拍攝的場(chǎng)景融合在一起。這創(chuàng)造了令人印象深刻的特效和沉浸式體驗(yàn)。第四，云臺(tái)控制。在電影制作中，專(zhuān)業(yè)的電影云臺(tái)使用攝像機(jī)跟蹤技術(shù)來(lái)平穩(wěn)追蹤運(yùn)動(dòng)中的演員或物體。攝像機(jī)跟蹤技術(shù)在現(xiàn)代媒體和技術(shù)中具有廣泛的應(yīng)用，提供了更好的圖像穩(wěn)定性，提升了自動(dòng)化效率，同時(shí)為創(chuàng)意和視覺(jué)效果的實(shí)現(xiàn)提供了重要工具。不斷的技術(shù)進(jìn)步和算法改進(jìn)將進(jìn)一步拓展其在這一領(lǐng)域的潛力[4]。

1.5 制作和播出控制系統(tǒng)

制作和播出控制系統(tǒng)是超高清虛擬演播室的重要技術(shù)設(shè)施，負(fù)責(zé)管理和控制節(jié)目制作、編輯和播出過(guò)程。超高清虛擬演播制作控制室是節(jié)目制作的核心，通常包括視頻和音頻混合設(shè)備、攝像機(jī)控制、燈光和音響設(shè)備等。其中，虛擬場(chǎng)景渲染、合成等工作需要由虛幻引擎（即三維實(shí)時(shí)渲染引擎）來(lái)完成。編輯套間配備了專(zhuān)業(yè)的視頻編輯軟件和硬件，編輯師可以使用它們剪輯、合成和渲染視頻，以獲得最終的節(jié)目。播出控制室用于管理和控制節(jié)目的播放。它包括視頻服務(wù)器、自動(dòng)化控制系統(tǒng)、廣告插播設(shè)備和轉(zhuǎn)播設(shè)備，確保節(jié)目按計(jì)劃播出?，F(xiàn)代制作和播出控制系統(tǒng)還需要與在線流媒體平臺(tái)和社交媒體集成，以實(shí)現(xiàn)多渠道分發(fā)。制作和播出控制系統(tǒng)通常具有實(shí)時(shí)監(jiān)控功能，以確保節(jié)目質(zhì)量，包括信號(hào)質(zhì)量、音頻水平和視頻幀率的監(jiān)測(cè)。自動(dòng)化在節(jié)目制作和播出中發(fā)揮重要作用，減少了人為錯(cuò)誤，提高了效率。人工智能在超高清虛擬演播室領(lǐng)域的應(yīng)用十分廣泛，包括語(yǔ)音識(shí)別、面部識(shí)別、物體檢測(cè)、智能畫(huà)面重構(gòu)、超分上變換、自動(dòng)調(diào)色和色彩匹配等應(yīng)用[5]。

2 超高清虛擬演播室系統(tǒng)在廣播電視領(lǐng)域的應(yīng)用

2.1 超高清虛擬演播室系統(tǒng)在綜藝節(jié)目中的應(yīng)用

超高清虛擬演播室系統(tǒng)在綜藝節(jié)目中的應(yīng)用，為綜藝節(jié)目提供了創(chuàng)新和沉浸式的元素，包括逼真的虛擬背景、特效和互動(dòng)性。綜藝節(jié)目可以借助這些系統(tǒng)創(chuàng)建令人驚嘆的場(chǎng)景，如虛擬競(jìng)技場(chǎng)、歷險(xiǎn)探索、變身角色等，增加節(jié)目的趣味性和視覺(jué)吸引力。綜藝節(jié)目制作者可以更靈活地構(gòu)建故事情節(jié)，節(jié)省制作成本，減少外景地點(diǎn)的需求，使綜藝節(jié)目更具創(chuàng)造力和競(jìng)爭(zhēng)力。例如，梧州市廣播電視臺(tái)制作的兒童節(jié)目“梧桐樹(shù)”欄目，通過(guò)超高清虛擬演播室完成主持人的錄制，大量使用各種高清畫(huà)面場(chǎng)景，通過(guò)制作軟件摳圖，結(jié)合預(yù)先錄制好的場(chǎng)景，最終在播出節(jié)目中實(shí)現(xiàn)了主持人在現(xiàn)場(chǎng)的實(shí)際效果，給觀眾呈現(xiàn)了逼真的視覺(jué)體現(xiàn)。再比如《莫吉托》節(jié)目，依托虛擬演播室，先在三地（XR Space虛擬演播廳、中央廣播電視總臺(tái)1號(hào)演播廳、臺(tái)北GETOP特效攝影棚）進(jìn)行舞臺(tái)坐標(biāo)和鏡頭標(biāo)定，提前做好所有分鏡腳本、視頻內(nèi)容、鏡頭預(yù)演后，將MOCO的運(yùn)動(dòng)軌跡與UE4（Unreal Engine）制作的XR虛擬內(nèi)容云快遞給臺(tái)北的堅(jiān)達(dá)GETOP虛擬制作團(tuán)隊(duì)，GETOP虛擬制作團(tuán)隊(duì)再1∶1地還原與北京中央廣播電視總臺(tái)拍攝現(xiàn)場(chǎng)完全一致的設(shè)定，最終向觀眾呈現(xiàn)人物、道具以及虛擬場(chǎng)景的互動(dòng)和結(jié)合的舞臺(tái)盛宴[6]。以Wonders靈境系列虛擬演唱會(huì)為例，其在酷狗音樂(lè)、酷狗直播、咪咕視頻、抖音直播等多個(gè)平臺(tái)播放，通過(guò)超高清虛擬演播室將真實(shí)樂(lè)隊(duì)置身于虛擬場(chǎng)景中，打破虛擬與現(xiàn)實(shí)的界限，通過(guò)絢爛的全景燈光、炫酷的畫(huà)面特效及震撼的表演形式，帶給觀眾沉浸式的娛樂(lè)新體驗(yàn)。

2.2 超高清虛擬演播室系統(tǒng)在體育節(jié)目中的應(yīng)用

超高清虛擬演播室系統(tǒng)在體育節(jié)目中的應(yīng)用，為觀眾呈現(xiàn)虛擬競(jìng)技場(chǎng)，重新創(chuàng)造比賽場(chǎng)地，并在實(shí)況轉(zhuǎn)播中添加互動(dòng)元素，包括實(shí)時(shí)統(tǒng)計(jì)、視覺(jué)效果和高級(jí)分析。這些系統(tǒng)還能夠提供多角度觀看、實(shí)時(shí)縮放和慢動(dòng)作回放，以深入剖析比賽。體育節(jié)目制作中的超高清虛擬演播室系統(tǒng)使觀眾能夠以前所未有的方式參與比賽，同時(shí)增加了廣告和贊助商的機(jī)會(huì)，提升了體育娛樂(lè)的質(zhì)量和吸引力。比如2022年冬奧會(huì)，中國(guó)國(guó)際電視臺(tái)就是運(yùn)用AR技術(shù)搭建了虛擬演播室，實(shí)現(xiàn)實(shí)景空間與虛擬元素的完美融合，通過(guò)虛擬交互技術(shù)拓展了演播室的空間，帶給觀眾如臨現(xiàn)場(chǎng)的觀看體驗(yàn)。

2.3 超高清虛擬演播室系統(tǒng)在新聞節(jié)目中的應(yīng)用

超高清虛擬演播室系統(tǒng)在新聞節(jié)目中的應(yīng)用，為新聞報(bào)道帶來(lái)了創(chuàng)新和實(shí)時(shí)性。它們?cè)试S新聞機(jī)構(gòu)創(chuàng)建虛擬背景，將記者置于虛擬場(chǎng)景中，從而使傳遞的信息更具沖擊力。這些系統(tǒng)還能夠?qū)崟r(shí)生成動(dòng)態(tài)圖表、圖像和模擬場(chǎng)景，用于解釋復(fù)雜的新聞事件。此外，虛擬演播室系統(tǒng)減少了外景拍攝的成本和風(fēng)險(xiǎn)，提高了靈活性和效率。這種技術(shù)改善了新聞報(bào)道的視覺(jué)質(zhì)量和互動(dòng)性，使觀眾更深入地理解新聞故事。以央視網(wǎng)2022年全國(guó)兩會(huì)新聞報(bào)道為例，制作組搭建了超高清虛擬演播室系統(tǒng)，采用兩套虛擬渲染引擎，實(shí)現(xiàn)VR和AR分別渲染輸出，形成虛擬背景和虛擬前景相結(jié)合的場(chǎng)景展現(xiàn)方式。虛擬渲染引擎搭載的是UE4（Unreal Engine）實(shí)時(shí)3D渲染引擎，支持4K/8K超高清實(shí)時(shí)渲染，并配備了攝像機(jī)跟蹤計(jì)算軟件、播出列表模板生成軟件等，為各種逼真特效與奇幻場(chǎng)景的制作提供技術(shù)支持。

3 結(jié) 語(yǔ)

本文深入探討了超高清虛擬演播室系統(tǒng)的關(guān)鍵技術(shù)及其在廣播電視領(lǐng)域的應(yīng)用。這些系統(tǒng)正在推動(dòng)媒體和娛樂(lè)領(lǐng)域的創(chuàng)新，為觀眾帶來(lái)更沉浸式的體驗(yàn)，同時(shí)提供了更多的創(chuàng)作和制作工具。超高清虛擬演播室系統(tǒng)已經(jīng)成為現(xiàn)代媒體制作的關(guān)鍵工具，將繼續(xù)塑造未來(lái)的廣播電視和數(shù)字娛樂(lè)體驗(yàn)。