超高清虛擬演播室系統(tǒng)在廣播電視工程中的應(yīng)用

鄭光維

（西藏自治區(qū)山南廣播電視臺，西藏 山南 856000）

0 引 言

超高清視頻技術(shù)是廣播電視技術(shù)從模擬、標清、高清向超高清的新發(fā)展。超高清視頻在視頻生產(chǎn)、網(wǎng)絡(luò)傳輸、終端呈現(xiàn)、核心元器件及平臺服務(wù)等產(chǎn)業(yè)鏈發(fā)展成果顯著。超高清虛擬演播室系統(tǒng)是集合4K/8K超高清視頻、虛擬現(xiàn)實、人工智能、計算機圖形圖像處理、渲染引擎等多種技術(shù)的電視節(jié)目制作技術(shù)。目前，超高清虛擬演播室系統(tǒng)在廣播電視工程中有廣泛的應(yīng)用，能夠有效解決實景演播室耗費大量的人力、物力、財力問題，縮短節(jié)目制作周期，提高演播室的利用率。

1 超高清虛擬演播室系統(tǒng)介紹及發(fā)展

1.1 超高清虛擬演播室系統(tǒng)介紹

2022年6月，國家廣播電視總局發(fā)布《國家廣播電視總局關(guān)于進一步加快推進高清超高清電視發(fā)展的意見》，明確提出加快推進高清超高清電視制播能力建設(shè)。虛擬演播室技術(shù)是在超高清電視發(fā)展的大背景下，將虛擬三維場景與電視攝像機現(xiàn)場拍攝相結(jié)合的電視節(jié)目制作技術(shù)，實現(xiàn)了真實人物與虛擬背景的完美結(jié)合。超高清虛擬演播室彌補了真實演播室的不足，打破了時間和空間的限制，能夠為電視節(jié)目制作提供更加豐富的場景，極大提升電視節(jié)目制作的想象空間與制作效率。超高清虛擬演播室系統(tǒng)集虛擬、切換臺、調(diào)音臺、錄制等功能為一體，通過內(nèi)置高品質(zhì)色鍵摳像模塊與外置色鍵器，實現(xiàn)切換臺、調(diào)音臺、虛擬圖文、PAD控制、自帶場景、虛擬前景、圖文包裝制作以及修改模塊等功能[1]。

1.2 虛擬演播室系統(tǒng)發(fā)展

虛擬演播室系統(tǒng)（Virtual Studio System，VSS）發(fā)展至今，產(chǎn)品已十分豐富，包括三維虛擬演播室、超高清虛擬演播室、云虛擬演播室以及智能虛擬演播室等。以三維虛擬演播室為例，其支持3dsMAX場景導(dǎo)入，支持場景的燈光、反射、抗鋸齒、反走樣以及陰影、霧化效果，支持模擬多路切換臺功能，支持在線字幕的修改以及拍打唱詞，支持特技模板以及上千種特技，色鍵采用GPU加速的軟硬件色鍵算法，支持色鍵模板任意色彩摳像以及摳像透明鍵顯示，系統(tǒng)廣播級內(nèi)同步，不需要音頻延時器[2]。以超高清虛擬演播室為例，其以高質(zhì)量、高效率渲染引擎為基礎(chǔ)，通過GPU+CPU技術(shù)，結(jié)合實時光線追蹤技術(shù)，實現(xiàn)超高清虛擬演播室在光照材質(zhì)、特技濾鏡、粒子系統(tǒng)等方面的性能突破；通過HDR/寬色域轉(zhuǎn)換、自繪無限藍箱、像素特技、4K/8K鏡頭、傳感設(shè)備等實現(xiàn)虛擬與現(xiàn)實的完美結(jié)合與跟蹤效果[3]；支持4K/8K UHD數(shù)字信號的輸入與輸出，并且支持HD/SD信號格式，能夠滿足廣播電視多樣化的節(jié)目制作需求。以云虛擬演播室為例，其通過云平臺部署模式，可選擇私有云、公有云或混合云部署模式進行云虛擬演播室建設(shè)，通過云資源庫為廣播電視臺提供豐富的三維場景、三維物體、動畫模板、資訊包裝等。云虛擬演播室實現(xiàn)了編輯系統(tǒng)與播出系統(tǒng)的分離，支持標清、高清、4K/8K等多種輸出格式[4]。

2 超高清虛擬演播室系統(tǒng)核心技術(shù)

2.1 色鍵器

色鍵器是超高清虛擬演播室系統(tǒng)的重要組成部分，作為超高清虛擬演播室的專業(yè)視頻摳像設(shè)備，實現(xiàn)前景視頻與背景合成的高效制作與輸出。4K/8K色鍵器支持3 840×2 160、7 680×4 320等清晰度，P50/P60、P100/P120等幀率，通過內(nèi)置高品質(zhì)色鍵摳像模塊，搭載廣播級外置色鍵器，配備專業(yè)廣播級摳像卡，實現(xiàn)復(fù)雜場景的良好摳像效果[5]。

2.2 藍 箱

藍箱是超高清虛擬演播室的數(shù)字攝影棚，是保障摳像畫面質(zhì)量的基本要素之一。超高清虛擬演播室藍箱在搭建過程中可選擇L形、扇形、U形等不同形式，可根據(jù)不同廣播電視單位場地與節(jié)目選擇合適的搭建形式，確保合理利用空間，為攝影師、主持人保留更多的活動區(qū)域。藍箱搭建過程中要注意轉(zhuǎn)角處的平滑過渡、地面的干凈整潔，以確保摳像效果[6]。

2.3 渲染平臺

超高清虛擬演播室系統(tǒng)的渲染平臺選擇實時渲染平臺，通過CPU+GPU結(jié)構(gòu)，充分提升渲染平臺的圖像、視頻運算、處理能力，提供強勁的渲染動力，保障超高清圖形與圖像的渲染效果。渲染系統(tǒng)自帶場景、虛擬前景、圖文包裝制作、修改模塊等功能，以真實的光跡追蹤、光照技術(shù)、空間搖移效果，達到現(xiàn)實與虛擬的完美融合，提升超高清電視節(jié)目的視覺效果。

2.4 多種跟蹤模式

超高清虛擬演播室常見的跟蹤模式有機械傳感、紅外移動、網(wǎng)格等。不同的跟蹤模式有自身的優(yōu)缺點。為保證超高清虛擬演播室的攝影攝像效果，可采用多種跟蹤模式相結(jié)合的形式，充分發(fā)揮各種跟蹤模式的優(yōu)點。通過電動、光學、無軌等多種跟蹤模式，搭配小型至中型的攝像機搖臂、智慧3D追蹤搖臂及紅外線追蹤器等，實現(xiàn)無軌跟蹤與有軌機械傳感跟蹤于一身，可適應(yīng)廣播電視各種跟蹤場景，保障廣播電視節(jié)目制作的高質(zhì)量呈現(xiàn)效果[7]。

2.5 模型設(shè)計

超高清虛擬演播室場景設(shè)計需要通過3DMAX、Maya、C4D等建模軟件完成，通過建模軟件構(gòu)建三維場景模型，達到真實場景的效果。運用三維模型設(shè)計，能夠完成靜態(tài)、動態(tài)圖形與視頻的設(shè)計制作工作，并且可完成風景、動物、植物等多種虛擬特效設(shè)計，豐富超高清電視節(jié)目的視覺效果。模型設(shè)計為廣播電視從業(yè)人員提供了便捷的制作工具。在電視、電影、廣告等節(jié)目制作過程中運用模型設(shè)計，可進行一些新穎、創(chuàng)新的效果設(shè)計，提升整個節(jié)目的視覺效果[8]。

3 超高清虛擬演播室系統(tǒng)在廣播電視工程中的具體應(yīng)用

超高清虛擬演播室系統(tǒng)目前已在廣播電視工程領(lǐng)域有廣泛的應(yīng)用，極大提升了廣播電視單位節(jié)目錄制效率與質(zhì)量，推動超高清電視節(jié)目的高質(zhì)量發(fā)展。

以廣東廣播電視臺為例，其于2019年開展4K超高清虛擬演播室建設(shè)，系統(tǒng)包括視頻系統(tǒng)、音頻系統(tǒng)、虛擬系統(tǒng)、燈光系統(tǒng)及綠箱等，具備虛擬現(xiàn)實（Virtual Reality，VR）、增 強 現(xiàn) 實（Augmented Reality，AR）、混合現(xiàn)實（Mixed Reality，MR）以及拓展現(xiàn)實（Extended Reality，XR）制作能力，并被應(yīng)用于《全球零距離》《鄉(xiāng)村振興大擂臺》《國樂大典》等節(jié)目的制作中。

以寧波廣播電視臺為例，為適應(yīng)融媒體發(fā)展趨勢，寧波廣播電視臺開展了超高清虛擬演播室系統(tǒng)建設(shè)工程，系統(tǒng)架構(gòu)分為視頻信號源、音頻信號源，通過超高清虛擬演播室系統(tǒng)完成節(jié)目制作工作。綠箱、燈光、設(shè)備集成、音頻子系統(tǒng)等項目建設(shè)完成后，超高清虛擬演播室系統(tǒng)被應(yīng)用于寧波廣播電視臺的新聞節(jié)目、綜藝節(jié)目、直播等節(jié)目制作中。

以銀川市新聞傳媒集團為例，其開展新聞直播超高清虛擬演播室系統(tǒng)建設(shè)，主要應(yīng)用技術(shù)包括摳像技術(shù)、渲染引擎、跟蹤、VR、三維全景、實時直播等技術(shù)，打造新聞虛擬演播室，為提高超高清新聞節(jié)目質(zhì)量，配備高清攝像頭、4K高清攝像機、5G移動終端等設(shè)備，并應(yīng)用于《銀川新聞聯(lián)播》《聚焦兩會》等新聞節(jié)目直播中。

以中央廣播電視總臺為例，其已完成超高清虛擬演播室系統(tǒng)建設(shè)，廣泛應(yīng)用于電視、綜藝、新聞等節(jié)目制作中。2022年兩會期間，央視網(wǎng)策劃訪談直播節(jié)目《兩會C+時刻》，將超高清虛擬演播室系統(tǒng)與虛擬數(shù)字人結(jié)合，央視網(wǎng)超高清虛擬演播室系統(tǒng)通過主渲染引擎、副渲染引擎相結(jié)合，實現(xiàn)了VR、AR渲染輸出。虛擬渲染引擎搭載UE4（Unreal Engine）實時3D渲染引擎。UE4是一種游戲制作渲染引擎，區(qū)別于Maya、3ds Max、Blender、Cinema4D等影視制作軟件，UE4具備超高清實時渲染能力，目前已被應(yīng)用于電視、電影、廣告、建筑等諸多領(lǐng)域。在運用超高清虛擬演播室系統(tǒng)制作《兩會C+時刻》節(jié)目過程中，技術(shù)人員運用了動作捕捉技術(shù)、面部捕捉技術(shù)、實時數(shù)據(jù)傳輸技術(shù)及虛擬攝像機跟蹤技術(shù)等，為觀眾呈現(xiàn)了“虛擬+實景+虛擬數(shù)字人小C”的高品質(zhì)節(jié)目播出效果。

4 結(jié) 語

虛擬演播室隨著新一代信息技術(shù)的發(fā)展，與虛擬現(xiàn)實、人工智能、5G、大數(shù)據(jù)等技術(shù)的融合也更加緊密。在融媒體、超高清電視時代，超高清虛擬演播室技術(shù)在廣播電視領(lǐng)域中的應(yīng)用日益廣泛，推動了電視節(jié)目、綜藝節(jié)目、新聞節(jié)目及直播節(jié)目的發(fā)展。在未來，隨著元宇宙的不斷發(fā)展，虛擬演播室與超高清、虛擬現(xiàn)實之間的聯(lián)系會更加緊密。超高清虛擬演播室在廣播電視工程領(lǐng)域中的應(yīng)用場景會更加多元化，推動超高清廣播電視節(jié)目的高清化、智慧化、融合化發(fā)展。