游戲引擎環(huán)境下4K虛擬演播室系統(tǒng)設(shè)計探討

浙江傳媒學(xué)院 黃河

近年來，游戲領(lǐng)域中超高清實時渲染、五花八門的特效及交互等新技術(shù)被逐漸引入到廣播電視行業(yè)中的電視圖文及虛擬演播室包裝，這些新技術(shù)的使用為該行業(yè)提供了全新的制作思路與方法，亦為廣播電視行業(yè)開啟了嶄新的制作前景。本文以Zero Density 公司的虛擬演播室/增強現(xiàn)實系統(tǒng)為例，探討了當(dāng)前游戲引擎現(xiàn)狀，虛幻引擎（Unreal Engine）的優(yōu)勢，以及游戲引擎環(huán)境下4K級別虛擬演播室、增強現(xiàn)實、混合現(xiàn)實的系統(tǒng)硬軟件構(gòu)成。

虛擬演播技術(shù)自1994年國際廣播電視會議上首次出現(xiàn)至今不到30年的歷史，期間國內(nèi)外大大小小的公司研發(fā)推出了具有各自特點的虛擬演播室軟硬件產(chǎn)品，從國外以色列ORAD 公司開發(fā)的基于圖像識別的Cyberset虛擬演播室系統(tǒng)到國內(nèi)大洋公司的Vrset 虛擬演播系統(tǒng)，虛擬演播室產(chǎn)品可謂琳瑯滿目，其獨特的圖文包裝力在各行各業(yè)迅速應(yīng)用。曾幾何時虛擬演播室一度被用作控制制作預(yù)算的一種手段，與實景相比虛擬場景更容易實現(xiàn)、修改，具有可以不斷的重復(fù)利用，使用成本低等特點，雖然虛擬演播室具有這些優(yōu)勢，但也有首期投入大、虛擬場景、摳像不夠真實、攝像機跟蹤有延遲、使用復(fù)雜等缺點，技術(shù)上的限制使得虛擬演播室沉寂了一段時間。近年來隨著游戲領(lǐng)域中電影級別的視覺效果，超高清場景逼真的實時渲染、4K 級別優(yōu)秀的畫質(zhì)、令人嘆為觀止的特效及交互等新技術(shù)在電視圖文包裝及虛擬演播室行業(yè)中的推廣，為此行業(yè)帶來了新發(fā)展與新希望，從而打開了嶄新的應(yīng)用前景，這些新技術(shù)正廣泛地應(yīng)用于大型綜藝晚會(2021 春節(jié)聯(lián)歡晚會)、競選直播、體育轉(zhuǎn)播、電競比賽等各行各業(yè)。

1 游戲引擎與虛擬演播室技術(shù)結(jié)合

1.1 游戲引擎簡介

游戲引擎其實就是一個平臺，整合了完成游戲制作的各種系統(tǒng)，主要由以下部分組成：圖像渲染引擎、物理引擎、人體學(xué)接口設(shè)備引擎、網(wǎng)絡(luò)引擎、碰撞檢測系統(tǒng)、音效、電腦動畫、腳本引擎、人工智能以及場景管理等，它涉及到游戲制作中的所有元素，例如硬件調(diào)用、渲染、動畫、貼圖、交互等方方面面。游戲設(shè)計開發(fā)是一項多學(xué)科高度融合的工作，其中高度復(fù)雜的代碼開發(fā)只是最基本的技能之一，它涉及的內(nèi)容還有計算機圖形學(xué)、三維數(shù)學(xué)、物理學(xué)等復(fù)雜的學(xué)科。若需要掌握這么多學(xué)科知識才能進行游戲制作開發(fā)，對大多數(shù)人來說是很難完成的任務(wù)，更談不上開發(fā)游戲。而游戲引擎是引擎開發(fā)者已編寫好一些代碼，然后把各種復(fù)雜的代碼封裝起來構(gòu)成了一些基礎(chǔ)核心組件，這些組件可以被游戲開發(fā)者直接調(diào)用而不用考慮一些底層的東西，這樣一般的游戲開發(fā)者制作游戲就不用掌握游戲開發(fā)的各項細節(jié)，如此以來能大大縮短開發(fā)周期、節(jié)約開發(fā)成本，使得游戲開發(fā)不是那么的高不可攀。

目前比較主流的游戲開發(fā)引擎有國外的EPIC 公司“虛幻”即Unreal Engine 簡稱UE（開發(fā)過“絕地求生”“使命召喚”）、Unity Technologies 公司的“Unity3D”（開發(fā)過“王者榮耀”“神廟逃亡”）、Valve 公司“起源”(制作過“半條命”)、EA DICE“寒霜”（開發(fā)過“戰(zhàn)地”）。國內(nèi)網(wǎng)易的“彌賽亞引擎”（開發(fā)過《天下3》）、搜狐的“黑火”引擎（開發(fā)過“代號x7”）、金山軟件西山居研發(fā)的“劍三”引擎，專門為《劍俠情緣網(wǎng)絡(luò)版三》打造的一款游戲引擎等。

1.2 Epic 公司的Unreal Engine 虛幻引擎被引入電視圖文制作

Epic Games 公司于1998年發(fā)布了首款虛幻游戲引擎（Unreal Engine 簡稱UE），至今最新版本為Unreal Engine5。UE 作為一款游戲引擎被引入到電視圖文及虛擬演播室制作，是因為它具有以下優(yōu)勢：

（1）UE 從UE4 開始代碼是開源的，從而用戶可以從最底層開發(fā)，最大限度的發(fā)揮平臺的優(yōu)勢。（2）UE 開發(fā)的游戲畫質(zhì)能到達電影級，能渲染出極度逼真的超高清畫面。（3）UE 從UE4 開始它是免費的，可直接從EPIC 公司官網(wǎng)下載使用。（4）UE 既能利用C++從底層進行開發(fā)，又能當(dāng)開發(fā)者對編程不是很熟悉的情況下也可以使用它的可視化編程，即獨具特色的藍圖（Blueprint），利用封裝的藍圖節(jié)點實現(xiàn)相應(yīng)的邏輯功能。（5）UE 是跨平臺的引擎，支持從Xbox One 到Windows、Mac OSX、Linux 等系統(tǒng)。正因為以上優(yōu)勢，它就具有了被引入到影視圖文制作的條件，目前國外比較好的把UE4 引入電視圖文及虛擬演播制作的公司有土耳其注冊的Zero Density公司，它于2016年全球首次推出了基于虛幻4 引擎的電影級虛擬影視制作系統(tǒng)Reality，它不光使用虛擬引擎進行場景的渲染，還包含基于節(jié)點的摳像、4K 級別的視頻輸入輸出、交互性播控、攝像機跟蹤系統(tǒng)的支持、API接口等，它充分發(fā)揮了虛幻引擎的優(yōu)秀畫質(zhì)，實時的圖形優(yōu)化，它是個完善的實時電視節(jié)目及虛擬制作系統(tǒng)[1]。

2 虛幻引擎環(huán)境下4K 虛擬演播室/增強現(xiàn)實系統(tǒng)硬軟件系統(tǒng)

2.1 Zero Density 系統(tǒng)構(gòu)成

Zero Density 作為全球首家推出虛幻環(huán)境下虛擬演播系統(tǒng)解決方案的公司在行業(yè)內(nèi)具有一定的領(lǐng)先優(yōu)勢，也是目前世界上畫質(zhì)最好、最真實的系統(tǒng)。本文以此公司的Reality 虛擬演播室/增強現(xiàn)實系統(tǒng)為例探討UE4環(huán)境下硬軟件系統(tǒng)。此系統(tǒng)構(gòu)成如圖1所示。

圖1 Zero Density 虛擬演播室系統(tǒng)圖Fig.1 Zero Density virtual studio system diagram

Reality Engine（渲染引擎）：Reality Engine 是一臺高性能的圖形工作站，主板插槽上運行高性能顯卡Nvidia RTX A6000 GPU，以及AJA88 視頻采集卡等硬件設(shè)備。渲染引擎的內(nèi)核基于EpicGames 公司的Unreal Engine 引擎，能實時渲染輸出電影級的畫面，引擎包含了能利用GPU 處理能力的內(nèi)置色鍵器進行16bit 實時摳像，可對所有輸入引擎的視頻進行摳像處理，并在引擎內(nèi)部合成到虛擬場景之中，色鍵使用實時像素對比方式進行摳像，且能夠指定任意形狀（規(guī)則圖形和不規(guī)則圖形）的摳像區(qū)域和不摳像區(qū)，Reality Engine 支持行業(yè)標(biāo)準(zhǔn)的機械和光學(xué)攝像機跟蹤系統(tǒng)。

Reality Engine 可以實現(xiàn)虛擬演播室、增強現(xiàn)實、混合現(xiàn)實制作，主要負責(zé)節(jié)目制作中虛擬場景的實時渲染、攝像機實拍畫面和虛擬畫面的合成以及視頻的輸入和輸出，需要安裝運行Reality Engine Server。

（1）Reality Editor（編輯工作站）：虛擬場景及藍圖交互設(shè)計制作的工作站，安裝運行Reality Editor，此設(shè)計制作軟件實際上是UE 相應(yīng)版本的改裝，增加了一些Reality 的封裝節(jié)點及功能。因為Reality Editor 基于開放且通用的UE4 平臺，而非封閉的獨家制作軟件，所以能從諸如C4D/Maya/3D Max4 這樣的通用制作平臺導(dǎo)入模型等對象。

（2）Reality Control（控制工作站）：Reality Control是Reality 系統(tǒng)的一個集成控制界面，用戶可以在臺式機或筆記本上操作、配置和監(jiān)控系統(tǒng)中所有的引擎，對所有引擎進行統(tǒng)一設(shè)置和動畫觸發(fā)。它也可以通過網(wǎng)絡(luò)遠程控制節(jié)目的播出及引擎的管理。安裝運行Reality Control，設(shè)置引擎、Cooker 的網(wǎng)絡(luò)地址及端口，Control 中優(yōu)化項目(Cook)，導(dǎo)入相應(yīng)的打包項目，監(jiān)控系統(tǒng)運行及狀態(tài)。

（3）R 盤（網(wǎng)路存取映射盤）：作為整個Reality 系統(tǒng)網(wǎng)絡(luò)的共享存儲空間，是系統(tǒng)中素材和資源的保存盤，一些必要的配置文件也保存于該盤。

（4）Cook Server（打包服務(wù)器）：負責(zé)對制作完成的場景進行打包優(yōu)化處理，并將打包完成的文件保存于指定相應(yīng)文件夾下，以供引擎運行時調(diào)用。

2.2 Reality 虛擬演播系統(tǒng)工作流程

運行Reality Engine Server，使用ZD 自帶的Reality Editor 或相應(yīng)版本的UE4 制作好場景及藍圖，藍圖的GameMode 模式設(shè)置為ZD GameMode 點擊運行，打開Reality Control，設(shè)置或?qū)隦Graph 文件，根據(jù)光照情況調(diào)整好摳像，調(diào)整好跟蹤信號等，然后可以控制藍圖節(jié)點從而控制場景中相應(yīng)的對象。

2.3 核心硬件系統(tǒng)搭建

系統(tǒng)主要由渲染引擎（Reality Engine）、攝像機跟蹤系統(tǒng)、4K 攝像機和同步發(fā)生器等構(gòu)成，如圖2所示。

圖2 Zero Density 虛擬演播室硬件結(jié)構(gòu)圖Fig.2 Zero Density hardware structure diagram of virtual studio

以浙江傳媒學(xué)院4K 電競綜合實驗室為例：攝像機采用的是SONY HDC-3500 4K 超高清攝像機，攝像機上加裝了跟蹤系統(tǒng)，目前加裝的Mo-Sys 公司的StarTracker光學(xué)跟蹤系統(tǒng)，Reality Engine 虛擬渲染引擎可以支持Shotoku、Vinten、Stype、Mo-Sys、Ncam、Solid Track、Trackman、Gension、Ross Furio 等常見虛擬跟蹤設(shè)備品牌。當(dāng)沒有跟蹤設(shè)備的時候，能夠以無軌跟蹤的形式模擬攝像機運動，所實現(xiàn)的虛擬機位和運動路徑?jīng)]有數(shù)量限制，同一臺引擎可支持多個來源的跟蹤數(shù)據(jù)接入[2，3]。

3 結(jié)語

游戲引擎環(huán)境下的虛擬演播室、增強現(xiàn)實、混合現(xiàn)實是目前最優(yōu)的實時廣播合成系統(tǒng)，可在一臺機器上實現(xiàn)具有視頻I/O、鍵控、合成和渲染的實時視覺效果。作為最逼真的實時制作解決方案，可以創(chuàng)建最具沉浸感的內(nèi)容，并徹底改變廣播、媒體和電影行業(yè)的敘事方式。廣電行業(yè)涉及的領(lǐng)域非常龐大，涵蓋從攝像機和演播室到網(wǎng)絡(luò)技術(shù)、后期制作服務(wù)和直播視頻的方方面面，近年來隨著游戲引擎在行業(yè)的引入，帶來了令人難以置信的進步，這些發(fā)展預(yù)示著全新的電視圖文包裝和虛擬演播室技術(shù)的興起。