XR 關(guān)鍵技術(shù)及其在廣播電視領(lǐng)域的應(yīng)用

蔡浩君，王成偉，任 遠(yuǎn)

（1.浙江省中波發(fā)射管理中心，浙江 杭州 310000；2.浙江省景寧縣融媒體中心，浙江 麗水 323500；3.濟(jì)南廣播電視臺(tái)，山東 濟(jì)南 250000）

0 引言

隨著技術(shù)的不斷演進(jìn)，拓展現(xiàn)實(shí)（Extended Reality，XR）技術(shù)已經(jīng)走進(jìn)了人們的日常生活。它超越了傳統(tǒng)媒體的界限，將虛擬和現(xiàn)實(shí)世界相融合，給廣播電視領(lǐng)域帶來(lái)了革命性的變革。本文將探討XR 技術(shù)的概念、關(guān)鍵技術(shù)以及在廣播電視領(lǐng)域的應(yīng)用，特別關(guān)注虛幻引擎和虛擬演播室這兩個(gè)引領(lǐng)潮流的技術(shù)，研究它們?nèi)绾斡绊憦V播電視制作，提高觀眾體驗(yàn)。通過(guò)本研究，揭示XR 技術(shù)對(duì)傳媒產(chǎn)業(yè)的影響以及未來(lái)可能的發(fā)展趨勢(shì)。

1 XR 技術(shù)概述

1.1 XR 的概念

XR 是一種綜合性技術(shù)，包括增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）、虛擬現(xiàn)實(shí)（Virtual Reality，VR）和混合現(xiàn)實(shí)（Mixed Reality，MR）。它的目標(biāo)是改變用戶的感知體驗(yàn)，通過(guò)電子設(shè)備將數(shù)字信息與物理世界互動(dòng)，創(chuàng)造出全新的交互和沉浸式體驗(yàn)，在娛樂(lè)、教育及醫(yī)療等領(lǐng)域具有巨大潛力[1]。

1.2 XR 關(guān)鍵技術(shù)

XR 的關(guān)鍵技術(shù)包括AR、VR 和MR 等技術(shù)。這些技術(shù)包括如下關(guān)鍵要素。

（1）傳感技術(shù)。攝像頭、深度傳感器和位置傳感器，用于捕捉用戶的周圍環(huán)境和位置信息，以便將虛擬元素準(zhǔn)確疊加到實(shí)際場(chǎng)景中。

（2）虛擬元素創(chuàng)建和渲染。XR 應(yīng)用需要能夠創(chuàng)建和渲染3D 虛擬元素，以與實(shí)際世界融合。這需要使用計(jì)算機(jī)圖形學(xué)、3D 建模和渲染技術(shù)。

（3）視覺(jué)識(shí)別和跟蹤。XR 系統(tǒng)需要能夠識(shí)別實(shí)際世界中的物體和圖案，以便將虛擬元素與它們關(guān)聯(lián)，包括計(jì)算機(jī)視覺(jué)和圖像處理技術(shù)。

（4）實(shí)時(shí)計(jì)算。XR 需要快速的實(shí)時(shí)計(jì)算能力，以確保虛擬元素的穩(wěn)定疊加和交互。這需要強(qiáng)大的硬件和實(shí)時(shí)算法。

（5）用戶界面設(shè)計(jì)。為了實(shí)現(xiàn)用戶友好的體驗(yàn)，XR 應(yīng)用需要優(yōu)秀的用戶界面設(shè)計(jì)，包括手勢(shì)識(shí)別、音頻交互和頭顯設(shè)備的設(shè)計(jì)[2]。

1.3 XR 產(chǎn)業(yè)發(fā)展現(xiàn)狀

隨著元宇宙概念的興起與發(fā)展，XR 產(chǎn)業(yè)迎來(lái)新的發(fā)展機(jī)遇，在硬件側(cè)、軟件側(cè)、內(nèi)容及應(yīng)用側(cè)發(fā)展勢(shì)頭強(qiáng)勁。

硬件側(cè)，芯片、光學(xué)模組及微顯示屏等核心零部件的發(fā)展推動(dòng)硬件側(cè)產(chǎn)業(yè)鏈的完善。以VR 一體機(jī)主流芯片高通驍龍XR2、蘋果公司M 系列芯片、Meta 公司RISC-V 芯片為代表，推動(dòng)XR 設(shè)備在高速無(wú)線通信、高品質(zhì)圖像處理及多傳感器信息融合等方面能力的提升。Pancake 光學(xué)技術(shù)推動(dòng)VR 頭顯輕薄化發(fā)展。光學(xué)技術(shù)經(jīng)歷了非球面透鏡、菲涅爾透鏡和Pancake 三個(gè)階段，Pancake 光學(xué)方案在裸機(jī)重量方面與菲涅爾透鏡相比有明顯減輕，輕薄性方面與菲涅爾透鏡相比有明顯提升。AR 眼鏡向消費(fèi)端發(fā)展，Nreal、雷鳥(niǎo)創(chuàng)新、Rokid、小米米家、INMO 影目等企業(yè)的AR 眼鏡2022 年銷量排名前5，代表產(chǎn)品有Nreal Air 眼鏡、XR 眼鏡雷鳥(niǎo)Air 和Air 1S。視聽(tīng)交互從觸覺(jué)向觸覺(jué)、嗅覺(jué)多感官融合方向發(fā)展。如瑞典斯德哥爾摩大學(xué)研究團(tuán)隊(duì)研發(fā)的手持式嗅覺(jué)儀（NHO）、中國(guó)數(shù)字氣味技術(shù)研發(fā)企業(yè)氣味王國(guó)推出的Telescent 嗅覺(jué)遠(yuǎn)程傳遞系統(tǒng)[3]。

軟件側(cè)指XR開(kāi)發(fā)工具包（Software Development Kit，SDK），為各種XR 應(yīng)用的邏輯編程、圖形渲染和定位操控開(kāi)發(fā)提供技術(shù)支持。專業(yè)XR SDK 向標(biāo)準(zhǔn)化方向發(fā)展，如南京睿悅信息技術(shù)有限公司發(fā)布的三維交互Cocos CreatorXR 引擎、微軟的跨平臺(tái)工具M(jìn)ixed Reality Toolkit 3（MRTK3）。低門檻用戶生產(chǎn)內(nèi)容（User Generated Content，UGC）工具應(yīng)用場(chǎng)景不斷拓展，面向普通內(nèi)容創(chuàng)作者的XR SDK 需求在不斷增加，如英國(guó)Blippar 平臺(tái)的AR 創(chuàng)建工具Blippbuilder、3D 社交平臺(tái)Spatial 推出的Spatial Creator Toolkit[4]等。

內(nèi)容及應(yīng)用側(cè)，XR 優(yōu)質(zhì)內(nèi)容不斷產(chǎn)出，應(yīng)用場(chǎng)景不斷拓展，如XR 賽事、XR 音樂(lè)會(huì)等場(chǎng)景，帶給用戶沉浸式的觀賽與音樂(lè)視聽(tīng)體驗(yàn)。例如，2022 年，足球世界杯實(shí)現(xiàn)VR 看球、AR 觀賽；2022 年，虛擬偶像樂(lè)隊(duì)Gorillaz 打造了基于位置的AR 音樂(lè)會(huì)[5]。

2 XR 在廣播電視領(lǐng)域的應(yīng)用

2.1 虛幻引擎在廣播電視領(lǐng)域的應(yīng)用

虛幻引擎是Epic Games 公司開(kāi)發(fā)的最開(kāi)放、最先進(jìn)的實(shí)時(shí)3D 創(chuàng)作工具，目前版本已更迭至虛幻引擎5。虛幻引擎是一套完整的開(kāi)發(fā)工具，面向任何使用實(shí)時(shí)技術(shù)工作的用戶。從設(shè)計(jì)可視化和電影式體驗(yàn)，到制作PC、主機(jī)、移動(dòng)設(shè)備、VR 和AR 平臺(tái)上的高品質(zhì)游戲。虛幻引擎功能模塊包括管道集成，世界場(chǎng)景構(gòu)建，角色與動(dòng)畫(huà)，渲染、光照和材質(zhì)，模擬和效果，游戲性和交互性編寫(xiě)，集成的媒體支持，虛擬制片，內(nèi)容，開(kāi)發(fā)者工具以及平臺(tái)支持等。虛幻引擎的行業(yè)應(yīng)用包括游戲、影視、建筑、汽車與運(yùn)輸、廣播與實(shí)況活動(dòng)以及模擬等方面[6]。

影視領(lǐng)域，虛幻引擎用于構(gòu)建虛擬世界，配備好萊塢級(jí)的電影工具和強(qiáng)大的視效、物理及光照系統(tǒng)。虛幻引擎可為影視制作逼真的視覺(jué)效果，創(chuàng)造身臨其境的體驗(yàn)，用它創(chuàng)作動(dòng)畫(huà)，制作視覺(jué)特效，展開(kāi)虛擬制片工作流程，完成復(fù)雜的場(chǎng)景組建、LED墻前拍攝連續(xù)劇等各種任務(wù)。迪士尼電視動(dòng)畫(huà)公司通過(guò)虛幻引擎將2D 動(dòng)畫(huà)《格林一家進(jìn)城趣》轉(zhuǎn)換成3D 動(dòng)畫(huà)，通過(guò)實(shí)時(shí)CG 管線、2D 管線等將《格林一家進(jìn)城趣》節(jié)日特輯的《虛擬圣誕節(jié)》通過(guò)虛幻引擎制作成16 min 的3D 鏡頭[7]。

虛幻引擎還可應(yīng)用于廣播與實(shí)況活動(dòng)。虛幻引擎提供AR、動(dòng)態(tài)影像、視頻墻、插播內(nèi)容及虛擬布景等技術(shù)支持，通過(guò)虛幻引擎實(shí)時(shí)工作流程制作體育及電競(jìng)廣播、天氣預(yù)報(bào)、實(shí)況活動(dòng)和表演等內(nèi)容。虛幻引擎在廣播與實(shí)況活動(dòng)中具備集成化、實(shí)時(shí)合成、多屏渲染、粒子、特效及處理等功能。在集成化方面，通過(guò)虛幻引擎打通格式、協(xié)議、硬件及軟件等全流程，支持所有主流3D 追蹤系統(tǒng)，支持諸如開(kāi)放音頻控制（Open Sound Control，OSC）等協(xié)議，支持HAP、Apple ProRes 和Avid DNxHD 等格式。在實(shí)時(shí)合成方面，虛幻引擎通過(guò)內(nèi)置合成器Composure實(shí)現(xiàn)實(shí)時(shí)合成編輯，配合綠幕鍵控、虛擬攝像機(jī)等設(shè)備，實(shí)現(xiàn)顏色分級(jí)、電影級(jí)色調(diào)映射、Open Color IO、景深、鏡頭眩光、光學(xué)變形、邊緣光融合、泛光和光暈等功能。多屏渲染方面，虛幻引擎的nDisplay系統(tǒng)支持不同分辨率的實(shí)時(shí)渲染。在粒子、特效和處理方面，虛幻引擎內(nèi)置粒子系統(tǒng)Niagara，支持創(chuàng)建影視級(jí)的視覺(jué)效果。虛幻引擎為廣播動(dòng)畫(huà)創(chuàng)作提供技術(shù)支持，包括預(yù)渲染的動(dòng)畫(huà)和實(shí)時(shí)圖形。虛幻引擎提供了傳統(tǒng)低質(zhì)量廣播圖形應(yīng)用程序?qū)崟r(shí)編輯和渲染的能力，帶來(lái)離線渲染器高端、先進(jìn)的渲染功能。紐約的KéexFrame 工作室使用虛幻引擎為2022 年卡塔爾世界杯制作了一段實(shí)時(shí)開(kāi)場(chǎng)動(dòng)畫(huà)。

2.2 虛擬演播室在廣播電視領(lǐng)域的應(yīng)用

虛擬演播室是通過(guò)XR 虛擬拍攝技術(shù)構(gòu)建的發(fā)光二極管（Light Emitting Diode，LED）顯示屏演播室，核心組成包括LED 顯示屏、渲染服務(wù)器、合成服務(wù)器、相機(jī)追蹤系統(tǒng)、燈光系統(tǒng)、攝像系統(tǒng)和音響系統(tǒng)等[8]。這一技術(shù)在廣播電視領(lǐng)域有廣泛的應(yīng)用，主要包括以下功能。

（1）沉浸式空間透視。虛擬演播室通過(guò)LED顯示屏創(chuàng)造逼真的虛擬背景，使觀眾沉浸于各種環(huán)境，如城市風(fēng)景、歷史場(chǎng)景等。

（2）相機(jī)追蹤。相機(jī)追蹤系統(tǒng)能夠準(zhǔn)確捕捉攝像機(jī)的位置和角度，以便虛擬元素能夠與實(shí)際拍攝內(nèi)容無(wú)縫融合。

（3）人體捕捉。虛擬演播室可以捕捉主持人或演員的動(dòng)作，用數(shù)字人代表他們，實(shí)現(xiàn)令人印象深刻的虛擬交互。

（4）實(shí)時(shí)渲染。實(shí)時(shí)渲染意味著虛擬元素可以在實(shí)際拍攝中動(dòng)態(tài)變化，為廣播電視制作提供更大的創(chuàng)意自由度。

（5）擴(kuò)展現(xiàn)實(shí)AR 特效。虛擬演播室可以輕松集成擴(kuò)展現(xiàn)實(shí)AR 特效，為廣播節(jié)目增加互動(dòng)性和視覺(jué)吸引力。

虛擬演播室已經(jīng)改變了廣播電視制作的方式，提供了更具創(chuàng)意和視覺(jué)吸引力的選項(xiàng)，同時(shí)提高了節(jié)目的質(zhì)量和觀眾體驗(yàn)，在短視頻虛擬制作、虛擬擴(kuò)展直播、數(shù)字人實(shí)時(shí)互動(dòng)、攝影、演出、展覽、廣告及活動(dòng)等領(lǐng)域有廣泛的應(yīng)用。例如，2021 年3 月，愛(ài)奇藝公司運(yùn)用XR 技術(shù)打造“虛實(shí)之城”沉浸式虛擬演唱會(huì)，這是國(guó)內(nèi)首個(gè)沉浸式虛擬演唱會(huì)，洲明科技公司專門搭建了超過(guò)500 m2的巨型弧形半包XR 虛擬影棚，提供LED 顯控運(yùn)維軟件平臺(tái)UCare 與XR 虛擬制作解決方案，配備多個(gè)XR 虛擬機(jī)位與直拍機(jī)位，實(shí)現(xiàn)多視角切換，構(gòu)建了虛擬世界，并實(shí)現(xiàn)與現(xiàn)實(shí)世界的互聯(lián)互通，營(yíng)造虛實(shí)融合的舞臺(tái)場(chǎng)景。演唱會(huì)分為《晝·造夢(mèng)》和《夜·閃耀》兩場(chǎng)，打造十余個(gè)虛實(shí)變幻的舞臺(tái)場(chǎng)景，帶給用戶線上沉浸式體驗(yàn)。

3 結(jié)語(yǔ)

XR 技術(shù)的快速發(fā)展給廣播電視領(lǐng)域帶來(lái)了革命性的影響。從硬件、軟件到內(nèi)容創(chuàng)作，XR 技術(shù)正在改變傳媒產(chǎn)業(yè)的面貌。虛幻引擎和虛擬演播室是引領(lǐng)這一變革的典型代表，不僅提高了節(jié)目制作質(zhì)量，還創(chuàng)造了更具創(chuàng)新性和互動(dòng)性的內(nèi)容。XR技術(shù)的未來(lái)充滿潛力，將繼續(xù)重塑廣播電視行業(yè)，創(chuàng)造更豐富、沉浸和個(gè)性化的體驗(yàn)。