AI+VR制作系統(tǒng)及在2021年央視春晚制作中的應(yīng)用

陳 瑾

（中央廣播電視總臺(tái)，北京 100859）

0 引言

近年來，新興技術(shù)的發(fā)展對(duì)傳統(tǒng)電視媒體帶來前所未有的影響，媒體融合、節(jié)目形式創(chuàng)新、節(jié)目制作水平提升是傳統(tǒng)電視媒體在新環(huán)境下贏得市場的必要手段。其中，虛擬現(xiàn)實(shí)技術(shù)作為一種前沿技術(shù)，因其沉浸感、交互性等特點(diǎn)給電視節(jié)目制作帶來無限創(chuàng)意，有效提升電視節(jié)目制作效率與效果，成為電視媒體節(jié)目制作領(lǐng)域的一個(gè)重要研究方向。

以往采用色鍵摳圖實(shí)現(xiàn)虛擬現(xiàn)實(shí)效果，多以藍(lán)箱綠幕為背景，使用色鍵系統(tǒng)通過圖像邊緣處理的分割技術(shù)對(duì)主持人進(jìn)行摳像。但這種技術(shù)的運(yùn)用過程中存在一些問題，現(xiàn)場燈光造影、道具、主持人服裝等各個(gè)環(huán)節(jié)均可能對(duì)色鍵摳像帶來噪聲，前期需要長時(shí)間的系統(tǒng)配合調(diào)試，影響制作效率；另外，傳統(tǒng)色鍵摳圖需要后期制作團(tuán)隊(duì)提前做好場景內(nèi)容，尤其復(fù)雜場景下主持人和背景融合容易出現(xiàn)前后景穿幫，影響節(jié)目制作效果。

AI+VR智能虛擬現(xiàn)實(shí)制作技術(shù)作為虛擬現(xiàn)實(shí)的進(jìn)階版，結(jié)合立體視頻投影變換、光學(xué)運(yùn)動(dòng)跟蹤、光學(xué)空間定位、AI智能分析自然視頻人體運(yùn)動(dòng)跟蹤等關(guān)鍵技術(shù)，以多屏幕拼接的AI+VR制作系統(tǒng)實(shí)時(shí)呈現(xiàn)動(dòng)態(tài)虛擬場景。該技術(shù)解決了上述問題，演員能夠根據(jù)屏幕畫面更加靈活地表演，使得虛實(shí)前后場景融合更加自然，提升節(jié)目視覺呈現(xiàn)效果，為觀眾提供毫無違和感的“沉浸式”體驗(yàn)。

中央廣播電視總臺(tái)（以下簡稱“總臺(tái)”）在虛擬現(xiàn)實(shí)制作技術(shù)領(lǐng)域進(jìn)行了多年的跟蹤和應(yīng)用研發(fā)，在深入研究VR視覺效果與透視關(guān)系的基礎(chǔ)上，結(jié)合多塊異面大屏幕呈現(xiàn)3D背景，進(jìn)一步實(shí)現(xiàn)可視化三維空間內(nèi)的虛擬節(jié)目制作，通過攝像機(jī)直接拍攝虛實(shí)融合的現(xiàn)場畫面，解決傳統(tǒng)虛擬演播室技術(shù)局限性；研發(fā)高精度的光學(xué)跟蹤系統(tǒng)進(jìn)行適配，能夠同步接收鏡頭控制參數(shù)如ZOOMFOCUS等信息，反饋并實(shí)時(shí)傳遞給大屏控制端和渲染端，實(shí)現(xiàn)虛實(shí)場景鏡頭語言統(tǒng)一；研發(fā)AI智能化跟蹤系統(tǒng)，支持通過攝像頭捕獲人物運(yùn)動(dòng)信息，結(jié)合AI算法，將肢體動(dòng)作附著在系統(tǒng)的人體骨骼模型上，實(shí)現(xiàn)更加自然仿真驅(qū)動(dòng)人物動(dòng)畫的功能。綜合運(yùn)用以上技術(shù)，形成一套AI+VR融合應(yīng)用的虛擬現(xiàn)實(shí)制作系統(tǒng)，并將其應(yīng)用于中央廣播電視總臺(tái)春節(jié)聯(lián)歡晚會(huì)（以下簡稱“央視春晚”）等多個(gè)大型重點(diǎn)節(jié)目的制作中。

1 AI+VR制作關(guān)鍵技術(shù)

1.1 立體視頻投影變換技術(shù)

立體視頻投影變換技術(shù)主要包含異面大屏幕呈現(xiàn)攝像機(jī)透視角度畫面、多屏幕同步播放、虛實(shí)空間比例匹配、物體及攝像機(jī)跟蹤數(shù)據(jù)解析等內(nèi)容。

通過視覺投影變換原理研究VR視效及透射關(guān)系，基于虛擬空間與實(shí)際空間坐標(biāo)轉(zhuǎn)換理論，創(chuàng)建實(shí)際空間等比場景，依據(jù)實(shí)際攝像機(jī)位置及鏡頭參數(shù)信息，在虛幻軟件（本系統(tǒng)使用的圖形渲染軟件UE4）中等效創(chuàng)建虛擬攝像機(jī)，通過投影變換算法實(shí)時(shí)解算虛擬場景呈現(xiàn)關(guān)系，將場景內(nèi)容投影至多塊LED大屏進(jìn)行3D效果呈現(xiàn)，替代綠幕或藍(lán)箱傳統(tǒng)制作模式，主持人在現(xiàn)場能夠直觀場景內(nèi)容，更加自然地走位，更好地進(jìn)行節(jié)目互動(dòng)。

1.2 光學(xué)運(yùn)動(dòng)跟蹤技術(shù)

運(yùn)動(dòng)跟蹤是指實(shí)時(shí)準(zhǔn)確測量、記錄物體在真實(shí)三維空間的運(yùn)動(dòng)軌跡或姿態(tài)。光學(xué)式運(yùn)動(dòng)跟蹤因其精度高、無接觸，在中小型廣電虛擬演播室中最為常用。該技術(shù)基于計(jì)算機(jī)視覺原理，由多個(gè)相機(jī)從不同角度對(duì)目標(biāo)特征點(diǎn)的監(jiān)視和跟蹤來完成運(yùn)動(dòng)捕捉任務(wù)。理論上對(duì)于空間中任意一個(gè)點(diǎn)，只要它能同時(shí)為兩個(gè)相機(jī)所見，就可以確定該點(diǎn)在空間中的位置。

通過研究光學(xué)運(yùn)動(dòng)跟蹤技術(shù)，采用分布式多相機(jī)陣列進(jìn)行運(yùn)動(dòng)跟蹤，相機(jī)通過小孔成像原理，將3D空間中的物體通過中心射影變換投影到相機(jī)成像平面，如圖1所示。通過系統(tǒng)標(biāo)定過程獲取相機(jī)內(nèi)參矩陣和畸變系數(shù)，其中內(nèi)參矩陣又包括焦距、像素物理尺寸等，畸變有徑向畸變和切向畸變等，多相機(jī)標(biāo)定不僅獲取各相機(jī)內(nèi)參，還得到了各相機(jī)之間的相對(duì)位姿關(guān)系，其標(biāo)定精度直接影響最終跟蹤質(zhì)量。

圖1 成像示意圖

設(shè)世界坐標(biāo)系的XOY平面與靶標(biāo)平面重合，則在世界坐標(biāo)系中靶標(biāo)角點(diǎn)齊次坐標(biāo)為，其中，圖像上與之對(duì)應(yīng)的像素坐標(biāo)為，公式為：

其中，R表示世界坐標(biāo)系到相機(jī)坐標(biāo)系姿態(tài)變換，t表示世界坐標(biāo)系到相機(jī)坐標(biāo)系原點(diǎn)平移變換，二者表示相機(jī)外部參數(shù)；f表示相機(jī)的焦距，即相機(jī)焦點(diǎn)到成像平面的物理距離，(u0,v0)T表示相機(jī)坐標(biāo)系Z軸與成像平面交點(diǎn)的像素坐標(biāo)，dx表示成像平面u軸方向上一個(gè)像素的物理尺寸，dy表示成像平面v軸方向上一個(gè)像素的物理尺寸，它們共同組成相機(jī)內(nèi)部參數(shù)。

現(xiàn)實(shí)情況中，相機(jī)拍攝圖像不可避免地會(huì)產(chǎn)生畸變。所謂畸變就是進(jìn)行投影時(shí)直線產(chǎn)生彎曲的一種現(xiàn)象。畸變主要分為兩種：徑向畸變與切向畸變。徑向畸變主要由鏡頭鏡片形狀加工偏差引起，鏡片的制作原料和加工工藝等都會(huì)影響鏡片形狀，徑向畸變又可以分為桶形畸變和枕形畸變，如圖2所示。而切向畸變主要由鏡片和成像平面不平行導(dǎo)致，受鏡頭組件加工和裝配精度影響，又可以分為薄透鏡畸變和離心畸變，如圖3所示。

圖2 徑向畸變示意圖

圖3 薄透鏡、離心畸變示意圖

精確的跟蹤定位需要對(duì)畸變進(jìn)行算法矯正，含畸變校正的世界坐標(biāo)系中，靶標(biāo)角點(diǎn)與成像平面坐標(biāo)系對(duì)應(yīng)點(diǎn)的對(duì)應(yīng)關(guān)系：

其中，k1、k2和k3為徑向畸變系數(shù)，p1和p2為切向畸變系數(shù)，采集多張靶標(biāo)圖像，帶入上式求解方程組，得到相機(jī)內(nèi)參矩陣、畸變系數(shù)的初值。然后對(duì)相機(jī)內(nèi)參初值優(yōu)化，利用Levenberg-Marquardt非線性最小二乘算法最小化重投影誤差，得到最終相機(jī)內(nèi)參矩陣、畸變系數(shù)。

另外，靶標(biāo)角點(diǎn)的測量也是精確定位的關(guān)鍵，有了這些運(yùn)動(dòng)相關(guān)的外參數(shù)初值，才能進(jìn)一步通過參數(shù)標(biāo)定測量物體的空間位移與旋轉(zhuǎn)角度位姿。多相機(jī)外參標(biāo)定流程如圖4所示，通過同時(shí)拍攝共同視場中不同位姿的靶標(biāo)，提取靶標(biāo)角點(diǎn)，利用PnP算法建立靶標(biāo)平面坐標(biāo)系與相機(jī)坐標(biāo)系的位姿關(guān)系，從而得到各相機(jī)之間相對(duì)位姿關(guān)系。然后利用光束平差法非線性優(yōu)化算法最小化重投影誤差，從而得到最佳多相機(jī)外參。

圖4 標(biāo)定流程示意圖

針對(duì)節(jié)目制作中虛擬演播室復(fù)雜環(huán)境條件，該算法能有效提升系統(tǒng)應(yīng)用魯棒性，攝像機(jī)位姿與鏡頭參數(shù)的同步融合，降低了系統(tǒng)復(fù)雜度，簡化系統(tǒng)部署及操作流程，提升系統(tǒng)運(yùn)營穩(wěn)定性。

1.3 光學(xué)空間定位技術(shù)

基于紅外光學(xué)的物體空間定位技術(shù)，由空間中不同視角的多臺(tái)光學(xué)傳感器組成多維視覺矩陣，確保物體在捕獲空間范圍內(nèi)無死角跟蹤定位，高精度光學(xué)定位技術(shù)具備統(tǒng)一的三維空間坐標(biāo)系和數(shù)據(jù)時(shí)間軸，可以對(duì)攝像機(jī)、人體以及物理道具進(jìn)行亞毫米量級(jí)精度實(shí)時(shí)同步定位，毫秒級(jí)的系統(tǒng)延時(shí)傳輸，可以保證現(xiàn)實(shí)與虛擬場景無頓挫切換，高效完成節(jié)目制作，實(shí)現(xiàn)攝影機(jī)機(jī)位、鏡頭參數(shù)、人體動(dòng)作、道具位置數(shù)據(jù)協(xié)同。同時(shí)根據(jù)電視節(jié)目制作流程工藝設(shè)計(jì)空間定位系統(tǒng)應(yīng)用軟件，一鍵式目標(biāo)跟蹤，可同步跟蹤多達(dá)數(shù)十個(gè)攝像機(jī)、道具，適配電視節(jié)目多機(jī)位制作需求，降低操作復(fù)雜度及系統(tǒng)硬件成本。

光學(xué)空間定位技術(shù)能夠?qū)崟r(shí)捕獲特制跟蹤點(diǎn)對(duì)主持人動(dòng)作手勢進(jìn)行實(shí)時(shí)位置跟蹤，通過虛幻軟件UE4中預(yù)設(shè)碰撞觸發(fā)事件在內(nèi)容中疊加特定動(dòng)畫特效，實(shí)現(xiàn)主持人和虛擬元素的實(shí)時(shí)動(dòng)態(tài)交互；也可以通過跟蹤主持人手持平板疊加節(jié)目附加信息，主持人可以根據(jù)制作需求通過平板控制，一鍵自主選擇特定疊加效果，提升節(jié)目制作效率。

1.4 AI智能分析自然視頻人體運(yùn)動(dòng)跟蹤技術(shù)

AI智能分析的自然視頻人體運(yùn)動(dòng)跟蹤技術(shù)基于AI深度學(xué)習(xí)理論，采用卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)自然視頻人體骨骼解算器，通過多維多視角視覺系統(tǒng)標(biāo)定參數(shù)，3D化2D骨骼節(jié)點(diǎn)結(jié)果，結(jié)合人體運(yùn)動(dòng)學(xué)及影視動(dòng)畫制作機(jī)理進(jìn)行IK骨骼參數(shù)求解，使用ZMQ傳輸協(xié)議進(jìn)行最終運(yùn)動(dòng)數(shù)據(jù)分發(fā)應(yīng)用至電視節(jié)目制作。

受益于傳感器技術(shù)及圖像處理技術(shù)的不斷發(fā)展，人體骨骼關(guān)鍵點(diǎn)檢測效果逐漸提高。目前常見的人體關(guān)鍵點(diǎn)檢測技術(shù)可以分為兩種：基于深度相機(jī)的檢測和基于彩色圖像的檢測。與深度相機(jī)檢測方法相比，基于彩色圖像轉(zhuǎn)置卷積的多人骨骼關(guān)鍵點(diǎn)AI檢測框架，利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）等計(jì)算技術(shù)，直接對(duì)RGB相機(jī)采集到的圖像進(jìn)行特征提取、信息融合、結(jié)果輸出，能夠?qū)崿F(xiàn)端到端的人體運(yùn)動(dòng)跟蹤流程，并且這類技術(shù)具備硬件復(fù)雜度低、應(yīng)用場景廣、可跟蹤人數(shù)多等優(yōu)勢。

多人骨骼關(guān)鍵點(diǎn)檢測技術(shù)使計(jì)算機(jī)對(duì)圖像中多個(gè)人體的不同關(guān)節(jié)及五官（如：眼、頭、手、髖、踝）等關(guān)鍵點(diǎn)進(jìn)行準(zhǔn)確定位，并將屬于同一人的個(gè)體關(guān)鍵點(diǎn)準(zhǔn)確連接，以描述多人不同的姿態(tài)信息，對(duì)人體靜止姿態(tài)、連續(xù)動(dòng)作進(jìn)行運(yùn)動(dòng)跟蹤。

關(guān)鍵點(diǎn)提取的效率和準(zhǔn)確性是整個(gè)人體運(yùn)動(dòng)跟蹤的基礎(chǔ)，通過深度學(xué)習(xí)網(wǎng)絡(luò)檢測圖像人體關(guān)鍵點(diǎn)，為節(jié)約AI算力采用分布式GPU架構(gòu)，設(shè)計(jì)開發(fā)多GPU集群服務(wù)器，通過算法規(guī)劃設(shè)計(jì)解決多GPU運(yùn)算核心線程通信調(diào)度問題，實(shí)現(xiàn)多GPU協(xié)同工作，提升AI算力，優(yōu)化系統(tǒng)延遲，提高運(yùn)行流暢度。針對(duì)數(shù)字圖像、數(shù)值計(jì)算等計(jì)算機(jī)量化操作帶來的固有噪聲信號(hào)，運(yùn)用圖像信號(hào)處理技術(shù)對(duì)重建骨架數(shù)據(jù)進(jìn)行濾波處理，平滑數(shù)據(jù)曲線，提升系統(tǒng)運(yùn)行穩(wěn)定性。

在多人交互場景下人與人之間會(huì)有很嚴(yán)重的遮擋問題，二維人體姿態(tài)檢測器無法保證給出完全正確的關(guān)節(jié)分配結(jié)果；同時(shí)人體數(shù)量未知加大了不同視角間人體關(guān)鍵點(diǎn)匹配的難度。為了解決上述多人多視角人體關(guān)鍵點(diǎn)組裝的問題，采用混合跟蹤組裝算法組裝人體骨架，同時(shí)考慮多視點(diǎn)約束和時(shí)域約束，用迭代算法同時(shí)優(yōu)化所有視角下的關(guān)鍵點(diǎn)分配結(jié)果。多人多視角人體關(guān)鍵點(diǎn)組裝流程如圖5所示，圖的左上、左下、右下表示三個(gè)視角下兩個(gè)人的關(guān)鍵點(diǎn)信息，每個(gè)人有一個(gè)關(guān)鍵點(diǎn)脖子，一個(gè)關(guān)鍵點(diǎn)胯，這兩個(gè)關(guān)鍵點(diǎn)之間就有四種組合。對(duì)于大分辨率二維圖像的檢測網(wǎng)絡(luò)，將利用TensorRT布置到多個(gè)NVIDIA TITAN顯卡上，加速并行處理。對(duì)于復(fù)雜計(jì)算的逆運(yùn)動(dòng)學(xué)解算等，利用OpenMP多CPU加速，整個(gè)流程一個(gè)周期時(shí)間可以控制在30 ms左右。

圖5 多人視角人體關(guān)鍵點(diǎn)組裝示意圖

整個(gè)算法架構(gòu)流程如圖6所示，AI智能解算流程采用流式計(jì)算模型，利用分布式架構(gòu)并行處理，系統(tǒng)延遲取決于單個(gè)Pipeline效率，系統(tǒng)速度取決于流處理中耗時(shí)最長模塊——關(guān)鍵點(diǎn)檢測，在優(yōu)化系統(tǒng)延遲的基礎(chǔ)上能夠有效提升運(yùn)動(dòng)跟蹤系統(tǒng)速度。

圖6 AI解算算法流程示意圖

2 AI+VR制作系統(tǒng)

基于立體視頻投影變換、光學(xué)運(yùn)動(dòng)跟蹤、光學(xué)空間定位、AI智能分析自然視頻人體運(yùn)動(dòng)跟蹤等關(guān)鍵技術(shù)，總臺(tái)研發(fā)出一套不受環(huán)境限制的虛擬現(xiàn)實(shí)節(jié)目制作生產(chǎn)流程，既可以實(shí)現(xiàn)真人與虛擬場景同屏，也可以實(shí)現(xiàn)虛擬角色與真實(shí)場景同屏，結(jié)合立體拼接大屏合成渲染的內(nèi)容生產(chǎn)平臺(tái)，形成了標(biāo)準(zhǔn)的電視節(jié)目制作流程，拍攝現(xiàn)場即是節(jié)目制作現(xiàn)場，所見即所得，全面提升節(jié)目制作效能，最終形成完整的AI+VR融合應(yīng)用制作系統(tǒng)。其包括多LED屏幕拼接控制渲染子系統(tǒng)、物體空間運(yùn)動(dòng)跟蹤子系統(tǒng)以及AI智能自然視頻人體運(yùn)動(dòng)跟蹤子系統(tǒng)。

多LED屏幕拼接控制渲染子系統(tǒng)，支持?jǐn)z像機(jī)運(yùn)動(dòng)數(shù)據(jù)及鏡頭參數(shù)解算并將數(shù)據(jù)映射至虛擬場景的功能，采用多塊LED屏幕，背景內(nèi)容根據(jù)現(xiàn)場攝影機(jī)拍攝機(jī)位及鏡頭信息，通過投影變換實(shí)時(shí)渲染至屏幕，實(shí)現(xiàn)不同角度的立體透視效果。主持人可以直觀虛擬背景場景，現(xiàn)場靈活走位，解決虛擬環(huán)境與主持人配合問題。

物體空間運(yùn)動(dòng)跟蹤子系統(tǒng)如圖7所示，主要解決攝影機(jī)空間定位及鏡頭參數(shù)獲取融合以及主持人交互道具位置跟蹤，基于光學(xué)運(yùn)動(dòng)跟蹤技術(shù)，采用大空間運(yùn)動(dòng)捕捉技術(shù)對(duì)演播室多機(jī)位及多道具進(jìn)行全方位無死角跟蹤，通過自動(dòng)化控制理論的伺服回饋技術(shù)對(duì)攝像機(jī)鏡頭Zoom、Focu、Iris等參數(shù)進(jìn)行實(shí)時(shí)監(jiān)測，運(yùn)用多傳感器信息融合技術(shù)對(duì)跟蹤數(shù)據(jù)及監(jiān)測數(shù)據(jù)同步分析，設(shè)計(jì)S-C（Server-Client）網(wǎng)絡(luò)并發(fā)架構(gòu)進(jìn)行數(shù)據(jù)廣播發(fā)送，實(shí)現(xiàn)跟蹤數(shù)據(jù)和虛幻引擎無縫對(duì)接。實(shí)時(shí)渲染服務(wù)器根據(jù)實(shí)拍攝像機(jī)真實(shí)推拉搖移實(shí)時(shí)調(diào)整大屏顯示內(nèi)容，采集畫面即最終播出畫面，無需后期再進(jìn)行制作，主持人和虛擬場景內(nèi)容交互更加自然，3D效果更加直觀，有效避免電視節(jié)目制作中常見穿幫現(xiàn)象。

圖7 物體空間運(yùn)動(dòng)跟蹤子系統(tǒng)示意圖

AI智能自然視頻人體運(yùn)動(dòng)跟蹤子系統(tǒng)，利用轉(zhuǎn)置卷積的多人骨骼關(guān)鍵點(diǎn)AI檢測框架，通過對(duì)自然視頻中人體關(guān)鍵點(diǎn)檢測，分步進(jìn)行訓(xùn)練及端到端測試，同時(shí)通過公開數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)調(diào)節(jié)優(yōu)化算法參數(shù)，評(píng)估運(yùn)動(dòng)跟蹤精度，對(duì)人物骨骼特征提取及后處理部分進(jìn)行優(yōu)化提升，并基于數(shù)據(jù)編碼設(shè)計(jì)虛幻引擎插件，將動(dòng)捕數(shù)據(jù)實(shí)時(shí)傳輸至虛幻引擎直接調(diào)用。所構(gòu)建的無標(biāo)記運(yùn)動(dòng)跟蹤系統(tǒng)使得主持人無需任何穿戴設(shè)備即可實(shí)時(shí)進(jìn)行運(yùn)動(dòng)姿態(tài)跟蹤，骨骼運(yùn)動(dòng)數(shù)據(jù)可通過網(wǎng)絡(luò)廣播實(shí)時(shí)分發(fā)至虛幻引擎進(jìn)行虛擬角色動(dòng)作遷移。同時(shí)，采用GPU分布式架構(gòu)，AI解算Pipeline并行運(yùn)行，在不增加解算服務(wù)器的前提下，兼容多人高效動(dòng)捕數(shù)據(jù)解算，提升解算效率，尤其在總臺(tái)直播類節(jié)目應(yīng)用中，系統(tǒng)延遲控制在100 ms以內(nèi)，形成全新的直播節(jié)目制作模式。

由上述3個(gè)子系統(tǒng)形成的AI+VR制作系統(tǒng)支持?jǐn)z像機(jī)運(yùn)動(dòng)數(shù)據(jù)及鏡頭參數(shù)解算，并將數(shù)據(jù)映射至虛擬場景的功能，實(shí)現(xiàn)不同角度的立體透視效果；支持識(shí)別空間范圍內(nèi)物體位移及旋轉(zhuǎn)數(shù)據(jù)計(jì)算并轉(zhuǎn)換成空間坐標(biāo)，實(shí)現(xiàn)場景內(nèi)真實(shí)人物和虛擬元素多種形態(tài)的互動(dòng)；支持通過攝像頭捕獲人物運(yùn)動(dòng)信息，結(jié)合AI智能算法，將肢體動(dòng)作附著在系統(tǒng)的人體骨骼模型上，實(shí)現(xiàn)更加自然仿真驅(qū)動(dòng)人物動(dòng)畫的功能。將其應(yīng)用于節(jié)目制作中，可搭建異面大屏幕來實(shí)時(shí)呈現(xiàn)三維背景，在一個(gè)可視化的三維空間內(nèi)進(jìn)行，通過高精度的光學(xué)跟蹤系統(tǒng)對(duì)攝影機(jī)進(jìn)行機(jī)位跟蹤，同步接收鏡頭控制參數(shù)如ZOOM/FOCUS等信息反饋，并實(shí)時(shí)傳遞給大屏控制端和渲染端，如圖8所示，從而實(shí)現(xiàn)虛實(shí)場景鏡頭統(tǒng)一、前后景融合。

圖8 AI+VR系統(tǒng)示意圖

3 AI+VR制作系統(tǒng)在春晚中的應(yīng)用

總臺(tái)2021年工作思路與打算匯報(bào)會(huì)中要求“從嚴(yán)從實(shí)抓好常態(tài)化疫情防控，特別是要抓好春晚疫情防控，全力以赴保障員工和演職人員健康安全”，因此在2021年春節(jié)聯(lián)歡晚會(huì)中，基于AI+VR制作系統(tǒng)，在統(tǒng)一三維空間坐標(biāo)系與數(shù)據(jù)時(shí)間軸下實(shí)現(xiàn)攝像機(jī)、交互道具等物體定位數(shù)據(jù)跟蹤，通過北京與香港“云”上聯(lián)動(dòng)錄制的方式，完成了劉德華、王一博、關(guān)曉彤在春晚現(xiàn)場的“同框”演出節(jié)目《牛起來》。場景聯(lián)動(dòng)和各元素間的交互使得《牛起來》的整體視覺內(nèi)容呈現(xiàn)融合統(tǒng)一，給觀眾呈現(xiàn)了一款科技感十足炫酷的春晚創(chuàng)意節(jié)目，帶來了煥然一新的視覺體驗(yàn)。

《牛起來》制作流程如圖9所示，基于AI+VR制作系統(tǒng)，通過物體空間運(yùn)動(dòng)跟蹤子系統(tǒng)對(duì)攝影機(jī)進(jìn)行機(jī)位跟蹤，能夠同步接收鏡頭控制參數(shù)，并實(shí)時(shí)傳遞至多LED屏幕拼接控制渲染子系統(tǒng)（此次采用了3塊LED屏幕），通過投影變換實(shí)時(shí)渲染至屏幕，背景內(nèi)容根據(jù)現(xiàn)場訊道機(jī)拍攝機(jī)位及鏡頭信息呈現(xiàn)在3塊大屏幕上，使得演員與虛擬場景內(nèi)容交互更加自然，節(jié)目制作前期系統(tǒng)測試如圖10所示。

圖9 《牛起來》制作工藝流程

圖10 AI+VR制作系統(tǒng)現(xiàn)場測試

AI+VR制作系統(tǒng)在視覺呈現(xiàn)方面，通過攝像機(jī)跟蹤系統(tǒng)和VR渲染引擎實(shí)現(xiàn)場景的動(dòng)態(tài)透視效果，使虛擬世界與現(xiàn)實(shí)空間完美融合。在此基礎(chǔ)上制作出的創(chuàng)意節(jié)目《牛起來》廣受好評(píng)，僅在抖音平臺(tái)的播放量就達(dá)到了1.29億次。

4 結(jié)語

隨著視聽傳播技術(shù)的發(fā)展與媒介生態(tài)的變化，觀眾對(duì)于文化消費(fèi)的需求日益增高。伴隨著5G網(wǎng)絡(luò)速度帶寬的升級(jí)，AI、VR、六自由度、全息等技術(shù)的日漸成熟，如何將新興技術(shù)融合應(yīng)用于電視節(jié)目的制作中成為廣電技術(shù)人員優(yōu)先面臨的新課題。

未來，總臺(tái)在“5G+4K/8K+AI”戰(zhàn)略布局下，將不斷以技術(shù)創(chuàng)新為基礎(chǔ)，持續(xù)開展融合媒體制作技術(shù)應(yīng)用實(shí)踐，通過信息技術(shù)的全面升級(jí)帶動(dòng)廣電行業(yè)新的增長點(diǎn)，并將創(chuàng)新成果實(shí)時(shí)、高效、精準(zhǔn)推廣，縮短轉(zhuǎn)化周期、降低轉(zhuǎn)換成本，充分展示總臺(tái)技術(shù)優(yōu)勢和市場影響力，實(shí)現(xiàn)社會(huì)效益和經(jīng)濟(jì)效益的雙豐收。