AR沉浸式全景仿真演播室系統(tǒng)在杭州文廣集團(tuán)的應(yīng)用

杭州文化廣播電視集團(tuán)：韓一騏

1.AR沉浸式全景仿真演播室系統(tǒng)特色

AR沉浸式全景仿真系統(tǒng)通過多通道空間的立體顯示技術(shù)、大范圍紅外動(dòng)作捕捉技術(shù)、物理PBR實(shí)時(shí)三維渲染技術(shù)，LED無縫拼接技術(shù)、無限藍(lán)箱技術(shù)、全景實(shí)時(shí)顯示等眾多高新技術(shù)的應(yīng)用，在一個(gè)較小的立方體空間內(nèi)，可以通過系統(tǒng)內(nèi)模型的變化，展現(xiàn)出富有創(chuàng)意的舞臺(tái)變化，模擬出真實(shí)且多樣的空間場(chǎng)景，甚至在同一個(gè)欄目或者活動(dòng)中，可以在短時(shí)間內(nèi)展現(xiàn)出多個(gè)不一樣的場(chǎng)景，打破了以往實(shí)景演播室單一場(chǎng)景的局限性，拓展了使用的方向，滿足了新聞訪談、小品曲藝、歌舞節(jié)目等多種節(jié)目形式的需求。

明珠頻道采購(gòu)的AR系統(tǒng)，采用了“L”型結(jié)構(gòu)，由1塊地屏和2塊側(cè)屏（墻面）構(gòu)成一個(gè)立方體空間，側(cè)屏采用了規(guī)格為P1.875的屏幕，地面采用了規(guī)格為P4的LED產(chǎn)品，并在屏幕上安裝了亞克力材質(zhì)的透明保護(hù)板，使得攝像機(jī)腳架等設(shè)備可以在AR系統(tǒng)地面上使用。

該系統(tǒng)特色：

一是“夠大”，活動(dòng)范圍能滿足電視臺(tái)眾多節(jié)目多機(jī)位的拍攝需求而不穿幫，給主持人留有足夠富余的活動(dòng)空間。

二是“多變”，系統(tǒng)可以進(jìn)行多人互動(dòng)節(jié)目的拍攝，可以使用桌椅等道具，也可以用前景虛擬技術(shù)來加入虛擬物品，從而表現(xiàn)更多樣化內(nèi)容，在短時(shí)間內(nèi)可以切換各種類型的拍攝環(huán)境，可以使用高清圖片、高清視頻、三維模疊加實(shí)景視頻等形式使用，方便快捷多樣。

三是“所見即所得”，大型可視化仿真環(huán)境所有內(nèi)容都是實(shí)時(shí)可見的，主持人的表演與解說毫無壓力，完全可以在這個(gè)仿真環(huán)境中精準(zhǔn)解說與自由發(fā)揮。

四是“真實(shí)”，基于LED屏自發(fā)光的原理，可以實(shí)現(xiàn)真實(shí)環(huán)境的漫反射效果，從而免除“藍(lán)摳”“綠摳”時(shí)主持人膚色帶有藍(lán)色漫反射或者綠色漫反射的問題，大幅度的光景變化也可以輕松應(yīng)對(duì)，光影的時(shí)間軸都可以調(diào)節(jié)，各種材質(zhì)的道具的使用也非常自然表現(xiàn)。

五是“精準(zhǔn)”，使用最精準(zhǔn)的紅外攝像頭進(jìn)行系統(tǒng)定位，毫米級(jí)精度與超低的跟蹤延時(shí)保證系統(tǒng)定位的穩(wěn)定運(yùn)行和多種方式的移動(dòng)拍攝與體感互動(dòng)的實(shí)現(xiàn)。

六是“有層次”，系統(tǒng)具有AR前景植入功能與AR虛擬背景系結(jié)合，可以實(shí)現(xiàn)多層次前后遮擋的場(chǎng)景渲染效果。

顯示空間支持多種素材：

1.支持清晰度高達(dá)8K的圖片輸入作為顯示環(huán)境使用。圖片可以放大縮小、上下左右移動(dòng)或Y軸旋轉(zhuǎn)調(diào)整位置，構(gòu)建不同的拍攝場(chǎng)景；

2.支持高清視頻甚至4K視頻實(shí)時(shí)接入與播放，視頻可作為場(chǎng)景背景使用，通過更換不一樣的視頻，呈現(xiàn)不同的場(chǎng)景特色；還可以在環(huán)境中開“窗”，置入不同的視頻，用于事件回放等；

3.通過3ds Max軟件構(gòu)件的模型作為場(chǎng)景使用，支持快速加入多重粒子效果，打造更為多元更為酷炫的舞臺(tái)效果，比如動(dòng)態(tài)的雨雪等天氣以及光影變化等；

4.支持前景植入，可以使用PNG圖像、帶通道視頻或動(dòng)畫、模型顯示在拍攝真實(shí)人物前方，達(dá)到與后方顯示環(huán)境前后呼應(yīng)的效果，使拍攝畫面更富有空間感；還可以同場(chǎng)景中的人物進(jìn)行互動(dòng)。

七是“無限藍(lán)箱技術(shù)”，可以把屏幕顯示的虛擬空間進(jìn)行擴(kuò)展展示，打破物理顯示尺寸的限制，達(dá)到內(nèi)容顯示的無縫鏈接全屏顯示。跟蹤攝像機(jī)的任意自由運(yùn)動(dòng)過程，提取攝像機(jī)的位置，環(huán)境場(chǎng)景跟隨攝像機(jī)的運(yùn)動(dòng)而運(yùn)動(dòng)，區(qū)域精確、計(jì)算簡(jiǎn)單、通用性強(qiáng)。

圖1 :系統(tǒng)結(jié)構(gòu)

圖2 ：紅外動(dòng)作捕捉系統(tǒng)連接以及信號(hào)圖

2.核心應(yīng)用技術(shù)、子系統(tǒng)構(gòu)成和功能

2.1 系統(tǒng)結(jié)構(gòu)

2.2 多角度屏幕三維縫合技術(shù)

多角度屏幕三維縫合技術(shù)是使用多個(gè)攝像頭組成的紅外定位系統(tǒng)對(duì)攝像機(jī)位置進(jìn)行定位，通過紅外定位系統(tǒng)讀取每個(gè)攝像機(jī)紅外定位點(diǎn)在空間中的位置參數(shù)，不斷修正在紅外標(biāo)記點(diǎn)與攝像機(jī)鏡頭的差值，把修正過的坐標(biāo)信息不斷匹配到各自的空間坐標(biāo)系使用。其核心技術(shù)是，通過算法的調(diào)整把不同的空間坐標(biāo)進(jìn)行配對(duì)使顯示的三維空間與其匹配，每一個(gè)屏幕都有空間位置坐標(biāo)信息，每一塊屏幕都顯示精準(zhǔn)的空間透視效果。

2.3 PBR三維渲染技術(shù)

該系統(tǒng)運(yùn)用了全球最先進(jìn)的實(shí)時(shí)PBR渲染引擎與強(qiáng)大的渲染硬件，來處理三維立體環(huán)境模型。PBR的定義正如其名所言，Physically Based Rendering就是“基于物理過程的渲染”，這個(gè)概念是指先從現(xiàn)實(shí)中不同材質(zhì)所表現(xiàn)出的自然現(xiàn)象作歸納，最后將這些物理特性一一拆分為獨(dú)立的物理屬性，將這些物理屬性通過不斷的組合，最終形成一個(gè)完整的材質(zhì)。PBR渲染常常伴隨著“實(shí)時(shí)渲染”一起出現(xiàn)，而實(shí)時(shí)渲染一直是游戲行業(yè)一直不懈追求的效率，運(yùn)用該技術(shù)，不但降低了材料模擬的難度，還提高了

渲染的真實(shí)度，同時(shí)也提高了渲染效率。

圖3 ：顯示系統(tǒng)連接以及信號(hào)輸入、輸出圖

圖4 ：杭州市對(duì)外宣傳雙語(yǔ)節(jié)目《看杭州.

圖5 ：健康科普節(jié)目《阿六嫂說健康.

圖6 ：虛實(shí)結(jié)合的《云上動(dòng)漫游戲產(chǎn)業(yè)交易會(huì)新發(fā)會(huì).

圖7 ：沉浸式城市旅游線路講解

2.3.1 基于物理渲染的優(yōu)點(diǎn)

?容易達(dá)到真實(shí)世界中的場(chǎng)景效果。

?同一配置可以適用于在不同HDR光照環(huán)境下。

?基于真實(shí)參數(shù)（Shader（著色器）、Texture（紋理）、BW Map（黑白圖的作用）、Base Color Map（基本色紋理）、Metallic Map（金屬度紋理）、Roughness（粗糙度紋理）、Normal Map（法線紋理）、Displacement Map（置換紋理））。

?更容易去解決材質(zhì)問題。

2.3.2 基于物理的渲染和傳統(tǒng)區(qū)別

?有著基于物理規(guī)則的光照模式。

?無處不在的菲涅爾效應(yīng)。

?次表面散射，物體平面的反射光無法超過它所接受的入射光。

?基于物體材質(zhì)，會(huì)分辨金屬和介電質(zhì)，微平面的概念。

?線性空間光照，支持HDR級(jí)別渲染和伽馬校正。

2.4 紅外動(dòng)捕子系統(tǒng)圖

功能：本系統(tǒng)使用紅外動(dòng)作捕捉模塊來獲取攝像機(jī)的位置，為系統(tǒng)的空間定位提供位置、方向、角度等數(shù)據(jù)。紅外攝像頭可以同時(shí)獲取多個(gè)不同攝像機(jī)的動(dòng)態(tài)位置信息，用于多個(gè)機(jī)位切換拍攝。

應(yīng)用：在這套系統(tǒng)中，配備了六臺(tái)高清紅外攝像頭OptiTrack來采集攝像機(jī)在實(shí)際空間中的位置信息，通過算法上的交叉驗(yàn)證，空間中就算有一定的干擾源存在，系統(tǒng)也可以穩(wěn)定工作，通過網(wǎng)絡(luò)交換機(jī)，紅外攝像頭的數(shù)據(jù)與動(dòng)捕電腦通訊，動(dòng)捕電腦再把分析后實(shí)時(shí)數(shù)據(jù)發(fā)送到總控服務(wù)器，控制服務(wù)器把紅外數(shù)據(jù)對(duì)三維環(huán)境進(jìn)行匹配，同步到三個(gè)通道渲染服務(wù)器。動(dòng)捕電腦通過網(wǎng)絡(luò)交換機(jī)獲取由六臺(tái)紅外攝像頭OptiTrack得到的多臺(tái)攝像機(jī)的標(biāo)記點(diǎn)三維空間參數(shù)，利用電腦中的Motive軟件，通過軟件算法，不斷修正在空間坐標(biāo)點(diǎn)與攝像機(jī)鏡頭標(biāo)記點(diǎn)之間的差值，以獲取多臺(tái)攝像機(jī)鏡頭的精準(zhǔn)位置，數(shù)據(jù)再通過交換機(jī)傳輸給渲染服務(wù)器和總控服務(wù)器進(jìn)行使用。

2.5 仿真虛擬渲染顯示系統(tǒng)

功能：顯示系統(tǒng)是用于顯示完整的仿真虛擬場(chǎng)景，圖片或是視頻。顯示系統(tǒng)具有視頻開窗功能，實(shí)時(shí)外接視頻可以在場(chǎng)景中任意位置有一個(gè)開窗，硬盤內(nèi)的視頻可以在場(chǎng)景中任意位置有四個(gè)開窗。

應(yīng)用：在本系統(tǒng)內(nèi)，網(wǎng)絡(luò)交換機(jī)與各個(gè)通道服務(wù)器、總控服務(wù)器均是由網(wǎng)線連接的。外部視頻輸入與各個(gè)通道服務(wù)器利用相應(yīng)的數(shù)據(jù)線（SDI/DVI/HDMI）相連接，各個(gè)通道服務(wù)器與視頻拼接處理器利用HDMI數(shù)據(jù)線相連接，視頻拼接處理器被大屏控制電腦所控制，視頻拼接處理器又分別與LED顯示屏利用DVI數(shù)據(jù)線連接?？偪胤?wù)器通過網(wǎng)絡(luò)交換機(jī)把修正過的攝像機(jī)坐標(biāo)信息分別匹配到虛擬空間中使用，通過算法的調(diào)整把虛擬空間坐標(biāo)進(jìn)行匹配，通道服務(wù)器渲染后，再經(jīng)過大屏控制電腦以及視頻拼接處理器對(duì)LED屏幕的校準(zhǔn)，呈現(xiàn)一個(gè)完整的三維場(chǎng)景空間。

信號(hào)：外來視頻的信號(hào)源（三種接口SDI/DVI/HDMI），接入各自獨(dú)立的分配器（例如接入SDI信號(hào)用SDI數(shù)據(jù)線接入SDI分配器），通過分配器的信號(hào)內(nèi)容再進(jìn)入各通道服務(wù)器的采集卡中，采集卡將采集這些外來的視頻流，進(jìn)行渲染后作為材質(zhì)紋理貼入模型場(chǎng)景中。

3.AR沉浸式全景仿真演播室系統(tǒng)在西湖明珠頻道節(jié)目中的運(yùn)用

AR沉浸式全景仿真演播室系統(tǒng)在杭州文廣集團(tuán)正式使用3年以來，在較小的LED屏顯示空間里展現(xiàn)出無限可能的環(huán)境，快速生成編導(dǎo)所需的不同類別的空間，使節(jié)目人員身臨其境。演播室技術(shù)人員充分發(fā)揮了此系統(tǒng)的“多變”“有層次”“拓展性強(qiáng)”等特點(diǎn)，獨(dú)立制作了超過50個(gè)不同的場(chǎng)景，滿足了集團(tuán)日常節(jié)目的需求。例如，構(gòu)建了一個(gè)“真實(shí)”空間，主持人在仿真環(huán)境中精準(zhǔn)解說與自由發(fā)揮（圖4），主持人與醫(yī)學(xué)大咖走進(jìn)身體，探索疾病根源（圖5），使用虛實(shí)結(jié)合的方式，讓主持人在實(shí)景中與虛擬人物互動(dòng)（圖6），主持人置身于三維立體地圖之上，講解城市旅游線路（圖7）。AR系統(tǒng)的啟用，大大豐富了集團(tuán)現(xiàn)有的節(jié)目形式。

4.結(jié)束語(yǔ)

隨著科技的進(jìn)一步發(fā)展，AR、XR等技術(shù)不斷革新，演播室技術(shù)攻關(guān)團(tuán)隊(duì)正與廠家研發(fā)團(tuán)隊(duì)一起，進(jìn)一步拓展更多元化的使用場(chǎng)景，以內(nèi)容建設(shè)為根本、先進(jìn)技術(shù)為支撐，增強(qiáng)先進(jìn)科技與媒體實(shí)際使用場(chǎng)景的融合，形成后端開發(fā)人員和前端實(shí)際使用者之間不斷互動(dòng)交流的合作機(jī)制，讓技術(shù)服務(wù)于節(jié)目，媒體融合發(fā)展提供有力保障。