2021世界智能大會(huì)“5G+VR”直播系統(tǒng)設(shè)計(jì)及應(yīng)用實(shí)踐

周 薇

（作者單位：天津海河傳媒中心技術(shù)管理部）

世界智能大會(huì)作為世界智能科技領(lǐng)域?qū)W術(shù)交流、展覽展示、開放創(chuàng)新、深化合作的盛會(huì)，自2017年起在天津已成功舉辦五屆，具有較高的社會(huì)影響力。2021世界智能大會(huì)于2021年5月20日至23日在天津舉辦，海河傳媒中心作為主制作單位，在面向28家重點(diǎn)網(wǎng)絡(luò)媒體與12家全國具有突出影響力的網(wǎng)絡(luò)直播平臺(tái)提供高質(zhì)量、零失誤的高清公共信號(hào)的同時(shí)，借此重大盛會(huì)的契機(jī)，進(jìn)行了“5G+VR”直播的嘗試，在多環(huán)節(jié)進(jìn)行了技術(shù)應(yīng)用的試驗(yàn)性探索。

1 虛擬現(xiàn)實(shí)技術(shù)

虛擬現(xiàn)實(shí)（Virtual Reality，VR）技術(shù)是一種使用現(xiàn)實(shí)生活中的數(shù)據(jù)，利用計(jì)算機(jī)生成模擬環(huán)境，使用戶沉浸在環(huán)境中的一套創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)，是借助計(jì)算機(jī)和最新傳感器技術(shù)創(chuàng)造的一種嶄新的人機(jī)交互手段。

相對(duì)于傳統(tǒng)領(lǐng)域的內(nèi)容制播，VR制播的不同主要體現(xiàn)在360°全景、三維（3—dimension，3D）圖像和交互方面，可以給觀眾帶來無與倫比的沉浸感，讓觀眾感覺仿佛置身于現(xiàn)場(chǎng)一般。VR制播在剛興起時(shí)，只在王菲演唱會(huì)、NBA賽事直播、春節(jié)聯(lián)歡晚會(huì)等大型賽事活動(dòng)中使用過，現(xiàn)在開始逐漸普及大眾VR內(nèi)容制作，VR制播也在不斷發(fā)展。艾媒咨詢發(fā)布的數(shù)據(jù)顯示，用戶對(duì)直播中所運(yùn)用的VR技術(shù)很感興趣，60%的用戶很期待對(duì)其進(jìn)行實(shí)際運(yùn)用[1]。但目前，VR直播由于受到網(wǎng)絡(luò)帶寬、視頻壓縮及傳輸技術(shù)等方面的限制，無法很好地進(jìn)行高分辨率畫面高效縫合，直接影響到了自身的發(fā)展。

隨著信息技術(shù)的不斷發(fā)展，第五代移動(dòng)通信技術(shù)（5th Generation Mobile Communication Technology，5G）誕生，其具備大帶寬、低時(shí)延、廣連接的特性，為媒體行業(yè)實(shí)現(xiàn)新發(fā)展提供了機(jī)遇[2]。媒體行業(yè)對(duì)于無線通信技術(shù)有著天然的需求，“到得了，拍得到，傳得回”是電視節(jié)目的重要訴求[3]。2020年7月，《中央廣播電視總臺(tái)5G媒體應(yīng)用白皮書》（2020版）正式發(fā)布，其對(duì)中央廣播電視總臺(tái)基于5G的視音頻采集傳輸、移動(dòng)云制作和VR制作及分發(fā)等應(yīng)用技術(shù)要求進(jìn)行了詳細(xì)描述。5G+VR直播視頻制作流程如圖1所示，在外場(chǎng)進(jìn)行多機(jī)位的VR視音頻采集，通過客戶終端設(shè)備（Customer Premise Equipment，CPE）、5G手機(jī)等5G接入設(shè)備無線連接到5G網(wǎng)絡(luò)，網(wǎng)絡(luò)提供包括服務(wù)質(zhì)量（Quality of Service，QoS）、切片服務(wù)、邊緣云平臺(tái)等保障，并提供相關(guān)的云端服務(wù)，通過5G的接入網(wǎng)、承載網(wǎng)和核心網(wǎng)進(jìn)行傳輸，臺(tái)內(nèi)的內(nèi)部基礎(chǔ)網(wǎng)絡(luò)通過無線空口或光纖專線的方式就近接入5G網(wǎng)絡(luò)，信號(hào)和數(shù)據(jù)進(jìn)入臺(tái)內(nèi)各制播系統(tǒng)，如總控、5G新媒體平臺(tái)、制作系統(tǒng)等，從而形成完整的基于5G的媒體應(yīng)用體系[4]。

圖1 5G媒體制播應(yīng)用流程圖

2021年正是5G應(yīng)用創(chuàng)新發(fā)展的關(guān)鍵時(shí)期，媒體應(yīng)用是5G應(yīng)用的重要場(chǎng)景。海河傳媒中心技術(shù)團(tuán)隊(duì)結(jié)合實(shí)際，認(rèn)真組織并做好落地實(shí)施工作，進(jìn)行了此次“5G+VR”的直播，使觀眾全面感受到了“5G+VR”的獨(dú)特魅力。

2 VR全景直播方案設(shè)計(jì)

此次智能大會(huì)開、閉幕式在梅地亞劇場(chǎng)舉行，技術(shù)團(tuán)隊(duì)聯(lián)合天津聯(lián)通公司進(jìn)行現(xiàn)場(chǎng)5G網(wǎng)絡(luò)覆蓋；外場(chǎng)使用VR攝像機(jī)拍攝全景畫面，通過ZOOM H4N Pro錄音機(jī)進(jìn)行音頻信號(hào)的采集，在Pro 2攝像機(jī)內(nèi)進(jìn)行視頻的實(shí)時(shí)拼接縫合，并嵌入音頻信息后壓縮為IP化的視音頻流，通過5G CPE進(jìn)行上傳，接入5G網(wǎng)絡(luò)。臺(tái)內(nèi)通過專線落地，利用部署在梅江院區(qū)的實(shí)時(shí)消息傳輸協(xié)議（Real Time Messaging Protocol，RTMP）服務(wù)器進(jìn)行分發(fā)，用戶在不同區(qū)域利用發(fā)布的公網(wǎng)地址或內(nèi)網(wǎng)地址，就可以在手機(jī)、電腦或VR頭顯進(jìn)行實(shí)時(shí)觀看。

直播方案設(shè)計(jì)流程如圖2所示，現(xiàn)場(chǎng)實(shí)際搭建和效果圖如圖3所示。

圖2 直播方案設(shè)計(jì)流程圖

圖3 現(xiàn)場(chǎng)實(shí)際搭建及效果圖

3 VR直播具體實(shí)施步驟

3.1 5G網(wǎng)絡(luò)覆蓋測(cè)試

對(duì)于廣電行業(yè)來說，5G最主要的應(yīng)用場(chǎng)景就是高數(shù)據(jù)傳輸速率。5G網(wǎng)絡(luò)的峰值傳輸速率可達(dá)10 Gbps， 是 4G 長(zhǎng) 期 演 進(jìn)（Long Term Evolution，LTE）蜂窩網(wǎng)的100倍，可滿足高清視頻乃至4K視頻和VR等大數(shù)據(jù)的傳輸[5]。

在梅地亞劇場(chǎng)，由聯(lián)通公司進(jìn)行5G網(wǎng)絡(luò)覆蓋支持，在現(xiàn)場(chǎng)開通了5G室分，提供5G信號(hào)。圖4是通過CPE終端將5G信號(hào)轉(zhuǎn)換成無線網(wǎng)（Wireless Fidelity，WIFI）信號(hào)后手機(jī)連接測(cè)試情況，上傳速度達(dá)到73.6 Mbps，抖動(dòng)為22 ms，丟包率為0，很好地滿足了VR信號(hào)穩(wěn)定上傳的傳輸要求。

圖4 手機(jī)連接測(cè)試情況

3.2 機(jī)位選擇

由于此次VR直播只有一個(gè)機(jī)位，為滿足觀眾的沉浸式體驗(yàn)需求，技術(shù)團(tuán)隊(duì)在機(jī)位選擇上進(jìn)行了反復(fù)比較權(quán)衡。為不影響正?，F(xiàn)場(chǎng)的轉(zhuǎn)播，機(jī)位布置上不能穿幫，就需要避開雜亂的背景。最終開幕式選擇在主會(huì)場(chǎng)的2樓設(shè)置機(jī)位，閉幕式選擇在臺(tái)口設(shè)置攝像機(jī)，以呈現(xiàn)良好的拍攝效果。具體擺放如圖5、圖6所示。

圖5 開幕式機(jī)位布置

圖6 閉幕式機(jī)位布置

3.3 參數(shù)設(shè)置

Insta360 Pro 2 VR攝像機(jī)配備了九軸陀螺儀，能夠?qū)崿F(xiàn)針對(duì)運(yùn)動(dòng)場(chǎng)景的防抖，具備機(jī)內(nèi)推流、自定義服務(wù)器推流、機(jī)內(nèi)縫合拼接的功能，在直播準(zhǔn)備工作中，在保證2 m內(nèi)不存在遮擋物的情況下，提前對(duì)當(dāng)前場(chǎng)景進(jìn)行拼接校準(zhǔn)。由于推流服務(wù)器性能限制，此次直播沒有采用8K的分辨率，而是采用4K 3 840×1 920@30 fps的分辨率，投影模型采用等距矩形方式，直播推流地址使用臺(tái)內(nèi)的一臺(tái)推流服務(wù)器，并采用RTMP，推流地址為：rtmp://111.160.193.202/LIVE/111。

3.4 聲音收錄

由于Insta360 Pro 2 VR攝像機(jī)在進(jìn)行直播推流時(shí)需要進(jìn)行散熱，風(fēng)扇散熱會(huì)產(chǎn)生風(fēng)噪，導(dǎo)致在現(xiàn)場(chǎng)通過攝像機(jī)本機(jī)收聲的噪音非常大，幾乎聽不清楚聲音，于是嘗試使用調(diào)音臺(tái)聲音通過3.5 mm接口導(dǎo)入至Pro 2中，但仍然存在音質(zhì)不佳的問題。為解決聲音收錄的問題，通過比選各種設(shè)備，最終選擇專業(yè)級(jí)全景收聲話筒H4N輸入現(xiàn)場(chǎng)混音后的模擬音頻，經(jīng)過機(jī)內(nèi)轉(zhuǎn)換成48 KHz采樣的數(shù)字音頻，通過攝像機(jī)的USB接口進(jìn)行聲音的嵌入。經(jīng)過測(cè)試，轉(zhuǎn)換后的音質(zhì)良好，能夠滿足直播需求。

3.5 調(diào)整曝光設(shè)置

在智能大會(huì)現(xiàn)場(chǎng)，舞臺(tái)上下光線差異較大。全景攝像機(jī)采用6目攝像頭環(huán)繞結(jié)構(gòu)，對(duì)于環(huán)境中各個(gè)區(qū)域不同的光線曝光設(shè)置為相同，導(dǎo)致拼接后的視頻出現(xiàn)局部過曝、畫質(zhì)不佳的現(xiàn)象。經(jīng)過調(diào)整，設(shè)置畫面曝光控制為手動(dòng)，在大會(huì)期間，根據(jù)大會(huì)不同環(huán)節(jié)、不同場(chǎng)景手動(dòng)調(diào)整攝像機(jī)的曝光曲線，以解決背景大屏亮度超標(biāo)溢出的窘境。

3.6 Logo的疊加

此次VR直播，攝像機(jī)是支在一個(gè)大約2 m高的三腳架上，拍攝360°全景畫面，但經(jīng)過畫面的縫合，會(huì)出現(xiàn)三腳架的元素，影響畫面美觀。一個(gè)有經(jīng)驗(yàn)的做法是，為直播制作并設(shè)置底部商標(biāo)（Logotype，Logo），在縫合后的畫面中三腳架的位置疊加上Logo，遮擋部分畫面，不僅能夠豐富畫面的表現(xiàn)形式，增加畫面信息，而且能夠修飾畫面的缺陷。Logo疊加后圖像如圖7所示。

圖7 設(shè)置底部Logo

3.7 收看方式

在智能大會(huì)期間，不能來現(xiàn)場(chǎng)的觀眾可以通過手機(jī)打開特定的insta360 Player軟件進(jìn)行收看，可以在辦公室利用辦公電腦下載Potplayer應(yīng)用程序進(jìn)行觀看，亦可使用VR頭顯收看大會(huì)直播實(shí)況，讓大家“可操作、可交互”的近距離感受會(huì)場(chǎng)氣氛，充分享受創(chuàng)新、賦能、生態(tài)的智能大會(huì)新體驗(yàn)。

4 結(jié)語

5G作為新一代網(wǎng)絡(luò)基礎(chǔ)設(shè)施，是經(jīng)濟(jì)社會(huì)數(shù)字化轉(zhuǎn)型的關(guān)鍵支撐。而VR全景直播是5G應(yīng)用的首選場(chǎng)景。技術(shù)團(tuán)隊(duì)總結(jié)分析本次直播的技術(shù)系統(tǒng)設(shè)計(jì)和實(shí)踐經(jīng)驗(yàn)，對(duì)于在融媒體發(fā)展背景下，更好地應(yīng)用5G通信技術(shù)、探索媒體的多樣表現(xiàn)形式、完善VR直播技術(shù)保障有著重要意義。

針對(duì)此次直播中面臨的各種問題和最終呈現(xiàn)效果，技術(shù)團(tuán)隊(duì)通過反思，總結(jié)了一些需要改進(jìn)的地方。首先是直播機(jī)位過于單調(diào)，觀眾容易產(chǎn)生疲勞感；其次是畫面清晰度有待提高；再次是由于推流服務(wù)器上沒有安裝全景播放器插件，導(dǎo)致觀眾在觀看時(shí)受到了限制，無法通過瀏覽器直接打開VR視頻，只能通過下載相應(yīng)的應(yīng)用程序進(jìn)行觀看。針對(duì)這些問題，技術(shù)團(tuán)隊(duì)也在積極探索大型會(huì)議的VR直播形式，會(huì)在后續(xù)的VR直播中，通過增加更多機(jī)位實(shí)現(xiàn)不同位置、不同角度的全景視頻內(nèi)容切換，豐富視頻畫面。同時(shí)，制作VR圖文，并將其疊加在VR視頻上，使整個(gè)直播更生動(dòng)、更靈活，能夠滿足人們?nèi)找娣只挠^看需求。