VR 技術(shù)在節(jié)目制作中的探索及5G 時(shí)代迎來的發(fā)展

張珺珩

（浙江廣播電視集團(tuán)，杭州 310000）

0 引言

VR技術(shù)已不在陌生，“VR元年”是在2016年，當(dāng)時(shí)VR是熱點(diǎn)，被各大科技巨頭、資本機(jī)構(gòu)一致看好，但由于缺乏技術(shù)、缺乏高速網(wǎng)絡(luò)的支撐，VR 一度迎來寒冬，但隨著5G 的到來，未來5G帶來的高速率、低延遲網(wǎng)絡(luò)環(huán)境，也有望給虛擬現(xiàn)實(shí)產(chǎn)業(yè)帶來支撐作用，5G 加速了AR、VR 產(chǎn)業(yè)發(fā)展，AR、VR 產(chǎn)業(yè)也是5G發(fā)展的重要需求。那么VR 到底是什么？VR 在節(jié)目制作中可以做什么？在5G 時(shí)代到來的今天VR 又能迎來哪些發(fā)展呢？

1 VR 攝像機(jī)

VR 攝像機(jī)根據(jù)機(jī)身的類型一般分為兩大類，一種為一體化VR 攝像機(jī)，另一種為多個(gè)普通攝像機(jī)組合而成的VR 攝像機(jī)，兩種類型的攝像機(jī)各有特色，由于VR 發(fā)展初期一體化攝像機(jī)較少，很多VR 視頻都是通過組合VR 攝像機(jī)拍攝而成，畫質(zhì)也非常高，但隨著VR 攝像機(jī)技術(shù)的進(jìn)步，目前一體化VR 攝影機(jī)正在大力搶占市場(chǎng)和廣泛應(yīng)用，在價(jià)格和功能等要素影響下，一體化、便攜化和實(shí)時(shí)縫合應(yīng)該都是VR 攝影機(jī)的發(fā)展趨勢(shì)，而一體化VR 攝影機(jī)應(yīng)該會(huì)逐漸成為市場(chǎng)的主流選擇。

（1）組合式VR 攝像機(jī)。組合式VR 攝像機(jī)，就是通過輔助設(shè)備將多個(gè)普通攝像機(jī)組合成能拍攝VR 視頻的攝像機(jī)，如16個(gè)GoPro 運(yùn)動(dòng)相機(jī)攢機(jī)而成Google Jump，由Google 和GoPro一起研發(fā)而成的16目Odyssey（加強(qiáng)版Google Jump），以及6個(gè)GoPro 運(yùn)動(dòng)相機(jī)攢機(jī)Omni 等。

圖1 Gopro攢機(jī)

此外，還有用專業(yè)電影機(jī)組合而成的VR 攝像機(jī)，如六臺(tái)紅龍攝像機(jī)組合而成的NextVR，四臺(tái)紅龍攝影機(jī)組合而成的Upano J2VR。畫質(zhì)可以達(dá)到好萊塢等電影級(jí)級(jí)別，比較適合用于影視級(jí)項(xiàng)目和大型綜藝節(jié)目的VR 拍攝。

（2）一體化VR 攝像機(jī)。組合式VR 攝像機(jī)拍攝畫質(zhì)較高，但由于是多個(gè)攝像機(jī)組合而成，體積較為龐大，且調(diào)試及操作比較復(fù)雜，因此，目前市場(chǎng)上一體化VR 攝影機(jī)開始慢慢代替組合式VR 攝像機(jī)，一體化VR 攝影機(jī)便于攜帶，使用范圍涵蓋全景拍攝和VR 直播，操作使用過程比較簡(jiǎn)單，且在自身核心技術(shù)的支持下，一體化VR 攝影機(jī)大多可以實(shí)時(shí)完成圖像的處理、拼接和校正，比較節(jié)省人力和時(shí)間成本。

一體化VR 攝像機(jī)產(chǎn)品較多，筆者使用的一款NOKIA 的OZO，OZO 配備了8枚攝像頭，每個(gè)攝像頭能夠覆蓋的角度為195°，攝像機(jī)可以紀(jì)錄360°影像，并具有8個(gè)麥克風(fēng)，可以記錄下360×360°的“全空間”聲效。

圖2 OZO外形圖

2 VR 視頻網(wǎng)絡(luò)直播系統(tǒng)

VR 視頻直播要求較高，與傳統(tǒng)視頻直播有類似點(diǎn)，也有不一樣的地方，VR 全景視頻直播主要采用VR 攝像機(jī)為視頻采集，如果VR 攝像機(jī)內(nèi)部具備拼接推流的功能，可直接往VR 流媒體平臺(tái)直接推流直播，由于OZO 攝像機(jī)內(nèi)部不具備拼接推流功能，因此本次的VR 直播系統(tǒng)還包括外部的實(shí)時(shí)拼接服務(wù)器、編碼器及周邊系統(tǒng)，OZO 通過自帶的SDI DIN 接口輸出1.5 GB 小波壓縮信號(hào)，給到實(shí)時(shí)拼接服務(wù)器的信號(hào)處理，拼接服務(wù)器使用內(nèi)部的算法通過自動(dòng)和手動(dòng)方式，實(shí)現(xiàn)720全景畫面的實(shí)時(shí)完美縫合，如果有圖文包裝的需求，可將縫合好的視頻通過VR 圖文包裝進(jìn)行實(shí)時(shí)包裝，可實(shí)現(xiàn)VR 直播中文字、圖片、2D/3D 信號(hào)源等元素的實(shí)時(shí)包裝，豐富了場(chǎng)景的互動(dòng)性。

除了前端設(shè)備外，直播平臺(tái)也需要相對(duì)應(yīng)的流媒體服務(wù)器和全景播放器。全景直播信號(hào)提供有異于傳統(tǒng)媒體的觀看體驗(yàn)，呈現(xiàn)更立體、更豐富的節(jié)目形態(tài)，讓觀眾身臨其境。

圖3 單機(jī)位VR直播鏈路

單機(jī)位VR 直播比較難滿足觀眾的需求，當(dāng)在較大舞臺(tái)或場(chǎng)地時(shí)，就需要進(jìn)行多機(jī)位全景直播，系統(tǒng)將更加復(fù)雜，需要增加VR 視頻切換臺(tái)、監(jiān)看、錄制等。

圖4 多機(jī)位VR直播鏈路

3 VR 拍攝及剪輯

除了進(jìn)行VR 直播外，OZO 攝像機(jī)更多的應(yīng)用在VR 視頻的拍攝制作上，其能拍攝出超高質(zhì)量的VR 視頻，在圖像質(zhì)量和接縫遠(yuǎn)遠(yuǎn)高于普通的全景攝像機(jī)，但OZO 較普通VR 攝像機(jī)體積和重量較大，原先只能固定機(jī)位，而VR 拍攝都是通過廣角的方式拍攝，不具備傳統(tǒng)攝像機(jī)的“長(zhǎng)焦”功能，為了彌補(bǔ)以上拍攝缺陷，我們將OZO 裝置在背帶式的穩(wěn)定器上，這樣在拍攝上更加靈活，通過“走過去”代替“長(zhǎng)焦”，而背帶式的穩(wěn)定器讓拍攝更加輕松。

我們還應(yīng)用OZO 錄制了高質(zhì)量的VR 視頻，其中包括《藍(lán)魅直播》、《夢(mèng)想的聲音2》、《飛躍余村》、《720°全景看兩會(huì)》等。

圖5 《720°全景看“兩會(huì)”》全景模式

最后對(duì)OZO 剪輯軟件進(jìn)行簡(jiǎn)單介紹，OZO Creator 是一款專門為OZO 全景攝像頭進(jìn)行視頻剪輯的軟件，OZO Creator 支持查看已錄制的視頻，并可將原始的OZO 文件轉(zhuǎn)碼為行業(yè)標(biāo)準(zhǔn)文件格式，便于后期音頻美化與視頻合成，文件導(dǎo)出同時(shí)保存時(shí)間碼和其他元數(shù)據(jù)。

圖6 OZO creater編輯界面

4 VR 音頻制作探索

在VR 視頻中，我們也對(duì)音頻的制作進(jìn)行探索，OZO 通過機(jī)器身上的8個(gè)麥克風(fēng)可采集720度的環(huán)繞音頻，后期中應(yīng)用傳統(tǒng)的立體聲，立體聲在VR 里會(huì)有一個(gè)問題，戴著頭盔或拿手機(jī)旋轉(zhuǎn)的時(shí)候聲音并不跟隨我們變化，永遠(yuǎn)聽不到立體聲，我們也咨詢一些全景VR 視頻公司，想對(duì)全景視頻進(jìn)行處理，通過多軌音頻同步傳輸?shù)姆绞?，由眼鏡或者手機(jī)VR 播放器的解碼器根據(jù)位置調(diào)整處理聲音，保證眼鏡和手機(jī)在旋轉(zhuǎn)過程中也可以同步體會(huì)到聲音的變化，跟著陀螺儀去改變音軌的變化，這將是比較理想的狀態(tài)。

圖7 OZO creater輸出設(shè)置

5 5G 時(shí)代來臨，VR 迎來新發(fā)展階段

5G 技術(shù)的商用能讓VR 技術(shù)更好的為節(jié)目服務(wù)。在4G 時(shí)代，VR 直播中存在著觀眾體驗(yàn)感差、計(jì)算能力有待提升、頭顯設(shè)備沉重等問題，阻礙VR 直播在節(jié)目中應(yīng)用和市場(chǎng)發(fā)展。而5G 時(shí)代VR 產(chǎn)品的延遲將減少近10倍，網(wǎng)絡(luò)效率提高100倍，VR 運(yùn)行速度這一問題可以被很好地解決。同時(shí)，從計(jì)算能力、產(chǎn)品實(shí)用領(lǐng)域等諸多因素來看，5G+VR 模式都具有優(yōu)勢(shì)。5G 的發(fā)展促進(jìn)VR 迎來行業(yè)拐點(diǎn)的重要時(shí)刻。

表1 VR技術(shù)4G時(shí)代與5G時(shí)代對(duì)比

在過去的幾年，我們?cè)谛侣剤?bào)道、綜藝娛樂和體育賽事中不斷試水VR 直播，而在前不久，中國(guó)移動(dòng)研究院副院長(zhǎng)魏晨表示，VR 技術(shù)將從傳統(tǒng)的娛樂行業(yè)向各垂直行業(yè)應(yīng)用拓展，VR 在垂直領(lǐng)域的的融入將不斷提升。未來，我們勢(shì)必將會(huì)在VR 直播應(yīng)用的更垂直化與商業(yè)化。

隨著5G 技術(shù)的不斷成熟及開始商用，VR 直播的成本也必定隨之降低。雖然在過去幾年我們?cè)诠?jié)目制作中多次使用VR 直播，但是造價(jià)成本高，使用程度也多停留在體驗(yàn)及創(chuàng)新層面。而到了5G 時(shí)代，運(yùn)營(yíng)商可以以低成本為用戶提供服務(wù)，這也意味著用戶可以以更低的價(jià)格享受到占用流量較大的VR 視頻資源。加上相關(guān)的硬件設(shè)備的不斷升級(jí)，包括拍攝設(shè)備到“頭顯”設(shè)備、終端設(shè)備等，不僅在電視節(jié)目應(yīng)用中會(huì)加強(qiáng)，在個(gè)人化使用中也會(huì)加強(qiáng)，有可能從人手一部的智能手機(jī)到人手一部的全景拍攝器和VR 眼鏡，讓VR 無論是內(nèi)容的產(chǎn)出和觀看都變得更加方便、普及。

6 結(jié)束語

這幾年，我們一直在嘗試去探索VR 直播在節(jié)目中的應(yīng)用，從VR 視頻采集拍攝、VR 視頻后期制作、VR 視頻優(yōu)化轉(zhuǎn)碼、VR 視頻播放器研發(fā)、VR H5頁面設(shè)計(jì)都投入了大量的工作，VR直播對(duì)節(jié)目現(xiàn)場(chǎng)的直接“復(fù)現(xiàn)”在某種程度上等于把觀察視角直接扔給了觀眾，而其豐富的場(chǎng)景表現(xiàn)要素使得節(jié)目細(xì)節(jié)具有更為多樣化，讀者觀看節(jié)目的視角變得更加多元化。未來，在5G 技術(shù)的支撐下，我們也希望VR 直播技術(shù)能更好地應(yīng)用在節(jié)目制作中。