虛擬現(xiàn)實(shí)技術(shù)在電視節(jié)目中的應(yīng)用

智衛(wèi)

【摘 要】基于虛擬現(xiàn)實(shí)技術(shù)的呈現(xiàn)形式和設(shè)備，闡述電視拍攝制作中運(yùn)用的關(guān)鍵性的虛擬現(xiàn)實(shí)技術(shù)，以及虛擬現(xiàn)實(shí)技術(shù)在廣電領(lǐng)域的發(fā)展前景。

【關(guān)鍵詞】 虛擬現(xiàn)實(shí)；實(shí)時(shí)縫合；虛擬植入；增強(qiáng)現(xiàn)實(shí)；交互模式；沉浸式；互動

【Abstract】Based on virtual reality technology rendition and equipment，explained the virtual reality technology which used in the television production，and the development prospect in the field of virtual reality technology in radio and television.

【Key Words】virtual reality； real-time suture； the virtual implants； augmented reality； interactive mode； immersive； interaction

1 引言

虛擬現(xiàn)實(shí)（Virtual Reality， VR）技術(shù)是指用戶借助特殊的輸入/輸出設(shè)備與以計(jì)算機(jī)技術(shù)為核心的科技手段生成的虛擬環(huán)境中的物體進(jìn)行交互。VR技術(shù)被稱為“下一代互聯(lián)網(wǎng)計(jì)算中心”以及“下一代移動計(jì)算機(jī)平臺”，帶來人機(jī)交互的內(nèi)容、方式和效果的革新。它提供了除電視屏、電腦屏、手機(jī)屏之外的第四塊屏——即第一視角屏，通過各種交互設(shè)備使交互模式從單向轉(zhuǎn)為雙向互動，將體驗(yàn)者帶入虛擬環(huán)境，獲得沉浸式的交互體驗(yàn)。

VR技術(shù)以其沉浸式和互動式特點(diǎn)給傳統(tǒng)電視觀看模式帶來極大沖擊，同時(shí)為電視業(yè)創(chuàng)新與升級創(chuàng)造了難得機(jī)遇。2016年，VR技術(shù)在電視節(jié)目中得到了快速發(fā)展和應(yīng)用，巴西里約奧運(yùn)會的直播就使用了VR技術(shù)，為世界各地的觀眾提供一種獨(dú)特的視覺體驗(yàn)。制作項(xiàng)目包括奧運(yùn)會開閉幕式、籃球、體操、田徑、沙灘排球、跳水、拳擊等，每場比賽提供三個不同VR機(jī)位的視頻流，用戶可以通過APP觀看直播或點(diǎn)播。

雖然當(dāng)前VR技術(shù)的發(fā)展和應(yīng)用仍處于起步階段，供應(yīng)鏈及系統(tǒng)配套還不成熟，但發(fā)展前景引人想象，國內(nèi)外科技巨頭都在加速虛擬現(xiàn)實(shí)生態(tài)系統(tǒng)布局。整個VR技術(shù)應(yīng)用的生態(tài)圈包括用戶、技術(shù)、硬件、內(nèi)容等已初步形成，在電影、電視、網(wǎng)絡(luò)、紙媒等傳統(tǒng)媒介的基礎(chǔ)上構(gòu)建出新的媒體形態(tài)。

筆者基于VR技術(shù)的呈現(xiàn)形式和設(shè)備，分析在電視節(jié)目制作中的所采用的關(guān)鍵技術(shù)及其運(yùn)用。

2 虛擬現(xiàn)實(shí)技術(shù)的分類

VR技術(shù)創(chuàng)造的核心內(nèi)容是構(gòu)建一個虛擬的環(huán)境，圖1為VR技術(shù)的工作原理圖。比如采用VR頭盔，通過切斷體驗(yàn)者輸入現(xiàn)實(shí)世界的視覺路徑，將用戶帶入創(chuàng)造的虛擬三維空間，打造“完全在場”的錯覺。

從VR技術(shù)的呈現(xiàn)形式可分為四類。

2.1 桌面虛擬現(xiàn)實(shí)

桌面虛擬現(xiàn)實(shí)利用個人計(jì)算機(jī)和初級工作站進(jìn)行仿真，計(jì)算機(jī)屏幕作為觀察虛擬環(huán)境的窗口，通過鼠標(biāo)、追蹤球、力矩球等輸入設(shè)備實(shí)現(xiàn)虛擬環(huán)境與現(xiàn)實(shí)世界的交互，操縱其中的物體。這種VR技術(shù)會受到周圍現(xiàn)實(shí)環(huán)境的干擾，參與者缺少完全的沉浸感。常見桌面虛擬現(xiàn)實(shí)技術(shù)有基于靜態(tài)圖像的虛擬現(xiàn)實(shí)QuickTime VR、虛擬現(xiàn)實(shí)造型語言VRML、桌面三維虛擬現(xiàn)實(shí)等。

2.2 分布式虛擬現(xiàn)實(shí)

分布式虛擬現(xiàn)實(shí)系統(tǒng)是通過計(jì)算機(jī)網(wǎng)絡(luò)連接使多個用戶同處于一個虛擬空間，共同體驗(yàn)虛擬經(jīng)歷。這種VR技術(shù)提升到了一個更高的境界，可以達(dá)到協(xié)同工作的目的。在中國中央電視臺（以下簡稱央視）音樂頻道《音樂公開課》節(jié)目中，為了讓更多的用戶同時(shí)體會音樂的魅力，采用VR技術(shù)對節(jié)目進(jìn)行制作并通過計(jì)算機(jī)網(wǎng)絡(luò)將多個觀眾匯集在同一空間，共同感受同一個虛擬世界，參與同一場音樂公開課。

2.3 沉浸式虛擬現(xiàn)實(shí)

沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的體驗(yàn)，使用戶有置身于虛擬境界之中的感覺，是目前最常用的方式。它利用頭盔式顯示器或其他設(shè)備，把參與者的視覺、聽覺及其他感覺封閉起來，提供一個全新的虛擬感覺空間，并利用位置跟蹤器、數(shù)據(jù)手套等手控或聲音輸入設(shè)備，使參與者產(chǎn)生一種身臨其境、全心投入和沉浸其中的感覺。常見的沉浸式虛擬系統(tǒng)有基于頭盔式顯示器的系統(tǒng)和投影式虛擬現(xiàn)實(shí)系統(tǒng)。

2.4 增強(qiáng)現(xiàn)實(shí)性虛擬現(xiàn)實(shí)

增強(qiáng)現(xiàn)實(shí)（AR）性虛擬現(xiàn)實(shí)系統(tǒng)不僅模擬現(xiàn)實(shí)世界，而且要增強(qiáng)參與者對真實(shí)環(huán)境的感受，增強(qiáng)了現(xiàn)實(shí)中無法感知或不方便的感受。在央視綜合頻道《生活圈》節(jié)目中，主持人在介紹互動數(shù)據(jù)時(shí)面前出現(xiàn)實(shí)時(shí)數(shù)據(jù)板，數(shù)據(jù)的展示就是通過AR技術(shù)來實(shí)現(xiàn)的。在央視中文國際頻道《國家記憶》紀(jì)錄片中，也使用AR技術(shù)在嘉賓面前顯示相關(guān)的媒體數(shù)據(jù)信息，極大地豐富了熒屏效果。

3 沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的主要設(shè)備

沉浸式虛擬現(xiàn)實(shí)系統(tǒng)設(shè)備主要包括拍攝制作、用戶體驗(yàn)兩個部分。

3.1 拍攝制作設(shè)備

拍攝制作的設(shè)備包括多目VR攝像機(jī)和視頻縫合器、VR視頻切換、字幕機(jī)、編碼和推流服務(wù)器等。

VR拍攝制作流程如圖2所示。拍攝時(shí)通常在一個環(huán)境里布置多臺VR攝像機(jī)，每臺攝像機(jī)連接一臺VR視頻縫合器。攝像機(jī)可以安裝在固定位置，也可以安裝在搖臂或軌道上，以便提供移動鏡頭。VR視頻切換臺切出最終的一路信號經(jīng)過字幕包裝后進(jìn)入到推流編碼器直接推送到云端，最后分發(fā)到各播出平臺。

3.2 用戶體驗(yàn)的終端設(shè)備

對于用戶體驗(yàn)的終端部分主要分為與虛擬世界進(jìn)行交互的輸出和輸入設(shè)備，如圖3所示。

（1）輸出設(shè)備

目前輸出頭顯設(shè)備主要分為三類。

外接式VR頭盔：外接個人計(jì)算機(jī)、智能手機(jī)、游戲機(jī)等設(shè)備作為計(jì)算與存儲設(shè)備，具有獨(dú)立屏幕，產(chǎn)品結(jié)構(gòu)復(fù)雜，技術(shù)含量最高，代表產(chǎn)品有Facebook 的OCULUS和HTC的VIVE等。

一體式VR頭盔：自帶屏幕、計(jì)算與存儲設(shè)備，可獨(dú)立運(yùn)行，此類產(chǎn)品較少，代表產(chǎn)品有戴爾BOSSNEL和小黑靈境等。

智能手機(jī)VR眼鏡：將手機(jī)放到盒子中，當(dāng)作屏幕、計(jì)算及存儲設(shè)備的作用，產(chǎn)品結(jié)構(gòu)簡單，制作成本低廉，國內(nèi)大部分產(chǎn)品屬于此類，代表產(chǎn)品有Googlebox和暴風(fēng)魔鏡等。

圖像的刷新率在很大程度上決定了VR頭顯設(shè)備體驗(yàn)的好壞。因?yàn)楦咚⑿侣蕰档脱舆t，從而減少暈動癥的發(fā)生，可為用戶獲得更為靈敏的體驗(yàn)。目前要求VR顯示設(shè)備的刷新率至少在每秒60幀，市場上主流VR顯示設(shè)備會維持在每秒90幀以上。

（2）輸入設(shè)備

VR輸入設(shè)備是與虛擬世界進(jìn)行主動交互時(shí)發(fā)出指令的控制器，主要包括手柄、手勢識別設(shè)備、動捕設(shè)備、跑步機(jī)、方向盤、傳聲器等。

4 電視拍攝制作中的VR關(guān)鍵技術(shù)

4.1 前端拍攝技術(shù)

VR攝像機(jī)均為無盲點(diǎn)全覆蓋拍攝，它通常由兩目以上朝向不同的普通鏡頭拼接而成，擁有360°全景視場。通過調(diào)研市面上的主要VR拍攝設(shè)備的性能及各項(xiàng)指標(biāo)，將VR拍攝設(shè)備分為消費(fèi)級、專業(yè)級、廣播級，如圖4所示。

消費(fèi)級VR拍攝設(shè)備：以雙目180°魚眼一體相機(jī)為主流，可以達(dá)到實(shí)時(shí)硬件設(shè)備縫合全景畫面，分辨率為2K的高清畫質(zhì)。

專業(yè)級VR拍攝設(shè)備：用多個GoPro（或小蟻等）級別運(yùn)動相機(jī)組合而成，一般在4目～8目，拼接后的畫面可以達(dá)到4K的超高清畫質(zhì)。

廣播級VR拍攝設(shè)備：一般采用專業(yè)單反相機(jī)進(jìn)行組合，由于相機(jī)體積龐大，一般情況下多為4目相機(jī)組合，拼接后可達(dá)到6K的超高清畫質(zhì)。

基于各項(xiàng)參數(shù)的對比，通常用于演播室類電視節(jié)目的制作時(shí)VR拍攝設(shè)備至少應(yīng)達(dá)到廣播級VR產(chǎn)品要求，用于ENG外拍電視節(jié)目的制作時(shí)VR拍攝設(shè)備至少應(yīng)達(dá)到專業(yè)級VR產(chǎn)品要求。

4.2 VR圖像縫合技術(shù)

VR圖像縫合技術(shù)是指將不同傳感器在不同視點(diǎn)和視角拍攝的具有一定空間重疊的圖像拼接起來，形成一個合乎視覺效果的大場景圖像，主要包括圖像匹配和圖像融合兩方面。其中，圖像匹配技術(shù)是VR圖像縫合的核心技術(shù)，直接關(guān)系到圖像拼接算法的成功和效率。

圖像縫合拼接按拼接的投影基準(zhǔn)可以分為柱面拼接、球面拼接和正方體拼接。其中柱面拼接由于柱面坐標(biāo)的變換比較簡單，并且投影圖像與其投影到圓柱表面的位置無關(guān)，用其描述的柱面圖像可在水平方向上滿足360°環(huán)視，具有較好的視覺效果而被廣泛采用。

在電視節(jié)目的運(yùn)用中，圖像縫合分為實(shí)時(shí)縫合和后期縫合兩類。目前國際上主流的縫合軟件有Vahana VR（法國）、Kolor Panotour Pro（美國），國內(nèi)也有GO PANO VR等軟件。實(shí)時(shí)縫合設(shè)備是將2目以上全景相機(jī)錄制的多個畫面實(shí)時(shí)拼合成全景畫面的設(shè)備，解決了全景拍攝不能用于直播的問題，同時(shí)也給全景拍攝者提供實(shí)時(shí)拍攝效果的預(yù)監(jiān)功能。圖像縫合服務(wù)器主要包含多目攝影機(jī)拼接和多畫面視頻的實(shí)時(shí)縫合、全景縫合視頻的實(shí)時(shí)預(yù)覽、全景視頻實(shí)時(shí)錄制和聲音實(shí)時(shí)采集、RTMP實(shí)時(shí)推流和SDI信號實(shí)時(shí)輸出、拍攝安全距離可調(diào)整以及多目攝影機(jī)的手動曝光與白平衡調(diào)節(jié)等功能。

4.3 虛擬植入技術(shù)

結(jié)合廣電傳統(tǒng)的制作特點(diǎn)，節(jié)目經(jīng)常將VR拍攝與虛擬植入（實(shí)時(shí)渲染）結(jié)合運(yùn)用，尤其是在現(xiàn)場直播中，實(shí)時(shí)呈現(xiàn)植入的全景虛擬效果，無需進(jìn)入后期制作合成，為傳統(tǒng)電視節(jié)目的制作提供更多的可能。圖5為虛擬效果植入的全景演播室的VR+AR解決方案。

虛擬植入技術(shù)可以在各類電視節(jié)目中得到應(yīng)用：演播室節(jié)目中利用實(shí)時(shí)虛擬植入效果可以將導(dǎo)播間、攝像機(jī)位、頂部燈光等無效內(nèi)容遮擋；在體育賽事直播中，可加入與運(yùn)動員有關(guān)的數(shù)據(jù)等植入效果；在大型晚會節(jié)目中植入燦爛的光效或與節(jié)目有關(guān)的虛擬效果；在軍事節(jié)目中可以在四周同時(shí)植入軍艦、飛機(jī)、戰(zhàn)勝沙盤等效果；在節(jié)目中可以植入立體效果廣告內(nèi)容，并可以為節(jié)目增加更多的廣告植入空間。

4.4 VR節(jié)目制作及分發(fā)技術(shù)

實(shí)時(shí)縫合技術(shù)的發(fā)展推動了VR節(jié)目的直播，用戶可以產(chǎn)生親臨其境的現(xiàn)場感受。VR節(jié)目直播首先需要通過多目攝像機(jī)在演播室或新聞發(fā)生現(xiàn)場進(jìn)行VR拍攝，同時(shí)通過縫合服務(wù)器將多個畫面進(jìn)行全景實(shí)時(shí)縫合，再通過虛擬渲染系統(tǒng)將縫合好的全景視頻疊加上虛擬植入的效果（縫合與虛擬疊加是同時(shí)進(jìn)行），然后直接通過推流編碼器推送到云端，最后分發(fā)到播出平臺。VR節(jié)目可支持多平臺分發(fā)，包括VR頭顯設(shè)備、計(jì)算機(jī)、智能手機(jī)、電視機(jī)頂盒；也支持多種傳輸路徑的分發(fā)，包括RTMP推流云端分發(fā)、IP網(wǎng)絡(luò)傳輸、HFC寬帶網(wǎng)傳輸，并且支持高畫質(zhì)、高碼率傳輸。VR視頻直播云端分發(fā)視頻格式為1 920×960，碼流為3M至8M。VR視頻格式高畫質(zhì)、高碼率傳輸不僅需要通暢網(wǎng)絡(luò)、足夠帶寬，終端接收硬件設(shè)備也需要配置較高，圖6為基于IP直播和點(diǎn)播的VR節(jié)目方案。

5 VR技術(shù)在廣電領(lǐng)域的發(fā)展

央視2016年專門設(shè)立科研項(xiàng)目《虛擬現(xiàn)實(shí)技術(shù)在電視節(jié)目中的研究》，目的是跟蹤研究當(dāng)前虛擬現(xiàn)實(shí)技術(shù)的發(fā)展及對電視節(jié)目制作的影響，通過節(jié)目制作的各個應(yīng)用場景，提供VR拍攝、實(shí)時(shí)縫合、傳輸及呈現(xiàn)的完整方案。 目前，央視已經(jīng)開始在融合媒體節(jié)目《中國輿論場》和2016年歐洲杯《豪門盛宴》中嘗試VR節(jié)目制作，并計(jì)劃在近期逐步應(yīng)用到更多節(jié)目中。

圖7為央視音樂頻道《全球中文榜中榜》節(jié)目的VR制作系統(tǒng)圖。系統(tǒng)中有2臺拍攝近景的VR攝像機(jī)，1臺專業(yè)級8目一體化VR攝影機(jī)，用于近景固定機(jī)位的拍攝；1臺小型一體化4目VR攝影機(jī)，用于隱藏機(jī)位或近景運(yùn)動機(jī)位的拍攝；1臺遠(yuǎn)景攝像機(jī)，用于全景的拍攝；2臺外景拍攝攝像機(jī)；1臺帶有穩(wěn)定裝置的運(yùn)動型VR攝像機(jī)，采用7目及以上的運(yùn)動型攝影機(jī)拼接成VR攝影機(jī)，配置陀螺儀自穩(wěn)定系統(tǒng)，以便提高運(yùn)動視頻的拍攝質(zhì)量；1臺采用4目運(yùn)動型相機(jī)拼接的VR攝像機(jī)。系統(tǒng)中縫合器均帶有4K SDI實(shí)時(shí)輸出，并支持最高8K文件形式輸出。

視頻切換臺使用10路以上小型4K切換臺，帶有1級ME和2路下游鍵功能，提供多畫面監(jiān)看功能，并支持Tally輸出。系統(tǒng)配置4臺4K硬盤錄像機(jī)，其中2臺主要作為放機(jī)，另外2臺主要作為錄機(jī)使用，采用可插拔SSD硬盤作為存儲介質(zhì)，便于素材交換和擴(kuò)充。此外，配置1臺55英寸4K顯示器作為多畫面監(jiān)看，并配置2臺17英寸4K監(jiān)視器，用于PGM節(jié)目和PVW預(yù)選監(jiān)看。配置2臺主備的VR字幕機(jī)用于直播中字幕信息的播出，支持4K SDI VR視頻輸入輸出，可以與互動信息系統(tǒng)連接，顯示多種交互信息。

VR視頻編碼器支持4K SDI VR視頻輸入，帶有上下黑邊自動裁剪功能，至少支持H.264和H.265編碼格式，帶有RTMP推流播出功能，可以實(shí)現(xiàn)多種分辨率同步輸出功能。圖8為演播室VR節(jié)目錄制效果。

目前，VR技術(shù)已經(jīng)開始應(yīng)用到各個電視臺，很多VR企業(yè)也有針對性地研發(fā)VR產(chǎn)品，但能達(dá)到廣電級的卻寥寥無幾，多數(shù)公司將消費(fèi)級產(chǎn)品推向廣電領(lǐng)域，無法達(dá)到廣電標(biāo)準(zhǔn)和要求。造成此現(xiàn)象的原因有以下幾點(diǎn)。

（1） VR技術(shù)研發(fā)團(tuán)隊(duì)不了解廣電領(lǐng)域中的應(yīng)用特點(diǎn)

現(xiàn)階段很多VR技術(shù)研發(fā)工程師都是IT行業(yè)轉(zhuǎn)型，沒有廣電應(yīng)用的經(jīng)驗(yàn)和意識，研發(fā)的很多產(chǎn)品只能達(dá)到民用級，同時(shí)其分辨率、清晰度、安全性都不具備廣電行業(yè)標(biāo)準(zhǔn)。

（2） 研發(fā)廣電級標(biāo)準(zhǔn)產(chǎn)品難度大

廣電級VR產(chǎn)品要求技術(shù)含量很高，研發(fā)周期相對較長，對技術(shù)人員也有一定的要求，而多數(shù)公司現(xiàn)在只是在做一些技術(shù)比較低端、容易實(shí)現(xiàn)的產(chǎn)品，通過低端產(chǎn)品達(dá)到短時(shí)間占領(lǐng)VR市場的短期目的。

（3）拍攝方式單一

大部分VR公司沒有廣電節(jié)目拍攝制作經(jīng)驗(yàn)，僅僅認(rèn)為在舞臺中央架設(shè)一臺VR設(shè)備就能完成節(jié)目制作。所以要改變這種思維和應(yīng)用模式還需結(jié)合廣電傳統(tǒng)的拍攝手法及經(jīng)驗(yàn)。

（4）偏后期少完整的直播方案

很多VR的公司都是從游戲或動畫的開發(fā)公司轉(zhuǎn)型，轉(zhuǎn)型后更多的是在做VR視頻的后期制作，而廣電節(jié)目直播性較強(qiáng)，需要完整的一套VR直播系統(tǒng)技術(shù)方案。

6 結(jié)語

VR技術(shù)帶來的絕不僅僅是媒體產(chǎn)品形態(tài)的改變，而更可能是一個全新產(chǎn)業(yè)的到來，且規(guī)模遠(yuǎn)超現(xiàn)在的廣電行業(yè)。VR由于其沉浸式、互動式的特點(diǎn)，給了受眾接觸媒體產(chǎn)品的全新方式，并產(chǎn)生了巨大的吸引力，從而給傳統(tǒng)的電視觀看模式以極大沖擊，同時(shí)也是電視業(yè)創(chuàng)新與升級的難得機(jī)遇。面對這個巨大的機(jī)遇，包括Google、Facebook以及BAT在內(nèi)的互聯(lián)網(wǎng)公司都在進(jìn)行積極的布局與嘗試，都期待未來在VR的產(chǎn)業(yè)中占盡先機(jī)。作為電視媒體，發(fā)展VR的發(fā)力點(diǎn)是VR內(nèi)容制作或者構(gòu)建VR內(nèi)容平臺，為此，要對新聞事件直播、體育賽事直播、綜藝娛樂節(jié)目進(jìn)行VR制作的探索，同時(shí)要加快對VR人才引進(jìn)與培養(yǎng)，只有這樣才能在VR領(lǐng)域搶得先機(jī)并獲得更大發(fā)展。

參考文獻(xiàn)：

[1] 中央電視臺發(fā)展研究中心. VR發(fā)展現(xiàn)狀及在媒體領(lǐng)域的應(yīng)用[Z]. 2016.