VR 應(yīng)用的云渲染解決方案

林墨耘 馬媛 房林

（中國(guó)電子科技集團(tuán)公司第三十研究所，四川 成都 610000）

云渲染(cloud render)是基于云計(jì)算和流媒體技術(shù)的概念，借助云計(jì)算超強(qiáng)的計(jì)算能力及高速穩(wěn)定的網(wǎng)絡(luò)，采用視頻碼流作為“云端”向“終端”呈現(xiàn)處理結(jié)果的一種方案。VR 終端收集用戶的顯示內(nèi)容需求，將對(duì)計(jì)算能力要求最嚴(yán)苛的渲染部分傳輸至云渲染服務(wù)器，完成渲染、編碼后，經(jīng)過(guò)高帶寬、低時(shí)延反饋至VR 終端進(jìn)行解碼顯示，從而降低VR 終端的性能要求，大幅度降低終端的成本。云渲染涵蓋范圍較為廣泛，利用云端GPU 資源進(jìn)行運(yùn)算并將結(jié)果傳送至終端的方式均可以稱之為云渲染。

在云渲染技術(shù)的支持下，普通用戶無(wú)需購(gòu)買(mǎi)昂貴的VR 設(shè)備，僅需要低成本的VR一體機(jī)或機(jī)頂盒或手機(jī)VR 盒子，就可以實(shí)現(xiàn)大規(guī)模的交互式VR 業(yè)務(wù)體驗(yàn)，為VR 業(yè)務(wù)的普及提供了新的發(fā)展機(jī)遇。

一、云渲染解決方案

（一）云渲染方案架

云渲染解決方案體系結(jié)構(gòu)由終端層、網(wǎng)絡(luò)層、平臺(tái)層和內(nèi)容層組成。終端層為虛擬現(xiàn)實(shí)終端主要實(shí)現(xiàn)虛擬現(xiàn)實(shí)內(nèi)容渲染、家庭網(wǎng)絡(luò)訪問(wèn)和用戶認(rèn)證等功能，通過(guò)千兆光纖、5G 網(wǎng)絡(luò)等高速通道與平臺(tái)層連接。網(wǎng)絡(luò)層包括骨干網(wǎng)絡(luò)、城域網(wǎng)、接入網(wǎng)絡(luò)和家庭網(wǎng)絡(luò)，負(fù)責(zé)為虛擬現(xiàn)實(shí)云渲染服務(wù)提供大帶寬、低延遲的穩(wěn)定傳輸。平臺(tái)層為VR特定應(yīng)用提供云渲染、流媒體、轉(zhuǎn)碼、存儲(chǔ)、編碼等功能。內(nèi)容層主要負(fù)責(zé)向平臺(tái)層提供應(yīng)用程序內(nèi)容，包括內(nèi)容提供商和內(nèi)容聚合商、包括視頻服務(wù)在內(nèi)的虛擬現(xiàn)實(shí)內(nèi)容和強(qiáng)大的互動(dòng)服務(wù)。

（二）渲染業(yè)務(wù)平臺(tái)

云渲染平臺(tái)由VR 中心管理系統(tǒng)和多個(gè)VR 云渲染系統(tǒng)組成。

1.中心管理系統(tǒng)。

VR 中心管理系統(tǒng)是云渲染平臺(tái)的核心控制部分，集中接收用戶VR 終端發(fā)起的視頻處理請(qǐng)求，調(diào)度云計(jì)算資源，存儲(chǔ)關(guān)鍵的系統(tǒng)配置、用戶權(quán)限等數(shù)據(jù)，其內(nèi)部主要分為業(yè)務(wù)系統(tǒng)、存儲(chǔ)管理和統(tǒng)一會(huì)話調(diào)度管理三大功能區(qū)域。

2.云渲染系統(tǒng)。

云渲染系統(tǒng)是云渲染平臺(tái)的核心部件，主要負(fù)責(zé)VR 應(yīng)用的邏輯計(jì)算、實(shí)時(shí)渲染、編碼、推流等處理，云端處理的高并發(fā)、低時(shí)延需要云渲染系統(tǒng)來(lái)保障。云渲染方案將硬件資源池化，行程GPU 渲染、CPU 計(jì)算資源池，在此基礎(chǔ)上構(gòu)建多個(gè)虛擬機(jī)作為VR業(yè)務(wù)的運(yùn)行環(huán)境，根據(jù)用戶需求及應(yīng)用環(huán)境對(duì)CPU 計(jì)算資源和GPU 渲染資源進(jìn)行動(dòng)態(tài)分配。云渲染通用方案由基礎(chǔ)計(jì)算資源、虛擬服務(wù)資源、服務(wù)應(yīng)用層組成，部署在邊緣側(cè)，通過(guò)調(diào)用與用戶最近的資源提高效率。

3.云渲染平臺(tái)建設(shè)。

云渲染平臺(tái)的建設(shè)一般分為兩個(gè)階段，第一階段采用集中式部署，快速形成運(yùn)算能力平臺(tái)，快速上線云渲染服務(wù)，第二階段采用分布式部署，以確保系統(tǒng)的高并發(fā)性和高可用性。

分布式部署通過(guò)邊緣節(jié)點(diǎn)服務(wù)（Edge Node Service，ENS），降低響應(yīng)時(shí)延和帶寬成本、減輕中心集群壓力，適用于“中心+邊緣”架構(gòu)模型下的各類業(yè)務(wù)。

集中式部署方案已具有較多成熟、可借鑒案例，本文主要介紹分布式部署方案。平臺(tái)將云VR 平臺(tái)管理和業(yè)務(wù)管理放在了核心網(wǎng)一端；將具備渲染能力及編解碼能力的應(yīng)用服務(wù)器放在了邊緣節(jié)點(diǎn)一端更貼近用戶側(cè)，目的是降低時(shí)延，給用戶帶來(lái)低時(shí)延的VR 體驗(yàn)。

分布式部署是將云服務(wù)平臺(tái)的中心系統(tǒng)部署在總前端機(jī)房，將分前端系統(tǒng)部署在分前端機(jī)房，分布式的部署方式能夠減輕視音頻流給骨干網(wǎng)帶來(lái)的壓力，同時(shí)降低了視音頻傳輸?shù)木W(wǎng)絡(luò)時(shí)延，提供給用戶更加優(yōu)異的體驗(yàn)，適合系統(tǒng)擴(kuò)容及后期較大規(guī)模的云服務(wù)平臺(tái)。

目前平臺(tái)支持基于5G 架構(gòu)的MEC 服務(wù)器形式部署，并進(jìn)行落地環(huán)境測(cè)試驗(yàn)證。云VR 平臺(tái)基于云端能力建設(shè)，支持彈性、靈活、平滑的擴(kuò)容方案。云VR 渲染系統(tǒng)支持部署在云計(jì)算的虛擬機(jī)上，也支持部署在有GPU 能力的硬件服務(wù)器上。

虛擬化與物理服務(wù)器結(jié)合部署模式的主要思路是將中心管理系統(tǒng)、分前端管理系統(tǒng)及業(yè)務(wù)管理系統(tǒng)部署在虛擬服務(wù)器，由于中心、分前端、業(yè)務(wù)管理對(duì)于服務(wù)器性能需求相對(duì)較低，在虛擬服務(wù)器中能夠進(jìn)行正常的操作運(yùn)行，降低物理服務(wù)器部署成本；將應(yīng)用平臺(tái)部署在物理服務(wù)器，應(yīng)用平臺(tái)中安裝應(yīng)用，主要負(fù)責(zé)應(yīng)用的運(yùn)行和結(jié)果回傳，對(duì)于顯卡等硬件要求較高，通過(guò)部署在物理服務(wù)器，可以直接調(diào)用強(qiáng)大的服務(wù)器硬件資源，使得應(yīng)用運(yùn)行更加流暢，提升用戶體驗(yàn)感

全虛擬化部署模式的主要思路是將所有運(yùn)算功能模塊全部部署在虛擬服務(wù)器上，相比于虛擬化與物理服務(wù)器結(jié)合部署模式，全虛擬化部署可更加充分利用服務(wù)器硬件性能，適合于大批量用戶應(yīng)用場(chǎng)景，由于應(yīng)用平臺(tái)也部署在虛擬服務(wù)器，在部署大批量場(chǎng)景時(shí)硬件成本更低，管理也更加便利。

二、云渲染終端

（一）終端接入

云XR 終端系統(tǒng)實(shí)現(xiàn)與云端的協(xié)議交互、操作指令等數(shù)據(jù)回傳以及音視頻流解碼播放等能力，終端設(shè)備需要集成云VR 平臺(tái)的終端系統(tǒng)軟件。

云XR 平臺(tái)要求終端具備視頻解碼能力、VR 顯示能力和交互能力，因此終端只需要滿足以上功能，要達(dá)到更好的效果，需要終端基于以上功能做相應(yīng)的優(yōu)化，以達(dá)到終端最優(yōu)效果。目前云VR 平臺(tái)已經(jīng)支持VR 一體機(jī)、手機(jī)和云VR 機(jī)頂盒這三種形式的客戶端作為終端設(shè)備。

終端系統(tǒng)軟件支持VR終端進(jìn)行集成，集成后終端可以經(jīng)過(guò)IP網(wǎng)絡(luò)、光纖入戶網(wǎng)絡(luò)、家庭wifi 以及5G 網(wǎng)絡(luò)接入云VR 平臺(tái)。

在Cloud XR 解決方案中，Cloud XR 終端需要與視頻業(yè)務(wù)平臺(tái)、強(qiáng)交互業(yè)務(wù)平臺(tái)、投屏系統(tǒng)、機(jī)頂盒對(duì)接。需要通過(guò)增加Laucher、視頻業(yè)務(wù)APK、強(qiáng)交互業(yè)務(wù)APK、登錄鑒權(quán)、投屏服務(wù)等功能，從業(yè)務(wù)平臺(tái)服務(wù)器獲取編排后的視頻和強(qiáng)交互內(nèi)容。終端將內(nèi)容投屏共享給機(jī)頂盒，機(jī)頂盒通過(guò)播放器播放XR 投屏內(nèi)容。Cloud XR 終端主要通過(guò)無(wú)線WI-FI 接入，終端特點(diǎn)是無(wú)線、可移動(dòng)、舒適度相對(duì)高、交互自由、配置安裝簡(jiǎn)單，更容易大規(guī)模用戶的普及。

視頻業(yè)務(wù)APK：為了能訪問(wèn)、對(duì)接X(jué)R 視頻業(yè)務(wù)平臺(tái)，終端需要繼承視頻業(yè)務(wù)，與云端進(jìn)行業(yè)務(wù)的交互及服務(wù)狀態(tài)的監(jiān)控。

強(qiáng)交互業(yè)務(wù)APK：終端需要集成強(qiáng)交互業(yè)務(wù)的APK，包含門(mén)戶及交互協(xié)議庫(kù)。云XR協(xié)議庫(kù)負(fù)責(zé)與云渲染平臺(tái)進(jìn)行交互、操作數(shù)據(jù)回傳提供基礎(chǔ)SDK；門(mén)戶用于為用戶提供操作入口，內(nèi)容展示、聚合。

用戶鑒權(quán)：用戶鑒權(quán)可以通過(guò)手機(jī)驗(yàn)證和APP 登錄鑒權(quán)，對(duì)Cloud XR 進(jìn)行授權(quán)和解除授權(quán)。也可通過(guò)終端登錄方式進(jìn)行鑒權(quán)，不過(guò)此方案教手機(jī)鑒權(quán)操作較復(fù)雜。

投屏服務(wù)：投屏功能，可將XR 終端顯示的內(nèi)容同步投屏到電視上。用戶在終端發(fā)出投屏指令，通過(guò)用戶登錄鑒權(quán)實(shí)現(xiàn)Cloud XR 終端與機(jī)頂盒配對(duì)綁定并借助投屏信息通道進(jìn)行投屏控制。

通信能力：Cloud XR 終端通過(guò)WI-FI 或者5G 通信模塊與業(yè)務(wù)平臺(tái)對(duì)接，結(jié)合業(yè)務(wù)的帶寬及時(shí)延要求，終端需要支持5G 或者WI-FI。

（二）終端接入形式

VR 終端設(shè)備主要分為VR 一體機(jī)和VR 頭顯兩種形式，云VR 能夠同時(shí)支持以VR 機(jī)頂盒、VR 一體機(jī)、手機(jī)+VR 眼鏡盒子作為云VR 終端，形成云VR 平臺(tái)+云VR 機(jī)頂盒+VR 頭顯和云VR 平臺(tái)+VR 一體機(jī)兩種接入方式。

另外，為了VR 業(yè)務(wù)適用于家庭VR 應(yīng)用場(chǎng)景，云VR 平臺(tái)支持將VR 設(shè)備中的展示畫(huà)面實(shí)時(shí)同步到其他VR 設(shè)備，以及非VR 設(shè)備，包括：TV、手機(jī)、PAD 等屏幕，實(shí)現(xiàn)VR內(nèi)容的同屏分享。

自身具備一定的VR 應(yīng)用的運(yùn)行能力，使得用戶不需要通過(guò)線纜連接計(jì)算設(shè)備，用戶使用起來(lái)更為方便。但是由于VR 一體機(jī)計(jì)算性能相對(duì)高性能計(jì)算機(jī)來(lái)說(shuō)還是太弱了，炫酷的VR 內(nèi)容無(wú)法流暢運(yùn)行，因此，利用VR 一體機(jī)的便利性，通過(guò)云VR 支撐其運(yùn)行復(fù)雜的VR 應(yīng)用也是一個(gè)不錯(cuò)的組合。優(yōu)勢(shì)：1.自帶一定的解碼和VR 顯示能力，沒(méi)有線纜的束縛，用戶使用更方便；2.只要在網(wǎng)絡(luò)可達(dá)支持，VR 一體機(jī)都可以方便的訪問(wèn)云VR的內(nèi)容，更加靈活。

手機(jī)+VR 眼鏡是VR 設(shè)備中重要的一個(gè)類型，VR 眼鏡本身具有良好的鏡片顯示效果，將運(yùn)算能力遷移至手機(jī)端進(jìn)行處理，也進(jìn)一步降低了VR 設(shè)備的重量。但是由于手機(jī)計(jì)算性能相對(duì)高性能計(jì)算機(jī)來(lái)說(shuō)還是太弱了，炫酷的VR 內(nèi)容無(wú)法流暢運(yùn)行，因此，利用手機(jī)+VR 眼鏡的便利性，通過(guò)云VR 支撐其運(yùn)行復(fù)雜的VR 應(yīng)用也是一個(gè)不錯(cuò)的組合。優(yōu)勢(shì)：1.VR 眼鏡具備一定的VR 顯示能力，重量進(jìn)一步減輕，用戶使用更方便。2.利用手機(jī)作為運(yùn)算終端，更加便利，也節(jié)省了大部分終端成本，只要網(wǎng)絡(luò)帶寬允許即可支持，可以方便的訪問(wèn)云VR的內(nèi)容，更加靈活。

三、渲染技術(shù)指標(biāo)

云渲染的一個(gè)重要的技術(shù)指標(biāo)是時(shí)延，時(shí)延分為云端時(shí)延、終端時(shí)延、網(wǎng)絡(luò)時(shí)延三部分。

云端處理時(shí)延：云端時(shí)延包含邏輯計(jì)算、內(nèi)容渲染、編碼和數(shù)據(jù)發(fā)送等，根據(jù)當(dāng)前行業(yè)發(fā)展建議：邏輯計(jì)算、內(nèi)容渲染、編碼并行處理大約需要10～15ms，數(shù)據(jù)傳送時(shí)延約10-15ms，云端處理總的時(shí)延應(yīng)≤30ms。

網(wǎng)絡(luò)傳輸時(shí)延：根據(jù)實(shí)驗(yàn)室多人測(cè)試數(shù)據(jù)，當(dāng)前網(wǎng)絡(luò)對(duì)體驗(yàn)影響的拐點(diǎn)出現(xiàn)在網(wǎng)絡(luò)時(shí)延在15～20ms；時(shí)延>19ms，操作傳輕微遲滯；時(shí)延>23ms，轉(zhuǎn)頭體驗(yàn)劣化，出現(xiàn)明顯黑邊。所以網(wǎng)絡(luò)傳輸?shù)臅r(shí)延應(yīng)≤20ms。

終端處理時(shí)延：數(shù)據(jù)流傳輸?shù)浇K端后，終端需要對(duì)數(shù)據(jù)流進(jìn)行解碼、同步，再經(jīng)過(guò)異步扭曲、反畸變等處理后，顯示應(yīng)用內(nèi)容。采用90FPS的解碼能力，解碼時(shí)延約11ms，云平臺(tái)和終端異步時(shí)間一般為0～1 個(gè)周期，所以終端解碼和同步時(shí)延應(yīng)≤20ms。

四、結(jié)語(yǔ)

基于云渲染的虛擬現(xiàn)實(shí)服務(wù)可以并行訪問(wèn)多種類型的虛擬現(xiàn)實(shí)終端、外圍設(shè)備和用戶，以及提供2d 視頻、3d 視頻、虛擬全景視頻、虛擬現(xiàn)實(shí)游戲和其他很酷的服務(wù)，還有門(mén)戶、游戲教育娛樂(lè)特效和其他很酷的商業(yè)展覽，以及門(mén)戶游戲教育娛樂(lè)特效和其他很酷的商業(yè)展覽，以及門(mén)戶、游戲教育娛樂(lè)、廣告、電子商務(wù)和其他應(yīng)用程序下載操作，提供一個(gè)用戶友好的終端體驗(yàn)大大提高了體驗(yàn)效果，并大大豐富了虛擬現(xiàn)實(shí)終端可以承載的服務(wù)類型。它將有力地推動(dòng)運(yùn)營(yíng)商網(wǎng)絡(luò)服務(wù)的發(fā)展，為全媒體云服務(wù)提供一種新的模式。