下一代通信助力實時分布云渲染

陸平 盛斌 朱方

摘要：實時分布式云渲染技術(shù)和5G通信技術(shù)的使用，可以解決工業(yè)模型中實時渲染的問題。實時分布式云渲染技術(shù)將渲染工作放在服務(wù)器端，再將渲染結(jié)果利用5G通信技術(shù)快速傳輸?shù)娇蛻舳艘詫崿F(xiàn)實時的瀏覽和交互。介紹了實時分布式云渲染技術(shù)的基本框架、關(guān)鍵技術(shù)、發(fā)展?fàn)顩r，以及當(dāng)前的一些應(yīng)用，總結(jié)了其面臨的技術(shù)難題。認為新基建中人工智能的建設(shè)，可以進一步提升實時分布式云渲染的性能。

關(guān)鍵詞：工業(yè)數(shù)字化；實時分布式云渲染；服務(wù)器端渲染；5G傳輸

Abstract： Combining real-time distributed cloud rendering technology with 5G technologies can solve the problem of real-time rendering in industrial models. The rendering work is placed on the server side by distributed cloud rendering technology， and then the rendering results are transmitted to the client side quickly by 5G technologies to realize real-time browsing and interaction. Basic framework， key technologies， development status and some current applications of real-time distributed cloud rendering technology are introduced， and technical problems still faced by real-time distributed cloud rendering technology are summarized. It is believed that the construction of artificial intelligence in the new infrastructure can further improve the performance of real-time distributed cloud rendering.

Keywords： industrial digitization； distributed cloud rendering； server rendering； 5G transmission

在工業(yè)4.0時代，為了更加方便地進行工業(yè)設(shè)計和生產(chǎn)工作，人們已經(jīng)逐步開始將大規(guī)模的工業(yè)模型制作成數(shù)字化模型后再渲染出來，供技術(shù)人員和設(shè)計人員使用。渲染是將三維的場景模型，通過添加材質(zhì)、燈光、特殊效果等方式，最終將其轉(zhuǎn)化成可以在顯示器上呈現(xiàn)的二維圖像的過程[1]。渲染分為實時渲染和離線渲染：實時渲染是指計算機在完成每幀的渲染工作之后，就直接將渲染結(jié)果輸出顯示；離線渲染是指當(dāng)完成全部的渲染工作后，再將渲染結(jié)果逐幀輸出。對于工業(yè)設(shè)計和生產(chǎn)來說，最理想的方式是多人交互的實時渲染。進行三維場景的實時渲染需要消耗大量的計算資源，還需要考慮模型的復(fù)雜度、紋理貼圖的精細度、光線計算的復(fù)雜度等。為了達到高保真度的寫實渲染效果，需要配備大型和專業(yè)的圖形顯卡等硬件設(shè)備，這是一筆不小的硬件費用支出。同時這些工業(yè)模型往往占用很大存儲空間并且具有一定的保密性，無法在單機渲染和存儲。為了解決這些問題，研究人員利用云計算技術(shù)和5G傳輸技術(shù)，發(fā)明了實時分布式云渲染技術(shù)。

實時分布式云渲染是指在云服務(wù)器中進行資源的分布式存儲、動態(tài)分配和模型場景的實時渲染，它保證了渲染資源的共享性和安全性。在服務(wù)器的總控制節(jié)點上，根據(jù)各個渲染分節(jié)點的渲染性能進行渲染資源分配，之后利用多臺服務(wù)器的計算資源進行渲染任務(wù)的渲染，最后各個分節(jié)點將渲染結(jié)果推流到總節(jié)點并進行合并，再傳遞到本地客戶端。利用實時分布式云渲染技術(shù)可以完成單機無法完成的大規(guī)模復(fù)雜場景的渲染工作，渲染出讓人無法分辨真假的圖像，同時大大降低客戶端處硬件設(shè)備的需求。網(wǎng)絡(luò)傳輸?shù)乃俣群蛶捠欠植际皆其秩緦崟r性的瓶頸。借助5G傳輸?shù)母咚俣?、大帶寬，可以突破這些瓶頸。多個用戶可以使用不同的硬件設(shè)備并利用5G網(wǎng)絡(luò)進行場景接入。多用戶在不同的視角下，同時對同一個大規(guī)模的復(fù)雜場景模型進行實時訪問瀏覽和交互式操作的功能，完全可以滿足工業(yè)設(shè)計和生產(chǎn)工作的需求。

1 實時分布式云渲染的技術(shù)特點

（1）分布式渲染技術(shù)

在早期對并行渲染技術(shù)進行研究時，人們將這種形式描述為一種“分類整理問題”（Sorting Problem），并根據(jù)“分類整理”（Sort）操作在渲染管線中的發(fā)生位置分為Sort-first、Sort-middle、Sort-last 3種主要類型。其中，發(fā)展與應(yīng)用得最好的方式是Sort-middle[2]，它是指“整理”行為發(fā)生在幾何階段與光柵化階段之間，此時場景實體已經(jīng)被轉(zhuǎn)換到顯示坐標(biāo)系中。由于幾何階段和光柵化階段在實現(xiàn)原理上是分配給不同處理器運行的，因此Sort-middle是一種很自然的處理手段，而它也是集成電路獨立顯卡的理論基礎(chǔ)。

為了追求更逼真的視覺效果，渲染管線流程復(fù)雜程度顯著提升，集成顯卡的電路復(fù)雜程度也在隨之提升。此外，神經(jīng)網(wǎng)絡(luò)渲染等新興技術(shù)的出現(xiàn)也對原有的技術(shù)框架不斷提出挑戰(zhàn)。人們之前就考慮過多渲染機并行的分布式解決方案，不過限于當(dāng)時分機之間通信方式的吞吐量、時延、可靠性等，以并行集成電路為主要承載形式的圖形加速卡硬件占據(jù)了主流。而5G網(wǎng)絡(luò)的出現(xiàn)為這一領(lǐng)域開辟了新的可能，它能在保持超低時延的同時保證超大帶寬，因而彌補了多機分布式方案的短板。這種組織結(jié)構(gòu)有望更加充分地發(fā)掘現(xiàn)有硬件設(shè)備的潛力，特別是神經(jīng)網(wǎng)絡(luò)這一對存儲空間與算力要求非常高而對數(shù)據(jù)全局性依賴較低的計算過程。

（2）可交互云渲染技術(shù)

可交互云渲染技術(shù)的前身——“遠程實時協(xié)助”于1968年被實現(xiàn)，最初這項技術(shù)的主要內(nèi)容是通過網(wǎng)絡(luò)連接實現(xiàn)多臺終端設(shè)備共享操作界面以及交叉控制。21世紀10年代以來，在智能手機、移動網(wǎng)絡(luò)和云技術(shù)逐漸發(fā)展和普及過程中，直播行業(yè)興起，人們開始關(guān)注小型設(shè)備通過網(wǎng)絡(luò)與云端服務(wù)器實時交互與傳輸媒體流的可能性，由此引申出了“云渲染”與“云游戲”等一系列概念。與傳統(tǒng)“遠程桌面”技術(shù)不同的是，可交互云渲染技術(shù)對各終端之間的網(wǎng)絡(luò)性能要求非常高，實時交互要求整個系統(tǒng)中每一部件之間的信息交換均具有極低的通信時延，而高分辨率圖像高速傳輸同時要求網(wǎng)絡(luò)具有超大吞吐量，且能快速處理擁堵與異常。除此之外，云渲染技術(shù)包括渲染環(huán)境部署、圖像渲染、圖像編碼、網(wǎng)絡(luò)傳輸、圖像解碼、顯示等一系列細分技術(shù)[3]。

2 實時分布式云渲染的發(fā)展

早在1994年，學(xué)術(shù)界就對分布式渲染（又稱并行渲染）有了較為早期的理論定義，而世界上第一款真正意義上的大眾消費級3D渲染加速卡——Voodoo于1995年才正式問世。在此之前，人們就逐漸意識到，面向通用型計算的傳統(tǒng)結(jié)構(gòu)中央處理器（CPU）的圖像繪制運算效率并不高，CPU不同部件的工作負載十分不均衡，這限制了運算效率。為了滿足圖像繪制對計算能力日益增加的需求，人們開始研究并行計算的加速。此后，行業(yè)的研究方向主要集中于針對大規(guī)模場景的并行繪制和基于眾核硬件架構(gòu)的并行光照計算。其中，多獨立節(jié)點式的并行繪制由于對節(jié)點之間的通信網(wǎng)絡(luò)反應(yīng)時間、吞吐量等指標(biāo)要求很高，在很長的一段時間內(nèi)網(wǎng)絡(luò)通信技術(shù)無法滿足該需求，這導(dǎo)致該技術(shù)一直進展緩慢。近年來，隨著5G技術(shù)的逐漸成熟與普及，獨立渲染節(jié)點之間的超高性能交換網(wǎng)絡(luò)的組建成為可能，這讓該技術(shù)重新回到人們的視野之中。

多節(jié)點并行繪制主要的技術(shù)痛點是大規(guī)模場景中全局光照計算時的內(nèi)存瓶頸問題，其中一種實現(xiàn)方式是內(nèi)外存交換調(diào)度，另一種是將數(shù)據(jù)分布式存儲到不同節(jié)點內(nèi)存。目前大多研究基于同構(gòu)計算資源，通過對空間數(shù)據(jù)進行負載均衡的合理分割，實現(xiàn)高利用率的計算單元并行。目前的研究主要有基于圖像空間分解策略和基于場景空間分解策略兩個方向。

實時分布式云渲染的其中一個創(chuàng)新點是云技術(shù)。3G/4G網(wǎng)絡(luò)與直播的普及向人們證明了使用性能比較受限的小型設(shè)備，諸如手機平板等，是可以實現(xiàn)移動、流暢地播放高質(zhì)量流媒體的。早在這一時期就已經(jīng)有商家開始布局云游戲領(lǐng)域，不過受制于移動網(wǎng)絡(luò)穩(wěn)定性、網(wǎng)速、延遲等，云渲染的發(fā)展也長期處于停滯狀態(tài)。5G技術(shù)的出現(xiàn)正好彌補了上一代移動網(wǎng)絡(luò)的短板，讓用戶通過小型便攜設(shè)備實時與云端游戲客戶端進行交互，并讓流媒體傳輸成為可能。云技術(shù)有望在5G通信的加持下解放終端設(shè)備，任一具有網(wǎng)絡(luò)功能的顯示設(shè)備均能進行高性能圖像軟件的操作使用。

實時光線追蹤在計算機圖像領(lǐng)域異軍突起，帶來了前所未有的真實繪制效果，引發(fā)一場新的繪制技術(shù)革命。而這種手段同時要求巨大計算量與時間復(fù)雜度，以完成對復(fù)雜光路的高數(shù)據(jù)密度計算，因此必須考慮用計算并行化方式提高速度。由于光線追蹤繪制具有全局化等特點，多節(jié)點式存儲的實現(xiàn)途徑將依賴不同節(jié)點的大量信息交換，這增添了新的運算負載，故在目前情況下光線追蹤領(lǐng)域分布式渲染并行方式具有局限性。

3 實時分布式云渲染的應(yīng)用

當(dāng)前，實時分布式云渲染以其高質(zhì)量、高速度、對客戶端無壓力的特點成為了渲染技術(shù)研究的熱點。該技術(shù)目前的研究關(guān)鍵在于如何實現(xiàn)分布式節(jié)點在工作任務(wù)分配過程中的負載均衡，以及如何解決網(wǎng)絡(luò)通信開銷巨大、傳輸速度快等問題[3]，這使得該項技術(shù)還沒有被大規(guī)模地產(chǎn)業(yè)化應(yīng)用。但這項技術(shù)一旦成熟就可以帶來技術(shù)紅利[4]，因此值得我們?nèi)ゴ罅μ剿鳌?/p>

具體來看，實時分布式云渲染技術(shù)在實踐中將展現(xiàn)出以下優(yōu)勢：

（1）實時分布式云渲染技術(shù)極大地改善了用戶體驗。首先，云渲染技術(shù)的存在，使得用戶體驗不再囿于本地主機配置，用戶可以享受一些高畫質(zhì)、高分辨率的動畫電影。其次，對于實時性強的應(yīng)用，例如3D游戲，實時分布式云渲染能夠快速渲染出高幀率、高分辨率的畫面并進行傳輸。同時，實時分布式云渲染技術(shù)加強了對于閑置計算資源的利用，降低了資源的消耗。分布式云渲染概念是由分布式并行集群渲染技術(shù)衍生而來的，它將原先由本地客戶端處理的圖形渲染（2D、3D）轉(zhuǎn)移至云端，以使得網(wǎng)絡(luò)中閑置的計算資源得到利用，從而降低本地渲染時的硬件消耗成本。云渲染平臺的計算資源可以即使用即申請，不用時更不需要浪費本地各類資源進行維護[5]。

（2）5G技術(shù)的逐漸成熟使得云計算、云渲染技術(shù)在由云端向客戶端傳輸數(shù)據(jù)的瓶頸不復(fù)存在。這進一步彌補了實時分布式云渲染技術(shù)的應(yīng)用化過程中薄弱的一環(huán)[6]。同時，相比于光纖傳輸和WiFi傳輸?shù)姆绞剑?G傳輸技術(shù)的移動性強，部署便捷性高。光纖傳輸方式需要鋪設(shè)大量的光纖線路，光纖入戶需要的成本高。而5G基站的建設(shè)成本低，單個基站就可以覆蓋周圍的區(qū)域。相比于WiFi傳輸方式如WiFi6，其主要用于室內(nèi)無線終端上網(wǎng)，并不適合高速移動通信。而5G通信技術(shù)，既可以用于廣域高速移動通信，又可以用于室內(nèi)無線上網(wǎng)。

對于實時分布式云渲染技術(shù)的應(yīng)用，鑒于這一技術(shù)高效高質(zhì)量渲染的特點，其潛在的服務(wù)對象為影視動畫、游戲、虛擬現(xiàn)實（VR）等行業(yè)的建模、燈光、渲染等領(lǐng)域。

影視動畫的渲染在集群式的渲染方式下即可完成；但在3D游戲、VR游戲等行業(yè)，因為實時性以及對渲染幀速率和分辨率的需求，實時分布式云渲染將大有可為。根據(jù)統(tǒng)計，近年來全球游戲市場規(guī)模逐漸擴大，2019年已達到1 457億美元， 2020年預(yù)計將達到1 593億美元，據(jù)此可以推測云游戲?qū)⑹腔趯崟r分布式云渲染架構(gòu)的一個新的極具發(fā)展前景的應(yīng)用[4]。云游戲服務(wù)這一概念首先由OnLive提出并證明了可行性，在云游戲的運行模式下，所有游戲都在服務(wù)器端運行，并將渲染完畢后的游戲畫面壓縮后通過網(wǎng)絡(luò)傳送給用戶。在客戶端，用戶的游戲設(shè)備不需要任何高端處理器和顯卡，只需要基本的視頻解壓能力即可流暢運行游戲。之后，HUANG C. Y.等又提出了第一個開放式云游戲系統(tǒng)GamingAnywhere，其具有高擴展性、可移植性（Windows、Linux、OS X）和可重新配置性，相較于OnLive和 StreamMyGame兩個系統(tǒng)具有更低的反應(yīng)延遲、更高的畫面質(zhì)量[7]。

另外，實時可視化渲染同樣是該技術(shù)的一個重要應(yīng)用場景。可視化內(nèi)容包含數(shù)據(jù)可視化、過程模擬可視化、虛實內(nèi)容的融合等。渲染技術(shù)作為生成可視化內(nèi)容的重要手段和流程，在當(dāng)前新基建的提出和數(shù)據(jù)運用多樣化的大背景下，將會是非常重要的環(huán)節(jié)。在工業(yè)4.0時代，“智能”二字將更加深入人心，數(shù)據(jù)和信息將會更多地用于實際的科學(xué)研究和工業(yè)生產(chǎn)中。如果能在實際的生產(chǎn)中實現(xiàn)可視化，讓研究和生產(chǎn)過程更加直觀清晰，將對整個社會的發(fā)展有著巨大的促進作用。若高質(zhì)量高速度的渲染、數(shù)據(jù)可視化、音響技術(shù)、傳感器技術(shù)等能進一步融合成為成熟的基于高分辨率立體投影的虛擬現(xiàn)實顯示技術(shù)，將可以用于任何具有沉浸感需求的虛擬仿真應(yīng)用領(lǐng)域，如虛擬設(shè)計與制造、虛擬裝配、模擬訓(xùn)練、虛擬演示演示、虛擬生物醫(yī)學(xué)工程、地質(zhì)、礦產(chǎn)、石油、航空航天、科學(xué)可視化、軍事模擬地形地貌、地理信息系統(tǒng)（GIS）等。

隨著5G和人工智能（AI）時代的到來，實時分布式云渲染在未來必將發(fā)揮更大的優(yōu)勢，視頻、游戲等行業(yè)也將會發(fā)生巨大改變；但未來還有很長的路需要探索。

4 問題與展望

實時的分布式云渲染技術(shù)已經(jīng)得到一定的發(fā)展，達到了較好的效果，但仍面臨著一些技術(shù)難題：

（1）渲染任務(wù)的分配問題。使用實時分布式云渲染技術(shù)進行渲染的一般是大規(guī)模的復(fù)雜場景模型，因此需要通過總控制節(jié)點將渲染任務(wù)分配到不同的渲染子節(jié)點上。在該過程中需要創(chuàng)建一個高效的大規(guī)模復(fù)雜模型的管理框架，并考慮資源劃分的速度、各個渲染節(jié)點上的分配的工作負載均衡等問題。這是提高分布式渲染性能的必經(jīng)之路。

（2）渲染結(jié)果的合成問題。各個節(jié)點渲染得到的效果需要匯總在總節(jié)點上，并合成為同一張圖像，再傳遞至客戶端處。如何將不同渲染節(jié)點上得到的渲染結(jié)果正確、快速地合成為一幀的圖像，也是一個影響實時分布式云渲染性能的重要問題。

（3）渲染結(jié)果的壓縮問題。需要將渲染得到的讓人無法分辨真假的圖像，高效無損地進行壓縮，最大程度滿足人們的視覺效果要求。

（4）網(wǎng)絡(luò)傳輸?shù)膸捄退俣葐栴}。為了將高質(zhì)量的渲染結(jié)果在不同節(jié)點之間、客戶端與服務(wù)器端傳輸，需要較大的傳輸帶寬。為了達到實時渲染和實時交互的目的，需要較快的傳輸速度。

（5）安全問題。在計算機領(lǐng)域，安全性是指保證存儲在計算機上的數(shù)據(jù)不被沒有權(quán)限的人盜取和訪問，而云渲染的過程需要將數(shù)據(jù)從本地上傳至網(wǎng)絡(luò)[8]，這中間就存在著數(shù)據(jù)泄露的可能，從而威脅信息安全。人們因為信息安全的隱患而產(chǎn)生對技術(shù)本身的信任問題。一旦信任問題被解決，云渲染技術(shù)的發(fā)展速度就會得到極大提高。

新基建的提出將會進一步促進實時分布式云渲染的發(fā)展。新基建是指新型基礎(chǔ)設(shè)施建設(shè)，它通過吸收新科技革命成果，實現(xiàn)國家生態(tài)化、數(shù)字化、高速化、新舊動能轉(zhuǎn)換與經(jīng)濟結(jié)構(gòu)對稱態(tài)。2020年3月，中共中央政治局常務(wù)委員會提出要加快5G網(wǎng)絡(luò)、數(shù)據(jù)中心等新基建的建設(shè)進度。

5G網(wǎng)絡(luò)因其大帶寬和高傳輸速度的特點，為實時分布式云渲染技術(shù)提供了硬件上的支持。隨著5G網(wǎng)絡(luò)的進一步普及，利用5G進行實時分布式云渲染各個節(jié)點之間、服務(wù)器與客戶端之間的通信，將會大大提升實時分布式云渲染的性能?？梢韵胂笤诓贿h的將來，用戶可以直接使用手機、平板電腦等便攜式設(shè)備，通過連入5G網(wǎng)絡(luò)，直接進行大規(guī)模工業(yè)模型的多人交互設(shè)計工作。

新基建中人工智能的建設(shè)，也可以進一步提升實時分布式云渲染的性能。例如，可以利用深度學(xué)習(xí)技術(shù)，先進行用戶行動的智能預(yù)測，再利用預(yù)測得到的用戶接下來的動作提前進行下一步的渲染工作。這樣一來可以降低渲染延遲，也可以利用神經(jīng)網(wǎng)絡(luò)進行注視點預(yù)測，以減少渲染計算量，提升計算資源的利用率。神經(jīng)渲染已經(jīng)成為計算機圖形學(xué)領(lǐng)域發(fā)展最為迅猛的發(fā)展方向之一，利用神經(jīng)網(wǎng)絡(luò)可以達到獨特的渲染效果，如場景合成、視角變化等，這些都可以為實時分布式云渲染技術(shù)助力。這些人工智能方法的加入可以優(yōu)化實時分布式云渲染技術(shù)的時延、渲染效果、渲染流程等。隨著新基建的發(fā)展，實時分布式云渲染將會迎來更大的發(fā)展空間和更好的發(fā)展前景。

致謝

感謝上海交通大學(xué)計算機系秦義明同學(xué)、華東理工大學(xué)計算機系黎宇航同學(xué)的調(diào)研工作，以及北京大學(xué)馬雷老師的指導(dǎo)工作。

參考文獻

[1] 渲染 [EB/OL].[2020-12-18]. https：//baike.baidu. com/item/渲染/464729

[2] MOLNAR S， COX M， EllSWORTH D， et al. A Sorting classification of parallel rendering[J]. IEEE computer and graphics and applications， 1994， 14（4）： 23-32. DOI： https：//doi. org/10.1109/38.291528

[3] LIU Z， ZOU H. AzureRender： a cloud-based parallel and distributed rendering system [C]// 2015 IEEE 17th International Conference on High Performance Computing and Communications. USA： IEEE， 2015： 1881-1886. DOI： 10.1109/HPCC-CSS-ICESS.2015.328

[4] 徐嬋嬋. 基于服務(wù)器端的三維渲染技術(shù)綜述 [J].中國傳媒大學(xué)學(xué)報（自然科學(xué)版）， 2019， 26（1）： 20-26

[5] HONG H J， CHUANG J C， HUS C H. Animation rendering on multimedia fog computing platforms [C]//IEEE International Conference on Cloud Computing Technology & Science. USA： IEEE， 2016

[6] 鄭海林， 朱峰. 基于5G網(wǎng)絡(luò)的移動云計算優(yōu)化措施研究 [J]. 信息與電腦（理論版）， 2019， （9）： 156-157+160

[7] HUANG C Y， HUS C H， CHANG Y C， et al. GamingAnywhere： an open cloud gaming system [C]//ACM Multimedia Systems Conference. USA： ACM， 2013

[8] ZHOU F. Analysis of computer network security issues in cloud computing environment [J]. Lifelong education， 2020， 9（6）： 57-59

作者簡介

陸平，中興通訊股份有限公司副總裁、移動網(wǎng)絡(luò)和移動通訊多媒體技術(shù)國家重點實驗室副主任；研究方向包括云計算、大數(shù)據(jù)、增強現(xiàn)實、基于多媒體服務(wù)的技術(shù)；主持和參與了國家科技重大專項、國家科技支撐項目等；發(fā)表多篇論文，撰寫了《物聯(lián)網(wǎng)能力開發(fā)與應(yīng)用》《云計算中的大數(shù)據(jù)技術(shù)與應(yīng)用》等多部著作。

盛斌，上海交通大學(xué)計算機科學(xué)與工程系副教授；研究方向包括虛擬現(xiàn)實和計算機圖形學(xué)。主持國家自然科學(xué)基金面上項目2項、國家自然科學(xué)基金青年項目1項，參與“863”計劃1項、國家自然科學(xué)基金重點項目1項；發(fā)表論文121篇。

朱方，中興通訊股份有限公司數(shù)字視頻與視覺技術(shù)委員會主任、移動網(wǎng)絡(luò)和移動通訊多媒體技術(shù)國家重點實驗室多媒體方向?qū)W術(shù)帶頭人，IEEE高級會員；研究方向包括云架構(gòu)和基于移動計算的XR&Smart Vision特定應(yīng)用目的的加速芯片組等；發(fā)表文章10余篇，已授權(quán)發(fā)明專利3項。