基于5G網(wǎng)絡(luò)與云計算構(gòu)建MR云的研究與探討

［俞科峰］

1 引言

隨著5G基礎(chǔ)建設(shè)進(jìn)程加快，5G 創(chuàng)新應(yīng)用進(jìn)入了高速發(fā)展期，在眾多的創(chuàng)新應(yīng)用中，5G+AR 成為了除物聯(lián)網(wǎng)技術(shù)外企業(yè)青睞的技術(shù)，含運(yùn)營商、華為、中興等產(chǎn)業(yè)鏈公司在內(nèi)，眾多的產(chǎn)業(yè)鏈、高科技企業(yè)紛紛熱衷參與相關(guān)技術(shù)的研究。

AR（Augmented Reality）增強(qiáng)現(xiàn)實(shí)，它是通過傳感器獲取真實(shí)的場景，應(yīng)用計算機(jī)計算能力將真實(shí)場景信息轉(zhuǎn)換為數(shù)字信息，并對根據(jù)需要進(jìn)行增強(qiáng)，如增加額外的圖像、聲音、視頻及顯示其他細(xì)節(jié)信息?，F(xiàn)應(yīng)用于醫(yī)療、工業(yè)生產(chǎn)、教育、旅游、公共安全等行業(yè)；員工培訓(xùn)、網(wǎng)絡(luò)會議、專業(yè)指導(dǎo)等場景。但是AR 終究只是現(xiàn)實(shí)的增強(qiáng)，它無法實(shí)現(xiàn)智能交互。比AR 更具有實(shí)際應(yīng)用價值的技術(shù)MR（Mixed Reality）混合現(xiàn)實(shí)就應(yīng)運(yùn)而生。

MR 將真實(shí)場景與虛擬場景進(jìn)行融合，通過混合疊加的呈現(xiàn)方式讓用戶可以真實(shí)地感受到交互和體驗。MR 更具有真實(shí)應(yīng)用價值，是因為它具有智能交互性。MR 技術(shù)的應(yīng)用具有代表性的案例，是微軟的Hololens 解決方案。但MR在實(shí)際的應(yīng)用中，由于需要依賴專業(yè)的MR 設(shè)備和專業(yè)技術(shù)平臺，其能力部署的高成本、技術(shù)使用涉及專業(yè)性等局限至使無法更廣泛地應(yīng)用。即便微軟的Hololens 解決方案提出的可以讓非專業(yè)人士從事專業(yè)工作，但就高昂的價格以及需要專業(yè)平臺支撐，也只有少量的企業(yè)能應(yīng)用，無法泛民用。

縱觀國內(nèi)AR云的廣泛應(yīng)用，尤其在房地產(chǎn)互聯(lián)網(wǎng)銷售、汽車互聯(lián)網(wǎng)銷售等在手機(jī)上實(shí)現(xiàn)AR 技術(shù)，意味著AR 并不依賴于AR 眼鏡；同理，MR 是否必須依賴于專業(yè)的設(shè)備才能實(shí)現(xiàn)被打上問號。由此引發(fā)本次研究的課題：基于5G 與云計算技術(shù)在智能終端上實(shí)現(xiàn)模擬MR 技術(shù)的應(yīng)用研究。

2 概念與說明

2.1 混合現(xiàn)實(shí)（MR）

Mixed Reality 混合現(xiàn)實(shí)，可以簡單概況為“裸眼現(xiàn)實(shí)+虛擬畫面+數(shù)字信息”。是一種將真實(shí)場景和虛擬場景自然地融合在一起，用戶可以很真實(shí)地感受包括遮擋、碰撞以及展開細(xì)節(jié)等交互的技術(shù)。引言中提到，在技術(shù)實(shí)現(xiàn)中具有代表性的是微軟的Hololens。

通過Hololens 與Google Glass 對比來說明MR 技術(shù)與AR 技術(shù)之間的區(qū)別。Google Glass 是AR 眼鏡，它智能將虛擬場景和真實(shí)場景進(jìn)行簡單的疊加顯示，虛擬和真實(shí)沒有很好地融合，無法達(dá)到體驗式交互。而Hololens，雖然像AR 設(shè)備，但它具有實(shí)時的計算能力，通過對真實(shí)場景的與虛擬場景的融合，讓用戶真實(shí)感受體驗式交互，同時Hololens 可借助網(wǎng)絡(luò)與專用平臺對接，在虛擬場景上增加數(shù)字化說明。

2.2 MR云的實(shí)現(xiàn)依賴于5G網(wǎng)絡(luò)

從2.1 節(jié)可以了解，MR 技術(shù)區(qū)別于AR 技術(shù)，不僅僅只是單純的將真實(shí)場景與虛擬場景的疊加，在最終成像技術(shù)上，需要運(yùn)用大量的計算能力。概括而言，MR 與AR 的本質(zhì)區(qū)別在于實(shí)時的交互計算。

AR云，通過對真實(shí)場景的信息采集上傳到云平臺，在使用的時候，從云平臺調(diào)用所需要的信息，在終端上進(jìn)行展示，網(wǎng)絡(luò)僅僅只是呈現(xiàn)延時。但MR云，需要與真實(shí)場景進(jìn)行交互，云平臺需要實(shí)時采集真實(shí)場景信息進(jìn)行數(shù)字化加工，融合虛擬場景，再通過網(wǎng)絡(luò)傳輸?shù)浇K端進(jìn)行輸出，期間的對網(wǎng)絡(luò)穩(wěn)定性、網(wǎng)絡(luò)帶寬、網(wǎng)絡(luò)延時都有著很高的要求，因此，MR云的實(shí)現(xiàn)只有選擇5G 超低延時專用切片才能很好地實(shí)現(xiàn)。

補(bǔ)充說明的是，有很多學(xué)者會提出，高速網(wǎng)絡(luò)使用專線寬帶也能達(dá)到，但本文所研究的是MR 技術(shù)更廣泛地應(yīng)用，專線寬帶具有獨(dú)有性，與專用設(shè)備性質(zhì)相同；同時，即使是光纖寬帶，也無法達(dá)到超低延時。由此可見，MR云的實(shí)現(xiàn)依賴于5G網(wǎng)絡(luò)。

3 構(gòu)建MR云的研究與探討

3.1 MR云的構(gòu)建研究

MR 技術(shù)在工業(yè)領(lǐng)域與設(shè)備維護(hù)領(lǐng)域已經(jīng)開始應(yīng)用，MR云的構(gòu)建已具備技術(shù)基礎(chǔ)，從MR 應(yīng)用原理基礎(chǔ)上，重點(diǎn)推進(jìn)以下3 點(diǎn)，以構(gòu)建MR云能力。

（1）通過輕應(yīng)用方式替代MR 專用設(shè)備；

（2）真實(shí)場景、用戶交互場景、虛擬場景的融合實(shí)時計算能力云化；

（3）場景數(shù)據(jù)、交互數(shù)據(jù)、媒體數(shù)據(jù)傳輸?shù)膶?shí)時性與安全性。

3.1.1 MR 的組成與工作原理

混合現(xiàn)實(shí)（MR），從概念上就是真實(shí)世界與虛擬世界的交互性融合，MR 的運(yùn)作需要以下組成部分，如圖1 所示。

圖1 混合現(xiàn)實(shí)（MR）的工作原理

（1）通過攝像頭采集真實(shí)世界信息；通過傳感器獲取用戶交互信息；

（2）MR 設(shè)備數(shù)據(jù)緩存器緩存相關(guān)數(shù)據(jù)，并通過算法將真實(shí)場景轉(zhuǎn)換為數(shù)字化信息；

（3）交互信息發(fā)送到MR 系統(tǒng)匹配響應(yīng)策略，并從系統(tǒng)中獲取虛擬場景信息；

（4）MR 設(shè)備通過算法將真實(shí)場景與虛擬場景及數(shù)字交互信息進(jìn)行融合計算；

（5）通過MR 設(shè)備的顯示組件進(jìn)行成像輸出。

MR 眼鏡在真實(shí)的工作場景應(yīng)用，MR 眼鏡采用高清視頻采集組件，實(shí)時獲取真實(shí)環(huán)境/設(shè)備，通過交互識別攝像頭識別用戶的交互手勢將相關(guān)視頻信息緩存到MR 的運(yùn)存中。MR 的計算模塊分別對真實(shí)場景、交互信息進(jìn)行數(shù)字化轉(zhuǎn)換。MR 設(shè)備通過交互策略將交互信息通過完了過傳送到MR 系統(tǒng)獲取服務(wù)響應(yīng)策略或調(diào)動遠(yuǎn)程支撐。MR 系統(tǒng)將響應(yīng)策略的虛擬場景及交互信息回傳到MR 設(shè)備中。MR 設(shè)備的計算模塊對真實(shí)場景、虛擬場景以及交互信息進(jìn)行融合計算，并最終在MR 眼鏡的顯示屏上成像展示。

MR在展示成像，通過真實(shí)場景+帶標(biāo)識顏色的虛擬場景的融合展示及虛擬引導(dǎo)方式（如操作引導(dǎo)指示），可以讓用戶直觀地了解面對的場景/設(shè)備情況，以及下一步的操作。

3.1.2 MR云的構(gòu)建

根據(jù)MR 應(yīng)用構(gòu)建，MR云的架構(gòu)設(shè)計為4 層，分別是：終端層、數(shù)據(jù)層、計算層、資源層，架構(gòu)設(shè)計如圖2 所示。

圖2 MR云平臺架構(gòu)設(shè)計

（1）終端層：包括應(yīng)用終端與管理終端。

①應(yīng)用終端。以MR 專用設(shè)備（如MR 眼鏡），應(yīng)用程序（手機(jī)端APP）等作為接觸媒介，通過傳感器獲取場景/設(shè)備的包括影像、聲音等信息并將信息上傳至MR云。同時，應(yīng)用終端含有顯示組件，通過接受MR云傳送的混合現(xiàn)實(shí)圖像進(jìn)行實(shí)時呈現(xiàn)。

② 管理終端。主要以PC 終端為主，通過管理終端的云桌面，可進(jìn)行MR云的配置與資源維護(hù)，信息識別訓(xùn)練等。

（2）數(shù)據(jù)層：信息傳輸與信息緩存兩部分。

①信息傳輸。通過5G-MR 專用切片上傳與下載媒體信息。上傳信息指的是應(yīng)用終端將攝像設(shè)備采集的真實(shí)場景信息、用戶交互信息上傳到MR云。下載信息指的是MR云將MR 媒體信息通過應(yīng)用終端進(jìn)行實(shí)時播放。

② 信息緩存。信息中間件，主要用于媒體信息的緩存，包括緩存上傳的真實(shí)場景信息、用戶交互動作信息以及MR 媒體信息。

（3）計算層：計算層是MR云的核心部分，其計算包含三部分。

①真實(shí)場景數(shù)字化轉(zhuǎn)換計算。與增強(qiáng)現(xiàn)實(shí)（AR）的場景計算相似，對攝像設(shè)備采集的真實(shí)場景模擬信號進(jìn)行數(shù)字化信息轉(zhuǎn)換計算，對關(guān)鍵信息（背景數(shù)據(jù)、設(shè)備/產(chǎn)品）進(jìn)行標(biāo)識。

② 虛擬場景與真實(shí)場景混合計算。通過關(guān)鍵信息標(biāo)識，將背景數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、客戶交互動作數(shù)據(jù)等進(jìn)行分組，分別與資源層傳輸?shù)奶摂M場景信息進(jìn)行疊加計算或融合計算，輸出初始化混合場景結(jié)果。

③模擬交互數(shù)字化轉(zhuǎn)換計算。將交互策略、操作引導(dǎo)、遠(yuǎn)程專業(yè)指導(dǎo)等信息進(jìn)行數(shù)字化轉(zhuǎn)換計算，輸出的模擬交互數(shù)字信息。

④ 全場景信息實(shí)時融合計算。將初始化混合場景結(jié)果與模擬交互數(shù)字信息進(jìn)行融合計算，最終合并成為融合場景視頻信息即MR 媒體信息推向應(yīng)用終端進(jìn)行實(shí)時播放。

（4）資源層：包括產(chǎn)品信息庫、案例資源庫、服務(wù)資源庫、交互響應(yīng)策略、遠(yuǎn)程支撐組件。

①產(chǎn)品信息庫。主要存放企業(yè)的產(chǎn)品信息，記錄包括產(chǎn)品型號、標(biāo)識以及其他說明。

② 案例資源庫。存放產(chǎn)品說明書、操作流程及產(chǎn)品排障指引案例三部分的數(shù)字資源。

③服務(wù)資源庫。用于存放的基于用戶需求、用戶交互動作匹配案例資源庫操作指引的索引信表，即用戶需求+產(chǎn)品設(shè)備與案例資源的映射關(guān)系表。

④ 交互響應(yīng)策略。根據(jù)MR云的應(yīng)用需求，而構(gòu)建的服務(wù)。通過服務(wù)資源庫的映射結(jié)果從案例資源庫獲取包括用戶的行為動作，MR云需要做出的反應(yīng)動作數(shù)字資源輸出交互策略信息。交互響應(yīng)策略高度依賴企業(yè)對案例資源庫的完善及交互響應(yīng)訓(xùn)練。

⑤ 遠(yuǎn)程支撐組件。通過該組件實(shí)現(xiàn)遠(yuǎn)程呼叫工程師，實(shí)時遠(yuǎn)程視頻協(xié)作指導(dǎo)操作。

3.2 MR云的研究

3.2.1 MR云構(gòu)建的意義

構(gòu)建MR云，主要的意義在于使用MR 技術(shù)不需要依賴于專業(yè)的MR 設(shè)備，降低使用門檻，讓MR 技術(shù)能更普及地應(yīng)用于各服務(wù)領(lǐng)域，優(yōu)勢在于：

（1）應(yīng)用去專業(yè)化。只要使用帶攝像頭、顯示屏、能接入互聯(lián)網(wǎng)的智能終端，就能輕松地使用MR 技術(shù)，可以在工業(yè)、物流、電信、服務(wù)領(lǐng)域等廣泛應(yīng)用。

（2）核心算法云化，迭代更簡單。核心算法的云化，算法迭代只需要通過服務(wù)中臺更新算法，無論是測試還是全用戶更新，效率更高。

3.2.2 MR云構(gòu)建與應(yīng)用需面臨的問題

MR云的構(gòu)建與應(yīng)用面臨以下的問題。

（1）網(wǎng)絡(luò)延時

MR 的專用設(shè)備的成本高，是因為從攝像、傳感器及核心算法均構(gòu)建在一個設(shè)備上，但正因為算法在同一設(shè)備，因此，MR 眼鏡能夠更快、更真實(shí)地將現(xiàn)實(shí)場景與虛擬場景融合在一起，沒有信息延時。當(dāng)MR 算法云化后，從終端獲取的信息傳輸?shù)皆埔约霸朴嬎爿敵龅拿襟w信息傳輸?shù)浇K端，傳輸?shù)木W(wǎng)絡(luò)必然存在延時，延時的高低，決定著MR云的計算出錯高低。同時，用戶在使用MR 技術(shù)時不可能靜止不動，而且用戶需要根據(jù)MR 給出的引導(dǎo)進(jìn)行操作，產(chǎn)生的位移信息，若延時高，MR云的計算出錯可能非常嚴(yán)重，甚至有可能拖垮平臺。

前文中提到MR云的應(yīng)用需要高度依賴于5G 的低延時網(wǎng)絡(luò)切片，但實(shí)際的應(yīng)用效果，需要在MR云構(gòu)建測試實(shí)施時，才能被驗證是否能解決信息傳輸延時的問題。

（2）容錯設(shè)計不夠完善

MR云的構(gòu)建核心在于MR 計算能力云化，除了需要應(yīng)用如：SLAM、YOLO 等核心算法外，還必須對算法進(jìn)行改良，首先要解決的是容錯能力的問題。當(dāng)MR 核心算法云化后，除了網(wǎng)絡(luò)延時外，還會存在數(shù)據(jù)包丟失、信息傳輸不完整等情況，這就導(dǎo)致在融合計算時容易出錯。如果容錯設(shè)計不夠完善，在并發(fā)量大的情況下，大量的報錯將直接導(dǎo)致云平臺宕機(jī)。

（3）補(bǔ)全場景技術(shù)還不成熟。

MR云的應(yīng)用需要展示更完整的真實(shí)場景信息，當(dāng)傳輸?shù)男畔⒈蝗蒎e時，展示的場景信息就會丟失，現(xiàn)有的GQN 或衛(wèi)星采用的照片+EDM 數(shù)據(jù)場景補(bǔ)全技術(shù)，目前仍在探索階段，未能很普及的應(yīng)用，為此，當(dāng)應(yīng)用場景缺失的狀況下，MR云可能存在較大的應(yīng)用缺陷。

4 MR云在服務(wù)領(lǐng)域的應(yīng)用探討

MR云的構(gòu)建探討中，如果可以解決上節(jié)提到的網(wǎng)絡(luò)延時、高容錯及場景補(bǔ)全技術(shù)，MR云在實(shí)際應(yīng)用中將有更大的作為。尤其在服務(wù)行業(yè)的應(yīng)用。

行業(yè)應(yīng)用示例如圖3 所示，在手機(jī)安裝MR云應(yīng)用，通過使用手機(jī)攝像頭拍攝現(xiàn)場設(shè)備信息以及需要交互的操作需求（如安裝、維修），云平臺收集用戶上載的信息進(jìn)行匹配響應(yīng)資源、案例庫或通過呼叫專業(yè)人員遠(yuǎn)程支撐，然后將操作步驟、虛擬場景信息及現(xiàn)實(shí)的設(shè)備信息進(jìn)行融合計算，并通過應(yīng)用展示給用戶。

圖3 5G+MR云服務(wù)支撐示例

5 結(jié)束語

隨著5G 進(jìn)程不斷推進(jìn)，AR云、智能交互等創(chuàng)新技術(shù)迭代發(fā)展，MR云的構(gòu)建已具備實(shí)現(xiàn)條件，雖然MR云在構(gòu)建與應(yīng)用上仍存在很多需要解決的問題，MR云的構(gòu)建將帶來MR 技術(shù)的創(chuàng)新發(fā)展，MR 的應(yīng)用領(lǐng)域也會更為廣泛，而且MR云在生產(chǎn)與服務(wù)場景上，比AR云更具有應(yīng)用意義，MR云應(yīng)用如：3D 說明書、MR 服務(wù)支持等立體自助服務(wù)場景。除了MR云，應(yīng)用技術(shù)云化將是應(yīng)用技術(shù)未來發(fā)展的趨勢，利用創(chuàng)新技術(shù)不斷優(yōu)化客戶問題解決方案，能更好地助力企業(yè)騰飛，創(chuàng)造更大的價值。