面向通信與計(jì)算融合的5G移動(dòng)增強(qiáng)/虛擬現(xiàn)實(shí)

周一青，孫布勒，齊彥麗，彭燕，劉玲，張志龍，劉奕彤，劉丹譜，李兆歆，田霖

?

面向通信與計(jì)算融合的5G移動(dòng)增強(qiáng)/虛擬現(xiàn)實(shí)

周一青1,2,3，孫布勒1,2,3，齊彥麗1,2,3，彭燕1,2,3，劉玲1,2,3，張志龍4，劉奕彤4，劉丹譜4，李兆歆1,2,3，田霖1,2,3

（1. 中國(guó)科學(xué)院大學(xué)，北京 100049；2. 中國(guó)科學(xué)院計(jì)算技術(shù)研究所，北京 100080； 3. 移動(dòng)計(jì)算與新型終端北京市重點(diǎn)實(shí)驗(yàn)室，北京 100190；4. 北京郵電大學(xué)，北京 100876）

面向通信與計(jì)算融合的5G移動(dòng)通信網(wǎng)絡(luò)，剖析移動(dòng)AR/VR信息處理和傳輸?shù)奶卣?，提出融合通信與計(jì)算的能力，在未來(lái)5G移動(dòng)通信網(wǎng)絡(luò)中采用多級(jí)計(jì)算，通過(guò)協(xié)同網(wǎng)絡(luò)多級(jí)計(jì)算節(jié)點(diǎn)的能力來(lái)解決移動(dòng)終端計(jì)算能力有限的問(wèn)題；采用智能傳輸機(jī)制，通過(guò)高效頻譜感知、分層編碼、空口自適應(yīng)傳輸?shù)葋?lái)克服移動(dòng)信道傳輸能力不穩(wěn)定的問(wèn)題；采用時(shí)延保障機(jī)制，通過(guò)通信與計(jì)算資源協(xié)同管理來(lái)確保移動(dòng)AR/VR服務(wù)時(shí)延。對(duì)移動(dòng)AR/VR多級(jí)計(jì)算模型、智能傳輸機(jī)制和服務(wù)時(shí)延保障的研究現(xiàn)狀和發(fā)展趨勢(shì)進(jìn)行綜述，總結(jié)現(xiàn)有研究存在的問(wèn)題，并提出下一步研究的方向。

通信與計(jì)算融合；5G；增強(qiáng)/虛擬現(xiàn)實(shí)；多級(jí)計(jì)算

1 引言

移動(dòng)通信的發(fā)展日新月異，目前5G的研發(fā)已拉開(kāi)大幕。相比4G，5G將在數(shù)據(jù)傳輸速率、傳輸時(shí)延、網(wǎng)絡(luò)容量等多個(gè)方面實(shí)現(xiàn)飛躍性突破：峰值速率將達(dá)到10 Gbit/s；支持超低時(shí)延超高可靠的服務(wù)，業(yè)務(wù)時(shí)延小于5 ms；聯(lián)網(wǎng)移動(dòng)設(shè)備數(shù)量增加到現(xiàn)在的100倍，網(wǎng)絡(luò)容量將提升1 000倍[1]。這些性能的突破增強(qiáng)了5G的智能業(yè)務(wù)服務(wù)能力。高通、ABI等公司指出移動(dòng)增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)（augmented reality/virtual reality，AR/VR）將成為5G的第一波殺手級(jí)應(yīng)用[2]。

AR/VR以計(jì)算技術(shù)為核心，生成逼真的視覺(jué)、聽(tīng)覺(jué)等，構(gòu)成一定范圍內(nèi)的虛擬環(huán)境，用戶(hù)可以與虛擬環(huán)境中的物體交互，獲得身臨其境的感受和體驗(yàn)。以360°全景VR視頻為例，其處理和傳輸流程如圖1所示。為了增強(qiáng)用戶(hù)的體驗(yàn)，首先用攝像機(jī)拍攝超高清分辨率的畫(huà)面，然后拼接成360°全景畫(huà)面，給用戶(hù)選擇觀看視角的自由，讓用戶(hù)具有身臨其境的視覺(jué)體驗(yàn)。生成的AR/VR可緩存于服務(wù)器端，當(dāng)用戶(hù)端發(fā)出請(qǐng)求時(shí)，可通過(guò)有線(xiàn)或者無(wú)線(xiàn)傳輸將相應(yīng)的視頻提供給用戶(hù)。顯然，由于超高清分辨率和全景畫(huà)面需要的多角度信息，生成的AR/VR相比普通視頻，信息量可能高出幾十倍，從而對(duì)系統(tǒng)的處理和傳輸能力提出很高的需求。另一方面，在用戶(hù)端，當(dāng)朝向、視角等狀態(tài)發(fā)生變化時(shí)，系統(tǒng)可基于傳感器等，運(yùn)用動(dòng)作捕捉技術(shù)，追蹤用戶(hù)行為并完成與虛擬場(chǎng)景的實(shí)時(shí)交互，實(shí)現(xiàn)更極致的互動(dòng)體驗(yàn)。即用戶(hù)發(fā)出新的畫(huà)面需求，系統(tǒng)進(jìn)行實(shí)時(shí)響應(yīng)，在20 ms內(nèi)將相應(yīng)的畫(huà)面提供給用戶(hù)。由于用戶(hù)的狀態(tài)是隨機(jī)改變的，所對(duì)應(yīng)的畫(huà)面通常是難以預(yù)存的，需要根據(jù)已有畫(huà)面和變化的用戶(hù)請(qǐng)求，渲染繪制出新內(nèi)容，再提供給用戶(hù)。渲染是一個(gè)復(fù)雜的綜合性任務(wù)，通常需要借助深度信息計(jì)算、圖像語(yǔ)義理解（也稱(chēng)作圖像語(yǔ)義分割）等計(jì)算密集型處理來(lái)合成以假亂真的內(nèi)容?？梢?jiàn)，AR/VR具有海量信息、密集計(jì)算的特點(diǎn)，它們對(duì)移動(dòng)網(wǎng)絡(luò)提出了大帶寬、低時(shí)延的服務(wù)需求，為5G及未來(lái)移動(dòng)網(wǎng)絡(luò)的發(fā)展帶來(lái)新的挑戰(zhàn)和機(jī)遇。

圖1 360°全景VR視頻的處理和傳輸流程

AR/VR在發(fā)展的早期多用于軍事、航空航天、工業(yè)仿真等行業(yè)領(lǐng)域。近幾年來(lái)，隨著Oculus Rift等消費(fèi)級(jí)VR產(chǎn)品的推出，AR/VR逐漸向個(gè)人應(yīng)用領(lǐng)域蓬勃發(fā)展。目前的AR/VR主要基于個(gè)人電腦（personal computer，PC），交互設(shè)備如頭戴顯示設(shè)備（以下簡(jiǎn)稱(chēng)頭顯）采用有線(xiàn)的方式與PC直連，計(jì)算處理任務(wù)由PC完成并通過(guò)連接線(xiàn)傳回頭顯。受限于有線(xiàn)連接，用戶(hù)不能自由活動(dòng)，極大地影響了AR/VR的體驗(yàn)效果。因此，通過(guò)無(wú)線(xiàn)方式連接的移動(dòng)AR/VR成為近年的發(fā)展焦點(diǎn)。2017年HTC發(fā)布了VIVE無(wú)線(xiàn)一體機(jī)，將頭盔與PC之間的多根數(shù)據(jù)線(xiàn)升級(jí)為無(wú)線(xiàn)方式連接，但仍然需要配套一臺(tái)高性能的PC，成本高昂。而以谷歌Daydream和三星Gear VR為代表的聯(lián)合手機(jī)終端的頭顯則用手機(jī)終端提供顯示、通信和簡(jiǎn)單的計(jì)算功能，頭顯提供封閉的環(huán)境、鏡頭和交互功能。通過(guò)手機(jī)終端進(jìn)行聯(lián)網(wǎng)互動(dòng)的同時(shí)將復(fù)雜的AR/VR處理任務(wù)傳輸?shù)皆贫颂幚聿⒔Y(jié)果傳回手機(jī)終端顯示給用戶(hù)。這種服務(wù)模式不需要配套性能強(qiáng)勁的PC來(lái)實(shí)現(xiàn)復(fù)雜任務(wù)的處理，能以低廉的價(jià)格提供移動(dòng)AR/VR服務(wù)，正在逐漸成為移動(dòng)AR/VR業(yè)務(wù)的主流實(shí)現(xiàn)方式。根據(jù)德意志銀行的報(bào)告，未來(lái)幾年移動(dòng)AR/VR產(chǎn)品將趕超基于PC的AR/VR產(chǎn)品[3]。

2 移動(dòng)AR/VR面臨的挑戰(zhàn)

目前基于手機(jī)終端的移動(dòng)AR/VR僅能提供簡(jiǎn)單有限的體驗(yàn)，整體效果差強(qiáng)人意。如前所述，移動(dòng)AR/VR信息的處理過(guò)程中，涉及渲染等高復(fù)雜度的密集型計(jì)算任務(wù)，而手機(jī)終端自身的計(jì)算能力有限，因此在終端處理任務(wù)的比例非常低，大部分任務(wù)都需要通過(guò)移動(dòng)互聯(lián)網(wǎng)傳送到云端服務(wù)器計(jì)算并傳回給用戶(hù)，時(shí)延大。另一方面，在移動(dòng)AR/VR信息的傳輸過(guò)程中，受限于移動(dòng)通信的傳輸帶寬以及信道質(zhì)量不穩(wěn)定等問(wèn)題，導(dǎo)致用戶(hù)接收到的視頻畫(huà)面質(zhì)量不穩(wěn)定、不流暢，體驗(yàn)效果差。因此，移動(dòng)AR/VR的信息處理和傳輸面臨眾多挑戰(zhàn)，需要解決圖2所示的三大矛盾。

（1）移動(dòng)AR/VR處理的密集計(jì)算需求與有限的移動(dòng)終端計(jì)算能力之間的矛盾

移動(dòng)AR/VR具有的海量信息導(dǎo)致處理復(fù)雜度高，對(duì)系統(tǒng)的密集計(jì)算能力提出了很強(qiáng)的需求。以典型的多視角三維場(chǎng)景重建為例，在較低分辨率的攝像頭下支持320像素×240像素，在約1 m×1 m×1 m真實(shí)環(huán)境空間中使用256體素× 256體素×256體素的體素解析度進(jìn)行計(jì)算，通過(guò)圖形處理器（graphics processing unit，GPU）并行處理也只能達(dá)到15幀/s左右的交互式幀率（電腦配置：計(jì)算機(jī)處理器i7，32 GB RAM，NVIDIA Titian black顯卡，6 GB顯存）；若提升攝像頭分辨率，且在更大的真實(shí)環(huán)境中進(jìn)行應(yīng)用，那么需要采用更高密度的體素輔助計(jì)算，如果體素解析度提高至1 024體素×1 024體素×1 024體素，計(jì)算量又將提高64倍左右。相比PC配置，移動(dòng)終端雖然逐步配備了多核處理器和圖形處理核等，其計(jì)算能力還存在明顯差距，難以滿(mǎn)足移動(dòng)AR/VR密集計(jì)算的需求。若將計(jì)算遷移至遠(yuǎn)端云服務(wù)器進(jìn)行，則其時(shí)延性能難以保障。值得注意的是，雖然移動(dòng)終端本身計(jì)算能力有限，如圖2所示，已有研究[4]指出，未來(lái)移動(dòng)網(wǎng)絡(luò)將在基站、核心網(wǎng)等網(wǎng)絡(luò)的不同層次融合移動(dòng)邊緣計(jì)算（mobile edge computing，MEC），成為一個(gè)通信與多級(jí)計(jì)算協(xié)同融合的網(wǎng)絡(luò)。若能有效協(xié)同移動(dòng)終端與未來(lái)5G移動(dòng)網(wǎng)絡(luò)的多級(jí)計(jì)算能力，有可能完成AR/VR的密集計(jì)算需求。

圖2 移動(dòng)AR/VR處理與傳輸問(wèn)題分析

（2）移動(dòng)AR/VR的高畫(huà)質(zhì)需求與隨機(jī)時(shí)變的移動(dòng)傳輸能力帶來(lái)的畫(huà)質(zhì)不穩(wěn)定之間的矛盾

為了增強(qiáng)用戶(hù)的體驗(yàn)，需要提升移動(dòng)AR/VR的清晰性、流暢性，因此對(duì)傳輸能力也提出了大帶寬、高質(zhì)量的需求。相比有線(xiàn)通信，采用無(wú)線(xiàn)傳輸?shù)囊苿?dòng)通信可以在任何時(shí)間、任何地點(diǎn)為任何人提供服務(wù)，這種服務(wù)的自由性提升了用戶(hù)的體驗(yàn)，但無(wú)線(xiàn)傳輸信道不光帶寬有限，而且其信道質(zhì)量隨著時(shí)間和地點(diǎn)不斷動(dòng)態(tài)變化，這種隨機(jī)的時(shí)變傳輸能力為AR/VR傳輸帶來(lái)了很大的問(wèn)題。一方面，AR/VR視頻流具有大象流特征，對(duì)帶寬需求特別高；另一方面，鑒于AR/VR的交互特性，用戶(hù)對(duì)視頻的需求存在強(qiáng)烈的隨機(jī)性和突發(fā)性，即便是看同一個(gè)AR/VR視頻，不同的用戶(hù)視角不同，也會(huì)發(fā)出不同的畫(huà)面請(qǐng)求，進(jìn)一步增大傳輸帶寬的需求。當(dāng)用戶(hù)發(fā)起新的畫(huà)面需求時(shí)，如果當(dāng)時(shí)信道質(zhì)量較差，只能傳輸?shù)唾|(zhì)量畫(huà)面，引發(fā)的視覺(jué)疲勞會(huì)帶來(lái)眩暈感，如果以低速傳輸高質(zhì)量畫(huà)面，可能無(wú)法及時(shí)響應(yīng)用戶(hù)需求，導(dǎo)致時(shí)延過(guò)大或者畫(huà)面停頓，同樣嚴(yán)重影響用戶(hù)體驗(yàn)。這個(gè)問(wèn)題在通信與多級(jí)計(jì)算融合的未來(lái)無(wú)線(xiàn)網(wǎng)絡(luò)中有可能得到解決。未來(lái)無(wú)線(xiàn)網(wǎng)絡(luò)引入的MEC服務(wù)器，具有大數(shù)據(jù)計(jì)算和存儲(chǔ)的能力。一方面可以通過(guò)無(wú)線(xiàn)大數(shù)據(jù)挖掘，獲得頻譜地圖，當(dāng)移動(dòng)信道質(zhì)量出現(xiàn)下降時(shí)，快速提供可切換或可擴(kuò)展的頻譜，提升傳輸能力。另一方面，正如已有研究[5]指出的，協(xié)同利用通信與計(jì)算資源，有可能設(shè)計(jì)智能高效的移動(dòng)傳輸機(jī)制，完成傳統(tǒng)移動(dòng)通信網(wǎng)絡(luò)中難以傳輸?shù)囊苿?dòng)AR/VR。因此，解決第二個(gè)矛盾需要針對(duì)移動(dòng)AR/VR和隨機(jī)時(shí)變的移動(dòng)無(wú)線(xiàn)信道的特征，研究通信與計(jì)算協(xié)同的智能傳輸機(jī)制，確保移動(dòng)AR/VR傳輸畫(huà)面的質(zhì)量和流暢性。

（3）移動(dòng)AR/VR的低時(shí)延需求與現(xiàn)有移動(dòng)網(wǎng)絡(luò)服務(wù)時(shí)延過(guò)大之間的矛盾

AR/VR業(yè)務(wù)一般需要低至20 ms的服務(wù)時(shí)延來(lái)保障其自然、流暢的體驗(yàn)，而極致的體驗(yàn)，需要進(jìn)一步降低服務(wù)時(shí)延。服務(wù)時(shí)延包括業(yè)務(wù)的傳輸時(shí)延和處理時(shí)延。如圖2所示，傳輸時(shí)延部分，現(xiàn)有4G網(wǎng)絡(luò)的移動(dòng)終端與基站空口傳輸往返時(shí)延（round trip time，RTT）近似為10 ms；如果需要云端的計(jì)算能力，由于終端到云端的數(shù)據(jù)傳輸需要經(jīng)過(guò)網(wǎng)關(guān)等設(shè)備經(jīng)過(guò)多重轉(zhuǎn)發(fā)，往返時(shí)延一般為50~100 ms，遠(yuǎn)大于移動(dòng)AR/VR要求的20 ms的服務(wù)時(shí)延要求，嚴(yán)重影響用戶(hù)的體驗(yàn)。另一方面，移動(dòng)AR/VR的處理時(shí)延由計(jì)算節(jié)點(diǎn)的計(jì)算能力及業(yè)務(wù)的計(jì)算量決定。目前移動(dòng)終端計(jì)算能力較弱，而云服務(wù)器計(jì)算能力則非常強(qiáng)大，故相同計(jì)算量的業(yè)務(wù)在移動(dòng)終端和云服務(wù)器的處理時(shí)延差異較大；同時(shí)，移動(dòng)AR/VR的海量數(shù)據(jù)也帶來(lái)了非常大的計(jì)算量，以4K RGB（red-green-blue）360°全景視頻為例，其全視角分辨率需達(dá)到7 680×3 840像素，是普通720P視頻的32倍，處理和傳輸時(shí)延都將大幅增加。可見(jiàn)，目前移動(dòng)網(wǎng)絡(luò)以移動(dòng)終端協(xié)同遠(yuǎn)端云服務(wù)的方式提供AR/VR業(yè)務(wù)，很多時(shí)候僅傳輸時(shí)延就超出了AR/VR的時(shí)延限制。但如果考慮未來(lái)通信與多級(jí)計(jì)算融合的移動(dòng)網(wǎng)絡(luò)，一方面5G的空口時(shí)延將降低到1 ms左右，另一方面有可能通過(guò)協(xié)同MEC邊緣計(jì)算節(jié)點(diǎn)完成AR/VR的密集計(jì)算任務(wù)，將大幅降低傳輸時(shí)延。而MEC服務(wù)器相比云服務(wù)器，計(jì)算資源相對(duì)有限，其處理時(shí)延不可忽略。因此，針對(duì)移動(dòng)AR/VR的需求，基于未來(lái)移動(dòng)網(wǎng)絡(luò)中的傳輸和處理時(shí)延模型，對(duì)通信及計(jì)算異質(zhì)資源的分配進(jìn)行優(yōu)化，有可能降低總體服務(wù)時(shí)延，滿(mǎn)足移動(dòng)AR/VR服務(wù)的時(shí)延需求。

綜上所述，為了解決當(dāng)前移動(dòng)AR/VR面臨的三大矛盾，面向未來(lái)5G移動(dòng)網(wǎng)絡(luò)，以通信與計(jì)算融合為核心思想，應(yīng)緊密結(jié)合移動(dòng)AR/VR業(yè)務(wù)特征與需求，研究未來(lái)5G移動(dòng)網(wǎng)絡(luò)的多級(jí)計(jì)算網(wǎng)絡(luò)模型及移動(dòng)AR/VR信息處理的多級(jí)協(xié)同計(jì)算方法，研究多級(jí)計(jì)算架構(gòu)下移動(dòng)AR/VR的智能傳輸、服務(wù)時(shí)延模型及時(shí)延優(yōu)化與保障機(jī)制，提出基礎(chǔ)理論和核心機(jī)制，解決移動(dòng)AR/VR信息處理與傳輸?shù)年P(guān)鍵問(wèn)題。下文將對(duì)移動(dòng)AR/VR的“計(jì)算模型”“智能傳輸”和“時(shí)延保障”3個(gè)方面的研究現(xiàn)狀及發(fā)展動(dòng)態(tài)進(jìn)行綜述。

3 AR/VR信息處理計(jì)算模型與方法

AR/VR信息處理過(guò)程中，需要實(shí)時(shí)完成場(chǎng)景深度估計(jì)、圖像語(yǔ)義理解、三維場(chǎng)景重建、高真實(shí)感渲染等密集計(jì)算型任務(wù)，以保障用戶(hù)可以獲得自然、流暢的體驗(yàn)。目前AR/VR的信息處理研究主要是通過(guò)并行計(jì)算、分布式計(jì)算完成密集計(jì)算型任務(wù)。此外，針對(duì)移動(dòng)終端有限的計(jì)算能力難以支持移動(dòng)AR/VR密集計(jì)算任務(wù)的問(wèn)題，研究人員也提出了終端—服務(wù)器的兩級(jí)計(jì)算方法和面向移動(dòng)終端的一系列低復(fù)雜度算法。

（1）AR/VR的并行計(jì)算與分布式計(jì)算

在AR/VR應(yīng)用中，考慮到PC的CPU計(jì)算資源有限，計(jì)算領(lǐng)域提出了GPU并行計(jì)算、多PC分布式計(jì)算的方法，通過(guò)增加計(jì)算資源的方式完成海量信息處理需求。在GPU并行計(jì)算方面，以AR/VR三維場(chǎng)景重建為例，Dame等[6]提出了在具有兩個(gè)GPU的PC上進(jìn)行基于并行加速的三維場(chǎng)景重建，首先將三維場(chǎng)景重建拆分為深度估計(jì)與目標(biāo)位姿估計(jì)、目標(biāo)分割及關(guān)鍵幀提取等多個(gè)子任務(wù)，然后將它們分配到不同GPU上并行執(zhí)行。Pradeep等[7]提出了在具有一個(gè)GPU的PC上進(jìn)行三維場(chǎng)景重建的并行處理方法，首先將場(chǎng)景重建按像素拆分為若干子任務(wù)，然后在GPU的多個(gè)線(xiàn)程上并行處理各子任務(wù)，實(shí)現(xiàn)快速計(jì)算。上述研究表明，AR/VR業(yè)務(wù)的海量信息處理包含多個(gè)任務(wù)，如三維場(chǎng)景重建、高真實(shí)感渲染，部分任務(wù)之間可以進(jìn)行并行處理，同時(shí)部分任務(wù)還可進(jìn)一步分割為多個(gè)子任務(wù)，如三維場(chǎng)景重建可拆分為深度估計(jì)、關(guān)鍵幀提取等子任務(wù)實(shí)現(xiàn)并行加速；但上述任務(wù)或子任務(wù)并行處理方法均是基于單一PC上的GPU并行計(jì)算的，故其任務(wù)分割方案具有局限性。

區(qū)別于參考文獻(xiàn)[6-7]只基于一個(gè)PC計(jì)算節(jié)點(diǎn)進(jìn)行并行計(jì)算，Lan等[8]提出了一種在分布式計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)三維場(chǎng)景重建的并行處理機(jī)制，其主要思想是利用不同計(jì)算機(jī)并行完成視頻幀的去噪濾波及深度傳感器校驗(yàn)，然后通過(guò)吉比特局域網(wǎng)將視頻幀傳輸給主服務(wù)器進(jìn)行數(shù)據(jù)融合。Pawe?等[9]研究了在具有不同計(jì)算能力的計(jì)算節(jié)點(diǎn)上進(jìn)行并行處理的機(jī)制：首先在具有NVIDIA Tesla S1070與NVIDIA Tesla C2070兩種共4個(gè)GPU的Hal機(jī)上進(jìn)行3D圖像重構(gòu)，利用電容層析成像技術(shù)，選擇輸入矩陣的不同行對(duì)應(yīng)的某一電極并將其分配給特定的GPU實(shí)現(xiàn)并行計(jì)算；其次，增加具有2x GTX 570 GPU的Dave機(jī)，仍采用上述任務(wù)分配方法，研究不同計(jì)算節(jié)點(diǎn)的并行計(jì)算。上述在分布式計(jì)算機(jī)系統(tǒng)進(jìn)行并行計(jì)算的模型具有可擴(kuò)展性，即可以通過(guò)增加計(jì)算節(jié)點(diǎn)的方式來(lái)完成更大規(guī)模的計(jì)算任務(wù)。但模型中各節(jié)點(diǎn)計(jì)算能力雖然不同，卻基本相當(dāng)，且計(jì)算任務(wù)對(duì)時(shí)延沒(méi)有嚴(yán)苛要求。而通信與計(jì)算融合的未來(lái)5G移動(dòng)網(wǎng)絡(luò)將包含手機(jī)移動(dòng)終端、PC、服務(wù)器等計(jì)算能力存在數(shù)量級(jí)差異的節(jié)點(diǎn)，同時(shí)傳統(tǒng)基站、集中式接入網(wǎng)（centralized radio access network，C-RAN）設(shè)備[10]、終端直通（device to device，D2D）[11-12]等共存的異構(gòu)通信網(wǎng)絡(luò)環(huán)境時(shí)，單個(gè)性能差的計(jì)算節(jié)點(diǎn)或傳輸環(huán)境都可能導(dǎo)致整個(gè)業(yè)務(wù)出現(xiàn)不可預(yù)知的延遲。

（2）移動(dòng)AR/VR終端—服務(wù)器兩級(jí)計(jì)算方法

在移動(dòng)AR/VR方面，由于手機(jī)終端配備的計(jì)算能力逐步提升，如多核處理器和圖形處理核，同時(shí)配備微電子傳感器，能夠處理角速度和線(xiàn)性加速度，為移動(dòng)AR/VR信息處理提供了新的可能。Alex等[13]提出了一種移動(dòng)終端與云服務(wù)器聯(lián)合進(jìn)行三維場(chǎng)景重建的方法，其中移動(dòng)終端進(jìn)行實(shí)時(shí)跟蹤、關(guān)鍵幀選擇及低復(fù)雜度關(guān)鍵幀更新，而具有深度信息的關(guān)鍵幀則合并到位姿圖中傳輸給云服務(wù)器進(jìn)行三維場(chǎng)景重建。該模型中云服務(wù)器作為移動(dòng)終端協(xié)作網(wǎng)絡(luò)的中心節(jié)點(diǎn)，能夠同時(shí)支持大量移動(dòng)終端的密集計(jì)算需求，同時(shí)用戶(hù)的三維模型可以存儲(chǔ)在云端，被其他用戶(hù)復(fù)用或在此基礎(chǔ)進(jìn)行完善，有效節(jié)約計(jì)算資源。但參考文獻(xiàn)[13]將計(jì)算任務(wù)卸載到云端進(jìn)行計(jì)算，需要經(jīng)過(guò)路由器、網(wǎng)關(guān)等層層關(guān)鍵設(shè)備，其交互時(shí)延難以得到保證。

針對(duì)移動(dòng)終端計(jì)算能力難以滿(mǎn)足移動(dòng)AR/VR密集計(jì)算需求，而云端計(jì)算難以保證時(shí)延的矛盾，霧計(jì)算（fog computing）[14-16]、朵云（Cloudlet）計(jì)算[17]、MEC[18]等概念相繼提出，旨在移動(dòng)網(wǎng)絡(luò)邊緣提供IT服務(wù)環(huán)境和云計(jì)算能力，使業(yè)務(wù)處理更靠近終端，在滿(mǎn)足密集計(jì)算要求的同時(shí)，有效降低業(yè)務(wù)延遲。Hou等[19]提出將便攜式VR眼鏡與云/邊緣計(jì)算設(shè)備通過(guò)無(wú)線(xiàn)進(jìn)行連接，分別將服務(wù)器部署在云端、網(wǎng)絡(luò)邊緣（移動(dòng)網(wǎng)絡(luò)網(wǎng)關(guān)、基站或無(wú)線(xiàn)接入點(diǎn)）、終端設(shè)備邊緣，利用服務(wù)器的計(jì)算能力來(lái)減輕VR眼鏡重量，分析了不同部署策略適應(yīng)的業(yè)務(wù)類(lèi)型。但該研究主要關(guān)注利用視頻編碼、傳輸及壓縮方法來(lái)降低傳輸視頻流比特率，并未解決云/邊緣計(jì)算服務(wù)器如何輔助終端設(shè)備進(jìn)行密集計(jì)算的問(wèn)題。

（3）面向移動(dòng)終端的低復(fù)雜度AR/VR處理方法

Tanskanen等[20]提出了一種在手機(jī)終端上進(jìn)行稀疏三維重建的算法，利用手機(jī)終端的慣性傳感器進(jìn)行實(shí)時(shí)跟蹤與建圖，通過(guò)選擇合適的關(guān)鍵幀、估計(jì)場(chǎng)景重建尺度，實(shí)現(xiàn)了一組基于稀疏點(diǎn)云的高效三維重建。Kolev等[21]提出了一種在手機(jī)端進(jìn)行基于深度圖的三維場(chǎng)景重建方法，通過(guò)評(píng)估局部幾何方向、底層相機(jī)設(shè)置和光度等來(lái)確定每個(gè)深度估計(jì)的權(quán)重，進(jìn)而實(shí)現(xiàn)深度信息融合。由于手機(jī)終端計(jì)算能力有限，只能實(shí)現(xiàn)稀疏三維場(chǎng)景重建，與稠密重建質(zhì)量仍有較大差距，影響用戶(hù)體驗(yàn)。此外，為了在移動(dòng)終端獲得混合現(xiàn)實(shí)的體驗(yàn)，需要算法能夠?qū)崟r(shí)頑健地感知場(chǎng)景的三維信息。Ondruska等[22]提出一種可在主流手機(jī)上運(yùn)行的實(shí)時(shí)場(chǎng)景估計(jì)方法，但是由于需要基于體素的深度融合，限制了該方法只能在較小的場(chǎng)景下使用。Mur-Artal等[23]提出基于ORB（oriented FAST and rotated BRIEF）特征的相機(jī)定位和稀疏場(chǎng)景重建方法，該方法可移植到移動(dòng)端運(yùn)行，但是由于場(chǎng)景重建僅包含一些稀疏的三維點(diǎn)，無(wú)法滿(mǎn)足混合現(xiàn)實(shí)的需要。此外，利用AR/VR視頻視野范圍很大的特點(diǎn)，Lai等[24]提出將全景視頻劃分為規(guī)則的區(qū)塊以實(shí)現(xiàn)在移動(dòng)端并行的低復(fù)雜度視頻解碼，能顯著減少時(shí)延，然而這種簡(jiǎn)單的圖像分塊沒(méi)有考慮圖像本身的內(nèi)容，也沒(méi)有考慮時(shí)序上的冗余，例如一些圖像的內(nèi)容要比另外一些具有更高的視覺(jué)顯著度，因此處理它們的優(yōu)先級(jí)應(yīng)是不同的。

總結(jié)上述研究現(xiàn)狀可知，現(xiàn)有AR/VR信息處理研究利用并行計(jì)算和分布式計(jì)算來(lái)應(yīng)對(duì)其海量信息的密集計(jì)算需求，說(shuō)明AR/VR的密集計(jì)算任務(wù)是可分割的，但這些計(jì)算模型和方法都是針對(duì)具有相同或相當(dāng)計(jì)算能力的節(jié)點(diǎn)設(shè)計(jì)的，在通信與計(jì)算融合的未來(lái)5G移動(dòng)網(wǎng)絡(luò)中，計(jì)算節(jié)點(diǎn)能力與其部署的通信網(wǎng)絡(luò)位置有關(guān)，可能存在數(shù)量級(jí)的差異，現(xiàn)有計(jì)算模型和方法無(wú)法直接應(yīng)用，必須面向通信與計(jì)算融合的未來(lái)5G移動(dòng)網(wǎng)絡(luò)研究新的計(jì)算模型，并提出相應(yīng)的協(xié)同計(jì)算方法。此外，目前雖然面向移動(dòng)終端提出了一些低復(fù)雜度的AR/VR視頻信息處理算法，但這些算法尚未充分利用AR/VR視頻的時(shí)空特性，以犧牲精度為代價(jià)降低計(jì)算量，會(huì)給用戶(hù)帶來(lái)很大的不適。因此亟待解決的難點(diǎn)問(wèn)題是如何在移動(dòng)終端實(shí)現(xiàn)頑健輕量級(jí)移動(dòng)AR/VR處理算法。

4 移動(dòng)AR/VR的智能傳輸

為了解決移動(dòng)網(wǎng)絡(luò)時(shí)變的傳輸能力帶來(lái)的移動(dòng)AR/VR服務(wù)質(zhì)量不穩(wěn)定的問(wèn)題，主要從兩個(gè)方面進(jìn)行探討：一是從系統(tǒng)的角度適配業(yè)務(wù)傳輸?shù)男枨螅热绺淖儌鬏旑l帶、增加傳輸帶寬；二是從業(yè)務(wù)處理和傳輸?shù)慕嵌冗m應(yīng)移動(dòng)信道的變化，比如面向移動(dòng)傳輸?shù)囊曨l分層編碼、空口的自適應(yīng)傳輸?shù)取?/p>

（1）無(wú)線(xiàn)頻譜感知與動(dòng)態(tài)適配

提供更多更好的可用頻譜是保障移動(dòng)AR/VR傳輸需求的一個(gè)有效技術(shù)。從統(tǒng)計(jì)上看，移動(dòng)AR/VR業(yè)務(wù)在不同的時(shí)刻數(shù)據(jù)傳輸量可能會(huì)發(fā)生劇烈的抖動(dòng)，帶寬需求具有快速時(shí)變特點(diǎn)。為了獲得頻譜，首先要進(jìn)行頻譜感知，主要包括節(jié)點(diǎn)頻譜感知和頻譜地圖兩種方式。節(jié)點(diǎn)頻譜感知方面，已有研究針對(duì)未來(lái)移動(dòng)網(wǎng)絡(luò)，提出了基于認(rèn)知導(dǎo)頻信道的快速頻譜感知方法[25]，但此類(lèi)方法普遍存在實(shí)現(xiàn)簡(jiǎn)單但正確性低或者感知性能好但時(shí)延長(zhǎng)的問(wèn)題[26-27]。而頻譜地圖基于大量的計(jì)算和存儲(chǔ)，能快速提供較為準(zhǔn)確的頻譜信息。參考文獻(xiàn)[28]采用頻譜地圖，記錄用戶(hù)使用頻譜的頻段、時(shí)間、用戶(hù)位置以及服務(wù)質(zhì)量等多維信息，為精確、安全、快速的頻譜感知提供參考。參考文獻(xiàn)[29]論述了頻譜地圖的應(yīng)用，將事件學(xué)習(xí)算法和知識(shí)學(xué)習(xí)算法融入頻譜地圖，在更好地實(shí)現(xiàn)各項(xiàng)功能的同時(shí)，有效保護(hù)授權(quán)用戶(hù)。參考文獻(xiàn)[30]中介紹了一種多級(jí)無(wú)線(xiàn)電環(huán)境地圖的架構(gòu)，在核心網(wǎng)側(cè)、基站側(cè)、終端側(cè)均放置了計(jì)算處理單元，分別用于生成各層級(jí)的無(wú)線(xiàn)電環(huán)境地圖，實(shí)現(xiàn)整個(gè)覆蓋區(qū)域頻譜資源的高效協(xié)調(diào)。移動(dòng)AR/VR業(yè)務(wù)作為時(shí)延敏感的高帶寬傳輸業(yè)務(wù)，對(duì)頻譜質(zhì)量、時(shí)延等性能提出全面的要求。但上述研究重點(diǎn)關(guān)注可用頻譜信息，未考慮頻譜質(zhì)量問(wèn)題，不能滿(mǎn)足AR/VR獲取高質(zhì)量傳輸頻帶的需求。在頻譜適配方面，現(xiàn)有研究主要考慮用戶(hù)公平性、系統(tǒng)吞吐量等方面性能。參考文獻(xiàn)[31]提出了跨成員載波的比例公平調(diào)度算法，可以保障載波聚合下多用戶(hù)調(diào)度的公平性。參考文獻(xiàn)[32-33]提出了基于貪婪算法的聯(lián)合載波選擇與資源塊分配的資源調(diào)度方法以提高系統(tǒng)吞吐量。參考文獻(xiàn)[34]提出了多載波共用一個(gè)緩存隊(duì)列的聯(lián)合隊(duì)列調(diào)度方式，相比于獨(dú)立隊(duì)列調(diào)度方式可以充分利用分集增益。參考文獻(xiàn)[35]分析了用戶(hù)調(diào)度服從泊松分布時(shí)，基于輪詢(xún)與移動(dòng)散列算法的頻譜適配的性能。值得注意的是，上述研究都未能與AR/VR結(jié)合。在AR/VR場(chǎng)景中，一個(gè)用戶(hù)請(qǐng)求在處理時(shí)通常被分割成多個(gè)業(yè)務(wù)，如三維場(chǎng)景重建、高真實(shí)感渲染等，這些業(yè)務(wù)的數(shù)據(jù)傳輸量有很大差異。因此，在AR/VR應(yīng)用時(shí)，需要考慮這些不同業(yè)務(wù)的用頻需求差異，此外，還需要考慮同一業(yè)務(wù)不同編碼層對(duì)服務(wù)質(zhì)量的需求差異。因此，現(xiàn)有頻譜適配無(wú)法滿(mǎn)足AR/VR多種差異化業(yè)務(wù)的需求。

（2）面向移動(dòng)傳輸?shù)囊曨l分層編碼

在傳統(tǒng)視頻信息處理研究中，目前已經(jīng)提出了使用不同的編碼方式適應(yīng)移動(dòng)傳輸環(huán)境，為用戶(hù)提供不同等級(jí)質(zhì)量的視頻服務(wù)。兩種主流的編解碼方案為可分級(jí)視頻編碼（scalable video coding，SVC）和感知視頻編碼。SVC方面，主要是基于H.264/AVC（advanced video coding）混合編碼框架，在時(shí)間、空間、質(zhì)量上實(shí)現(xiàn)分層編碼，以實(shí)現(xiàn)不同幀率、圖像分辨率和圖像質(zhì)量等級(jí)的自適應(yīng)調(diào)整[36]。H.265/HEVC（high efficiency video coding）與SHVC（scalable extension of HEVC）作為H.264/AVC的繼任者，同樣繼承了分層編碼的特性[37-38]。SHVC支持不同空間分辨率或重建信噪比（signal noise ratio，SNR）的多層視頻序列的編碼，支持高達(dá)8個(gè)分層，包括一個(gè)基本層和多個(gè)增強(qiáng)層。通過(guò)引入上采樣濾波、層間紋理預(yù)測(cè)、層間運(yùn)動(dòng)預(yù)測(cè)等技術(shù)，SHVC還支持混合編解碼可分級(jí)、比特深度可分級(jí)和色彩域可分級(jí)。感知視頻編碼方面，主要是利用了視頻信號(hào)中存在的視覺(jué)冗余，即人眼不能察覺(jué)的圖像中的某些信息。人類(lèi)視覺(jué)系統(tǒng)的研究表明，人眼對(duì)圖像和視頻的感知是有選擇性的，不同的對(duì)象或者區(qū)域具有不同的視覺(jué)重要性，并且對(duì)視覺(jué)信號(hào)的各種失真具有不同的敏感和容忍程度?；谝曈X(jué)特性的視頻編碼主要思路是如何根據(jù)視覺(jué)感知特性選擇優(yōu)化的編碼參數(shù)，實(shí)現(xiàn)碼率的優(yōu)化分配，例如為視覺(jué)重要區(qū)域分配更多的碼率資源來(lái)提高其主觀質(zhì)量；減少非視覺(jué)重要區(qū)域的碼率資源來(lái)減少視覺(jué)冗余，從而提高編碼性能[39]。此外，多視點(diǎn)視頻能提供立體感和交互性，結(jié)合多視點(diǎn)視覺(jué)感知模型的特點(diǎn)，基于視覺(jué)特性的多視點(diǎn)視頻編碼可分為基于立體視覺(jué)注意的多視點(diǎn)視頻編碼和基于立體視覺(jué)可見(jiàn)度的多視點(diǎn)視頻編碼[40-41]?；谙乱淮幋a標(biāo)準(zhǔn)H.265/HEVC的視頻感知編碼可能成為未來(lái)AR/VR編解碼的重要工具[42-43]。由上述研究可見(jiàn)，當(dāng)前視頻編碼大多面向傳統(tǒng)視頻，尚未有針對(duì)AR/VR的編解碼機(jī)制。在AR/VR編解碼研究中，應(yīng)結(jié)合其獨(dú)有的特征如深度信息、六自由度和用戶(hù)的感興趣區(qū)域的差異性等，一方面提高編碼壓縮比，輕量化業(yè)務(wù)數(shù)據(jù)量；另一方面需要降低編碼復(fù)雜度，降低對(duì)移動(dòng)設(shè)備的計(jì)算壓力和續(xù)航壓力，為智能地在時(shí)變的移動(dòng)無(wú)線(xiàn)環(huán)境中提供不同的體驗(yàn)提供編碼方案的基礎(chǔ)。

（3）空口感知的AR/VR自適應(yīng)傳輸

由于無(wú)線(xiàn)信道的時(shí)變特性，很難滿(mǎn)足AR/VR持續(xù)大帶寬和低時(shí)延的需求，移動(dòng)AR/VR傳輸面臨很大挑戰(zhàn)。此外，考慮多用戶(hù)場(chǎng)景，由于用戶(hù)狀態(tài)不同，即使觀看同一個(gè)移動(dòng)AR/VR，所需的畫(huà)面也不完全相同，無(wú)法像普通視頻那樣，采用多播的傳輸方式來(lái)提升頻譜效率。這進(jìn)一步加大了移動(dòng)AR/VR的帶寬需求。如何設(shè)計(jì)能夠感知空口的變化、符合業(yè)務(wù)和無(wú)線(xiàn)網(wǎng)絡(luò)特點(diǎn)的自適應(yīng)機(jī)制是亟待解決的問(wèn)題?，F(xiàn)有AR/VR傳輸?shù)某晒蠖嗷谟芯€(xiàn)網(wǎng)絡(luò)環(huán)境，只有少量的相關(guān)工作基于無(wú)線(xiàn)環(huán)境。例如，在參考文獻(xiàn)[44]中，運(yùn)用博弈論等方法，提出了一種異構(gòu)蜂窩網(wǎng)絡(luò)下適合AR/VR傳輸?shù)馁Y源管理策略，但時(shí)延仍然難以達(dá)到AR/VR業(yè)務(wù)要求。參考文獻(xiàn)[45]提出了一種時(shí)延導(dǎo)向的基于無(wú)線(xiàn)局域網(wǎng)的AR/VR多用戶(hù)接入策略，分析了傳輸時(shí)延的組成部分，制定出了一套AR/VR多用戶(hù)接入方案。另外一方面，云服務(wù)的引入為移動(dòng)視頻傳輸提供了新的思路。首先，可利用集中式特點(diǎn)來(lái)進(jìn)行更好的資源管理。已有研究面向集中式移動(dòng)網(wǎng)絡(luò)架構(gòu)，提出負(fù)載感知的資源管理，可提高資源利用率達(dá)70%[11]。其次，可利用集中式架構(gòu)中心處理單元的計(jì)算資源進(jìn)行視頻轉(zhuǎn)碼，根據(jù)用戶(hù)需求將原始視頻轉(zhuǎn)碼成較低版本，在空口傳輸時(shí)節(jié)省傳輸內(nèi)容，提高空口資源利用率。在參考文獻(xiàn)[46]中，提出基于集中式云服務(wù)的轉(zhuǎn)碼機(jī)制，利用云計(jì)算，以用戶(hù)的信道條件所需的視頻質(zhì)量為參數(shù)來(lái)計(jì)算轉(zhuǎn)碼版本，提升視頻質(zhì)量和頻帶利用率。參考文獻(xiàn)[47-48]針對(duì)一對(duì)多實(shí)時(shí)轉(zhuǎn)碼的視頻直播服務(wù)，提出了一種云計(jì)算資源分配的方案，在提供用戶(hù)所需的視頻質(zhì)量的前提下結(jié)合地域性差異最小化計(jì)算資源的開(kāi)銷(xiāo)。參考文獻(xiàn)[49]則是在參考文獻(xiàn)[47-48]的基礎(chǔ)上，針對(duì)流式直播服務(wù)，為視頻接收者和發(fā)布者設(shè)計(jì)了一套云服務(wù)器聯(lián)合選擇策略，降低了系統(tǒng)開(kāi)銷(xiāo)和地域性差異的影響。根據(jù)直播視頻發(fā)布者受歡迎程度的不同，參考文獻(xiàn)[50]借助計(jì)算資源，通過(guò)建立多目標(biāo)優(yōu)化問(wèn)題，最小化計(jì)算資源開(kāi)銷(xiāo)和最大化用戶(hù)體驗(yàn)，在時(shí)延約束的條件下利用李雅普諾夫優(yōu)化的方法求解并提出了一套計(jì)算和帶寬資源聯(lián)合分配方案，使網(wǎng)絡(luò)性能和用戶(hù)體驗(yàn)得到了權(quán)衡。參考文獻(xiàn)[51]將云計(jì)算與內(nèi)容中心移動(dòng)網(wǎng)絡(luò)結(jié)合，為多媒體服務(wù)提出了一種較為完整的云網(wǎng)絡(luò)架構(gòu)，包括計(jì)算資源的部署和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。但以上研究尚未與移動(dòng)AR/VR特征相結(jié)合。可見(jiàn)，目前針對(duì)移動(dòng)AR/VR業(yè)務(wù)的傳輸策略研究尚處于起步階段，在通信與計(jì)算融合的移動(dòng)網(wǎng)絡(luò)架構(gòu)下對(duì)AR/VR傳輸策略的研究國(guó)內(nèi)外均屬空白，尚未見(jiàn)任何成果公布，其中蘊(yùn)含著大量研究機(jī)會(huì)。針對(duì)移動(dòng)AR/VR傳輸?shù)馁Y源分配、版本選擇、多播等技術(shù)，都有必要探索新的解決思路和方法，從而更為有效地改善移動(dòng)AR/VR業(yè)務(wù)的用戶(hù)體驗(yàn)。

總結(jié)上述研究現(xiàn)狀可知，作為一種嶄新的移動(dòng)多媒體服務(wù)，面向AR/VR的移動(dòng)傳輸機(jī)制研究目前尚處于初級(jí)階段，在頻譜感知、信源分層編碼、空口自適應(yīng)傳輸?shù)榷忌儆嗅槍?duì)性的研究，亟需根據(jù)移動(dòng)AR/VR的需求，剖析其與移動(dòng)傳輸相關(guān)的特征，面向通信與計(jì)算融合的未來(lái)5G移動(dòng)網(wǎng)絡(luò)，設(shè)計(jì)智能的傳輸機(jī)制。

5 移動(dòng)AR/VR服務(wù)時(shí)延模型及優(yōu)化保障

用戶(hù)交互得到即時(shí)響應(yīng)是移動(dòng)AR/VR良好用戶(hù)體驗(yàn)的主要來(lái)源。當(dāng)服務(wù)時(shí)延大于圖像刷新時(shí)間間隔時(shí)，用戶(hù)將產(chǎn)生暈眩感。因此，服務(wù)時(shí)延是影響體驗(yàn)的重要因素。目前在這個(gè)方向上已有大量的研究，提出了多種時(shí)延優(yōu)化保障機(jī)制，研究的主要思路是基于給定的服務(wù)時(shí)延模型，從移動(dòng)網(wǎng)絡(luò)的資源管理、移動(dòng)切換、AR/VR用戶(hù)位姿預(yù)測(cè)、邊緣緩存等方向展開(kāi)服務(wù)時(shí)延的優(yōu)化或保障。

（1）移動(dòng)AR/VR的服務(wù)時(shí)延模型

目前移動(dòng)AR/VR服務(wù)時(shí)延模型相對(duì)比較簡(jiǎn)單，僅考慮單服務(wù)器節(jié)點(diǎn)情況。Deng等[52]研究了在小區(qū)基站部署云服務(wù)器進(jìn)行密集計(jì)算任務(wù)的卸載，其中假設(shè)應(yīng)用的任務(wù)已在云服務(wù)器虛擬機(jī)上進(jìn)行備份，故其服務(wù)時(shí)延模型不考慮任務(wù)的傳輸時(shí)延，僅考慮任務(wù)的處理時(shí)延以及各任務(wù)之間彼此依賴(lài)且上一任務(wù)與當(dāng)前任務(wù)在不同節(jié)點(diǎn)進(jìn)行處理時(shí)上一任務(wù)結(jié)果的傳輸時(shí)延；Chen等[53]研究了將密集計(jì)算任務(wù)卸載到移動(dòng)邊緣云計(jì)算的時(shí)延模型，其主要包括任務(wù)在3G/4G無(wú)線(xiàn)信道的上行傳輸時(shí)延及任務(wù)在移動(dòng)邊緣云服務(wù)器的處理時(shí)延，而未考慮任務(wù)處理結(jié)果的下行回傳時(shí)延；Lai等[24]研究了手機(jī)終端VR業(yè)務(wù)卸載到臺(tái)式機(jī)進(jìn)行處理的時(shí)延模型，其中手機(jī)終端與臺(tái)式機(jī)通過(guò)基于IEEE 802.11ac協(xié)議的無(wú)線(xiàn)局域網(wǎng)（wireless local area network，WLAN）進(jìn)行相連，服務(wù)時(shí)延則主要包括請(qǐng)求等待時(shí)延、視頻流原始幀的傳輸時(shí)延及在臺(tái)式機(jī)計(jì)算時(shí)延，其中視頻流原始幀的WLAN中的傳輸時(shí)延為主要時(shí)延；Ahn等[45]研究了WLAN中基于IEEE 802.11協(xié)議的多用戶(hù)VR服務(wù)時(shí)延模型，其服務(wù)時(shí)延主要包括用戶(hù)感知時(shí)延、終端決策時(shí)延、上行傳輸時(shí)延、PC處理時(shí)延、下行傳輸時(shí)延及終端整合時(shí)延，該模型中考慮了多用戶(hù)場(chǎng)景下信道接入時(shí)延問(wèn)題，重點(diǎn)分析了多用戶(hù)業(yè)務(wù)上行數(shù)據(jù)分組傳輸時(shí)延。上述模型均是基于單服務(wù)器節(jié)點(diǎn)的服務(wù)時(shí)延模型，其結(jié)構(gòu)簡(jiǎn)單，很難直接拓展到包含D2D通信、傳統(tǒng)小區(qū)基站通信與C-RAN集中式架構(gòu)等并存的異構(gòu)通信網(wǎng)絡(luò)，且異構(gòu)通信網(wǎng)絡(luò)中包含終端、MEC、云服務(wù)器等多級(jí)不同計(jì)算能力的服務(wù)節(jié)點(diǎn)，存在多種計(jì)算方式，同樣影響移動(dòng)AR/VR服務(wù)時(shí)延建模。

（2）基于資源管理的移動(dòng)AR/VR的服務(wù)時(shí)延優(yōu)化

在給定服務(wù)時(shí)延模型基礎(chǔ)上，針對(duì)移動(dòng)AR/VR服務(wù)時(shí)延的優(yōu)化主要集中在3個(gè)方面，即研究時(shí)延約束下用戶(hù)終端功率損耗問(wèn)題、時(shí)延與功耗的聯(lián)合優(yōu)化以及直接以最小化服務(wù)時(shí)延為目標(biāo)。在時(shí)延約束下最小化用戶(hù)終端功耗方面：Cao等[54]提出了單用戶(hù)場(chǎng)景中基于組合優(yōu)化算法的最優(yōu)自適應(yīng)算法和基于貪婪算法的次優(yōu)算法，將終端能耗分別降低48%和47%；Zhao等[55]假設(shè)所有用戶(hù)具有相同的信道質(zhì)量和計(jì)算能力，其提出的最優(yōu)算法和次優(yōu)算法能分別節(jié)約40%、30%的能耗；Vondra等[56]探討了通信與計(jì)算負(fù)載的平衡，在滿(mǎn)足時(shí)延要求的前提下提出一種應(yīng)用考慮算法，根據(jù)當(dāng)前計(jì)算和通信負(fù)載來(lái)選擇合適的接入基站。在時(shí)延與功耗的聯(lián)合優(yōu)化方面：Mu?oz等[57]提出一種聯(lián)合分配無(wú)線(xiàn)通信和計(jì)算資源的通用架構(gòu)以對(duì)用戶(hù)終端能耗和時(shí)延做折中處理；對(duì)于多用戶(hù)場(chǎng)景，Mao等[58]基于Lyapunov（李雅普諾夫）優(yōu)化提出一種在線(xiàn)算法用于決策計(jì)算任務(wù)的分配，在每個(gè)時(shí)隙，利用Gauss-Seidel（高斯—塞德?tīng)枺┓椒▉?lái)決定計(jì)算卸載的優(yōu)化傳輸功率及帶寬分配。在最小化服務(wù)時(shí)延方面：Liu等[59]采用馬爾可夫決策過(guò)程方法對(duì)基與任務(wù)緩存排隊(duì)狀態(tài)、本地處理單元執(zhí)行狀態(tài)以及傳輸單元狀態(tài)的計(jì)算任務(wù)進(jìn)行調(diào)度，通過(guò)分析每個(gè)任務(wù)的平均時(shí)延及移動(dòng)終端的平均功率損耗，研究功率約束下的最小化時(shí)延問(wèn)題，并通過(guò)一維搜索算法尋找優(yōu)化調(diào)度策略；Mao等[60]研究了加入能量收集設(shè)備的MEC系統(tǒng)中單用戶(hù)計(jì)算卸載策略，綜合考慮了卸載決策、CPU周期頻率以及計(jì)算卸載的傳輸功率，以最小化時(shí)延為目標(biāo)，通過(guò)Lyapunov動(dòng)態(tài)優(yōu)化算法實(shí)現(xiàn)優(yōu)化目標(biāo)。上述時(shí)延優(yōu)化問(wèn)題均假設(shè)待處理的任務(wù)是可被任意分割的，但是實(shí)際上，移動(dòng)AR/VR任務(wù)的分割比例是與業(yè)務(wù)本身息息相關(guān)的；同時(shí)上述問(wèn)題中僅針對(duì)終端及MEC或云端兩級(jí)計(jì)算節(jié)點(diǎn)，且都假設(shè)網(wǎng)絡(luò)中通信、計(jì)算與存儲(chǔ)資源是有限的，但是并沒(méi)有探究如何進(jìn)行資源部署以及資源部署對(duì)服務(wù)時(shí)延的影響。

（3）計(jì)算節(jié)點(diǎn)移動(dòng)切換機(jī)制

在通信與計(jì)算融合的未來(lái)5G移動(dòng)通信網(wǎng)絡(luò)中，通信與計(jì)算節(jié)點(diǎn)切換是必不可少的核心技術(shù)，切換時(shí)延對(duì)移動(dòng)AR/VR的體驗(yàn)有重大影響[61]。計(jì)算節(jié)點(diǎn)的切換主要分為按需切換和主動(dòng)推送兩大類(lèi)。按需切換方面，參考文獻(xiàn)[62]提出分布式MEC服務(wù)器總是跟隨服務(wù)基站無(wú)線(xiàn)切換而變化，可以實(shí)現(xiàn)業(yè)務(wù)傳輸時(shí)延最小化。參考文獻(xiàn)[63]考慮協(xié)作小區(qū)通信方式，根據(jù)終端時(shí)延需求等確定服務(wù)小區(qū)，通過(guò)無(wú)線(xiàn)鏈路和終端相連，協(xié)作組內(nèi)的其他小區(qū)和服務(wù)小區(qū)通過(guò)回傳鏈路連接。通過(guò)馬爾可夫決策過(guò)程（Markov decision process，MDP）算法選擇最優(yōu)切換節(jié)點(diǎn)，在滿(mǎn)足能耗需求的條件下，最小化業(yè)務(wù)總時(shí)延。參考文獻(xiàn)[64]考慮云、分布式MEC和D2D協(xié)作多級(jí)計(jì)算架構(gòu)，在終端與基站連接時(shí)間等限制下，進(jìn)行計(jì)算節(jié)點(diǎn)切換決策，最大化系統(tǒng)接入能力。已有計(jì)算節(jié)點(diǎn)按需切換機(jī)制普遍存在切換時(shí)延長(zhǎng)的弊端，切換時(shí)延至少是60 ms[65]，甚至可達(dá)數(shù)秒[62]，遠(yuǎn)不能滿(mǎn)足移動(dòng)AR/VR提出的RTT為20 ms的要求。主動(dòng)推送切換方面，其核心思想是利用移動(dòng)終端具備定位能力，其移動(dòng)具有規(guī)律性和可預(yù)測(cè)性的特點(diǎn)，主動(dòng)將計(jì)算任務(wù)提前推送到將要切換的目的節(jié)點(diǎn)，改善切換時(shí)延性能。參考文獻(xiàn)[66]基于終端、MEC和云端三層架構(gòu)，通過(guò)挖掘終端歷史數(shù)據(jù)，采用多項(xiàng)式非線(xiàn)性回歸的方法，預(yù)測(cè)終端位置，提前進(jìn)行MEC切換，保證服務(wù)的連續(xù)性。參考文獻(xiàn)[67]假設(shè)可以采用一定的方法預(yù)測(cè)出未來(lái)時(shí)間窗口內(nèi)，每一個(gè)MEC執(zhí)行任務(wù)的傳輸成本及業(yè)務(wù)在MEC間切換的成本上限，采用MDP方法，確定服務(wù)MEC序列，最小化終端在時(shí)間的平均成本。參考文獻(xiàn)[68]在參考文獻(xiàn)[63]的基礎(chǔ)上，加入終端位置預(yù)測(cè)，進(jìn)行最優(yōu)切換選擇機(jī)制的設(shè)計(jì)，進(jìn)一步降低業(yè)務(wù)處理時(shí)延和能耗?，F(xiàn)有的主動(dòng)推送切換機(jī)制大都是基于位置預(yù)測(cè)進(jìn)行推送，沒(méi)有考慮切換時(shí)機(jī)和新入網(wǎng)終端等因素。而移動(dòng)AR/VR的主動(dòng)推送切換需要切換的時(shí)間、地點(diǎn)、內(nèi)容3方面的預(yù)測(cè)與實(shí)際需求精確匹配，才能保證內(nèi)容推送的實(shí)時(shí)性和精確性。因此，僅基于位置預(yù)測(cè)的傳統(tǒng)主動(dòng)推送機(jī)制性能無(wú)法保證移動(dòng)AR/VR業(yè)務(wù)切換的性能需求。

（4）基于用戶(hù)位姿預(yù)測(cè)的時(shí)延優(yōu)化機(jī)制

AR/VR業(yè)務(wù)良好體驗(yàn)的重要來(lái)源之一就是自由的用戶(hù)位姿，主要分為用戶(hù)在虛擬現(xiàn)實(shí)中的運(yùn)動(dòng)任務(wù)、用戶(hù)在空間中的自由移動(dòng)以及基于空間位置的行為交互。無(wú)論何種用戶(hù)行為，都需要大量的計(jì)算資源開(kāi)銷(xiāo)?；谟脩?hù)行為的位姿降低AR/VR服務(wù)時(shí)延，提升實(shí)時(shí)計(jì)算性能，是目前業(yè)界研究的熱點(diǎn)。Fang等[69]提出了一種基于視覺(jué)慣性的實(shí)時(shí)用戶(hù)位姿跟蹤算法，結(jié)果表明該方法能夠?qū)崟r(shí)、穩(wěn)定地為移動(dòng)虛擬現(xiàn)實(shí)提供一種平滑、穩(wěn)健的六自由度運(yùn)動(dòng)跟蹤。Kim等[70]使用事件相機(jī)（event camera）實(shí)現(xiàn)了基于用戶(hù)位姿實(shí)時(shí)重建立體場(chǎng)景的方法，基于3個(gè)解耦的概率過(guò)濾器，分別追蹤不同自由度的用戶(hù)位姿，計(jì)算場(chǎng)景強(qiáng)度的梯度圖和場(chǎng)景的深度圖，并合成為關(guān)鍵幀，通過(guò)時(shí)域和空域的超分辨率重建從低比特率的事件流中恢復(fù)實(shí)時(shí)三維場(chǎng)景視頻序列。Dobbins[71]提供了一個(gè)運(yùn)動(dòng)捕捉和虛擬現(xiàn)實(shí)的協(xié)同可視化系統(tǒng)，確保了六自由度AR/VR業(yè)務(wù)與用戶(hù)交互的可能。位姿捕獲系統(tǒng)捕獲一個(gè)或多個(gè)用戶(hù)的頭部旋轉(zhuǎn)信息，從而控制真實(shí)世界視頻的平移、傾斜和縮放。當(dāng)用戶(hù)頭部的位置改變時(shí)，其所視的虛擬視頻內(nèi)容需要實(shí)時(shí)相應(yīng)改變。以上方法分別從視覺(jué)慣性、運(yùn)動(dòng)捕捉等方面進(jìn)行了用戶(hù)位姿的跟蹤及相應(yīng)視頻內(nèi)容的播放，并沒(méi)有考慮視頻內(nèi)容的興趣區(qū)域。對(duì)于移動(dòng)AR/VR而言，用戶(hù)對(duì)視頻內(nèi)容興趣區(qū)域的變化同樣可以概括為用戶(hù)位姿的范疇。此外，當(dāng)前沒(méi)有針對(duì)用戶(hù)位姿預(yù)測(cè)的研究，由于移動(dòng)AR/VR業(yè)務(wù)計(jì)算量大，會(huì)產(chǎn)生較大的業(yè)務(wù)處理時(shí)延，如果能夠?qū)ο乱粫r(shí)刻用戶(hù)位姿進(jìn)行預(yù)測(cè)，并根據(jù)預(yù)測(cè)結(jié)果進(jìn)行計(jì)算資源的提前分配實(shí)現(xiàn)任務(wù)的提前計(jì)算，可有效降低處理時(shí)延。

（5）低時(shí)延緩存策略

如前所述，未來(lái)移動(dòng)網(wǎng)絡(luò)將融合MEC節(jié)點(diǎn)，提供計(jì)算與存儲(chǔ)功能，可以使移動(dòng)AR/VR內(nèi)容更加靠近用戶(hù)。如果用戶(hù)請(qǐng)求的視頻內(nèi)容被緩存在其可接受服務(wù)范圍內(nèi)的緩存點(diǎn)中，那么用戶(hù)可以直接從這些緩存點(diǎn)獲取視頻內(nèi)容，不需要再經(jīng)過(guò)核心網(wǎng)或從遠(yuǎn)端視頻服務(wù)器獲取內(nèi)容。緩存命中時(shí)，服務(wù)時(shí)延可以得到有效降低[72]。目前，研究人員針對(duì)不同無(wú)線(xiàn)網(wǎng)絡(luò)場(chǎng)景下的高效緩存策略進(jìn)行了大量研究，通過(guò)分析視頻業(yè)務(wù)的特點(diǎn)、用戶(hù)歷史觀看行為和具體的網(wǎng)絡(luò)架構(gòu)，使用戶(hù)所請(qǐng)求的視頻內(nèi)容能以更高的效率被緩存[73-74]。隨著研究的深入，針對(duì)具體業(yè)務(wù)特點(diǎn)的緩存機(jī)制研究逐漸受到關(guān)注。例如，為降低業(yè)務(wù)時(shí)延，參考文獻(xiàn)[75]基于內(nèi)容請(qǐng)求變化率和文件流行度設(shè)計(jì)了緩存策略，可滿(mǎn)足嚴(yán)格的時(shí)延要求；參考文獻(xiàn)[76]參考內(nèi)容分發(fā)網(wǎng)架構(gòu)提出了分布式的自適應(yīng)流媒體服務(wù)，能提高視頻服務(wù)效率降低時(shí)延，但是文中緩存策略針對(duì)基于內(nèi)容分發(fā)網(wǎng)絡(luò)的超文本傳輸協(xié)議（hypertext transfer protocol，HTTP）動(dòng)態(tài)自適應(yīng)流媒體（dynamic adaptive streaming over HTTP，DASH）業(yè)務(wù)設(shè)計(jì)，不能直接用于AR/VR業(yè)務(wù)。參考文獻(xiàn)[77]提出了預(yù)取與緩存整合策略，降低了比特率抖動(dòng)問(wèn)題，有效提升了視頻流命中概率。為適應(yīng)視頻流媒體業(yè)務(wù)的可按照多種速率進(jìn)行分發(fā)的特點(diǎn)，參考文獻(xiàn)[78]基于最近最少使用內(nèi)存清理提出通過(guò)最高速率視頻段緩存和轉(zhuǎn)碼的結(jié)合，有效提升了緩存命中率。此外，參考文獻(xiàn)[79]通過(guò)采用分層視頻編碼的視頻傳輸，提高了緩存命中率。參考文獻(xiàn)[80]提出了一種基于云服務(wù)的多級(jí)視頻緩存架構(gòu)，在邊緣緩存的基礎(chǔ)上，還在核心網(wǎng)部署云服務(wù)器和云緩存，在降低網(wǎng)絡(luò)傳輸時(shí)延的同時(shí)提升了用戶(hù)體驗(yàn)質(zhì)量（quality of experience，QoE）。在緩存策略設(shè)計(jì)方面，已有以提高緩存命中率為目標(biāo)，設(shè)計(jì)了面向DASH的云接入網(wǎng)緩存策略[81]。根據(jù)上述調(diào)研，目前針對(duì)業(yè)務(wù)特點(diǎn)的緩存研究已經(jīng)逐步深入，但是尚未有研究充分結(jié)合未來(lái)移動(dòng)網(wǎng)絡(luò)通信與計(jì)算融合的架構(gòu)特點(diǎn)以及移動(dòng)AR/VR業(yè)務(wù)的多視角特點(diǎn)進(jìn)行緩存策略設(shè)計(jì)。

總結(jié)上述研究現(xiàn)狀可知，鑒于服務(wù)時(shí)延對(duì)移動(dòng)AR/VR的重要性，目前已經(jīng)展開(kāi)了大量相關(guān)研究，但仍存在一系列挑戰(zhàn)。在服務(wù)時(shí)延模型方面，現(xiàn)有基于單服務(wù)器節(jié)點(diǎn)的服務(wù)時(shí)延模型過(guò)于簡(jiǎn)單，必須面向通信與計(jì)算融合的未來(lái)5G移動(dòng)網(wǎng)絡(luò)架構(gòu)，研究匹配的移動(dòng)AR/VR服務(wù)時(shí)延模型；在基于資源管理的時(shí)延優(yōu)化與保障方面，未能與移動(dòng)AR/VR特征緊密聯(lián)系，也缺乏從整個(gè)系統(tǒng)層面的資源保障，必須基于移動(dòng)AR/VR處理與傳輸?shù)奶卣?，分析通信與計(jì)算資源對(duì)服務(wù)時(shí)延的影響并提出相應(yīng)的優(yōu)化保障機(jī)制，例如可以研究網(wǎng)絡(luò)切片機(jī)制，從系統(tǒng)層面確保移動(dòng)AR/VR的資源，從而保障時(shí)延性能；在低時(shí)延緩存和基于用戶(hù)位姿預(yù)測(cè)的時(shí)延優(yōu)化機(jī)制方面，也有很大的研究空間。

6 結(jié)束語(yǔ)

雖然移動(dòng)AR/VR有望成為未來(lái)5G移動(dòng)網(wǎng)絡(luò)的殺手級(jí)應(yīng)用，但目前由于移動(dòng)終端計(jì)算能力低、移動(dòng)傳輸能力不穩(wěn)定、移動(dòng)網(wǎng)絡(luò)服務(wù)時(shí)延大等原因，難以滿(mǎn)足移動(dòng)AR/VR的信息處理與傳輸需求，用戶(hù)體驗(yàn)差強(qiáng)人意。未來(lái)5G移動(dòng)網(wǎng)絡(luò)將是一個(gè)異構(gòu)通信與多級(jí)計(jì)算融合的網(wǎng)絡(luò)，協(xié)同通信與計(jì)算、存儲(chǔ)資源，有可能大幅提升網(wǎng)絡(luò)性能，滿(mǎn)足移動(dòng)AR/VR的信息處理與傳輸需求。面向通信與計(jì)算融合，未來(lái)5G的移動(dòng)AR/VR信息處理與傳輸應(yīng)在基于多級(jí)計(jì)算的移動(dòng)AR/VR海量信息處理、融合計(jì)算的移動(dòng)AR/VR智能傳輸機(jī)制、保障AR/VR時(shí)延的移動(dòng)網(wǎng)絡(luò)異質(zhì)資源協(xié)同與優(yōu)化等方面展開(kāi)研究，深入探討其中的機(jī)理，抽象出理論模型，并提出高效的機(jī)制，大幅改善移動(dòng)AR/VR的用戶(hù)體驗(yàn)，促進(jìn)5G發(fā)展。

[1] 3GPP. System architecture for the 5G system, version 1.2.0: TS23.501[S]. 2017.

[2] ETSI. Mobile edge computing (MEC) ETSI Industry Specification Group (ISG) version 1.1.1[R]. 2016.

[3] 德意志銀行. 了解關(guān)于VR的一切[R]. 2016.

Deutsche Bank. Learn all about VR[R]. 2016.

[4] 齊彥麗, 周一青, 劉玲, 等. 融合MEC的未來(lái)5G移動(dòng)通信網(wǎng)絡(luò)[J]. 計(jì)算機(jī)研究與發(fā)展, 2018, 55(3): 478-486.

QI Y L, ZHOU Y Q, LIU L, et al. MEC coordinated future 5G mobile wireless networks[J]. Journal of Computer Research and Development, 2018, 55(3): 478-486.

[5] 周一青, 李國(guó)杰. 未來(lái)移動(dòng)通信系統(tǒng)中的通信與計(jì)算融合[J]. 電信科學(xué), 2018, 34(3): 1-7.

ZHOU Y Q, LI G J. Convergence of communication and computing infuture mobile communication systems[J]. Telecommunications Science, 2018, 34(3): 1-7.

[6] DAME A, PRISACARIU V A, REN C, et al. Dense reconstruction using 3D object shape priors[C]//IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. Washington DC: IEEE Computer Society, 2013: 1288-1295.

[7] PRADEEP V, RHEMANN C, IZADI S, et al. MonoFusion: real-time 3D reconstruction of small scenes with a single web camera[C]//IEEE International Symposium on Mixed and Augmented Reality, Oct 1-4, 2013, Adelaide, Australia. Washington DC: IEEE Computer Society, 2013: 83-88.

[8] LAN G, LUO Z, HAO, et al. Development of a virtual reality teleconference system using distributed depth sensor[C]//IEEE International Conference on Computer and Communications, December 13-16, 2017, Chengdu, China. Washington DC: IEEE Computer Society, 2017: 975-978.

[9] KAPUSTA P, MAJCHROWICZ M, SANKOWSKI D, et al. Acceleration of image reconstruction in 3D electrical capacitance tomography in heterogeneous, multi-GPU system using sparse matrix computations and finite element method[C]//The Federated Conference on Computer Science and Information Systems, September 11-14, 2016, Gdansk, Poland. Washington DC: IEEE Computer Society, 2016: 679-683.

[10] QIAN M, WANG Y, ZHOU Y, et al. A super base station based centralized network architecture for 5G mobile communication systems[J]. Digital Communications and Networks, 2015, 1(2): 152-159.

[11] ZHOU Y, LIU H, PAN Z, et al. Energy efficient two-stage cooperative multicast based on device to device transmissions: effect of user density[J]. IEEE Transactions on Vehicular Technology, 2016, 65(9): 7297-7307.

[12] SUN Q, TIAN L, ZHOU Y, et al. Energy efficient incentive resource allocation in D2D cooperative communications[C]//IEEE International Conference on Communications (ICC), June 8-12, 2015, London, UK. Washington DC: IEEE Computer Society, 2015: 2632-2637.

[13] LOCHER A, PERDOCH M, RIEMENSCHNEIDER H, et al. Mobile phone and cloud-a dream team for 3D reconstruction[J]. IEEE Applications of Computer Vision, 2016: 1-8.

[14] MASIP-BRUIN X, MARíN-TORDERA E, TASHAKOR G, et al. Foggy clouds and cloudy fogs: a real need for coordinated management of fog-to-cloud computing systems[J]. IEEE Wireless Communications, 2016, 23(5): 120-128.

[15] ZHENG K, MENG H, CHATZIMISIOS P, et al. An SMDP-based resource allocation in vehicular cloud computing systems[J]. IEEE Transactions on Industrial Electronics, 2015, 62(12): 7920-7928.

[16] BONOMI F, MILIT RO, ZHU J, et al. Fog computing and its role in the internet of things[C]//ACM Workshop on Mobile Cloud Computing, August 17, 2012, Helsinki, Finland. New York: ACM Press, 2012: 13-16.

[17] LIU Y, LEE M J, ZHENG Y, et al. Adaptive multi-resource allocation for cloudlet-based mobile cloud computing system[J]. IEEE Transactions on Mobile Computing, 2016, 15(10): 2398-2410.

[18] ETSI. Mobile edge computing (MEC): framework and reference architecture, version 1.1.1[R]. 2016.

[19] HOU X, LU Y, DEY S, et al. Wireless VR/AR with edge/cloud computing[C]//International Conference on Computer Communication and Networks, September 18, 2017, Vancouver, Canada. Washington DC: IEEE Computer Society, 2017: 1-8.

[20] TANSKANEN P, KOLEV K, MEIER L, et al. Live metric 3D reconstruction on mobile phones[C]//IEEE International Conference on Computer Vision, March 3, 2013, Sydney, Australia. Washington DC: IEEE Computer Society, 2013: 65-72.

[21] KOLEV K, TANSKANEN P, SPECIALE P, et al. Turning mobile phones into 3D scanners[C]//IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, USA. Washington DC: IEEE Computer Society, 2014: 3946-3953.

[22] ONDR′UˇSKA P, KOHLI P, IZADI S, et al. Mobile fusion: real-time volumetric surface reconstruction and dense tracking on mobile phones[J]. IEEE Transactions on Visualization & Computer Graphics, 2015, 21(11): 1251-1258.

[23] MUR-ARTAL R, MONTIEL J M M, TARD′OS J D, et al. ORB-SLAM: a versatile and accurate monocular SLAM system[J]. IEEE Transactions on Robotics, 2015, 31(5): 1147-1163.

[24] LAI Z, HU Y C, CUI Y, et al. Furion: engineering high-quality immersive virtual reality on today’s mobile devices[C]//ACM 23rd Annual International Conference on Mobile Computing and Networking, October 16-20, 2017, Snowbird, Utah, USA. New York: ACM Press, 2017: 409-421.

[25] LIU L, ZHOU Y, TIAN L, et al. CPC-based backward compatible network access for LTE cognitive radio cellular networks[J]. IEEE Communication Magazine, 2015, 53(7): 93-99.

[26] SIMON N. Cognitive radio: brain-empowered wireless communications[J]. IEEE Journal on Selected Areas in Communications, 2005, 23(2): 201-220.

[27] YIN W S, REN P Y, DU Q H, et al. Delay and throughput oriented continuous spectrum sensing schemes in cognitive radio networks[J]. IEEE Transactions on Wireless Communications, 2012, 11(6): 2148-2159.

[28] QUAN Z, CUI S, SAYED A H, et al. Optimal linear cooperation for spectrum sensing in cognitive radio[C]//IEEE Military Communications Conference, Oct 29-31, 2007, Orlando, FL, USA. Washington DC: IEEE Computer Society, 2007: 1-6.

[29] ZHAO Y, MORALES L, GAEDDERT J, et al. Applying radio environment maps to cognitive wireless regional area networks[C]//IEEE 2nd International Symposium on New Frontiers in Dynamic Spectrum Access Networks, Apr 17-20, 2007, Dublin, Ireland. Washington DC: IEEE Computer Society, 2007: 115-118．

[30] PEREZ-ROMERO J, ZALONIS A, BOUKHATEM L, et al. On the use of radio environment maps for interference management in heterogeneous networks[J]. IEEE Communications Magazine, 2015, 53(8): 184-191.

[31] WANG Y, PEDERSEN K I, SORENSEN T B, MOGENSEN P E, et al. Utility maximization in LTE-advanced systems with carrier aggregation[C]//IEEE Vehicular Technology Conference, Sept 5-8, 2011, Yokohama, Japan. Washington DC: IEEE Computer Society, 2011: 1-5.

[32] LIAO H S, CHEN P Y, CHEN W T, et al. An efficient downlink radio resource allocation with carrier aggregation in LTE-advanced networks[J]. IEEE Transactions on Mobile Computing, 2014, 13(13): 2229-2239.

[33] SUNDARESAN K, RANGARAJAN S. Energy efficient carrier aggregation algorithms for next generation cellular networks[C]//IEEE 21st International Conference on Network Protocols, Oct 7-10, 2013, Goettingen, Germany. Washington DC: IEEE Computer Society, 2013: 1-10.

[34] CHUNG Y L, JANG L J, TSAI Z, et al. An efficient downlink packet scheduling algorithm in LTE-advanced systems with carrier aggregation[C]//IEEE Consumer Communications and Networking Conference, Jan 10-13, 2011, Las Vegas, NV, USA. Washington DC: IEEE Computer Society, 2011: 632-636.

[35] WANG Y, PEDSRSEN K I, SORENSEN T B, MOGENSEN P E, et al. Carrier load balancing and packet scheduling for multi-carrier systems[J]. IEEE Transactions on Wireless Communications, 2010, 9(5): 1780-1789.

[36] SCHWARZ H, MARPE D, WIEGAND T, et al. Overview of the scalable video coding extension of the H.264/AVC standard[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2007, 17(9): 1103-1120.

[37] BOYCE J M, Ye Y, CHEN J, et al. Overview of SHVC: scalable extensions of the high efficiency video coding standard[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2016, 26(1): 20-34.

[38] SULLIVAN G J, BOYCE J M, CHEN Y, et al. Extensions of high efficiency video coding (HEVC)[J]. IEEE Journal of Selected Topics in Signal Processing, 2013, 7(6): 1001-1016.

[39] ZHAO Y, CHEN Z, ZHU C, et al. Binocular just-noticeable- difference model for stereoscopic images[J]. IEEE Signal Processing Letters, 2010, 18(1): 19-22.

[40] 周俊明, 郁梅, 蔣剛毅, 等. 面向ROI編碼的立體圖像比特分配策略分析[J]. 高技術(shù)通訊, 2011, 21(10): 1048-1055.

ZHOU J M, YU M, JIANG G Y, et al. Analysis of bit allocation for ROI based coding of stereoscopic images[J]. Chinese High Technology Letters, 2011, 21(10): 1048-1055.

[41] SHAO F, JIANG G, YU M, et al. A novel rate control technique for asymmetric-quality stereoscopic video[J]. IEEE Transactions on Consumer Electronics, 2012, 57(4): 1823-1829.

[42] WEI H, ZHOU X, ZHOU W, et al. Visual saliency based perceptual video coding in HEVC[C]//IEEE International Symposium on Circuits and Systems, May 22-25, 2016, Florence, Italy. Piscataway: IEEE Press, 2016: 2547-2550.

[43] KIM J, BAE S H, KIM M, et al. An HEVC-compliant perceptual video coding scheme based on JND models for variable block-sized transform kernels[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2015, 25(11): 1786-1800.

[44] CHEN M, SAAD W, YIN C, et al. Virtual reality over wireless networks: quality-of-service model and learning-based resource management[J]. IEEE Transactions on Communications, 2018 (99): 1.

[45] AHN J, KIM Y Y, KIM R Y, et al. Delay oriented VR mode WLAN for efficient wireless multi-user virtual reality device[C]//IEEE International Conference on Consumer Electronics, Jan 8-10, 2017, Las Vegas, NV, USA. Washington DC: IEEE Computer Society, 2017: 122-123.

[46] LAI C F, CHAO H C, LAI Y X, et al. Cloud-assisted real-time transrating for HTTP live streaming[J]. IEEE Wireless Communications, 2013, 20(3): 62-70.

[47] WANG F, LIU J, CHEN M, et al. Calms: cloud-assisted live media streaming for globalized demands with time/region diversities[C]//IEEE INFOCOM, Mar 25-30, 2012, Orlando, FL, USA. Washington DC: IEEE Computer Society, 2012: 199-207.

[48] WANG F, LIU J, CHEN M, et al. Migration towards cloud-assisted live media streaming[J]. IEEE/ACM Transactions on Networking, 2016, 24(1): 272-282.

[49] HE J, XUE Z, WU D, et al. CBM: online strategies on cost-aware buffer management for mobile video streaming[J]. IEEE Transactions on Multimedia, 2014, 16(1): 242-252.

[50] ZHENG Y, WU D, KE Y, et al. Online cloud transcoding and distribution for crowd sourced live game video streaming[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2016: 1.

[51] TANG J, QUEK T Q S. The role of cloud computing in content-centric mobile networking[J]. IEEE Communications Magazine, 2016, 54(8): 52-59.

[52] DENG M, TIAN H, FAN B. Fine-granularity based application offloading policy in small cell cloud-enhanced networks[C]//IEEE International Conference on Communications Workshops, May 23-27, 2016, Kuala Lumpur, Malaysia. Washington DC: IEEE Computer Society, 2016: 638-643.

[53] CHEN X, JIAO L, LI W, et al. Efficient multi-user computation offloading for mobile-edge cloud computing[J]. IEEE/ACM Transactions on Networking, 2016, 24(5): 2795-2808.

[54] CAO S, TAO X, HOU Y. An energy-optimal offloading algorithm of mobile computing based on HetNets[C]//International Conference on Connected Vehicles and Expo, Oct 19-23, 2015, Shenzhen, China. Washington DC: IEEE Computer Society, 2015: 254-258.

[55] ZHAO Y, ZHOU S, ZHAO T, et al. Energy-efficient task offloading for multiuser mobile cloud computing[C]//IEEE/CIC International Conference on Communications in China, Oct 14-17, 2016, Shenzhen, China. Washington DC: IEEE Computer Society, 2016: 1-5.

[56] VONDRA M, BECVAR Z. QoS-ensuring distribution of computation load among cloud-enabled small cells[C]//IEEE International Conference on Cloud Networking, Oct 8-10, 2014, Luxembourg. Washington DC: IEEE Computer Society, 2014: 197-203.

[57] MUNOZ O, PASCUAL-ISERTE A, VIDAL J. Joint allocation of radio and computational resources in wireless application offloading[C]//IEEE Future Network and Mobile Summit, Jul 3-5, 2013, Lisboa, Portugal. Washington DC: IEEE Computer Society, 2013: 1-10.

[58] MAO Y, ZHANG J, SONG S H, et al. Power-delay trade-off in multi-user mobile-edge computing systems[C]//IEEE Global Communications Conference, Dec 4-8, 2016, Washington DC, USA. Washington DC: IEEE Computer Society, 2016: 1-6.

[59] LIU J, MAO Y, ZHANG J, et al. Delay-optimal computation task scheduling for mobile-edge computing systems[C]//IEEE International Symposium on Information Theory, Jul 10-15, 2016, Barcelona, Spain. Washington DC: IEEE Computer Society, 2016: 1451-1455.

[60] MAO Y, ZHANG J, LETAIEF K B. Dynamic computation offloading for mobile-edge computing with energy harvesting devices[J]. IEEE Journal on Selected Areas in Communications, 2016, 34(12): 3590-3605.

[61] SATYANARAYANAN M, BAHL P, DAVIES N. The case for VM-based cloudlets in mobile computing[J]. IEEE Pervasive Computing, 2009, 8(4): 14-23.

[62] WANG K, SHEN M, CHO J, et al. MobiScud: a fast moving personal cloud in the mobile network[C]//ACM Workshop on All Things Cellular: Operations, Applications and Challenges, Aug 17, 2015, New York, USA. New York: ACM Press, 2015: 19-24.

[63] BECVAR Z, PLACHY J, MACH P. Path selection using handover in mobile networks with cloud-enabled small cells[C]//IEEE International Symposium on Personal, Indoor, and Mobile Radio Communication, Aug 30-Sept 2, 2015, Washington DC, USA. Washington DC: IEEE Computer Society, 2015: 1480-1485.

[64] RAVI A, PEDDOJU S K. Handoff strategy for improving energy efficiency and cloud service availability for mobile devices[J]. Wireless Personal Communications, 2015, 81(1): 101-132.

[65] CLARK C, FRASER K, HAND S, et al. Live migration of virtual machines[C]//2nd Conference on Symposium on Networked Systems Design and Implementation, May 2-4, 2005, Lombard, IL, USA. New York: ACM Press, 2005: 273-286.

[66] BELLAVISTA P, ZANNI A, SOLIMANDO M. A migration-enhanced edge computing support for mobile devices in hostile environments[C]//IEEE Wireless Communications and Mobile Computing Conference, June 26-30, 2017, Valencia, Spain. Washington DC: IEEE Computer Society, 2017: 957-962.

[67] WANG S, URGAONKAR R, CHAN K, et al. Dynamic service placement for mobile micro-clouds with predicted future costs[C]//IEEE International Conference on Communications, June 8-12, 2015, London, UK. Washington DC: IEEE Computer Society, 2015: 5504-5510.

[68] PLACHY J, BECVAR Z, STRINATI E C. Dynamic resource allocation exploiting mobility prediction in mobile edge computing[C]//IEEE International Symposium on Personal, Indoor, and Mobile Radio Communications, Sept 4-8, 2016, Valencia, Spain. Washington DC: IEEE Computer Society, 2016: 1-6.

[69] FANG W, ZHENG L, DENG H, et al. Real-time motion tracking for mobile augmented/virtual reality using adaptive visual-inertial fusion[J]. Sensors, 2017, 17(5): 1-22.

[70] KIM H, LEUTENEGGER S, DAVISON A J. Real-time 3D reconstruction and 6-DoF tracking with an event camera[C]//European Conference on Computer Vision, October 8-16, 2016, Amsterdam, Netherlands. New York: Springer International Publishing, 2016: 349-364.

[71] DOBBINS M K, RONDOT P, SCHWARTZ K, et al. Providing a collaborative immersive environment using a spherical camera and motion capture: US 8217995 B2[P]. 2012-07-10.

[72] AHLEHAGH H, DEY S. Hierarchical video caching in wireless cloud: approaches and algorithms[C]//IEEE International Conference on Communications, June 10-15, 2012, Ottawa, ON, Canada. Washington DC: IEEE Computer Society, 2012: 7082-7087.

[73] WANG X, CHEN M, TALEB T, et al. Cache in the air: exploiting content caching and delivery techniques for 5G systems[J]. IEEE Communications Magazine, 52(2): 131-139.

[74] MOLISCH A F, CAIRE G, OTT D, et al. Caching eliminates the wireless bottleneck in video aware wireless networks[J]. Advances in Electrical Engineering, 2014(9): 74-80.

[75] LI W, OTEAFY S M A, HASSANEIN H S. Dynamic adaptive streaming over popularity-driven caching in information-centric networks[C]//IEEE International Conference on Communications, June 8-12, 2015, London, UK. Washington DC: IEEE Computer Society, 2015: 5747-5752.

[76] LIU Y, GEURTS J, POINT J C, et al. Dynamic adaptive streaming over CCN: a caching and overhead analysis[C]//IEEE International Conference on Communications, June 9-13, 2013, Budapest, Hungary. Washington DC: IEEE Computer Society, 2013: 2222-2226.

[77] LIANG K, HAO J, ZIMMERMANN R, et al. Integrated prefetching and caching for adaptive video streaming over HTTP: an online approach[C]//ACM Multimedia Systems Conference, March 18-20, 2015, Portland, OR, USA. New York: ACM Press, 2015: 142-152.

[78] GRANDL R, SU K, WESTPHAL C. On the interaction of adaptive video streaming with content-centric networking[J]. Journal of Sports Sciences, 2013, 23(9): 977-989.

[79] FUENTE Y S D L, SCHIERL T, HELLGE C, et al. iDASH: improved dynamic adaptive streaming over HTTP using scalable video coding[C]//ACM SIGMM Conference on Multimedia Systems, Feb 23-25, 2011, San Jose, CA, USA. New York: ACM Press, 2011: 257-264.

[80] TRAN T X, POMPILI D. Octopus: a cooperative hierarchical caching strategy for radio access networks[C]//IEEE International Conference on Mobile Ad Hoc and Sensor Systems, Oct 10-13, 2016, Brasilia, Brazil. Washington DC: IEEE Computer Society, 2016: 154-162.

[81] ZHANG Z, LIU D, YUAN Y. Layered hierarchical caching for SVC-based HTTP adaptive streaming over C-RAN[C]//IEEE Wireless Communications and Networking Conference, March 19-22, 2017, San Francisco, CA, USA. Washington DC: IEEE Computer Society, 2017:1-6.

Mobile AR/VR in 5G based on convergence of communication and computing

ZHOU Yiqing1,2,3, SUN Bule1,2,3, QI Yanli1,2,3, PENG Yan1,2,3, LIU Ling1,2,3, ZHANG Zhilong4, LIU Yitong4, LIU Danpu4, LI Zhaoxin1,2,3, TIAN Lin1,2,3

1. University of Chinese Academy of Sciences, Beijing 100049, China 2. Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100080, China 3. Beijing Key Laboratory of Mobile Computing and Pervasive Device, Beijing 100190, China 4. Beijing University of Posts and Telecommunications, Beijing 100876, China

Oriented to 5G mobile communication network combining with communication and computation, the characteristics of mobile AR/VR information processing and transmission were analyzed, and the ability to integrate communication and computation was proposed, and the capability of integrating communication and computing was proposed. In the future 5G mobile communication network, multi-level computing will be used to solve the problem of limited computing capacity of mobile terminals by the capability of multi-level computing nodes in collaborative network. Intelligent transmission mechanism could overcome the problem of unstable transmission capacity of mobile channel by efficient spectrum sensing, layered coding and adaptive space port transmission, and the mobile AR/VR service delay was ensured by using delay guarantee mechanism and cooperative management of communication and computing resources. The research status and development trend of mobile AR/VR multi-level computing model, intelligent transmission mechanism and service delay guarantee was reviewed, the existing problems were summarized and the next research direction was put forward.

convergence of communication and computing, 5G, AR/VR, hierarchical computing

TN911

A

10.11959/j.issn.1000?0801.2018241

周一青（1975?），女，中國(guó)科學(xué)院大學(xué)崗位教授，中國(guó)科學(xué)院計(jì)算技術(shù)研究所“百人計(jì)劃”研究員、博士生導(dǎo)師，無(wú)線(xiàn)通信技術(shù)研究中心副主任，移動(dòng)計(jì)算與新型終端北京市重點(diǎn)實(shí)驗(yàn)室研究員，主要研究方向?yàn)橐苿?dòng)通信、通信與計(jì)算融合等。

孫布勒（1992?），男，中國(guó)科學(xué)院計(jì)算技術(shù)研究所博士生，主要研究方向?yàn)橥ㄐ排c計(jì)算融合、大規(guī)模多天線(xiàn)、毫米波通信等。

齊彥麗（1991?），女，中國(guó)科學(xué)院計(jì)算技術(shù)研究所博士生，主要研究方向?yàn)橐苿?dòng)邊緣計(jì)算、通信與計(jì)算融合、無(wú)線(xiàn)資源管理等。

彭燕（1993?），女，中國(guó)科學(xué)院計(jì)算技術(shù)研究所博士生，主要研究方向?yàn)橥ㄐ排c計(jì)算融合、超密集網(wǎng)絡(luò)等。

劉玲（1990?），女，中國(guó)科學(xué)院計(jì)算技術(shù)研究所助理研究員，主要研究方向?yàn)?G無(wú)線(xiàn)通信、通信與計(jì)算融合、超密集網(wǎng)絡(luò)、無(wú)線(xiàn)資源管理等。

張志龍（1985?），男，北京郵電大學(xué)講師，主要從事多媒體通信、無(wú)線(xiàn)視頻傳輸策略?xún)?yōu)化等方面的研究工作。

劉奕彤（1982?），女，北京郵電大學(xué)講師，主要從事VR視頻和三維模型的無(wú)線(xiàn)傳輸?shù)确矫娴难芯抗ぷ鳌?/p>

劉丹譜（1972?），女，北京郵電大學(xué)國(guó)際學(xué)院電信工程及管理系主任、博士生導(dǎo)師，IEEE高級(jí)會(huì)員，中國(guó)通信學(xué)會(huì)和中國(guó)電子學(xué)會(huì)高級(jí)會(huì)員，一直致力于無(wú)線(xiàn)視頻傳輸策略?xún)?yōu)化領(lǐng)域的基礎(chǔ)理論與關(guān)鍵技術(shù)研究。

李兆歆（1983?），男，中國(guó)科學(xué)院計(jì)算技術(shù)研究所助理研究員，主要從事三維重建領(lǐng)域的研究工作。

田霖（1980?），女，中國(guó)科學(xué)院計(jì)算技術(shù)研究所副研究員，主要研究方向?yàn)榫G色無(wú)線(xiàn)通信系統(tǒng)與無(wú)線(xiàn)資源管理技術(shù)。

2018?07?01；

2018?08?10