5GXR及多媒體增強技術(shù)分析

史曉楠，熊春山，倪慧，王丹

5GXR及多媒體增強技術(shù)分析

史曉楠1，熊春山2，倪慧3，王丹1

（1. 中國移動通信有限公司研究院，北京 100053；2. 中信科移動通信技術(shù)股份有限公司，北京 100083；3. 華為技術(shù)有限公司，北京 100085）

5G XR（extended reality，擴展現(xiàn)實）及多媒體增強是5G-Advanced網(wǎng)絡(luò)中非常重要的業(yè)務(wù)場景，隨著用戶對新興的新媒體服務(wù)的需求逐漸增長，網(wǎng)絡(luò)需要針對XR等多媒體業(yè)務(wù)做出相應(yīng)的增強。主要介紹了XR及增強多媒體的主要業(yè)務(wù)場景，包括沉浸式虛擬現(xiàn)實、增強現(xiàn)實、基于混合現(xiàn)實的遠程遙控技術(shù)、虛擬工廠、遠程無人機控制等。針對XR的典型業(yè)務(wù)場景，在已有的國際標(biāo)準(zhǔn)對XR技術(shù)的研究和支持的基礎(chǔ)上，針對5G XR及多媒體增強，仍然需要在QoS機制設(shè)計、網(wǎng)絡(luò)和應(yīng)用的相互感知和傳輸協(xié)同、大規(guī)模XR業(yè)務(wù)流的同步傳輸以及節(jié)能等方面進行針對性設(shè)計，從而實現(xiàn)5G網(wǎng)絡(luò)對XR及多媒體增強業(yè)務(wù)更好的支持。

XR；多媒體增強；多流協(xié)同；5G架構(gòu)增強

0 引言

擴展現(xiàn)實（extended reality，XR）是指通過計算機技術(shù)和可穿戴設(shè)備產(chǎn)生的一個真實與虛擬結(jié)合、可人機交互的環(huán)境。當(dāng)前的XR產(chǎn)業(yè)發(fā)展形式以虛擬現(xiàn)實（virtual reality，VR）和增強現(xiàn)實（augmented reality，AR）為主。VR在20世紀(jì)60年代初首次被提出，指借助計算機系統(tǒng)及傳感器技術(shù)生成一個三維環(huán)境，創(chuàng)造一種嶄新的人機交互狀態(tài)，通過調(diào)動用戶所有的感官（視覺、聽覺、觸覺、嗅覺等），帶來更加真實的、身臨其境的體驗。AR指生成現(xiàn)實中不存在的物體并與現(xiàn)實世界融合在一起的圖像，并與其交互，通過投射裝置，將手機或電腦上的影像投影到其他介質(zhì)上。

近年來，XR技術(shù)得到較快的發(fā)展，并被認為是元宇宙初級階段的關(guān)鍵技術(shù)，吸引國內(nèi)外科技巨頭紛紛入場。2021 年 10 月，F(xiàn)acebook 正式更名為“Meta”，通過前期不斷收購VR硬件和內(nèi)容公司，積累了豐富的VR/AR內(nèi)容和技術(shù)，在消費級場景深入布局；早在 2010 年，微軟就進行了 AR 領(lǐng)域的探索，目前在 AR 硬件市場份額全球領(lǐng)先，并通過不斷豐富XR內(nèi)容和硬件設(shè)備，在企業(yè)元宇宙和游戲方面已經(jīng)擁有先發(fā)優(yōu)勢；作為底層技術(shù)核心供應(yīng)商，英偉達創(chuàng)建元宇宙數(shù)字化虛擬空間的技術(shù)平臺底座，技術(shù)平臺目前已廣泛應(yīng)用在傳媒娛樂、自動駕駛、工業(yè)機器人等六大領(lǐng)域。國內(nèi)互聯(lián)網(wǎng)巨頭，如騰訊、阿里巴巴、字節(jié)跳動和百度等，雖在硬件和底層技術(shù)端相較國外優(yōu)勢不足，但也積極在AR、VR、數(shù)字人這些領(lǐng)域進行布局，在元宇宙內(nèi)容和用戶側(cè)的優(yōu)勢不斷顯現(xiàn)[1]。

在近期舉行的北京冬奧會上，XR技術(shù)更是成為助力高科技體育的關(guān)鍵技術(shù)，在賽事中得到了廣泛應(yīng)用。如針對專業(yè)運動員的訓(xùn)練，通過VR訓(xùn)練模擬器，為運動員模擬鋼架雪山訓(xùn)練系統(tǒng)、越野滑雪訓(xùn)練系統(tǒng)等，提高運動員訓(xùn)練的真實感受。在場館內(nèi)通過VR技術(shù)為運動員、觀眾和工作人員帶來了基于三維空間重建技術(shù)的虛擬導(dǎo)覽系統(tǒng)，從而為他們提供場景展示、設(shè)施說明、自助導(dǎo)覽等服務(wù)。

雖然VR/AR技術(shù)在過去10年得到了長足發(fā)展，內(nèi)容場景不斷豐富，但是當(dāng)前仍然存在一些技術(shù)瓶頸，主要集中在GPU的運算能力、屏幕的分辨率、刷新速率、視角、時延、傳感器等方面。其中，最關(guān)鍵也是最直觀影響體驗的當(dāng)屬分辨率、刷新速率與時延。分辨率越高，畫面質(zhì)量越好，需要傳輸?shù)臄?shù)據(jù)就越多；刷新率越高，畫面更靈動和舒適，傳輸壓力也更大；時延越低（MTP（motion to photons）需低于20 ms），人眼感覺更舒服，交互性更好，但對系統(tǒng)穩(wěn)定性要求更高?；谠破脚_渲染的XR業(yè)務(wù)，通過將計算能力和能耗更高的渲染功能部署在云平臺上，使得終端側(cè)可以聚焦在顯示和用戶交互等功能上，從而在有效提升用戶體驗的同時，降低用戶側(cè)設(shè)備能力的復(fù)雜性。

基于云平臺渲染的XR業(yè)務(wù)將成為未來XR業(yè)務(wù)的重要實現(xiàn)方式。但這一實現(xiàn)方式也提出了對網(wǎng)絡(luò)傳輸帶寬、時延和可靠性的嚴苛需求。

隨著無線通信技術(shù)的發(fā)展，3GPP在2015年啟動了第五代移動通信技術(shù)的標(biāo)準(zhǔn)研究工作，其中，支持XR業(yè)務(wù)成為5G系統(tǒng)設(shè)計的關(guān)鍵場景之一。根據(jù)ITU對5G的指標(biāo)要求，其最大帶寬可達到10 Gbit/s，最低極致時延為1 ms，被認為是解決XR業(yè)務(wù)極致傳輸要求的有效通信手段。結(jié)合近年不斷成熟的云計算、邊緣計算等技術(shù)，XR業(yè)務(wù)有望將復(fù)雜的處理渲染功能在云端實現(xiàn)，進一步降低終端能力要求，依靠5G的極致傳輸，實現(xiàn)實時交互。

從3GPP Release 15（Rel-15）開始，5G基礎(chǔ)網(wǎng)絡(luò)架構(gòu)設(shè)計完成了，到3GPP Rel-16支持URLLC和mMTC，5G能力逐步豐富，再到3GPP Rel-17，5G面向工業(yè)互聯(lián)網(wǎng)、支持以太數(shù)據(jù)的確定性傳輸。但是，對于XR業(yè)務(wù)的承載，5G系統(tǒng)處于采用一套QoS流機制對音/視頻頻流、觸覺信號流、傳感器信號進行傳輸，并沒有考慮各種XR流的特征以及業(yè)務(wù)屬性，導(dǎo)致5G無法支持大密度XR業(yè)務(wù)接入情況下的一致性體驗。此外，XR終端的能耗成為限制其商業(yè)應(yīng)用的一個關(guān)鍵，如何降低終端功耗、延長待機時間，也成為5G需要研究的重要方向。

1 5G XR及多媒體增強的主要用例及場景

1.1 沉浸式虛擬現(xiàn)實

VR通過構(gòu)建 3D 虛擬環(huán)境，使用戶在佩戴VR眼鏡的情況下可以看到在虛擬空間中與物體進行交互的場景，從而創(chuàng)造身臨其境的體驗。通常VR體驗的數(shù)據(jù)類型涉及視頻和音頻，然而，為了獲得更好的沉浸式體驗，有些VR設(shè)備會提供更多維度的感知方式（例如觸覺、嗅覺等）。VR設(shè)備以及VR應(yīng)用為用戶創(chuàng)建虛擬環(huán)境的真實程度，體現(xiàn)在其讓用戶達到的沉浸程度，由于人類感官非常的敏銳，虛擬環(huán)境下一些非常細微的問題都會被發(fā)現(xiàn)，從而影響VR體驗。沉浸式虛擬現(xiàn)實應(yīng)用可廣泛應(yīng)用于游戲、教育、培訓(xùn)等多個領(lǐng)域[2]。

1.2 增強現(xiàn)實

AR可以提供在真實場景中形成虛擬物品的能力，使用戶可以通過AR眼鏡、頭盔、手機等看到虛擬物體，從而提供特殊的用戶體驗。通過掃描房間并在空間中定位，物理物品可以通過虛擬貼片呈現(xiàn)在遠程AR設(shè)備中。這樣，遠端用戶就可以在AR設(shè)備中體驗虛擬物品在實際場景中的出現(xiàn)。在這個過程中，需要在本地和遠程進行空間掃描和初始定位，同時在兩端傳輸音視頻數(shù)據(jù)，提供基于手勢、觸摸或鍵盤輸入的交互體驗。

1.3 基于混合現(xiàn)實的遠程遙控技術(shù)

混合現(xiàn)實（mixed reality，MR）技術(shù)是虛擬現(xiàn)實技術(shù)的進一步發(fā)展，通過在現(xiàn)實場景呈現(xiàn)虛擬場景信息，在現(xiàn)實世界、虛擬世界和用戶之間搭起一個交互反饋的信息回路，以增強用戶體驗的真實感。在一些特殊場景中，當(dāng)不適合人類活動或者希望提供遠端操作時，可以通過混合現(xiàn)實技術(shù)遙控機器人進行操作[3]。通過現(xiàn)場視頻、音頻、觸覺等多路信號反饋并在視覺上疊加真實場景而呈現(xiàn)，遙控機器人的操作人員會根據(jù)情況作出適當(dāng)?shù)姆磻?yīng)，使遙控機器人完成相應(yīng)的動作行為。遙控機器人的應(yīng)用場景非常豐富，包括遠程養(yǎng)老、遠程引爆、遠程操作、設(shè)施遠程維護、遠程消防等。

1.4 虛擬工廠

虛擬工廠是工業(yè)4.0的重要場景，它為用戶提供了一種輕松訪問遠程工廠的方法?；趥鬏敼S視頻和音頻以及工廠設(shè)備的運動信號，可以通過VR或AR在遠端完成虛擬工廠的模擬。虛擬工廠可以支持對實際工廠真實場景的沉浸式監(jiān)控，并提供生產(chǎn)線的規(guī)劃以及對實際生產(chǎn)過程的模擬調(diào)整和分析。此外，當(dāng)需要結(jié)合多個工廠的能力制造復(fù)雜的設(shè)備時，可以將具有多個模塊的生產(chǎn)線虛擬組合成一條生產(chǎn)線，從而提供一種管理分布式真實工廠的方法[4]。

1.5 遠程沉浸式無人機控制

通常，無人機是由飛行員一邊操作手柄一邊觀察其飛行姿態(tài)來控制的。隨著無人機技術(shù)的發(fā)展和無人機飛行場景的擴展，出現(xiàn)了需要飛行員一邊觀看無人機回傳的無人機視角視頻、一邊調(diào)整無人機控制手柄的場景。例如，在非視距場景中，飛行員無法直接看到無人機的飛行狀態(tài)，需要通過機載攝像頭的視頻回傳來監(jiān)控?zé)o人機周圍的環(huán)境。在這種場景下，通過無人機的第一視角飛行視頻，可以讓更多人體驗身臨其境的飛行體驗。在這個過程中，無人機、控制手柄、頭戴式顯示器與高清視頻是同時使用的。無人機飛行員需要佩戴頭戴式顯示器，根據(jù)回傳的高清視頻控制無人機飛行。

2 面向XR業(yè)務(wù)的5G網(wǎng)絡(luò)架構(gòu)演進

2.1 面向XR業(yè)務(wù)的5GQoS機制設(shè)計

傳統(tǒng)移動通信網(wǎng)絡(luò)對數(shù)據(jù)業(yè)務(wù)采用通用的基于業(yè)務(wù)流粒度的差異化QoS控制機制。這種控制機制具有很強的普適性，但應(yīng)用于5G XR業(yè)務(wù)時，由于未能考慮XR業(yè)務(wù)流內(nèi)部報文的差異性，導(dǎo)致網(wǎng)絡(luò)容量和傳輸效率較低，因此，有必要針對5G XR業(yè)務(wù)，設(shè)計專用QoS的傳輸框架和機制，提升流量傳輸效能，從而利用有限的空口資源支持更多的XR用戶接入[5]。

SA1在3GPP TS 22.261及3GPP TS 22.263定義了5G XR所包含的各類業(yè)務(wù)的KPI參數(shù)集，這些KPI參數(shù)集將為3GPP的各個工作組研究目前的QoS機制是否能夠有效地支持這些5G XR業(yè)務(wù)提供基礎(chǔ)。根據(jù)SA2、RAN及SA4的研究工作，目前的5G QoS架構(gòu)是基于QoS Flow粒度的。但考慮XR業(yè)務(wù)流內(nèi)的不同報文對用戶體驗貢獻的差異性，QoS Flow粒度對于XR業(yè)務(wù)流來說，仍然不夠細致。針對5G XR業(yè)務(wù)，需要研究對同一個QoS Flow中不同媒體單元的數(shù)據(jù)包進行不同的QoS處理。這就對現(xiàn)有的QoS架構(gòu)和機制提出了增強的需求。

在兼容原有5G QoS架構(gòu)的基礎(chǔ)上，針對5G XR業(yè)務(wù)，QoS架構(gòu)還需要能夠識別XR應(yīng)用流的報文特性，如XR視頻流中的不同幀類型及其各自的流量特征（例如幀數(shù)據(jù)包大小、時間周期特性等）。同時，QoS架構(gòu)需要對同一XR數(shù)據(jù)流下的不同的媒體單元進行識別、標(biāo)記與QoS處理，這將涉及是否定義并使用新的標(biāo)記、新的5QI（5G QoS identifier）以及定義和使用新的QoS參數(shù)（例如抖動等）。

2.2 基于XR流量感知的5G傳輸調(diào)度

提升XR業(yè)務(wù)QoS調(diào)度的關(guān)鍵是網(wǎng)絡(luò)感知業(yè)務(wù)能力的增強。與傳統(tǒng)的傳輸調(diào)度機制相比，基于XR流量感知的5G傳輸調(diào)度，要求5G網(wǎng)絡(luò)能夠識別XR應(yīng)用流中不同的媒體單元，并根據(jù)這些不同的媒體單元進行不同的QoS處理。現(xiàn)有的QoS架構(gòu)只有一個QoS控制級別，即QoS Flow級別，而新的QoS架構(gòu)是在不同的媒體單元級別進行的不同的QoS控制，例如這些不同級別的媒體單元可以是圖片組（group of picture，GOP）級，也可以是幀級，還可以是幀內(nèi)的不同的slice（圖條）或tile（圖片）[6]。

當(dāng)XR應(yīng)用的數(shù)據(jù)流沒有加密，5G核心網(wǎng)絡(luò)可以通過視頻編碼規(guī)則識別不同級別的媒體單元。當(dāng)XR應(yīng)用的數(shù)據(jù)流是加密的，則需要第三方XR應(yīng)用通過一些機制（如RTP頭信息）來指示這些不同的級別的媒體單元，并與網(wǎng)絡(luò)進行相應(yīng)的交互。這也需要對現(xiàn)有的網(wǎng)絡(luò)架構(gòu)和QoS機制進行增強。

網(wǎng)絡(luò)架構(gòu)和QoS機制需要定義可靠的方法來快速指示和識別這些不同級別的媒體單元，如通過控制面的帶外方式或者通過用戶面的帶內(nèi)方式。在此基礎(chǔ)上，基站可以根據(jù)指示的媒體單元的不同QoS需求對傳輸進行針對性的優(yōu)化，從而提升空口資源利用效率和用戶容量。

2.3 XR業(yè)網(wǎng)傳輸協(xié)同

由于5G XR業(yè)務(wù)通常需要非常高的傳輸帶寬，因此，很有可能引起或快速加重?zé)o線網(wǎng)絡(luò)的擁塞概率。XR業(yè)網(wǎng)傳輸協(xié)同機制，通過網(wǎng)絡(luò)傳輸資源狀態(tài)和媒體層之間的實時協(xié)同，實現(xiàn)端到端業(yè)務(wù)與網(wǎng)絡(luò)的快速自適應(yīng)流量調(diào)整，從而避免卡頓，提升用戶的業(yè)務(wù)體驗[7]。當(dāng)無線網(wǎng)絡(luò)出現(xiàn)擁塞時，業(yè)務(wù)層需要迅速獲取網(wǎng)絡(luò)狀態(tài)并調(diào)整業(yè)務(wù)層編解碼和傳輸流量模型，從而適應(yīng)無線網(wǎng)絡(luò)的狀態(tài)，避免無線網(wǎng)絡(luò)擁塞的進一步惡化從而保證時延等關(guān)鍵指標(biāo)。可適性視頻編碼可在將不重要數(shù)據(jù)包丟棄的同時還能幫助XR應(yīng)用適應(yīng)網(wǎng)絡(luò)狀態(tài)并為用戶提供更好的QoE。5G系統(tǒng)需要將部分網(wǎng)絡(luò)信息實時開放給應(yīng)用，讓XR業(yè)務(wù)可以根據(jù)網(wǎng)絡(luò)狀態(tài)進行快速的編解碼調(diào)整及根據(jù)數(shù)據(jù)包的重要性進行打標(biāo)[8]。

2.4 大規(guī)模XR業(yè)務(wù)流同步傳輸

虛擬世界往往需要支持多個用戶間的互操作，而對于同一虛擬事件，多個用戶的感知需要保持同步，以保證用戶體驗。對于同一用戶的不同感官信號，往往也會通過不同業(yè)務(wù)流進行同步傳輸。因此，5G網(wǎng)絡(luò)需要支持大規(guī)模的同類型和異類型的XR業(yè)務(wù)流之間的協(xié)同，以確保它們在到達UE時，不同流之間保持一個合理的時間差，從而避免用戶感知不同流之間明顯的時延。例如，當(dāng)用戶在玩沉浸式 VR 游戲時，會看到隊友的動作，聽到隊友的聲音，同時感受到相應(yīng)動作反饋的觸覺，這三者之間需要維持在相對同步的狀態(tài)下，防止出現(xiàn)聲音、圖像和觸感之間的斷層，影響用戶體驗。在XR及多媒體增強服務(wù)中對于同步的要求主要包括：

● 對于多條具有同步性要求的數(shù)據(jù)流，需要進行傳輸?shù)膮f(xié)同，以及使用相應(yīng)的QoS要求，從而使他們可以同步到達特定的終端；

● 當(dāng)同一個業(yè)務(wù)下存在多個UE共同參與或者處于同一個網(wǎng)絡(luò)切片中的情況，對不同UE上承載的數(shù)據(jù)流需要進行協(xié)同。

2.5 節(jié)能傳輸

由于XR業(yè)務(wù)對數(shù)據(jù)傳輸以及數(shù)據(jù)實時處理的要求非常高，在終端、網(wǎng)絡(luò)側(cè)都需要非常高的計算和功耗要求。為了提升終端的電池使用壽命、降低終端能耗、減小終端體積重量等目的，需要考慮如何充分利用XR業(yè)務(wù)的流量特征（如XR業(yè)務(wù)的周期性傳輸與終端的非連續(xù)周期接收之間的協(xié)調(diào)），從而實現(xiàn)節(jié)能傳輸。

3 3GPP XR標(biāo)準(zhǔn)化進展

3.1 3GPP XR工作概述

3GPP是制訂無線通信標(biāo)準(zhǔn)的國際標(biāo)準(zhǔn)化組織，其關(guān)于XR及多媒體部分的研究從3GPP Rel-15就已經(jīng)啟動，主要圍繞場景需求、編解碼方式、部分QoS增強等。隨著XR業(yè)務(wù)的發(fā)展，新增的需求不斷涌現(xiàn)，3GPP決定在3GPP Rel-18全面啟動端到端系統(tǒng)架構(gòu)和網(wǎng)絡(luò)機制的研究，涉及RAN1、RAN2、RAN3、SA1、SA2、SA4等多個工作組。5G XR的網(wǎng)絡(luò)增強被廣泛地認為是3GPP Rel-18的重要標(biāo)準(zhǔn)工作。2021年下半年，3GPP啟動5G Rel-18立項，多家中國公司率先在SA2提出基于XR業(yè)務(wù)的5G網(wǎng)絡(luò)架構(gòu)增強，在SA全會的立項排名中名列第一，同時RAN側(cè)的5G XR項目也獲得非常多公司的支持。本文將通過分析5G XR立項的背景以及業(yè)務(wù)需求，對5G XR的關(guān)鍵技術(shù)展開介紹。

3.2 SA1工作組

3GPP SA1工作組，主要制訂通信業(yè)務(wù)需求及KPI，為3GPP后續(xù)的工作組明確典型場景和業(yè)務(wù)訴求。SA1為XR業(yè)務(wù)定義了基本的業(yè)務(wù)需求KPI參數(shù)集。

SA1在2019年5月確定了網(wǎng)絡(luò)控制的交互式業(yè)務(wù)需求[9]并寫入3GPP TS 22.261[4]標(biāo)準(zhǔn)，并被統(tǒng)一地命名為高數(shù)據(jù)率和低時延業(yè)務(wù)，同時給出了3個VR/AR類業(yè)務(wù)的具體KPI參數(shù)集。KPI參數(shù)集包含最大允許的端到端時延、業(yè)務(wù)速率、可靠性及影響因子（用戶數(shù)、用戶的移動速率和業(yè)務(wù)服務(wù)區(qū)域）。高數(shù)據(jù)速率和低時延服務(wù)的KPI見表1。

SA1在2019年下半年開始了3GPP Rel-17的3GPP TS 22.263[10]中分別為低時延的視頻業(yè)務(wù)、低時延周期的確定性語音業(yè)務(wù)、專業(yè)級低時延周期的確定性語音業(yè)務(wù)定義了端到端時延、數(shù)據(jù)包的周期性、上行與下行帶寬、上行與下行數(shù)據(jù)包的可靠性的KPI參數(shù)集。

在3GPP Rel-18階段，SA1在2021年開始了觸感通信及多模態(tài)傳輸?shù)难芯抗ぷ?，并將相關(guān)需求（如沉浸式VR的KPI需求（見表2）、觸感信號傳輸要求、網(wǎng)絡(luò)支持多流協(xié)同等）寫入3GPP TS 22.261[4]標(biāo)準(zhǔn)。

3.3 SA4工作組

3GPP SA4工作組主要制訂各種媒體的編解碼技術(shù)。

SA4最早從2016年上半年就開始3GPP支持VR媒體業(yè)務(wù)研究工作，并在2017年下半年完成，輸出研究報告3GPP TR 26.918[11]。基于這個研究報告針對5G VR流應(yīng)用的配置標(biāo)準(zhǔn)工作就在3GPP TS 26.118[12]開啟了。在這個3GPP TS 26.118[12]標(biāo)準(zhǔn)中，定義了基于DASH的5G VR流交互的架構(gòu)，3種Video操作點參數(shù)集與一種音頻操作點參數(shù)集。

2018年下半年，5G XR的研究開始了[13-15]，在3GPP TR 26.928[16]中記錄的 5G XR研究期間，收集了包括云游戲在內(nèi)的XR服務(wù)的幾個初步考慮因素。具體來說，包括下行和上行比特率、數(shù)據(jù)包時延預(yù)算、錯誤率和往返時間等參數(shù)。

表1 高數(shù)據(jù)速率和低時延服務(wù)的KPI

表2 沉浸式VR的KPI需求

SA4在2021年提出并通過的XR立項SP-210043[17]主要研究XR業(yè)務(wù)的業(yè)務(wù)特性，包括收集和記錄流量特征、上下行數(shù)據(jù)速率范圍、最大包時延預(yù)算、最大數(shù)據(jù)包錯誤率、最長往返時間、數(shù)據(jù)包大小、IP 級別的流量特征等。另一個重要的研究是確定現(xiàn)有 5QI/PQI 對此類服務(wù)的適用性，并可能確定對新 5QI/PQI 或QoS相關(guān)參數(shù)的要求。

3.4 SA2工作組

SA2于2019年通過高級交互式業(yè)務(wù)的5G系統(tǒng)增強標(biāo)準(zhǔn)立項SP-190564[18]，通過5G架構(gòu)及關(guān)鍵技術(shù)增強支持VR/AR、云游戲等高速率低時延業(yè)務(wù)。此標(biāo)準(zhǔn)輸出包括引入了4個新的5QI來支持不同場景的AR、VR、云游戲業(yè)務(wù)，同時也將這些業(yè)務(wù)流的周期信息作為QoS參數(shù)的一部分提供給RAN，從而讓RAN更加有效地進行無線資源的調(diào)度。

SA2在3GPP Rel-18階段通過FS_XRM SP-211646[19]立項，進一步開展5G網(wǎng)絡(luò)架構(gòu)增強研究，以更好地支持移動媒體服務(wù)、云AR/VR、云游戲、基于視頻的機器或無人機遠程控制等5G XR業(yè)務(wù)。當(dāng)前5GS 使用通用的QoS機制來處理媒體流業(yè)務(wù)和其他數(shù)據(jù)服務(wù)，沒有充分利用媒體業(yè)務(wù)的特征。3GPP Rel-18將考慮充分應(yīng)用這些媒體的特性信息（如I/B/P幀、slice/tile等）構(gòu)建新的QoS保障機制，并將媒體特征傳遞給無線網(wǎng)絡(luò)，讓5G網(wǎng)絡(luò)更好地感知5G XR應(yīng)用，以有利于5G網(wǎng)絡(luò)更好地進行無線資源的分配與調(diào)試，實現(xiàn)不同QoS需要的應(yīng)用數(shù)據(jù)包的差別化處理，從而提升用戶的QoE。另外，為了幫助應(yīng)用感知網(wǎng)絡(luò)狀態(tài)并對業(yè)務(wù)進行適時調(diào)整，5GC需要將網(wǎng)絡(luò)信息開放給應(yīng)用，讓5G XR業(yè)務(wù)根據(jù)網(wǎng)絡(luò)狀態(tài)進行快速的編解碼調(diào)整，從而緩解無線網(wǎng)絡(luò)的擁塞情況。此外，5G XR 媒體流量具有高吞吐量、低時延、高可靠性要求的特點，網(wǎng)絡(luò)的時延抖動對用戶的體驗會造成一定的影響，需要研究減少時延抖動的機制與策略；由于高吞吐量需要終端側(cè)的高功耗，因此需要開展終端節(jié)電的研究，如支持連接狀態(tài)下擴展的非連續(xù)性接收（connected mode extended discontinuous reception，CDRX[20]）。

為了提升XR業(yè)務(wù)的沉浸式體驗，手柄、手套等新的XR終端不斷涌現(xiàn)，可以傳遞包括觸覺信息、身體3DoF姿態(tài)、語音指令等信息。這些信息存在著特定的關(guān)聯(lián)關(guān)系，必須在特定的時間范圍內(nèi)到達接收端。因此5G 系統(tǒng)需要在流控機制上增強支持多流間的傳輸協(xié)同，以確保最佳服務(wù)體驗。

3.5 RAN工作組

無線電接入網(wǎng)作為XR業(yè)務(wù)的主要瓶頸點，需要進一步在上下行帶寬、時延、抖動、丟包率、網(wǎng)絡(luò)擁塞、節(jié)電方面有所提升。

在3GPP Rel-17階段，3GPP RAN1工作組于2020年開始XR的業(yè)務(wù)模型、仿真方法與KPI性能評估工作3GPP TR 38.838[21]，為后續(xù)定義支持XR業(yè)務(wù)的空口傳輸規(guī)范設(shè)立基礎(chǔ)。3GPP RAN3工作組對XR業(yè)務(wù)（包括視頻流、AR、VR等）進行QoE的管理與優(yōu)化研究，并輸出到3GPP TR38.890[22]。

在3GPP Rel-18階段，RAN全會在2021年12月確定面向無線電接入網(wǎng)的XRM立項RP- 213587[23]），包括gNB感知XR流特征（如周期性、多流、抖動、時延、可靠性等），從而進行QoS調(diào)整及資源配置。針對XR業(yè)務(wù)開展終端節(jié)電研究[24]，包括C-DRX增強及PDCCH監(jiān)視增強。此外還包括提升5G網(wǎng)絡(luò)對XR業(yè)務(wù)的容量，進行更加有效的資源分配與調(diào)度。

4 結(jié)束語

XR作為一種提供高度沉浸體驗的技術(shù)手段為用戶提供了更高的用戶體驗，元宇宙概念的出現(xiàn)加速了產(chǎn)業(yè)界對于XR業(yè)務(wù)的期望。與4G網(wǎng)絡(luò)相比，5G網(wǎng)絡(luò)提供的大帶寬、低時延為XR、元宇宙等新業(yè)務(wù)提供了新的技術(shù)引擎，將極大地加速XR、元宇宙業(yè)務(wù)的發(fā)展與普及。與此同時，用戶對XR業(yè)務(wù)服務(wù)質(zhì)量的需求也在逐漸提高，更清晰的畫面、更低的時延、與觸感等其他感知維度的結(jié)合等都為網(wǎng)絡(luò)提出了更高的要求。更大帶寬、更低時延、更高可靠性、確定性傳輸?shù)刃枨髮ΜF(xiàn)有的5G網(wǎng)絡(luò)提出了非常大的挑戰(zhàn)[25]。與此同時，XR業(yè)務(wù)本身也在快速的發(fā)展和演進中，新的業(yè)務(wù)形式層出不窮，也為網(wǎng)絡(luò)進一步增強帶來了持續(xù)的驅(qū)動力。例如，目前的XR業(yè)務(wù)主要還是基于PGC（平臺產(chǎn)生內(nèi)容），若是基于UGC（用戶產(chǎn)生內(nèi)容）來創(chuàng)建XR業(yè)務(wù)內(nèi)容，則將對5G的上行造成巨大的挑戰(zhàn)。隨著XR業(yè)務(wù)商業(yè)化部署及5G無線網(wǎng)絡(luò)的潛在挑戰(zhàn)的進一步顯現(xiàn)，5G系統(tǒng)也將相應(yīng)地持續(xù)演進和增強。面向這些新增的需求和挑戰(zhàn)，3GPP Rel-18標(biāo)準(zhǔn)將通過網(wǎng)絡(luò)與業(yè)務(wù)的深層協(xié)同，提升5G網(wǎng)絡(luò)對XR業(yè)務(wù)的支持能力，使得5G網(wǎng)絡(luò)不僅提供底層的網(wǎng)絡(luò)通道支持，而且提供針對XR業(yè)務(wù)的網(wǎng)絡(luò)增強和服務(wù)質(zhì)量提升。

[1] 民生證券. 突破增長瓶頸, 搶占下一代網(wǎng)絡(luò)先機[R]. 2021.

Minsheng Securities. Break through the bottleneck of growth and seize the opportunity of the next generation network[R]. 2021.

[2] 3GPP. Study on supporting tactile and multi-modality communication services: TR 22.847 [R]. 2021.

[3] HU F H, DENG Y S, ZHOU H, et al. A vision of an XR-aided teleoperation system toward 5G/B5G[J]. IEEE Communications Magazine, 2021, 59(1): 34-40.

[4] SCHULTE S, SCHULLER D, STEINMETZ R, et al. Plug-and- play virtual factories[J]. IEEE Internet Computing, 2012, 16(5): 78-82.

[4] 3GPP. Service requirements for the 5G system: TS 22.261[S]. 2021.

[5] CHEN M Z, SAAD W, YIN C C. Virtual reality over wireless networks: quality-of-service model and learning-based resource management[J]. IEEE Transactions on Communications, 2018, 66(11): 5621-5635.

[6] HU F H, DENG Y S, SAAD W, et al. Cellular-connected wireless virtual reality: requirements, challenges, and solutions[J]. IEEE Communications Magazine, 2020, 58(5): 105-111.

[7] CHEN M Z, SAAD W, YIN C C. Resource management for wireless virtual reality: machine learning meets multi-attribute utility[C]//Proceedings of GLOBECOM 2017-2017 IEEE Global Communications Conference. Piscataway: IEEE Press, 2017: 1-7.

[8] ZHAO S H, ABOU-ZEID H, ATAWIA R, et al. Virtual reality gaming on the cloud: areality check[C]//Proceedings of 2021 IEEE Global Communications Conference. Piscataway: IEEE Press. [S.l.:s.n.], 2021: 1-6.

[9] 3GPP. Study on network controlled interactive service (NCIS) in the 5G system (5GS): TR 22.842[R]. 2019.

[10] 3GPP. Service requirements for video, imaging and audio for professional applications (VIAPA): TS 22.263 [S]. 2019.

[11] 3GPP. Virtual reality (VR) media services over 3GPP: TR 26.918[R]. 2017.

[12] 3GPP. Virtual reality (VR) profiles for streaming applications: TS 26.118[S]. 2018.

[13] 3GPP. Virtual reality (VR) streaming audio; Characterization test results: TR 26.818 [R]. 2018.

[14] 3GPP. QoE parameters and metrics relevant to the virtual reality (VR) user experience: TR 26.929 [R]. 2019.

[15] 3GPP. Virtual reality (VR) streaming interoperability and characterization: TR 26.999[R]. 2022.

[16] 3GPP. Extended reality (XR) in 5G:TR 26.928[R]. 2020.

[17] 3GPP. Revised SID on feasibility study of typical traffic characteristics for XR services and other media: SP-210043[R]. 2021.

[18] 3GPP. 5G system enhancement for advanced interactive services: SP-190564[R]. 2019.

[19] 3GPP. New SID on study on architecture enhancement for XR and media services: SP-211646[R]. 2021.

[20] 3GPP. Study on architecture enhancement for XR and media services: TR 23.700-60[R]. 2022.

[21] 3GPP. Study on XR (extended reality) evaluations for NR: TR 38.838[R]. 2022.

[22] 3GPP. Study on NR QoE (quality of experience) management and optimizations for diverse services: TR 38.890[R]. 2021.

[23] 3GPP. Study on XR enhancements for NR: RP-213587[R]. 2021.

[24] LI D R, YOU H Z, JIANG W, et al. Enhanced power saving schemes for eXtendedreality[C]//Proceedings of 2021 IEEE 32nd Annual International Symposium on Personal, Indoor and Mobile Radio Communications. Piscataway: IEEE Press, 2021: 1-6.

[25] 劉鵬, 杜宗鵬, 李永競, 等. 端到端確定性網(wǎng)絡(luò)架構(gòu)和關(guān)鍵技術(shù)[J]. 電信科學(xué), 2021, 37(9): 64-73.

LIU P, DU Z P, LI Y J, et al. End-to-end deterministic networking architecture and key technologies[J]. Telecommunications Science, 2021, 37(9): 64-73.

Analysis on 5G XR and enhancement on media service

SHI Xiaonan1, XIONG Chunshan2, NI Hui3, WANG Dan1

1. China Mobile Research Institute, Beijing 100053, China 2. CICT Mobile Communications Technology Co., Ltd, Beijing100083, China 3. Huawei Technologies Co., Ltd., Beijing100085, China

5G XR and enhancement on media service are very important business scenarios in 5G-Advanced network. With the increasing user demands for emerging new media services, 5G network needs to make corresponding enhancements for media services such as XR. The main business scenarios of XR and augmented multimedia were mainly introduced, including immersive virtual reality, augmented reality, remote control technology based on mixed reality, virtual factory, remote unmanned aerial vehicle control, etc. For the typical business scenarios of XR, there were already some specifications and on-going studies in 3GPP. Based on these existing activities, 5G network need further enhancements including 5G QoS framework for XR service, coordination between network and application, synchronization of flows of multi-user and multi-stream, power saving of terminals and network etc., so that the 5G network could provide better support to 5G XR and enhanced media services leveraging the above enablers.

XR, enhancement on media service, coordinated dataflow, enhancement on 5G architecture

TP393

A

10.11959/j.issn.1000?0801.2022053

2022?01?10；

2022?03?10

史曉楠（1993? ），女，現(xiàn)就職于中國移動通信有限公司研究院，主要研究方向為后5G及6G前沿網(wǎng)絡(luò)技術(shù)，包括增強多媒體、移動算力網(wǎng)絡(luò)、綠色低碳等。

熊春山（1972? ），男，博士，現(xiàn)就職于中信科移動通信技術(shù)股份有限公司，主要從事無線網(wǎng)絡(luò)架構(gòu)、IP互聯(lián)網(wǎng)技術(shù)、移動視頻方面的研究與標(biāo)準(zhǔn)化工作。

倪慧（1980? ），男，博士，現(xiàn)就職于華為技術(shù)有限公司，主要研究方向為移動網(wǎng)絡(luò)架構(gòu)和標(biāo)準(zhǔn)化。

王丹（1988? ），女，現(xiàn)就職于中國移動通信有限公司研究院，主要研究方向為5G網(wǎng)絡(luò)架構(gòu)及關(guān)鍵技術(shù)、后5G及6G前沿網(wǎng)絡(luò)技術(shù)等。