未來6G網絡內生智能的探討與分析

索士強　王映民

【摘? 要】將機器學習技術應用到未來6G網絡使其具備內生智能，是未來移動通信系統(tǒng)發(fā)展的重要趨勢之一。對將機器學習技術引入到6G網絡的必要性、可行性進行分析，并給出了一種網絡內生智能的方式。同時對網絡內生智能所引發(fā)的機器學習建模問題、模型部署/更新問題、如何應用強化學習的問題、以及標準化問題進行了探討。這些問題需要在無線網絡內生智能化進程中被關注和進一步研究。

【關鍵詞】人工智能;機器學習;6G;神經網絡

0? ?引言

作為人工智能的關鍵方法之一，機器學習技術在上個世紀50年代被提出，到目前為止經歷了早期發(fā)展階段和以數(shù)據(jù)挖掘為代表的中期發(fā)展階段，目前處于以深度機器學習為代表的第三個發(fā)展階段。機器學習技術影響的行業(yè)范圍廣，涉及金融、家居、教育、交通、醫(yī)療、物流、安防、客服、制造等行業(yè)，特別是在語音識別、圖像識別等領域取得突破。機器學習技術平臺開源化，使得開發(fā)者可以直接使用已經研發(fā)成功的深度學習工具，也加速了機器學習技術的發(fā)展與應用。

近年來，如何將機器學習技術應用到無線移動通信系統(tǒng)在學術界、產業(yè)界被廣泛研究與探討。3GPP SA2于2017年啟動了面向5G網絡的自動化使能技術研究工作，其對核心網中的NWDAF（Network Data Analytics Function，網絡數(shù)據(jù)分析功能）進行了增強[1-2];3GPP SA5于2019年啟動了面向MDAS（Management Data Analytics Service，管理數(shù)據(jù)分析服務）增強的研究工作[3]。對網絡數(shù)據(jù)分析功能和管理數(shù)據(jù)分析服務的增強，使其可應用人工智能和機器學習技術進行數(shù)據(jù)分析，可形成影響核心網和接入網的智能化決策。在接入網部分，3GPP RAN3于2018年啟動了以RAN為中心的面向NR的數(shù)據(jù)收集與應用研究工作，為在接入網中應用人工智能和機器學習技術提供數(shù)據(jù)層面的支撐[4]?；旧吓c3GPP同期，ITU-T SG13于2017年成立面向5G的機器學習焦點小組FG-ML5G，給出了一種在5G以及未來網絡中應用機器學習的統(tǒng)一邏輯架構，其需要對現(xiàn)有域之間的接口（比如核心網和接入網之間的接口）進行增強，以便于機器學習使用[5]。CCSA的TC1WG1、TC5WG6以及TC5WG10均開展了面向人工智能的研究工作，涉及移動通信網絡智能化能力分級研究、人工智能和大數(shù)據(jù)在無線通信中的應用研究等諸多課題[6-7]。2018年成立的O-RAN聯(lián)盟將RAN智能化作為其主要的研究目標之一，其通過在RAN側引入RAN智能控制器（RIC， RAN Intelligent Controller）來增強RAN的智能化[8]。上述這些組織所討論的機器學習在無線移動通信系統(tǒng)中的應用，主要面向解決無線移動通信網絡中的業(yè)務及應用的部署、運行、拓展、安全等問題，解決網絡及平臺的規(guī)劃、優(yōu)化、維護、節(jié)能等問題，以及解決無線資源管理層面的問題，較少涉及解決信號處理層面的問題。在無線移動通信系統(tǒng)中如何利用機器學習技術解決信號處理層面的問題，目前在學術界被廣泛關注，并有進一步被應用到實際系統(tǒng)中的趨勢[9-12]。

當前無線網絡智能化主要考慮的是對包括5G在內的現(xiàn)存網絡的智能化，滯后于對應無線移動系統(tǒng)的標準化階段，所以主要采用的是擴展其對外的數(shù)據(jù)接口，以便被機器學習所使用的方式。這種方式由于其可擴展的數(shù)據(jù)接口有限、數(shù)據(jù)傳輸時延大，限制了機器學習的應用場景，同時還可能引發(fā)數(shù)據(jù)安全問題。因此，在面向6G的無線移動通信網絡研究的初期，將機器學習技術與未來6G網絡深度融合，形成內生智能的新一代移動通信系統(tǒng)的期望很高。本文也將對無線移動通信網絡內生智能的相關問題進行探討與分析。

1? ? 無線網絡智能化的必要性與可行性

在無線移動通信技術發(fā)展的歷史中，為了解決其所面臨的問題和挑戰(zhàn)，已經積累了大量的經典的模型和解決方法，這些經典的模型的構成是清晰可見、可解釋的。這種解決問題的方法被稱為模型驅動的方法。隨著無線移動通信系統(tǒng)的發(fā)展，其網絡變得越來越復雜：比如存在3G、4G、5G等多網共存的情況，存在eMBB、URLLC、eMTC等多種差異性業(yè)務共存的情況，存在基站-終端、基站-中繼-終端、終端-終端等多種無線連接共存的情況，這導致無論在業(yè)務層面、無線資源管理層面，還是信號處理層面，都面臨著越來越大的挑戰(zhàn)。引入機器學習的初衷，就是借鑒深度學習可以解決大型、復雜的非線性系統(tǒng)問題的能力，來應對未來這些挑戰(zhàn)。

簡單地說，機器學習主要用來解決模型驅動的方法中模型無法獲得或者不精確的問題。與模型驅動的方法相對應，應用機器學習來解決問題的方法，通常稱為數(shù)據(jù)驅動的方法。

在傳統(tǒng)的模型驅動方法中，模型的建立主要經歷了三個階段：理論推導、仿真驗證以及實際應用。采用數(shù)據(jù)驅動的方法時，模型的建立也經歷了類似的三個階段：模型訓練、仿真驗證以及實際應用?？梢钥闯鰞煞N方法的主要差別在于第一個階段。假設為了解決同一個問題，其所采用的仿真驗證方法及其假設都是一致，如果數(shù)據(jù)驅動方法所獲得效果與模型驅動方法所獲得的效果相當或更好，那么應該可以說明數(shù)據(jù)驅動方法所獲得的模型及其對應的方法是有效的。在文獻[9-10]中指出，即使通過仿真數(shù)據(jù)來進行DNN模型的訓練，其在實際應用時所獲得的信號檢測性能下降都不明顯。而數(shù)據(jù)驅動方法所獲得的模型，受益于深度神經網絡所包含的海量參數(shù)，相對于人工理論推導所獲得的模型，有更為精確的可能，從而最終提高其效果，這也是引入機器學習的必要性之一。

機器學習模型的訓練包括離線訓練和在線訓練兩種模式。離線訓練階段的數(shù)據(jù)可以通過實際系統(tǒng)采集獲得，也可以通過仿真建模獲得。而對于待研究的新系統(tǒng)（比如6G）來說，因無實際可提供數(shù)據(jù)采集的新系統(tǒng)，利用仿真平臺提供的數(shù)據(jù)進行訓練更為可行。

在線訓練包括兩種情況：直接利用系統(tǒng)實時獲得的數(shù)據(jù)進行訓練;或者在離線訓練所獲得的模型基礎上，利用系統(tǒng)運行中所獲得的新數(shù)據(jù)對模型的參數(shù)進行調整。在線訓練會額外增加系統(tǒng)的計算復雜度，但可以通過控制其訓練周期來平衡性能與復雜度之間的關系。特別地，基于導頻設計的無線通信系統(tǒng)天然具備可以應用強化學習的基礎，其在發(fā)射端、接收端已知的導頻信號，可以看作系統(tǒng)實時提供的訓練數(shù)據(jù)，可以用于對現(xiàn)有機器學習模型進行在線訓練。

在應用階段，由于深度學習可以采用通用的深度神經網絡，在其具體應用時可以獲得較低的計算復雜度，這是因為通用的神經網絡僅僅涉及一些簡單的矩陣乘法操作。進一步，借助GPU或更專用的機器學習芯片可以獲得更高效率或更低的成本。

因此，從可行性角度來看，引入機器學習在其工作原理上、訓練數(shù)據(jù)可獲得上、以及計算復雜度方面均具有可行性。從必要性來看，其可以解決復雜問題、提高性能和降低成本。

2? ?未來無線網絡需要內生智能

當前，將機器學習應用到無線移動通信網絡中主要采用：固化推演方式和系統(tǒng)外推演方式。固化推演方式即通過離線訓練獲得推演階段所使用的機器學習模型后，將其固化到系統(tǒng)中，系統(tǒng)在運行時，應用固化在系統(tǒng)中的機器學習模型進行推演，獲得相應的功能。系統(tǒng)外推演方式即機器學習的訓練和推演均在無線移動通信系統(tǒng)之外進行，機器學習推演機構利用系統(tǒng)提供的數(shù)據(jù)進行推演，并將推演的結果應用到目標系統(tǒng)之中，如圖1所示。目前在業(yè)務層面、網絡與平臺管理、無線資源管理等層面的機器學習研究主要考慮是這種方式，其對當前標準架構影響較小，僅涉及測量、統(tǒng)計量層面的豐富化。

采用系統(tǒng)外推演的方式，需要無線移動通信系統(tǒng)向機器學習訓練機構提供大量用于訓練和推演的數(shù)據(jù)，隨著所需要解決的問題復雜化，特別是將機器學習用于無線信號處理時，大量的訓練和推演數(shù)據(jù)向系統(tǒng)外提供將成為一種負擔。同時，系統(tǒng)內外的數(shù)據(jù)交互會增加處理問題的時延，限制了機器學習技術的應用場景。將無線移動通信系統(tǒng)內部的數(shù)據(jù)提供給系統(tǒng)外的機器學習機構使用，還可能引發(fā)數(shù)據(jù)安全的問題。因此，有必要將機器學習的訓練和推演引入到無線網絡內部，構造具備內生智能的新一代無線移動通信系統(tǒng)。

具體地，本文給出一種系統(tǒng)內與系統(tǒng)外推演相結合的方式，如圖2所示。其中，離線訓練以及所需數(shù)據(jù)量較少的在線訓練和推演在系統(tǒng)外進行，所需要數(shù)據(jù)量較大的在線訓練和推演在系統(tǒng)內進行。特別地，系統(tǒng)內的機器學習推演模型可以由系統(tǒng)外的機器學習訓練機構提供，也可以由系統(tǒng)內的機器學習在線訓練機構提供。

這種網絡內生智的推演的方式，可以更有利于采用機器學習技術解決無線移動通信系統(tǒng)自身的問題，比如應用深度神經網絡模型提升信道估計和信號檢測的性能、應用深度強化學習提升鏈路自適應的準確性等。目前，正處于6G無線移動網絡研究的起始階段，也正是研究網絡內生智能的關鍵階段，因此有必要對網絡內生智能所引發(fā)的相關問題進行討論，并作為無線網絡智能化進程中的關鍵問題持續(xù)展開研究。

3? ?網絡內生智能所引發(fā)的關鍵問題

3.1? 機器學習模型建模問題

機器學習的發(fā)展主要體現(xiàn)在語音識別、圖像識別等領域，在其中沉淀了大量經典的模型與算法。將機器學習引入到無線移動通信系統(tǒng)中，用來解決無線移動通信系統(tǒng)的問題，在最近幾年才凸顯出來。這其中包括兩類機器學習模型建設方法：黑盒方法和展開方法。黑盒方法可以理解為將現(xiàn)存的、其他非通信領域使用的經典機器學習模型直接應用到無線移動通信系統(tǒng)的方法，由于機器學習模型中參數(shù)眾多、具體物理意義不清晰，故稱為黑盒方法。展開方法則是依據(jù)對無線移動通信系統(tǒng)的理解，針對現(xiàn)存的無線移動通信系統(tǒng)經典模型進行展開，重新構建出機器學習模型的方法。

下面以經典的ZF和MMSE檢測方法為例，對展開方法進行簡單的說明。ZF和MMSE其檢測矩陣分別表述為：

ZF：（HHH）-1HH ? （1）

MMSE：（HHH+βI ）-1HH? （2）

從經典的模型驅動方法的角度來看，β是噪聲方差與信號方差的比值，在應用時需要分別估計噪聲方差和信號方差，或者等效為信噪比估計。而從基于模型展開的數(shù)據(jù)驅動方法的角度來看，β是一個將ZF和MMSE算法綜合到一起的參數(shù)。ZF和MMSE檢測算法在不同信道環(huán)境以及信噪比情況，其性能表現(xiàn)也不盡相同，通過實際系統(tǒng)所提供的數(shù)據(jù)訓練生成該系數(shù)β，可以使得檢測算法更好地匹配無線信道環(huán)境。文獻[12]給出了一種采用展開方法、構建基于深度神經網絡的MIMO檢測器的方法，其將經典的迭代檢測方法，通過深度神經網絡進行展開，其中每一次迭代對應神經網絡中的一層，由于在每一層中引入了待訓練的參數(shù)，其獲得的模型更精確。

通過展開的方法，獲得新的機器學習模型是目前學術界進行研究的趨勢之一，但需要注意的是，這種展開方法導致機器學習模型的結構會千變萬化，而且依舊存在大量的矩陣求逆的操作，雖然性能獲得了提升，但相對于通用的神經網絡模型，其較高的實現(xiàn)復雜度將限制其應用場景。

3.2? 機器學習模型部署/更新問題

當機器學習推演機構在無線移動通信系統(tǒng)內部時，如何進行機器學習模型的部署/更新是一個待研究的問題。

依托深度神經網絡的廣泛應用，其發(fā)展出多種經典的神經網絡模型，比如DNN、RNN、CNN等。神經網絡主要由神經元以及描述神經元之間的關系的參數(shù)構成，這為采用參數(shù)傳遞的方式進行機器學習模型部署/更新提供了可能。以DNN為例，描述其模型的主要參數(shù)包括：層數(shù)、每層（包括隱藏層）的神經元個數(shù)以及每一個神經元的權重、偏差、激活函數(shù)。

另外一種部署/更新機器學習模型的方法是采用內生業(yè)務部署的方式。簡單地說，可以把機器學習推演模型看作一種應用（APP），其模型的部署/更新即APP的下載、安裝過程。相對于前述參數(shù)傳遞方式，采用系統(tǒng)內生業(yè)務的方式可以部署/更新更復雜的模型，并且也有利于模型本身的內部結構的保護。

3.3? 如何應用強化學習

強化學習是利用與環(huán)境的交互提升決策準確度的方法。在無線移動通信系統(tǒng)中，不同網元（基站、終端等）因其所處的位置不同，從而導致其所面對的環(huán)境千差萬別，并且其所處的環(huán)境也會因為信道的變化、用戶的移動等因素而實時變化。因此，有必要將強化學習引入到無線移動通信系統(tǒng)中，使其更智能、更精確地匹配環(huán)境的變化。

當所要決策的問題是系統(tǒng)中某一局部的問題時，可以直接將強化學習構建在其內部的解決方案中，但是當所要決策的問題是系統(tǒng)性的問題時，需要系統(tǒng)中的不同網元提供有關環(huán)境狀態(tài)、回報的信息。具體地，針對某一個系統(tǒng)性的問題，在應用強化學習時，至少需要考慮下述相關內容：

◆代理：即決策的主體，它可能位于系統(tǒng)環(huán)境中某一網元。

◆狀態(tài)：系統(tǒng)環(huán)境中所有相關網元需要向代理提供的用于計算環(huán)境狀態(tài)的信息集合。

◆回報：系統(tǒng)環(huán)境中所有相關網元需要向代理提供的用于計算回報的信息集合。

◆行動：針對系統(tǒng)環(huán)境中的目標網元或其某具體功能單元，代理可能做出的行動集合。

進一步，借助強化學習的決策機制可以對離線訓練獲得的模型進行在線訓練的控制和更新。

3.4? 網絡內生智能相關的標準化問題

在采用系統(tǒng)外推演方式時，僅僅要求無線移動通信系統(tǒng)提供可以被機器學習相關機構調用的接口。而采用系統(tǒng)內推演時，結合前述問題的探討，需要考慮系統(tǒng)內不同網元、層之間的標準化問題。比如，當機器學習在線訓練機構部署在基站側，機器學習模型推演單元部署在終端側時，經過空口至少需要傳輸如下信息：

◆機器學習模型描述信息：可以采用參數(shù)傳遞或內生業(yè)務的方式進行傳輸。

◆強化學習相關的狀態(tài)、回報、行動信息：可以依托現(xiàn)有標準化接口所能提供的信息，但必要時需要進行增加或優(yōu)化。

◆訓練/推演數(shù)據(jù)：應盡量使用目前空口所能提供的數(shù)據(jù)進行訓練/推演，但必要時需要進行增加或優(yōu)化。

4? ?結論

本文針對將機器學習技術應用到無線移動通信系統(tǒng)的必要性與可行性進行了分析。從可行性角度來看，引入機器學習在其工作原理上、訓練數(shù)據(jù)可獲得上以及計算復雜度方面均具有可行性。從必要性來看，其可以解決復雜問題、提高性能和降低成本。進一步，由于采用系統(tǒng)內推演的方式，可以降低系統(tǒng)內外傳遞的數(shù)據(jù)需求，降低處理時延，從而更有利于采用機器學習技術解決無線移動通信系統(tǒng)內部的問題，因此建議在未來的6G網絡中構建內生的智能。

本文對內生智能所引發(fā)的關鍵問題進行了探討，包括機器學習模型建模問題、機器學習模型部署/更新問題、如何應用強化學習問題以及標準化問題等。這些問題需要在無線網絡智能化進程中被持續(xù)關注和研究。特別地，在標準化方面，由于網絡內生智能將影響不同網元、單元的功能與接口的變化，這將導致無線網絡架構的變革，需重點研究。

參考文獻：

[1] 3GPP. 3GPP TR23.791 V16.2.0： Study of Enablers for Network Automation for 5G （Release 16）[R]. 2019.

[2] 3GPP. 3GPP TS23.288 V16.3.0： Architecture enhancements for 5G System （5GS） to support network data analytics services （Release 16）[S]. 2020.

[3] 3GPP. 3GPP TR28.809 V0.3.0： Study on enhancement of Management Data Analytics （MDA） （Release 17）[R]. 2020.

[4] 3GPP. 3GPP TR37.816. V16.0.0： Study on RAN-centric data collection and utilization for LTE and NR （Release 16）[R]. 2019.

[5] ITU. ITU-T FG-ML5G-ARC5G： Unified architecture for machine learning in 5G and future networks[S]. 2019.

[6] CCSA. CCSA TC5-WG6-2019-045： 人工智能和大數(shù)據(jù)在無線通信中的應用研究報告[R]. 2019.

[7] CCSA. CCSA TC5-WG6-2019-025： 移動通信網絡智能化能力分級研究（送審稿）[R]. 2019.

[8] O-RAN Alliance White Paper. O-RAN Use Cases and Deployment Scenarios towards Open and Smart RAN[R]. 2020.

[9] Y H P， J C X， Q Y. Developing Networks using Artificial Intelligence[M]. Switzerland： Springer Nature Switzerland AG， 2019.

[10] L F L. Machine Learning for Future Wireless Communications[M]. New Jersey： John Wiley & Sons Ltd， 2020.

[11] H R S， D Z G. Applications of Machine Learning?in Wireless Communications （IET TELECOMMUNI?CATIONS SERIES 81）[M]. London： The Institution of Engineering and Technology， 2019.

[12] H H T， W C K， J S. Model-Driven Deep Learning for Joint MIMO Channel Estimation and Signal Detection[EB/OL]. （2019-07-22）[2020-04-18]. https：//arxiv.org/abs/1907.09439v1.

作者簡介

索士強（orcid.org/0000-0002-9869-5466）：高級工程師，碩士畢業(yè)于電信科學技術研究院，現(xiàn)任職于大唐移動通信設備有限公司，長期從事無線移動通信系統(tǒng)的新技術研究、驗證與標準化工作，研究方向為6G及未來新技術。

王映民：教授級高級工程師，北京郵電大學博士生導師，博士畢業(yè)于西安電子科技大學，現(xiàn)任職于大唐移動通信設備有限公司，研究方向為移動通信信號處理與無線組網、車聯(lián)網等。