基于多時隙業(yè)務(wù)聯(lián)合整形的低能耗資源調(diào)度方法

李建東/LI Jiandong，牛淳隆/NIU Chunlong，趙晨曦/ZHAO Chenxi，劉俊宇/LIU Junyu

（西安電子科技大學(xué)，中國 西安 710071）

隨著5G移動通信的全面商用，未來的6G移動通信系統(tǒng)的網(wǎng)絡(luò)性能[1]將在原有的業(yè)務(wù)場景下進一步提升。6G移動通信將組成一個巨大的分布式神經(jīng)網(wǎng)絡(luò)，實現(xiàn)通信、感知、計算、存儲一體化[2]，深度融合物理世界、生物世界和數(shù)字世界，真正實現(xiàn)“萬物互聯(lián)”。同時，隨著人工智能（AI）技術(shù)的進一步發(fā)展，6G通信網(wǎng)絡(luò)將會更加智能化[3]?；跀?shù)據(jù)驅(qū)動的算法賦能網(wǎng)絡(luò)動態(tài)的自我學(xué)習(xí)能力和調(diào)節(jié)能力，充分挖掘用戶的潛在需求并制定個性化的服務(wù)。此外，超密集異構(gòu)網(wǎng)絡(luò)（UDN）[4]在未來6G移動通信系統(tǒng)的發(fā)展中依然占據(jù)主導(dǎo)地位，6G基站的密度進一步提高，用戶的業(yè)務(wù)數(shù)據(jù)請求維度進一步增大，數(shù)據(jù)服務(wù)的個性化要求進一步提升。上述的發(fā)展需求對未來的移動通信網(wǎng)絡(luò)提出了更高的要求，如更加密集的基站數(shù)目、更多的天線陣列和更多維度的資源管控問題[5]。

截至2022年底，全國移動通信基站總數(shù)達1 083萬個?；驹蕉?，對應(yīng)的頻譜資源管控問題越復(fù)雜，同時如果資源管控方案不合理，則會產(chǎn)生巨大的能量損耗。根據(jù)估算，三大運營商一年需要支付的電費已超500億元。針對未來超密集基站和超高用戶數(shù)據(jù)等現(xiàn)象導(dǎo)致的能耗過高問題，未來6G無線移動通信的宏觀驅(qū)動力之一便是實現(xiàn)環(huán)境可持續(xù)發(fā)展。2020年9月，中國宣布力爭二氧化碳排放于2030年前達到峰值，2060年努力實現(xiàn)碳中和[6]。“雙碳”戰(zhàn)略對6G移動通信系統(tǒng)的網(wǎng)絡(luò)性能提出了更高的要求。為保障用戶服務(wù)質(zhì)量，實現(xiàn)能量的極致利用，平衡能源的供需關(guān)系，降低異質(zhì)網(wǎng)絡(luò)架構(gòu)的系統(tǒng)碳排放，我們需要研究智能化的組網(wǎng)傳輸方法。

1 基站能耗分析

基站是移動通信系統(tǒng)最重要的組成部分之一，它實現(xiàn)了大規(guī)模的無線覆蓋，保障了移動用戶的業(yè)務(wù)需求被及時滿足。一個完整的基站包含的設(shè)備數(shù)量較多，根據(jù)耗電量調(diào)查，傳輸設(shè)備、基站主設(shè)備、動力配套設(shè)備、環(huán)境溫度控制設(shè)備、監(jiān)控設(shè)備、照明設(shè)備等的耗電量都相對較高，其中基站主設(shè)備、環(huán)境溫度控制設(shè)備的電能消耗量大。功率放大器是射頻通信系統(tǒng)中極為重要的器件，射頻放大器將輸入到輸入端的信號進行放大并輸出。作為通信電路中的主要設(shè)備，基站的功率放大器所消耗的功率無疑是低能耗組網(wǎng)的重點研究內(nèi)容[7]。當(dāng)前5G基站的主要組成部分有：集中單元（CU）、分布單元（DU）和有源天線單元（AAU），其中各個組成部分和對應(yīng)的功耗來源占比分析如圖1所示。

圖1 基站能耗占比

基站的AAU是主要的功耗占比模塊，而功率放大器是AAU的主要能量消耗模塊。此外，當(dāng)基站工作在中高負載區(qū)域時，功率放大器的能量損耗是占比最大的，接近60%。因此，著重研究功率放大器在中高負載區(qū)域工作時的性能特點并設(shè)計相應(yīng)的算法，對降低基站功耗有著重要的意義。

1.1 傳輸能耗的非線性特征

建模通信網(wǎng)絡(luò)場景時，計算每個用戶和基站之間的信道容量可以采用香農(nóng)公式[8]：

由S=G·Pout可得C(Pout)=W·log2(1+G·Pout/(I+N))，易證明香農(nóng)公式是凹函數(shù)。根據(jù)凹函數(shù)性質(zhì)可得：n·C(Pout)≥C(n·Pout)，其中當(dāng)Pout=0或者n=1時，等號成立。所以在實際傳輸時，我們假設(shè)信道特征不變，在用戶的時延要求內(nèi)，將當(dāng)前給定的總功率拆分為多個小功率進行多時隙發(fā)送，那么系統(tǒng)總?cè)萘繉龃?。也就是說，傳輸相同的數(shù)據(jù)量，相比于單時隙大功率傳輸，多時隙小功率傳輸將給系統(tǒng)帶來更低的能耗。不僅如此，每個時隙分配的功率資源越少（總能耗不變的情況下），系統(tǒng)傳輸?shù)娜萘吭酱?，可?jié)約的能量越多。

我們用軟件仿真兩個時隙的傳輸過程，具體如圖2所示。橫軸表示基站的發(fā)射功率，縱軸表示單位傳輸數(shù)據(jù)量，假設(shè)t1、t2、t3時隙長度均為1 s，若在t1、t2時隙分別消耗了1 J能量，總共消耗2 J能量，那么傳輸數(shù)據(jù)量為2個單位；若僅在t3時刻單次消耗2 J能量，此時傳輸?shù)臄?shù)據(jù)量減少到1.585個單位。所以在同等能量消耗的條件下，兩個時隙的小功率傳輸方案可以使得可服務(wù)數(shù)據(jù)量提升26%，故可以通過感知和預(yù)測多個時隙的信道信息和業(yè)務(wù)到達情況進行業(yè)務(wù)整形，進而實現(xiàn)資源整形，將一定的功率分成多份后分配在各個時隙上進行數(shù)據(jù)傳輸，從而大大增加系統(tǒng)容量，提高網(wǎng)絡(luò)能量效率。

圖2 軟件仿真時隙傳輸過程中對數(shù)函數(shù)的性質(zhì)

1.2 功放能耗的非線性特征

在通信資源分配問題中，基站給每個用戶分配不同的資源塊，根據(jù)用戶的需求，將攜帶用戶數(shù)據(jù)的小信號通過基站的功率放大器進行一定比例的放大處理，并最終通過天線端發(fā)送給用戶。目前，移動通信系統(tǒng)資源調(diào)度的大量研究工作主要考慮的是基站的輸出功率如何分配，并沒有發(fā)現(xiàn)實際傳輸時一段時間內(nèi)功放能耗的非線性特征。理想的功率放大器的輸入功率與輸出功率是一種考慮截斷效應(yīng)的映射關(guān)系，在飽和輸出功率內(nèi)，輸出功率與輸入功率是線性的關(guān)系。而實際的功率放大器的總輸入功率與輸出功率的映射是非線性的關(guān)系，功放在較大負載時會出現(xiàn)非線性的特點。

根據(jù)調(diào)研所繪制的測試數(shù)據(jù)如圖3所示，基站工作在低負載區(qū)域時，功率放大器的輸入功率和輸出功率呈現(xiàn)近似線性的關(guān)系。在數(shù)據(jù)密度較大的業(yè)務(wù)場景中，因為基站工作在中高負載區(qū)域時，非線性特點非常突出，輸出功率的增加趨勢變緩，所以在單位時間內(nèi)功放的輸出能耗不會隨輸入能耗一直線性增長，在高數(shù)據(jù)密度業(yè)務(wù)場景下功放的輸出能耗增長緩慢并最終趨于飽和。傳統(tǒng)的資源調(diào)度方法只考慮優(yōu)化輸出功率，因此，結(jié)合系統(tǒng)傳輸能耗的非線性特征，我們提出了多時隙業(yè)務(wù)聯(lián)合整形的思想，通過對業(yè)務(wù)請求的聯(lián)合整形，讓基站工作在低負載區(qū)域，從而降低系統(tǒng)能耗。

圖3 功放輸入輸出功率關(guān)系

1.3 業(yè)務(wù)抖動與功放能耗的關(guān)系

根據(jù)調(diào)研及實測數(shù)據(jù)，我們了繪制如圖4所示的曲線。我們發(fā)現(xiàn)，如果基站的輸出功率在一段時間內(nèi)波動較大，則會產(chǎn)生額外的能量損耗，尤其當(dāng)基站工作在中高業(yè)務(wù)負載區(qū)域時，由于業(yè)務(wù)抖動所引起的額外能耗會超過100%。額外能耗的產(chǎn)生是由于用戶的業(yè)務(wù)請求在一段時間內(nèi)突然增大導(dǎo)致，這使得基站工作在中高負載的非線性區(qū)域。因此，后續(xù)我們設(shè)計的重點是如何降低用戶的業(yè)務(wù)請求的突發(fā)性，從而獲得平穩(wěn)的業(yè)務(wù)處理流，最終實現(xiàn)基站遠離非線性工作區(qū)域、減少無線網(wǎng)絡(luò)的額外能耗的目標。

圖4 業(yè)務(wù)抖動對功放能耗的影響

2 通信網(wǎng)絡(luò)建模

2.1 低能耗資源調(diào)度模型

通信網(wǎng)絡(luò)簡化示意如圖5所示。我們將通信網(wǎng)絡(luò)建模為圖模型[9]G(V,E)，每個基站、用戶對應(yīng)節(jié)點V，基站和用戶之間的連接關(guān)系為邊E。引入時隙的概念，對于每一個時隙t，時隙長度設(shè)為Td，單位為s，觀察時間窗口長度為T，單位為s?；镜墓?jié)點特征變量包括：發(fā)送功率Pon(t)、輸入功率Pin(t)、輸出功率方差Pvn(t)；用戶的節(jié)點特征變量包括：傳輸速率Cm(t)、當(dāng)前時隙用戶剩余需要傳輸?shù)臄?shù)據(jù)Drm(t)、當(dāng)前時隙用戶的總數(shù)據(jù)業(yè)務(wù)完成比例CRn(t)；基站與用戶之間的信道增益和接入矩陣分別為GNM(t)和XNM(t)。N表示基站集合，N=(1,2,…,N)，N表示基站的總數(shù)；M代表用戶集合，M=(1,2,…,M)，M表示基站的總數(shù)。

圖5 通信網(wǎng)絡(luò)示意圖

基站與用戶進行通信時，會進行相應(yīng)的匹配，并發(fā)射無線電信號。這些信號經(jīng)過一定的路徑損耗到達用戶[10]。由香農(nóng)公式，我們可以得到每個用戶m在時隙t的服務(wù)速率，具體如公式（2）：

信噪比（SINR）是指信號干擾噪聲比，即有用信號比其他信號的干擾加噪聲。那么，SINR在正交多址接入（OMA）系統(tǒng)下的計算公式為：

根據(jù)上述基礎(chǔ)公式，我們建立了低能耗資源調(diào)度優(yōu)化模型：

為實現(xiàn)優(yōu)化目標，我們將業(yè)務(wù)完成率CRm(t)進行最大化，基站輸入能量Pin(t)和輸出功率波動Pvn(t)進行最小化。約束條件為：每一時隙每個用戶最多連接一個基站；每個基站最多可接入用戶數(shù)不超過其最大子載波數(shù)；每個基站分配給所有其接入用戶的功率不超過該基站的最大功率閾值；每個用戶的服務(wù)質(zhì)量范圍規(guī)定在0～1之間。

2.2 模型求解算法設(shè)計

隨著人工智能（AI）技術(shù)的發(fā)展，深度學(xué)習(xí)[11]和強化學(xué)習(xí)[12]被逐漸應(yīng)用于資源調(diào)度領(lǐng)域。根據(jù)上述建立的系統(tǒng)模型，我們設(shè)計了多時隙業(yè)務(wù)聯(lián)合整形的深度強化學(xué)習(xí)（MSRS-HDDPG）算法，并在核心架構(gòu)中采用了深度確定性策略梯度（DDPG）算法[13]。

具體的強化學(xué)習(xí)三元組設(shè)計如下：

1）狀態(tài)空間st：具體包括用戶業(yè)務(wù)量Dm(t)、用戶未完成傳輸?shù)臄?shù)據(jù)量Drm(t)、每個用戶的數(shù)據(jù)完成率Crm(t)、信道信息Gnm(t)、基站輸入功率Pin(t)、基站輸出功率方差Pvn(t)。

2）動作空間at：具體包括用戶和基站的連接關(guān)系Xnm(t)、基站的發(fā)射功率Pon(t)。

3）獎勵函數(shù)rt：

具體的網(wǎng)絡(luò)架構(gòu)設(shè)計如下：

1）動作網(wǎng)絡(luò)輸入狀態(tài)信息st，輸出需要優(yōu)化的動作at。

2）評價網(wǎng)絡(luò)輸入(st,at)，輸出當(dāng)前狀態(tài)下選擇該動作的價值Qt。

3）目標動作網(wǎng)絡(luò)輸入st+1，輸出at+1，即下一時刻的動作估計；目標評價網(wǎng)絡(luò)輸入(st+1,at+1)，輸出下一時刻的動作價值Qt+1。

多時隙業(yè)務(wù)聯(lián)合整形的模塊具體設(shè)計如下：

1）假設(shè)時隙為t，用戶m的數(shù)據(jù)業(yè)務(wù)請求量為Dm(t)；

2）根據(jù)歷史數(shù)據(jù)估計每個基站n的負載情況；

3）若基站工作在非線性區(qū)域，那么將功率的最大值約束設(shè)為線性區(qū)域的最大發(fā)射功率，并計算用戶在時隙t的未完成業(yè)務(wù)量Drm(t)，D′m(t+1)=Drm(t)+Dm(t+1)；

4）若基站工作在線性區(qū)域，則根據(jù)強化學(xué)習(xí)算法直接完成當(dāng)前時隙的全部業(yè)務(wù)請求；

5）重復(fù)上述步驟3）、4）至?xí)r隙T。

算法的具體執(zhí)行流程如算法1。

算法1 多時隙業(yè)務(wù)聯(lián)合整形的深度強化學(xué)習(xí)算法初始化評價網(wǎng)絡(luò)、動作網(wǎng)絡(luò)和對應(yīng)目標網(wǎng)絡(luò)的參數(shù)初始化緩存空間，存放探索的狀態(tài)轉(zhuǎn)移向量作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本for episode=1，2，…，EPISODES do初始化探索狀態(tài)s0感知和預(yù)測一段時間內(nèi)信道信息for t=1，2，…，T do根據(jù)多時隙的請求和信道估計進行業(yè)務(wù)聯(lián)合整形隨機輸出探索動作at并將輸出功率映射到輸入功率根據(jù)整形后的業(yè)務(wù)需求設(shè)計當(dāng)前時隙的獎勵函數(shù)rt執(zhí)行后觀測當(dāng)前時隙的獎勵和下一時刻的狀態(tài)st+1將狀態(tài)轉(zhuǎn)移（st，at，rt，st+1）存入緩存空間

3 仿真結(jié)果與分析

本文中，我們設(shè)計在面積為1 km2的區(qū)域內(nèi)隨機生成250個用戶的坐標，同時固定生成了25個基站，用戶和基站的分布如圖6。

圖6 基站與用戶的隨機分布圖

具體仿真參數(shù)如表1所示。

▼表1 仿真參數(shù)

此外，在仿真時，針對基站功放輸入功率和輸出功率的映射關(guān)系，本文中我們選取了具有凹函數(shù)性質(zhì)的映射函數(shù)。可以證明，系統(tǒng)總的優(yōu)化目標是輸入功率的凹函數(shù)，一段時間內(nèi)的功放能耗存在非線性特性。

用戶服務(wù)質(zhì)量和基站能量效率隨用戶帶寬的變化趨勢如圖7所示，通過仿真不同帶寬下的各種算法性能可知，我們提出的算法的實際能量效率遠高于另外兩種算法（分別高出25.6%和40%）。實際能量效率的定義為：基站的服務(wù)完成率和基站消耗的總輸入能量的比值，這充分反映了用戶的服務(wù)質(zhì)量和基站能耗的平衡關(guān)系。

圖7 用戶服務(wù)質(zhì)量和基站能量效率隨用戶帶寬的變化趨勢

用戶服務(wù)質(zhì)量和基站能量效率隨業(yè)務(wù)量的變化趨勢如圖8所示，通過仿真不同數(shù)據(jù)訪問量下各種算法的性能可得：在較大數(shù)據(jù)量的訪問情況下，本文所設(shè)計的算法的業(yè)務(wù)完成率僅損失約1%，但時實際能量效率分別高出32.9%和45.7%。

圖8 用戶服務(wù)質(zhì)量和基站能量效率隨業(yè)務(wù)量的變化趨勢

4 結(jié)束語

有限的通信資源和日益增長的個性化用戶數(shù)據(jù)業(yè)務(wù)導(dǎo)致未來6G移動系統(tǒng)的通信資源管控問題越來越突出。針對這種供需匹配問題，同時為了響應(yīng)國家提出的“雙碳”戰(zhàn)略，本文中我們提出了多時隙業(yè)務(wù)聯(lián)合整形的深度強化學(xué)習(xí)算法。該算法充分考慮了系統(tǒng)的傳輸能耗和功放能耗的非線性特征，從時間尺度上進行了長期優(yōu)化策略的訓(xùn)練，從而對優(yōu)化目標做出了更加準確的調(diào)整。該算法旨在基本相同的服務(wù)質(zhì)量條件下，降低系統(tǒng)的總能耗。對比最大化用戶服務(wù)質(zhì)量MAX_CR和最大化傳輸速率MAX_C兩種算法的性能，我們提出的算法在服務(wù)質(zhì)量上約損失6%，但節(jié)約了近33%的基站總輸入能量。本文定義的實際能量效率指標分別比對比算法高出28.57%和38.46%；增大帶寬和用戶的數(shù)據(jù)量時，本文所提算法的實際能量效率ηAEE均有所提高，實現(xiàn)了低能耗資源管控的目標。

未來，在應(yīng)對6G超大數(shù)據(jù)密度業(yè)務(wù)場景，如虛擬現(xiàn)實（VR）等多維數(shù)據(jù)業(yè)務(wù)場景時，本文所設(shè)計的算法的優(yōu)勢會更加明顯：可以在保障一定服務(wù)質(zhì)量下充分節(jié)約基站的功放能耗，從而極大地改善整個網(wǎng)絡(luò)的性能。當(dāng)網(wǎng)絡(luò)規(guī)模逐漸擴大時，算法的收斂速度問題亟待解決。因為時間成本過高會導(dǎo)致資源調(diào)度效果較差，而且不同的場景規(guī)模重新訓(xùn)練的成本較高，所以未來需要集中研究超大動態(tài)規(guī)模網(wǎng)絡(luò)的算法設(shè)計問題，實現(xiàn)不同場景規(guī)模下的算法快速移植和快速收斂，最終實現(xiàn)網(wǎng)絡(luò)對當(dāng)前場景特征的快速挖掘和學(xué)習(xí)。