基于深度Q學(xué)習(xí)的室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)資源分配算法

呂亞平，賈向東,2，路 藝，敬樂(lè)天

(1.西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,甘肅 蘭州 730070; 2.南京郵電大學(xué)江蘇省無(wú)線(xiàn)通信重點(diǎn)實(shí)驗(yàn)室,江蘇 南京 210003)

1 引言

第五代5G(5th Generation)移動(dòng)通信網(wǎng)絡(luò)還沒(méi)有全面部署，第六代6G(6th Generation)移動(dòng)通信網(wǎng)絡(luò)已在路上。與5G移動(dòng)通信網(wǎng)絡(luò)不同的是，6G移動(dòng)通信網(wǎng)絡(luò)將會(huì)實(shí)現(xiàn)空、天、地、海一體化通信，但是這需要不同類(lèi)型基站的密集部署甚至超密集部署。目前，我國(guó)已經(jīng)部署約600多萬(wàn)個(gè)第四代4G(4th Generation)移動(dòng)通信網(wǎng)絡(luò)基站，而5G移動(dòng)通信網(wǎng)絡(luò)基站的數(shù)量預(yù)計(jì)將會(huì)達(dá)到4G移動(dòng)通信網(wǎng)絡(luò)基站數(shù)量的10倍，6G移動(dòng)通信網(wǎng)絡(luò)基站的數(shù)量可能會(huì)達(dá)到5G移動(dòng)通信網(wǎng)絡(luò)基站數(shù)量的10倍。雖然5G和6G提高了傳輸速率，提升了系統(tǒng)容量，但是基站的密集以及超密集部署將會(huì)消耗大量的能量，這不利于綠色通信的發(fā)展。因此，提高基站的能量效率對(duì)未來(lái)移動(dòng)通信網(wǎng)絡(luò)十分重要。

據(jù)調(diào)查顯示，有超過(guò)50%的語(yǔ)音服務(wù)和70%的數(shù)據(jù)流量發(fā)生在室內(nèi)[1]。對(duì)此類(lèi)場(chǎng)景，家庭基站是較有潛力的節(jié)能技術(shù)之一，其可在密集部署的異構(gòu)網(wǎng)絡(luò)中，使用較低的發(fā)射功率來(lái)滿(mǎn)足室內(nèi)移動(dòng)用戶(hù)高傳輸速率的服務(wù)需求。

近年來(lái)，室內(nèi)無(wú)線(xiàn)通信引起越來(lái)越多研究者的關(guān)注。眾多學(xué)者對(duì)室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的吞吐量和容量進(jìn)行了研究。例如，穆施瑤等[2]通過(guò)功率控制和信道分配相結(jié)合的方法來(lái)解決宏基站和家庭基站共存網(wǎng)絡(luò)中的層間和層內(nèi)干擾問(wèn)題，以提升整個(gè)室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的容量；李俊伶等[3]通過(guò)基于路徑損耗的功率控制算法來(lái)解決家庭基站密集部署網(wǎng)絡(luò)中的干擾問(wèn)題，以提高家庭基站用戶(hù)的吞吐量；周雄等[4]通過(guò)基于博弈的頻率復(fù)用方法來(lái)解決頻譜沖突問(wèn)題，以提高室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的信道容量；季萍萍[5]使用圖論中的極大團(tuán)和簇的方法對(duì)信道進(jìn)行分配，以提高室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的容量；楊立立[6]基于圖論的新型著色算法來(lái)解決家庭基站密集部署帶來(lái)的嚴(yán)重同層干擾問(wèn)題，以提高室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的容量；程艷麗[7]、劉橋[8]、許悅[9]、趙迅[10]和穆施瑤[11]分別通過(guò)基于價(jià)格機(jī)制的功率控制算法、基于分簇的子信道和功率聯(lián)合分配方法、啟發(fā)式動(dòng)態(tài)分簇法和次梯度法、實(shí)時(shí)感知頻譜情況的算法和功率控制算法以及凸優(yōu)化和次梯度法來(lái)解決宏基站和家庭基站共存網(wǎng)絡(luò)中跨層和同層干擾問(wèn)題，在一定程度上提高了室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的容量和吞吐量；王振偉[12]使用自適應(yīng)功率控制法解決家庭基站之間的同層干擾問(wèn)題，以提高室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的吞吐量。雖然上述研究文獻(xiàn)通過(guò)頻譜分配、信道分配和功率控制方法在一定程度上提高了室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的容量和吞吐量，但沒(méi)有考慮在滿(mǎn)足室內(nèi)移動(dòng)用戶(hù)服務(wù)質(zhì)量需求的約束條件下去提高室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的能量效率。因此，在家庭基站密集部署場(chǎng)景中滿(mǎn)足室內(nèi)移動(dòng)用戶(hù)服務(wù)質(zhì)量需求的情況下，本文旨在提高室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的能量效率。

目前，神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)算法被用于各個(gè)領(lǐng)域。例如，余永維等[13]使用深度學(xué)習(xí)方法識(shí)別數(shù)控機(jī)床的運(yùn)動(dòng)誤差因素，而且正確率可達(dá)96%以上。也有一些研究者將其運(yùn)用到無(wú)線(xiàn)通信領(lǐng)域中。比如,Wang 等[14 - 17]分別使用深度強(qiáng)化學(xué)習(xí)算法最大化無(wú)人機(jī)覆蓋范圍內(nèi)的下行容量、室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的吞吐量、設(shè)備到設(shè)備D2D(Device-to-Device)通信系統(tǒng)的容量以及蜂窩網(wǎng)的傳輸速率。此外，Meng等[18]的工作表明,深度Q學(xué)習(xí)DQL(Deep Q-Learning)的功率分配算法優(yōu)于隨機(jī)功率、最大功率分配算法，但其并沒(méi)有將DQL和Q學(xué)習(xí)(Q-Learning)進(jìn)行對(duì)比分析?；诖耍疚膶?duì)比分析DQL、QL和注水功率分配算法對(duì)系統(tǒng)能效的影響。

基于上述考慮，本文面向家庭基站密集部署場(chǎng)景，提出了一種DQL算法，旨在優(yōu)化室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的能量效率。本文所提算法可動(dòng)態(tài)調(diào)整家庭基站的發(fā)射功率，收斂速度快，在能量效率優(yōu)化方面明顯優(yōu)于其他算法，能夠有效解決家庭基站能耗過(guò)大問(wèn)題。

2 系統(tǒng)模型與信道假設(shè)

如圖1a 所示，本文考慮由一個(gè)宏基站和一棟建筑樓構(gòu)成的系統(tǒng)模型。在建筑樓內(nèi)有眾多家庭基站(即家庭基站密集部署)和移動(dòng)用戶(hù)(配備單天線(xiàn))。為了更清晰地展現(xiàn)家庭基站和移動(dòng)用戶(hù)的物理空間位置，假設(shè)家庭基站的空間物理位置遵循空間位置強(qiáng)度為λ(λ=3/4×30/1003π)的泊松點(diǎn)過(guò)程，移動(dòng)用戶(hù)隨機(jī)分布在室內(nèi)，如圖1b所示。該系統(tǒng)模型采用正交頻分復(fù)用技術(shù),每個(gè)家庭基站完全復(fù)用K個(gè)正交子載波，每個(gè)用戶(hù)在時(shí)刻t只能使用一個(gè)家庭基站上的某一子載波進(jìn)行通信，每個(gè)家庭基站可以使用所有可用帶寬。在網(wǎng)絡(luò)初始化階段，用戶(hù)根據(jù)最大信號(hào)與干擾加噪聲比SINR(Signal to Interference plus Noise Ratio)準(zhǔn)則完成與家庭基站的級(jí)聯(lián)，然后根據(jù)注水算法來(lái)分配子載波的初始功率。考慮到用戶(hù)的公平性，將一個(gè)家庭基站的下行鏈路子載波平均分配給所有附屬用戶(hù)。圖1a 中虛線(xiàn)箭頭表示宏基站以及同層的其他家庭基站對(duì)移動(dòng)用戶(hù)的干擾。

Figure 1 System model圖1 系統(tǒng)模型

3 能量效率分析

基于以上系統(tǒng)模型，本文考慮整個(gè)網(wǎng)絡(luò)的業(yè)務(wù)層面，用能量消耗指數(shù)ECR(Energy Consumption Rating)來(lái)衡量家庭基站的能量效率。當(dāng)移動(dòng)用戶(hù)j使用家庭基站i上的第f個(gè)子載波進(jìn)行通信時(shí)，移動(dòng)用戶(hù)j受到的干擾為:

(1)

其中，Dif,j表示移動(dòng)用戶(hù)j是否使用家庭基站i上的第f個(gè)子載波進(jìn)行通信，若移動(dòng)用戶(hù)j使用家庭基站i上的第f個(gè)子載波進(jìn)行通信，則Dif,j=1；否則，Dif,j=0。Pif,j表示移動(dòng)用戶(hù)j使用家庭基站i上的第f個(gè)子載波進(jìn)行通信時(shí)，家庭基站i上的第f個(gè)子載波的發(fā)射功率。Gif,j表示移動(dòng)用戶(hù)j使用家庭基站i上的第f個(gè)子載波進(jìn)行通信時(shí)的信道增益，可以由式(2)得到：

(2)

其中，hif,j(仿真實(shí)驗(yàn)中hif,j=1)和Zif,j(仿真實(shí)驗(yàn)中Zif,j=8)分別是移動(dòng)用戶(hù)j使用家庭基站i上的第f個(gè)子載波進(jìn)行通信時(shí)服從指數(shù)分布的多徑衰落和服從對(duì)數(shù)正態(tài)分布的陰影衰落，φ(仿真實(shí)驗(yàn)中φ=4)是路徑損耗因子，而di,j是家庭基站i和移動(dòng)用戶(hù)j之間的距離。

移動(dòng)用戶(hù)j的SINR為：

(3)

其中N0(仿真實(shí)驗(yàn)中N0=9 dB)表示移動(dòng)用戶(hù)j接收的噪聲。

根據(jù)Shannon公式可得室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)傳輸速率R的解析表達(dá)式：

(4)

則用來(lái)衡量系統(tǒng)能量效率的能量消耗指數(shù)的解析表達(dá)式如式(5)所示：

(5)

其中,Bi,f是家庭基站i上的第f個(gè)子載波的帶寬，Pcif,j是移動(dòng)用戶(hù)j使用家庭基站i上的第f個(gè)子載波進(jìn)行通信時(shí)的電路損耗功率。

根據(jù)最大化室內(nèi)網(wǎng)絡(luò)能量效率(即最小化能量消耗指數(shù))這一優(yōu)化目標(biāo)以及在滿(mǎn)足移動(dòng)用戶(hù)服務(wù)質(zhì)量需求、家庭基站i上的子載波發(fā)射功率之和滿(mǎn)足其最大發(fā)射功率約束的條件下，要解決的目標(biāo)優(yōu)化問(wèn)題如式(5)和式(6)所示：

(6)

約束條件為:

SINRif,j≥τ0

(7)

其中τ0(仿真實(shí)驗(yàn)中τ0=6)是保證移動(dòng)用戶(hù)服務(wù)質(zhì)量需求的最小SINR，Pmax是家庭基站的最大發(fā)射功率。

4 基于深度Q學(xué)習(xí)資源分配算法

本文主要通過(guò)具有感知能力和決策能力的DQL算法對(duì)家庭基站的發(fā)射功率進(jìn)行分配，以?xún)?yōu)化室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的能量效率，使室內(nèi)無(wú)線(xiàn)通信在滿(mǎn)足用戶(hù)服務(wù)質(zhì)量需求的條件下朝著綠色通信的方向發(fā)展。

QL是強(qiáng)化學(xué)習(xí)算法中基于值的算法，用(s,a,t,r(s,a))來(lái)表示。其中，s表示狀態(tài)，a表示動(dòng)作，t表示時(shí)間，r(s,a)表示在當(dāng)前狀態(tài)(s)，執(zhí)行動(dòng)作(a)后得到的獎(jiǎng)勵(lì)。它的主要思想就是將狀態(tài)(s)與動(dòng)作(a)構(gòu)建成一個(gè)Q表來(lái)存儲(chǔ)Q值，然后再根據(jù)Q表里能產(chǎn)生最大獎(jiǎng)勵(lì)值的Q值來(lái)選取動(dòng)作。但是，如果每次決策都按照Q估計(jì)的最大獎(jiǎng)勵(lì)值來(lái)執(zhí)行動(dòng)作，那么就會(huì)很容易出現(xiàn)局部最優(yōu)值，造成路徑的規(guī)劃可能收斂在一條上的情況，所以當(dāng)Q表更新一定次數(shù)后，就不會(huì)產(chǎn)生更好的路徑。

為了解決QL算法造成的局部最優(yōu)值問(wèn)題，本文在QL算法中引入了ε-greedy策略，即在決策系統(tǒng)進(jìn)行決策時(shí)，有ε(仿真實(shí)驗(yàn)中ε=0.9)的概率進(jìn)行隨機(jī)決策，有1-ε的概率進(jìn)行Q估計(jì)決策。

如圖2所示，本文根據(jù)數(shù)據(jù)流的迭代更新構(gòu)造了含有2層隱藏層的DQL網(wǎng)絡(luò)模型。在該DQL網(wǎng)絡(luò)模型中，家庭基站i(1≤i≤N)作為代理人，而且DQL網(wǎng)絡(luò)由狀態(tài)Si,f={Mi,Pi,f}、動(dòng)作ai,f={i,f,ΔPi,f}和獎(jiǎng)勵(lì)函數(shù)組成。其中，Mi表示時(shí)刻t家庭基站i上的移動(dòng)用戶(hù)數(shù)量，Pi,f表示家庭基站i上第f個(gè)子載波的發(fā)射功率，ΔPi,f表示家庭基站i上第f個(gè)子載波的發(fā)射功率的調(diào)整值。

Figure 2 Structure of deep Q-learning network圖2 深度Q學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

本文將能量消耗指數(shù)作為獎(jiǎng)勵(lì),獎(jiǎng)勵(lì)函數(shù)的解析表達(dá)式如式(8)所示：

(8)

每個(gè)代理經(jīng)過(guò)不斷的迭代學(xué)習(xí)來(lái)更新行為狀態(tài)值函數(shù)，更新方法如式(9)所示：

(9)

本文所提DQL算法流程圖如3所示。

Figure 3 Algorithm flowchart圖3 算法流程圖

在圖2所示的學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)中，將基站與移動(dòng)用戶(hù)的通信連接關(guān)系和基站對(duì)移動(dòng)用戶(hù)的發(fā)射功率作為輸入層的數(shù)據(jù)，即[D1,1,…,DN,M,P1,1,…,PN,M]，輸出層數(shù)據(jù)為基站i上第f個(gè)子載波發(fā)射功率調(diào)整之后的值。

激活函數(shù)為ReLU,即：

f(x)=max(0,x)

(10)

該函數(shù)可以避免梯度爆炸和梯度消失問(wèn)題。

損失函數(shù)為：

(11)

本文所提DQL網(wǎng)絡(luò)在訓(xùn)練模型后，算法的復(fù)雜度為O(M*(n1*n2+n2*n3+n3*n4))，其中n1,n2,n3,n4表示每層神經(jīng)元的數(shù)量。

5 仿真與結(jié)果分析

為驗(yàn)證本文所提算法的性能，本節(jié)對(duì)室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)中基于DQL的功率分配算法進(jìn)行仿真與結(jié)果分析。此外，文獻(xiàn)[17]分析了折扣因子對(duì)系統(tǒng)傳輸速率和能耗的影響，借鑒文獻(xiàn)[17]的結(jié)果，本文算法的折扣因子取值為0.3，仿真參數(shù)如表1所示。

Table 1 Simulation parameters

圖4給出了不同功率分配算法對(duì)室內(nèi)網(wǎng)絡(luò)ECR的影響。從圖4中可以明顯看出，隨著迭代次數(shù)的增加,由QL算法得到的室內(nèi)網(wǎng)絡(luò)ECR(大約為9)明顯小于由注水算法得到的ECR(在13～14)，故QL算法優(yōu)于注水算法；而由本文所提算法得到的室內(nèi)網(wǎng)絡(luò)ECR(大約為7.5)小于由QL算法得到的ECR(大約為9)，故本文所提算法在ECR優(yōu)化方面明顯優(yōu)于其他2種算法。

Figure 4 Comparison of energy consumption rating obtained by the three algorithms圖4 3種算法所得能量消耗指數(shù)對(duì)比圖

圖5給出了由本文所提算法和QL算法所得到的室內(nèi)網(wǎng)絡(luò)ECR的收斂速度隨迭代更新次數(shù)不斷增加的波動(dòng)情況。

Figure 5 Comparison of convergence speed between depth Q-Learning algorithm and Q-Learning algorithm圖5 DQL算法和QL算法的收斂速度對(duì)比圖

從圖5中可以明顯看出，在迭代更新次數(shù)約為8時(shí)，由本文所提算法得到的室內(nèi)網(wǎng)絡(luò)ECR開(kāi)始收斂，而由QL算法得到的室內(nèi)網(wǎng)絡(luò)ECR在迭代更新次數(shù)不斷增加的整個(gè)過(guò)程中始終處于波動(dòng)狀態(tài)。這是因?yàn)槊慨?dāng)用戶(hù)的移動(dòng)性引起網(wǎng)絡(luò)拓?fù)渥兓瘯r(shí)，QL算法都需要重新計(jì)算室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的ECR，而由于DQL功率分配算法使用了深度神經(jīng)網(wǎng)絡(luò)，可以打破訓(xùn)練數(shù)據(jù)之間的聯(lián)系以致最終的訓(xùn)練可以收斂，這在一定程度上提高了收斂速度。此外，雖然在動(dòng)態(tài)情境中DQL功率分配算法也會(huì)出現(xiàn)波動(dòng)，但與QL算法相比是相對(duì)穩(wěn)定的。故本文所提算法在收斂速度方面是優(yōu)于QL算法的。

6 結(jié)束語(yǔ)

為了在滿(mǎn)足移動(dòng)用戶(hù)QoS需求的同時(shí)，盡可能降低室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的能耗，本文對(duì)室內(nèi)無(wú)線(xiàn)網(wǎng)絡(luò)的能耗過(guò)大問(wèn)題進(jìn)行了研究，并提出了一種能動(dòng)態(tài)調(diào)整家庭基站發(fā)射功率的DQL算法。仿真從ECR和收斂速度2個(gè)方面評(píng)估了該算法的性能，結(jié)果表明該算法無(wú)論是在ECR方面，還是在收斂速度方面都明顯優(yōu)于其他2種算法。