基于強化學(xué)習(xí)的LTE與WiFi異構(gòu)網(wǎng)絡(luò)共存機制

林粵偉

(1.青島科技大學(xué)信息科學(xué)技術(shù)學(xué)院 山東青島266061；2.海爾集團博士后工作站 山東青島266000)

隨著無線通信技術(shù)的發(fā)展，LTE、5G、WiFi等技術(shù)方興未艾，8K視頻、VR、AR等新穎的高吞吐率、低時延業(yè)務(wù)需要更大的頻譜帶寬支持?，F(xiàn)有頻譜資源分為授權(quán)和非授權(quán)頻帶，僅僅依靠授權(quán)頻帶已無法充分保證未來4.5G、5G高吞吐量業(yè)務(wù)的帶寬QoS要求[1]。載波聚合(carrier aggregation,CA)或頻譜聚合是LTE-Advanced標準R10的一個重要特性，通過將多個連續(xù)或非連續(xù)的載波(頻譜)聚合成更大的帶寬(最大100 MHz)，能夠?qū)崿F(xiàn)在100 MHz的帶寬內(nèi)，提供下行1 Gbit/s、上行500 Mbit/s的速率[2]。LTE早期只專注于授權(quán)頻段的聚合，在4.5G、5G研究領(lǐng)域，聚焦于授權(quán)與非授權(quán)頻段的頻譜聚合技術(shù)也被提出并得到廣泛研究，其中將LTE部署在非授權(quán)頻段的技術(shù)稱為LTE-U(unlicensed)[3-4]，使用的是低于6 GHz的非授權(quán)頻段。毫米波頻段(如60 GHz)不在LTE-U的研究范圍內(nèi)，有專門的技術(shù)對LTE在毫米波頻段部署進行研究[5]。

LTE-U使用的6 GHz以內(nèi)的非授權(quán)頻段主要指2.4 GHz和5.8 GHz兩個頻段，在這兩個頻段已經(jīng)部署有WiFi、藍牙、雷達等無線通信系統(tǒng)，LTE-U作為后來者，需要解決好LTE與現(xiàn)有無線通信網(wǎng)絡(luò)(尤其是WiFi網(wǎng)絡(luò))之間的共存與干擾問題。主要有兩種技術(shù)來解決非授權(quán)頻段中的已有無線通信系統(tǒng)與LTE-U的共存干擾問題，分別是：基于listen-before-talk(LBT)[6?7]和不基于LBT(non-LBT)[8]的兩類技術(shù)。LBT類似于WiFi的(carrier sense multiple access)CSMA/CA(載波偵聽多址接入/沖突回避)多址接入?yún)f(xié)議，采用基于競爭的接入策略。LTE-U在發(fā)送數(shù)據(jù)前需要先探測信道是否空閑以決定是否接入，以降低LTE-U與WiFi的沖突概率。文獻[9]使用基于LBT的方法處理多個RAT之間和RAT內(nèi)部由于LTE-U與WiFi共存帶來的干擾問題。在美國、中國、韓國、印度等國家，并沒有強制要求LTE-U必須實現(xiàn)LBT機制，并且在LBT機制下兩種無線通信系統(tǒng)都要檢測信道，頻譜利用率降低。non-LBT機制中，LTE-U會周期性地靜默一段時間，在該段時間內(nèi)不發(fā)送或幾乎不發(fā)送數(shù)據(jù)，從而使WiFi有更多機會發(fā)送數(shù)據(jù)。

文獻[10-11]基于non-LBT方法處理了LTE-U和WiFi系統(tǒng)間的共存與干擾問題。文獻[10-12]分別使用了基于空白子幀、duty-cycle、上行鏈路功率控制的方法，都沒有觸及ABS空白子幀的比例問題?；趲缀蹩瞻鬃訋?almost blank subframe,ABS)(下面簡稱空白子幀)的方法是一種典型的non-LBT的LTE-U與WiFi在非授權(quán)頻段的共存機制，該機制最為重要的是如何確定空白子幀所占無線幀的比例，以確保系統(tǒng)的公平性和性能。文獻[13]使用頻譜偵聽的方法對一定區(qū)域內(nèi)WiFi AP的數(shù)目進行估算，進而提出了一種根據(jù)LTE基站周圍WiFi熱點的強度調(diào)整空白子幀數(shù)目的方法。文獻[14]基于排隊論模型研究了數(shù)據(jù)包的到達對LTE-U和WiFi的平均數(shù)據(jù)包時延的影響，但沒有提出具體的異構(gòu)網(wǎng)絡(luò)共存機制，只是為WiFi和LTE-U的共存提供了一個指導(dǎo)準則。文獻[15-16]研究了如何決定ABS空白子幀的比例以確保公平性，但是沒有考慮無線網(wǎng)絡(luò)的業(yè)務(wù)量負載情況。文獻[17]考慮了業(yè)務(wù)量負載情況，但只研究了單一的業(yè)務(wù)(FTP)和吞吐量QoS指標，沒有考慮多業(yè)務(wù)場景和時延等技術(shù)指標。

本文針對基于ABS空白子幀的LTE-U小基站(small BS/SBS)與WiFi AP共存的場景，提出了基于強化學(xué)習(xí)算法的智能化LTE-U與WiFi的共存機制，考慮了無線網(wǎng)絡(luò)的業(yè)務(wù)量負載情況，能夠提高不同無線網(wǎng)絡(luò)的時延性能，進而提高系統(tǒng)的用戶滿意度。較已有的動態(tài)配置ABS空白子幀的算法，提出的基于強化學(xué)習(xí)的QL-ABS算法能夠較好地利用以往學(xué)習(xí)經(jīng)驗(具有更好的在線性能)，后續(xù)決策可以利用先前學(xué)到的經(jīng)驗，從而做出更為合理的配置決策，提升系統(tǒng)的時延、在線性能及用戶滿意度。

1 系統(tǒng)模型

考慮由一個宏基站(macro BS)、一個LTEU小基站(small BS/SBS)、一個WiFi AP組成的網(wǎng)絡(luò)模型，如圖1所示。分別有Nl個SBS用戶設(shè)備(user equipment, UE)和Nw個WiFi終端(STA)，LTE基站可與WiFi AP進行協(xié)作式信息交互。在較低的授權(quán)頻帶，UE的控制數(shù)據(jù)由宏基站發(fā)送，UE的業(yè)務(wù)數(shù)據(jù)由小基站發(fā)送。小基站和AP共享公共的非授權(quán)頻帶，由小基站配置空白子幀。LTE幀長10 ms，包括10個1 ms的子幀，不允許小基站在空白子幀期間發(fā)送數(shù)據(jù)。此時，相應(yīng)信道將為空閑狀態(tài)，并且可以被WiFi AP訪問。本機制專注于確定空白子幀的數(shù)量，當(dāng)多個空白子幀為時間連續(xù)時，WiFi可以獲得更多的傳輸時間，一旦確定了空白子幀的數(shù)量，n幀的連續(xù)子幀就被指定為空白子幀。

圖1 網(wǎng)絡(luò)模型

對于非授權(quán)共享頻帶(信道)，在時間域WiFi AP基于CSMA/CA的講前先聽(LBT)的接入方式進行訪問，LTE-U小基站則使用ABS空白子幀的方式降低與WiFi的沖突概率。使用排隊論對上述WiFi AP和LTE-U小基站的共享非授權(quán)無線頻率的行為進行建模[14,18]。WiFi AP和LTE-U小基站可以被看做兩個互相獨立的M/G/1隊列，接收到的數(shù)據(jù)包被放入隊列。如圖2所示，數(shù)據(jù)包的到達率服從強度為λi(i∈{w,l})的泊松分布，其中λi表示LTE-U或WiFi無線網(wǎng)絡(luò)的業(yè)務(wù)負載強度。每個節(jié)點S的數(shù)據(jù)包服務(wù)時間互相獨立，服從一般分布。以Si,o表示進行包傳輸?shù)男诺勒加脮r間，Si,o服從強度為μi的指數(shù)分布，E[Si,o]=1/μi。以Si,v表示占用業(yè)務(wù)信道之前數(shù)據(jù)包在隊列中的等待時間。Si,o和Si,v這兩個時間之和即為數(shù)據(jù)包服務(wù)時間(以Si表示)，即：

使用平均包時延Di作為衡量系統(tǒng)性能的指示參數(shù)。參數(shù)Di與包到達率λi和LTE幀中空白子幀的數(shù)量n有關(guān)。

圖2 LTE-U與WiFi共存系統(tǒng)的M/G/1排隊模型

2 基于強化學(xué)習(xí)的LTE-U與WiFi共存機制

前文排隊論中的時間參數(shù)可以映射為無線通信系統(tǒng)的數(shù)據(jù)包從到達基站(或AP)到被UE(或STA)終端接收兩個時間點之間的總時間，即數(shù)據(jù)包傳輸時延?？疾閃iFi和LTE-U無線通信網(wǎng)絡(luò)的時延，并將其作為定量評估不同無線通信網(wǎng)絡(luò)性能的指標參數(shù)。對于LTE-U所采取的基于ABS空白子幀的非授權(quán)頻帶的共享訪問方式，如果一個LTE無線幀總共含有N個子幀，其中空白子幀的數(shù)量為n。考慮第一種情況，LTE-U在信道空閑狀態(tài)下可隨時接入信道，那么LTE接入信道的概率為1?n/N。此時，LTE-U系統(tǒng)的數(shù)據(jù)包服務(wù)時間Sl,case1=Sl,o?？紤]第二種情況，在系統(tǒng)恰好處于ABS空白子幀時間段的時候，LTE-U不能訪問共享非授權(quán)頻率，產(chǎn)生該情形的概率是n/N，LTE-U只有等待剩余的空白子幀時間段結(jié)束，才能馬上接入無線共享信道并發(fā)送數(shù)據(jù)包，此時，LTE-U的數(shù)據(jù)包服務(wù)時間：

式中，Rw服從均勻分布，該參數(shù)是除去已經(jīng)在時間上流逝掉的，剩余的需要LTE-U小基站等待的空白子幀的時間。綜合考慮前文描述的兩種情形，得出LTE-U系統(tǒng)的數(shù)據(jù)包服務(wù)對應(yīng)的平均時間：

式中，Rw和Sl,o彼此獨立，得出Sl的數(shù)學(xué)期望和方差分別為：

然后，由Pollaczek-Khinchin (P-K)公式計算得出LTE-U系統(tǒng)的平均包時延的算式：

WiFi AP的MAC層使用CSMA/CA協(xié)議接入無線信道。AP發(fā)送數(shù)據(jù)包前先對信道進行監(jiān)聽，如果監(jiān)聽到信道在一段時間間隔(分布式幀間間隔(DIFS))內(nèi)處于空閑狀態(tài)，則AP將產(chǎn)生一個隨機退避(back-off)間隔，該退避間隔服從0～CWmax的均勻分布，其中CWmax表示競爭窗口最大值。只要信道空閑就開始倒計時，每流逝1個WiFi時隙的時間倒計時計數(shù)器減1。當(dāng)計數(shù)器達到零時，AP發(fā)起一次數(shù)據(jù)傳輸。否則，如果在倒計時過程中信道被其他設(shè)備占用，AP必須重新啟動DIFS并繼承先前剩余的退避計數(shù)。對于WiFi系統(tǒng)而言，WiFi AP對于共享非授權(quán)無線信道的占用受到LTE-U小基站的影響。當(dāng)LTE-U小基站沒有接入無線信道時，AP基于前文描述的偵聽協(xié)議發(fā)起接入信道的操作，只有在計數(shù)器的值減少到0時才可接入信道，這時WiFi數(shù)據(jù)包服務(wù)時間：

此外，對WiFi系統(tǒng)來說，如果其數(shù)據(jù)包在非空白子幀時刻到達，那么AP只有等到LTE-U的非空白子幀時間，即數(shù)據(jù)傳輸時間結(jié)束后才被允許訪問占用信道。此時AP的數(shù)據(jù)包服務(wù)時間：

式中，Rl服從均勻分布，該參數(shù)表示剩余的非空白子幀時間段，式中各項彼此獨立。根據(jù)前文分析，得到AP的數(shù)據(jù)包服務(wù)時間：

式中，Sback服從0～CWmax的均勻分布；常數(shù)SDIFS是分布式幀間間隔(DIFS)。進而分別得到AP的數(shù)據(jù)包服務(wù)時間的均值與方差：

根據(jù)式(11)～(12)可以得到：

由P-K公式，得到WiFi系統(tǒng)的平均包時延的算式：

下面介紹基于強化學(xué)習(xí)中的Q學(xué)習(xí)的智能空白子幀配置算法(QL-ABS)，該算法可以提升異構(gòu)無線網(wǎng)絡(luò)在非注冊頻帶的時延性能。對于動作的選擇，探索策略采用ε貪婪算法。為LTE-U預(yù)先定義一個時延性能目標Ptar。LTE-U的SBS小基站可以自主地動態(tài)調(diào)整空白子幀的數(shù)量，這里多個空白子幀時間上連續(xù)挨在一起而不是離散分隔開，使得性能盡可能地接近Ptar。SBS的動作集合為A={a1,a2,···,am}，狀態(tài)集合為S={s1,s2,···,sn}，ak和sj分別代表SBS可能的動作和狀態(tài)。在Q學(xué)習(xí)中，SBS小基站(agent)會維護一個Q值表，該表存有每一對狀態(tài)sj∈S(1≤j≤n)和動作ak∈A(1≤k≤m)對應(yīng)的Q值Q(sj,ak)，該值表示當(dāng)SBS在狀態(tài)sj選擇執(zhí)行動作ak時對未來代價的預(yù)測。

SBS小基站在某一狀態(tài)sj選擇并執(zhí)行動作ak，基于來自環(huán)境的反饋，用代價值c表示該反饋，該代價值定義為在前一空白子幀配置周期中的LTE數(shù)據(jù)發(fā)送時間里得到的LTE-U的性能P與目標性能Ptar差值的絕對值。進而得到SBS小基站的下一狀態(tài)sj′∈S(1≤j′≤n)。然后，基于得到的下一狀態(tài)sj′和計算出的代價值c，更新當(dāng)前狀態(tài)動作對sj和ak對應(yīng)的Q值：

式中，α,γ分別為學(xué)習(xí)率和折扣因子(仿真中取值為0.5)。學(xué)習(xí)率 α(0≤α≤1)決定學(xué)習(xí)的速度，如果α過小，學(xué)習(xí)過程的時間會很長；如果α過大，算法可能會不收斂；折扣因子 γ(0≤γ≤1)控制未來代價的價值，體現(xiàn)了未來代價相對當(dāng)前代價的重要性。γ越小，學(xué)習(xí)將越依賴于當(dāng)前代價；γ越大，學(xué)習(xí)將越依賴于未來代價。合理的選擇這兩個參數(shù)的值，可以有效控制Q學(xué)習(xí)算法的學(xué)習(xí)過程。

選擇動作時，需要考慮“探索?利用”的折中問題，即在給定狀態(tài)條件下，是嘗試新的動作以獲得更多的經(jīng)驗，還是根據(jù)已有的學(xué)習(xí)經(jīng)驗來選擇動作。嘗試更多新的動作將獲得更為全面、豐富的經(jīng)驗，進而達到更好的優(yōu)化目標，但相應(yīng)消耗的學(xué)習(xí)時間也更多；更多依賴以往經(jīng)驗可以令算法的學(xué)習(xí)過程收斂并較快穩(wěn)定，但也可能陷入局部最優(yōu)解。一旦當(dāng)前狀態(tài)動作對sj和ak的Q值得到更新，為下一狀態(tài)sj′選擇一個動作ak′∈A(1≤k′≤m)。采用ε?貪婪算法，首先生成隨機數(shù)r∈U(0,1)，并與ε貪婪參數(shù)比較，該參數(shù)通常取值很小(如0 .01≤ε≤0.05)。如果r值小于ε貪婪參數(shù)的值，則隨機選擇一個動作。否則，在得到的下一狀態(tài)sj′中選擇使Q值最小的動作，即：

將LTE-U SBS小基站的動作、狀態(tài)、代價定義如下。

動作：

式中，ak∈A(0≤ak≤1)表示一個LTE幀(含10個子幀)內(nèi)所有空白子幀所占的時間比例。比如0.1表示每10個子幀中有1個LTE空白子幀，9個LTE數(shù)據(jù)發(fā)送子幀。

狀態(tài)：

式中，P為系統(tǒng)總體實驗性能(反映了用戶對時延性能的滿意度)；Pi為第i個用戶的用戶滿意度；Dj為前文推導(dǎo)過的LTE-U SBS小基站或WiFi AP的平均包時延；di為每一用戶對應(yīng)業(yè)務(wù)(假定每一用戶在任一時刻只有一種業(yè)務(wù))的時延QoS要求。VoIP業(yè)務(wù)的時延要求為di=2 ms，Video Streaming業(yè)務(wù)的時延要求為di=5 ms，F(xiàn)TP業(yè)務(wù)的時延要求為di=20 ms[19]，設(shè)置Ptar=0.9。

QL-ABS算法流程的偽代碼如下所示，LTEU與WiFi以協(xié)作模式共存，可以彼此進行信息交互。LTE-U的SBS小基站在每次數(shù)據(jù)傳輸階段開始前，先獲取WiFi與LTE-U網(wǎng)絡(luò)接下來的業(yè)務(wù)負載強度λw與λl。

3 仿真結(jié)果

仿真考慮在非授權(quán)頻段競爭頻譜資源的場景，WiFi與LTE-U都只對非授權(quán)頻段的頻譜資源使用。用戶終端的移動速率為3 km/h，分布服從均勻分布。其他的相關(guān)仿真參數(shù)如表1所示。兩類系統(tǒng)的信道占用服務(wù)時間都是0.9163 ms。為了計算前文提到的系統(tǒng)總體實驗性能P，基于服務(wù)類型得到每一用戶的數(shù)據(jù)包時延要求，假定每一用戶在任一時刻只有一種業(yè)務(wù)。

表1 仿真參數(shù)配置

對不采用共享接入算法(without-ABS)、傳統(tǒng)的空白子幀數(shù)量固定的共享接入算法(ABS)、以及本文提出的基于強化學(xué)習(xí)的空白子幀數(shù)量動態(tài)配置的共享接入算法(QL-ABS)的性能進行了仿真對比，如圖3所示。其中LTE-U的包到達率為λl=150 packets/s。在WiFi系統(tǒng)的包到達率λw增大時，不使用任何共享接入算法時，等待隊列中積聚的被阻塞的WiFi數(shù)據(jù)包逐步增多，進而使平均包時延增加。使用空白子幀共享接入算法可以有效的減少系統(tǒng)時延。在高負載時，QL-ABS算法的WiFi系統(tǒng)的時延性能較ABS算法可以提升50%左右；在低負載時，WiFi時延性能可以提升20%左右。這是由于相比于空白子幀數(shù)量固定算法，基于Q學(xué)習(xí)的空白子幀數(shù)量配置算法可以根據(jù)系統(tǒng)業(yè)務(wù)強度智能的動態(tài)調(diào)整空白子幀數(shù)目，可以更好的保證WiFi與LTE-U兩種系統(tǒng)在非授權(quán)頻段共享接入的公平性。另一方面，使用QLABS算法后，LTE-U的時延只有微小的增大。相比空白子幀數(shù)量固定算法LTE-U時延大約增加了0.2 ms，相比不使用空白子幀的算法LTE-U時延增加了0.7 ms左右。如圖4所示，λl=150 packets/s時，在不同的用戶數(shù)情況下，QL-ABS算法都具有較好的平均包時延性能。用戶數(shù)較多時，LTEU和WiFi的平均包時延都有一定程度的增加。低負載時，WiFi的時延性能增加5%左右；高負載時，WiFi的時延性能增加2%左右。

圖3 平均包時延性能分析

圖4 不同用戶數(shù)的平均包時延性能分析

圖5展示了在不同的空白子幀數(shù)量配置條件下，在采用QL-ABS動態(tài)空白子幀配置算法時，WiFi和LTE-U的時延性能變化，其中λl=150 packets/s，λw=100 packets/s。與空白子幀數(shù)量固定配置算法相比，QL-ABS在提供了較好的WiFi時延性能(低于5 ms，能夠滿足VideoStreaming業(yè)務(wù)的時延QoS要求)的同時，能夠保證LTE-U的時延性能只有微小的下降(低于2 ms，可以滿足時延QoS苛刻的VoIP語音業(yè)務(wù)要求)。QL-ABS更適合WiFi和LTE-U異構(gòu)網(wǎng)絡(luò)的整體時延性能優(yōu)化，在高負載情況下QL-ABS的這種優(yōu)勢會更加明顯。WiFi時延性能增加的原因是當(dāng)SBS小基站考慮性能目標Ptar，基于突發(fā)的業(yè)務(wù)強度動態(tài)調(diào)整空白子幀數(shù)量時，WiFi獲得了更為公平的接入共享非授權(quán)頻譜的機會。

圖5 ABS配置與時延

圖6顯示了動態(tài)的WiFi和LTE-U數(shù)據(jù)包總到達率，圖7顯示了對應(yīng)系統(tǒng)總體時延性能P(用戶滿意度)的結(jié)果，并對比了QL-ABS和基于效用函數(shù)的動態(tài)自適應(yīng)ABS配置算法(A-ABS)[17]的在線性能?？梢钥闯鱿到y(tǒng)第二天的性能明顯好于第一天，且QL-ABS較A-ABS算法具有更好的在線性能，這是因為QL-ABS算法第二天的決策可以利用第一天學(xué)到的經(jīng)驗，從而做出更合理的動作。隨著在線性能的提高，用戶滿意度也會相應(yīng)得到提升。

圖6 連續(xù)兩天動態(tài)變化業(yè)務(wù)量

圖7 QL-ABS算法在線性能

4 結(jié)束語

本文提出基于Q學(xué)習(xí)的LTE-U的空白子幀配置機制，使用排隊論對LTE-U與WiFi共存的5G異構(gòu)網(wǎng)絡(luò)進行建模。仿真結(jié)果表明，通過自主學(xué)習(xí)過程，本算法可在不同的負載條件下為LTE-U產(chǎn)生較為合理的空白子幀配置策略，具有較好的在線學(xué)習(xí)性能。較傳統(tǒng)方法，本機制更好地解決了5G異構(gòu)網(wǎng)絡(luò)中LTE-U與現(xiàn)有WiFi網(wǎng)絡(luò)在非授權(quán)頻帶的共存問題，提升了網(wǎng)絡(luò)的總體時延性能和用戶滿意度，具有更好的在線性能。在未來的工作中，將把所提出的方案擴展到更為復(fù)雜的多個LTE-U SBS和WiFi AP共存的場景。

本文研究工作得到泛網(wǎng)無線通信教育部重點實驗室(北京郵電大學(xué))開放課題(KFKT-2018107)的資助，在此表示感謝！