基于強化學(xué)習(xí)的MTC隨機接入和異構(gòu)網(wǎng)絡(luò)資源分配方法研究

關(guān)鍵詞：MTC隨機接入；異構(gòu)網(wǎng)絡(luò)；資源分配；強化學(xué)習(xí)；聯(lián)合資源分配

無線通信技術(shù)的新發(fā)展，以及無線基礎(chǔ)設(shè)施的廣泛鋪設(shè)，正逐步與工業(yè)自動化、互聯(lián)汽車和智能電網(wǎng)等物聯(lián)網(wǎng)應(yīng)用深度融合，共同構(gòu)筑未來智能化、網(wǎng)絡(luò)化的社會基礎(chǔ)平臺。據(jù)IHS Markit預(yù)測，到2030年，全球智能設(shè)備數(shù)量將激增至1 250億臺，這些設(shè)備將極大地促進(jìn)產(chǎn)業(yè)流程的智能化、人員與社會的協(xié)同整合，從而全面提升人們的日常生活品質(zhì)。

面對無線電資源有限的挑戰(zhàn)，MTC（機器類型通信）的核心任務(wù)在于支持龐大設(shè)備群體的通信需求。在此過程中，我們必須妥善應(yīng)對一系列非傳統(tǒng)難題，包括但不限于無線接入網(wǎng)絡(luò)（Radio Access Network，簡稱RAN） 的擁塞問題、流量的高度動態(tài)性和零星分散性，以及龐大的信令開銷。網(wǎng)絡(luò)擁塞現(xiàn)象可能出現(xiàn)在基于LTE/LTE-A技術(shù)的蜂窩網(wǎng)絡(luò)的各個環(huán)節(jié)，涵蓋RAN、核心網(wǎng)絡(luò)以及信令網(wǎng)絡(luò)。由于接入端可用的無線電資源有限，而大量的MTCD（機器類型通信設(shè)備）接入請求又持續(xù)涌入，這使得RAN擁塞問題在蜂窩物聯(lián)網(wǎng)網(wǎng)絡(luò)中變得尤為突出。因此，設(shè)計一種更為高效的隨機接入方案成為當(dāng)務(wù)之急。

1 基于強化學(xué)習(xí)的隨機接入擁塞控制方法

1.1 系統(tǒng)模型

本文考慮了其中描述的兩步無連接數(shù)據(jù)包傳輸過程。在這個過程中，MTCD（機器類型通信設(shè)備）會在收到RAR（隨機接入響應(yīng)）報文時，將其報文連同有關(guān)裝置識別、包數(shù)據(jù)網(wǎng)絡(luò)識別和安全性的全部必要信息一起發(fā)送出去。這樣，當(dāng)gNB（下一代節(jié)點B） 收到分組時，就會將分組發(fā)送給非連接接入網(wǎng)關(guān)，由網(wǎng)關(guān)對報文內(nèi)容頭部進(jìn)行檢查，驗證其完整性，并執(zhí)行解密操作，然后按照所保存的狀態(tài)信息將分組發(fā)送給指定的網(wǎng)絡(luò)節(jié)點。該方法的主要缺陷在于，當(dāng)數(shù)據(jù)包被發(fā)送以后，無論成功與否，終端都要將信息發(fā)送出去。針對這一問題，本文提出了一種改進(jìn)的免連接二步法RA（隨機接入）處理方法，使MTCD能夠在Msg2（第二條消息）后發(fā)送具有上下文信息的報文。

為了克服無論接入嘗試是否成功都發(fā)送數(shù)據(jù)包的問題，采用了其中提出的早期前導(dǎo)沖突檢測技術(shù)，其中g(shù)NB可以在Msg1（第一條消息）中檢測前導(dǎo)碼是否發(fā)生沖突。具體來說，每個設(shè)備從可用于基于競爭的過程的前導(dǎo)碼中隨機選擇一個前導(dǎo)碼并發(fā)送，該前導(dǎo)碼由所選前導(dǎo)和標(biāo)簽序列組成。通過接收到的標(biāo)記前導(dǎo)碼，gNB可以針對每個接收到的前導(dǎo)碼檢測是否發(fā)生沖突，方法是推斷與其關(guān)聯(lián)的標(biāo)簽并驗證是否已發(fā)送多個標(biāo)簽。

另外，由于計算機類通信數(shù)據(jù)的數(shù)量是很少的，所以假定每一個傳送請求都有同樣的上界值，通過廣播進(jìn)行傳送。在Msg2中，gNB將所需的PUSCH（物理上行共享信道）資源分配給每一次成功訪問嘗試，以達(dá)到最大的數(shù)據(jù)傳送量。

這樣，從gNB收到報文應(yīng)答的MTCD進(jìn)入WRAR （等待隨機接入響應(yīng)）窗口，并在下一RA 周期的PUSCH中發(fā)送它的數(shù)據(jù)。設(shè)定WRAR=5 ms，使數(shù)據(jù)能在下一個RA周期內(nèi)進(jìn)行發(fā)送，這段時間足夠保障有標(biāo)志前置碼的發(fā)送（包含循環(huán)前綴與發(fā)送時延）、gNB端的處理時延、RAR報文的發(fā)送、1 ms的應(yīng)答時間。反之，如果在WRAR窗口中沒有收到來自gNB的信息，則只有在這個時候才會i2Ij1RATBFGilUyUax3I6+u+TJqKS/q8DaUYTV3DZ6A=進(jìn)行重試。

在RA處理開始前，基站定期地廣播包含若干關(guān)鍵參數(shù)、前置信息以及預(yù)配置資源的系統(tǒng)信息塊。MTCD在一個RA槽中傳輸一個包含報頭和相應(yīng)的標(biāo)記信息的分組，該分組共有Pds個正交前導(dǎo)。通過接收到的有標(biāo)簽的前導(dǎo)，gNB能夠判斷出每一個前導(dǎo)是否發(fā)生碰撞。若在當(dāng)前的RA時隙中，MTCD未從gNB 收到RAR報文，且當(dāng)前的重發(fā)數(shù)目低于最大重發(fā)數(shù)目，則MTCD會在下一時隙再進(jìn)行隨機接入[1]。

由于延遲需求，每臺設(shè)備最多有MA 次重試訪問、傳送數(shù)據(jù)的機會，即，在槽t 新到達(dá)的設(shè)備最遲要在t至t+MA 之間的時間間隔內(nèi)完成數(shù)據(jù)傳送，否則，該任務(wù)將被丟棄，導(dǎo)致任務(wù)失敗。在RA時間間隔t 內(nèi)，參與RA進(jìn)程的MTCD數(shù)目為：該碼元是指在RA槽t 內(nèi)新有效MTCD的指數(shù)集合。符號被認(rèn)為是RA時隙t-1中沖突MTCD的索引集，滿足條件：

在時間槽t 終止之后，在時間槽t+1至（t+MA） 內(nèi)，未能進(jìn)行內(nèi)部存取的裝置將被再次存取。假定新活化的MTCD數(shù)目滿足Poisson分布，且其速率參數(shù)>1） 。在此基礎(chǔ)上，我們提出了一種新的方法，該方法可以有效防止前同步碼的碰撞，并且在有限的延遲預(yù)算下保證接入的可靠性。

本文用Dk表示第k 個前導(dǎo)碼被0個設(shè)備、1個設(shè)備、多個設(shè)備選中，第k 個前導(dǎo)碼只被一個設(shè)備選中的概率為p（Dk = 1| Ni = n），可以表示為：

由式（4）可以得到最優(yōu)值，當(dāng)可用前導(dǎo)數(shù)為Pds=32 時，成功傳輸前導(dǎo)的設(shè)備數(shù)和嘗試接入當(dāng)前時隙的設(shè)備數(shù)的曲線圖。

當(dāng)橫軸坐標(biāo)為31.49時，有一個極值11.96。由于設(shè)備數(shù)是整數(shù)，所以取Ni=32。也就是說，如果每個時隙內(nèi)嘗試接入的設(shè)備數(shù)量控制為32，如果當(dāng)前接入時隙內(nèi)嘗試接入的設(shè)備數(shù)量Ni<=32，那么這些設(shè)備都可以嘗試接入，當(dāng)Ni>32.設(shè)備根據(jù)其剩余的任務(wù)重傳次數(shù)選擇主動退避，保證當(dāng)前時隙內(nèi)嘗試接入的設(shè)備數(shù)量為32個，充分利用前導(dǎo)碼，降低沖突概率?；谶@一思想，本文提出了一種基于強化學(xué)習(xí)的接入控制策略。接入成功率：模擬周期內(nèi)成功連接的設(shè)備總數(shù)與設(shè)備總數(shù)的比值，則接入成功率表達(dá)式為：

1.2 基于強化學(xué)習(xí)的接入控制

基于模型驅(qū)動的強化學(xué)習(xí)算法的思想是使用模型來解決問題。為了建立MDP，我們將無線資源分配問題建模為一個馬爾可夫決策過程，即使用一個狀態(tài)空間和一個動作空間來表示資源分配問題。為了便于分析，將MDP建模為包含用戶狀態(tài)、無線資源和網(wǎng)絡(luò)狀態(tài)的馬爾可夫決策過程。因此，需要一個獎勵函數(shù)來獎勵成功的用戶接入嘗試和成功的網(wǎng)絡(luò)狀態(tài)。為了解決這個問題，首先使用深度神經(jīng)網(wǎng)絡(luò)（DNN） 模型來訓(xùn)練MDP。DNN模型的優(yōu)勢在于它可以通過端到端的訓(xùn)練過程來處理多個輸入數(shù)據(jù)，這意味著DNN 模型可以通過提供高質(zhì)量的輸入來提高網(wǎng)絡(luò)性能。另外，DNN可以解決大規(guī)模問題。DNN可以通過學(xué)習(xí)一個有向圖來表示用戶和網(wǎng)絡(luò)之間的關(guān)系，因此它可以用來訓(xùn)練強化學(xué)習(xí)算法[2]。

在基站覆蓋下，對時延靈敏的MTCD可以通過觀測當(dāng)前隨機存取時隙的狀態(tài)來判斷是否先存或暫存，然后采取相應(yīng)行動。當(dāng)基站接收到訪問請求時，通過廣播方式向MTCD發(fā)送前同步碼沖突信息以及當(dāng)前時隙試圖訪問MTCD的次數(shù)，并在接收到該請求后進(jìn)行回報，從而實現(xiàn)自身網(wǎng)絡(luò)的更新。該算法采用多次重復(fù)的方法，使每一個試圖訪問的終端具有32個時隙，從而減少了前同步序列發(fā)生碰撞的可能性[3]。

1.3 性能仿真

在這一部分中，給出了基于pytroch的模擬實驗，通過修改γ 和pds的數(shù)值，證明了該算法的可行性，同時也說明了其它算法與傳統(tǒng)算法相比的優(yōu)勢。本文設(shè)定學(xué)習(xí)速率為8x10-4，對500個情景進(jìn)行訓(xùn)練，每一情景包含5 000個時隙。折讓系數(shù)設(shè)為0.9。

在每個場景中，每個場景所得到的接入成功率和訓(xùn)練場景數(shù)量的關(guān)系。當(dāng)取不同的參數(shù)時，接入成功率隨事件個數(shù)的增大而增大，而后收斂（趨穩(wěn)）。實驗結(jié)果表明，該強化學(xué)習(xí)算法具有良好的收斂性。另外，在收斂過程中，接入成功率隨時間的增大而下降。其原因在于，在同一前導(dǎo)資源的情況下，競爭前導(dǎo)資源的有效MTCD數(shù)目更少，使得在有限時間預(yù)算下，MTCD被拒絕的可能性很小。

訪問成功率被表達(dá)為Pds的恒定值為γ=7，不管是哪一種，訪問成功率都隨有效前置導(dǎo)數(shù)法的增大而提高，但是相對其他兩個方案，本發(fā)明的訪問成功率更高。實驗結(jié)果顯示，該方法具有較大的可擴展性[4]。

對3個方案為達(dá)到99x10-2的訪問成功率所需要的最低Pds數(shù)目進(jìn)行比較。與已有的方法比較，本項目所設(shè)計的方法能夠顯著降低系統(tǒng)所需要的前置碼數(shù)目，節(jié)約系統(tǒng)的資源，并能在一定的時延預(yù)算下保障多個移動終端的訪問可靠性。比如，為了實現(xiàn)預(yù)定的訪問成功率99×10-2，傳統(tǒng)的方法要求Pds=36。相對文獻(xiàn)中要求PdsmpuTrNsVzONrqnxDV8yQyulxmxF3TpZb0SpO6IYZ7iw==31的要求，我們的方法僅需Pds=10。也就是說，該方法比常規(guī)方法節(jié)約72%的Pds和67%的能源[5]。

2 基于強化學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)資源分配

2.1 基于模型驅(qū)動的強化學(xué)習(xí)資源分配仿真分析

本文給出了基于模型驅(qū)動的強化學(xué)習(xí)的性能仿真結(jié)果，假定用戶以1m/s的速率在蜂窩中以1m/s的速度移動，其中MBS、PBS、FBS各一臺，功耗極限分別為38 dbm、36 dbm、35 dbm。該方法適用于小規(guī)模、異質(zhì)網(wǎng)絡(luò)。

對所提出的算法在不同QoS情況下的譜效率進(jìn)行比較。結(jié)果表明，當(dāng)用戶數(shù)目增多時，頻譜效率會提高，但在無QoS約束的情況下，某些用戶會出現(xiàn)較低的傳輸速率，這會降低系統(tǒng)的頻譜利用率。

2.2 基于多智能體強化學(xué)習(xí)的聯(lián)合資源分配仿真分析

本文提出多智能體強化學(xué)習(xí)資源分配算法在異構(gòu)網(wǎng)絡(luò)下行鏈路中的性能表現(xiàn)，并給出了本文算法與其他RL算法及貪婪算法的對比結(jié)果。采用Tensor?Flow平臺進(jìn)行實驗仿真，仿真設(shè)置中宏基站數(shù)量為2，微基站數(shù)量為8，毫微基站數(shù)量為12，用戶數(shù)N∈{20，25， 30， 35， 40}，并將各用戶隨機分配到各小區(qū)[7]。毫微基站的覆蓋范圍為30m，最大功率為20dBm，最大能量為38dBm，兩個基站之間的路徑損耗為34+40dB，因此，兩個基站之間存在較大的信道損耗。該信道的頻寬為180 千赫，噪聲與能量密度為0 牛頓每赫為-174 dBm/赫。再現(xiàn)內(nèi)存D的大小為500，抽樣批次的長度為32，學(xué)習(xí)率參數(shù)為0.00005。把每個情景設(shè)置為500次，訓(xùn)練500個情景。該算法僅利用了用戶自身的信道狀態(tài)，適用于更大范圍的異質(zhì)網(wǎng)絡(luò)環(huán)境[8]。

算法在不同學(xué)習(xí)率下的訓(xùn)練效率表現(xiàn)如下：在學(xué)習(xí)初期，由于智能體缺乏以往的學(xué)習(xí)經(jīng)驗，難以找到符合服務(wù)質(zhì)量需求的方法，且在到達(dá)預(yù)定的最大循環(huán)次數(shù)后仍無法收斂；但是，隨著事件數(shù)量的增加，智能體的收斂速度會變快。在不同學(xué)習(xí)率下，當(dāng)學(xué)習(xí)速率為0.00005時，僅需10步以內(nèi)即可收斂，而在0.001時則會緩慢收斂。這是因為當(dāng)網(wǎng)絡(luò)的學(xué)習(xí)率過高時，會影響收斂速度，只有適當(dāng)?shù)膶W(xué)習(xí)率才能加快收斂。

3 結(jié)束語

隨著物聯(lián)網(wǎng)的快速發(fā)展，移動終端數(shù)量日益增多，這對移動通信系統(tǒng)提出了新的技術(shù)挑戰(zhàn)。為適應(yīng)高時延、高可靠性的多層傳輸系統(tǒng)，研究更高級的多層隨機接入技術(shù)顯得尤為重要。本項目針對移動終端移動通信系統(tǒng)中存在的接入問題，結(jié)合增強學(xué)習(xí)理論，研究了具有低時延容忍特性的移動終端多用戶接入機制，并在此基礎(chǔ)上研究了面向多用戶移動終端的多用戶移動通信系統(tǒng)。