基于禁忌搜索和Q-learning的CR-NOMA系統(tǒng)的功率分配算法

周 爍，仇潤鶴，唐旻俊

（1.東華大學信息科學與技術學院，上海 201620；2.數(shù)字化紡織服裝技術教育部工程研究中心（東華大學），上海 201620）

0 引言

近年來，隨著無線移動通信的飛速發(fā)展以及5G網絡的興起，尤其是智能移動終端數(shù)量和功能的急劇增長，導致了人們對于移動通信的需求變得越來越高，如低時延、高速率、高可靠性等。為了滿足這些通信需求并提供高質量的通信服務，非正交多址接入（Non-Orthogonal Multiple Access，NOMA）技術應運而生。尤其是在最近的研究中，NOMA 已經成為5G 無線網絡中可以提供高吞吐量、高可靠性、低時延、優(yōu)化覆蓋和大規(guī)模連接的有效技術［1-2］。NOMA 通過功率復用技術可以同時服務多個用戶，通過在發(fā)送端應用疊加編碼技術將不同用戶的信號疊加在不同的功率等級上從而實現(xiàn)多用戶接入，而用戶則共享同一時間和頻段上的無線網絡資源［3］。在接收機端應用連續(xù)干擾消除（Successive Interference Cancellation，SIC）技術來解碼用戶所需要的信息。認知無線電（Cognitive Radio，CR）網絡中，允許次用戶在不影響主用戶正常通信的條件下接入主用戶授權信道來共享主用戶的頻譜資源，從而提高頻譜效率［4］。由此將CR 和NOMA 這兩種關鍵技術相結合構建CR-NOMA 混合系統(tǒng)，即在CR 場景下，次用戶通過NOMA 技術接入授權信道，可以顯著提升頻譜效率和系統(tǒng)性能。

目前已經有將CR 和NOMA 相結合的研究與工作。文獻［5-7］中研究了在CR-NOMA 系統(tǒng)中功率分配和中繼節(jié)點選擇對系統(tǒng)性能的影響，推導了次用戶中斷概率的封閉表達式并通過仿真驗證了結論。文獻［8］中針對在CR-NOMA 系統(tǒng)接收端解碼順序的不同，提出了一種次用戶預解碼（Secondary user First Decode Mode，SFDM）聯(lián)合優(yōu)化算法來最大限度地提高次用戶的歸一化吞吐量，仿真結果顯示了CR-NOMA 系統(tǒng)具有優(yōu)越的性能；但該方案只考慮了單個主用戶和次用戶的情況，缺乏普遍性。在文獻［9］中討論了基于NOMA的認知異構網絡在交互模式下的資源分配問題，以最大化次級網絡的總吞吐量為目標，提出了一種新的分步式優(yōu)化算法來解決該問題；但是考慮的用戶數(shù)量較少，不具有一般性。在文獻［10］中考慮了在下墊式模式下的CR-NOMA 系統(tǒng)中的資源分配問題，提出了新的參數(shù)變換法來求解優(yōu)化問題，仿真結果表明，與傳統(tǒng)的NOMA方案和非魯棒的NOMA方案相比，所提出的方案具有更好的能效和中斷性能。在文獻［11］中為了提高CR-NOMA 異構網絡相對于信干噪比的頻譜利用率和非檢測概率，提出了一種新的認知移動無線網絡（Cognitive Mobile Radio Network，CMRN）算法并推導了最優(yōu)功率分配因子，仿真結果驗證了該方案在提高頻譜效率和降低中斷概率方面的有效性。文獻［9-11］中所提算法在求解優(yōu)化問題時均會出現(xiàn)陷入局部最優(yōu)的情況，對系統(tǒng)性能會產生較大的影響。文獻［12-15］中考慮了具有能量收集傳輸節(jié)點的CR-NOMA 方案來提升系統(tǒng)性能，并通過仿真對比實驗驗證了所提方案有效性。

上述算法在研究CR-NOMA 混合系統(tǒng)時沒有將主用戶的服務質量（Quality of Service，QoS）考慮在內，考慮接入系統(tǒng)的用戶數(shù)量較少［8-9］，并且采用的優(yōu)化算法在求解時容易出現(xiàn)陷入局部最優(yōu)解的情況［9-11］。本文結合上述分析，在CR-NOMA系統(tǒng)中考慮多個主用戶和多個次用戶。對于求解該優(yōu)化問題以及避免陷入局部最優(yōu)，提出了基于禁忌搜索（Tabu Search，TS）和Q-learning［16］的功率分配（Power Allocation based on Tabu Search and Q-learning，PATSQ）算法。PATSQ 算法將系統(tǒng)中的用戶功率分配問題表述為馬爾可夫決策過程（Markov Decision Process，MDP），通過采用Q-learning方法來求解MDP問題，認知基站執(zhí)行使得次用戶總速率提高的動作時會得到正向的獎勵，反之則得到負向的獎勵，通過不斷嘗試和學習后，認知基站會得到一個包含所有狀態(tài)下最優(yōu)的功率分配表。但是單獨采用Q-learning 方法復雜度過高，因此引入TS 來解決該問題，將已嘗試或學習過的動作標記為禁忌對象，從而避免不必要的重復動作來顯著降低算法復雜度。將認知基站在系統(tǒng)環(huán)境中采用PATSQ 算法學習用戶的功率分配最終得到的最優(yōu)功率分配表命名為禁忌Q 表。得到禁忌Q 表后，認知基站可以通過查找禁忌Q表來對用戶給出最優(yōu)的功率分配因子，從而使系統(tǒng)中次用戶總傳輸速率最大化。

1 系統(tǒng)模型

對于本文中的CR-NOMA 系統(tǒng)，選擇了下墊式的接入模式，即次用戶可以在不影響主用戶正常通信的情況下與主用戶共享頻譜資源，通過調整自身功率大小，次用戶可以與主用戶同時存在于授權信道中，并且次用戶采用NOMA 的方式接入系統(tǒng)實現(xiàn)多用戶接入。系統(tǒng)模型如圖1 所示，考慮小區(qū)中有一個主基站、N個主用戶，次級小區(qū)中有一個認知基站、M個次用戶，所有終端均配備單天線。主用戶之間仍采用正交頻分復用的方式接入系統(tǒng)，即主用戶之間互不干擾，而次用戶接入主用戶信道會對其產生不可避免的干擾。

圖1 系統(tǒng)模型Fig.1 System model

1.1 主用戶通信

認知基站在總功率的約束下向所有次用戶發(fā)送數(shù)據(jù)。所有無線信道歷經獨立同分布的瑞利衰落和加性高斯白噪聲。假設認知基站可以獲取所有用戶的瞬時信道狀態(tài)信息（Channel State Information，CSI）。主用戶PUi的接收信號可以表示為：

在傳統(tǒng)的CR網絡中，次用戶采用下墊式模式接入主用戶信道時，在不影響其正常通信的情況下也可以允許多個次用戶同時接入，但是這些次用戶必須通過正交的方式來區(qū)分；并且次用戶對主用戶的干擾要通過分時、分頻或者分碼來分析，極大地增加了計算復雜度。本文中次用戶采用NOMA的方式接入空閑授權信道，次用戶之間的信號在發(fā)射端經過疊加編碼，從而對于主用戶而言，考慮次用戶干擾時可以將所有次用戶看作一個整體。主用戶PUi的信干噪比可以表示為：

其中B表示系統(tǒng)帶寬。為了保證主用戶的通信質量，必須滿足以下條件：

其中Rmin為主用戶滿足正常通信的最小傳輸速率。

1.2 次用戶通信

其中：αi表示次用戶i的功率分配因子。

本文中次用戶在功率域中實現(xiàn)多路復用，如圖2 所示。在接收端應用SIC 消除了多用戶信號之間的干擾。實際上，根據(jù)下行NOMA 鏈路的準則，當i≤j時，第j個用戶首先對第i個用戶的信息進行編碼，然后從接收信號中消除這個信息，最后對第j個用戶的信號進行編碼；當i＞j時，第i個用戶的信息被視為噪聲。第i個次用戶的信干噪比可以表示為：

圖2 CR-NOMA系統(tǒng)中次用戶的功率分配Fig.2 Power allocation of secondary users in CR-NOMA system

其中，當i=M時，其信干噪比為：

第i個次用戶的傳輸速率可以表示為：

為了保證此用戶的正常通信，同樣必須滿足：

其中rmin為次用戶滿足正常通信的最小傳輸速率。則系統(tǒng)中次用戶總的傳輸速率為：

1.3 問題描述

本文將CR-NOMA 系統(tǒng)中的功率分配問題轉化為在滿足主用戶和次用戶QoS 以及最大總發(fā)射功率等約束條件下，獲得最大的次用戶總傳輸速率的問題。由于NOMA技術采用功率復用技術來實現(xiàn)多用戶接入，本文通過優(yōu)化認知基站分配給次用戶的功率分配因子αi(?i=1，2，…，M)來最大化次用戶的總傳輸速率。由認知基站分配給各個用戶的功率必須滿足最大發(fā)射功率的約束。因此，這個優(yōu)化問題可以由下式描述：

其中：pi=αiP；Pmax為認知基站最大發(fā)射功率；C1表示分配給用戶的功率為非負，C2表示最大發(fā)射功率約束，C3和C4分別為主用戶和次用戶的QoS約束。該優(yōu)化問題的目標函數(shù)為次用戶的總傳輸速率。

CR-NOMA 系統(tǒng)能夠正常工作的條件是必須確保主用戶的QoS，要求主用戶的傳輸速率必須大于其滿足正常通信的最小傳輸速率門限，因此，主用戶i對總發(fā)射功率P的約束為：

這樣就得到了認知基站的總發(fā)射功率，也就是次用戶可以獲取的最大總功率P，并且確保了次用戶接入授權信道不會干擾主用戶正常通信。

同樣，為了確保次用戶的QoS，要求次用戶的傳輸速率必須大于其滿足正常通信的最小傳輸速率門限，因此次用戶i的功率分配因子必須滿足：

為了確保SIC 能夠正常執(zhí)行，給信道條件較差的次用戶分配較大的功率，于是次用戶i的功率分配因子可以由下式得到：

不滿足最小傳輸速率約束的用戶視為不能接入信道。

2 基于TS和Q-learning的功率分配

2.1 認知基站學習模型

為了求解CR-NOMA 系統(tǒng)中次用戶總傳輸速率最大化的優(yōu)化問題，本文使用TS 和Q-learning 相結合的方法來尋求合適的功率分配策略。Q-learning 方法常用智能體/環(huán)境接口來研究。智能體是整個系統(tǒng)中的決策者和學習者，本文系統(tǒng)中的智能體為認知基站，它通過觀測來獲取系統(tǒng)環(huán)境（如信道增益、噪聲功率、功率分配因子等）當前的狀態(tài)s后，對環(huán)境施加動作a，即進行功率分配，環(huán)境受所執(zhí)行動作的影響，狀態(tài)由s變?yōu)橄乱粻顟B(tài)s′，并且通過總傳輸速率獎勵r的形式反饋給認知基站來評價所執(zhí)行動作的好壞。若某個動作a執(zhí)行后得到的獎勵為正，那么往后執(zhí)行該動作的概率會增大；反之若得到的獎勵為負，那么往后執(zhí)行該動作的概率會減小。為了使系統(tǒng)性能達到最佳并且減少算法復雜度，引入TS將已執(zhí)行過的動作標記為禁忌對象來加快算法收斂速度，PATSQ 算法通過將TS 中的禁忌表和Q-learning 中的Q 表相結合來減少系統(tǒng)進行不必要的嘗試和試錯的運行次數(shù)。認知基站在系統(tǒng)中的學習過程如圖3所示。

圖3 認知基站學習模型Fig.3 Cognitive base station learning model

本文中CR-NOMA 系統(tǒng)的優(yōu)化目標是最大化系統(tǒng)中次用戶總傳輸速率。在執(zhí)行過程中，不同的用戶數(shù)量會導致不同的功率分配策略，將來的總傳輸速率取決于當前的功率分配策略，系統(tǒng)無法確定將來接入的用戶數(shù)量，但是可以明確歷史用戶數(shù)量以及功率分配策略。本文中的功率分配問題可以看作是一個連續(xù)馬爾可夫過程，因此可以使用MDP 問題解決［17］。為了解決MDP 問題，本文將CR-NOMA 系統(tǒng)中的參數(shù)做出如下轉換：

令s={s1，s2，…，sK}表示系統(tǒng)的信道狀態(tài)空間，并且第t步的狀態(tài)st由信道增益hi、功率分配因子αi和AWGN 的功率來表示任意一個用戶t時刻的信道狀態(tài)信息。因此，狀態(tài)st可以定義為：

對于連續(xù)狀態(tài)空間s，狀態(tài)轉移概率密度函數(shù)用來描述向后續(xù)狀態(tài)區(qū)域轉移的概率。當?shù)趖步采取了一個動作at∈a后，狀態(tài)從st變?yōu)閟t+1的轉移概率定義為：

2）功率分配動作a。

在該問題中，增加或減少分配給各個用戶的功率都被視作CR-NOMA 系統(tǒng)功率分配問題的動作空間。令a={a1，a2，…，aK}表示系統(tǒng)進行功率分配的動作空間，并且，由認知基站決定選擇哪一個動作。因此，動作at可以表示為：

其中：-1表示減少由認知基站分配給各個用戶的功率，1則表示增加分配給用戶的功率。

3）次用戶總傳輸速率獎勵r。

獎勵函數(shù)為環(huán)境根據(jù)執(zhí)行動作后狀態(tài)的變化反饋給認知基站的信號，表示在該狀態(tài)下執(zhí)行該動作的好壞，于是認知基站就能根據(jù)獎勵函數(shù)的大小來改變動作，從而得到越來越好的策略。

從定義上來看，地理信息生成系統(tǒng)中的數(shù)據(jù)反映的是空間地理實體位置、屬性和拓撲關系，側重點在于空間信息和屬性信息；地圖制圖中的數(shù)據(jù)最終會以地圖產品輸出，更側重形象、直觀地描述地球表面的自然地理和社會人文等要素。

本文的目標是實現(xiàn)在CR-NOMA 系統(tǒng)中的次用戶總傳輸速率的最大化，這與MDP 問題中要求的獎勵最大化相一致。于是本文中將次用戶總傳輸速率作為獎勵函數(shù)，即為：

其中：rt和Rt分別表示第t步的獎勵和次用戶總傳輸速率。為了使得獎勵函數(shù)更加穩(wěn)定和有效，將平均總傳輸速率作為新的獎勵函數(shù)，新的獎勵函數(shù)定義如下：

其中次用戶平均總傳輸速率由下式計算：

其中L為重復計算次數(shù)。新的獎勵函數(shù)在保證總傳輸速率平穩(wěn)性上有更好的表現(xiàn)。

2.2 PATSQ算法

在給出了狀態(tài)、動作和獎勵函數(shù)的定義后，本文中結合TS中的禁忌表和Q-learning中的Q表來獲得一個禁忌Q表，其中，每一項Q(st，at)表示在狀態(tài)st下執(zhí)行動作at可以獲得的獎勵。這個禁忌Q表通過下述方式更新：

其中：β∈[0，1]表示加權前一步獎勵和后一步獎勵的學習率；γ∈[0，1]表示決定未來獎勵重要性的折扣因子。在選擇并執(zhí)行動作at后，狀態(tài)由st變?yōu)閟t+1，并且將已執(zhí)行的動作at標記為禁忌對象，被列為禁忌對象的動作往后不能繼續(xù)選擇執(zhí)行，隨后將得到獎勵和禁忌對象一同更新至禁忌Q表中。隨著算法的不斷執(zhí)行，認知基站可以學習所有狀態(tài)下采取任何一個動作得到的獎勵。當禁忌Q 表收斂于一個最佳的值時，就得到了最佳功率分配策略。本文中可以得到的最佳功率分配策略為：

對于有限馬爾可夫決策過程，這是對于最佳功率分配策略的保證。即，在任何狀態(tài)s下，認知基站總是選擇使得禁忌Q表中的值最大的最佳動作a*。

算法1 PATSQ算法。

算法1提出了PATSQ 算法。為了確保算法不陷入局部最優(yōu)解，采用了ε-greedy 策略［18］。該策略不僅可以從禁忌Q 表內得到最佳動作，還可以選擇其他可能更好的動作。在ε-greedy 策略中，以概率為ε∈(0，1)的情況來隨機選擇動作，以1-ε的概率從禁忌Q 表內選擇最佳動作。一般情況下，通常設置ε=0.1，即認知基站有90%的可能根據(jù)禁忌Q 表來選擇當前狀態(tài)下的最佳動作，還有10%的可能隨機選擇動作。由此可見，采用ε-greedy策略在陷入局部最優(yōu)時，由于10%的概率選擇隨機動作而不是最佳動作，PATSQ 算法可以根據(jù)這10%的隨機概率跳出局部最優(yōu)的情況，重新開始尋找全局最優(yōu)解。

2.3 復雜度分析

對于傳統(tǒng)TS 來說，其時間復雜度一般為O(tmaxN(M2+M+Tsize))，其中Tsize為禁忌表長度；對于Q-learning方法，其時間復雜度一般為其中T表示運行次數(shù)，Ssize和Asize分別表示狀態(tài)個數(shù)和動作個數(shù)：可見單獨使用TS或Q-learning 方法復雜度較大。本文的PATSQ 算法將兩者結合，即將TS 中的禁忌表和Q-learning 中的Q 表相結合，將已執(zhí)行過的動作標記為禁忌對象并存儲到禁忌Q 表中，從而避免了在尋找最優(yōu)解過程中不必要的重復計算，顯著降低了算法的復雜度。在時隙tmax內，在每個狀態(tài)下進行不同的動作，由于禁忌對象的標記，各個狀態(tài)下每個動作只需要執(zhí)行一次，而執(zhí)行一次需要為M個主用戶和N個次用戶進行功率分配，于是在tmax需要執(zhí)行Ssize次狀態(tài)選擇和Asize次動作選擇，動作選擇后首先為M個主用戶分配功率然后為N個次用戶分配功率，即在tmax次循環(huán)內，需要首先執(zhí)行Ssize次狀態(tài)選擇，然后執(zhí)行Asize次動作選擇去為主次用戶分配功率，其復雜度可以表示為O(tmaxNMSsizeAsize)。

3 仿真與分析

假設在CR-NOMA 系統(tǒng)中，主基站位于小區(qū)中心，主用戶分布于主基站附近，認知基站位于次級小區(qū)，次用戶在其中隨機分布，只考慮下行鏈路的通信，用戶的信道增益與其到基站的距離d成反比。在仿真中，設置歸一化帶寬B為1Hz，高斯白噪聲的功率為σ2=0.01W，主基站的歸一化發(fā)射功率為1W，次用戶最大可用功率Pmax=1W，主次用戶的最小傳輸速率門限分別為0.5 b/s 和0.3 b/s。其他重要參數(shù)設置為：根據(jù)算法在不同學習率β和折扣因子γ下的性能表現(xiàn)，設置β=0.5，γ=0.8。將本文所提出的PATSQ 算法與下述三種算法進行比較：

1）等功率分配算法。

2）SFDM 算法［7］：該算法通過KKT 條件、梯度下降法以及參數(shù)變換來使得系統(tǒng)中次用戶的總吞吐量最大化。

3）CMRN 算法［10］：該算法考慮到用戶之間的信道條件差異性，通過參數(shù)變換并且分步優(yōu)化來推導最優(yōu)功率分配因子從而提高系統(tǒng)性能。

本文算法的迭代過程如圖4、5 所示。可以看出，隨著迭代次數(shù)的不斷增加，認知基站在系統(tǒng)中不斷學習最佳功率分配動作來為次用戶進行功率分配，在迭代次數(shù)較少的階段，系統(tǒng)次用戶總傳輸速率波動較大，經過大約70 次迭代后，從圖4、5 均可以看出，次用戶總傳輸速率開始趨于穩(wěn)定，也就是次用戶此時可以達到的最大總傳輸速率。

圖4 PATSQ算法迭代過程Fig.4 Iteration process of PATSQ algorithm

圖5 不同迭代次數(shù)時次用戶總傳輸速率隨功率的變化Fig.5 Total transmission rate of secondary users varying with power under different numbers of iterations

次用戶總傳輸速率比較如圖6 所示，默認接入系統(tǒng)的次用戶數(shù)量為4。比較隨著CR-NOMA 系統(tǒng)中主基站發(fā)射功率的不斷增加，本文提出的PATSQ 算法與其他三種算法在次用戶總傳輸速率上的變化情況。

由圖6 可以看出，本文算法與其他三種算法相比，次用戶總傳輸速率顯著增加。等功率分配算法由于幾乎沒有采用優(yōu)化方法來對功率進行優(yōu)化分配，所以隨著功率的增加，按照NOMA 的準則越往后的用戶信道增益越差，所有用戶分配相等的功率會導致那些信道條件差的用戶傳輸速率較低甚至無法滿足用戶的QoS 而無法接入信道，所以隨著功率的增加而總傳輸速率變化不明顯。SFDM 算法對接入用戶同時進行功率優(yōu)化分配，所以其性能對比等功率分配算法有較大的提升，但是采用梯度下降法很有可能會陷入局部最優(yōu)解。CMRN 算法通過分步的方式逐步確定每個用戶的功率，對功率的利用率要高于同時分配，因此其次用戶總傳輸速率要略優(yōu)于SFDM 算法。而隨著功率的不斷增加，兩種算法都有足夠的功率對次用戶進行功率分配，因此在曲線末尾處兩種算法的性能比較接近。本文算法通過訓練可以使得認知基站在任意狀態(tài)下總是選擇使得次用戶總傳輸速率最大的功率分配策略，因此可以顯著提升系統(tǒng)性能。

圖6 不同算法下次用戶總傳輸速率隨功率變化比較Fig.6 Comparison of total transmission rate of secondary users varying with power by different algorithms

在不同主用戶數(shù)量情況下系統(tǒng)的次用戶總傳輸速率比較如圖7所示，比較在CR-NOMA 系統(tǒng)中隨著接入主用戶數(shù)量的不斷增加，本文算法和其他算法次用戶總傳輸速率的變化情況。

由圖7 可以看出，隨著接入主用戶數(shù)量的增加，四種算法的次用戶總傳輸速率均呈現(xiàn)快速下降的趨勢，這是因為次用戶接入主用戶信道的前提條件就是不能影響主用戶的正常通信，隨著主用戶占用的系統(tǒng)功率越來越大，次用戶必須降低自身功率或者退出所占用信道?？梢钥闯鲇捎诘裙β史峙渌惴ū仨毥o每個接入用戶分配均等的功率，其總傳輸速率是最小的，并且在接入主用戶數(shù)為4 時次用戶無法再接入信道。SFDM 算法和CMRN 算法在該條件下的表現(xiàn)差不多，后者略優(yōu)于前者。本文算法可以從禁忌Q表中選擇當前狀態(tài)下最優(yōu)的功率分配策略，因此不管是在次用戶總傳輸速率還是在系統(tǒng)可容納主用戶數(shù)量上均優(yōu)于前三種算法。

圖7 不同算法下次用戶總傳輸速率隨主用戶數(shù)量的變化Fig.7 Total transmission rate of secondary users varying with the number of primary users by different algorithms

圖8 分析了在不同請求接入次用戶數(shù)量下的總傳輸速率，比較在CR-NOMA 系統(tǒng)中隨著請求接入的次用戶數(shù)量的不斷增加，本文算法和其他三種算法次用戶總傳輸速率的變化情況。

由圖8 可以看出，隨著請求接入的次用戶的數(shù)量的不斷增加，四種算法的次用戶總傳輸速率均先增加后趨于平緩，這是由于隨著系統(tǒng)中次用戶數(shù)量的增加，系統(tǒng)總傳輸速率會隨之增加，但是在總功率的限制下，接入用戶數(shù)不可能一直增加，次用戶總傳輸速率平緩后說明系統(tǒng)中接入的用戶數(shù)量已達到最大。從最開始接入次用戶數(shù)量較少時，SFDM 算法和CMRN 算法均有足夠的功率來對次用戶進行功率分配，而在接入次用戶數(shù)量達到飽和以后，CMRN 算法分步式求解的優(yōu)勢就不再明顯，并且復雜度也會相應增加，因此兩種算法的仿真曲線在首尾性能比較接近，總體來說CMRN 算法要略優(yōu)于SFDM 算法。不難看出，在相同請求接入次用戶數(shù)量的條件下，本文算法的次用戶總傳輸速率總是比其他三種算法高。

圖8 不同算法下次用戶總傳輸速率隨次用戶數(shù)量的變化Fig.8 Total transmission rate of secondary users varying with the number of secondary users by different algorithms

在不同請求接入次用戶數(shù)量下實際接入次用戶數(shù)量的分析如圖9所示，比較在CR-NOMA 系統(tǒng)中隨著請求接入用戶數(shù)量的不斷增加，本文算法與其他三種算法實際接入用戶數(shù)量的變化情況。

由圖9 可以看出，CMRN 算法在容納次用戶數(shù)量上的表現(xiàn)與等功率分配算法相同，SFDM 算法略優(yōu)于前面兩種算法，隨著請求接入用戶數(shù)量的不斷增加，系統(tǒng)中的用戶數(shù)量達到最大，本文算法對每個用戶分配最優(yōu)功率分配因子使得更多的次用戶可以接入授權信道，系統(tǒng)功率利用率提升。采用本文算法的系統(tǒng)可容納用戶數(shù)要優(yōu)于其他三種算法。

圖9 不同算法下實際接入次用戶數(shù)隨請求接入次用戶數(shù)量的變化Fig.9 Number of actual access users varying with the number of requested access users by different algorithms

在不同的主用戶數(shù)量下實際接入次用戶數(shù)量的比較如圖10 所示，比較系統(tǒng)中隨著主用戶的不斷增加，本文算法和其他三種算法實際接入次用戶數(shù)的變化情況。主用戶采用正交的方式接入系統(tǒng)，避免主用戶之間的相互干擾對系統(tǒng)性能產生影響?？梢钥闯?，隨著主用戶數(shù)量的增加，等功率分配算法的接入次用戶數(shù)量變化最快并且最快變?yōu)?，SFDM 算法和CMRN 算法變化曲線差不多，而本文算法由于對每個用戶的功率都進行了優(yōu)化分配，因此在相同主用戶數(shù)量下比其他三種算法具有更好的表現(xiàn)。

圖10 不同算法下接入次用戶數(shù)量隨主用戶數(shù)量的變化Fig.10 Number of access secondary users varying with the number of primary users by different algorithms

通過上述兩個方面（次用戶總傳輸速率和接入次用戶數(shù)量）的仿真，對本文提出的PATSQ 算法的性能進行了分析。仿真結果顯示，相較于其他三種方法（CMRN 算法、SFDM 算法、等功率分配算法），在占用相同帶寬的條件下，本文算法通過學習獲得的功率分配策略可以得到更大的總傳輸速率以及更多的接入用戶數(shù)量，顯著提升了系統(tǒng)的頻譜效率。隨著算法執(zhí)行的次數(shù)越來越多，禁忌Q表中的值不斷更新，認知基站可以學習所有狀態(tài)下采取任意動作后得到的獎勵。在已知當前狀態(tài)時，認知基站通過訪問禁忌Q 表得到當前狀態(tài)下應采取的最佳動作，從而實現(xiàn)次用戶總傳輸速率的最大化。

4 結語

本文針對CR-NOMA 系統(tǒng)中通過功率優(yōu)化分配來提高次用戶總傳輸速率的問題進行了研究，提出了基于TS 和Qlearning 的PATSQ 算法。認知基站通過采用TS 和Q-learning方法在系統(tǒng)環(huán)境中學習用戶在不同信道條件下的功率分配策略得到禁忌Q 表，通過查找禁忌Q 表得到用戶在任意狀態(tài)下的最佳功率分配策略，并且避免了陷入局部最優(yōu)的情況。本文中的功率分配問題采用MDP 問題解決，在設計獎勵函數(shù)時使用次用戶平均總傳輸速率來代替瞬時總傳輸速率，這樣不僅可以反映次用戶的最大總傳輸速率，而且由于更新過程中歷史信息以及TS的引入，可以明顯提高系統(tǒng)的學習效率和穩(wěn)定性。通過仿真分析驗證了本文算法對于提高CR-NOMA 系統(tǒng)中次用戶總傳輸速率的有效性，并且總功率相同條件下可以讓更多的次用戶接入系統(tǒng)。在后續(xù)的工作中，將進一步討論不完全連續(xù)干擾消除條件下CR-NOMA 系統(tǒng)的功率優(yōu)化分配，分析本文算法的抗干擾能力。