無線網(wǎng)絡(luò)中基于深度Q學(xué)習(xí)的傳輸調(diào)度方案

朱江，王婷婷，宋永輝，劉亞利

（重慶郵電大學(xué)移動通信技術(shù)重點實驗室，重慶 400065）

1 引言

近年來，隨著無線通信技術(shù)的不斷發(fā)展，各種新型的通信網(wǎng)絡(luò)越來越多，區(qū)域化的具有小覆蓋范圍的通信模型逐步興起，如應(yīng)用于室內(nèi)環(huán)境的毫微微網(wǎng)絡(luò)、無線接入點等。為保證用戶的通信質(zhì)量需求，這些以小型基站和接入點為代表的調(diào)度節(jié)點需要及時處理大量的數(shù)據(jù)。因此，對其硬件和軟件的處理速度、能耗等的要求就越來越高。在中繼調(diào)度節(jié)點轉(zhuǎn)發(fā)數(shù)據(jù)的過程中，如果節(jié)點沒有足夠的緩存區(qū)空間，那么將會造成數(shù)據(jù)分組的丟失，而且較差的信道狀態(tài)也不能實現(xiàn)高效傳輸，造成能量的浪費。因此，無線網(wǎng)絡(luò)中的有效傳輸逐漸成為當(dāng)前學(xué)者的研究熱點之一。

針對中繼節(jié)點的傳輸調(diào)度問題，文獻(xiàn)[1]考慮單個發(fā)送機(jī)，在建立馬爾可夫決策過程模型的基礎(chǔ)上，通過引入拉格朗日乘子法和黃金分割搜索方法構(gòu)建了一種無線電網(wǎng)絡(luò)的傳輸調(diào)度方案，該方案可以在滿足緩存區(qū)的分組丟失率的約束下，最小化平均功率。文獻(xiàn)[2]在MDP模型的基礎(chǔ)上考慮具有中心節(jié)點的無線傳輸網(wǎng)絡(luò)，通過 W 學(xué)習(xí)算法來指導(dǎo)中繼節(jié)點為其他節(jié)點傳輸數(shù)據(jù)。文獻(xiàn)[3]在圖形博弈的基礎(chǔ)上引入了學(xué)習(xí)算法，通過次梯度迭代算法來交換多個代理之間的信息，讓單個代理來學(xué)習(xí)自己周圍的環(huán)境信息，并據(jù)此來指導(dǎo)節(jié)點選擇信道傳輸數(shù)據(jù)。文獻(xiàn)[4]同樣將無線傳輸問題描述為MDP過程，通過設(shè)定新的目標(biāo)函數(shù)來實現(xiàn)延長終端壽命的目的。不過，該文使用策略迭代的方法來對 MDP的調(diào)度問題進(jìn)行求解，該方法具有較大的求解計算量?，F(xiàn)有文獻(xiàn)在解決數(shù)據(jù)傳輸?shù)膯栴}時，較多關(guān)注于單方面的優(yōu)化目標(biāo)，沒有綜合考慮這些方面。此外，在快速時變的環(huán)境下，系統(tǒng)在進(jìn)行求解計算中有大量的信息交互，容易產(chǎn)生維災(zāi)難，很難做到快速收斂。目前，針對此類問題的研究較少，文獻(xiàn)[1,2]采用狀態(tài)聚合和行動集縮減的方法來減小系統(tǒng)計算規(guī)模，但此種方法需要根據(jù)具體問題重新定義狀態(tài)空間和行動集。

本文在無線網(wǎng)絡(luò)數(shù)據(jù)傳輸問題中，綜合考慮數(shù)據(jù)分組的丟失、能耗以及系統(tǒng)的吞吐量。在實際的無線網(wǎng)絡(luò)中，合理的假設(shè)是環(huán)境信息未知，即中繼節(jié)點不能事先知道環(huán)境狀態(tài)的轉(zhuǎn)移概率。為此，在建模為MDP的系統(tǒng)模型中，通過Q學(xué)習(xí)的強(qiáng)化學(xué)習(xí)方法使中繼調(diào)度節(jié)點對周圍環(huán)境狀態(tài)的轉(zhuǎn)移信息進(jìn)行學(xué)習(xí)，并對節(jié)點的行為進(jìn)行指導(dǎo)。在狀態(tài)行為獲取中，為了考慮探索與利用的均衡，改進(jìn)策略選擇方法，提出了基于行為評價值Q和Index(s,a)索引值的綜合行為評價方法，以獲取更優(yōu)的狀態(tài)行為數(shù)據(jù)。另外，基于強(qiáng)化學(xué)習(xí)獲得的行為數(shù)據(jù)，使用深度學(xué)習(xí)方法來構(gòu)造狀態(tài)和行為之間的映射關(guān)系，達(dá)到快速求解的目的。

2 系統(tǒng)模型

在無線網(wǎng)絡(luò)環(huán)境下，數(shù)據(jù)傳輸模型如圖1所示。系統(tǒng)中存在K個待傳輸數(shù)據(jù)的節(jié)點，每個節(jié)點對應(yīng)的緩存區(qū)長度為L，存在一個中繼節(jié)點可以為K個用戶傳輸數(shù)據(jù)，并假設(shè)該節(jié)點可用的頻譜資源的個數(shù)為M，且各個節(jié)點之間和頻譜之間相互獨立。假設(shè)節(jié)點的上層數(shù)據(jù)以到達(dá)率為λ的泊松分布到達(dá)，并存儲在對應(yīng)的緩存區(qū)內(nèi)。每一幀內(nèi)，中繼節(jié)點選擇一個信道狀態(tài)較好的信道為一個節(jié)點傳輸數(shù)據(jù)。當(dāng)緩存區(qū)中的數(shù)據(jù)滿時，如果中繼節(jié)點沒有為它傳輸數(shù)據(jù)，那么當(dāng)下一幀再有數(shù)據(jù)到達(dá)時會造成數(shù)據(jù)的丟失。

圖1 數(shù)據(jù)傳輸模型

2.1 信道狀態(tài)

定義時間基本單位為幀Tf，且在每一幀內(nèi)信道的狀態(tài)保持不變，信道的狀態(tài)轉(zhuǎn)移發(fā)生在2個相鄰的狀態(tài)之間。將塊衰落信道狀態(tài)建模為一階的有限狀態(tài)馬爾可夫鏈（FSMC,finite state Markov chain）[5]。在FSMC信道狀態(tài)模型中，存在加性高斯白噪聲的信道接收信噪比（SNR,signal-to-noise ratio）服從瑞利分布，其概率密度函數(shù)表示為其中，ρ＞0，且表示平均接收信噪比。若信噪比門限設(shè)為那么，根據(jù)接收信噪比門限，可以將信道劃分為多個狀態(tài)信道狀態(tài)概率為

信道的狀態(tài)轉(zhuǎn)移概率為

2.2 緩存器狀態(tài)

在每一幀內(nèi)，每個節(jié)點對應(yīng)緩存區(qū)中的數(shù)據(jù)分組到達(dá)服從到達(dá)率為λ的泊松分布di為在每幀內(nèi)到達(dá)的數(shù)據(jù)量。

定義在時刻i節(jié)點k對應(yīng)的緩存區(qū)中的數(shù)據(jù)分組數(shù)為 lk,i，如果每幀到達(dá)的數(shù)據(jù)分組為 dk,i，傳輸?shù)臄?shù)據(jù)分組為 tk,i，那么，節(jié)點k對應(yīng)的緩存區(qū)中的數(shù)據(jù)量為那么，系統(tǒng)中緩存器的狀態(tài)轉(zhuǎn)移概率為

2.3 發(fā)送功率

中繼節(jié)點在通過信道發(fā)送數(shù)據(jù)的時候采用自適應(yīng)調(diào)制（AM,adaptive modulation）的方式(j-QAM)[6～8]，用 j = 1 ,2,3,4,…來表示選中的方式。通過限定傳輸方式下的誤碼率（BER,bit error ratio），可以得到在不同狀態(tài)和傳輸方式下滿足誤碼率要求時的最小功率[8]。

當(dāng) j = 1 時，有

當(dāng) j ＞ 1 時，即 j = 2 ,3,4,…時，有

其中， W N0表示噪聲功率。

3 傳輸調(diào)度的MDP問題分析

系統(tǒng)中存在2個狀態(tài)對象，分別是節(jié)點對應(yīng)的緩存器的狀態(tài)和信道狀態(tài)。系統(tǒng)運(yùn)行是一個狀態(tài)轉(zhuǎn)移的過程，系統(tǒng)在當(dāng)前狀態(tài)下通過執(zhí)行某個行為進(jìn)入到下一個狀態(tài)。因此，傳輸調(diào)度問題可以建模為MDP[1,2,4]。

3.1 系統(tǒng)狀態(tài)轉(zhuǎn)移

定義系統(tǒng)的狀態(tài) S為緩存器和信道的組合狀態(tài)，即S?B?C。如果緩存區(qū)的長度為L，那么，單個緩存區(qū)的狀態(tài)個數(shù)為B=L+1。信道的狀態(tài)個數(shù)為N。

中繼節(jié)點所采取的行為 A可以表示為當(dāng)其值 ai,k=1時，表示在時隙i中繼節(jié)點為節(jié)點k來傳輸數(shù)據(jù)，其中，含有選擇的信道m(xù)和傳輸方式j(luò)信息。當(dāng) ai,k= 0 時，表示不采取任何行動。

在時刻 i，存在一個緩存區(qū)和一個信道的情況下，系統(tǒng)狀態(tài)處于 si時采取行為 ai后轉(zhuǎn)移到狀態(tài)的狀態(tài)轉(zhuǎn)移概率可以表示為那么，整個系統(tǒng)的狀態(tài)轉(zhuǎn)移概率為

3.2 系統(tǒng)收益和代價

高效傳輸是要實現(xiàn)在最大化吞吐量的同時最小化系統(tǒng)發(fā)送功率和分組丟失數(shù)。如果系統(tǒng)中信息的基本傳輸速率為v，那么，在使用不同的傳輸方式下的傳輸數(shù)據(jù)量為 t=v × 2j。在當(dāng)前的系統(tǒng)狀態(tài)后，系統(tǒng)可以獲得的最大收益為下選擇行為

因此，定義系統(tǒng)的代價Co為緩存器的壓力值和傳輸功率的組合，即

定義系統(tǒng)的效用為O，該值與每一幀內(nèi)傳輸?shù)臄?shù)據(jù)量成正比，與緩存器的壓力值和功耗成反比，可以得到該表達(dá)式

4 基于深度Q學(xué)習(xí)的最優(yōu)行為獲取

在本文的MDP模型中，中繼節(jié)點通過學(xué)習(xí)來獲得系統(tǒng)的狀態(tài)參數(shù)。系統(tǒng)的狀態(tài)和行為是離散的，每執(zhí)行一次行為，系統(tǒng)的狀態(tài)就會發(fā)生不連續(xù)的變化。因此，在求解此MDP問題時采用強(qiáng)化學(xué)習(xí)的方法來指導(dǎo)節(jié)點行為[10～12]。當(dāng)系統(tǒng)規(guī)模較大時，往往存在較大的狀態(tài)行為空間，不宜直接對MDP進(jìn)行求解。這里，使用QL算法實現(xiàn)對環(huán)境狀態(tài)信息的學(xué)習(xí)并獲得最優(yōu)行為。在使用QL算法對此問題進(jìn)行求解時，是一種逐步尋優(yōu)的過程，所以很難實現(xiàn)行為選擇的快速收斂。由于深度神經(jīng)網(wǎng)絡(luò)具有較好的泛化能力，幾乎可以實現(xiàn)任意非線性函數(shù)的逼近功能。所以，在QL算法的基礎(chǔ)上使用深度神經(jīng)網(wǎng)絡(luò)的方法建立狀態(tài)和行為之間的映射關(guān)系，實現(xiàn)問題的加速求解[13～16]，以解決因系統(tǒng)狀態(tài)規(guī)模較大而導(dǎo)致的維災(zāi)問題[17～18]。

4.1 QL算法

Q學(xué)習(xí)在與環(huán)境交互的過程中，通過不斷地試錯來找到最優(yōu)的行為。該最優(yōu)行為不僅關(guān)注立即收益，同時還考慮了未來n步的收益情況，用表示，即

Q學(xué)習(xí)算法中的Q值是狀態(tài)和行為的評價值，用立即收益和折扣收益來表示，即

其中， γ(0 < γ<1)是折扣系數(shù)，表示未來收益對當(dāng)前行為的影響。Q學(xué)習(xí)的目標(biāo)是為了最大化系統(tǒng)效用，用 Oi替換 ri，用來替換那么，可得

策略的探索與利用[19]是強(qiáng)化學(xué)習(xí)中的重要問題。尤其是當(dāng)系統(tǒng)狀態(tài)規(guī)模較大時，如何有效地選擇行為，將直接影響算法的收斂速度以及形同的性能。本文引入基于行為評價值Q和Index(s,a)索引值的綜合行為評價方法，以獲取更優(yōu)的狀態(tài)行為數(shù)據(jù)。

當(dāng)系統(tǒng)處于狀態(tài) si時，依據(jù)式(14)來選擇行為 ai。

其中，Q表示狀態(tài)和行為評價值。在Q值的基礎(chǔ)上，增加行為索引值來選擇可以最大化收益所對應(yīng)的行為，表示為

其中，?是一個大于0的常量[20]， Ti(n)表示經(jīng)過n次行為選擇之后，行為 ai被選擇的次數(shù)。 vi(n)表示偏差因子，引入了行為效用值的方差為，以反映該值波動性。

基于索引 I ndex(si,a)的行為選擇機(jī)制，一方面逐步考慮具有較大效用的行為，體現(xiàn)了利用的特性；另一方面，隨著迭代的進(jìn)行，如果某個行為未被選擇或被選擇的次數(shù) Ti(n)很少，那么，在接下來的選擇中會偏向于選擇該行為，體現(xiàn)了探索的特性。

在確定了執(zhí)行行為后，中繼節(jié)點執(zhí)行行為 ai，然后計算效用值O，并按照式(18)更新Q值。

其中，α (0 < α≤1)是狀態(tài)行為的學(xué)習(xí)因子，表示為

本文Q學(xué)習(xí)方法具體執(zhí)行過程如算法1所示。

算法1 Q學(xué)習(xí)算法

1) 初始化行為訪問次數(shù) Ti(n) = 0

2) 初始化狀態(tài)行為值 Q (si,ai) =0 及狀態(tài)行為查詢表

3) for episode1=1,I1do

4) 初始化行為向量 a ={a1,a2,…}

5) 對于當(dāng)前狀態(tài) si

6) for episode2=1,Ite do

7) if episode2=1

8) 隨機(jī)選擇一個行為 ai

9) end if

10) if episode2>1

12) 根據(jù)

ai←選擇行為

13) end if

14) 執(zhí)行行為 ai，獲得效用值 Oi，得到下一個狀態(tài) si+1

17) 更新查詢表

18) end for

19) end for

4.2 算法性能分析

定理1 式(10)定義的系統(tǒng)效用函數(shù)O的值在不同的系統(tǒng)狀態(tài)下有界。

證明見附錄A。

定理2 對于收益O有界的Q值迭代問題，學(xué)習(xí)因子0<α≤1，且

證明 見附錄B[20]。

4.3 深度行為映射網(wǎng)絡(luò)

采用多層的棧式自編碼（SAE,stacked auto-encoder）深度神經(jīng)網(wǎng)絡(luò)模型來建立狀態(tài)和行為之間的對應(yīng)關(guān)系，以最快獲取最優(yōu)決策行為。模型的結(jié)構(gòu)如圖2所示。

圖2 SAE網(wǎng)絡(luò)模型

模型的輸入層代表了系統(tǒng)的狀態(tài)信息，該層的神經(jīng)元的個數(shù)為 K+M。輸入向量表示為Input = [l1…lKc1…cM]，分別代表了系統(tǒng)中的緩存器的狀態(tài)和信道狀態(tài)。輸出層神經(jīng)元代表了行為選擇信息，輸出向量為 O utput = [a(k)a(m)a(j)]，分別表示在該系統(tǒng)狀態(tài)下，通過信道 m，以傳輸方式j(luò)為用戶k發(fā)送數(shù)據(jù)。該層的神經(jīng)元個數(shù)為K+M+J。隱含層為多層，節(jié)點個數(shù)由式(21)確定。

其中， ni表示輸入層神經(jīng)元個數(shù)， no表示輸出層神經(jīng)元個數(shù)，Con為1～10的一個常數(shù)。

SAE模型使用sigmoid函數(shù)作為傳遞函數(shù)，訓(xùn)練過程中的損失函數(shù)為 L (x)。

5 算法描述與比較

5.1 算法描述

基于深度Q學(xué)習(xí)的策略選擇算法流程如圖3所示。首先，使用Q學(xué)習(xí)算法經(jīng)過一定時隙的學(xué)習(xí)獲取一部分狀態(tài)和行為數(shù)據(jù)，這個過程中不對 SAE進(jìn)行訓(xùn)練。隨著時間的進(jìn)行，對于某些狀態(tài)逐漸找到最優(yōu)行為，并存儲于Q查詢表中。使用該表中的信息進(jìn)行有監(jiān)督地訓(xùn)練SAE網(wǎng)絡(luò)。當(dāng)系統(tǒng)轉(zhuǎn)移到隱藏狀態(tài)時，通過 SAE網(wǎng)絡(luò)來實現(xiàn)該狀態(tài)下的行為映射。執(zhí)行所推薦的行為并更新Q值，并將該狀態(tài)行為信息存儲于Q查詢表中。當(dāng)后續(xù)時刻系統(tǒng)再轉(zhuǎn)移到該狀態(tài)時，直接通過查詢狀態(tài)行為表來獲得可執(zhí)行的行為。

5.2 算法比較

在本文系統(tǒng)模型中，無線節(jié)點個數(shù)為K，緩存區(qū)的長度為L，信道個數(shù)為M，信道的狀態(tài)個數(shù)為C，可用的傳輸方式個數(shù)為J。那么，系統(tǒng)的狀態(tài)個數(shù)為S= (L+1)KCM，對于每一個系統(tǒng)狀態(tài)，可選的行為個數(shù)為A=KMJ。因此，系統(tǒng)的規(guī)?？梢员硎緸镈=SA。

圖3 基于Q學(xué)習(xí)的SAE行為獲取算法流程

為了驗證本文算法的性能，現(xiàn)分別與策略迭代法[4]、W學(xué)習(xí)方法[2]和隨機(jī)選擇方法進(jìn)行比較分析。

1) 策略迭代法

當(dāng)MDP問題被描述為式(23)時，可以通過策略迭代（SI,strategy iteration）法來求解最優(yōu)決策。

在求解過程中，SI法需要預(yù)先知道系統(tǒng)的所有狀態(tài)信息和狀態(tài)轉(zhuǎn)移概率。然而，當(dāng)系統(tǒng)的狀態(tài)空間較大時，需要求解與系統(tǒng)狀態(tài)等規(guī)模的線性方程，即S= (L+1)KCM個線性方程組，每一次迭代的計算復(fù)雜度會達(dá)到所以該算法易陷入維災(zāi)問題，在實際問題中并不適用[21]。

2) W學(xué)習(xí)法

在W學(xué)習(xí)（WL,W learning）法中，首先使用Q學(xué)習(xí)方法獲得Q值，然后利用已獲得的值進(jìn)行W學(xué)習(xí)。W值代表預(yù)計收益和實際收益的差值。

3) 隨機(jī)選擇法

隨機(jī)選擇（RS,random selection）法是在每一個系統(tǒng)狀態(tài)下，在行動集中隨機(jī)選擇一個行為執(zhí)行，所以它的計算開銷較小。

本文算法只針對系統(tǒng)的當(dāng)前狀態(tài)執(zhí)行算法，不需要過多的環(huán)境狀態(tài)信息。各個算法的計算復(fù)雜度比較如表1所示。可知，本文算法復(fù)雜度較低，且不依賴于系統(tǒng)狀態(tài)的先驗信息。

表1 算法復(fù)雜度比較

6 仿真分析

本文仿真實驗考慮存在K=5個待發(fā)送數(shù)據(jù)的無線節(jié)點和一個智能中繼節(jié)點。其中，中繼節(jié)點可選信道個數(shù)為M=3，設(shè)定的信道狀態(tài)數(shù)為C=4，傳輸方式的個數(shù)為J=4。無線節(jié)點的緩存區(qū)長度為L=5。針對此問題，分別使用上述所描述的3種方法和本文方法進(jìn)行性能對比。仿真的各項參數(shù)設(shè)置如表 2所示。結(jié)果分別通過圖 4～圖8說明。

表2 仿真參數(shù)

在I1時隙內(nèi)是Q學(xué)習(xí)階段，通過QL方法來獲得最優(yōu)狀態(tài)行為信息并存儲于查詢表中。

然后，使用這些信息來對SAE網(wǎng)絡(luò)進(jìn)行有監(jiān)督的訓(xùn)練，并在接下來的時隙I2內(nèi)進(jìn)行對比實驗。

圖4所示的是系統(tǒng)分別處于狀態(tài)s1={l1=5,c1=3}、s2={l2=9,c2=4}和s3={l3=12,c3=2}時，使用 QL法的行為選擇中的Q值變化曲線。3種狀態(tài)在相同的數(shù)據(jù)到達(dá)率(λ=0.1)下，最終Q值逐漸收斂于不同的數(shù)值。

圖4 Q學(xué)習(xí)算法在不同狀態(tài)下Q值曲線

在不同的上層數(shù)據(jù)分組到達(dá)率下，不同算法的系統(tǒng)傳輸?shù)臄?shù)據(jù)量對比如圖5所示。由圖5可知，本文算法的數(shù)據(jù)傳輸量小于SI法的數(shù)據(jù)傳輸量，但是優(yōu)于W學(xué)習(xí)法和RS法。從圖5可以看出，隨著數(shù)據(jù)分組到達(dá)率的增大，系統(tǒng)的吞吐量也逐漸增大。當(dāng)系統(tǒng)中達(dá)到的數(shù)據(jù)分組越來越多時，系統(tǒng)相應(yīng)的緩存器的壓力逐漸增加，這樣會使系統(tǒng)的效用減小。因此，在策略尋優(yōu)時會增加數(shù)據(jù)的發(fā)送量以減小緩存器的壓力。到達(dá)率對于RS法影響較小，因為RS法在決策時并不考慮系統(tǒng)的狀態(tài)信息。

圖5 系統(tǒng)傳輸數(shù)據(jù)量對比

圖6 為在不同的數(shù)據(jù)到達(dá)率和不同的算法下系統(tǒng)的平均功耗對比。由圖6可知，RS法相對較為平穩(wěn)。因為RS法并不受系統(tǒng)狀態(tài)信息的影響，所以，數(shù)據(jù)到達(dá)率λ對于RS傳輸方式選擇基本上沒什么影響，另外3種方法的功率則受λ的影響較大。當(dāng)系統(tǒng)中的數(shù)據(jù)量較大時，緩存器的壓力較大，迫使中繼節(jié)點選擇更好的傳輸方式來發(fā)送更多的數(shù)據(jù)以減小緩存器的壓力，最終使功率消耗較大。3種方法的能耗均呈現(xiàn)出先快速增長，隨后平緩增長的趨勢。因為隨著緩存器中數(shù)據(jù)的增多，發(fā)送的數(shù)據(jù)越多，能耗越大，故功率曲線增長越快。因為緩存空間有限，當(dāng)數(shù)據(jù)量達(dá)到了緩存的最大承受限度后，緩存壓力不再增大，因此，最終也趨于平穩(wěn)。

圖6 系統(tǒng)平均能耗對比

當(dāng)系統(tǒng)緩存器中的緩存空間較小時，如果下一幀到達(dá)的數(shù)據(jù)分組個數(shù)較多，會因為沒有足夠的空間而造成數(shù)據(jù)丟失。系統(tǒng)的平均分組丟失數(shù)如圖 7所示，隨著到達(dá)率的逐漸增大，4種算法的分組丟失數(shù)均逐漸增加。由于RS法在選擇行為時不考慮功耗和緩存壓力，因此，分組丟失數(shù)較大。相對來說其他3種方法的分組丟失數(shù)較小。而本文算法的分組丟失數(shù)雖然大于SI法獲得的最優(yōu)值，不過仍小于W學(xué)習(xí)法的分組丟失數(shù)。

圖7 系統(tǒng)平均分組丟失數(shù)對比

系統(tǒng)的平均效用對比如圖8所示。由圖8可知，SI法、本文方法和W學(xué)習(xí)法的效用值均高于RS法。RS法在行為選擇時未考慮組成效用函數(shù)的各個參量因素。由圖8可知，本文方法的系統(tǒng)效用值雖然相較SI法小，但仍優(yōu)于W學(xué)習(xí)法的效用值。隨著數(shù)據(jù)分組到達(dá)率的增大，這3種效用曲線均呈現(xiàn)出先增大后減小的趨勢。這是因為當(dāng)λ較小時，系統(tǒng)可以同時選擇合適的行為方式來提升效用值。但是當(dāng)數(shù)據(jù)量較大時，雖然系統(tǒng)在盡力傳輸數(shù)據(jù)但仍然不能做到數(shù)據(jù)的完全傳輸，同時在傳輸數(shù)據(jù)量較大時功耗也很大。因此，效用曲線呈現(xiàn)出先增大后減小的趨勢。

圖8 系統(tǒng)平均效用對比

7 結(jié)束語

針對無線網(wǎng)絡(luò)中的高效傳輸問題，本文建立了基于 MDP的系統(tǒng)模型。MDP模型是一個行為選擇以及狀態(tài)轉(zhuǎn)移模型，通過選擇最優(yōu)的行為來最大化收益。本文提出使用深度 Q學(xué)習(xí)的人工智能算法對該MDP的傳輸決策問題進(jìn)行求解，適合環(huán)境狀態(tài)信息未知，即狀態(tài)轉(zhuǎn)移概率未知的實際場景。在策略的求解問題中，策略迭代法往往能取得最優(yōu)的策略，但是該方法易陷入維災(zāi)問題，且在求解最優(yōu)策略的過程中依賴于事先知道的狀態(tài)轉(zhuǎn)移概率。本文方案是在當(dāng)前狀態(tài)下進(jìn)行求解，不需要過多的環(huán)境狀態(tài)信息；并且，使用深度學(xué)習(xí)的方法來建立系統(tǒng)狀態(tài)和行為之間的映射關(guān)系，避免了強(qiáng)化學(xué)習(xí)過程的較大計算量，實現(xiàn)了快速求解，解決了維災(zāi)問題。

附錄A 定理1證明

證明 式(10)是由 3個部分組成，分子為收益函數(shù)ri,j=v×2j,j= 1 ,2,3,…，表示每一幀能夠發(fā)送的數(shù)據(jù)量，是一個有限值。分母部分為系統(tǒng)代價(式(9))。其中，緩存區(qū)的壓力表達(dá)式為fk,i=exp(ρlk,i)，而緩存中的數(shù)據(jù)量是有界整數(shù)值。因此，f同樣是離散的有限值。由式(5)和式(6)可知，發(fā)送的功率與傳輸方式有關(guān)，因此，功率p也是離散有限值。所以，系統(tǒng)效用值有界。證畢。

附錄B 定理2證明

證明 定義初始函數(shù)為Q0(si,ai)，對于所有的si∈S和ai∈A均按照式(18)進(jìn)行更新獲得最優(yōu)值Q*(si,ai)。

對于函數(shù)Q*(si,ai)、O(si,ai)和Q0(si,ai)，使常量ε,η,?,ζ和γ,(0 <γ<1)滿足

其中，0<ε≤η<∞和0≤?≤ζ<∞，因為最優(yōu)值是未知的，所以ε、η、?和ζ的值不能直接獲得。因此，需證明對于?ε、η、?、ζ，經(jīng)過迭代后Q(si,ai)可以收斂得到最優(yōu)。

如果0 ≤?≤ζ<1，那么對于?i=0,1,…，性能函數(shù)Qi( si,ai)滿足

下面，通過數(shù)學(xué)歸納法證明式(27)。

當(dāng) i = 0 時，有

同理可得

于是，當(dāng) i = 0 時，滿足式(27)。

假設(shè)當(dāng)i=l-1，l=1,2,…時，仍滿足式(27)。那么，當(dāng)i=l時，有

同理可得

因此，對 ? i = 0 ,1,2,…滿足式(27)。

接下來，證明當(dāng)0 ≤ ?≤1 ≤ ξ<∞時，滿足

式(32)的左半部分可以通過式(28)和式(30)來證得。對于右半部分，令 i = 0 ，有

根據(jù)數(shù)學(xué)歸納法可以得到式(32)的右半部分。因此，當(dāng)0 ≤ ?≤ξ<∞，可得對于 ? i = 0 ,1,2,…，評價函數(shù)滿足式(27)。

最后，根據(jù)以上結(jié)論，對于任意的常量ε、η、?和ξ，由式(27)～式(33)，當(dāng)i→∞ 時，可得式(20)。證畢。

參考文獻(xiàn)：

[1]朱江,徐斌陽,李少謙. 一種基于馬爾可夫決策過程的認(rèn)知無線電網(wǎng)絡(luò)傳輸調(diào)度方案[J]. 電子與信息學(xué)報,2009,31(8):2019-2023.ZHU J,XU B Y,LI S Q. A transmission and scheduling scheme based on Markov decision process in cognitive radio networks [J]. Journal of Electronics & Information Technology,2009,31(8):2019-2023.

[2]ZHU J,PENG Z Z,LI F. A transmission and scheduling scheme based on W-learning algorithm in wireless networks[C]//8th International ICST Conference on Communications and Networking in China(CHINACOM). 2013: 85-90.

[3]LI H,HAN Z. Competitive spectrum access in cognitive radio networks: graphical game and learning[C]//Wireless Communications and Networking Conference (WCNC). 2010: 1-6.

[4]林曉輝,譚宇,張俊玲,等. 無線傳輸中基于馬爾可夫決策的高能效策略[J]. 系統(tǒng)工程與電子技術(shù),2014,36(7):1433-1438.LIN X H,TAN Y,ZHANG J L,et al. MDP-based energy efficient policy for wireless transmission[J]. Systems Engineering and Electronics,2014,36(7):1433-1438.

[5]WANG H S,MOAYERI N. Finite-state Markov channel-a useful model for radio communication channels[J]. IEEE Transactions on Vehicular Technology,1995,44(1): 163-171.

[6]GAO Q,ZHU G,LIN S,et al. Robust QoS-aware cross-layer design of adaptive modulation transmission on OFDM systems in high-speed railway[J]. IEEE Access,2016,PP(99): 1.

[7]CHEN X,CHEN W. Delay-optimal probabilistic scheduling for low-complexity wireless links with fixed modulation and coding: a cross-layer design[J]. IEEE Transactions on Vehicular Technology,2016: 1.

[8]LAU V K N. Performance of variable rate bit interleaved coding for high bandwidth efficiency[C]//The Vehicular Technology Conference.2000:2054-2058.

[9]CHUNG S T,GOLDSMITH A J. Degrees of freedom in adaptive modulation: a unified view[C]// IEEE Transactions on Communications. 2001:1561-1571.

[10]WEI Q,LIU D,SHI G. A novel dual iterative Q-learning method for optimal battery management in smart residential environments[J].IEEE Transactions on Industrial Electronics,2015,62(4):2509-2518.

[11]NI J,LIU M,REN L,et al. A multiagent Q-learning-based optimal allocation approach for urban water resource management system[J].IEEE Transactions on Automation Science & Engineering,2014,11(1):204-214.

[12]SILVER D,HUANG A,MADDISON C J,et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature,2016,529(7587):484-489.

[13]WEI C,ZHANG Z,QIAO W,et al. An adaptive network-based reinforcement learning method for MPPT control of PMSG wind energy conversion systems[J]. IEEE Transactions on Power Electronics,2016: 1.

[14]KIM T,SUN Z,COOK C,et al. Invited-cross-layer modeling and optimization for electromigration induced reliability[C]// Design Automation Conference. 2016:1-6.

[15]COMSA I S,ZHANG S,AYDIN M. A novel dynamic Q-learning-based scheduler technique for LTE-advanced technologies using neural networks[C]// Conference on Local Computer Networks.2012:332-335.

[16]TENG T H,TAN A H. Fast reinforcement learning under uncertainties with self-organizing neural networks[C]// IEEE / WIC / ACM International Conference on Web Intelligence and Intelligent Agent Technology. 2015:51-58.

[17]KOBAYASHI T,SHIBUYA T,TANAKA F,et al. Q-learning in continuous state-action space by using a selective desensitization neural network[J]. IEICE Technical Report Neurocomputing,2011,111:119-123.

[18]周文云. 強(qiáng)化學(xué)習(xí)維數(shù)災(zāi)問題解決方法研究[D]. 蘇州: 蘇州大學(xué),2009.ZHOU W Y. Research on the curse of dimensionality in reinforcement learning[D]. Suzhou: Soochow University,2009.

[19]LIU W,LIU N,SUN H,et al. Dispatching algorithm design for elevator group control system with Q-learning based on a recurrent neural network[C]// Control and Decision Conference. 2013:3397-3402.

[20]WEI Q,LEWISF L,SUN Q,et al. Discrete-time deterministic Q-learning: a novel convergence analysis[J]. IEEE transactions on cybernetics,2016: 1-14.

[21]李軍,徐玖平. 運(yùn)籌學(xué):非線性系統(tǒng)優(yōu)化[M]. 北京: 科學(xué)出版社,2003.LI J,XU J P. Operations research: nonlinear system optimization[M].Beijing: Science Press,2003.