基于隨機(jī)學(xué)習(xí)的異構(gòu)蜂窩網(wǎng)絡(luò)離散功率控制機(jī)制①

王園園 周一青 李永會(huì) 石晶林 田 霖 錢(qián)蔓藜

(*中國(guó)科學(xué)院計(jì)算技術(shù)研究所 北京 100190) (**中國(guó)科學(xué)院大學(xué) 北京 100049) (***移動(dòng)計(jì)算與新型終端北京市重點(diǎn)實(shí)驗(yàn)室 北京 100080) (****悉尼大學(xué)電子與信息工程學(xué)院 悉尼 NSW2006)

?

基于隨機(jī)學(xué)習(xí)的異構(gòu)蜂窩網(wǎng)絡(luò)離散功率控制機(jī)制①

王園園②**********周一青③******李永會(huì)****石晶林******田 霖****錢(qián)蔓藜****

(*中國(guó)科學(xué)院計(jì)算技術(shù)研究所 北京 100190) (**中國(guó)科學(xué)院大學(xué) 北京 100049) (***移動(dòng)計(jì)算與新型終端北京市重點(diǎn)實(shí)驗(yàn)室 北京 100080) (****悉尼大學(xué)電子與信息工程學(xué)院 悉尼 NSW2006)

針對(duì)宏基站和低功率小基站重疊覆蓋共享頻譜的異構(gòu)網(wǎng)絡(luò)中干擾抑制問(wèn)題，提出了一種基于隨機(jī)學(xué)習(xí)理論的基站下行離散功率控制機(jī)制，以便在保證宏基站傳輸?shù)淖畹蛡鬏斮|(zhì)量要求下，最大化網(wǎng)絡(luò)滿(mǎn)足傳輸質(zhì)量要求的小基站傳輸個(gè)數(shù)。該方法將每個(gè)小基站作為隨機(jī)學(xué)習(xí)自動(dòng)機(jī)，維持一個(gè)概率向量用于傳輸功率選擇。算法迭代過(guò)程中，小基站獨(dú)立地基于自身選擇的傳輸功率以及網(wǎng)絡(luò)反饋的信息，即滿(mǎn)足傳輸質(zhì)量要求的小基站傳輸?shù)膫€(gè)數(shù)，來(lái)更新概率向量，調(diào)整傳輸功率，直到系統(tǒng)達(dá)到均衡狀態(tài)。仿真結(jié)果表明，基于隨機(jī)學(xué)習(xí)的離散功率控制方法具有很好的收斂性和尋優(yōu)性能，能有效提高系統(tǒng)可支持的滿(mǎn)足傳輸質(zhì)量要求的小基站傳輸數(shù)量，適用實(shí)際系統(tǒng)。

異構(gòu)網(wǎng)絡(luò)， 干擾抑制， 隨機(jī)學(xué)習(xí)， 離散功率控制

0 引 言

在移動(dòng)互聯(lián)應(yīng)用、智能終端的日益普及下，蜂窩網(wǎng)絡(luò)整體容量亟需大的提升，熱點(diǎn)和盲點(diǎn)亟需靈活的部署方案來(lái)完善覆蓋。宏基站和低功率小基站重疊覆蓋的異構(gòu)網(wǎng)絡(luò)成為一種提升蜂窩網(wǎng)絡(luò)容量和覆蓋的最為有效的解決方案[1，2]。為了有效利用頻譜和提升頻譜效率，小基站通常與宏基站使用相同的授權(quán)頻譜[3]，這種部署方式使得異構(gòu)蜂窩網(wǎng)絡(luò)的干擾場(chǎng)景更加復(fù)雜。系統(tǒng)干擾包括同層干擾如小基站間干擾，以及跨層干擾如小基站同宏基站間干擾等，如果不能有效控制，干擾將極大地降低異構(gòu)蜂窩網(wǎng)絡(luò)的性能[3，4]。因此干擾抑制是部署異構(gòu)蜂窩網(wǎng)絡(luò)亟需解決的問(wèn)題。

功率控制是頻譜共享的異構(gòu)蜂窩網(wǎng)絡(luò)中抑制干擾的一個(gè)重要機(jī)制，現(xiàn)有文獻(xiàn)表明該機(jī)制已得到廣泛研究[5-9]。文獻(xiàn)[5]提出了小基站自適應(yīng)功率控制機(jī)制，小基站通過(guò)調(diào)節(jié)自己的傳輸功率抑制對(duì)宏基站用戶(hù)的干擾，以滿(mǎn)足宏基站用戶(hù)的最低信號(hào)與干擾加噪聲比(signal-to-interference-noise ratio, SINR)要求(本文中將以“SINR要求”表示一個(gè)用戶(hù)的最低傳輸質(zhì)量要求)。但上述研究并沒(méi)有考慮小基站傳輸之間的干擾。在小基站密集部署的情況下，該機(jī)制無(wú)法保證小基站傳輸?shù)腟INR要求[3]。文獻(xiàn)[6-9]綜合考慮了小基站之間及小基站與宏基站之間的傳輸干擾，提出了基于非合作博弈的小基站功率調(diào)節(jié)機(jī)制。小基站調(diào)節(jié)傳輸功率以最大化個(gè)人效用，個(gè)人效用定義為小基站獲得的傳輸容量減去傳輸對(duì)其他基站的干擾，進(jìn)一步給出了不同的算法找到系統(tǒng)的納什均衡點(diǎn)。文獻(xiàn)[6，7]提出的機(jī)制最終不能完全保證宏基站用戶(hù)的質(zhì)量要求，文獻(xiàn)[8，9]提出的機(jī)制需要小基站與宏基站共享大量信息，增加了系統(tǒng)傳輸負(fù)擔(dān)。進(jìn)一步分析發(fā)現(xiàn)，文獻(xiàn)[5-9]中提出的功率控制機(jī)制均會(huì)導(dǎo)致小基站的低效傳輸，這是因?yàn)槭褂梦墨I(xiàn)[5-9]中提出的功率控制機(jī)制，無(wú)論小基站用戶(hù)接收到的SINR是否滿(mǎn)足其要求，小基站會(huì)持續(xù)以選定的功率進(jìn)行傳輸。當(dāng)小基站用戶(hù)接收到的SINR顯著低于最低傳輸質(zhì)量要求時(shí)，這些傳輸對(duì)小基站用戶(hù)的數(shù)據(jù)傳輸無(wú)益，反而對(duì)其他數(shù)據(jù)傳輸造成了額外干擾[3，10]。此外，文獻(xiàn)[5-9]中均假設(shè)傳輸功率為連續(xù)值，而實(shí)際系統(tǒng)中傳輸功率為離散值[11]。因此本文綜合考慮了宏基站與小基站的離散傳輸功率限制、用戶(hù)傳輸質(zhì)量要求以及整個(gè)網(wǎng)絡(luò)的干擾狀態(tài)，首先給出了網(wǎng)絡(luò)中滿(mǎn)足用戶(hù)傳輸質(zhì)量要求的可行傳輸功率解的必要條件，在此分析基礎(chǔ)上定義了系統(tǒng)的優(yōu)化目標(biāo)為在保證宏基站用戶(hù)的SINR要求下，最大化網(wǎng)絡(luò)中滿(mǎn)足SINR要求的同時(shí)傳輸?shù)男』緜鬏數(shù)膫€(gè)數(shù)，并提出了基于隨機(jī)學(xué)習(xí)機(jī)制的離散功率控制(stochastic learning based discrete power control, SLPC)機(jī)制[12，13]。該機(jī)制將小基站作為學(xué)習(xí)機(jī)，通過(guò)對(duì)選擇的傳輸功率和網(wǎng)絡(luò)反饋信息的學(xué)習(xí)不斷調(diào)整傳輸功率，以實(shí)現(xiàn)系統(tǒng)目標(biāo)最大化。仿真結(jié)果表明，在網(wǎng)絡(luò)密集部署情況下，使用SLPC算法的網(wǎng)絡(luò)支持的滿(mǎn)足傳輸質(zhì)量要求的小基站傳輸數(shù)目達(dá)到了使用現(xiàn)有功率控制算法支持?jǐn)?shù)目的兩倍。

1 系統(tǒng)模型及優(yōu)化問(wèn)題定義

1.1 系統(tǒng)模型描述

考慮一個(gè)由宏基站及小基站構(gòu)成的異構(gòu)蜂窩網(wǎng)絡(luò)區(qū)域。宏基站B0處于宏小區(qū)中心，為宏小區(qū)內(nèi)用戶(hù)提供接入服務(wù)。宏小區(qū)內(nèi)有一個(gè)熱點(diǎn)地區(qū)，N個(gè)小基站Bi(1≤i≤N)部署在熱點(diǎn)地區(qū)內(nèi)為地區(qū)內(nèi)用戶(hù)提供接入服務(wù)。小基站與宏基站可以通過(guò)光纖回程鏈路通信[1]。小基站與宏基站使用相同的頻譜。宏基站用戶(hù)及小基站用戶(hù)均勻分布在對(duì)應(yīng)區(qū)域內(nèi)。網(wǎng)絡(luò)模型如圖1所示。本系統(tǒng)中，假設(shè)在一個(gè)傳輸單元上(一個(gè)傳輸單元為一塊時(shí)頻資源)，每個(gè)基站最多只向一個(gè)用戶(hù)進(jìn)行數(shù)據(jù)傳輸。

圖1 異構(gòu)蜂窩網(wǎng)絡(luò)系統(tǒng)模型

(1)

其中，σ2表示系統(tǒng)熱噪聲功率；gi, j(0≤i, j≤N)表示用戶(hù)Ui與基站Bj間信道增益。此處我們假設(shè)信道增益僅考慮信道的慢衰落特性[14]，包括路徑損耗和陰影衰落。

以Γi(0≤i≤N)表示用戶(hù)Ui的SINR要求，為保證傳輸質(zhì)量，用戶(hù)Ui接收到的SINRγi需要滿(mǎn)足

γi≥Γi

(2)

1.2 可行傳輸功率解分析

考慮用戶(hù)接收信號(hào)SINR要求，我們需要分析系統(tǒng)是否存在可行的傳輸功率解，即所有基站在規(guī)定的范圍內(nèi)選擇傳輸功率是否存在傳輸功率組合，使得?Ui(0≤i≤N)均滿(mǎn)足式(2)。為方便分析，做如下定義：

? 矩陣G為歸一化的信道增益矩陣，G中共有(N+1)×(N+1)個(gè)元素，元素Gi, j定義為

(3)

? 向量η=(η0,η1,…,ηN)為歸一化的噪聲向量，其元素定義為ηi=Γi·σ2/gi,i；

? 對(duì)角矩陣Γ=diag(Γ0,Γ1,…,ΓN)表示系統(tǒng)基站的SINR要求矩陣。

基于以上的定義，式(2)可以表示為如下矩陣-向量形式：

qT≥ΓGqT+ηT

(4)

定義1 當(dāng)傳輸功率向量q∈Q且使得式(4)成立，則該傳輸功率向量q為系統(tǒng)的可行傳輸功率解。

定理1 以下條件是該系統(tǒng)存在可行的傳輸功率解的必要條件：

(1) ρ(ΓG)<1;

證明： 根據(jù)無(wú)線系統(tǒng)基站與用戶(hù)間的信道增益關(guān)系，可以合理認(rèn)定ΓG為非負(fù)不可約矩陣[8,15]，進(jìn)一步，根據(jù)Perron-Frobenius定理[16]，文獻(xiàn)[15]給出了當(dāng)系統(tǒng)中基站傳輸功率可取大于0的任意連續(xù)值的情況下，系統(tǒng)中存在滿(mǎn)足式(4)的非負(fù)的傳輸功率解的充分必要條件為ρ(ΓG)<1(文獻(xiàn)[15]引理1.1與定理2.1)。本文系統(tǒng)中，基站傳輸功率為離散值，因此，ρ(ΓG)<1是本系統(tǒng)存在可行傳輸功率解的必要條件。

基于以上的分析，本定理得證。

1.3 優(yōu)化問(wèn)題定義

考慮用戶(hù)接收信號(hào)的SINR要求，定理1給出了系統(tǒng)存在可行傳輸功率解的必要條件。當(dāng)定理1中的兩個(gè)條件不能被同時(shí)滿(mǎn)足時(shí)，系統(tǒng)僅可以支持部分傳輸滿(mǎn)足用戶(hù)的最小SINR要求。基于以上分析，我們定義系統(tǒng)的最優(yōu)化問(wèn)題為在滿(mǎn)足宏基站用戶(hù)的傳輸質(zhì)量要求的前提下，通過(guò)優(yōu)化小基站的傳輸功率，最大化系統(tǒng)能夠支持的滿(mǎn)足傳輸質(zhì)量要求的小基站傳輸?shù)膫€(gè)數(shù)。最優(yōu)化函數(shù)定義如下：

(4a)

s.t. qi∈Qs, ?1≤i≤N

(4b)

其中Ii指示用戶(hù)Ui接收信號(hào)是否可以滿(mǎn)足其SINR要求Γi，?i (0≤i≤N)，Ii定義如下：

(5)

條件(式(4b))表示小基站的傳輸功率需要在離散功率值集合Qs中選擇。從優(yōu)化目標(biāo)(式(4a))可以看到，僅有當(dāng)宏用戶(hù)U0接收SINR滿(mǎn)足質(zhì)量要求，即I0=1且至少一個(gè)小基站用戶(hù)接收SINR滿(mǎn)足質(zhì)量要求時(shí)，(式(4a))才為正值。

系統(tǒng)最優(yōu)化函數(shù)(式(4))的最優(yōu)解可以通過(guò)窮盡搜索方法獲得。嘗試小基站傳輸功率的所有組合，可以獲得使系統(tǒng)目標(biāo)最優(yōu)的傳輸功率組合。

2 基于隨機(jī)學(xué)習(xí)的離散功率控制

盡管窮盡搜索可以找到系統(tǒng)最優(yōu)化問(wèn)題的最優(yōu)解，但窮盡搜索需要集中式控制，具有(Ls)N的計(jì)算復(fù)雜度且要求基站之間交互大量控制信息，因此不適用于實(shí)際系統(tǒng)?？紤]到大量小基站部署的隨機(jī)性，受文獻(xiàn)[12，13]中隨機(jī)學(xué)習(xí)機(jī)制的啟發(fā)，本文中我們提出一個(gè)基于隨機(jī)學(xué)習(xí)機(jī)制的小基站功率控制算法。

2.1 算法描述

隨機(jī)學(xué)習(xí)體是自適應(yīng)的決策制定實(shí)體，能夠通過(guò)對(duì)個(gè)體動(dòng)作與環(huán)境交互結(jié)果的學(xué)習(xí)找到對(duì)個(gè)體最優(yōu)的動(dòng)作[17]。將隨機(jī)學(xué)習(xí)應(yīng)用于本系統(tǒng)中，每一個(gè)小基站Bi(1≤i≤N)作為一個(gè)獨(dú)立學(xué)習(xí)體，定義其動(dòng)作集合，動(dòng)作選擇概率向量，獎(jiǎng)勵(lì)函數(shù)及概率更新機(jī)制如下：

(1) 動(dòng)作集合：本系統(tǒng)中定義小基站Bi的動(dòng)作為選擇一個(gè)傳輸功率，因此小基站有Ls個(gè)可選的動(dòng)作，動(dòng)作集合為Qs。

(3) 獎(jiǎng)勵(lì)：基于系統(tǒng)的最優(yōu)化目標(biāo)(式(4))，我們定義在時(shí)刻k，小基站Bi獲得的動(dòng)作獎(jiǎng)勵(lì)如下：

(6)

其中，Ij(k)的定義如式(5)所示。在時(shí)刻k，當(dāng)U0接收到的γ0不能滿(mǎn)足其SINR要求Γ0，即γ0(k)<Γ0時(shí)，I0(k)=0，則小基站得到的獎(jiǎng)勵(lì)為0；當(dāng)U0接收SINR要求得到滿(mǎn)足，即γ0(k)≥Γ0時(shí)，I0(k)=1，則小基站得到的獎(jiǎng)勵(lì)同系統(tǒng)中滿(mǎn)足傳輸SINR要求的小基站的個(gè)數(shù)成正比。

小基站通過(guò)調(diào)節(jié)下行發(fā)射功率以獲得最大的獎(jiǎng)勵(lì)，從而使得：(i)宏用戶(hù)的SINR要求得到滿(mǎn)足；(ii)在(i)得到滿(mǎn)足的情況下，系統(tǒng)中滿(mǎn)足傳輸?shù)腟INR要求的小基站傳輸?shù)膫€(gè)數(shù)最大化。式(6)的定義同系統(tǒng)最優(yōu)化目標(biāo)(式(4))是一致的。式(6)中的歸一化操作是由隨機(jī)學(xué)習(xí)機(jī)制決定的，學(xué)習(xí)體獎(jiǎng)勵(lì)取值需在0到1之間[17,18]。

(4) 概率更新機(jī)制：本系統(tǒng)中，小基站Bi傳輸功率概率更新機(jī)制定義如下：

pi(k+1)=pi(k)+λri(k)(eli-pi(k))

(7)

其中，0<λ<1為學(xué)習(xí)速率，ri(k)為小基站獲得的獎(jiǎng)勵(lì)，eli為具有Ls個(gè)元素且第li個(gè)元素為1的單位向量，其中l(wèi)i表示小基站Bi在時(shí)刻k選擇的功率為傳輸功率集合Qs中的第li個(gè)傳輸功率。概率更新機(jī)制(式(7))是線性動(dòng)作獎(jiǎng)勵(lì)機(jī)制(LR-I)[17，18]，該機(jī)制的特點(diǎn)為：對(duì)小基站而言，當(dāng)選擇的傳輸功率獲得正獎(jiǎng)勵(lì)時(shí)，即ri(k)>0，則在下一時(shí)刻選擇該傳輸功率的概率將增加，相應(yīng)地，選擇其他傳輸功率的概率將減?。欢?dāng)選擇的傳輸功率獲得獎(jiǎng)勵(lì)為零時(shí)，即ri(k)=0，則在下一時(shí)刻選擇傳輸功率的概率保持不變。LR-I是ε-最優(yōu)的并且具有好的收斂特性[17，18]。

具體地，在一個(gè)傳輸單元上，本文提出的離散功率控制(SLPC)算法步驟如下：

(1) 初始化：時(shí)刻k為0，小基站Bi的傳輸功率概率分布為均勻分布，即pi,l(0)=1/Ls，?1≤i≤N, 1≤l≤Ls；

(2) 在時(shí)刻k(k>0)，每個(gè)小基站Bi根據(jù)其當(dāng)前時(shí)刻的傳輸功率選擇概率向量pi(k)選擇傳輸功率qi(k)，并使用該功率進(jìn)行數(shù)據(jù)傳輸；

(3) 所有調(diào)度用戶(hù)Ui(0≤i≤N)，基于接收到的SINR及自身SINR要求根據(jù)式(5)計(jì)算其Ii，完成計(jì)算后小基站用戶(hù)將其Ii反饋給小基站并轉(zhuǎn)發(fā)給宏基站B0。B0根據(jù)式(6)計(jì)算系統(tǒng)獎(jiǎng)勵(lì)并廣播給所有小基站；

(4) 每個(gè)小基站根據(jù)式(7)中的概率更新機(jī)制更新其傳輸功率選擇概率向量pi(k)；

(5) 對(duì)小基站Bi(1≤i≤N)，其傳輸功率選擇概率向量pi(k)中有一個(gè)元素pi,l(1≤l≤Ls)趨近于1，如大于0.99[12,18]，則該算法停止；否則，重復(fù)步驟(2)-(5);

(6) 當(dāng)前述學(xué)習(xí)過(guò)程停止后，?Bi(1≤i≤N)，如果Bi傳輸功率不為0但I(xiàn)i=0，則該小基站本次選擇不進(jìn)行傳輸，此步驟可以進(jìn)一步降低不必要的傳輸，提高其他滿(mǎn)足傳輸要求用戶(hù)的速率。

2.2 算法收斂性分析

本節(jié)將分析文中提出的SLPC算法的收斂性。文獻(xiàn)[18]中作者對(duì)基于線性動(dòng)作獎(jiǎng)勵(lì)機(jī)制(LR-I)的隨機(jī)學(xué)習(xí)算法的收斂性進(jìn)行了分析，指出如果隨機(jī)學(xué)習(xí)系統(tǒng)中的學(xué)習(xí)體獲得的獎(jiǎng)勵(lì)值相同，且用戶(hù)采取的動(dòng)作選擇概率更新機(jī)制為線性動(dòng)作獎(jiǎng)勵(lì)機(jī)制(LR-I)，則隨機(jī)學(xué)習(xí)系統(tǒng)最終會(huì)收斂到系統(tǒng)的納什均衡點(diǎn)(定理3.2及定理4.1)。

在本系統(tǒng)中，由式(6)定義可知，在時(shí)刻k，每個(gè)小基站用戶(hù)將獲得相同的獎(jiǎng)勵(lì)值，即ri(k)=rj(k), ?1≤i, j≤N，該獎(jiǎng)勵(lì)值由系統(tǒng)中宏基站用戶(hù)及所有小基站用戶(hù)的信號(hào)接收質(zhì)量情況共同決定。同時(shí)SLPC算法中小基站使用的概率更新機(jī)制為線性動(dòng)作獎(jiǎng)勵(lì)機(jī)制LR-I(式(7))。基于前面的分析可得，提出的SLPC算法總是可以收斂到系統(tǒng)的一個(gè)納什均衡點(diǎn)。

3 實(shí)驗(yàn)結(jié)果及性能分析

本節(jié)通過(guò)仿真實(shí)驗(yàn)評(píng)價(jià)提出的SLPC算法的收斂性以及算法的尋優(yōu)性能，以及算法的收斂速度。算法性能將與文獻(xiàn)[8]中提出的保護(hù)宏基站傳輸?shù)姆植际焦β士刂?cellular protected distributed power control, CDPC)機(jī)制以及窮盡搜索機(jī)制進(jìn)行比對(duì)。其中窮盡搜索機(jī)制為系統(tǒng)性能的最高限。

3.1 仿真場(chǎng)景

圖2 仿真系統(tǒng)模型

系統(tǒng)仿真參數(shù)如表1所示。假設(shè)小基站用戶(hù)的最小SINR要求可以取[5, 20]dB中的任意值。

3.2 SLPC算法收斂性

我們首先考慮一個(gè)簡(jiǎn)單的場(chǎng)景，假設(shè)熱點(diǎn)區(qū)域內(nèi)只有4個(gè)小基站傳輸數(shù)據(jù)，且僅有4個(gè)可選的傳輸功率，功率集合為{0, 333.33mW, 666.66mW, 1000mW}，設(shè)小基站順次編號(hào)為1，2，3，4。使用窮盡搜索方法可得最優(yōu)化問(wèn)題(式(4))的最優(yōu)傳輸功率解為q={666.66mW, 0, 333.33mW, 0}，即在滿(mǎn)足宏基站用戶(hù)SINR要求下，系統(tǒng)中還可以支持2個(gè)小基站同時(shí)傳輸，且滿(mǎn)足小基站用戶(hù)的SINR要求。圖3給出了算法執(zhí)行過(guò)程中任意一個(gè)小基站傳輸功率選擇概率的變化曲線?？梢钥吹皆摶镜膫鬏敼β蔬x擇概率向量經(jīng)過(guò)約180次迭代從{1/4,1/4,1/4,1/4}演變?yōu)閧0,0,1,0}，也就是該基站最終將以666.66mW傳輸。仿真中，其他小基站也有類(lèi)似的概率向量演進(jìn)結(jié)果。同時(shí)，基于小基站的編號(hào)順序，小基站的功率傳輸向量最終收斂到最優(yōu)解q={666.66mW, 0, 333.33mW, 0}。

表1 仿真參數(shù)配置

圖3 算法執(zhí)行過(guò)程中任一用戶(hù)傳輸功率選擇 概率變化曲線(N=4, L=4)

圖4給出了算法執(zhí)行過(guò)程中小基站接收到的獎(jiǎng)勵(lì)值的變化曲線。獎(jiǎng)勵(lì)值最終收斂到1/2。由式(6)中獎(jiǎng)勵(lì)值的定義可知，小基站傳輸功率滿(mǎn)足了宏基站用戶(hù)及2個(gè)小基站用戶(hù)傳輸?shù)腟INR要求，同最優(yōu)解一致。

圖4 算法執(zhí)行過(guò)程中小基站收到的獎(jiǎng)勵(lì)值 變化曲線(N=4, L=4)

3.3 SLPC算法性能

圖5給出了隨著小基站部署密度增大，不同算法下系統(tǒng)中支持的滿(mǎn)足最低服務(wù)質(zhì)量要求的小基站傳輸?shù)钠骄鶄€(gè)數(shù)。平均值是通過(guò)更改小基站用戶(hù)在小基站覆蓋范圍內(nèi)的位置來(lái)計(jì)算的。

圖5顯示，提出的SLPC算法性能優(yōu)于CDPC算法，并且隨著部署小基站數(shù)目增加性能增益更大。這是因?yàn)槭褂肅DPC算法，當(dāng)算法收斂時(shí)，不管小基站的傳輸功率是否滿(mǎn)足用戶(hù)質(zhì)量需求，小基站都將以收斂到的功率持續(xù)傳輸。當(dāng)小基站用戶(hù)的最低傳輸質(zhì)量要求無(wú)法滿(mǎn)足時(shí)，傳輸對(duì)小基站用戶(hù)無(wú)益，且會(huì)造成對(duì)系統(tǒng)其他用戶(hù)的額外干擾，從而造成更多的傳輸不能滿(mǎn)足最低質(zhì)量傳輸要求。小基站部署越密集，基站間干擾越嚴(yán)重，CDPC算法性能越低。

圖5 不同算法下，滿(mǎn)足最低傳輸質(zhì)量要求的小基站 傳輸平均個(gè)數(shù)對(duì)比(L=8)

圖5同樣顯示，當(dāng)小基站個(gè)數(shù)較少時(shí)，SLPC算法性能接近窮盡搜索算法性能，隨著小基站個(gè)數(shù)增多，性能差距增大。這種性能表現(xiàn)同2.3節(jié)中的算法收斂性分析是相對(duì)應(yīng)的，SLPC算法在執(zhí)行過(guò)程中會(huì)收斂到系統(tǒng)的本地最優(yōu)，不一定能找到系統(tǒng)全局最優(yōu)解。

圖6比較了在不同小基站數(shù)目，以及不同傳輸功率數(shù)目下，SLPC算法收斂時(shí)所需迭代次數(shù)。從圖中我們可以看出，對(duì)給定的基站數(shù)目，可選的傳輸功率數(shù)目越多，算法收斂所需的迭代次數(shù)對(duì)應(yīng)增加。因?yàn)楣β蕚鬏敂?shù)目越多，基站傳輸功率組合越多，算法執(zhí)行過(guò)程中基站學(xué)習(xí)的樣本空間越大，因此算法收斂所需的迭代次數(shù)也增大。同樣，給定傳輸功率數(shù)目，隨著區(qū)域內(nèi)部署小基站數(shù)目增加，算法收斂所需的迭代次數(shù)也增大。

圖6 不同小基站數(shù)目，不同傳輸功率數(shù)目下， SLPC算法收斂所需迭代次數(shù)比較

4 結(jié) 論

本文提出了一種新型頻譜共享的異構(gòu)蜂窩網(wǎng)絡(luò)的下行功率控制機(jī)制。本文首先基于網(wǎng)絡(luò)中宏蜂窩及小蜂窩用戶(hù)的傳輸功率限制和傳輸SINR要求，分析了給出異構(gòu)蜂窩網(wǎng)絡(luò)中存在可行傳輸功率解的必要條件。進(jìn)而定義了系統(tǒng)的最優(yōu)化目標(biāo)為在滿(mǎn)足宏基站傳輸?shù)腟INR要求的前提下，最大化網(wǎng)絡(luò)中滿(mǎn)足傳輸SINR要求的可同時(shí)傳輸?shù)男』緜€(gè)數(shù)。文中提出一種基于隨機(jī)學(xué)習(xí)技術(shù)的離散功率控制機(jī)制。每個(gè)小基站基于自己選擇的傳輸功率，以及網(wǎng)絡(luò)給予的指示宏基站及小基站用戶(hù)傳輸質(zhì)量要求的滿(mǎn)意度的反饋信息，調(diào)整傳輸功率直到系統(tǒng)達(dá)到均衡狀態(tài)。仿真結(jié)果驗(yàn)證了提出算法的收斂性與尋優(yōu)性。當(dāng)小基站部署密度大時(shí)，SLPC算法可以支持的滿(mǎn)足最低傳輸質(zhì)量要求的小基站傳輸個(gè)數(shù)是其他算法支持的2倍。

隨機(jī)學(xué)習(xí)機(jī)制可以應(yīng)對(duì)變化的環(huán)境，在不斷的動(dòng)作-反饋過(guò)程中學(xué)習(xí)，調(diào)整自己的行為以最大化自己的獎(jiǎng)勵(lì)。同時(shí)帶來(lái)的缺點(diǎn)是收斂速度較慢。下一步研究考慮，修正概率更新函數(shù)，并且概率更新考慮歷史獎(jiǎng)勵(lì)信息，以提高算法收斂性能。同時(shí)針對(duì)本場(chǎng)景，可以進(jìn)一步分析系統(tǒng)離散功率個(gè)數(shù)對(duì)系統(tǒng)性能的影響，從而指導(dǎo)實(shí)際系統(tǒng)規(guī)劃。

[1] Hoydis J, Kobayashi M, Debbah M. Green small-cell networks.IEEEVehicularTechnologyMagazine, 2011, 6(1): 37-43

[2] Zhou Y, Liu H, Pan Z, et al. Two-stage cooperative multicast transmission with optimized power consumption and guaranteed coverage.IEEEJSAConSEED, 2014,32(2):274-284

[3] Zhou Y, Liu L, Du H, et al. An overview on intercell interference management in mobile cellular networks: from 2G to 5G. In: Proceedings of the 14th IEEE International Conference on Communication System, Macau, China, 2014. 217-221

[4] Zhou Y, Liu H, Pan Z, et al. Spectral and energy efficient two-stage cooperative multicast for LTE-A and beyond.IEEEWirelessMagazine, 2014, 4(4): 34-41

[5] Morita M, Matsunaga Y, Hamabe K. Adaptive power level setting of femtocell base stations for mitigating interference with macrocells. In: Proceedings of the IEEE Vehicular Technology Conference, Ottawa, Canada, 2010. 1-5

[6] Zhang J, Hong P, Xue K. A novel power control scheme for femtocell in heterogeneous networks. In: Proceedings of the IEEE Consumer Communications and Networking Conference, Las Vegas, USA, 2012. 802-806

[7] Tai M H, Tran N H, Do C T, et al. Power control for interference management and QoS guarantee in heterogeneous networks.IEEECommunicationsLetters, 2015, 19(8):1402-1405

[8] Chandrasekhar V, Andrews J G, Muharemovic T, et al. Power control in two-tier femtocell networks.IEEETransactiononWirelessCommunication. 2009, 8(8): 4316-4328

[9] Wang H, Wang J, Ding Z. Distributed power control in a two-tier heterogeneous network.IEEETransactiononWirelessCommunication, 2015, 14(12): 6509-6523

[10] Garcia V, Zhou Y, Shi J L. Coordinated multipoint transmission in dense cellular networks with user-centric adaptive clustering.IEEETransactiononWirelessCommunication, 2014, 13(8): 4297-4308

[11] The 3rd Generation Partnership Project (3GPP). Technical Report 36.814 V 9.0.0. Further advancements for E-UTRA physical layer aspects. 2010

[12] Tseng L, Chien F, Zhang D, et al. Network selection in cognitive heterogeneous networks using stochastic learning.IEEECommunicationsLetters, 2013, 17(17):2304-2307

[13] Xu Y, Wang J, Wu Q, et.al. Opportunistic spectrum access in unknown dynamic environment: a game-theoretic stochastic learning solution.IEEETransactiononWirelessCommunication, 2012, 11(4):1380-1391

[14] Han Z, Niyato D, Saad W, et al. Game Theory in Wireless and Communication Networks: Theory, Models and Applications. UK: Cambridge University Press, 2011. 202-245

[15] Chiang M, Han P, Lan T, et al. Power control in wireless cellular networks.FoundationandTrendsinNetworking, 2007, 2(4): 381-533

[16] Horn R, Johnson C. Matrix Analysis. UK: Cambridge University Press. 1985. 517-547

[17] Narendra K S, Thathachar M A L. Learning automata - a survey.IEEETranactionsonSystemsManandCybernetics, 1974, 4(4):323-334

[18] Sastry P S, Phansalkar V. Decentralized learning of Nash equilibria in multi-person stochastic games with incomplete information.IEEETransSystManandCybern, 1994, 24(5): 769-777

[19] International Telecommunications Union-Radio (ITU-R). M.2135. Guidelines for evaluation of radio interface technologies for IMT Advanced. 2008

A stochastic learning based discrete power control scheme for heterogeneous cellular networks

Wang Yuanyuan**********, Zhou Yiqing******, Li Yonghui****, Shi Jinglin******, Tian Lin****, Qian Manli****

(*Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190) (**University of Chinese Academy of Sciences, Beijing 100049) (***Beijing Key Laboratory of Mobile Computing and Pervasive Device, Beijing 100080) (****School of Electrical and Information Engineering, University of Sydney, Sydney NSW2006)

To mitigate the interference in the heterogeneous cellular networks (HetNets) with a large number of low power small cells sharing the same frequency spectrum with the macrocells, a stochastic learning technique based downlink discrete power control (SLPC) scheme was proposed to maximize the number of simultaneous small cell transmissions satisfying the transmission quality requirements under the circumstance of guaranteeing the transmission quality requirements of macrocell users. The SLPC scheme regards each small cell base station as a stochastic learning automaton and maintains a probability vector to select the transmitting power. During the learning process, each small cell base station independently updates its probability vector and transmitting power to adjust its transmit power towards a Nash equilibrium point according to its selected transmit power and the feedback from the network, which indicates the number of simultaneous small cell transmissions satisfying the transmission quality requirements. The simulation results show that the proposed scheme has the excellent performance in convergence and optimization and can greatly increase the number of simultaneous small cell transmissions that can be supported in the networks. It is suitable for practical systems.

heterogeneous networks, interference mitigation, stochastic learning, discrete power control

10.3772/j.issn.1002-0470.2016.05.002

①863計(jì)劃(2015AA01A705)和國(guó)家自然科學(xué)基金(61571425)資助項(xiàng)目。

2016-01-29)

②女，1986年生，博士生；研究方向：無(wú)線資源管理，異構(gòu)網(wǎng)絡(luò)等；E-mail: wangyuanyuan@ict.ac.cn

③通訊作者，E-mail: zhouyiqing@ict.ac.cn