權(quán)重選擇下的低延遲飛艇自適應(yīng)部署

何 燁，劉建明，李 龍，謝維佳

（1.桂林電子科技大學(xué) 計算機(jī)科學(xué)與工程學(xué)院，廣西 桂林541004；2.桂林電子科技大學(xué) 機(jī)電工程學(xué)院，廣西 桂林541004；3.桂林電子科技大學(xué) 電子工程與自動化學(xué)院，廣西 桂林541004）

0 引 言

當(dāng)前，高空平臺主要是關(guān)于單平臺下的飛艇通信信道建模、通信干擾、天線、傳輸和編碼技術(shù)的研究［1－4］。然而關(guān)于多平臺下的飛艇部署方面的研究很少［5，6］，文獻(xiàn) ［7］提出一種基于k均值聚類的方法，但文章中并沒有關(guān)于衛(wèi)星對其網(wǎng)絡(luò)的影響；文獻(xiàn) ［8］提出一種基于遺傳算法的飛艇優(yōu)化模型，但它的解決方案具有較高的時間復(fù)雜度。

本文從提高覆蓋率、縮短通信時延兩個方面著手，開發(fā)出一種自適應(yīng)的飛艇部署策略。同時，為解決飛艇覆蓋下存在的空洞問題，本文在現(xiàn)有通信條件的基礎(chǔ)上，采用由地面層、HAP 層和衛(wèi)星層共同構(gòu)成的3 層異構(gòu)網(wǎng)絡(luò)架構(gòu)［9，10］，并基于此網(wǎng)絡(luò)環(huán)境，進(jìn)一步將飛艇與用戶間的通信方式分為3種：直接與用戶通信、通過中繼飛艇與用戶進(jìn)行通信、通過衛(wèi)星與用戶通信［11］。在實際應(yīng)用中，為達(dá)到最大化飛艇覆蓋范圍同時最小化傳輸時延的部署目標(biāo)，飛艇部署應(yīng)以自組織的方式實現(xiàn)相互間的協(xié)同工作，為網(wǎng)絡(luò)使用者提供最佳無線服務(wù)。因此，本文將飛艇部署問題模型化為游戲算法，并使用帶有權(quán)重選擇的時延作為移動因子，完成受限空間自適應(yīng) （RSAP）學(xué)習(xí)，該算法能夠保證飛艇根據(jù)用戶分布和通信要求以高概率收斂到最佳位置。仿真結(jié)果表明，該方案是可行有效的。

1 異構(gòu)網(wǎng)絡(luò)

本文中異構(gòu)網(wǎng)絡(luò)由陸地層、HAP層和衛(wèi)星層組成。如圖1所示，該網(wǎng)絡(luò)環(huán)境使地面用戶與飛艇間的通信更加暢通。

圖1 異構(gòu)網(wǎng)絡(luò)系統(tǒng)

（1）任務(wù)層：任務(wù)層中包含需要進(jìn)行通信的用戶，使用U ＝｛u1，…，ui，…，uI｝進(jìn)行表示。Su＝｛s，…，，…，｝表示用戶在任務(wù)層分布情況，其中表示用戶ui的地理位置。

（2）HAP層：HAP層高度為h，由為用戶提供服務(wù)的高空飛艇組成，使用H ＝｛h1，…，hk，…h(huán)K｝進(jìn)行表示，其分布情況表示為Sh＝，…，…｝，其中代表飛艇hk的空中位置。

Qk代表飛艇組中飛艇hk的通信范圍，即

式中：Rhh——飛艇間的最大通信距離，shk－shj——飛艇hk和飛艇hj之間的歐幾里得距離。

Ωi代表用戶與飛艇hk間通信范圍，即

（3）衛(wèi)星層：假定在衛(wèi)星層只有一個衛(wèi)星，其通信范圍可覆蓋所有用戶和飛艇。

（4）異構(gòu)網(wǎng)絡(luò)：為簡化建模，本文假設(shè)在該異構(gòu)網(wǎng)絡(luò)環(huán)境中只存在一跳中繼行為。即對于不能直接被飛艇覆蓋的用戶的情況，可借助于衛(wèi)星或其它飛艇的中繼將用戶和飛艇相連接，從而使地面所有用戶都能夠被飛艇有效訪問。

用戶間的通信具有3種不同的方式：通過單個飛艇進(jìn)行通信、通過相鄰的兩個飛艇進(jìn)行通信、通過飛艇以及中繼衛(wèi)星進(jìn)行通信。如圖1所示，若用戶1想要與用戶2進(jìn)行通信，必須經(jīng)過飛艇1及作為中繼飛艇的飛艇3；而用戶3只能借助于衛(wèi)星完成與用戶1間的通信。

Mi代表直接被飛艇hk覆蓋的用戶，即

Vi代表被其它飛艇覆蓋的用戶，即

Si代表既不在飛艇的直接覆蓋范圍也不再其間接覆蓋范圍下，只在衛(wèi)星覆蓋下的地面用戶，即

通過式 （3）～式 （5）得出

即，Mi、Vi和Si是地面用戶的通信劃分方式。

2 部署目標(biāo)

在衛(wèi)星－HAP－陸地異構(gòu)網(wǎng)絡(luò)中，飛艇作為中繼為地面用戶提供無線通信服務(wù)。本文通過研究其部署結(jié)構(gòu)對通信性能的影響，設(shè)計合理的部署模型，以實現(xiàn)通信中高覆蓋率和低時延的綜合優(yōu)化。

2.1 基本延遲模型

在異構(gòu)網(wǎng)絡(luò)環(huán)境下，建立時間模型［12，13］，以便提取時延參數(shù)。該模型中將飛艇通信時延簡化為飛艇和用戶間距離的函數(shù)。

飛艇hk直接與地面用戶通信的時延定義如下

式中：Ak、α——飛艇時延參數(shù)；

飛艇hk通過中繼飛艇與地面用戶通信的時延定義如下

式中：Bk、β——飛艇hk的時延參數(shù)；

衛(wèi)星作為中繼連接地面用戶時飛艇hk與地面用戶通信的時延定義如下

由式 （8）～式 （10）可以得到飛艇hk覆蓋地面用戶的總體時延Tk，即

為提高飛艇覆蓋率，減少時延，均衡飛艇間負(fù)載，在3種延遲前設(shè)置相應(yīng)權(quán)重［14］，進(jìn)一步得出飛艇hk的總時延

由以上分析得出所有飛艇的總時延Φ，如下

飛艇網(wǎng)絡(luò)目標(biāo)是用最少時間完成地面用戶通信需求。給出一組用戶U 及其對應(yīng)位置Sh，解決下面的優(yōu)化問題

在限制條件下，Sh代表飛艇hk可達(dá)空間位置，其中是離散并且有限的。

飛艇網(wǎng)絡(luò)時延由飛艇與用戶距離和HAP傳輸能量共同決定，假設(shè)HAP發(fā)射功率不變，總時延由飛艇位置Sh＝｛，…，…｝和用戶位置Su＝，…，…，｝決定。

2.2 游戲算法模型

為完成多飛艇的位置優(yōu)化，將該問題模型化為游戲算法，并將每輪游戲中飛艇的位置選擇歸結(jié)為納什均衡問題。

每個飛艇作為個體，不與其它飛艇合作，將該通信場景建模為非合作博弈，其中飛艇是不合作玩家，它們可移動的所有位置構(gòu)成動作操作集。地面用戶的分布范圍是飛艇進(jìn)行部署時需要覆蓋的區(qū)域。游戲執(zhí)行過程中，任一次t＞0，每個飛艇玩家hk∈H 按照預(yù)先規(guī)定的學(xué)習(xí)規(guī)則 （非合作博弈）以及與第 （t－1）次的交互，選擇此時的動作（t－1）） Sh。飛艇玩家通過提高對地面用戶的覆蓋率和縮短其通信時延而獲益。

使用uuk代表飛艇玩家hk的利益，是一組動作的獲益之和。一個游戲的納什均衡是當(dāng)所有玩家不再獲益，則達(dá)到均衡。即對任意hk∈H

定義每個高空平臺飛艇玩家hk的收益滿足以下關(guān)系式

3 學(xué)習(xí)算法

在介紹完飛艇部署要達(dá)到的目的和所要解決的問題后，本節(jié)將對飛艇高覆蓋部署中使用的學(xué)習(xí)算法進(jìn)行闡述。

若用戶位置已知，飛艇可通過搜索或者遺傳算法等找到自身最佳位置。然而，用戶分布通常未知，甚至隨著飛艇部署過程改變，導(dǎo)致集中式算法在實際應(yīng)用中效果較差；啟發(fā)式算法 （如貪婪算法）雖可應(yīng)用于游戲，但該類方法只收斂到局部最優(yōu)。本文采用限制性空間自適應(yīng) （RSAP）學(xué)習(xí)算法，該算法不存在中央控制器，允許飛艇以自組織方式工作，使游戲趨于納什均衡，實現(xiàn)飛艇的最佳部署。

RSAP學(xué)習(xí)算法：

納什均衡游戲規(guī)則在所有玩家眼中是次優(yōu)選擇。因此，為確保最優(yōu)解最大化，學(xué)習(xí)算法以重復(fù)博弈的形式工作，以確定各玩家最優(yōu)位置。

在博弈中，通常允許玩家執(zhí)行動作操作集中的任一動作。然而飛艇部署過程中，飛艇每次只移動到以當(dāng)前位置為圓心、半徑固定的圓上某一位置，因此玩家只能根據(jù)其現(xiàn)有狀態(tài)采取受限制的動作。

基于該受限制的博弈部署活動，引進(jìn)限制空間自適應(yīng)學(xué)習(xí)算法［15］，允許每個玩家以現(xiàn)有狀態(tài)從一組有限操作集選擇一個動作，保證博弈函數(shù)通過迭代收斂于純納什均衡。

表1 RSAP學(xué)習(xí)算法

該算法可歸納為一個獨特穩(wěn)態(tài)分布的馬爾可夫過程［13］。其中

式中：珒sh——動作配置文件，珝Sh——動作配置文件空間。隨著β趨于無窮大，并且操作次數(shù)t足夠多，玩家就能夠選擇動作配置文件中使其勢函數(shù)最大化的動作，最終達(dá)到使游戲結(jié)果收斂于最佳分布。

在飛艇部署游戲中，所有玩家都可以只根據(jù)局部用戶分布而非全局用戶分布評估其收益，且所有學(xué)習(xí)過程由玩家自己完成不需要任何監(jiān)督。當(dāng)t和β 足夠大時，通過該學(xué)習(xí)算法就可得到飛艇最優(yōu)部署。

4 仿真結(jié)果

仿真環(huán)境設(shè)置成500km×500km 區(qū)域。該片區(qū)域中存在400個用戶。為模擬城市人口分布，將該區(qū)域中的用戶分布于兩個地域中心，且均服從高斯分布。假設(shè)高空飛艇所在高度為20km，衛(wèi)星所在位置為 （250km，250km，36000km），同時使用通信距離代替時延。

圖2為飛艇分布圖，共有5 個飛艇分布在該片區(qū)域，其通信半徑設(shè)為100km，移動半徑為50km。圖2 （a）中權(quán)重系數(shù)取值分別為α ＝0.93，β ＝0.01，γ ＝0.06，圖2（b）中 權(quán) 重 系 數(shù) 取 值 分 別 為α ＝0.796，β ＝0.005，γ ＝0.199。由該圖可知，對于不同的權(quán)重設(shè)置，飛艇部署位置不同，進(jìn)而導(dǎo)致飛艇間的連通率及覆蓋取向的改變。

圖2 飛艇分布

圖3所示為權(quán)重系α＝0.93，β＝0.01，γ＝0.06和α＝0.796，β＝0.005，γ＝0.199下5個飛艇移動前后時延對比圖，由該圖可知，飛艇移動后的通信時延顯著減小。

圖3 時延對比

5 結(jié)束語

本文主要討論在異構(gòu)網(wǎng)絡(luò)環(huán)境下的飛艇部署問題。將帶有權(quán)重系數(shù)的通信時延作為移動因子，建立限制性游戲算法模型使目標(biāo)函數(shù)趨于納什均衡以達(dá)到最優(yōu)覆蓋。仿真結(jié)果顯示，①基于不同的權(quán)重系數(shù)，飛艇部署策略不同。權(quán)重系數(shù)改變，飛艇連通率改變，與飛艇直接連接用戶改變。高空平臺下飛艇部署策略可以根據(jù)任務(wù)性質(zhì)，設(shè)置合理權(quán)重系數(shù)。②在優(yōu)化部署后，時延明顯減少。

［1］WANG Yanguang，YAO Wei，LI Yong.Research of stratospheric airships and its application prospects［J］.Satellite and Network，2010 （4）：18－21 （in Chinese）. ［王彥廣，姚偉，李勇.平流層飛艇技術(shù)發(fā)展及其應(yīng)用前景展望 ［J］.衛(wèi)星與網(wǎng)絡(luò)，2010 （4）：18－21.］

［2］Widiawan AK，Tafazolli R.High altitude platform station（HAPS）：A review of new infrastructure development for future wireless communications［J］.Wireless Personal Communications，2007，42 （3）：387－404.

［3］Mohammed A，Yang Z.Broadband communication and appli－cations from high altitude platform ［J］.International Journal of Recent Trends in Engineering，2009，1 （3）：239－243.

［4］Alejandro AZ，Jose LC，Joss AD.High－altitude platforms for wireless communications［M］.United Kingdom：Wiley Press，2008.

［5］Mohammed A，Hult T.Capacity evaluation of a high altitude platform diversity system equipped with compact MIMO antennas［J］.International Journal of Recent Trends in Engineering，2009，1 （3）：244－247.

［6］Michailidis ET，Kanatas AG.Three－dimensional HAP－MIMO channels：Modeling and analysis of space－time correlation ［J］.IEEE Transactions on Vehicular Technology，2010，59 （5）：2232－2242.

［7］Song HY.A method of mobile base station placement for high altitude platform based network with geographical clustering of mobile ground nodes ［J］.Journal of Telecommunications and Information Technology，2009 （2）：22－33.

［8］Wang X，Gao X，Zong Ru.An optimal model and solution of deployment of airships for high altitude platforms ［C］／／Proceedings of the International Wireless Communications and Signal Processing，2010.

［9］Nia MM，Rahman TA.Spectrum correlated criteria and their impacts on high altitude platform station （HAPS）and fixed satellite service （FSS）coexistence in frequency range 5，850－7，075 MHz［J］.Wireless Personal Communications，2013，69（1）：357－372.

［10］Jeon S，Ji C.Randomized and distributed self－configuration of wireless networks：Two－layer Markov random fields and near－optimality［J］.IEEE Transactions on Signal Processing，2010，58（9）：4859－4864.

［11］Wang X，Gao X，Zong R.Energy－efficient deployment of airships for high altitude platforms：A deterministic annealing approach ［C］／／Global Telecommunications Conference，2011：1－6.

［12］Sun B，Wang W，Qi Q.Satellites scheduling algorithm based on dynamic constraint satisfaction problem ［C］／／International Conference on Computer Science and Software Engineering，2008：167－170.

［13］ZHU Zhiliang，YE Ning，LIU Jun，et al.Deployment optimization algorithm for regional MANET containing near space vehicles as a part［J］.Journal of Electronics ＆Information Technology，2011，33 （4）：915－921（in Chinese）.［朱志良，葉寧，劉軍，等.基于臨近空間飛行器的區(qū)域自組網(wǎng)優(yōu)化部署算法 ［J］.電子與信息學(xué)報，2011，33 （4）：915－921.］

［14］ZHOU Ling，YANG Wenyin.QoS supported geography position routing algorithm based on Baidu system ［J］.Computer Engineering，2012，38 （11）：73－76 （in Chinese）. ［周靈，楊文茵.基于北斗系統(tǒng)的QoS保障地理位置路由算法 ［J］.計算機(jī)工程，2012，38 （11）：73－76.］

［15］Marden JR，Arslan G，Shamma JS.Cooperative control and potential games［J］.IEEE Transactions on Systems，Man，and Cybernetics.Part B，Cybernetics，2009，39 （6）：1393－1407.