空天異構(gòu)網(wǎng)絡(luò)中基于Q學(xué)習(xí)的切換判決優(yōu)化算法

張振浩,梁 俊,肖 楠,劉玉磊,丁 然,姬永清

(1.空軍工程大學(xué) 信息與導(dǎo)航學(xué)院,西安 710077; 2.中國電子科技集團(tuán)公司第28研究所,南京 210007)

0 概述

作為下一代無線通信網(wǎng)絡(luò)的發(fā)展趨勢,異構(gòu)無線網(wǎng)絡(luò)可以較好地實(shí)現(xiàn)多種技術(shù)融合共存、多網(wǎng)絡(luò)相互補(bǔ)充協(xié)同工作、不同異構(gòu)網(wǎng)絡(luò)互聯(lián)互通[1]。目前,國內(nèi)外關(guān)于異構(gòu)無線網(wǎng)絡(luò)的研究多集中于地面無線網(wǎng)絡(luò),但隨著衛(wèi)星通信技術(shù)與航空飛行器的發(fā)展,由空基網(wǎng)絡(luò)與衛(wèi)星網(wǎng)絡(luò)進(jìn)行異構(gòu)組網(wǎng)為用戶提供大區(qū)域范圍內(nèi)高帶寬、高效率的服務(wù),成為新的發(fā)展趨勢[2]。為更好地實(shí)現(xiàn)全環(huán)境中空天異構(gòu)無線網(wǎng)絡(luò)的融合,同時(shí)適應(yīng)多網(wǎng)絡(luò)區(qū)域性覆蓋和用戶的移動(dòng)性網(wǎng)絡(luò)接入,網(wǎng)絡(luò)垂直切換成為當(dāng)前學(xué)術(shù)界研究的熱點(diǎn)[3]。目前,國內(nèi)外專家對垂直切換3個(gè)階段的研究主要集中在切換判決階段[4]。傳統(tǒng)切換判決算法多是基于用戶接收信號(hào)強(qiáng)度(Received Signal Strength,RSS)的最優(yōu)化問題。但是,用戶在空天異構(gòu)無線網(wǎng)絡(luò)中進(jìn)行切換時(shí),僅依靠RSS容易產(chǎn)生乒乓效應(yīng)[5],造成無效切換,以及導(dǎo)致網(wǎng)絡(luò)資源利用率降低。為解決上述問題,高效的垂直切換判決算法成為目前研究的熱點(diǎn)內(nèi)容之一。

文獻(xiàn)[6]提出一種基于信干噪比(Signal to Interference and Noise Ratio,SINR)的多屬性決策算法,但其未考慮下一時(shí)刻的狀態(tài)及用戶高速運(yùn)動(dòng)對網(wǎng)絡(luò)切換判決的影響。文獻(xiàn)[7]提出基于RSS和用戶速度并利用目標(biāo)函數(shù)獲得最優(yōu)網(wǎng)絡(luò)的切換策略,但其無法較好地適應(yīng)高速下的網(wǎng)絡(luò)切換,且無法針對用戶的不同業(yè)務(wù)需求對切換判決算法進(jìn)行調(diào)整。文獻(xiàn)[8]提出一種局部最優(yōu)切換策略,基于用戶端RSS判定最優(yōu)切換過程,該算法可以應(yīng)用于高速移動(dòng)用戶,但是由于沒有考慮用戶對不同業(yè)務(wù)傳輸?shù)男枨?而且僅選取單一用戶端RSS作為切換指標(biāo),導(dǎo)致其效果不夠明顯。文獻(xiàn)[9]在考慮用戶移動(dòng)速度的基礎(chǔ)上提出基于用戶體驗(yàn)的切換判決算法,其選擇最小用戶體驗(yàn)差異的網(wǎng)絡(luò)作為目標(biāo)網(wǎng)絡(luò),但是該算法仍未考慮下一時(shí)刻網(wǎng)絡(luò)性能對網(wǎng)絡(luò)切換的影響,且沒有針對不同業(yè)務(wù)類型對用戶體驗(yàn)差異進(jìn)行區(qū)分。文獻(xiàn)[10]提出綜合考慮衛(wèi)星和ATC鏈路狀態(tài)、采用卡爾曼濾波方法預(yù)測RSS的切換判決算法,但是該算法沒有針對用戶移動(dòng)速度和多業(yè)務(wù)傳輸需求提出相應(yīng)的區(qū)分。文獻(xiàn)[11]提出綜合考慮網(wǎng)絡(luò)RSS與用戶速度的基于Q學(xué)習(xí)的切換判決算法,很好地提高了網(wǎng)絡(luò)判決精度并適用于高速移動(dòng)用戶,但是該算法沒有針對不同的業(yè)務(wù)提出相應(yīng)的判決調(diào)整,且其切換指標(biāo)的選取不能準(zhǔn)確反映網(wǎng)絡(luò)性能。

針對空天異構(gòu)無線網(wǎng)絡(luò)切換過程中存在的問題,結(jié)合接入空天異構(gòu)無線網(wǎng)絡(luò)的用戶運(yùn)動(dòng)速度快、用戶終端業(yè)務(wù)需求多樣及高服務(wù)質(zhì)量(Quality of Service,QoS)保障需求的特點(diǎn),本文在文獻(xiàn)[11]回報(bào)函數(shù)中考慮用戶體驗(yàn),并通過層次分析法(Analytic Hierarchy Process,AHP)來確定不同業(yè)務(wù)類型下當(dāng)前與下一時(shí)刻網(wǎng)絡(luò)的SINR、用戶移動(dòng)速度、網(wǎng)絡(luò)切換代價(jià)、信息傳輸?shù)臅r(shí)延及網(wǎng)絡(luò)的擁塞程度這5個(gè)影響因素的權(quán)值,提出一種支持多業(yè)務(wù)傳輸?shù)那袚Q判決優(yōu)化算法。

1 網(wǎng)絡(luò)模型

本文研究的空天異構(gòu)無線網(wǎng)絡(luò)由天基和空基網(wǎng)絡(luò)組成。其中,天基網(wǎng)絡(luò)由地球同步衛(wèi)星軌道(Geosynchronous Earth Orbit,GEO)網(wǎng)絡(luò)構(gòu)成,空基網(wǎng)絡(luò)由大型、運(yùn)動(dòng)穩(wěn)定的空中節(jié)點(diǎn)基于Mesh網(wǎng)絡(luò)構(gòu)建的空中骨干網(wǎng)絡(luò)構(gòu)成。高速運(yùn)動(dòng)的小型空中作戰(zhàn)飛行平臺(tái)(如戰(zhàn)斗機(jī)等)作為用戶接入該異構(gòu)網(wǎng)絡(luò)。該異構(gòu)無線網(wǎng)絡(luò)中GEO衛(wèi)星內(nèi)可以包含多個(gè)空中骨干網(wǎng)絡(luò),為簡化計(jì)算與仿真過程,本文假設(shè)空天異構(gòu)無線網(wǎng)絡(luò)包含1個(gè)GEO網(wǎng)絡(luò)和由2個(gè)大型骨干節(jié)點(diǎn)組網(wǎng)形成的2個(gè)空中骨干網(wǎng)絡(luò),網(wǎng)絡(luò)模型如圖1所示。

圖1 空天異構(gòu)無線網(wǎng)絡(luò)模型

空天異構(gòu)無線網(wǎng)絡(luò)實(shí)現(xiàn)了不同空間層次、不同類型通信平臺(tái)間的互聯(lián)互通,可協(xié)同高效獲取、傳輸和處理多樣化的信息。衛(wèi)星網(wǎng)絡(luò)覆蓋范圍廣,但是在信道和功率分配、信息傳輸誤碼率和丟包率等方面產(chǎn)生的代價(jià)較高。相比衛(wèi)星網(wǎng)絡(luò),空中骨干網(wǎng)絡(luò)雖然覆蓋范圍小,但是其通信過程中的代價(jià)較小。由小型空中作戰(zhàn)飛行平臺(tái)構(gòu)成的接入網(wǎng)絡(luò),由于高機(jī)動(dòng)性和作戰(zhàn)任務(wù)需求,其需要空天異構(gòu)無線網(wǎng)絡(luò)支持多樣化業(yè)務(wù)傳輸、高效保障用戶QoS需求。因此,當(dāng)空中作戰(zhàn)單元需要遠(yuǎn)程戰(zhàn)場態(tài)勢信息保障、情報(bào)信息回傳以及通信時(shí),可由該空天異構(gòu)網(wǎng)絡(luò)提供高效、不中斷以及低阻塞的無縫網(wǎng)絡(luò)切換服務(wù)。

2 切換判決參數(shù)分析

根據(jù)前文分析,在空天異構(gòu)網(wǎng)絡(luò)中僅使用RSS作為切換指標(biāo),無法很好地反映當(dāng)前連接網(wǎng)絡(luò)與目標(biāo)網(wǎng)絡(luò)的性能優(yōu)劣,原因是用戶與網(wǎng)絡(luò)間的信道質(zhì)量影響了通信性能。因此,本文采用SINR作為衡量目標(biāo)網(wǎng)絡(luò)和當(dāng)前網(wǎng)絡(luò)信道質(zhì)量的參數(shù)。為了更好地表示當(dāng)前網(wǎng)絡(luò)與目標(biāo)網(wǎng)絡(luò)的擁塞狀態(tài),本文還引入當(dāng)前切換接納成功率對網(wǎng)絡(luò)接納能力進(jìn)行量化。

2.1 不同網(wǎng)絡(luò)的SINR

當(dāng)用戶與空中骨干網(wǎng)絡(luò)通信時(shí),假設(shè)共有n個(gè)采用WCDMA體制的大型空中骨干飛行平臺(tái)c1,c2,…,cn可以供用戶接入,考慮到用戶接收不同骨干平臺(tái)所產(chǎn)生的干擾以及同一骨干平臺(tái)不同信道間的干擾,可以得到用戶i從第j個(gè)空中骨干飛行平臺(tái)接收的SINR為:

(1)

其中,Pcj表示第j個(gè)空中骨干平臺(tái)的總發(fā)射功率,Pck表示第k個(gè)空中骨干平臺(tái)的總發(fā)射功率,Pcj,i表示第j個(gè)空中骨干平臺(tái)對用戶i的發(fā)射功率,Gcj,i表示用戶i與第j個(gè)空中骨干平臺(tái)間的信道增益[12],Gck,i表示用戶i與第k個(gè)空中骨干平臺(tái)間的信道增益,ε表示采用WCDMA體制時(shí)不同空中骨干網(wǎng)絡(luò)信道間的正交因子,ε取值為0.4[6],Pn表示高斯白噪聲的功率。

當(dāng)用戶與采用WCDMA體制的GEO衛(wèi)星網(wǎng)絡(luò)進(jìn)行通信時(shí),為簡化計(jì)算過程,在接收端接收的噪聲信號(hào)只考慮高斯噪聲,從而可以得到用戶接收到GEO衛(wèi)星信號(hào)的SINR為:

SINRGEO= [(EIRPd,i·GRi)/Lf(·,i)]/

GRi·ε′(EIRPd-EIRPd,i)/Lf(·,i)]

(2)

其中,EIRPd,i表示提供服務(wù)的衛(wèi)星波束d對用戶i的有效全向輻射功率,EIRPk,i表示衛(wèi)星其余波束k對用戶i的有效全向輻射功率,EIRPd表示提供服務(wù)的衛(wèi)星波束d對所有覆蓋區(qū)用戶的有效全向輻射功率,ε′為采用WCDMA體制時(shí)不同衛(wèi)星網(wǎng)絡(luò)信道間的正交因子,取值0.6[13],GRi表示用戶i的接收天線增益[14],Lf(·,i)表示衛(wèi)星到用戶i的自由空間傳播損耗,P0表示噪聲功率,NU表示波束個(gè)數(shù)。

2.2 網(wǎng)絡(luò)SINR預(yù)測值

當(dāng)用戶在空天異構(gòu)無線網(wǎng)絡(luò)中進(jìn)行切換判決時(shí),為減小不必要的切換、降低切換次數(shù),目標(biāo)網(wǎng)絡(luò)未來一段時(shí)間內(nèi)SINR性能對網(wǎng)絡(luò)切換判決的影響需要著重考慮。為了更準(zhǔn)確地預(yù)測下一時(shí)刻網(wǎng)絡(luò)的SINR,本文使用綜合預(yù)測方法,即利用由單一預(yù)測方法提供的預(yù)測信息,以此提升下一時(shí)刻的SINR預(yù)測精度,增強(qiáng)預(yù)測結(jié)果的穩(wěn)定性。本文選取通過原始數(shù)據(jù)所得規(guī)律進(jìn)行預(yù)測的灰色預(yù)測模型與通過簡要前期學(xué)習(xí)并以最小均方誤差作為估計(jì)準(zhǔn)則的卡爾曼濾波預(yù)測模型進(jìn)行組合預(yù)測,綜合2種方法提供的有效預(yù)測信息,以提高SINR綜合預(yù)測的準(zhǔn)確性。

(3)

(4)

應(yīng)用線性組合預(yù)測模型:

minq=WTRW

s.t.BTW=1

(5)

2.3 網(wǎng)絡(luò)擁塞程度表征

用戶接入空天異構(gòu)無線網(wǎng)絡(luò)時(shí),其發(fā)送的切換呼叫信息被網(wǎng)絡(luò)接納的概率表征了網(wǎng)絡(luò)當(dāng)前的擁塞狀態(tài)對用戶在請求時(shí)間內(nèi)順利完成呼叫切換的影響。為了提升判決的高效性和準(zhǔn)確性,減少判決的次數(shù),本文引入當(dāng)前切換接納成功率(Present Handover Admission Success Ratio,PHASR)來衡量備選網(wǎng)絡(luò)當(dāng)前因?yàn)闃I(yè)務(wù)服務(wù)效率造成的網(wǎng)絡(luò)擁塞程度與接納用戶切換的能力對用戶切換判決的影響。

假設(shè)切換備選目標(biāo)網(wǎng)絡(luò)列表中共有l(wèi)個(gè)備選目標(biāo)網(wǎng)絡(luò),單位時(shí)間內(nèi)到達(dá)網(wǎng)絡(luò)m的平均呼叫次數(shù)為μm,每次呼叫的呼叫保持時(shí)間是均值為1/μm的指數(shù)分布;每單位時(shí)間內(nèi)平均服務(wù)呼叫個(gè)數(shù)為λm,當(dāng)前到達(dá)的呼叫請求數(shù)符合參數(shù)為λm的標(biāo)準(zhǔn)泊松分布[18];當(dāng)前可接入網(wǎng)絡(luò)m的可用帶寬為bm。根據(jù)Erlang-B公式,可以計(jì)算得到當(dāng)前切換接納成功率,如式(6)所示。

(6)

用戶傳輸視頻等需要較寬帶寬和較高可靠性要求的業(yè)務(wù)時(shí),對于切換備選網(wǎng)絡(luò)m,當(dāng)前切換接納空閑率越高,將其作為備選網(wǎng)絡(luò)的概率就越大,即用戶切換到該網(wǎng)絡(luò)的概率就會(huì)越大。因此,本文將當(dāng)前切換空閑率作為切換判決的一個(gè)重要指標(biāo)。

3 異構(gòu)無線網(wǎng)絡(luò)切換算法設(shè)計(jì)

3.1 空天異構(gòu)網(wǎng)絡(luò)切換模型

本文在文獻(xiàn)[11]Q學(xué)習(xí)算法的基礎(chǔ)上進(jìn)行優(yōu)化,將空天異構(gòu)無線網(wǎng)絡(luò)切換過程建模為馬爾科夫決策四元組(S,A,R,P)。其中,S表示有限離散狀態(tài)空間,網(wǎng)絡(luò)狀態(tài)包括網(wǎng)絡(luò)當(dāng)前時(shí)刻與預(yù)測時(shí)刻的SINR、用戶移動(dòng)速度、切換代價(jià)和網(wǎng)絡(luò)擁塞程度。為將狀態(tài)空間表述量化,結(jié)合圖1所示網(wǎng)絡(luò)模型,將GEO網(wǎng)絡(luò)定為1號(hào)網(wǎng)絡(luò),將空中骨干網(wǎng)絡(luò)分別定為2號(hào)網(wǎng)絡(luò)和3號(hào)網(wǎng)絡(luò),則可以將狀態(tài)空間表示為S={{SINRe,ve,Ce,Dele,PHASRe},e取值為1、2、3。A表示動(dòng)作空間,A={a|a∈{1,2,3}}。R表示回報(bào)函數(shù)。P表示在當(dāng)前狀態(tài)下執(zhí)行完動(dòng)作后進(jìn)入下一狀態(tài)的狀態(tài)轉(zhuǎn)移概率。

采用Q學(xué)習(xí)算法獲得異構(gòu)無線網(wǎng)絡(luò)最優(yōu)切換判決策略,即通過獲取回報(bào)函數(shù)長期累積期望的最大值得到相對應(yīng)的判決策略集。根據(jù)Bellman最優(yōu)準(zhǔn)則,將網(wǎng)絡(luò)切換判決轉(zhuǎn)化為基于最優(yōu)判決集π*(s)∈A的最佳準(zhǔn)則問題,并通過建立式(7)所示狀態(tài)-動(dòng)作的Q函數(shù),將傳統(tǒng)回報(bào)函數(shù)的長期累積數(shù)學(xué)期望中所不易獲取的狀態(tài)轉(zhuǎn)移概率Ps→si(a)[11]轉(zhuǎn)變?yōu)閷ψ畲驫值的求解。

(7)

其中,R(s,a)表示狀態(tài)-動(dòng)作的回報(bào)函數(shù),Ps→si(a)表示當(dāng)前狀態(tài)轉(zhuǎn)移到下一狀態(tài)的狀態(tài)轉(zhuǎn)移概率,α表示未來回報(bào)對當(dāng)前回報(bào)的折扣系數(shù)。

最大Q值對應(yīng)的狀態(tài)集最優(yōu)值為:

(8)

其中,Q*(s,a)可通過文獻(xiàn)[11]所提出的方法進(jìn)行迭代獲得。

通過學(xué)習(xí)者重復(fù)的學(xué)習(xí)過程和判決過程,可以獲得最優(yōu)的切換判決集和對應(yīng)的最大Q值。

3.2 回報(bào)函數(shù)優(yōu)化設(shè)計(jì)

在使用Q學(xué)習(xí)算法確定最優(yōu)判決集時(shí),確定高效合理的回報(bào)函數(shù)對于切換判決起關(guān)鍵作用,較精確的回報(bào)函數(shù)可以實(shí)現(xiàn)準(zhǔn)確和快速的網(wǎng)絡(luò)切換。文獻(xiàn)[11]中采用的Q學(xué)習(xí)切換算法僅考慮影響網(wǎng)絡(luò)性能的網(wǎng)絡(luò)RSS、用戶移動(dòng)速度和網(wǎng)絡(luò)切換代價(jià)3個(gè)因素,所選取的評(píng)價(jià)參數(shù)無法較好地反映網(wǎng)絡(luò)性能與網(wǎng)絡(luò)擁塞狀態(tài),同時(shí)也無法有效避免為接入最優(yōu)網(wǎng)絡(luò)而頻繁切換的現(xiàn)象發(fā)生。為此,本文在設(shè)計(jì)回報(bào)函數(shù)時(shí),綜合考慮網(wǎng)絡(luò)的鏈路傳輸性能、用戶移動(dòng)速度、網(wǎng)絡(luò)切換代價(jià)、信息傳輸?shù)臅r(shí)延和網(wǎng)絡(luò)的擁塞程度5個(gè)影響因素,同時(shí)引入用戶體驗(yàn)質(zhì)量(Quality of Experience,QoE)用以保證用戶會(huì)話的連續(xù)性和切換的高效性。

本文選取的回報(bào)函數(shù)綜合了用戶在狀態(tài)s接入網(wǎng)絡(luò)i時(shí)對應(yīng)的QoE函數(shù)和垂直切換判決指示函數(shù),可定義該回報(bào)函數(shù)為:

R(st,at)= (1-ζ)fQoE(st,at)f{at≠at+1}+

ζfQoE(st,at)f{at=at+1}

(9)

其中,ζ表示切換代價(jià)因子,用以衡量切換回報(bào)的代價(jià),f{at≠at+1}和f{at=at+1}分別表示切換判決指示函數(shù),當(dāng)滿足at≠at+1和at=at+1時(shí),2個(gè)函數(shù)取值為1,不滿足時(shí),取值為0,fQoE(st,at)表示用戶在狀態(tài)s接入網(wǎng)絡(luò)i時(shí)對應(yīng)的QoE函數(shù)。

為滿足用戶傳輸多業(yè)務(wù)時(shí)對用戶體驗(yàn)的要求,綜合考慮網(wǎng)絡(luò)的SINR、用戶移動(dòng)速度、網(wǎng)絡(luò)切換代價(jià)、信息傳輸?shù)臅r(shí)延和網(wǎng)絡(luò)的擁塞程度5個(gè)因子,因此,可以定義用戶在狀態(tài)s接入網(wǎng)絡(luò)i時(shí)對應(yīng)的QoE函數(shù)為:

(10)

對于影響QoE函數(shù)的5個(gè)不同因子,分別設(shè)計(jì)不同的效用函數(shù)并對其進(jìn)行歸一化處理,用以表示不同因子對網(wǎng)絡(luò)切換性能的影響。目標(biāo)用戶不同的業(yè)務(wù)條件下,權(quán)重因子μ的取值可以通過文獻(xiàn)[19]使用的AHP來動(dòng)態(tài)確定。

對于網(wǎng)絡(luò)切換過程,用戶希望切換到目標(biāo)網(wǎng)絡(luò)后相比原有網(wǎng)絡(luò)的鏈路質(zhì)量更優(yōu),為此,可將用戶當(dāng)前鏈路狀態(tài)與未來預(yù)測狀態(tài)進(jìn)行綜合,以獲得綜合鏈路質(zhì)量。因此,可將網(wǎng)絡(luò)SINR效用函數(shù)表示為:

ω2·XSINR·u(XSINR-SINRth)

(11)

對于速度的效用函數(shù),根據(jù)用戶移動(dòng)速度的不同、選擇優(yōu)先接入的網(wǎng)絡(luò)不同,速度的歸一化效用函數(shù)可由文獻(xiàn)[11]中方法獲得。

不同網(wǎng)絡(luò)傳輸代價(jià)函數(shù)由不同網(wǎng)絡(luò)傳輸過程中需要消耗的能量以及傳輸數(shù)據(jù)的代價(jià)共同確定。用戶接入GEO網(wǎng)絡(luò)時(shí)需要的開銷和能量,相比接入空中骨干網(wǎng)絡(luò)時(shí)高,可用式(12)表示代價(jià)的效用函數(shù),其中φ可取2[18]。

(12)

時(shí)延的效用函數(shù)由不同業(yè)務(wù)對最長時(shí)延Delth的要求決定,根據(jù)不同業(yè)務(wù)對傳輸時(shí)延的最低要求,可以將時(shí)延的效用函數(shù)表示為:

(13)

網(wǎng)絡(luò)擁塞程度決定了網(wǎng)絡(luò)是否可以接收數(shù)據(jù)量較大的信息,在擁塞程度較低時(shí)網(wǎng)絡(luò)可以接收更多的信息,因此,參數(shù)PHASR的效用函數(shù)可以表示為:

(14)

3.3 切換算法流程

本文提出的算法綜合考慮了空天異構(gòu)無線網(wǎng)絡(luò)中傳輸不同業(yè)務(wù)類型所需要的QoS,針對網(wǎng)絡(luò)切換判決過程綜合考慮各影響因素。圖2所示為本文切換算法的流程。

圖2 切換算法流程

4 仿真與分析

4.1 不同業(yè)務(wù)類型權(quán)值

空天異構(gòu)無線網(wǎng)絡(luò)包含多種信息傳輸和中繼平臺(tái),可以實(shí)現(xiàn)多種飛行器的接入,因此,傳輸?shù)臉I(yè)務(wù)具有多樣性。網(wǎng)絡(luò)中傳輸?shù)臉I(yè)務(wù)包括實(shí)時(shí)話音、低速數(shù)據(jù)、高速偵查圖像與多媒體信號(hào)等。根據(jù)業(yè)務(wù)對各種技術(shù)指標(biāo)的要求,可以將空天異構(gòu)無線網(wǎng)絡(luò)中傳輸?shù)臉I(yè)務(wù)分成3類:短消息業(yè)務(wù),實(shí)時(shí)話音業(yè)務(wù),多媒體業(yè)務(wù)。3類業(yè)務(wù)對QoS的要求有所不同,其中主流業(yè)務(wù)對各種評(píng)價(jià)指標(biāo)的要求可參照文獻(xiàn)[19]中給出的不同類型業(yè)務(wù)對QoS的要求。利用AHP確定每種業(yè)務(wù)中各評(píng)價(jià)參數(shù)的權(quán)重,結(jié)果如表1所示。

表1 不同類型業(yè)務(wù)的評(píng)價(jià)參數(shù)權(quán)重

4.2 算法性能比較

本文實(shí)驗(yàn)中用戶隨機(jī)分布在空天異構(gòu)無線網(wǎng)絡(luò)3 500 km×3 500 km的正方形覆蓋區(qū)域內(nèi)。用戶會(huì)話隨機(jī)產(chǎn)生,到達(dá)服從泊松分布,并且在一次會(huì)話過程中用戶的移動(dòng)方向不發(fā)生變化。仿真基于圖1所示場景,由一個(gè)GEO衛(wèi)星網(wǎng)絡(luò)和由2個(gè)大型骨干節(jié)點(diǎn)組網(wǎng)形成的2個(gè)空中骨干網(wǎng)絡(luò)構(gòu)成。選取切換成功率、平均切換率、切換次數(shù)和切換阻塞率作為衡量切換策略性能的指標(biāo),根據(jù)表2所示仿真條件進(jìn)行仿真實(shí)驗(yàn)。

表2 仿真參數(shù)設(shè)置

4.2.1 相同業(yè)務(wù)下切換算法性能比較

為比較本文切換算法和Q學(xué)習(xí)算法的性能,將環(huán)境干擾強(qiáng)度分別設(shè)置為高強(qiáng)度干擾、中強(qiáng)度干擾和低強(qiáng)度干擾(分別用I=0.8,0.5和0.2表示)。仿真選取用戶移動(dòng)速度為60 m/s,得到圖3和圖4所示仿真結(jié)果。

圖3 切換成功率與用戶到達(dá)率的關(guān)系

圖4 平均切換率與用戶到達(dá)率的關(guān)系

圖3給出了不同環(huán)境干擾強(qiáng)度下切換成功率隨用戶到達(dá)率的變化關(guān)系。從中可以看出,隨著用戶到達(dá)率的增加,不同環(huán)境干擾強(qiáng)度下兩種算法的切換成功率均不斷下降,這是因?yàn)橛脩舻竭_(dá)率的提升使得系統(tǒng)接納的會(huì)話數(shù)增加,尤其是網(wǎng)絡(luò)會(huì)話趨于高負(fù)載時(shí),網(wǎng)絡(luò)擁塞致使算法切換成功率明顯下降。在用戶到達(dá)率低且環(huán)境干擾較弱時(shí),本文算法相比Q學(xué)習(xí)算法的切換成功率提升不明顯;在用戶到達(dá)率高且環(huán)境干擾較強(qiáng)時(shí),本文算法可以有效保證用戶的切換成功率,這是因?yàn)楸疚脑O(shè)計(jì)的改進(jìn)算法綜合考慮了當(dāng)前網(wǎng)絡(luò)的SINR并通過綜合線性預(yù)測方法進(jìn)行預(yù)測,相比以RSS作為網(wǎng)絡(luò)切換指標(biāo)的Q學(xué)習(xí)算法,可以更好地獲得網(wǎng)絡(luò)當(dāng)前以及下一時(shí)刻網(wǎng)絡(luò)狀態(tài),從而有效提升高用戶到達(dá)率和高強(qiáng)度環(huán)境干擾下切換的成功率。

圖4給出了不同干擾強(qiáng)度影響條件下兩種算法平均切換率隨用戶到達(dá)率的變化關(guān)系。從中可以看出,隨著用戶到達(dá)率的提高,不同干擾強(qiáng)度下兩種算法的平均切換率均不斷提高,但是本文算法均比Q學(xué)習(xí)算法的平均切換率低。在用戶到達(dá)率低并且環(huán)境干擾較弱時(shí),本文算法相比Q學(xué)習(xí)算法的平均切換率降低不明顯;在用戶到達(dá)率高且環(huán)境干擾較強(qiáng)時(shí),本文算法可以有效降低平均切換率。出現(xiàn)圖4所示的仿真結(jié)果,原因是用戶到達(dá)率低并且環(huán)境干擾較弱時(shí),網(wǎng)絡(luò)的用戶接納能力與用戶對干擾和噪聲的敏感程度對網(wǎng)絡(luò)切換影響不明顯;隨著干擾強(qiáng)度的增加與用戶到達(dá)率的提升,本文將QoE引入回報(bào)函數(shù)并且將網(wǎng)絡(luò)SINR以及網(wǎng)絡(luò)擁塞程度作為評(píng)價(jià)指標(biāo),可以有效地估計(jì)備選網(wǎng)絡(luò)的狀態(tài)并減小切換的次數(shù),從而導(dǎo)致了平均切換率的提升。

為了比較不同的用戶移動(dòng)速度下切換算法的性能,將環(huán)境干擾強(qiáng)度設(shè)置為中等,用戶到達(dá)率設(shè)置為5個(gè)/s,通過仿真來對比2種算法在不同移動(dòng)速度下的切換次數(shù),得到圖5所示仿真結(jié)果。

圖5 切換次數(shù)與用戶移動(dòng)速度的關(guān)系

通過圖5所示的仿真結(jié)果可以看出,在用戶移動(dòng)速度小于420 m/s時(shí),本文算法相比Q學(xué)習(xí)算法切換次數(shù)少,但是用戶移動(dòng)速度高于420 m/s時(shí),兩種算法切換次數(shù)均基本保持不變。這是因?yàn)楸疚乃惴ㄔ赒學(xué)習(xí)算法的基礎(chǔ)上引入了QoE,考慮了切換對網(wǎng)絡(luò)開銷的影響,以此降低了切換次數(shù)。同時(shí),其將SINR作為評(píng)價(jià)網(wǎng)絡(luò)性能的指標(biāo),相比RSS可以更好地對網(wǎng)絡(luò)當(dāng)前以及下一時(shí)刻性能進(jìn)行評(píng)估,從而有效減少了切換次數(shù)。但是當(dāng)用戶移動(dòng)速度偏高時(shí),根據(jù)速度的效用函數(shù),2種算法中用戶均更傾向于選擇GEO衛(wèi)星網(wǎng)絡(luò),此時(shí)切換次數(shù)基本保持不變。

4.2.2 不同業(yè)務(wù)下切換算法性能比較

設(shè)置與第4.2.1節(jié)相同的仿真環(huán)境,比較不同類型業(yè)務(wù)、相同干擾強(qiáng)度(I=0.5)下,切換阻塞率隨業(yè)務(wù)到達(dá)率的變化關(guān)系,得到圖6所示仿真結(jié)果。

圖6 不同業(yè)務(wù)類型下切換阻塞率與業(yè)務(wù)到達(dá)率的關(guān)系

由圖6可以看出,不同類型業(yè)務(wù)時(shí),隨業(yè)務(wù)到達(dá)率的增大切換阻塞率均不斷上升,但是本文算法相比Q學(xué)習(xí)算法切換阻塞率均較低。這是因?yàn)楸疚脑谠O(shè)計(jì)回報(bào)函數(shù)時(shí),使用AHP方法動(dòng)態(tài)確定不同類型的業(yè)務(wù)對所選的SINR、用戶移動(dòng)速度、網(wǎng)絡(luò)切換代價(jià)、信息傳輸?shù)臅r(shí)延和網(wǎng)絡(luò)的擁塞程度5個(gè)影響因素的權(quán)值,從而在網(wǎng)絡(luò)切換中可以針對業(yè)務(wù)類型的不同,選取備選網(wǎng)絡(luò)中綜合性能最高的網(wǎng)絡(luò)進(jìn)行切換,并且在回報(bào)函數(shù)中引入QoE,從而有效降低切換的次數(shù)。因此,隨著業(yè)務(wù)到達(dá)率的不斷增大,本文算法可以有效保障不同類型業(yè)務(wù)的QoS需求,有效降低切換阻塞率。

4.2.3 算法時(shí)間復(fù)雜度比較

第4.2.1節(jié)和第4.2.2節(jié)的仿真結(jié)果表明,本文切換算法提升了切換的成功率,有效降低了用戶的切換次數(shù),并根據(jù)不同的業(yè)務(wù)類型實(shí)現(xiàn)了動(dòng)態(tài)切換判決。但本文算法在提升切換判決準(zhǔn)確性的同時(shí)也引入了部分開銷,本節(jié)將通過仿真實(shí)驗(yàn)比較兩種算法的時(shí)間復(fù)雜度。算法的時(shí)間復(fù)雜度本質(zhì)上就是算法的執(zhí)行時(shí)間,即執(zhí)行算法中所有語句所需要的時(shí)間總和。因此,將平均仿真運(yùn)行時(shí)長作為衡量算法時(shí)間復(fù)雜度的指標(biāo),設(shè)置與第4.2.1節(jié)相同的仿真條件,得到圖7所示仿真結(jié)果。

圖7 2種算法仿真時(shí)長與業(yè)務(wù)到達(dá)率的關(guān)系

由圖7可以看出,相同干擾強(qiáng)度下本文算法相比Q學(xué)習(xí)算法,仿真時(shí)間均有所提升,即時(shí)間復(fù)雜度均有所增加。在輕負(fù)載強(qiáng)度下,本文算法仿真時(shí)長增加相對較小,在業(yè)務(wù)到達(dá)率為6個(gè)/s時(shí),仿真時(shí)長增加最多,此時(shí)相對Q學(xué)習(xí)算法,本文算法仿真時(shí)長增加率達(dá)到3%,但是此時(shí)切換次數(shù)較少,約為Q學(xué)習(xí)算法的39.8%;在重干擾強(qiáng)度下,本文算法仿真時(shí)長增加最多,當(dāng)業(yè)務(wù)到達(dá)率為5個(gè)/s時(shí),仿真時(shí)長增長達(dá)到最大,此時(shí)相對Q學(xué)習(xí)算法,本文算法仿真時(shí)長增加率約為5.4%,但是此時(shí)本文算法切換成功率增加了約27%,平均切換率降低了約48.5%,造成該現(xiàn)象的原因是,本文算法在Q學(xué)習(xí)算法的基礎(chǔ)上引入用戶體驗(yàn)并應(yīng)用綜合預(yù)測方法預(yù)測SINR、獲取網(wǎng)絡(luò)切換接納成功率,從而提升切換成功率,并且在降低平均切換次數(shù)的同時(shí)帶來了部分算法復(fù)雜度的提升,因此,在相同干擾強(qiáng)度下,本文算法相比Q學(xué)習(xí)算法,仿真時(shí)間均有所提升。

5 結(jié)束語

本文針對小型空中飛行平臺(tái)在接入空天異構(gòu)無線網(wǎng)絡(luò)時(shí)平臺(tái)移動(dòng)速度快、傳輸業(yè)務(wù)類型多樣、QoS保障需求高的特點(diǎn),通過在Q學(xué)習(xí)算法的回報(bào)函數(shù)中引入QoE,并且綜合考慮網(wǎng)絡(luò)的SINR、用戶移動(dòng)速度、網(wǎng)絡(luò)切換代價(jià)、信息傳輸?shù)臅r(shí)延和網(wǎng)絡(luò)的擁塞程度,提出一種改進(jìn)算法,用以提升切換的成功率以及降低用戶的切換次數(shù)。該算法應(yīng)用AHP方法,根據(jù)傳輸業(yè)務(wù)類型的不同提供最優(yōu)的網(wǎng)絡(luò)切換策略,從而有效降低切換阻塞率、減少切換次數(shù)。下一步考慮將新的預(yù)測算法應(yīng)用于網(wǎng)絡(luò)性能的預(yù)測中,以提升預(yù)測的準(zhǔn)確性以及獲得更準(zhǔn)確的目標(biāo)網(wǎng)絡(luò)性能,從而提高切換的成功率并降低切換次數(shù)。

[1] KOTA S,GIAMBENE G,KIM S.Satellite component of NGN:integrated and hybrid networks[J].International Journal of Satellite Communications and Networking,2011,29(3):269-282.

[2] 凌 鈞.空天異構(gòu)組網(wǎng)技術(shù)研究[D].武漢:華中科技大學(xué),2013.

[3] 王煜煒,劉 敏,房秉毅.異構(gòu)無線網(wǎng)絡(luò)垂直切換技術(shù)綜述[J].通信學(xué)報(bào),2015,36(S1):224-234.

[4] 邵欣業(yè).星地一體化網(wǎng)絡(luò)干擾避免及切換技術(shù)研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2015.

[5] ZOU D,MENG W,HAN S.Euclidean distance based handoff algorithm for fingerprint positioning of WLAN system[C]//Proceedings of 2013 IEEE Conference on Wireless Communications and Networking.Washington D.C.,USA:IEEE Press,2013:1564-1568.

[6] 劉勝美,孟慶民,潘 甦,等.異構(gòu)無線網(wǎng)絡(luò)中基于SINR和層次分析法的SAW垂直切換算法研究[J].電子與信息學(xué)報(bào),2011,33(1):235-239.

[7] LIU S,CHANG Y,WANG G,et al.Vertical handoff scheme concerning mobility in the two-hierarchy network[C]//Proceedings of 2011 IEEE Workshops on Global Communications Systems.Washington D.C.,USA:IEEE Press,2011:237-241.

[8] SADEK M,AISSA S.Handoff algorithm for mobile satellite systems with ancillary terrestrial component[C]//Proceedings of 2012 IEEE International Conference on Communications.Washington D.C.,USA:IEEE Press,2012:2763-2767.

[9] 寧 磊,郭 慶,王振永,等.面向用戶體驗(yàn)和速度感知的垂直切換判決算法[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào),2013,45(9):1-6.

[10] KAMGA G N,SADEK M,A?SSA S.Adaptive handoff for multi-antenna mobile satellite systems with ancillary terrestrial component[C]//Proceedings of 2016 IEEE International Conference on Communications.Washington D.C.,USA:IEEE Press,2016:1-6.

[11] 熊丹妮,李 屹.星地融合網(wǎng)絡(luò)中基于Q學(xué)習(xí)的切換算法研究[J].通信學(xué)報(bào),2015,36(9):252-258.

[12] MONKS J P,BHARGHAVAN V,HWU W M W.A power controlled multiple access protocol for wireless packet networks[C]//Proceedings of the 20th IEEE Conference on Computer and Communications Societies.Washington D.C.,USA:IEEE Press,2001:219-228.

[13] 汪春霆.衛(wèi)星通信系統(tǒng)[M].北京:國防工業(yè)出版社,2012.

[14] HOLMA H,TOSKALA A.WCDMA技術(shù)與系統(tǒng)設(shè)計(jì)(第2版)[M].付景興,馬 敏,陳澤強(qiáng),等,譯.北京:機(jī)械工業(yè)出版社,2001.

[15] EI-FADEEL G A,EI-SAWY A E,ADIB M J.C4.vertical handoff in heterogeneous wireless networks with predictive SINR using GM(1,1)[C]//Proceedings of the 29th National Conference on Radio Science.Washington D.C.,USA:IEEE Press,2012:175-184.

[16] 張 鈺.基于多屬性判決和業(yè)務(wù)類別的接入策略研究[D].南京:南京郵電大學(xué),2010.

[17] HE D,CHI C,CHAN S,et al.A simple and robust vertical handoff algorithm for heterogeneous wireless mobile networks[J].Wireless Personal Communications,2011,59(2):361-373.

[18] TABRIZI H,FARHADI G,CIOFFI J.Dynamic handoff decision in heterogeneous wireless systems:Q-learning approach[C]//Proceedings of 2012 IEEE International Conference on Communications.Washington D.C.,USA:IEEE Press,2012:3217-3222.

[19] 張振浩,梁 俊,肖 楠,等.支持多業(yè)務(wù)傳輸?shù)奶旎鵐esh網(wǎng)絡(luò)機(jī)會(huì)路由優(yōu)化算法[J].空軍工程大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,18(4):70-76.