常昊天,馮徑,段超凡,顏超,夏凱文
(國防科技大學(xué) 氣象海洋學(xué)院,江蘇,南京 211101)
隨著海洋探測需求的日益增長,海洋環(huán)境監(jiān)測網(wǎng)絡(luò)建設(shè)在不斷發(fā)展[1],海洋環(huán)境監(jiān)測網(wǎng)絡(luò)屬于計(jì)算密集型網(wǎng)絡(luò)應(yīng)用,對資源受限的終端設(shè)備提出了巨大的挑戰(zhàn).雖然云計(jì)算的發(fā)展有效地滿足了計(jì)算密集型網(wǎng)絡(luò)應(yīng)用需求,但云計(jì)算無法滿足高實(shí)時(shí)性要求.為了解決這一問題,移動邊緣計(jì)算(mobile edge computing, MEC)得到了廣泛的研究,它利用網(wǎng)絡(luò)邊緣的計(jì)算資源提供高效、靈活的計(jì)算服務(wù).然而,在典型的MEC場景中,邊緣計(jì)算服務(wù)由蜂窩基站或WiFi接入點(diǎn)提供,無法為偏遠(yuǎn)地區(qū)提供無處不在的覆蓋.在偏遠(yuǎn)地區(qū),物聯(lián)網(wǎng)設(shè)備可能會被廣泛部署,以執(zhí)行某些計(jì)算要求相對較高的應(yīng)用,這會迅速耗盡匯聚節(jié)點(diǎn)的電量,且造成較大的處理延遲.由于缺乏地面接入網(wǎng)絡(luò)覆蓋,典型的邊緣和云計(jì)算模式無法應(yīng)用于此類場景.為此,Cheng等[2]建議采用空天地一體化網(wǎng)絡(luò)(space-air-ground integrated network,SAGIN)架構(gòu)來減輕遠(yuǎn)程物聯(lián)網(wǎng)應(yīng)用的計(jì)算負(fù)擔(dān),這是一種典型的網(wǎng)絡(luò)數(shù)據(jù)多級傳輸架構(gòu).SAGIN將衛(wèi)星網(wǎng)絡(luò)、空中網(wǎng)絡(luò)與地面網(wǎng)絡(luò)相結(jié)合,提供無縫、靈活的網(wǎng)絡(luò)覆蓋和服務(wù),可應(yīng)用于智能交通系統(tǒng)、遠(yuǎn)程監(jiān)控、災(zāi)害救援等領(lǐng)域,以及大規(guī)模高速移動互聯(lián)網(wǎng)接入.SAGIN是一個由衛(wèi)星網(wǎng)、空中網(wǎng)和地面網(wǎng)3個網(wǎng)段組成的多級異構(gòu)傳輸網(wǎng)絡(luò),每個網(wǎng)段擁有不同的資源,受到不同的限制.空中網(wǎng)絡(luò)節(jié)點(diǎn)可以作為外圍服務(wù)器,為IoT設(shè)備提供低延遲的邊緣計(jì)算;另一方面,衛(wèi)星通信雖然可能具有較低的通信速率和較高的傳輸延遲,但可以通過無縫覆蓋和衛(wèi)星骨干網(wǎng)提供始終在線的云計(jì)算.
SAGIN被認(rèn)為是解決未來移動通信網(wǎng)絡(luò)中偏遠(yuǎn)、遠(yuǎn)程、大規(guī)模覆蓋、移動數(shù)據(jù)增長、數(shù)據(jù)流量不均、骨干網(wǎng)僵硬等諸多問題的一種可靠技術(shù).SAGIN的相關(guān)研究應(yīng)用全部集中在地面和空域或天域的邊緣層級,未涉及海洋應(yīng)用背景.在海洋監(jiān)測網(wǎng)絡(luò)應(yīng)用背景下,SAGIN面臨著許多挑戰(zhàn).首先,空中網(wǎng)絡(luò)的高移動性導(dǎo)致了信道條件和覆蓋范圍的動態(tài)變化;其次,SAGIN中不同層級的網(wǎng)段具有不同的網(wǎng)絡(luò)條件和資源約束;最后,SAGIN中的地面網(wǎng)段模型顯然無法應(yīng)用于海洋背景中.因此,需要對SAGIN模型進(jìn)行修改,且提出適合于解決海洋監(jiān)測網(wǎng)絡(luò)數(shù)據(jù)傳輸問題的傳輸機(jī)制.本文在基于??仗於嗑W(wǎng)段的海洋監(jiān)測傳輸背景下,首次提出了包含邊緣計(jì)算卸載和計(jì)算資源分配的聯(lián)合數(shù)據(jù)傳輸控制機(jī)制.
與物聯(lián)網(wǎng)中使用SAGIN相類似,在海洋綜合監(jiān)測網(wǎng)絡(luò)中對數(shù)據(jù)進(jìn)行傳輸時(shí),為減小網(wǎng)絡(luò)整體的數(shù)據(jù)傳輸延遲,并提高回傳數(shù)據(jù)的實(shí)時(shí)性和信息價(jià)值,也應(yīng)使用多層級網(wǎng)絡(luò)結(jié)構(gòu).因此,本文擬建立??仗炱脚_綜合數(shù)據(jù)傳輸網(wǎng)絡(luò)(sea-air-space integrated network,SASIN)和海洋綜合監(jiān)測網(wǎng)絡(luò)的多級傳輸控制機(jī)制,引入具有移動、通信和計(jì)算能力的無人機(jī)(unmanned aerial vehicle,UAV)作為邊緣計(jì)算節(jié)點(diǎn),基于海基、空基和天基3個數(shù)據(jù)傳輸層級,提高海洋探測數(shù)據(jù)的傳輸處理效率.
在遠(yuǎn)程區(qū)域部署物聯(lián)網(wǎng)設(shè)備以執(zhí)行具有計(jì)算要求的特定任務(wù),例如監(jiān)控和視頻監(jiān)控.在所考慮的偏遠(yuǎn)地區(qū),沒有蜂窩覆蓋,因此建立SASIN,以向物聯(lián)網(wǎng)設(shè)備提供網(wǎng)絡(luò)接入、邊緣計(jì)算和緩存等網(wǎng)絡(luò)功能,SASIN網(wǎng)絡(luò)模型如圖1所示.
在SASIN網(wǎng)絡(luò)中,有3個網(wǎng)絡(luò)層次,即海面網(wǎng)段、空中網(wǎng)段和空間網(wǎng)段.SASIN網(wǎng)絡(luò)抽象可由圖G表征為
G=(V,U,S,E),
式中:V={vi|i=1,2,…,Nv}為浮標(biāo)節(jié)點(diǎn)集合;U={uj│i=1,2,…,Nu}為UAV集合;S={sk|k=1,2,…,Ns}為衛(wèi)星集合;E={(vi,uj),(vi,sk)|?vi∈V,?uj∈U,?sk∈S}為浮標(biāo)與UAV間、浮標(biāo)與衛(wèi)星間通信鏈路的集合.
浮標(biāo)節(jié)點(diǎn)構(gòu)成了海面部分,具有非常有限的能量和計(jì)算能力,采集水下傳感器的原始探測數(shù)據(jù),進(jìn)行預(yù)處理和異常檢測標(biāo)注,按照下文所提出的多級傳輸控制機(jī)制,使用自身、UAV或者經(jīng)由衛(wèi)星使用云端對探測數(shù)據(jù)進(jìn)行異常檢測處理,最終將有效信息傳輸至數(shù)據(jù)中心;在空中部分,飛行的UAV可以充當(dāng)邊緣服務(wù)器,為地面用戶提供邊緣緩存和計(jì)算能力,UAV將所處理好的數(shù)據(jù)信息傳回陸基基站,最終傳至數(shù)據(jù)中心;在空間段,低軌衛(wèi)星(LEO)提供目標(biāo)區(qū)域的全覆蓋,并通過衛(wèi)星骨干網(wǎng)將海面浮標(biāo)節(jié)點(diǎn)與云端相連.
[1-PLoS(r,h)]ηNLoS,
(1)
式中:h和r分別為無人機(jī)飛行高度和無人機(jī)與海面浮標(biāo)之間的水平距離;ηLoS和ηNLoS分別為在LoS和NLoS鏈路的自由空間路徑損耗的基礎(chǔ)上產(chǎn)生的附加損耗;fc為載波頻率,c表示光速;PLoS為無人機(jī)-海面鏈路的視線概率,可以通過式(2)得到
PLoS(r,h)=1/[1+ae-barctan(h/r)-a],
(2)
式中:a,b,ηLoS,ηNLoS為環(huán)境相關(guān)變量,在偏遠(yuǎn)地區(qū)通常取4.88,0.43,0.1,21[5].此外,無人機(jī)-海面通信使用總帶寬為B的WiFi協(xié)議.每個浮標(biāo)獲得的帶寬由式(3)計(jì)算為
Bi=ρBξ(n),
(3)
式中:ρ為WiFi吞吐量效率因子;ξ(n)為WiFi信道效用函數(shù),是關(guān)于浮標(biāo)數(shù)量n的遞減函數(shù).因此,即時(shí)無人機(jī)-海面間的數(shù)據(jù)速率可以通過式(5)獲得
(4)
在SASIN網(wǎng)絡(luò)中,有M個浮標(biāo)和N種不同的海洋要素探測數(shù)據(jù),每個浮標(biāo)處理N種不同的海洋要素?cái)?shù)據(jù).不同海洋要素?cái)?shù)據(jù)具有一定的優(yōu)先級,要素序數(shù)較小的數(shù)據(jù)將比序數(shù)較大的更早地被發(fā)送/處理.對于數(shù)據(jù)類型j,輸入數(shù)據(jù)和工作負(fù)載分別用Hj和Zj表示.
(5)
(6)
當(dāng)一個未完成的任務(wù)沒有在時(shí)隙t被調(diào)度時(shí)式(6)中的不等式成立.如果任務(wù)Wij在時(shí)間t被本地處理或卸載到云上,認(rèn)為任務(wù)可以在一定的延遲下完成,并且mij(t)=0.但是,如果Wij卸載到UAV邊緣服務(wù)器,它可能無法完成并在t結(jié)束時(shí)完成,主要是因?yàn)槿绻麑⒍鄠€任務(wù)卸載到一個UAV邊緣服務(wù)器,其中一些任務(wù)可能無法在時(shí)間段內(nèi)完成.
計(jì)算卸載旨在最小化系統(tǒng)成本,系統(tǒng)成本包括延遲成本及能耗和服務(wù)器使用成本.
① 延遲成本:如果任務(wù)Wij被安排在時(shí)隙t,則可以根據(jù)卸載決策計(jì)算延遲.如果任務(wù)計(jì)劃在本地處理,則延遲為
(7)
(8)
(9)
② 能源和服務(wù)器使用成本:本地處理Wij的能源成本可以通過式(10)計(jì)算
(10)
如果在時(shí)隙t,任務(wù)Wij被卸載到UAV,能量和服務(wù)器使用成本可以通過式(11)得到
(11)
式中α為UAV使用成本相對于傳輸能耗的權(quán)重.類似地,云上能耗和服務(wù)器成本為
(12)
在時(shí)隙t中,可以將多個任務(wù)卸載到一個邊緣服務(wù)器的多個VM中并行執(zhí)行,以減少處理延遲.一個VM執(zhí)行特定要素?cái)?shù)類型任務(wù).因此,本節(jié)研究虛擬機(jī)分配問題,選擇邊緣承接的任務(wù)以及將計(jì)算資源分配給不同的虛擬機(jī).由于邊緣服務(wù)器的總計(jì)算資源是固定的,因此需共同優(yōu)化無人機(jī)邊緣服務(wù)器中的虛擬機(jī)分配和任務(wù)調(diào)度,以減少系統(tǒng)總延遲.
s.t.
式中tm,n為數(shù)據(jù)m的任務(wù)n的延遲要求,tm,n可以通過式(13)得到
tm,n=ε/ξm,n,
(13)
式中ξm,n為任務(wù)Wij的信息價(jià)值.
由此可見,這是一個難以求解的混合整數(shù)規(guī)劃問題.它包括虛擬機(jī)計(jì)算資源向量C和0~1整數(shù)矩陣Y.即使假設(shè)C是已知的,剩余子問題仍然是一個具有0~1整數(shù)約束的二次問題,這對于非正定矩陣是NP困難的.該問題通常用特定的松弛方法重新構(gòu)造,然后用凸優(yōu)化技術(shù)求解,這種非在線方法需要大量的迭代,實(shí)時(shí)性較差.因此,本節(jié)設(shè)計(jì)一個有效的低復(fù)雜度的虛擬機(jī)資源分配算法來獲得次優(yōu)解,如圖2所示.
cm=min{(nZm)/tm,n},
(14)
(15)
然后,按式(16)再次為VM分配cm,重復(fù)直到滿足約束條件,并且獲得C和任務(wù)調(diào)度Y,
(16)
非計(jì)劃任務(wù)則由式(17)選出
(17)
最壞情況需要N′(N′+1)/2 次比較,其中N′是邊緣服務(wù)器的總卸載任務(wù)數(shù).
為SASIN網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)一種在線計(jì)算卸載方法,計(jì)算任務(wù)被安排在本地處理,卸載到UAV邊緣服務(wù)器,或通過衛(wèi)星卸載到云服務(wù)器,以最小化任務(wù)延遲、能耗以及服務(wù)器的使用成本.將計(jì)算卸載決策建模為Q-learning過程,定義為結(jié)構(gòu)體(,,,),其中代表系統(tǒng)狀態(tài)集合,代表動作集合,代表狀態(tài)轉(zhuǎn)移概率,則代表在系統(tǒng)某狀態(tài)s∈下采取動作a∈的獎勵或代價(jià)函數(shù).SASIN計(jì)算卸載問題的Q-learning模型可描述為4方面:
② 動作(action):為任務(wù)分配卸載計(jì)劃,即a(t)={Xl(t),Xe(t),Xc(t)}.
③ 狀態(tài)轉(zhuǎn)移概率(transition probability):表明本時(shí)隙到下一時(shí)隙狀態(tài)的轉(zhuǎn)移概率
P{S(t+1)|S(t),a(t)}=P{M(t+1)?
剩余處理時(shí)間矩陣中的對應(yīng)元素
④Q值(Q-value):Q-learning的難點(diǎn)在于Q值的建立.Q值即為自初始狀態(tài)起、以動作-狀態(tài)映射的系統(tǒng)價(jià)值量,可定義為
式中γ∈[0,1]為折算因子,所有狀態(tài)軌跡所對應(yīng)的代價(jià)函數(shù)和的期望值即為Q值.
Ⅰ)當(dāng)mij=0時(shí),任務(wù)已經(jīng)完成,所以Cij(sij(t),aij(t))=0;
本節(jié)所要實(shí)現(xiàn)的就是提出一種尋找最優(yōu)動作的在線方法,如式(18)所示
a*=argmina∈{C(S,a)+γQ(S,a)}.
(18)
由于浮標(biāo)無法知道未來自身、UAV和衛(wèi)星的通信狀況以及任務(wù)卸載狀況,因此必須采用在線算法計(jì)算資源分配和任務(wù)卸狀況,利用以往的信息預(yù)測未來的狀態(tài)轉(zhuǎn)移規(guī)律
Q(sij(t),aij(t))=C(sij(t),aij(t))+
(19)
Q(sij(t),aij(t))在t時(shí)刻初始化為代價(jià)函數(shù)C(sij(t),aij(t)),而C(sij(t+1),aij(t+1))按t時(shí)刻的狀態(tài)信息得到,之后按式(19)更新,概率P{aij(t+1)}由以往的統(tǒng)計(jì)頻數(shù)得到
(20)
對應(yīng)不同動作a(t)={aij(t)}計(jì)算Q值,挑選出具有最小Q值的動作組合,形成決策方案,計(jì)算卸載調(diào)度算法流程如圖3所示,圖中a*(t)計(jì)算方式如式(21)
(21)
將啟發(fā)式虛擬機(jī)計(jì)算資源分配和任務(wù)調(diào)度算法與暴力方法和隨機(jī)方法進(jìn)行比較.圖4示出了所提出算法的延遲性能,相對于邊緣服務(wù)器計(jì)算資源的平均延遲.圖5表示了當(dāng)邊緣計(jì)算速度為10 GC時(shí)平均延遲與卸載任務(wù)總數(shù)之間的關(guān)系.在圖4與圖5中,所提啟發(fā)式算法都能達(dá)到與暴力方法非常接近的性能.
如圖6所示,隨著任務(wù)總數(shù)的增加,暴力窮舉方法的運(yùn)行時(shí)間呈指數(shù)增長,而啟發(fā)式算法的運(yùn)行時(shí)間相對小得多.所提虛擬機(jī)計(jì)算資源分配和任務(wù)調(diào)度算法能夠同時(shí)達(dá)到接近最優(yōu)的性能和較低的計(jì)算復(fù)雜度,能夠在動態(tài)網(wǎng)絡(luò)條件下為邊緣服務(wù)器進(jìn)行有效資源分配.
本小節(jié)對提出的計(jì)算卸載方法進(jìn)行了評估和比較,將其與另外兩種計(jì)算卸載方法,即隨機(jī)和貪婪進(jìn)行了比較.隨機(jī)方法隨機(jī)卸載任務(wù);而貪婪法要求浮標(biāo)向通信范圍內(nèi)的全部UAV卸載任務(wù),否則依固定概率進(jìn)行本地或云卸載.圖7刻畫了本文所提卸載算法的收斂性能,從第12個時(shí)隙左右算法已經(jīng)收斂,所構(gòu)建的成本函數(shù)增強(qiáng)了算法的學(xué)習(xí).
表1展示了成本的主要組成部分,即能耗和延遲.本文所提出的計(jì)算卸載方法可以實(shí)現(xiàn)最低的能耗和最低的延遲.隨機(jī)方法獲得與基于Q學(xué)習(xí)的方案相近能耗,因?yàn)殡S機(jī)方法在本地處理更多任務(wù),因此能耗較低,但由于本地延遲較長,因此延遲更高.
表1 能耗延時(shí)比較
然而,貪婪方法具有很高的能量消耗和延遲,這是由于向無人機(jī)邊緣服務(wù)器上傳了過多任務(wù),增大了傳輸能耗,且增加了處理延遲.這可以在表2中得證,所提出的方法比其他兩種卸載方式更頻繁地選擇衛(wèi)星云.與衛(wèi)星云相比,邊緣服務(wù)器雖然具有高傳輸速率,但面臨競爭問題;而本地處理由于計(jì)算能力弱,則會導(dǎo)致較長的延遲.貪婪方法選擇更多的無人機(jī)邊緣,而隨機(jī)方法則較為均勻地選擇了3種方式.
表2 卸載分配情況
圖8表示了卸載性能相對于UAV服務(wù)器使用成本權(quán)重α的關(guān)系,基于Q學(xué)習(xí)的方法通過與環(huán)境的交互獲取卸載策略,實(shí)現(xiàn)最低的總成本.總成本關(guān)于云服務(wù)器使用成本權(quán)重β的變化趨勢如圖9所示,基于Q學(xué)習(xí)的卸載方法實(shí)現(xiàn)了最低的總成本,但總成本增長最快.
本文構(gòu)建了SASIN系統(tǒng)模型,研究了SASIN中的虛擬機(jī)分配和任務(wù)調(diào)度和計(jì)算任務(wù)卸載聯(lián)合調(diào)度控制機(jī)制,有效地將計(jì)算資源分配給無人機(jī)邊緣服務(wù)器中的不同虛擬機(jī),同時(shí)減輕了計(jì)算密集型任務(wù)的負(fù)擔(dān).提出了一種動態(tài)條件下基于Q學(xué)習(xí)的計(jì)算卸載學(xué)習(xí)方法,從而處理多維SASIN資源調(diào)度,仿真結(jié)果驗(yàn)證了所提方法的收斂性和有效性.