• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種基于強化學習的低軌衛(wèi)星網(wǎng)絡(luò)智能路由算法*

    2022-11-04 02:23:00左珮良
    北京電子科技學院學報 2022年2期
    關(guān)鍵詞:衛(wèi)星網(wǎng)絡(luò)快照時延

    左珮良 王 晨 蔣 華,2

    1.北京電子科技學院,北京市 100070

    2.西安電子科技大學,西安市 710071

    引言

    隨著5G 通信技術(shù)逐步融入人類社會生活并為后者提供不可或缺的服務(wù)體驗,6G 通信技術(shù)以及空天地一體化技術(shù)已經(jīng)進入研究人員的視野[1],其中具備探測、導航或通信功能的衛(wèi)星網(wǎng)絡(luò)是重要的組成部分[2]。 相比于一般的高、中軌道衛(wèi)星網(wǎng)絡(luò),由于距離地面更近,低軌衛(wèi)星網(wǎng)絡(luò)具備明顯更低的服務(wù)延遲,且在執(zhí)行相關(guān)任務(wù)時具備更好的機動性。 與此同時,大量低軌衛(wèi)星的高效合作能夠?qū)崿F(xiàn)對地球表面的全天候低時延覆蓋,以上優(yōu)勢使得低軌衛(wèi)星網(wǎng)絡(luò)的快速構(gòu)建成為世界各大國的工作重點。 低軌衛(wèi)星網(wǎng)絡(luò)在空天地一體化技術(shù)中扮演的角色示意可以參見圖1,得益于星間鏈路和低時延廣覆蓋特性[3],低軌衛(wèi)星網(wǎng)絡(luò)在提供自身基本的探測、導航和通信三項服務(wù)的同時,其能夠很好的實現(xiàn)承載異構(gòu)網(wǎng)絡(luò)互通融合的目標。

    圖1 空天地一體化場景中低軌衛(wèi)星網(wǎng)絡(luò)的應(yīng)用示意圖

    國內(nèi)外典型的低軌衛(wèi)星星座系統(tǒng)有銥星二代、OneWeb、Starlink(星鏈)等,其中銥星二代系統(tǒng)具備全星間鏈路,能夠基于星上路由功能實現(xiàn)數(shù)據(jù)交換,但受限于通信頻段的帶寬,其星間鏈路通信容量較低[3]。 OneWeb 星座系統(tǒng)則不具備星間通信功能,其依靠彎管載荷實現(xiàn)寬帶業(yè)務(wù)。 Starlink 衛(wèi)星互聯(lián)網(wǎng)計劃由美國SpaceX 投入實施,旨在最終依靠成千上萬顆低軌衛(wèi)星組網(wǎng)實現(xiàn)全球范圍內(nèi)的寬帶互聯(lián)網(wǎng)接入,截止目前,Starlink 還不能夠支持星間鏈路,其服務(wù)范圍還相對有限,但其為用戶提供的平均服務(wù)速率已經(jīng)是地球同步軌道衛(wèi)星Viasat 的三倍多,達到79.5Mbps,而平均時延卻僅為后者的十六分之一(42ms)。 我國計劃于2023 年前完成“鴻雁”低軌衛(wèi)星星座的構(gòu)建工作,并最終實現(xiàn)全球互聯(lián)網(wǎng)用戶的接入和監(jiān)測服務(wù)。 雖然低軌衛(wèi)星網(wǎng)絡(luò)具備不可替代的優(yōu)勢,但由于低軌衛(wèi)星高速移動、數(shù)量眾多、軌道交錯多樣所導致的星間拓撲頻繁變動、星間鏈路持續(xù)性不強等現(xiàn)象,使得低軌衛(wèi)星路由算法的可靠性和高效性受到不小的挑戰(zhàn)。 文獻[4]依據(jù)衛(wèi)星三種典型的業(yè)務(wù)類型(即時延敏感業(yè)務(wù)、帶寬敏感業(yè)務(wù)和丟包率敏感業(yè)務(wù))對QoS 的需求,設(shè)定了多約束條件下的路由優(yōu)化目標,并通過蟻群優(yōu)化算法進行求解。 以均衡動態(tài)低軌衛(wèi)星網(wǎng)絡(luò)的負載為目的,文獻[5]提出了一種基于事件觸發(fā)的路由算法,該算法由鏈路信息更新、多徑路由和負載判決三步組成,一定程度上提高了網(wǎng)絡(luò)的負載均衡和抗毀性。針對中心式路由決策具備策略重構(gòu)時延長的問題,文獻[6]提出了一種基于星間鏈路持續(xù)時長預測的路徑切換機制,該機制在一定程度上提升了網(wǎng)絡(luò)的吞吐量水平。 相比于需要控制中心統(tǒng)一搜集路由決策依據(jù)信息的集中式路由決策方法,發(fā)揮局部信息感知和路徑策劃的分布式路由方法雖然決策結(jié)果不具備全局最優(yōu)的特點,但其規(guī)劃結(jié)果具備更好的實時性,能夠適應(yīng)于網(wǎng)絡(luò)高動態(tài)變化的場景。 文獻[7]提出的ELB 算法能夠分布式的感知網(wǎng)絡(luò)狀態(tài)并定期監(jiān)控本地擁塞情況,設(shè)定擁塞閾值,待擁塞超標后,進行路徑切換。 受交通燈啟發(fā),文獻[8]提出了TLR 方法,方法將下一節(jié)點的網(wǎng)絡(luò)擁塞狀態(tài)用紅、黃、綠顏色描述,以便動態(tài)的調(diào)整數(shù)據(jù)流的走向。 文獻[9]將網(wǎng)絡(luò)節(jié)點擁塞狀態(tài)進行了簡單的二元(優(yōu)、良)描述,以此作為數(shù)據(jù)流選路的依據(jù),該種方法簡單且易實施。 不同于以上需要人工設(shè)定閾值并劃分衛(wèi)星節(jié)點類型的分布式路由決策方法,本文關(guān)注于探索提出一種能夠依靠深度強化學習模型自適應(yīng)選路的智能路由算法,所提算法不需要額外設(shè)定節(jié)點分類閾值,避免了由于該操作所引入的誤差。 在論文接下來的內(nèi)容里,第1 章給出了路由模型,第2 章具體說明了所提算法,第3 章對路由算法的性能進行了仿真驗證,第4 章對全文進行了總結(jié)。

    1 智能路由模型

    本文所關(guān)注的路由決策場景如圖2 所示,不失一般性,我們假定極軌道衛(wèi)星星座中每顆低軌衛(wèi)星的通信可達范圍內(nèi)包含了四顆相鄰的衛(wèi)星節(jié)點,其中與當前衛(wèi)星節(jié)點處于同一軌道的衛(wèi)星為兩顆,處于東西相鄰軌道的衛(wèi)星各為一顆。 隨著通信和計算技術(shù)的迅猛發(fā)展,在模型的同一星座中,每顆衛(wèi)星由于發(fā)送上天的時間存在差異,衛(wèi)星的大小、通信能力、處理能力及能源獲取和消耗水平都存在明顯的差異。 與此同時,受實際工作環(huán)境(如非均衡鏈路負載)的影響,每顆衛(wèi)星的可用資源也存在區(qū)別。

    作為低軌衛(wèi)星網(wǎng)絡(luò)智能路由技術(shù)初探,本文考慮分布式場景下的衛(wèi)星路由決策,特別地,我們設(shè)定每顆待發(fā)送數(shù)據(jù)的衛(wèi)星(源衛(wèi)星)僅能夠依靠信息交互獲取到周圍四顆衛(wèi)星的實際狀態(tài),顯而易見,這種假定在很大程度上節(jié)省了通信交互的開銷和衛(wèi)星的存儲空間。 如圖2 所示,源衛(wèi)星的智能選路過程可以用三步進行描述:①源衛(wèi)星依靠通信交互獲得周圍四顆衛(wèi)星的可用帶寬、信道信噪比、間距、空間位置等決策參考信息;②源衛(wèi)星依靠接收到的決策參考信息以及自身狀態(tài)如發(fā)送功率、天線調(diào)整速率等,結(jié)合智能算法得到預測輸出;③源衛(wèi)星完成算法預測輸出與節(jié)點選擇的映射,并將待發(fā)送數(shù)據(jù)傳送給下一衛(wèi)星節(jié)點。

    圖2 智能路由模型示意圖

    2 基于強化學習的路由算法

    2.1 強化學習與深度強化學習

    如圖3 所示,在強化學習過程中,智能體(Agent)和環(huán)境(Environment)在一系列離散時間內(nèi)相互作用,完成一個任務(wù)。 強化學習的過程可使用馬爾可夫決策過程(MDP)進行建模,一般使用五元組<S,A,P,R,γ >進行描述[11],其中S與A分別代表狀態(tài)空間和動作空間,P為狀態(tài)轉(zhuǎn)移概率,p(s′|s,a) 表示在狀態(tài)s下采取動作a后環(huán)境轉(zhuǎn)移到狀態(tài)s′ 的概率,R為獎勵函數(shù),γ∈[0,1] 為折扣率,R表明了智能體的當前動作是好動作還是壞動作。 強化學習智能體的策略使用π表示,智能體根據(jù)策略π選擇動作。

    圖3 強化學習原理圖

    智能體與環(huán)境交互過程包括以下幾個過程:在t時刻,智能體觀察環(huán)境的狀態(tài)st∈S,智能體根據(jù)策略π(st) 選擇動作at, 動作at作用于環(huán)境,隨后環(huán)境轉(zhuǎn)變?yōu)闋顟B(tài)st+1, 此時環(huán)境會給予智能體相應(yīng)的獎勵rt, 之后智能體會依據(jù)新的環(huán)境狀態(tài)和策略做出新的決策,該交互過程不斷重復,直至智能體完成相應(yīng)的目標任務(wù)。 強化學習智能體的目標即為最大化累計獎勵的期望E(∑γtrt),其中,γ∈(0,1) 是折扣率,當γ接近0 時,智能體更注重短期回報,當γ接近1 時,智能體更注重長期回報。

    Q 學習是強化學習典型算法之一[12]。 Q 學習算法是一種離線策略的差分學習方法。 在策略π、環(huán)境狀態(tài)s下采取動作a時,基于Q 學習的智能體會學習動作值函數(shù)Qπ(s,a) :

    最佳動作值函數(shù)Q*(s,a) ?maxπQπ(s,a),由貝爾曼最優(yōu)方程可知:

    其中s′是在狀態(tài)s下做出動作a之后的新狀態(tài)。 Q 學習的主要思想是迭代地估計每個狀態(tài)-動作對(s,a) 出現(xiàn)時的Q*(s,a)。 設(shè)q(s,a) 為迭代過程中的動作值函數(shù),則根據(jù)t時刻狀態(tài)-動作對(st,at) 和獎勵rt+1, Q 學習更新q(st,at) 的過程如下:

    其中β∈(0,1] 是學習速率。 Q 學習在更新q(s,a) 的同時,也會根據(jù)q(s,a) 進行動作決策。 為避免局部收斂,智能體會以一定概率隨機選擇動作,這種方式稱為ε-貪婪策略,即:

    隨機選擇一個動作是為了智能體避免陷入尚未收斂到Q*(s,a) 的q(s,a) 函數(shù)中。

    傳統(tǒng)的強化學習使用存儲表的方法記錄表示策略π, 然而當狀態(tài)-動作空間較大時,傳統(tǒng)強化學習方法變得不再實用。 在低軌衛(wèi)星網(wǎng)絡(luò)中,網(wǎng)絡(luò)規(guī)模的增長及監(jiān)控粒度的不斷細化,導致低軌衛(wèi)星網(wǎng)絡(luò)的狀態(tài)空間維度爆炸,依靠傳統(tǒng)強化學習實現(xiàn)低軌衛(wèi)星的路由算法愈發(fā)困難。例如在本文的仿真設(shè)置中,狀態(tài)空間由四項時延、一項距離和一項終點指示所組成,則狀態(tài)空間大小為104× 12× 2= 240000,該值遠遠超出了傳統(tǒng)強化學習能夠高效處理的空間范圍。 深度強化學習將深度學習的智能感知能力和強化學習的快速決策能力相結(jié)合,通過充分發(fā)揮二者各自的優(yōu)勢使得智能體能夠直接從高維輸入數(shù)據(jù)中獲得感知信息,并使用獲得的感知信息進行模型訓練,得到最優(yōu)策略并做出決策,實現(xiàn)對智能體的行為進行合理有效的控制[14][15]。

    在強化學習中引入深度學習有三種方法,分別為基于值的深度強化學習、基于策略的深度強化學習和基于模型的深度強化學習[13]。 其中,基于值的深度強化學習方法,即DQN(深度Q 學習),使用神經(jīng)網(wǎng)絡(luò)來估計狀態(tài)-動作值函數(shù)(即Q 值),DQN 與Q 學習類似,仍然通過差分學習的方式更新Q 值。

    DQN 的優(yōu)化目標為最小化損失函數(shù)Loss,Loss 表示的是現(xiàn)實值與估計值的偏差大小,定義為:

    在常規(guī)DQN 中,選擇動作和評估選擇的動作使用相同的網(wǎng)絡(luò)參數(shù),這導致Q 值被過高估計,為解決這個問題,可以使用兩個結(jié)構(gòu)相同但參數(shù)不同的神經(jīng)網(wǎng)絡(luò),分別稱為Q 網(wǎng)絡(luò)和目標網(wǎng)絡(luò),以減少Q(mào) 值的過度估計,同時降低訓練時震蕩發(fā)生的可能性。

    2.2 智能路由算法

    由于衛(wèi)星節(jié)點的可用頻譜資源可能不相同,不同衛(wèi)星節(jié)點間可用于通信的共同頻譜資源可能不同,即不同衛(wèi)星鏈路的帶寬可能不同,因此在t時刻,路由節(jié)點i與路由節(jié)點j之間的星間鏈路可實現(xiàn)的數(shù)據(jù)傳輸最大速率為:ri,j(t)=Bi,jlog2(1 +γi,j(t)),其中Bi,j表示路由節(jié)點i與路由節(jié)點j之間用于通信的共同頻譜資源。

    由以上描述我們可以得到Ti,j(t) 的具體表達式:Ti,j(t)=Ri,j(t)/ri,j(t)+m,其中Ri,j(t) 為t時刻路由節(jié)點i與節(jié)點j的距離,m表示發(fā)送時延,由于路由節(jié)點接收到數(shù)據(jù)需要進行解碼轉(zhuǎn)發(fā),所以需要一定的時間進行轉(zhuǎn)碼,方便起見我們假設(shè)每個節(jié)點解碼能力相同,可以將m設(shè)為固定值。

    本文的獎勵函數(shù)由路由節(jié)點到目的節(jié)點的距離、星間鏈路傳輸時延、路由跳數(shù)構(gòu)成,單步即時獎勵函數(shù)具體設(shè)定如下:

    其中,α、ρ、μ三個權(quán)重參數(shù)的和為1,Tij(t),Lj(t) 需進行歸一化處理,rt取值范圍是-1 到0。 如果下一跳的節(jié)點是目的節(jié)點,獎勵值應(yīng)最大,此時獎勵設(shè)為0,其他情況獎勵值均小于0。 如果下一跳的節(jié)點是不是目的節(jié)點,獎勵函數(shù)需要考慮路由節(jié)點i向路由節(jié)點j的傳輸時延Ti,j(t),智能體選擇下一跳節(jié)點的時延越小獎勵越大;若只考慮時延特性,路由的傳輸可能會偏離最終的目的節(jié)點,所以獎勵函數(shù)還應(yīng)考慮下一跳節(jié)點離目的節(jié)點的距離,智能體選擇下一跳的節(jié)點距離目的節(jié)點越近,獎勵越大;本文還考慮跳數(shù)的因素,假設(shè)路由最大跳數(shù)為M,當前實際跳數(shù)為n, 則可設(shè)置與跳數(shù)相關(guān)的獎勵為Hn= 1/1+e-(n-M),當n在M之內(nèi)時,與跳數(shù)相關(guān)的獎勵值趨近于0,若實際跳數(shù)n遠超過M,則與跳數(shù)相關(guān)的獎勵值趨向于-μ。

    本文采用DQN 算法對模型進行訓練,具體算法流程如下所示:

    輸入:狀態(tài)空間S,動作空間A,折扣率γ,學習率β,目標網(wǎng)絡(luò)參數(shù)更新頻率F;1. 初始化經(jīng)驗回放庫D,容量為N;2. 隨機初始化實際Q 網(wǎng)絡(luò)的參數(shù)?;3. 隨機初始化目標Q 網(wǎng)絡(luò)的參數(shù)?^ = ?;4. repeat 5. 選擇起始路由節(jié)點i,起始路由節(jié)點的狀態(tài)為si;6. repeat

    7. 在狀態(tài)si 的情況下選擇動作a = πε(si);8. 執(zhí)行動作a,智能體與環(huán)境交互,得到單步即時獎勵r 和新的狀態(tài)s′;9. 將si,a,r,s′放入經(jīng)驗回放庫D 中;10. 從D 中采樣新的ss,aa,rr,ss′進行訓練;11. 以[(r + γ max a′ Q?(s′,a′)) - Q?(s,a)]2 為損失函數(shù)訓練Q 網(wǎng)絡(luò);12. 狀態(tài)更新:s ←s′;13. 每隔F 步對目標Q 網(wǎng)絡(luò)參數(shù)進行更新:?^←?;14. until 狀態(tài)s 為目的節(jié)點;15. until 對于任意的s,a,Q?(s,a) 收斂;輸出:Q 網(wǎng)絡(luò)的Q?(s,a) 值,選取最優(yōu)動作a = argmaxaQ?(s,a)

    3 仿真與性能分析

    本文使用Keras 作為深度學習平臺來訓練神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)采用6 層的ResNet 網(wǎng)絡(luò),程序仿真的相關(guān)參數(shù)如表1 所示。 不失一般性,設(shè)定衛(wèi)星數(shù)量為48 顆,并且均勻地分布于8 條地球近地軌道,其中每條軌道上有6 顆間距相等的低軌衛(wèi)星,與此同時,為了方便和直觀地驗證本文所提算法的性能,論文將低軌衛(wèi)星軌道面展開視作矩形,并設(shè)定相鄰軌道的間距相等。 在仿真中以快照的形式訓練或者測試所提算法,在每個快照中,隨機設(shè)定一個衛(wèi)星節(jié)點作為目的節(jié)點,并假定快照中所有衛(wèi)星的包含可用帶寬、空間位置等狀態(tài)保持不變,在余下的47 顆衛(wèi)星中隨機地產(chǎn)生一個數(shù)據(jù)源衛(wèi)星,定義從源衛(wèi)星起始并最終選路至目的衛(wèi)星節(jié)點時算作一輪。 本文分別產(chǎn)生了10 個和5 個快照作為訓練集和測試集,對于訓練集來說,探索指數(shù)ε初始值設(shè)置為0.9,并隨著當前輪中選路的進行每步衰減至上一步0.995 倍,直至本快照訓練結(jié)束,而快照間的探索指數(shù)ε按照上一快照初始值的三分之二進行衰減,對于測試集來說,為了充分利用所訓練得到的算法模型,我們將探索指數(shù)ε始終設(shè)置為0.005。 權(quán)重α、ρ和μ被分別設(shè)置為0.5、0.3與0.2,本文從兩個層面考慮,最終設(shè)置了該權(quán)重比例,一方面是理論上三者對路由時延影響的程度,另一方面則是在仿真中進行參數(shù)的優(yōu)化,當前的權(quán)重參數(shù)性能較優(yōu)。

    表1 所提算法仿真參數(shù)

    所提算法針對訓練集的時延和獎勵的收斂過程如圖4 所示,可以明顯的看到,對于十個快照的每一個來說,算法的獎勵和傳輸?shù)臅r延都在早期經(jīng)歷了一定的震蕩后(一般10 幾輪到20 幾輪之間),逐步收斂到穩(wěn)定值,這與算法探索指數(shù)的逐步減少以及深度強化學習模型逐步掌握當前快照的路由策略相對應(yīng)。 另外值的說明的是,對于每個快照在收斂后仍然可以看到較小的毛刺(參見圖3 時延線),這是因為此時的探索指數(shù)仍然較大,衛(wèi)星節(jié)點在選路的過程中依然有一定的幾率選中非優(yōu)的下一衛(wèi)星節(jié)點,且由于該幾率較小,所以在未來的選路中又回歸到了較優(yōu)的節(jié)點上,使得引起的震蕩較小。

    圖5 展示了所提算法依靠訓練數(shù)據(jù)得到的模型針對測試數(shù)據(jù)的收斂過程,結(jié)合圖4 可以得出結(jié)論,算法模型能夠以明顯更快的速度適應(yīng)快照的衛(wèi)星節(jié)點狀態(tài),其一般僅需要2-4 輪即可以完成收斂,與此同時,由于模型的探索指數(shù)很小,可以看到對于測試數(shù)據(jù)收斂后基本上不會發(fā)生毛刺現(xiàn)象。 此外,還可以看到,圖5 中模型的震蕩頻率和震蕩程度均明顯的低于圖4,這說明了依靠舊快照訓練得到的模型能夠很快的適應(yīng)新的快照,且在模型適應(yīng)后者的過程中所產(chǎn)生的不匹配程度較低。 值得補充說明的是,結(jié)合仿真結(jié)果不難判斷出,本文所提智能路由方法能夠避免出現(xiàn)“路由回路”問題,因為方法以最低路由時延為優(yōu)化目標,智能體依靠大量的“嘗試-犯錯-再嘗試”模式的訓練過程,對包含“路由回路”在內(nèi)的多種耗費時間的錯誤決策進行了學習認知。

    圖4 所提算法針對訓練數(shù)據(jù)的收斂過程

    圖5 所提算法針對測試數(shù)據(jù)的收斂過程

    最后,我們對所提算法相比于其他常用算法的優(yōu)勢性進行仿真驗證,考慮到本文場景中待傳數(shù)據(jù)的衛(wèi)星節(jié)點獲取周邊衛(wèi)星信息的局限性,論文選取了貪婪周邊無狀態(tài)路由(GPSR)算法[10]作為對比方法,該算法僅以下一節(jié)點距離目的節(jié)點的距離作為參考因素進行選路,此外,我們還選定貪婪固定權(quán)重路由(GFWR)作為對比方法,該方法可以認為是文獻[8-10]所提算法的當前場景改進版,方法依靠對基于可用帶寬、信噪比和待傳數(shù)據(jù)量計算得到的時延以及下一節(jié)點與目的節(jié)點的距離兩個因素設(shè)置固定權(quán)重加和進行路徑選擇。

    待收斂后,我們在測試集中隨機選用幾個處于不同起始衛(wèi)星的快照,并在圖6 中展示了所提方法與對比方法在時延方面的性能,其中GFWR(1-9)代表時延和間距的權(quán)重比例關(guān)系為1 ∶9,以此類推。 鑒于GFWR 算法在某些權(quán)重設(shè)定下容易出現(xiàn)路由迂回的現(xiàn)象,本文將發(fā)生路由迂回時的時延統(tǒng)一設(shè)定為8。 從圖中可以看到,GFWR 算法受具體的權(quán)重參數(shù)設(shè)定影響很大,且不可避免的會出現(xiàn)路由迂回現(xiàn)象,相比而言,GPSR 算法則更加穩(wěn)定些,雖然其延遲在某些情況下要大于GFWR 算法,本文所提算法在時延性能方面明顯的優(yōu)于兩種對比方法,且在所有的測試輪中具備不高于對比方法的時延。 以上測試驗證了本文所提方法的合理性、針對場景的適應(yīng)性以及相比常用路由算法的優(yōu)勢性。

    圖6 路由算法時延性能對比

    4 結(jié)論

    針對低軌衛(wèi)星網(wǎng)絡(luò)高速移動、拓撲變化頻繁所導致的路由規(guī)劃難題,本文提出了一種適用于分布式場景的智能路由算法,算法基于深度強化學習理論,僅依靠待發(fā)送數(shù)據(jù)衛(wèi)星節(jié)點對周邊有限幾個衛(wèi)星節(jié)點包含可用頻譜、間距、信噪比等信息的搜集掌握,迅速自動的選擇下一跳衛(wèi)星節(jié)點。 仿真實驗證明,所提方法能夠較快的實現(xiàn)收斂,且與常用的分布式路由方法相比,具備明顯更優(yōu)的時延性能,作為衛(wèi)星智能化路由的研究初探,所提方法適用于本文所關(guān)注的低軌衛(wèi)星網(wǎng)絡(luò)局部自適應(yīng)路由決策場景。 考慮方法在實際場景中的應(yīng)用部署,可將低軌衛(wèi)星網(wǎng)絡(luò)中的每個節(jié)點視作一個智能體,每個智能體在部署之前,可以初始化的設(shè)置仿真訓練好的決策模型,該模型在衛(wèi)星節(jié)點實際運營過程中,可以依靠節(jié)點的交互情況,進行各自的模型更新,由于初始部署的模型已經(jīng)具備較優(yōu)的性能,其再次訓練的過程能夠較快的收斂。

    猜你喜歡
    衛(wèi)星網(wǎng)絡(luò)快照時延
    2023衛(wèi)星網(wǎng)絡(luò)與空間應(yīng)用技術(shù)大會召開
    高通量衛(wèi)星網(wǎng)絡(luò)及網(wǎng)絡(luò)漫游關(guān)鍵技術(shù)
    國際太空(2023年1期)2023-02-27 09:03:42
    EMC存儲快照功能分析
    天津科技(2022年5期)2022-05-31 02:18:08
    全球低軌衛(wèi)星網(wǎng)絡(luò)最新態(tài)勢研判
    國際太空(2021年10期)2021-12-02 01:32:26
    基于GCC-nearest時延估計的室內(nèi)聲源定位
    電子制作(2019年23期)2019-02-23 13:21:12
    基于改進二次相關(guān)算法的TDOA時延估計
    創(chuàng)建磁盤組備份快照
    FRFT在水聲信道時延頻移聯(lián)合估計中的應(yīng)用
    基于分段CEEMD降噪的時延估計研究
    衛(wèi)星網(wǎng)絡(luò)中基于網(wǎng)絡(luò)編碼的ARQ機制
    午夜免费成人在线视频| 又黄又爽又免费观看的视频| 黄色视频,在线免费观看| 成人一区二区视频在线观看| 国产av不卡久久| 怎么达到女性高潮| 九九久久精品国产亚洲av麻豆| 亚洲avbb在线观看| 色在线成人网| 少妇的丰满在线观看| 美女大奶头视频| 精品午夜福利视频在线观看一区| 精品久久久久久,| xxxwww97欧美| 无遮挡黄片免费观看| 国产精品亚洲av一区麻豆| 久久人人精品亚洲av| 欧美黄色淫秽网站| 五月伊人婷婷丁香| 亚洲久久久久久中文字幕| 久久亚洲精品不卡| 国产成人啪精品午夜网站| 国产免费av片在线观看野外av| 丰满人妻熟妇乱又伦精品不卡| 免费av毛片视频| 日本在线视频免费播放| 国产91精品成人一区二区三区| 亚洲在线观看片| 亚洲国产欧美人成| 亚洲午夜理论影院| 国产黄色小视频在线观看| 激情在线观看视频在线高清| 色精品久久人妻99蜜桃| 国产精品亚洲一级av第二区| 国产亚洲av嫩草精品影院| 色哟哟哟哟哟哟| 可以在线观看的亚洲视频| 男女午夜视频在线观看| 不卡一级毛片| 久久人人精品亚洲av| 高清日韩中文字幕在线| 神马国产精品三级电影在线观看| 成年免费大片在线观看| 色噜噜av男人的天堂激情| 国内久久婷婷六月综合欲色啪| 国产精品,欧美在线| 成人欧美大片| av在线天堂中文字幕| www日本在线高清视频| 一个人观看的视频www高清免费观看| 国产精品98久久久久久宅男小说| 桃红色精品国产亚洲av| 国产精品综合久久久久久久免费| 三级毛片av免费| 丁香欧美五月| 国产在线精品亚洲第一网站| 91九色精品人成在线观看| 国产又黄又爽又无遮挡在线| 亚洲人成伊人成综合网2020| 免费搜索国产男女视频| 女生性感内裤真人,穿戴方法视频| 国内毛片毛片毛片毛片毛片| 亚洲精品一卡2卡三卡4卡5卡| 国产成人aa在线观看| 中文字幕人成人乱码亚洲影| 国产成人a区在线观看| 国内毛片毛片毛片毛片毛片| 国产精品亚洲一级av第二区| 中文字幕人妻丝袜一区二区| 91在线观看av| 免费av不卡在线播放| 99久久99久久久精品蜜桃| 制服人妻中文乱码| e午夜精品久久久久久久| 男插女下体视频免费在线播放| 国产精品自产拍在线观看55亚洲| 三级国产精品欧美在线观看| 亚洲avbb在线观看| 久久久久久大精品| 久久香蕉精品热| 久久精品国产99精品国产亚洲性色| 99热只有精品国产| 欧美日韩国产亚洲二区| 欧美成狂野欧美在线观看| 村上凉子中文字幕在线| 黑人欧美特级aaaaaa片| 51午夜福利影视在线观看| 国内精品美女久久久久久| 亚洲av不卡在线观看| 九色成人免费人妻av| 亚洲av二区三区四区| 中文字幕精品亚洲无线码一区| 丰满的人妻完整版| 午夜日韩欧美国产| 午夜免费激情av| 啦啦啦免费观看视频1| 国产精品野战在线观看| 久久久久九九精品影院| 欧美成人免费av一区二区三区| 日日摸夜夜添夜夜添小说| 变态另类成人亚洲欧美熟女| 最新在线观看一区二区三区| 欧美黑人欧美精品刺激| 手机成人av网站| 亚洲欧美激情综合另类| 天堂动漫精品| 久久精品国产亚洲av涩爱 | 91九色精品人成在线观看| 精品不卡国产一区二区三区| 不卡一级毛片| 久久伊人香网站| 久久久精品欧美日韩精品| 色哟哟哟哟哟哟| 日本在线视频免费播放| 免费观看人在逋| 欧美+亚洲+日韩+国产| 国产高清三级在线| 久久亚洲真实| 少妇人妻一区二区三区视频| 日日摸夜夜添夜夜添小说| 久久天躁狠狠躁夜夜2o2o| 亚洲国产精品sss在线观看| 国产主播在线观看一区二区| 国产欧美日韩一区二区三| 国产伦在线观看视频一区| 熟女人妻精品中文字幕| 99热只有精品国产| 婷婷精品国产亚洲av| 99久久综合精品五月天人人| 国产一区二区三区在线臀色熟女| av在线蜜桃| xxx96com| 俺也久久电影网| 国产精品久久久久久精品电影| 老司机深夜福利视频在线观看| 少妇人妻精品综合一区二区 | 99久久成人亚洲精品观看| 国产高清有码在线观看视频| av中文乱码字幕在线| 精品久久久久久久人妻蜜臀av| 一本一本综合久久| 国产91精品成人一区二区三区| 色老头精品视频在线观看| 国产单亲对白刺激| a级毛片a级免费在线| 老熟妇仑乱视频hdxx| 亚洲在线自拍视频| 欧美xxxx黑人xx丫x性爽| 一区福利在线观看| 亚洲最大成人中文| 欧美中文日本在线观看视频| 国产一区二区三区在线臀色熟女| 中文字幕av成人在线电影| 免费在线观看日本一区| 免费观看的影片在线观看| 18禁国产床啪视频网站| 亚洲专区国产一区二区| 丰满人妻熟妇乱又伦精品不卡| 亚洲黑人精品在线| 久久精品国产自在天天线| 欧美日韩瑟瑟在线播放| www日本在线高清视频| 大型黄色视频在线免费观看| 精品电影一区二区在线| 午夜福利高清视频| 午夜福利高清视频| 91字幕亚洲| 日本五十路高清| 激情在线观看视频在线高清| 在线播放国产精品三级| 桃红色精品国产亚洲av| 国产欧美日韩精品亚洲av| 欧美+亚洲+日韩+国产| 亚洲午夜理论影院| 国产成人欧美在线观看| 99国产精品一区二区蜜桃av| 久久这里只有精品中国| 国产视频一区二区在线看| 精品久久久久久久久久免费视频| 亚洲精品一卡2卡三卡4卡5卡| 麻豆成人av在线观看| 一级黄色大片毛片| 午夜两性在线视频| 午夜福利在线观看免费完整高清在 | 色av中文字幕| 午夜老司机福利剧场| 99在线人妻在线中文字幕| 精品人妻1区二区| 色老头精品视频在线观看| 国产在视频线在精品| 成人性生交大片免费视频hd| or卡值多少钱| 久久精品国产自在天天线| 亚洲人成网站在线播放欧美日韩| 国内精品久久久久精免费| 国产成人av教育| 黄片大片在线免费观看| av黄色大香蕉| 婷婷精品国产亚洲av| 最近在线观看免费完整版| 国产久久久一区二区三区| 欧美日韩精品网址| 久久这里只有精品中国| a在线观看视频网站| 国产精品一区二区免费欧美| 身体一侧抽搐| 有码 亚洲区| 高清毛片免费观看视频网站| 怎么达到女性高潮| 大型黄色视频在线免费观看| 五月玫瑰六月丁香| 一本一本综合久久| 久久久精品大字幕| 亚洲av成人不卡在线观看播放网| 亚洲,欧美精品.| 搡老妇女老女人老熟妇| 国产亚洲精品一区二区www| 欧洲精品卡2卡3卡4卡5卡区| 成年人黄色毛片网站| 天天添夜夜摸| 热99在线观看视频| 1000部很黄的大片| 一二三四社区在线视频社区8| 伊人久久大香线蕉亚洲五| 亚洲va日本ⅴa欧美va伊人久久| 高清在线国产一区| 国产美女午夜福利| 啪啪无遮挡十八禁网站| 长腿黑丝高跟| 五月伊人婷婷丁香| av在线蜜桃| 757午夜福利合集在线观看| 亚洲欧美日韩高清在线视频| 国产69精品久久久久777片| 18禁裸乳无遮挡免费网站照片| 九九热线精品视视频播放| 久久婷婷人人爽人人干人人爱| 日本免费一区二区三区高清不卡| 欧美激情久久久久久爽电影| 国产探花在线观看一区二区| 久久草成人影院| 精品欧美国产一区二区三| 一夜夜www| 哪里可以看免费的av片| www日本黄色视频网| 国产高清视频在线播放一区| 老司机深夜福利视频在线观看| 亚洲在线观看片| 人妻久久中文字幕网| 成人性生交大片免费视频hd| 免费人成视频x8x8入口观看| 丰满乱子伦码专区| 丰满的人妻完整版| 亚洲美女黄片视频| 麻豆久久精品国产亚洲av| 欧美日韩瑟瑟在线播放| 美女被艹到高潮喷水动态| 日本在线视频免费播放| 在线看三级毛片| 青草久久国产| 成人午夜高清在线视频| 久久精品综合一区二区三区| www.色视频.com| 日韩欧美精品v在线| 欧美一区二区精品小视频在线| xxx96com| 少妇的丰满在线观看| 欧美日韩福利视频一区二区| 午夜福利在线观看吧| 亚洲av一区综合| 女生性感内裤真人,穿戴方法视频| 婷婷六月久久综合丁香| 国产野战对白在线观看| 一进一出抽搐gif免费好疼| 在线观看66精品国产| 无限看片的www在线观看| 可以在线观看毛片的网站| 久久久久精品国产欧美久久久| 少妇的丰满在线观看| 热99re8久久精品国产| 久久午夜亚洲精品久久| 天天躁日日操中文字幕| 日本免费a在线| 亚洲av电影在线进入| 亚洲国产欧洲综合997久久,| 婷婷六月久久综合丁香| 美女免费视频网站| 日本五十路高清| 一进一出抽搐gif免费好疼| 熟女电影av网| 亚洲av五月六月丁香网| 久久精品亚洲精品国产色婷小说| 看片在线看免费视频| 国产在线精品亚洲第一网站| 亚洲精品乱码久久久v下载方式 | 色综合婷婷激情| 国产男靠女视频免费网站| 男女之事视频高清在线观看| 欧美黄色淫秽网站| 免费观看精品视频网站| 欧美日韩精品网址| 99国产极品粉嫩在线观看| 五月玫瑰六月丁香| 国产精品 国内视频| 黄色片一级片一级黄色片| 国产美女午夜福利| 无人区码免费观看不卡| 中文字幕精品亚洲无线码一区| 在线观看日韩欧美| 日韩有码中文字幕| 国产美女午夜福利| 国产真实乱freesex| 亚洲国产色片| 亚洲av成人不卡在线观看播放网| 日韩人妻高清精品专区| 在线观看av片永久免费下载| 我的老师免费观看完整版| 身体一侧抽搐| 丰满人妻一区二区三区视频av | 精品无人区乱码1区二区| 午夜免费成人在线视频| 五月玫瑰六月丁香| 久久久精品大字幕| 亚洲第一电影网av| 欧美国产日韩亚洲一区| 欧美另类亚洲清纯唯美| 亚洲人成网站在线播| 色尼玛亚洲综合影院| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 日韩精品青青久久久久久| 嫩草影院精品99| 观看美女的网站| 女人十人毛片免费观看3o分钟| 欧美在线一区亚洲| 欧美成人一区二区免费高清观看| 久久精品91无色码中文字幕| 最后的刺客免费高清国语| 久久性视频一级片| 久久久国产成人免费| 在线观看日韩欧美| 老司机午夜十八禁免费视频| x7x7x7水蜜桃| 亚洲精品456在线播放app | 变态另类成人亚洲欧美熟女| 无限看片的www在线观看| 两个人看的免费小视频| 首页视频小说图片口味搜索| 无人区码免费观看不卡| 亚洲欧美激情综合另类| 成年女人毛片免费观看观看9| 国产精品久久电影中文字幕| 中文字幕人妻熟人妻熟丝袜美 | 日韩欧美精品v在线| 国产主播在线观看一区二区| 黄片小视频在线播放| 久久香蕉国产精品| 制服丝袜大香蕉在线| 亚洲精品影视一区二区三区av| 青草久久国产| 很黄的视频免费| 欧美极品一区二区三区四区| 国产 一区 欧美 日韩| 国产欧美日韩精品一区二区| 成人精品一区二区免费| 99国产精品一区二区三区| av天堂中文字幕网| 亚洲成人久久性| 色在线成人网| 精品国产美女av久久久久小说| 国产成年人精品一区二区| 亚洲av日韩精品久久久久久密| 我要搜黄色片| 成人无遮挡网站| 狂野欧美白嫩少妇大欣赏| 亚洲第一欧美日韩一区二区三区| av黄色大香蕉| 成人精品一区二区免费| 亚洲国产精品合色在线| 色综合亚洲欧美另类图片| 国产日本99.免费观看| 色哟哟哟哟哟哟| 女人十人毛片免费观看3o分钟| 校园春色视频在线观看| 久久久久久久亚洲中文字幕 | www国产在线视频色| 国产精品永久免费网站| 亚洲av中文字字幕乱码综合| 岛国在线观看网站| 亚洲一区二区三区色噜噜| 亚洲乱码一区二区免费版| 婷婷六月久久综合丁香| АⅤ资源中文在线天堂| 日本免费a在线| 十八禁人妻一区二区| 99久久精品国产亚洲精品| 日韩欧美国产在线观看| 人人妻人人看人人澡| 亚洲精品一卡2卡三卡4卡5卡| 精品电影一区二区在线| 国产不卡一卡二| 国产黄a三级三级三级人| 欧美成人性av电影在线观看| 美女cb高潮喷水在线观看| 欧美丝袜亚洲另类 | 国产精品国产高清国产av| 精品国产亚洲在线| 欧美av亚洲av综合av国产av| 中文字幕人妻丝袜一区二区| 国产精品女同一区二区软件 | 手机成人av网站| 97碰自拍视频| 午夜免费观看网址| 我要搜黄色片| 欧美乱妇无乱码| 99久久综合精品五月天人人| 欧美最黄视频在线播放免费| 成年版毛片免费区| 久久欧美精品欧美久久欧美| 国产精品免费一区二区三区在线| 免费观看人在逋| 午夜精品久久久久久毛片777| 亚洲avbb在线观看| 在线国产一区二区在线| 国产精品久久久久久久电影 | 国产亚洲av嫩草精品影院| 婷婷丁香在线五月| 亚洲中文日韩欧美视频| 午夜两性在线视频| eeuss影院久久| 露出奶头的视频| 一本一本综合久久| 日本在线视频免费播放| 国产午夜精品论理片| 99在线人妻在线中文字幕| 亚洲成a人片在线一区二区| 免费av不卡在线播放| 成人特级av手机在线观看| 91麻豆av在线| 国产老妇女一区| 床上黄色一级片| 国产97色在线日韩免费| 亚洲av五月六月丁香网| 99精品欧美一区二区三区四区| 狂野欧美白嫩少妇大欣赏| 免费人成在线观看视频色| 亚洲 欧美 日韩 在线 免费| 黄色女人牲交| 两个人视频免费观看高清| 国产97色在线日韩免费| 日日夜夜操网爽| 不卡一级毛片| 国产91精品成人一区二区三区| 亚洲国产中文字幕在线视频| 无遮挡黄片免费观看| 欧美色欧美亚洲另类二区| 国产乱人视频| 可以在线观看的亚洲视频| 身体一侧抽搐| 国产精华一区二区三区| 国产亚洲精品久久久久久毛片| 男女视频在线观看网站免费| 亚洲最大成人中文| 偷拍熟女少妇极品色| 高清在线国产一区| 日本 av在线| 一卡2卡三卡四卡精品乱码亚洲| 一级a爱片免费观看的视频| 中出人妻视频一区二区| 久久人人精品亚洲av| 日本黄色片子视频| 国产男靠女视频免费网站| 亚洲人成伊人成综合网2020| 日韩人妻高清精品专区| 狂野欧美白嫩少妇大欣赏| 高潮久久久久久久久久久不卡| 精品乱码久久久久久99久播| 国产综合懂色| 久久精品国产清高在天天线| 中文在线观看免费www的网站| 久久精品国产亚洲av香蕉五月| 欧洲精品卡2卡3卡4卡5卡区| 最新中文字幕久久久久| 桃色一区二区三区在线观看| 国产精品久久久久久亚洲av鲁大| 成人av在线播放网站| 大型黄色视频在线免费观看| 热99re8久久精品国产| 日本免费一区二区三区高清不卡| 美女cb高潮喷水在线观看| 欧美区成人在线视频| 色播亚洲综合网| 国产黄片美女视频| www.www免费av| 亚洲 欧美 日韩 在线 免费| 久久性视频一级片| 成人av一区二区三区在线看| 久久久国产成人免费| 一进一出抽搐gif免费好疼| 亚洲国产色片| 此物有八面人人有两片| 美女 人体艺术 gogo| 欧美日本亚洲视频在线播放| 精品无人区乱码1区二区| 嫩草影视91久久| 欧美色欧美亚洲另类二区| 此物有八面人人有两片| e午夜精品久久久久久久| 日韩人妻高清精品专区| 免费在线观看亚洲国产| 亚洲 国产 在线| 国产亚洲欧美98| 3wmmmm亚洲av在线观看| 欧美国产日韩亚洲一区| 村上凉子中文字幕在线| 特大巨黑吊av在线直播| 色综合亚洲欧美另类图片| 亚洲国产精品久久男人天堂| 18禁国产床啪视频网站| 亚洲人成网站高清观看| 亚洲av成人av| 一级毛片高清免费大全| or卡值多少钱| 欧美日韩国产亚洲二区| 九九热线精品视视频播放| 成人永久免费在线观看视频| 久久6这里有精品| 国产精品亚洲一级av第二区| 国产欧美日韩一区二区精品| 伊人久久大香线蕉亚洲五| 欧美丝袜亚洲另类 | 97超级碰碰碰精品色视频在线观看| av天堂在线播放| 国产97色在线日韩免费| 日韩欧美精品v在线| 特大巨黑吊av在线直播| 免费av毛片视频| 欧美一级a爱片免费观看看| 色综合站精品国产| 无限看片的www在线观看| 免费搜索国产男女视频| 日韩中文字幕欧美一区二区| 真人一进一出gif抽搐免费| 嫩草影视91久久| 欧美中文日本在线观看视频| 少妇丰满av| 国产又黄又爽又无遮挡在线| 老汉色av国产亚洲站长工具| 真人做人爱边吃奶动态| 欧美一区二区亚洲| 免费无遮挡裸体视频| 成人无遮挡网站| 动漫黄色视频在线观看| 国产美女午夜福利| 久久欧美精品欧美久久欧美| 国产日本99.免费观看| 亚洲成人中文字幕在线播放| 亚洲久久久久久中文字幕| 色综合亚洲欧美另类图片| 黄色日韩在线| 女人十人毛片免费观看3o分钟| 国产精品98久久久久久宅男小说| 性色avwww在线观看| 身体一侧抽搐| 少妇人妻精品综合一区二区 | 欧美大码av| 国产成人福利小说| 亚洲午夜理论影院| 91在线精品国自产拍蜜月 | 欧美xxxx黑人xx丫x性爽| 成年女人看的毛片在线观看| 欧美日韩一级在线毛片| 亚洲真实伦在线观看| 熟女少妇亚洲综合色aaa.| 国产精品一及| 国产av麻豆久久久久久久| 国内毛片毛片毛片毛片毛片| 国产精品国产高清国产av| 久久精品91无色码中文字幕| 午夜两性在线视频| 真人一进一出gif抽搐免费| 欧美一区二区精品小视频在线| 99久久精品国产亚洲精品| 国产一区在线观看成人免费| 天堂影院成人在线观看| 亚洲精品粉嫩美女一区| 熟妇人妻久久中文字幕3abv| 一个人观看的视频www高清免费观看| 久久香蕉精品热| 一级作爱视频免费观看| av天堂在线播放| 婷婷丁香在线五月| 高清日韩中文字幕在线| 成人欧美大片| 性色av乱码一区二区三区2| 白带黄色成豆腐渣| 一本久久中文字幕| 久久精品人妻少妇| 99久久综合精品五月天人人| 高清日韩中文字幕在线| 天堂av国产一区二区熟女人妻| 国产伦人伦偷精品视频| 日本成人三级电影网站| 成人av在线播放网站| 精品久久久久久,| 亚洲精品乱码久久久v下载方式 | 国产色爽女视频免费观看| 亚洲av日韩精品久久久久久密| 亚洲欧美日韩东京热| 男插女下体视频免费在线播放| 此物有八面人人有两片| 99热这里只有精品一区| 十八禁网站免费在线| 亚洲无线观看免费| 午夜福利在线观看吧| 三级国产精品欧美在线观看|