• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    大規(guī)模衛(wèi)星網(wǎng)絡(luò)的立體可重構(gòu)資源管控架構(gòu)與方法

    2024-12-26 00:00:00郝琪周笛盛敏史琰李建東
    無線電通信技術(shù) 2024年6期
    關(guān)鍵詞:深度強(qiáng)化學(xué)習(xí)軟件定義網(wǎng)絡(luò)

    摘 要:大規(guī)模衛(wèi)星網(wǎng)絡(luò)(Mega Satellite Networks,MSNs)是由位于不同軌道高度、不同功能的衛(wèi)星組成的多層衛(wèi)星網(wǎng)絡(luò),可突破現(xiàn)有地面網(wǎng)絡(luò)的覆蓋限制,實(shí)現(xiàn)未來6G 無縫覆蓋的高質(zhì)量服務(wù)需求。然而,MSNs 中各類衛(wèi)星高動(dòng)態(tài)移動(dòng),致使網(wǎng)絡(luò)資源異構(gòu)且拓?fù)浯髸r(shí)空尺度持續(xù)變化,對海量資源自主管控和保障多樣化業(yè)務(wù)需求的實(shí)時(shí)響應(yīng)提出了嚴(yán)峻的挑戰(zhàn)。針對該挑戰(zhàn),設(shè)計(jì)了面向MSNs 的立體可重構(gòu)資源管控架構(gòu),通過在空間部署不同功能等級的衛(wèi)星管控節(jié)點(diǎn)實(shí)現(xiàn)對MSNs 異構(gòu)資源的層次化管理,并提出基于深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning,DRL)的多維資源調(diào)度策略對多元業(yè)務(wù)需求動(dòng)態(tài)重構(gòu)不同管控節(jié)點(diǎn)的資源,以提高資源利用率和保障服務(wù)質(zhì)量。仿真結(jié)果驗(yàn)證了基于所提架構(gòu)的資源管控方法相較于傳統(tǒng)啟發(fā)式算法,可提升11. 64% 的資源利用率和46. 4% 的任務(wù)完成率。

    關(guān)鍵詞:大規(guī)模衛(wèi)星網(wǎng)絡(luò);軟件定義網(wǎng)絡(luò);可重構(gòu)管控;深度強(qiáng)化學(xué)習(xí)

    中圖分類號:TN919. 23 文獻(xiàn)標(biāo)志碼:A 開放科學(xué)(資源服務(wù))標(biāo)識碼(OSID):

    文章編號:1003-3114(2024)06-1169-08

    0 引言

    近些年,衛(wèi)星網(wǎng)絡(luò)正在蓬勃發(fā)展,例如“星鏈”計(jì)劃的實(shí)施和中國北斗導(dǎo)航衛(wèi)星的發(fā)射等,使得目前在軌衛(wèi)星數(shù)量高達(dá)數(shù)千顆以上[1],可提供更大的連接容量、更低的延遲、更廣的覆蓋范圍、更強(qiáng)的抗干擾能力等,有效克服了以地面蜂窩網(wǎng)絡(luò)為主的二維平面覆蓋結(jié)構(gòu)覆蓋不足、對地面基礎(chǔ)設(shè)施強(qiáng)依賴等問題,促進(jìn)了環(huán)境監(jiān)測、工業(yè)自動(dòng)化、智慧城市等眾多應(yīng)用的發(fā)展[2]。隨著各國及企業(yè)衛(wèi)星項(xiàng)目的逐步實(shí)施,空間網(wǎng)絡(luò)已成為由不同軌道高度、不同功能衛(wèi)星組成的大規(guī)模衛(wèi)星網(wǎng)絡(luò)(Mega Satellite Networks,MSNs)[3]。其海量衛(wèi)星節(jié)點(diǎn)高動(dòng)態(tài)移動(dòng),導(dǎo)致星間鏈路高動(dòng)態(tài)切換,網(wǎng)絡(luò)拓?fù)浯蠓秶⒊掷m(xù)性動(dòng)態(tài)變化,使得MSNs 自主管控極具挑戰(zhàn)。與此同時(shí),數(shù)據(jù)流量持續(xù)增長且需求快速變化,但不同功能的資源通常只為特定的業(yè)務(wù)調(diào)度,這些資源受制于其專用硬件基礎(chǔ)設(shè)施,且來自不同的制造商,具有不同的通信協(xié)議,對MSNs 衛(wèi)星節(jié)點(diǎn)各類異構(gòu)資源的協(xié)同調(diào)度也提出了難題[4-5]。

    在人工智能興起的時(shí)代,軟件定義網(wǎng)絡(luò)(Software Defined Networking,SDN)、網(wǎng)絡(luò)功能虛擬化以及智能學(xué)習(xí)成為突破這些限制的可能,其中SDN 已成功應(yīng)用于地面通信系統(tǒng),對網(wǎng)絡(luò)設(shè)計(jì)和優(yōu)化產(chǎn)生了重要的推動(dòng)作用[6]。通過SDN,可以控制邏輯與底層數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備分離,并對數(shù)據(jù)平面進(jìn)行集中控制。而SDN 控制器能夠根據(jù)整個(gè)網(wǎng)絡(luò)的狀態(tài)制定高效的資源分配策略[7]。由于只有數(shù)據(jù)轉(zhuǎn)發(fā)功能,支持SDN 的基礎(chǔ)設(shè)施不需要冗雜的傳輸協(xié)議,只需執(zhí)行從控制器接收到的指令,進(jìn)而簡化了不同硬件的耦合以及底層基礎(chǔ)設(shè)施的配置,從而降低系統(tǒng)升級成本。大量研究人員為支持SDN 的MSNs開發(fā)了許多新穎的體系結(jié)構(gòu),這些提出的體系結(jié)構(gòu)大多在地面部署SDN 控制器來集中控制衛(wèi)星,但由于中軌(Medium Earth Orbit,MEO)衛(wèi)星和低地球軌道(Low Earth Orbit,LEO)衛(wèi)星的高移動(dòng)性和星間鏈路的長傳播延遲,地面控制器難以及時(shí)獲取整個(gè)網(wǎng)絡(luò)的狀態(tài)信息。此外,很少有研究考慮SDN 在涉及多層衛(wèi)星網(wǎng)絡(luò)和地面通信網(wǎng)絡(luò)中的適用性。

    為實(shí)現(xiàn)MSNs 的自主管控和保障高質(zhì)量服務(wù),本文提出了立體可重構(gòu)的SDN 資源管控架構(gòu),通過SDN 和虛擬化技術(shù)對多維異構(gòu)資源進(jìn)行整合,實(shí)現(xiàn)統(tǒng)一化管理,并在不同軌道高度的衛(wèi)星上部署不同等級的管控功能,減少對地面管控節(jié)點(diǎn)的依賴,完成自主化遞階管控?;谠摴芸丶軜?gòu),提出了業(yè)務(wù)驅(qū)動(dòng)的資源管理框架以實(shí)現(xiàn)高效的資源分配。在該管理框架中,資源分配策略直接決定資源的利用率。傳統(tǒng)資源分配方法,如數(shù)學(xué)規(guī)劃和啟發(fā)式優(yōu)化[8],無法適應(yīng)大規(guī)模的資源與業(yè)務(wù)適配場景,復(fù)雜度隨著網(wǎng)絡(luò)規(guī)模的增大呈指數(shù)級增長[9-10]。因此,本文采用深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning,DRL)方法依據(jù)多元業(yè)務(wù)的動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境對不同管控節(jié)點(diǎn)的資源進(jìn)行重構(gòu),以顯著提升各類資源的利用率并保障業(yè)務(wù)的不同需求。性能評估結(jié)果驗(yàn)證了立體可重構(gòu)的SDN 架構(gòu)可以顯著減少管控開銷,基于DRL 的資源分配方法相較于傳統(tǒng)啟發(fā)式方法具有更高的資源利用率。

    1 基于SDN 的立體可重構(gòu)資源管控架構(gòu)

    本節(jié)介紹了SDN 在MSNs 中的應(yīng)用,并設(shè)計(jì)了基于SDN 的立體可重構(gòu)資源管控架構(gòu)以實(shí)現(xiàn)高效的資源協(xié)作。

    1. 1 SDN 在MSNs 中的應(yīng)用

    考慮MSNs 中的一個(gè)典型多層體系結(jié)構(gòu),如圖1所示,該體系結(jié)構(gòu)主要由高軌(Geosynchronous EarthOrbit,GEO)、MEO 和LEO 衛(wèi)星及地面通信設(shè)備組成。GEO 和MEO 衛(wèi)星通常體積較大,可攜帶更多的載荷,因此SDN 控制器得以在中高軌上部署以實(shí)現(xiàn)控制面和數(shù)據(jù)面的分離。由于衛(wèi)星的快速發(fā)展,LEO 衛(wèi)星攜帶載荷能力增強(qiáng),使控制器部署在一些LEO 衛(wèi)星上成為可能。以北斗三號系統(tǒng)為例,其包含3 顆地球同步軌道衛(wèi)星、3 顆傾斜地球同步軌道衛(wèi)星和24 顆MEO 衛(wèi)星,可在沒有地面站支持的情況下自主運(yùn)行[11],其中地球同步軌道衛(wèi)星可以提供最大的覆蓋范圍,同時(shí)表現(xiàn)出最高的傳播延遲。雖然LEO 衛(wèi)星的傳播延遲最小,但為了提供更大的覆蓋范圍,必須在軌道上部署大量衛(wèi)星,導(dǎo)致了切換和移動(dòng)管理的復(fù)雜性。因此,為減少LEO 衛(wèi)星的管控復(fù)雜度,減緩地面的壓力,實(shí)現(xiàn)對網(wǎng)絡(luò)行為的動(dòng)態(tài)調(diào)節(jié)和網(wǎng)絡(luò)資源的管理,以地面網(wǎng)絡(luò)管控衛(wèi)星為主,在空間各層部署不同能力的控制器成為未來管控架構(gòu)設(shè)計(jì)的趨勢。

    SDN 在MSNs 中的運(yùn)行模式根據(jù)具體目標(biāo)可以分為兩大類:衛(wèi)星中的SDN、地面網(wǎng)絡(luò)管控中心中的SDN。目前越來越多的衛(wèi)星具備了機(jī)載處理和路由的能力,因此,可以執(zhí)行來自控制器的切換及資源調(diào)度方案。而地面SDN 可作為全局控制中心來宏觀調(diào)控空間衛(wèi)星控制器,通過空間上收集空間衛(wèi)星控制器的信息來實(shí)時(shí)反饋網(wǎng)絡(luò)環(huán)境信息,充分利用星間鏈路資源,減緩星地下行鏈路通道擁塞情況,提升星間和星地資源利用率??紤]到衛(wèi)星數(shù)量繁多,可根據(jù)衛(wèi)星節(jié)點(diǎn)之間的傳輸時(shí)延以及流量分布進(jìn)行動(dòng)態(tài)聚簇,并篩選出簇頭來部署控制器,該控制器需要采集管控區(qū)域內(nèi)的網(wǎng)絡(luò)信息,而部署控制器的成本和用以交互的管控信令傳輸開銷相互制約,部署的控制器越多,受控衛(wèi)星到達(dá)最近控制器的傳輸時(shí)延越小,反之越大。因此,需要在二者之間權(quán)衡,以獲取最優(yōu)的集中-分布式管控架構(gòu),實(shí)現(xiàn)高效的資源管控。

    1. 2 立體可重構(gòu)資源管控架構(gòu)

    駐留在地面網(wǎng)絡(luò)管控中心的主控制器作為主協(xié)調(diào)器負(fù)責(zé)整個(gè)網(wǎng)絡(luò)的集中管控,通過接口與空間段衛(wèi)星網(wǎng)絡(luò)中的其他控制器通信交換聚合的控制信息。在衛(wèi)星網(wǎng)絡(luò)中,數(shù)據(jù)平面由LEO 衛(wèi)星組成,它們充當(dāng)交換機(jī),簡單地執(zhí)行基于流的數(shù)據(jù)轉(zhuǎn)發(fā)。控制平面由部署控制器的GEO/ MEO/ LEO 衛(wèi)星組成,其中高級控制器集中管理和控制LEO 衛(wèi)星之間的移動(dòng)切換管理、全局流量統(tǒng)計(jì)、服務(wù)質(zhì)量保障和故障管理,低級控制器負(fù)責(zé)業(yè)務(wù)規(guī)劃、路由決策、拓?fù)涓潞唾Y源分配與管理等。控制器通過衛(wèi)星網(wǎng)絡(luò)的OpenFlow 通道,將所有控制指令發(fā)送到所屬區(qū)域內(nèi)的LEO 衛(wèi)星,控制器之間的交互由地面管控中心遞階反饋與傳遞,如圖2 所示,基于SDN 的體系結(jié)構(gòu)中衛(wèi)星網(wǎng)絡(luò)將易于配置和更新。

    由于大量的信令開銷和不可忽略的控制延遲,僅依靠一個(gè)地面SDN 控制器進(jìn)行全網(wǎng)范圍的資源管控效率非常低。為了可擴(kuò)展性,多個(gè)SDN 控制器被組織成一個(gè)立體層次結(jié)構(gòu)來管理多層衛(wèi)星資源,不同層的SDN 控制器針對自己管控區(qū)域內(nèi)的節(jié)點(diǎn)操作。其中可部署控制器的LEO 衛(wèi)星處于立體結(jié)構(gòu)的最低級,覆蓋面積最小。在距離較近的情況下,LEO 衛(wèi)星的控制器能夠及時(shí)管理和調(diào)度周邊其他LEO 衛(wèi)星內(nèi)的資源。MEO 衛(wèi)星控制器可覆蓋更大的區(qū)域,協(xié)調(diào)多個(gè)LEO 衛(wèi)星控制器進(jìn)行更高層次的網(wǎng)絡(luò)操作。地面網(wǎng)絡(luò)管控中心則作為最高級控制,用來定期收集衛(wèi)星與網(wǎng)絡(luò)環(huán)境信息,例如軌道位置、覆蓋范圍、資源可用性、業(yè)務(wù)請求等,并相應(yīng)地快速分配資源,對整個(gè)網(wǎng)絡(luò)進(jìn)行規(guī)整,協(xié)調(diào)各個(gè)控制器的操作。

    2 業(yè)務(wù)驅(qū)動(dòng)的資源管理框架

    在MSNs 中,衛(wèi)星的資源種類和使用情況都存在較大差異。本節(jié)在前文基礎(chǔ)上,提出了面向大規(guī)模網(wǎng)絡(luò)的資源管控框架,利用SDN 和虛擬化技術(shù)實(shí)現(xiàn)MSNs 統(tǒng)一的資源管控,如圖3 所示。

    框架由4 層組成:基礎(chǔ)設(shè)施層、虛擬資源層、控制層和應(yīng)用層?;A(chǔ)設(shè)施層包括各種網(wǎng)絡(luò)的通信及管理設(shè)備,如衛(wèi)星、地面站和網(wǎng)絡(luò)管控中心等,甚至設(shè)備單元,如終端有效載荷、天線、傳感器和存儲(chǔ)器等。虛擬資源層包括資源虛擬化管理和虛擬資源池,通過資源虛擬化管理將設(shè)備的物理資源映射為虛擬化資源;同時(shí)構(gòu)建虛擬資源池來管理網(wǎng)絡(luò)中的多個(gè)虛擬化資源,其中感知、通信、計(jì)算和存儲(chǔ)資源均被抽象為虛擬化資源。而應(yīng)用層與業(yè)務(wù)相關(guān),通過提取服務(wù)的特征和需求對業(yè)務(wù)進(jìn)行分類。由于提取過程適用于各種空間業(yè)務(wù),因此業(yè)務(wù)特征管理具有較強(qiáng)的可擴(kuò)展性,可以適應(yīng)MSNs 中不斷增加的業(yè)務(wù)。最關(guān)鍵的是控制層,其通過SDN 實(shí)現(xiàn)控制平面與數(shù)據(jù)平面分離,并在地面網(wǎng)絡(luò)管控中心以及攜帶計(jì)算載荷的部分衛(wèi)星,實(shí)現(xiàn)以地面段管控為主、空間段衛(wèi)星為輔的空間分層管控,進(jìn)而達(dá)到更高的資源分配管理效率。資源分配管理策略決定了網(wǎng)絡(luò)對不同需求業(yè)務(wù)的服務(wù)程度以及資源的利用情況,是保障對多樣化業(yè)務(wù)高效服務(wù)的關(guān)鍵。

    2. 1 資源虛擬化

    資源虛擬化根據(jù)對應(yīng)的物理資源特性,使用統(tǒng)一的范式進(jìn)行映射和表達(dá)。由于不同衛(wèi)星中同一類別資源存在差異性,可構(gòu)建虛擬資源池并將預(yù)先規(guī)劃好的虛擬資源集合起來,實(shí)現(xiàn)MSNs 多維異構(gòu)資源的統(tǒng)一管理,包括衛(wèi)星坐標(biāo)、覆蓋范圍、頻帶、天線數(shù)量等參數(shù)可以轉(zhuǎn)化為時(shí)間、頻率和空間上的通信資源。而計(jì)算載荷和存儲(chǔ)空間也可以進(jìn)一步被映射為計(jì)算資源和存儲(chǔ)資源,且可見光或紅外光學(xué)載荷以及合成孔徑雷達(dá)等可被抽象為感知資源,網(wǎng)絡(luò)可根據(jù)業(yè)務(wù)需求靈活匹配多維資源。因此,資源虛擬化管理在保持物理資源與對應(yīng)虛擬資源的映射關(guān)系方面起著重要作用。通過映射關(guān)系,資源虛擬化管理可以實(shí)現(xiàn)動(dòng)態(tài)更新虛擬資源池,根據(jù)物理資源的狀態(tài),定期更新虛擬資源池中的虛擬化資源。例如,因衛(wèi)星之間不可見而導(dǎo)致通信鏈路斷開時(shí),資源虛擬化管理可以將相關(guān)的虛擬通信資源從虛擬資源池中移除。同時(shí),資源虛擬化管理可以篩選合適的虛擬資源以服務(wù)對應(yīng)的業(yè)務(wù),即在為業(yè)務(wù)分配虛擬資源時(shí),選擇具有相應(yīng)物理資源的設(shè)備來提供服務(wù)。

    2. 2 業(yè)務(wù)特征提取

    根據(jù)上述分析可知,不同的任務(wù)對各種虛擬資源的需求也不盡相同,而多樣化的業(yè)務(wù)也給MSNs帶來了巨大的壓力。常見的業(yè)務(wù)包括遙感、導(dǎo)航以及通信任務(wù)等,其中遙感任務(wù)產(chǎn)生各種光學(xué)或雷達(dá)圖像等時(shí)空高分辨率數(shù)據(jù),造成海量流量,要求網(wǎng)絡(luò)提供高帶寬的傳輸鏈路,以獲取指定環(huán)境信息來支撐環(huán)境監(jiān)測等服務(wù)。導(dǎo)航任務(wù)注重高精度數(shù)據(jù)的提取與快速傳輸,極具時(shí)延敏感性且優(yōu)先級高,以支持地面交通等領(lǐng)域的應(yīng)用。通信業(yè)務(wù)主要涉及數(shù)據(jù)傳輸業(yè)務(wù),包括地面用戶的語音業(yè)務(wù)和視頻業(yè)務(wù)等,通常由Starlink 等LEO 衛(wèi)星來實(shí)現(xiàn)數(shù)據(jù)快速地存儲(chǔ)與轉(zhuǎn)發(fā)。由于需求和約束的不同,各種業(yè)務(wù)之間很難實(shí)現(xiàn)統(tǒng)一的管理。在應(yīng)用層中,本文構(gòu)建了一個(gè)業(yè)務(wù)特征模型以支撐業(yè)務(wù)特征的管理,該模型提取了不同業(yè)務(wù)的多個(gè)典型的特征,包括流量、優(yōu)先級、時(shí)延、速率和分辨率等,這些需要量化的指標(biāo)可通過人為采集或機(jī)器采樣等方式獲取,例如業(yè)務(wù)流量的實(shí)時(shí)人為監(jiān)測可獲取其流量特征和分布等。與此同時(shí),也可以通過自動(dòng)提取的方式獲取,例如利用深度神經(jīng)網(wǎng)絡(luò)來提取業(yè)務(wù)特征。自動(dòng)提取的方式從智能機(jī)器的角度揭示了業(yè)務(wù)和特征之間的內(nèi)在映射關(guān)系,包括準(zhǔn)確的特征描述,甚至其他更具代表性的隱藏特征。需要注意的是,盡管可以通過自動(dòng)提取找到更好的特征,但它通常需要更多的計(jì)算,對星上載荷的能力要求更高。因此,人為對智能采集進(jìn)行操控,篩選理想的特征進(jìn)行業(yè)務(wù)特征管理并節(jié)省計(jì)算量,是滿足未來日益增長的業(yè)務(wù)需求的最佳選擇。

    3 面向MSNs 的資源智能管理

    傳統(tǒng)的資源管理方法強(qiáng)烈依賴于環(huán)境的先驗(yàn)知識,例如通過時(shí)變圖建模線性規(guī)劃問題對一段周期內(nèi)的資源進(jìn)行規(guī)劃[12],或者采用傳統(tǒng)啟發(fā)式方法對大規(guī)模規(guī)劃問題進(jìn)行快速求解。但面對日益增長的多樣化業(yè)務(wù)需求和更加復(fù)雜多變的網(wǎng)絡(luò)環(huán)境,這類方法不僅需要更多的計(jì)算成本,而且需要更多的全局網(wǎng)絡(luò)信息。因此,本文引入DRL 來減少對環(huán)境先驗(yàn)知識的依賴,并根據(jù)網(wǎng)絡(luò)和業(yè)務(wù)的動(dòng)態(tài)變化來動(dòng)態(tài)更新決策。DRL 是一種具有較強(qiáng)學(xué)習(xí)和計(jì)算能力的人工智能方法,基于數(shù)據(jù)的預(yù)處理,可以直接響應(yīng)各種輸入需求。

    考慮一個(gè)具體的多維資源分配場景,衛(wèi)星拓?fù)湓趧澐值拿總€(gè)時(shí)隙內(nèi)視為準(zhǔn)靜態(tài),并且LEO 衛(wèi)星在每個(gè)時(shí)隙內(nèi)都不斷地產(chǎn)生新的任務(wù)數(shù)據(jù),例如時(shí)延敏感任務(wù)和時(shí)延容忍任務(wù),依據(jù)所提的立體可重構(gòu)架構(gòu),計(jì)算任務(wù)可被傳輸?shù)讲渴鹆丝刂破鞯男l(wèi)星管控節(jié)點(diǎn)上進(jìn)行卸載,并通過重構(gòu)這些節(jié)點(diǎn)上的計(jì)算資源以保障任務(wù)的服務(wù)質(zhì)量,完成最小化任務(wù)周期內(nèi)處理時(shí)延和最大化任務(wù)完成率等目標(biāo)。同時(shí),不同類型任務(wù)的時(shí)延需求,以及不同等級管控節(jié)點(diǎn)攜帶的計(jì)算資源、通信資源、能量和卸載選擇等約束,與所設(shè)目標(biāo)共同構(gòu)成資源分配問題。然而該類問題通常被建模為混合整數(shù)非線性規(guī)劃問題,其變量和約束通常是高維的,傳統(tǒng)啟發(fā)式算法依賴于網(wǎng)絡(luò)環(huán)境的先驗(yàn)知識,且容易陷入局部最優(yōu)解。因此,本文提出了一種基于DRL 的多維資源調(diào)度策略來求解該問題。該問題可以用四元組表示的馬爾可夫決策過程,即(S,A,π,R),其中S 表示每個(gè)時(shí)隙開始時(shí)各衛(wèi)星狀態(tài)構(gòu)成的狀態(tài)空間,包括LEO 衛(wèi)星生成的任務(wù)信息,所有管控節(jié)點(diǎn)剩余的計(jì)算資源、能量資源和帶寬資源等;A 表示每個(gè)時(shí)隙開始時(shí)管控節(jié)點(diǎn)對資源的分配決策,包括任務(wù)在哪顆管控衛(wèi)星(MEO 或GEO 衛(wèi)星)上卸載處理,對任務(wù)的計(jì)算資源和帶寬資源分配量;π 表示狀態(tài)轉(zhuǎn)移概率,即當(dāng)前時(shí)隙的衛(wèi)星狀態(tài)和資源分配決策直接決定了下一個(gè)時(shí)隙的狀態(tài),屬于確定性的狀態(tài)轉(zhuǎn)移;R 表示獎(jiǎng)勵(lì),是直接影響DRL 學(xué)習(xí)效果的因素[13]。本文獎(jiǎng)勵(lì)由5 個(gè)函數(shù)組成:當(dāng)前時(shí)隙下的所有任務(wù)處理時(shí)延函數(shù)和任務(wù)完成量函數(shù),并設(shè)置權(quán)重以保障二者的量級統(tǒng)一;懲罰函數(shù),包括任務(wù)超時(shí)的時(shí)延懲罰函數(shù)、計(jì)算資源和帶寬資源的過載懲罰函數(shù)以及能量資源的耗盡懲罰函數(shù)。

    考慮到所提問題的動(dòng)作空間是連續(xù)高維的[14],本文應(yīng)用了演員-評論者(Actor-Critic,AC)框架,并采用深度確定性策略梯度(Deep Deterministic PolicyGradient,DDPG)方法提升算法的學(xué)習(xí)效率和穩(wěn)定性。如圖4 所示的AC 框架中,Actor 和Critic 分別包含一個(gè)策略網(wǎng)絡(luò)和一個(gè)Q 網(wǎng)絡(luò)[15]。策略網(wǎng)絡(luò)的功能是對策略進(jìn)行參數(shù)化,Q 網(wǎng)絡(luò)用于對動(dòng)作進(jìn)行評估。因此,Actor 可以根據(jù)Critic 的評價(jià)優(yōu)化策略梯度并更新策略,而Critic 可以根據(jù)Actor 的策略更新Q 網(wǎng)絡(luò)。Actor 和Critic 之間的持續(xù)互動(dòng)最終使策略收斂,從而獲得LEO 任務(wù)每個(gè)時(shí)隙在哪個(gè)管控節(jié)點(diǎn)、管控節(jié)點(diǎn)分配了多少計(jì)算資源、需要多少帶寬資源進(jìn)行任務(wù)傳輸?shù)葎?dòng)作信息,進(jìn)而獲取最優(yōu)的資源分配策略來實(shí)現(xiàn)最低的任務(wù)處理時(shí)延和最大的任務(wù)完成量。

    4 仿真結(jié)果與分析

    為簡化問題,本文假設(shè)了兩個(gè)相對距離最遠(yuǎn)的地面站,并引入GEO 和MEO 衛(wèi)星、Kuiper 以及StarLink 星座參數(shù)[16],統(tǒng)計(jì)了不同規(guī)模和管控模式下的受控節(jié)點(diǎn)到部署了SDN 控制器設(shè)備的距離。

    如圖5 所示,當(dāng)網(wǎng)絡(luò)規(guī)模較小時(shí),只有地面網(wǎng)絡(luò)管控的模式與加入了管控衛(wèi)星的跳數(shù)相差較小,一旦規(guī)模增大到千顆以上時(shí),純地基管控模式的控制器傳輸開銷明顯增大。相比之下,部署了控制器的MEO 和LEO 衛(wèi)星空間管控模式可最大減少約12 跳。與此同時(shí),本文統(tǒng)計(jì)了相同控制器數(shù)量下僅MEO 和MEO+LEO 兩種管控模式,來探索分布式管控模式的優(yōu)勢。隨著規(guī)模增大,控制器數(shù)量也在增多,當(dāng)LEO 衛(wèi)星數(shù)量分別為100、500、1 000 和1 500時(shí),SDN 控制器數(shù)量對應(yīng)為7、19、38 和45。在相同控制器數(shù)量時(shí)可以發(fā)現(xiàn),添加了LEO 控制器的管控模式可進(jìn)一步減少傳輸跳數(shù),說明當(dāng)構(gòu)造空間輔控的立體可重構(gòu)管控架構(gòu)時(shí),可充分利用空間資源通過底層控制器輔助管控高層衛(wèi)星管控不到的LEO衛(wèi)星,彌補(bǔ)網(wǎng)絡(luò)中的管控空洞。在相同控制器部署開銷的情況下,立體可重構(gòu)管控架構(gòu)的傳輸增益可提升約1. 5 倍,是未來管控MSNs 的趨勢。

    本文對集中管控架構(gòu)與所提架構(gòu)在控制流表開銷方面進(jìn)行了比較,如圖6 所示。集中管控架構(gòu)需要地面管控中心對衛(wèi)星網(wǎng)絡(luò)中的每一顆衛(wèi)星進(jìn)行管控,其流表中包含了衛(wèi)星路由的冗余信息,例如相同的下一跳或者重疊的匹配字段,進(jìn)而導(dǎo)致遠(yuǎn)大于所提架構(gòu)的流表大小。所提架構(gòu)充分利用了空間的冗余性,在空間段不同等級的控制器內(nèi)對流表中的冗余信息進(jìn)行壓縮,可降低至原流表開銷的1 /5。雖然衛(wèi)星控制器部署越多,流表開銷越小,但控制器的部署成本同時(shí)也在增加。因此,流表的開銷與控制器部署的成本需要權(quán)衡,以最大程度提升所提架構(gòu)的性能。

    本文深入研究了基于DRL 的智能方法和其他啟發(fā)式算法關(guān)于資源分配策略性能上的對比,假設(shè)每顆LEO 衛(wèi)星在每個(gè)時(shí)隙隨機(jī)產(chǎn)生觀測任務(wù)和導(dǎo)航任務(wù),前者通常任務(wù)數(shù)據(jù)量較大,屬于時(shí)延容忍型(Delay Sensitive,DS),設(shè)置為1 ~ 10 s;后者任務(wù)數(shù)據(jù)量較小,屬于時(shí)延敏感型(Delay Tolerant,DT),設(shè)置為50 ~ 100 ms。通過假設(shè)可以在本地和不同等級的控制器上(如GEO)對任務(wù)進(jìn)行計(jì)算卸載,展示計(jì)算資源的協(xié)作對任務(wù)完成情況和資源利用情況的影響,具體仿真參數(shù)參考了文獻(xiàn)[17-18]。

    如圖7 所示,隨著DS 和DT 任務(wù)量的持續(xù)增加,分別統(tǒng)計(jì)了兩種業(yè)務(wù)的完成率。對于隨機(jī)選擇控制器以及貪婪思想的調(diào)度策略,當(dāng)任務(wù)數(shù)據(jù)量增大時(shí),DT 任務(wù)完成率基本呈線性下降,而基于DRL資源調(diào)度策略的兩類任務(wù)完成率僅降低約15% ,相比于貪婪和隨機(jī)方法,最多可提升46. 4% 的任務(wù)完成增益。原因是對于DS 任務(wù),貪婪策略優(yōu)先選擇高級控制器,如GEO 的計(jì)算資源,使得傳輸時(shí)延成本增加,導(dǎo)致DS 任務(wù)時(shí)延需求無法滿足,進(jìn)而任務(wù)完成率低;對于DT 任務(wù),貪婪策略優(yōu)先占用本地的計(jì)算資源進(jìn)行計(jì)算,但本地計(jì)算資源有限,需要占用鄰近的衛(wèi)星對任務(wù)進(jìn)行處理,導(dǎo)致其他衛(wèi)星的任務(wù)無法及時(shí)處理,惡化任務(wù)完成情況。而隨機(jī)策略將任務(wù)隨機(jī)發(fā)送至不同的衛(wèi)星控制器上進(jìn)行處理,有效減少對鄰近衛(wèi)星的占用。因此在DT 任務(wù)量增長后,其任務(wù)完成率比貪婪策略高20. 4% 。

    圖8 通過統(tǒng)計(jì)不同類別的資源使用情況,可以得知算法性能優(yōu)劣。基于DRL 的資源調(diào)度策略通過提高資源利用率來提升任務(wù)完成率,相較于貪婪和隨機(jī)策略可顯著提升11. 64% 。同時(shí),貪婪策略下的通信資源利用率低于其他兩種策略,這是因?yàn)樨澙凡呗缘木徒瓌t導(dǎo)致通信鏈路的開銷明顯小于其他兩種策略。綜上,隨機(jī)策略雖然可以利用其他控制器的資源進(jìn)行計(jì)算,但不能最大程度利用;而貪婪算法在每個(gè)時(shí)隙優(yōu)化得到該時(shí)隙下最優(yōu)的分配方法,不具備長期策略性,導(dǎo)致靠后的時(shí)隙資源利用不能達(dá)到最優(yōu)。引入DRL 的智能資源分配方案可動(dòng)態(tài)調(diào)整策略以應(yīng)對網(wǎng)絡(luò)環(huán)境變化,高效處理大規(guī)模、高維且不確定性的任務(wù)規(guī)劃問題。

    5 結(jié)束語

    本文研究了MSNs 中的資源管理問題,討論了SDN 和虛擬化技術(shù)在衛(wèi)星網(wǎng)絡(luò)中的應(yīng)用,并依據(jù)不同衛(wèi)星的軌道高度、載荷能力等部署不同的控制器,設(shè)計(jì)了面向MSNs 的立體可重構(gòu)資源管控架構(gòu),使得控制平面和數(shù)據(jù)平面有效分離,底層基礎(chǔ)設(shè)施的升級及配置也更加簡易。基于新的管控架構(gòu),進(jìn)一步提出了一種資源管控框架,通過SDN 和虛擬化技術(shù)整合所有異構(gòu)資源,以匹配資源和多樣化業(yè)務(wù)。為提高匹配效率,DRL 作為智能方法被引入以高效提取業(yè)務(wù)與資源特征,進(jìn)而快速獲取有效匹配決策并顯著提升資源利用率與任務(wù)完成率,成為滿足新型網(wǎng)絡(luò)需求的關(guān)鍵。

    參考文獻(xiàn)

    [1] WANG C X,YOU X H,GAO X Q,et al. On the Road to6G:Visions,Requirements,Key technologies,and Testbeds[J]. IEEE Communications Surveys & Tutorials,2023,25(2):905-974.

    [2] HONG T,ZHAO W T,LIU R K,et al. SpaceAirGroundIoT Network and Related Key Technologies[J]. Mathematical Research Letters,2020,27(2):96-104.

    [3] SHI Y P,CAO Y R,LIU J J,et al. A Crossdomain SDNArchitecture for Multilayered Spaceterrestrial IntegratedNetworks[J]. IEEE Network,2019,33(1):29-35.

    [4] HAN S,HUANG Y T,MENG W X,et al. Optimal PowerAllocation for SCMA Downlink Systems Based on MaximumCapacity[J]. IEEE Transactions on Communications,2019,67(2):1480-1489.

    [5] MALEKI S,CHATZINOTAS S,EVANS B,et al. CognitiveSpectrum Utilization in Ka Band Multibeam Satellite Communications[J]. IEEE Communications Magazine,2015,53(3):24-29.

    [6] LIU J J,SHI Y P,ZHAO L,et al. Joint Placement of Controllers and Gateways in SDNEnabled 5GSatellite Integrated Network[J]. IEEE Journal on Selected Areas inCommunications,2018,36(2):221-232.

    [7] KIM H,FEAMSTER N. Improving Network Managementwith Software Defined Networking[J]. IEEE Communications Magazine,2013,51(2):114-119.

    [8] DING J F,YU R,ZHANG Y,et al. Service Provider Competition and Cooperation in Cloudbased Software DefinedWireless Networks[J]. IEEE Communications Magazine,2015,53(11):134-140.

    [9] DENG B Y,JIANG C X,YAO H P,et al. The Next Generation Heterogeneous Satellite Communication Networks:Integration of Resource Management and Deep Reinforcement Learning[J]. IEEE Wireless Communications,2020,27(2):105-111.

    [10]ZHANG P Y,WANG C,KUMAR N,et al. SpaceAirGround Integrated Multidomain Network Resource Orchestration Based on Virtual Network Architecture:A DRLMethod[J]. IEEE Transactions on Intelligent TransportationSystems,2022,23(3):2798-2808.

    [11]陳雷,裴凌,高為廣,等. 北斗三號系統(tǒng)衛(wèi)星自主完好性監(jiān)測技術(shù)[J]. 導(dǎo)航定位與授時(shí),2024,11(1):1-9.

    [12]ZHOU D,SHENG M,LI J D,et al. Aerospace IntegratedNetworks Innovation for Empowering 6G:A Survey andFuture Challenges[J]. IEEE Communications Surveys &Tutorials,2023,25(2):975-1019.

    [13]SHI Y D,LIAN L X,SHI Y M,et al. Machine Learningfor Largescale Optimization in 6G Wireless Networks[J]. IEEE Communications Surveys & Tutorials,2023,25(4):2088-2132.

    [14]ZHU R J,LI G,ZHANG Y D,et al. Loadbalanced VirtualNetwork Embedding Based on Deep ReinforcementLearning for 6G Regional Satellite Networks [J]. IEEETransactions on Vehicular Technology,2023,72 (11):14631-14644.

    [15] LETAIEF K B,SHI Y M,LU J M,et al. Edge ArtificialIntelligence for 6G:Vision,Enabling Technologies,andApplications[J]. IEEE Journal on Selected Areas in Communications,2022,40(1):5-36.

    [16]CHEN Q,GIAMBENE G,YANG L,et al. Analysis ofIntersatellite Link Paths for LEO Megaconstellation Networks[J]. IEEE Transactions on Vehicular Technology,2021,70(3):2743-2755.

    [17]ZHANG H Y,LIU R K,KAUSHIK A,et al. Satellite EdgeComputing with Collaborative Computation Offloading:AnIntelligent Deep Deterministic Policy Gradient Approach[J]. IEEE Internet of Things Journal,2023,10 (10):9092-9107.

    [18]TANG Q Q,FEI Z S,LI B,et al. Stochastic ComputationOffloading for LEO Satellite Edge Computing Networks:ALearningbased Approach [J]. IEEE Internet of ThingsJournal,2024,11(4):5638-5652.

    作者簡介:

    郝 琪 女,(1996—),博士研究生。主要研究方向:衛(wèi)星網(wǎng)絡(luò)、資源調(diào)度。

    (*通信作者)周 笛 女,(1991—),博士,副教授。主要研究方向:大規(guī)模星座、天地一體化網(wǎng)絡(luò)、空間信息網(wǎng)絡(luò)、衛(wèi)星互聯(lián)網(wǎng)。

    盛 敏 女,(1975—),博士,教授。主要研究方向:空間信息網(wǎng)絡(luò)、B5G/6G 移動(dòng)通信網(wǎng)絡(luò)、異構(gòu)網(wǎng)絡(luò)融合。

    史 琰 男,(1975—),博士,教授。主要研究方向:智能網(wǎng)絡(luò)、空間信息網(wǎng)絡(luò)、高性能通信與計(jì)算協(xié)同。

    李建東 男,(1962—),博士,教授。主要研究方向:空間信息網(wǎng)絡(luò)、智能無線網(wǎng)絡(luò)、大規(guī)模自組織網(wǎng)絡(luò)。

    基金項(xiàng)目:國家自然科學(xué)基金(62371360,62422114,62121001);青年人才托舉工程(2022QNRC001)

    猜你喜歡
    深度強(qiáng)化學(xué)習(xí)軟件定義網(wǎng)絡(luò)
    基于策略梯度算法的工作量證明中挖礦困境研究
    基于深度強(qiáng)化學(xué)習(xí)的圖像修復(fù)算法設(shè)計(jì)
    關(guān)于人工智能阿法元綜述
    商情(2019年14期)2019-06-15 10:20:13
    深度強(qiáng)化學(xué)習(xí)研究進(jìn)展
    關(guān)于人工智能阿法元綜述
    西部論叢(2019年9期)2019-03-20 05:18:04
    基于深度強(qiáng)化學(xué)習(xí)的陸軍分隊(duì)?wèi)?zhàn)術(shù)決策問題研究
    中國聯(lián)通SDN的思考和應(yīng)用實(shí)例
    業(yè)務(wù)功能鏈技術(shù)及其應(yīng)用探析
    針對大規(guī)模軟件定義網(wǎng)絡(luò)的子域劃分及控制器部署方法
    一種新的SDN架構(gòu)下端到端網(wǎng)絡(luò)主動(dòng)測量機(jī)制
    最近的中文字幕免费完整| 伊人久久大香线蕉亚洲五| 亚洲婷婷狠狠爱综合网| 国产精品 欧美亚洲| 久久精品久久久久久噜噜老黄| 精品国产露脸久久av麻豆| 999久久久国产精品视频| 亚洲自偷自拍图片 自拍| 久久久精品94久久精品| 欧美日韩成人在线一区二区| 色网站视频免费| 极品少妇高潮喷水抽搐| 99久国产av精品国产电影| 一级毛片电影观看| 婷婷色综合大香蕉| 在线看a的网站| 亚洲成av片中文字幕在线观看| 亚洲成人免费av在线播放| 国产欧美日韩一区二区三区在线| 欧美日韩精品网址| 啦啦啦中文免费视频观看日本| 成人影院久久| 国产极品粉嫩免费观看在线| 久久久久久久久久久久大奶| 热re99久久精品国产66热6| 91老司机精品| 精品午夜福利在线看| 一本—道久久a久久精品蜜桃钙片| 91国产中文字幕| 男女免费视频国产| 亚洲中文av在线| 亚洲,欧美精品.| 国产xxxxx性猛交| 国产一区二区 视频在线| 久久久久精品国产欧美久久久 | 亚洲国产欧美日韩在线播放| 日韩精品免费视频一区二区三区| 欧美亚洲日本最大视频资源| 国产黄色视频一区二区在线观看| 2021少妇久久久久久久久久久| 日本av手机在线免费观看| 成人国语在线视频| 大话2 男鬼变身卡| 人人妻人人爽人人添夜夜欢视频| 天天躁夜夜躁狠狠躁躁| 久久精品久久精品一区二区三区| 亚洲伊人久久精品综合| 亚洲精华国产精华液的使用体验| 亚洲精品一区蜜桃| 国产精品一二三区在线看| 97精品久久久久久久久久精品| 天天躁日日躁夜夜躁夜夜| 国产成人免费无遮挡视频| 男女高潮啪啪啪动态图| 亚洲伊人久久精品综合| 性少妇av在线| 久久99精品国语久久久| 久久精品国产亚洲av高清一级| 波野结衣二区三区在线| www.av在线官网国产| 亚洲欧美成人精品一区二区| 久久久精品免费免费高清| 午夜福利乱码中文字幕| 国产淫语在线视频| 男女无遮挡免费网站观看| 黄色 视频免费看| 亚洲欧美一区二区三区国产| 亚洲精品第二区| 免费在线观看视频国产中文字幕亚洲 | 在线看a的网站| 波野结衣二区三区在线| 亚洲成av片中文字幕在线观看| 男女无遮挡免费网站观看| 亚洲精品一区蜜桃| 三上悠亚av全集在线观看| 最近2019中文字幕mv第一页| 欧美日韩国产mv在线观看视频| 毛片一级片免费看久久久久| 两个人看的免费小视频| 啦啦啦在线观看免费高清www| 七月丁香在线播放| 国产极品天堂在线| 天天躁夜夜躁狠狠久久av| 国产在线免费精品| 国产xxxxx性猛交| 天天躁夜夜躁狠狠躁躁| 亚洲熟女毛片儿| 精品少妇一区二区三区视频日本电影 | 国产成人系列免费观看| 美女午夜性视频免费| 亚洲精品一二三| 99国产精品免费福利视频| 亚洲精品美女久久久久99蜜臀 | 老熟女久久久| 18禁动态无遮挡网站| 伊人久久国产一区二区| 波多野结衣av一区二区av| 女人高潮潮喷娇喘18禁视频| 国产野战对白在线观看| 精品一区二区三卡| 精品一品国产午夜福利视频| 国产又爽黄色视频| 亚洲第一av免费看| 欧美av亚洲av综合av国产av | 满18在线观看网站| 亚洲第一区二区三区不卡| av免费观看日本| av片东京热男人的天堂| 91老司机精品| 亚洲精品日本国产第一区| av电影中文网址| 女人爽到高潮嗷嗷叫在线视频| 热re99久久国产66热| 999久久久国产精品视频| 麻豆精品久久久久久蜜桃| 亚洲精品成人av观看孕妇| 国产亚洲av高清不卡| 国产日韩欧美视频二区| 水蜜桃什么品种好| 亚洲精品第二区| 天堂俺去俺来也www色官网| 侵犯人妻中文字幕一二三四区| 亚洲自偷自拍图片 自拍| 9191精品国产免费久久| 黄网站色视频无遮挡免费观看| 一边摸一边做爽爽视频免费| 精品亚洲乱码少妇综合久久| 亚洲国产日韩一区二区| 天天操日日干夜夜撸| 欧美人与性动交α欧美精品济南到| 女人精品久久久久毛片| e午夜精品久久久久久久| 伦理电影免费视频| 久久久精品94久久精品| 国产日韩一区二区三区精品不卡| av国产精品久久久久影院| 一级a爱视频在线免费观看| 午夜福利视频在线观看免费| 精品一品国产午夜福利视频| 波多野结衣av一区二区av| 久久av网站| 国产精品香港三级国产av潘金莲 | 国产 精品1| 免费黄色在线免费观看| 激情视频va一区二区三区| 国产精品国产三级国产专区5o| 悠悠久久av| 日韩精品免费视频一区二区三区| 在线亚洲精品国产二区图片欧美| 一本久久精品| 无限看片的www在线观看| 欧美日韩国产mv在线观看视频| 久久精品亚洲熟妇少妇任你| 成年人午夜在线观看视频| 9热在线视频观看99| 精品少妇一区二区三区视频日本电影 | 黄色怎么调成土黄色| av在线播放精品| 一本大道久久a久久精品| 制服人妻中文乱码| 亚洲av电影在线观看一区二区三区| 国产成人啪精品午夜网站| 国产亚洲午夜精品一区二区久久| 欧美精品av麻豆av| 日韩成人av中文字幕在线观看| xxxhd国产人妻xxx| 亚洲精品av麻豆狂野| 卡戴珊不雅视频在线播放| 99九九在线精品视频| 最近手机中文字幕大全| av不卡在线播放| 曰老女人黄片| 亚洲欧美激情在线| 纯流量卡能插随身wifi吗| 国产爽快片一区二区三区| 亚洲av成人不卡在线观看播放网 | 久久天躁狠狠躁夜夜2o2o | 国产成人精品久久二区二区91 | 亚洲国产欧美在线一区| av片东京热男人的天堂| 亚洲一级一片aⅴ在线观看| av天堂久久9| 午夜福利乱码中文字幕| 国产又色又爽无遮挡免| 国产精品av久久久久免费| 久久精品亚洲av国产电影网| 精品国产一区二区久久| 深夜精品福利| 在线天堂中文资源库| 天堂中文最新版在线下载| 久久免费观看电影| 69精品国产乱码久久久| 成人国产麻豆网| 免费久久久久久久精品成人欧美视频| 天堂8中文在线网| 成年人午夜在线观看视频| 久久精品久久久久久久性| 午夜免费观看性视频| 亚洲第一青青草原| 香蕉丝袜av| 久久99一区二区三区| 欧美精品一区二区免费开放| 亚洲精品乱久久久久久| 久久午夜综合久久蜜桃| 一级毛片我不卡| 婷婷色av中文字幕| 亚洲精品一二三| 波野结衣二区三区在线| 午夜日本视频在线| 国产97色在线日韩免费| 亚洲情色 制服丝袜| 女人爽到高潮嗷嗷叫在线视频| 另类精品久久| 精品亚洲成a人片在线观看| 一级爰片在线观看| 伦理电影大哥的女人| 国产福利在线免费观看视频| 欧美日韩福利视频一区二区| 别揉我奶头~嗯~啊~动态视频 | 好男人视频免费观看在线| 久久精品久久久久久久性| 久久毛片免费看一区二区三区| 色精品久久人妻99蜜桃| av一本久久久久| 国产精品免费视频内射| 美女午夜性视频免费| 叶爱在线成人免费视频播放| 1024视频免费在线观看| 国产精品一国产av| 亚洲av成人精品一二三区| 夫妻午夜视频| 一边亲一边摸免费视频| 国产精品欧美亚洲77777| av国产精品久久久久影院| 少妇人妻精品综合一区二区| 丝袜喷水一区| 亚洲成av片中文字幕在线观看| 狠狠婷婷综合久久久久久88av| e午夜精品久久久久久久| 国产精品免费大片| 国产精品一区二区在线不卡| 久久精品久久精品一区二区三区| 狂野欧美激情性bbbbbb| 91成人精品电影| 日本黄色日本黄色录像| 欧美精品一区二区大全| bbb黄色大片| 亚洲色图综合在线观看| 国产成人免费无遮挡视频| 国产 精品1| 免费看av在线观看网站| 国产一区有黄有色的免费视频| 人妻一区二区av| 中文字幕人妻丝袜制服| 香蕉国产在线看| 国产亚洲午夜精品一区二区久久| 天天躁日日躁夜夜躁夜夜| 国产精品久久久久久精品古装| 精品亚洲成国产av| 久久婷婷青草| 亚洲成色77777| 亚洲精品,欧美精品| 成年女人毛片免费观看观看9 | 午夜免费鲁丝| 免费日韩欧美在线观看| 亚洲成人一二三区av| 精品亚洲成国产av| 国产毛片在线视频| 国产成人精品久久久久久| 亚洲美女黄色视频免费看| 一级片'在线观看视频| 热re99久久国产66热| 亚洲五月色婷婷综合| 99久久人妻综合| kizo精华| 亚洲精品aⅴ在线观看| 国产一区二区在线观看av| 国产男女内射视频| 热re99久久国产66热| 丰满饥渴人妻一区二区三| 日韩 欧美 亚洲 中文字幕| 欧美日本中文国产一区发布| 国产成人精品久久二区二区91 | 自拍欧美九色日韩亚洲蝌蚪91| 黄片播放在线免费| 亚洲国产精品成人久久小说| 韩国精品一区二区三区| 热99久久久久精品小说推荐| videosex国产| 亚洲av欧美aⅴ国产| bbb黄色大片| 黄片播放在线免费| 水蜜桃什么品种好| 久久久久久人人人人人| 欧美av亚洲av综合av国产av | 国产高清国产精品国产三级| 日本欧美国产在线视频| 精品人妻在线不人妻| av.在线天堂| 99香蕉大伊视频| 黄色怎么调成土黄色| 久久久久久人人人人人| 欧美最新免费一区二区三区| 亚洲av男天堂| 夜夜骑夜夜射夜夜干| 亚洲,欧美,日韩| 最近中文字幕高清免费大全6| 欧美日韩av久久| 男女无遮挡免费网站观看| 亚洲一码二码三码区别大吗| 亚洲国产av影院在线观看| 欧美黑人精品巨大| 久久久亚洲精品成人影院| 久热这里只有精品99| av在线app专区| 亚洲成人国产一区在线观看 | 午夜激情久久久久久久| 国产亚洲欧美精品永久| 国产精品 欧美亚洲| 午夜福利视频精品| 国产精品久久久久成人av| 丝袜人妻中文字幕| 90打野战视频偷拍视频| 久久99精品国语久久久| 国产亚洲最大av| 国产免费一区二区三区四区乱码| 亚洲欧美一区二区三区国产| 国产av一区二区精品久久| 成年美女黄网站色视频大全免费| 91国产中文字幕| 综合色丁香网| 国产精品蜜桃在线观看| 叶爱在线成人免费视频播放| 性少妇av在线| 丝袜美足系列| 美女视频免费永久观看网站| 黄片小视频在线播放| 街头女战士在线观看网站| 国产亚洲最大av| 国产亚洲av高清不卡| 午夜福利一区二区在线看| av网站免费在线观看视频| 免费久久久久久久精品成人欧美视频| 亚洲色图综合在线观看| 久久久久国产精品人妻一区二区| 久热这里只有精品99| 男女之事视频高清在线观看 | 一级爰片在线观看| 色网站视频免费| 日韩不卡一区二区三区视频在线| 日本av手机在线免费观看| 久久久精品区二区三区| kizo精华| 免费高清在线观看视频在线观看| √禁漫天堂资源中文www| 亚洲一区中文字幕在线| 亚洲第一av免费看| 亚洲七黄色美女视频| 国产一区亚洲一区在线观看| 午夜福利影视在线免费观看| 乱人伦中国视频| 亚洲av日韩精品久久久久久密 | 久久天堂一区二区三区四区| 日韩人妻精品一区2区三区| 国产亚洲午夜精品一区二区久久| 在线 av 中文字幕| 亚洲第一av免费看| 波野结衣二区三区在线| 亚洲美女视频黄频| 亚洲欧美一区二区三区久久| 久久精品国产a三级三级三级| 女性生殖器流出的白浆| 国产国语露脸激情在线看| 毛片一级片免费看久久久久| 国产爽快片一区二区三区| 亚洲成人av在线免费| 亚洲一级一片aⅴ在线观看| 国产精品久久久久成人av| 搡老岳熟女国产| 汤姆久久久久久久影院中文字幕| 欧美日韩视频高清一区二区三区二| 亚洲av在线观看美女高潮| 90打野战视频偷拍视频| 777米奇影视久久| 青春草国产在线视频| 精品人妻熟女毛片av久久网站| 一区二区av电影网| 丰满少妇做爰视频| 亚洲精品久久成人aⅴ小说| 哪个播放器可以免费观看大片| 午夜日韩欧美国产| 精品午夜福利在线看| 日本欧美国产在线视频| 国产精品国产av在线观看| 国产极品天堂在线| 免费观看性生交大片5| 亚洲精品一区蜜桃| 交换朋友夫妻互换小说| 成人18禁高潮啪啪吃奶动态图| 国产精品久久久久久久久免| 在线天堂最新版资源| 亚洲精品国产色婷婷电影| 亚洲专区中文字幕在线 | 我的亚洲天堂| 午夜日本视频在线| 久久热在线av| 国产野战对白在线观看| 欧美日韩成人在线一区二区| 亚洲国产欧美网| 国产午夜精品一二区理论片| 日本色播在线视频| av电影中文网址| 另类亚洲欧美激情| av免费观看日本| 欧美人与性动交α欧美软件| 亚洲人成网站在线观看播放| av福利片在线| 欧美 亚洲 国产 日韩一| 赤兔流量卡办理| 国产成人91sexporn| 精品少妇一区二区三区视频日本电影 | 自线自在国产av| 你懂的网址亚洲精品在线观看| 久久热在线av| 精品人妻一区二区三区麻豆| 91国产中文字幕| 一本久久精品| 国产av一区二区精品久久| 最黄视频免费看| 老司机深夜福利视频在线观看 | 高清黄色对白视频在线免费看| 欧美国产精品一级二级三级| 如何舔出高潮| 国产成人精品无人区| 久久影院123| 丝瓜视频免费看黄片| 亚洲精品aⅴ在线观看| 午夜免费鲁丝| 天天躁狠狠躁夜夜躁狠狠躁| 天天操日日干夜夜撸| 成人18禁高潮啪啪吃奶动态图| 精品亚洲乱码少妇综合久久| 亚洲av国产av综合av卡| av在线播放精品| 国产成人系列免费观看| 久久久亚洲精品成人影院| 精品少妇久久久久久888优播| netflix在线观看网站| 中文天堂在线官网| 亚洲av电影在线观看一区二区三区| 午夜激情av网站| 免费在线观看完整版高清| 成人国产麻豆网| 午夜福利影视在线免费观看| 午夜免费观看性视频| 成人黄色视频免费在线看| 99久久99久久久精品蜜桃| 午夜精品国产一区二区电影| 亚洲人成77777在线视频| xxx大片免费视频| 免费黄色在线免费观看| 人人妻人人澡人人爽人人夜夜| 大片电影免费在线观看免费| 久久久久久免费高清国产稀缺| 人人妻人人澡人人爽人人夜夜| 国产男人的电影天堂91| 韩国av在线不卡| 久久久久久久久久久免费av| 亚洲熟女精品中文字幕| 啦啦啦中文免费视频观看日本| videos熟女内射| 亚洲精品久久久久久婷婷小说| 99九九在线精品视频| 免费看不卡的av| 亚洲一级一片aⅴ在线观看| 99热全是精品| 老司机影院毛片| 激情五月婷婷亚洲| 99久久人妻综合| 青草久久国产| 午夜91福利影院| 午夜免费观看性视频| 日韩不卡一区二区三区视频在线| 国产 精品1| 亚洲av电影在线进入| 久久午夜综合久久蜜桃| 日本91视频免费播放| 亚洲av国产av综合av卡| 日韩欧美精品免费久久| 高清视频免费观看一区二区| 一本—道久久a久久精品蜜桃钙片| 免费看av在线观看网站| 亚洲精品aⅴ在线观看| 午夜日韩欧美国产| 人妻一区二区av| 日韩大片免费观看网站| 国产无遮挡羞羞视频在线观看| 久久99一区二区三区| 精品国产国语对白av| 亚洲精品美女久久久久99蜜臀 | 中文欧美无线码| 精品一区二区三区av网在线观看 | 少妇猛男粗大的猛烈进出视频| 久久精品熟女亚洲av麻豆精品| 少妇被粗大猛烈的视频| 久久人人爽人人片av| 最近中文字幕2019免费版| 亚洲精品久久午夜乱码| 久久毛片免费看一区二区三区| 自拍欧美九色日韩亚洲蝌蚪91| 国产深夜福利视频在线观看| 欧美精品一区二区免费开放| 九色亚洲精品在线播放| 天天添夜夜摸| 国产成人a∨麻豆精品| 亚洲国产精品999| 亚洲欧洲日产国产| 免费黄频网站在线观看国产| bbb黄色大片| 国产成人欧美| 国产精品无大码| 亚洲四区av| 十八禁网站网址无遮挡| 777米奇影视久久| tube8黄色片| 欧美亚洲 丝袜 人妻 在线| 色播在线永久视频| 国产成人精品在线电影| 91精品伊人久久大香线蕉| 国产精品二区激情视频| 在线观看三级黄色| 女人高潮潮喷娇喘18禁视频| 一区二区av电影网| 日韩制服丝袜自拍偷拍| 欧美日韩视频精品一区| 一本大道久久a久久精品| 捣出白浆h1v1| av网站在线播放免费| 纯流量卡能插随身wifi吗| 久久久亚洲精品成人影院| 久久青草综合色| 国产精品久久久av美女十八| 亚洲精品日韩在线中文字幕| 青青草视频在线视频观看| 伊人久久国产一区二区| 美女大奶头黄色视频| 黄色怎么调成土黄色| 极品少妇高潮喷水抽搐| 亚洲av欧美aⅴ国产| 嫩草影院入口| h视频一区二区三区| av免费观看日本| 国产片特级美女逼逼视频| 男女床上黄色一级片免费看| 少妇人妻久久综合中文| 日本欧美国产在线视频| 国产精品二区激情视频| 精品一区二区免费观看| 欧美精品亚洲一区二区| 啦啦啦 在线观看视频| 爱豆传媒免费全集在线观看| 韩国av在线不卡| 色网站视频免费| av一本久久久久| 九九爱精品视频在线观看| 最近最新中文字幕大全免费视频 | 夫妻性生交免费视频一级片| 欧美国产精品一级二级三级| av线在线观看网站| 中文天堂在线官网| 久久国产亚洲av麻豆专区| h视频一区二区三区| 日韩伦理黄色片| 久久久精品区二区三区| 亚洲精品久久久久久婷婷小说| 少妇 在线观看| 只有这里有精品99| 亚洲成人一二三区av| 男人操女人黄网站| 999精品在线视频| 如日韩欧美国产精品一区二区三区| 麻豆精品久久久久久蜜桃| 亚洲av中文av极速乱| 侵犯人妻中文字幕一二三四区| 日韩av在线免费看完整版不卡| 午夜激情av网站| 最新的欧美精品一区二区| 久久久精品区二区三区| 黄片无遮挡物在线观看| 热re99久久精品国产66热6| 亚洲天堂av无毛| 在线亚洲精品国产二区图片欧美| 操出白浆在线播放| 国产深夜福利视频在线观看| 少妇人妻久久综合中文| 在线观看人妻少妇| 少妇的丰满在线观看| 午夜影院在线不卡| 久久久久国产一级毛片高清牌| 少妇精品久久久久久久| 成人国语在线视频| 波多野结衣av一区二区av| 精品久久蜜臀av无| avwww免费| 在线观看国产h片| 精品少妇黑人巨大在线播放| 丁香六月欧美| 天天添夜夜摸| 欧美 亚洲 国产 日韩一| 天天躁夜夜躁狠狠久久av| 久热爱精品视频在线9| 一区二区三区精品91| 国产精品久久久久久精品古装| 99精品久久久久人妻精品| 日日啪夜夜爽|