• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    大規(guī)模衛(wèi)星網(wǎng)絡(luò)的立體可重構(gòu)資源管控架構(gòu)與方法

    2024-12-26 00:00:00郝琪周笛盛敏史琰李建東
    無線電通信技術(shù) 2024年6期
    關(guān)鍵詞:深度強(qiáng)化學(xué)習(xí)軟件定義網(wǎng)絡(luò)

    摘 要:大規(guī)模衛(wèi)星網(wǎng)絡(luò)(Mega Satellite Networks,MSNs)是由位于不同軌道高度、不同功能的衛(wèi)星組成的多層衛(wèi)星網(wǎng)絡(luò),可突破現(xiàn)有地面網(wǎng)絡(luò)的覆蓋限制,實(shí)現(xiàn)未來6G 無縫覆蓋的高質(zhì)量服務(wù)需求。然而,MSNs 中各類衛(wèi)星高動(dòng)態(tài)移動(dòng),致使網(wǎng)絡(luò)資源異構(gòu)且拓?fù)浯髸r(shí)空尺度持續(xù)變化,對海量資源自主管控和保障多樣化業(yè)務(wù)需求的實(shí)時(shí)響應(yīng)提出了嚴(yán)峻的挑戰(zhàn)。針對該挑戰(zhàn),設(shè)計(jì)了面向MSNs 的立體可重構(gòu)資源管控架構(gòu),通過在空間部署不同功能等級的衛(wèi)星管控節(jié)點(diǎn)實(shí)現(xiàn)對MSNs 異構(gòu)資源的層次化管理,并提出基于深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning,DRL)的多維資源調(diào)度策略對多元業(yè)務(wù)需求動(dòng)態(tài)重構(gòu)不同管控節(jié)點(diǎn)的資源,以提高資源利用率和保障服務(wù)質(zhì)量。仿真結(jié)果驗(yàn)證了基于所提架構(gòu)的資源管控方法相較于傳統(tǒng)啟發(fā)式算法,可提升11. 64% 的資源利用率和46. 4% 的任務(wù)完成率。

    關(guān)鍵詞:大規(guī)模衛(wèi)星網(wǎng)絡(luò);軟件定義網(wǎng)絡(luò);可重構(gòu)管控;深度強(qiáng)化學(xué)習(xí)

    中圖分類號:TN919. 23 文獻(xiàn)標(biāo)志碼:A 開放科學(xué)(資源服務(wù))標(biāo)識碼(OSID):

    文章編號:1003-3114(2024)06-1169-08

    0 引言

    近些年,衛(wèi)星網(wǎng)絡(luò)正在蓬勃發(fā)展,例如“星鏈”計(jì)劃的實(shí)施和中國北斗導(dǎo)航衛(wèi)星的發(fā)射等,使得目前在軌衛(wèi)星數(shù)量高達(dá)數(shù)千顆以上[1],可提供更大的連接容量、更低的延遲、更廣的覆蓋范圍、更強(qiáng)的抗干擾能力等,有效克服了以地面蜂窩網(wǎng)絡(luò)為主的二維平面覆蓋結(jié)構(gòu)覆蓋不足、對地面基礎(chǔ)設(shè)施強(qiáng)依賴等問題,促進(jìn)了環(huán)境監(jiān)測、工業(yè)自動(dòng)化、智慧城市等眾多應(yīng)用的發(fā)展[2]。隨著各國及企業(yè)衛(wèi)星項(xiàng)目的逐步實(shí)施,空間網(wǎng)絡(luò)已成為由不同軌道高度、不同功能衛(wèi)星組成的大規(guī)模衛(wèi)星網(wǎng)絡(luò)(Mega Satellite Networks,MSNs)[3]。其海量衛(wèi)星節(jié)點(diǎn)高動(dòng)態(tài)移動(dòng),導(dǎo)致星間鏈路高動(dòng)態(tài)切換,網(wǎng)絡(luò)拓?fù)浯蠓秶⒊掷m(xù)性動(dòng)態(tài)變化,使得MSNs 自主管控極具挑戰(zhàn)。與此同時(shí),數(shù)據(jù)流量持續(xù)增長且需求快速變化,但不同功能的資源通常只為特定的業(yè)務(wù)調(diào)度,這些資源受制于其專用硬件基礎(chǔ)設(shè)施,且來自不同的制造商,具有不同的通信協(xié)議,對MSNs 衛(wèi)星節(jié)點(diǎn)各類異構(gòu)資源的協(xié)同調(diào)度也提出了難題[4-5]。

    在人工智能興起的時(shí)代,軟件定義網(wǎng)絡(luò)(Software Defined Networking,SDN)、網(wǎng)絡(luò)功能虛擬化以及智能學(xué)習(xí)成為突破這些限制的可能,其中SDN 已成功應(yīng)用于地面通信系統(tǒng),對網(wǎng)絡(luò)設(shè)計(jì)和優(yōu)化產(chǎn)生了重要的推動(dòng)作用[6]。通過SDN,可以控制邏輯與底層數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備分離,并對數(shù)據(jù)平面進(jìn)行集中控制。而SDN 控制器能夠根據(jù)整個(gè)網(wǎng)絡(luò)的狀態(tài)制定高效的資源分配策略[7]。由于只有數(shù)據(jù)轉(zhuǎn)發(fā)功能,支持SDN 的基礎(chǔ)設(shè)施不需要冗雜的傳輸協(xié)議,只需執(zhí)行從控制器接收到的指令,進(jìn)而簡化了不同硬件的耦合以及底層基礎(chǔ)設(shè)施的配置,從而降低系統(tǒng)升級成本。大量研究人員為支持SDN 的MSNs開發(fā)了許多新穎的體系結(jié)構(gòu),這些提出的體系結(jié)構(gòu)大多在地面部署SDN 控制器來集中控制衛(wèi)星,但由于中軌(Medium Earth Orbit,MEO)衛(wèi)星和低地球軌道(Low Earth Orbit,LEO)衛(wèi)星的高移動(dòng)性和星間鏈路的長傳播延遲,地面控制器難以及時(shí)獲取整個(gè)網(wǎng)絡(luò)的狀態(tài)信息。此外,很少有研究考慮SDN 在涉及多層衛(wèi)星網(wǎng)絡(luò)和地面通信網(wǎng)絡(luò)中的適用性。

    為實(shí)現(xiàn)MSNs 的自主管控和保障高質(zhì)量服務(wù),本文提出了立體可重構(gòu)的SDN 資源管控架構(gòu),通過SDN 和虛擬化技術(shù)對多維異構(gòu)資源進(jìn)行整合,實(shí)現(xiàn)統(tǒng)一化管理,并在不同軌道高度的衛(wèi)星上部署不同等級的管控功能,減少對地面管控節(jié)點(diǎn)的依賴,完成自主化遞階管控?;谠摴芸丶軜?gòu),提出了業(yè)務(wù)驅(qū)動(dòng)的資源管理框架以實(shí)現(xiàn)高效的資源分配。在該管理框架中,資源分配策略直接決定資源的利用率。傳統(tǒng)資源分配方法,如數(shù)學(xué)規(guī)劃和啟發(fā)式優(yōu)化[8],無法適應(yīng)大規(guī)模的資源與業(yè)務(wù)適配場景,復(fù)雜度隨著網(wǎng)絡(luò)規(guī)模的增大呈指數(shù)級增長[9-10]。因此,本文采用深度強(qiáng)化學(xué)習(xí)(Deep Reinforcement Learning,DRL)方法依據(jù)多元業(yè)務(wù)的動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境對不同管控節(jié)點(diǎn)的資源進(jìn)行重構(gòu),以顯著提升各類資源的利用率并保障業(yè)務(wù)的不同需求。性能評估結(jié)果驗(yàn)證了立體可重構(gòu)的SDN 架構(gòu)可以顯著減少管控開銷,基于DRL 的資源分配方法相較于傳統(tǒng)啟發(fā)式方法具有更高的資源利用率。

    1 基于SDN 的立體可重構(gòu)資源管控架構(gòu)

    本節(jié)介紹了SDN 在MSNs 中的應(yīng)用,并設(shè)計(jì)了基于SDN 的立體可重構(gòu)資源管控架構(gòu)以實(shí)現(xiàn)高效的資源協(xié)作。

    1. 1 SDN 在MSNs 中的應(yīng)用

    考慮MSNs 中的一個(gè)典型多層體系結(jié)構(gòu),如圖1所示,該體系結(jié)構(gòu)主要由高軌(Geosynchronous EarthOrbit,GEO)、MEO 和LEO 衛(wèi)星及地面通信設(shè)備組成。GEO 和MEO 衛(wèi)星通常體積較大,可攜帶更多的載荷,因此SDN 控制器得以在中高軌上部署以實(shí)現(xiàn)控制面和數(shù)據(jù)面的分離。由于衛(wèi)星的快速發(fā)展,LEO 衛(wèi)星攜帶載荷能力增強(qiáng),使控制器部署在一些LEO 衛(wèi)星上成為可能。以北斗三號系統(tǒng)為例,其包含3 顆地球同步軌道衛(wèi)星、3 顆傾斜地球同步軌道衛(wèi)星和24 顆MEO 衛(wèi)星,可在沒有地面站支持的情況下自主運(yùn)行[11],其中地球同步軌道衛(wèi)星可以提供最大的覆蓋范圍,同時(shí)表現(xiàn)出最高的傳播延遲。雖然LEO 衛(wèi)星的傳播延遲最小,但為了提供更大的覆蓋范圍,必須在軌道上部署大量衛(wèi)星,導(dǎo)致了切換和移動(dòng)管理的復(fù)雜性。因此,為減少LEO 衛(wèi)星的管控復(fù)雜度,減緩地面的壓力,實(shí)現(xiàn)對網(wǎng)絡(luò)行為的動(dòng)態(tài)調(diào)節(jié)和網(wǎng)絡(luò)資源的管理,以地面網(wǎng)絡(luò)管控衛(wèi)星為主,在空間各層部署不同能力的控制器成為未來管控架構(gòu)設(shè)計(jì)的趨勢。

    SDN 在MSNs 中的運(yùn)行模式根據(jù)具體目標(biāo)可以分為兩大類:衛(wèi)星中的SDN、地面網(wǎng)絡(luò)管控中心中的SDN。目前越來越多的衛(wèi)星具備了機(jī)載處理和路由的能力,因此,可以執(zhí)行來自控制器的切換及資源調(diào)度方案。而地面SDN 可作為全局控制中心來宏觀調(diào)控空間衛(wèi)星控制器,通過空間上收集空間衛(wèi)星控制器的信息來實(shí)時(shí)反饋網(wǎng)絡(luò)環(huán)境信息,充分利用星間鏈路資源,減緩星地下行鏈路通道擁塞情況,提升星間和星地資源利用率??紤]到衛(wèi)星數(shù)量繁多,可根據(jù)衛(wèi)星節(jié)點(diǎn)之間的傳輸時(shí)延以及流量分布進(jìn)行動(dòng)態(tài)聚簇,并篩選出簇頭來部署控制器,該控制器需要采集管控區(qū)域內(nèi)的網(wǎng)絡(luò)信息,而部署控制器的成本和用以交互的管控信令傳輸開銷相互制約,部署的控制器越多,受控衛(wèi)星到達(dá)最近控制器的傳輸時(shí)延越小,反之越大。因此,需要在二者之間權(quán)衡,以獲取最優(yōu)的集中-分布式管控架構(gòu),實(shí)現(xiàn)高效的資源管控。

    1. 2 立體可重構(gòu)資源管控架構(gòu)

    駐留在地面網(wǎng)絡(luò)管控中心的主控制器作為主協(xié)調(diào)器負(fù)責(zé)整個(gè)網(wǎng)絡(luò)的集中管控,通過接口與空間段衛(wèi)星網(wǎng)絡(luò)中的其他控制器通信交換聚合的控制信息。在衛(wèi)星網(wǎng)絡(luò)中,數(shù)據(jù)平面由LEO 衛(wèi)星組成,它們充當(dāng)交換機(jī),簡單地執(zhí)行基于流的數(shù)據(jù)轉(zhuǎn)發(fā)。控制平面由部署控制器的GEO/ MEO/ LEO 衛(wèi)星組成,其中高級控制器集中管理和控制LEO 衛(wèi)星之間的移動(dòng)切換管理、全局流量統(tǒng)計(jì)、服務(wù)質(zhì)量保障和故障管理,低級控制器負(fù)責(zé)業(yè)務(wù)規(guī)劃、路由決策、拓?fù)涓潞唾Y源分配與管理等。控制器通過衛(wèi)星網(wǎng)絡(luò)的OpenFlow 通道,將所有控制指令發(fā)送到所屬區(qū)域內(nèi)的LEO 衛(wèi)星,控制器之間的交互由地面管控中心遞階反饋與傳遞,如圖2 所示,基于SDN 的體系結(jié)構(gòu)中衛(wèi)星網(wǎng)絡(luò)將易于配置和更新。

    由于大量的信令開銷和不可忽略的控制延遲,僅依靠一個(gè)地面SDN 控制器進(jìn)行全網(wǎng)范圍的資源管控效率非常低。為了可擴(kuò)展性,多個(gè)SDN 控制器被組織成一個(gè)立體層次結(jié)構(gòu)來管理多層衛(wèi)星資源,不同層的SDN 控制器針對自己管控區(qū)域內(nèi)的節(jié)點(diǎn)操作。其中可部署控制器的LEO 衛(wèi)星處于立體結(jié)構(gòu)的最低級,覆蓋面積最小。在距離較近的情況下,LEO 衛(wèi)星的控制器能夠及時(shí)管理和調(diào)度周邊其他LEO 衛(wèi)星內(nèi)的資源。MEO 衛(wèi)星控制器可覆蓋更大的區(qū)域,協(xié)調(diào)多個(gè)LEO 衛(wèi)星控制器進(jìn)行更高層次的網(wǎng)絡(luò)操作。地面網(wǎng)絡(luò)管控中心則作為最高級控制,用來定期收集衛(wèi)星與網(wǎng)絡(luò)環(huán)境信息,例如軌道位置、覆蓋范圍、資源可用性、業(yè)務(wù)請求等,并相應(yīng)地快速分配資源,對整個(gè)網(wǎng)絡(luò)進(jìn)行規(guī)整,協(xié)調(diào)各個(gè)控制器的操作。

    2 業(yè)務(wù)驅(qū)動(dòng)的資源管理框架

    在MSNs 中,衛(wèi)星的資源種類和使用情況都存在較大差異。本節(jié)在前文基礎(chǔ)上,提出了面向大規(guī)模網(wǎng)絡(luò)的資源管控框架,利用SDN 和虛擬化技術(shù)實(shí)現(xiàn)MSNs 統(tǒng)一的資源管控,如圖3 所示。

    框架由4 層組成:基礎(chǔ)設(shè)施層、虛擬資源層、控制層和應(yīng)用層?;A(chǔ)設(shè)施層包括各種網(wǎng)絡(luò)的通信及管理設(shè)備,如衛(wèi)星、地面站和網(wǎng)絡(luò)管控中心等,甚至設(shè)備單元,如終端有效載荷、天線、傳感器和存儲(chǔ)器等。虛擬資源層包括資源虛擬化管理和虛擬資源池,通過資源虛擬化管理將設(shè)備的物理資源映射為虛擬化資源;同時(shí)構(gòu)建虛擬資源池來管理網(wǎng)絡(luò)中的多個(gè)虛擬化資源,其中感知、通信、計(jì)算和存儲(chǔ)資源均被抽象為虛擬化資源。而應(yīng)用層與業(yè)務(wù)相關(guān),通過提取服務(wù)的特征和需求對業(yè)務(wù)進(jìn)行分類。由于提取過程適用于各種空間業(yè)務(wù),因此業(yè)務(wù)特征管理具有較強(qiáng)的可擴(kuò)展性,可以適應(yīng)MSNs 中不斷增加的業(yè)務(wù)。最關(guān)鍵的是控制層,其通過SDN 實(shí)現(xiàn)控制平面與數(shù)據(jù)平面分離,并在地面網(wǎng)絡(luò)管控中心以及攜帶計(jì)算載荷的部分衛(wèi)星,實(shí)現(xiàn)以地面段管控為主、空間段衛(wèi)星為輔的空間分層管控,進(jìn)而達(dá)到更高的資源分配管理效率。資源分配管理策略決定了網(wǎng)絡(luò)對不同需求業(yè)務(wù)的服務(wù)程度以及資源的利用情況,是保障對多樣化業(yè)務(wù)高效服務(wù)的關(guān)鍵。

    2. 1 資源虛擬化

    資源虛擬化根據(jù)對應(yīng)的物理資源特性,使用統(tǒng)一的范式進(jìn)行映射和表達(dá)。由于不同衛(wèi)星中同一類別資源存在差異性,可構(gòu)建虛擬資源池并將預(yù)先規(guī)劃好的虛擬資源集合起來,實(shí)現(xiàn)MSNs 多維異構(gòu)資源的統(tǒng)一管理,包括衛(wèi)星坐標(biāo)、覆蓋范圍、頻帶、天線數(shù)量等參數(shù)可以轉(zhuǎn)化為時(shí)間、頻率和空間上的通信資源。而計(jì)算載荷和存儲(chǔ)空間也可以進(jìn)一步被映射為計(jì)算資源和存儲(chǔ)資源,且可見光或紅外光學(xué)載荷以及合成孔徑雷達(dá)等可被抽象為感知資源,網(wǎng)絡(luò)可根據(jù)業(yè)務(wù)需求靈活匹配多維資源。因此,資源虛擬化管理在保持物理資源與對應(yīng)虛擬資源的映射關(guān)系方面起著重要作用。通過映射關(guān)系,資源虛擬化管理可以實(shí)現(xiàn)動(dòng)態(tài)更新虛擬資源池,根據(jù)物理資源的狀態(tài),定期更新虛擬資源池中的虛擬化資源。例如,因衛(wèi)星之間不可見而導(dǎo)致通信鏈路斷開時(shí),資源虛擬化管理可以將相關(guān)的虛擬通信資源從虛擬資源池中移除。同時(shí),資源虛擬化管理可以篩選合適的虛擬資源以服務(wù)對應(yīng)的業(yè)務(wù),即在為業(yè)務(wù)分配虛擬資源時(shí),選擇具有相應(yīng)物理資源的設(shè)備來提供服務(wù)。

    2. 2 業(yè)務(wù)特征提取

    根據(jù)上述分析可知,不同的任務(wù)對各種虛擬資源的需求也不盡相同,而多樣化的業(yè)務(wù)也給MSNs帶來了巨大的壓力。常見的業(yè)務(wù)包括遙感、導(dǎo)航以及通信任務(wù)等,其中遙感任務(wù)產(chǎn)生各種光學(xué)或雷達(dá)圖像等時(shí)空高分辨率數(shù)據(jù),造成海量流量,要求網(wǎng)絡(luò)提供高帶寬的傳輸鏈路,以獲取指定環(huán)境信息來支撐環(huán)境監(jiān)測等服務(wù)。導(dǎo)航任務(wù)注重高精度數(shù)據(jù)的提取與快速傳輸,極具時(shí)延敏感性且優(yōu)先級高,以支持地面交通等領(lǐng)域的應(yīng)用。通信業(yè)務(wù)主要涉及數(shù)據(jù)傳輸業(yè)務(wù),包括地面用戶的語音業(yè)務(wù)和視頻業(yè)務(wù)等,通常由Starlink 等LEO 衛(wèi)星來實(shí)現(xiàn)數(shù)據(jù)快速地存儲(chǔ)與轉(zhuǎn)發(fā)。由于需求和約束的不同,各種業(yè)務(wù)之間很難實(shí)現(xiàn)統(tǒng)一的管理。在應(yīng)用層中,本文構(gòu)建了一個(gè)業(yè)務(wù)特征模型以支撐業(yè)務(wù)特征的管理,該模型提取了不同業(yè)務(wù)的多個(gè)典型的特征,包括流量、優(yōu)先級、時(shí)延、速率和分辨率等,這些需要量化的指標(biāo)可通過人為采集或機(jī)器采樣等方式獲取,例如業(yè)務(wù)流量的實(shí)時(shí)人為監(jiān)測可獲取其流量特征和分布等。與此同時(shí),也可以通過自動(dòng)提取的方式獲取,例如利用深度神經(jīng)網(wǎng)絡(luò)來提取業(yè)務(wù)特征。自動(dòng)提取的方式從智能機(jī)器的角度揭示了業(yè)務(wù)和特征之間的內(nèi)在映射關(guān)系,包括準(zhǔn)確的特征描述,甚至其他更具代表性的隱藏特征。需要注意的是,盡管可以通過自動(dòng)提取找到更好的特征,但它通常需要更多的計(jì)算,對星上載荷的能力要求更高。因此,人為對智能采集進(jìn)行操控,篩選理想的特征進(jìn)行業(yè)務(wù)特征管理并節(jié)省計(jì)算量,是滿足未來日益增長的業(yè)務(wù)需求的最佳選擇。

    3 面向MSNs 的資源智能管理

    傳統(tǒng)的資源管理方法強(qiáng)烈依賴于環(huán)境的先驗(yàn)知識,例如通過時(shí)變圖建模線性規(guī)劃問題對一段周期內(nèi)的資源進(jìn)行規(guī)劃[12],或者采用傳統(tǒng)啟發(fā)式方法對大規(guī)模規(guī)劃問題進(jìn)行快速求解。但面對日益增長的多樣化業(yè)務(wù)需求和更加復(fù)雜多變的網(wǎng)絡(luò)環(huán)境,這類方法不僅需要更多的計(jì)算成本,而且需要更多的全局網(wǎng)絡(luò)信息。因此,本文引入DRL 來減少對環(huán)境先驗(yàn)知識的依賴,并根據(jù)網(wǎng)絡(luò)和業(yè)務(wù)的動(dòng)態(tài)變化來動(dòng)態(tài)更新決策。DRL 是一種具有較強(qiáng)學(xué)習(xí)和計(jì)算能力的人工智能方法,基于數(shù)據(jù)的預(yù)處理,可以直接響應(yīng)各種輸入需求。

    考慮一個(gè)具體的多維資源分配場景,衛(wèi)星拓?fù)湓趧澐值拿總€(gè)時(shí)隙內(nèi)視為準(zhǔn)靜態(tài),并且LEO 衛(wèi)星在每個(gè)時(shí)隙內(nèi)都不斷地產(chǎn)生新的任務(wù)數(shù)據(jù),例如時(shí)延敏感任務(wù)和時(shí)延容忍任務(wù),依據(jù)所提的立體可重構(gòu)架構(gòu),計(jì)算任務(wù)可被傳輸?shù)讲渴鹆丝刂破鞯男l(wèi)星管控節(jié)點(diǎn)上進(jìn)行卸載,并通過重構(gòu)這些節(jié)點(diǎn)上的計(jì)算資源以保障任務(wù)的服務(wù)質(zhì)量,完成最小化任務(wù)周期內(nèi)處理時(shí)延和最大化任務(wù)完成率等目標(biāo)。同時(shí),不同類型任務(wù)的時(shí)延需求,以及不同等級管控節(jié)點(diǎn)攜帶的計(jì)算資源、通信資源、能量和卸載選擇等約束,與所設(shè)目標(biāo)共同構(gòu)成資源分配問題。然而該類問題通常被建模為混合整數(shù)非線性規(guī)劃問題,其變量和約束通常是高維的,傳統(tǒng)啟發(fā)式算法依賴于網(wǎng)絡(luò)環(huán)境的先驗(yàn)知識,且容易陷入局部最優(yōu)解。因此,本文提出了一種基于DRL 的多維資源調(diào)度策略來求解該問題。該問題可以用四元組表示的馬爾可夫決策過程,即(S,A,π,R),其中S 表示每個(gè)時(shí)隙開始時(shí)各衛(wèi)星狀態(tài)構(gòu)成的狀態(tài)空間,包括LEO 衛(wèi)星生成的任務(wù)信息,所有管控節(jié)點(diǎn)剩余的計(jì)算資源、能量資源和帶寬資源等;A 表示每個(gè)時(shí)隙開始時(shí)管控節(jié)點(diǎn)對資源的分配決策,包括任務(wù)在哪顆管控衛(wèi)星(MEO 或GEO 衛(wèi)星)上卸載處理,對任務(wù)的計(jì)算資源和帶寬資源分配量;π 表示狀態(tài)轉(zhuǎn)移概率,即當(dāng)前時(shí)隙的衛(wèi)星狀態(tài)和資源分配決策直接決定了下一個(gè)時(shí)隙的狀態(tài),屬于確定性的狀態(tài)轉(zhuǎn)移;R 表示獎(jiǎng)勵(lì),是直接影響DRL 學(xué)習(xí)效果的因素[13]。本文獎(jiǎng)勵(lì)由5 個(gè)函數(shù)組成:當(dāng)前時(shí)隙下的所有任務(wù)處理時(shí)延函數(shù)和任務(wù)完成量函數(shù),并設(shè)置權(quán)重以保障二者的量級統(tǒng)一;懲罰函數(shù),包括任務(wù)超時(shí)的時(shí)延懲罰函數(shù)、計(jì)算資源和帶寬資源的過載懲罰函數(shù)以及能量資源的耗盡懲罰函數(shù)。

    考慮到所提問題的動(dòng)作空間是連續(xù)高維的[14],本文應(yīng)用了演員-評論者(Actor-Critic,AC)框架,并采用深度確定性策略梯度(Deep Deterministic PolicyGradient,DDPG)方法提升算法的學(xué)習(xí)效率和穩(wěn)定性。如圖4 所示的AC 框架中,Actor 和Critic 分別包含一個(gè)策略網(wǎng)絡(luò)和一個(gè)Q 網(wǎng)絡(luò)[15]。策略網(wǎng)絡(luò)的功能是對策略進(jìn)行參數(shù)化,Q 網(wǎng)絡(luò)用于對動(dòng)作進(jìn)行評估。因此,Actor 可以根據(jù)Critic 的評價(jià)優(yōu)化策略梯度并更新策略,而Critic 可以根據(jù)Actor 的策略更新Q 網(wǎng)絡(luò)。Actor 和Critic 之間的持續(xù)互動(dòng)最終使策略收斂,從而獲得LEO 任務(wù)每個(gè)時(shí)隙在哪個(gè)管控節(jié)點(diǎn)、管控節(jié)點(diǎn)分配了多少計(jì)算資源、需要多少帶寬資源進(jìn)行任務(wù)傳輸?shù)葎?dòng)作信息,進(jìn)而獲取最優(yōu)的資源分配策略來實(shí)現(xiàn)最低的任務(wù)處理時(shí)延和最大的任務(wù)完成量。

    4 仿真結(jié)果與分析

    為簡化問題,本文假設(shè)了兩個(gè)相對距離最遠(yuǎn)的地面站,并引入GEO 和MEO 衛(wèi)星、Kuiper 以及StarLink 星座參數(shù)[16],統(tǒng)計(jì)了不同規(guī)模和管控模式下的受控節(jié)點(diǎn)到部署了SDN 控制器設(shè)備的距離。

    如圖5 所示,當(dāng)網(wǎng)絡(luò)規(guī)模較小時(shí),只有地面網(wǎng)絡(luò)管控的模式與加入了管控衛(wèi)星的跳數(shù)相差較小,一旦規(guī)模增大到千顆以上時(shí),純地基管控模式的控制器傳輸開銷明顯增大。相比之下,部署了控制器的MEO 和LEO 衛(wèi)星空間管控模式可最大減少約12 跳。與此同時(shí),本文統(tǒng)計(jì)了相同控制器數(shù)量下僅MEO 和MEO+LEO 兩種管控模式,來探索分布式管控模式的優(yōu)勢。隨著規(guī)模增大,控制器數(shù)量也在增多,當(dāng)LEO 衛(wèi)星數(shù)量分別為100、500、1 000 和1 500時(shí),SDN 控制器數(shù)量對應(yīng)為7、19、38 和45。在相同控制器數(shù)量時(shí)可以發(fā)現(xiàn),添加了LEO 控制器的管控模式可進(jìn)一步減少傳輸跳數(shù),說明當(dāng)構(gòu)造空間輔控的立體可重構(gòu)管控架構(gòu)時(shí),可充分利用空間資源通過底層控制器輔助管控高層衛(wèi)星管控不到的LEO衛(wèi)星,彌補(bǔ)網(wǎng)絡(luò)中的管控空洞。在相同控制器部署開銷的情況下,立體可重構(gòu)管控架構(gòu)的傳輸增益可提升約1. 5 倍,是未來管控MSNs 的趨勢。

    本文對集中管控架構(gòu)與所提架構(gòu)在控制流表開銷方面進(jìn)行了比較,如圖6 所示。集中管控架構(gòu)需要地面管控中心對衛(wèi)星網(wǎng)絡(luò)中的每一顆衛(wèi)星進(jìn)行管控,其流表中包含了衛(wèi)星路由的冗余信息,例如相同的下一跳或者重疊的匹配字段,進(jìn)而導(dǎo)致遠(yuǎn)大于所提架構(gòu)的流表大小。所提架構(gòu)充分利用了空間的冗余性,在空間段不同等級的控制器內(nèi)對流表中的冗余信息進(jìn)行壓縮,可降低至原流表開銷的1 /5。雖然衛(wèi)星控制器部署越多,流表開銷越小,但控制器的部署成本同時(shí)也在增加。因此,流表的開銷與控制器部署的成本需要權(quán)衡,以最大程度提升所提架構(gòu)的性能。

    本文深入研究了基于DRL 的智能方法和其他啟發(fā)式算法關(guān)于資源分配策略性能上的對比,假設(shè)每顆LEO 衛(wèi)星在每個(gè)時(shí)隙隨機(jī)產(chǎn)生觀測任務(wù)和導(dǎo)航任務(wù),前者通常任務(wù)數(shù)據(jù)量較大,屬于時(shí)延容忍型(Delay Sensitive,DS),設(shè)置為1 ~ 10 s;后者任務(wù)數(shù)據(jù)量較小,屬于時(shí)延敏感型(Delay Tolerant,DT),設(shè)置為50 ~ 100 ms。通過假設(shè)可以在本地和不同等級的控制器上(如GEO)對任務(wù)進(jìn)行計(jì)算卸載,展示計(jì)算資源的協(xié)作對任務(wù)完成情況和資源利用情況的影響,具體仿真參數(shù)參考了文獻(xiàn)[17-18]。

    如圖7 所示,隨著DS 和DT 任務(wù)量的持續(xù)增加,分別統(tǒng)計(jì)了兩種業(yè)務(wù)的完成率。對于隨機(jī)選擇控制器以及貪婪思想的調(diào)度策略,當(dāng)任務(wù)數(shù)據(jù)量增大時(shí),DT 任務(wù)完成率基本呈線性下降,而基于DRL資源調(diào)度策略的兩類任務(wù)完成率僅降低約15% ,相比于貪婪和隨機(jī)方法,最多可提升46. 4% 的任務(wù)完成增益。原因是對于DS 任務(wù),貪婪策略優(yōu)先選擇高級控制器,如GEO 的計(jì)算資源,使得傳輸時(shí)延成本增加,導(dǎo)致DS 任務(wù)時(shí)延需求無法滿足,進(jìn)而任務(wù)完成率低;對于DT 任務(wù),貪婪策略優(yōu)先占用本地的計(jì)算資源進(jìn)行計(jì)算,但本地計(jì)算資源有限,需要占用鄰近的衛(wèi)星對任務(wù)進(jìn)行處理,導(dǎo)致其他衛(wèi)星的任務(wù)無法及時(shí)處理,惡化任務(wù)完成情況。而隨機(jī)策略將任務(wù)隨機(jī)發(fā)送至不同的衛(wèi)星控制器上進(jìn)行處理,有效減少對鄰近衛(wèi)星的占用。因此在DT 任務(wù)量增長后,其任務(wù)完成率比貪婪策略高20. 4% 。

    圖8 通過統(tǒng)計(jì)不同類別的資源使用情況,可以得知算法性能優(yōu)劣。基于DRL 的資源調(diào)度策略通過提高資源利用率來提升任務(wù)完成率,相較于貪婪和隨機(jī)策略可顯著提升11. 64% 。同時(shí),貪婪策略下的通信資源利用率低于其他兩種策略,這是因?yàn)樨澙凡呗缘木徒瓌t導(dǎo)致通信鏈路的開銷明顯小于其他兩種策略。綜上,隨機(jī)策略雖然可以利用其他控制器的資源進(jìn)行計(jì)算,但不能最大程度利用;而貪婪算法在每個(gè)時(shí)隙優(yōu)化得到該時(shí)隙下最優(yōu)的分配方法,不具備長期策略性,導(dǎo)致靠后的時(shí)隙資源利用不能達(dá)到最優(yōu)。引入DRL 的智能資源分配方案可動(dòng)態(tài)調(diào)整策略以應(yīng)對網(wǎng)絡(luò)環(huán)境變化,高效處理大規(guī)模、高維且不確定性的任務(wù)規(guī)劃問題。

    5 結(jié)束語

    本文研究了MSNs 中的資源管理問題,討論了SDN 和虛擬化技術(shù)在衛(wèi)星網(wǎng)絡(luò)中的應(yīng)用,并依據(jù)不同衛(wèi)星的軌道高度、載荷能力等部署不同的控制器,設(shè)計(jì)了面向MSNs 的立體可重構(gòu)資源管控架構(gòu),使得控制平面和數(shù)據(jù)平面有效分離,底層基礎(chǔ)設(shè)施的升級及配置也更加簡易。基于新的管控架構(gòu),進(jìn)一步提出了一種資源管控框架,通過SDN 和虛擬化技術(shù)整合所有異構(gòu)資源,以匹配資源和多樣化業(yè)務(wù)。為提高匹配效率,DRL 作為智能方法被引入以高效提取業(yè)務(wù)與資源特征,進(jìn)而快速獲取有效匹配決策并顯著提升資源利用率與任務(wù)完成率,成為滿足新型網(wǎng)絡(luò)需求的關(guān)鍵。

    參考文獻(xiàn)

    [1] WANG C X,YOU X H,GAO X Q,et al. On the Road to6G:Visions,Requirements,Key technologies,and Testbeds[J]. IEEE Communications Surveys & Tutorials,2023,25(2):905-974.

    [2] HONG T,ZHAO W T,LIU R K,et al. SpaceAirGroundIoT Network and Related Key Technologies[J]. Mathematical Research Letters,2020,27(2):96-104.

    [3] SHI Y P,CAO Y R,LIU J J,et al. A Crossdomain SDNArchitecture for Multilayered Spaceterrestrial IntegratedNetworks[J]. IEEE Network,2019,33(1):29-35.

    [4] HAN S,HUANG Y T,MENG W X,et al. Optimal PowerAllocation for SCMA Downlink Systems Based on MaximumCapacity[J]. IEEE Transactions on Communications,2019,67(2):1480-1489.

    [5] MALEKI S,CHATZINOTAS S,EVANS B,et al. CognitiveSpectrum Utilization in Ka Band Multibeam Satellite Communications[J]. IEEE Communications Magazine,2015,53(3):24-29.

    [6] LIU J J,SHI Y P,ZHAO L,et al. Joint Placement of Controllers and Gateways in SDNEnabled 5GSatellite Integrated Network[J]. IEEE Journal on Selected Areas inCommunications,2018,36(2):221-232.

    [7] KIM H,FEAMSTER N. Improving Network Managementwith Software Defined Networking[J]. IEEE Communications Magazine,2013,51(2):114-119.

    [8] DING J F,YU R,ZHANG Y,et al. Service Provider Competition and Cooperation in Cloudbased Software DefinedWireless Networks[J]. IEEE Communications Magazine,2015,53(11):134-140.

    [9] DENG B Y,JIANG C X,YAO H P,et al. The Next Generation Heterogeneous Satellite Communication Networks:Integration of Resource Management and Deep Reinforcement Learning[J]. IEEE Wireless Communications,2020,27(2):105-111.

    [10]ZHANG P Y,WANG C,KUMAR N,et al. SpaceAirGround Integrated Multidomain Network Resource Orchestration Based on Virtual Network Architecture:A DRLMethod[J]. IEEE Transactions on Intelligent TransportationSystems,2022,23(3):2798-2808.

    [11]陳雷,裴凌,高為廣,等. 北斗三號系統(tǒng)衛(wèi)星自主完好性監(jiān)測技術(shù)[J]. 導(dǎo)航定位與授時(shí),2024,11(1):1-9.

    [12]ZHOU D,SHENG M,LI J D,et al. Aerospace IntegratedNetworks Innovation for Empowering 6G:A Survey andFuture Challenges[J]. IEEE Communications Surveys &Tutorials,2023,25(2):975-1019.

    [13]SHI Y D,LIAN L X,SHI Y M,et al. Machine Learningfor Largescale Optimization in 6G Wireless Networks[J]. IEEE Communications Surveys & Tutorials,2023,25(4):2088-2132.

    [14]ZHU R J,LI G,ZHANG Y D,et al. Loadbalanced VirtualNetwork Embedding Based on Deep ReinforcementLearning for 6G Regional Satellite Networks [J]. IEEETransactions on Vehicular Technology,2023,72 (11):14631-14644.

    [15] LETAIEF K B,SHI Y M,LU J M,et al. Edge ArtificialIntelligence for 6G:Vision,Enabling Technologies,andApplications[J]. IEEE Journal on Selected Areas in Communications,2022,40(1):5-36.

    [16]CHEN Q,GIAMBENE G,YANG L,et al. Analysis ofIntersatellite Link Paths for LEO Megaconstellation Networks[J]. IEEE Transactions on Vehicular Technology,2021,70(3):2743-2755.

    [17]ZHANG H Y,LIU R K,KAUSHIK A,et al. Satellite EdgeComputing with Collaborative Computation Offloading:AnIntelligent Deep Deterministic Policy Gradient Approach[J]. IEEE Internet of Things Journal,2023,10 (10):9092-9107.

    [18]TANG Q Q,FEI Z S,LI B,et al. Stochastic ComputationOffloading for LEO Satellite Edge Computing Networks:ALearningbased Approach [J]. IEEE Internet of ThingsJournal,2024,11(4):5638-5652.

    作者簡介:

    郝 琪 女,(1996—),博士研究生。主要研究方向:衛(wèi)星網(wǎng)絡(luò)、資源調(diào)度。

    (*通信作者)周 笛 女,(1991—),博士,副教授。主要研究方向:大規(guī)模星座、天地一體化網(wǎng)絡(luò)、空間信息網(wǎng)絡(luò)、衛(wèi)星互聯(lián)網(wǎng)。

    盛 敏 女,(1975—),博士,教授。主要研究方向:空間信息網(wǎng)絡(luò)、B5G/6G 移動(dòng)通信網(wǎng)絡(luò)、異構(gòu)網(wǎng)絡(luò)融合。

    史 琰 男,(1975—),博士,教授。主要研究方向:智能網(wǎng)絡(luò)、空間信息網(wǎng)絡(luò)、高性能通信與計(jì)算協(xié)同。

    李建東 男,(1962—),博士,教授。主要研究方向:空間信息網(wǎng)絡(luò)、智能無線網(wǎng)絡(luò)、大規(guī)模自組織網(wǎng)絡(luò)。

    基金項(xiàng)目:國家自然科學(xué)基金(62371360,62422114,62121001);青年人才托舉工程(2022QNRC001)

    猜你喜歡
    深度強(qiáng)化學(xué)習(xí)軟件定義網(wǎng)絡(luò)
    基于策略梯度算法的工作量證明中挖礦困境研究
    基于深度強(qiáng)化學(xué)習(xí)的圖像修復(fù)算法設(shè)計(jì)
    關(guān)于人工智能阿法元綜述
    商情(2019年14期)2019-06-15 10:20:13
    深度強(qiáng)化學(xué)習(xí)研究進(jìn)展
    關(guān)于人工智能阿法元綜述
    西部論叢(2019年9期)2019-03-20 05:18:04
    基于深度強(qiáng)化學(xué)習(xí)的陸軍分隊(duì)?wèi)?zhàn)術(shù)決策問題研究
    中國聯(lián)通SDN的思考和應(yīng)用實(shí)例
    業(yè)務(wù)功能鏈技術(shù)及其應(yīng)用探析
    針對大規(guī)模軟件定義網(wǎng)絡(luò)的子域劃分及控制器部署方法
    一種新的SDN架構(gòu)下端到端網(wǎng)絡(luò)主動(dòng)測量機(jī)制
    精品一区二区免费观看| 亚洲成人av在线免费| 久久久精品免费免费高清| 亚洲国产色片| 乱码一卡2卡4卡精品| 免费看光身美女| 亚洲精品aⅴ在线观看| 亚洲综合色惰| 国模一区二区三区四区视频| 97在线人人人人妻| 国产精品一区二区三区四区免费观看| 在线观看一区二区三区| 久久久久久久精品精品| kizo精华| 国产免费福利视频在线观看| 色吧在线观看| 亚洲四区av| 国产成人午夜福利电影在线观看| 日韩av在线免费看完整版不卡| 国内揄拍国产精品人妻在线| 免费观看无遮挡的男女| 在线免费观看不下载黄p国产| 在线免费观看不下载黄p国产| 最后的刺客免费高清国语| 中文字幕精品免费在线观看视频 | 又粗又硬又长又爽又黄的视频| 久久国产亚洲av麻豆专区| 国产精品国产三级国产专区5o| 黄色欧美视频在线观看| 中文天堂在线官网| 97在线视频观看| 男人和女人高潮做爰伦理| 伊人久久国产一区二区| 色网站视频免费| freevideosex欧美| 国产精品一区二区三区四区免费观看| 午夜福利影视在线免费观看| 精品一区二区三区视频在线| 成人二区视频| 国产成人精品福利久久| 国产精品.久久久| 伦精品一区二区三区| 欧美日韩综合久久久久久| 亚洲性久久影院| 久久99热这里只有精品18| 久久久欧美国产精品| 精品久久久精品久久久| 国产亚洲91精品色在线| 国产真实伦视频高清在线观看| .国产精品久久| 国产69精品久久久久777片| 国产精品99久久99久久久不卡 | 欧美成人精品欧美一级黄| 舔av片在线| 亚洲国产精品专区欧美| 男的添女的下面高潮视频| 不卡视频在线观看欧美| videos熟女内射| 免费在线观看成人毛片| 亚洲av综合色区一区| 亚洲国产色片| 美女xxoo啪啪120秒动态图| 在线观看一区二区三区| 日韩制服骚丝袜av| 欧美+日韩+精品| 亚洲不卡免费看| 美女视频免费永久观看网站| 亚洲四区av| 我要看黄色一级片免费的| 久久99热这里只频精品6学生| 亚洲aⅴ乱码一区二区在线播放| 国产高清有码在线观看视频| 免费av中文字幕在线| 777米奇影视久久| 中文欧美无线码| 亚洲一区二区三区欧美精品| 亚洲电影在线观看av| 欧美精品人与动牲交sv欧美| 在线观看人妻少妇| 一区二区三区四区激情视频| av播播在线观看一区| 2022亚洲国产成人精品| 亚洲精品日韩在线中文字幕| 久久精品国产亚洲av天美| 高清在线视频一区二区三区| 国产在线一区二区三区精| 欧美日韩视频精品一区| 各种免费的搞黄视频| 色视频在线一区二区三区| 亚洲精品成人av观看孕妇| 精品久久久噜噜| 欧美激情国产日韩精品一区| 成人免费观看视频高清| 婷婷色麻豆天堂久久| 国产成人精品婷婷| 好男人视频免费观看在线| 免费看日本二区| 国产又色又爽无遮挡免| av在线蜜桃| 亚洲怡红院男人天堂| 日本猛色少妇xxxxx猛交久久| 日日摸夜夜添夜夜爱| 国产乱来视频区| 中文在线观看免费www的网站| 青春草视频在线免费观看| 尾随美女入室| 午夜免费男女啪啪视频观看| 成人美女网站在线观看视频| 国产成人aa在线观看| 国产亚洲午夜精品一区二区久久| 欧美xxⅹ黑人| 日韩一区二区视频免费看| 80岁老熟妇乱子伦牲交| av天堂中文字幕网| 亚洲经典国产精华液单| 只有这里有精品99| 亚洲内射少妇av| 高清欧美精品videossex| 欧美日韩视频高清一区二区三区二| 亚洲欧美一区二区三区国产| 最近中文字幕高清免费大全6| av在线播放精品| 97热精品久久久久久| 97精品久久久久久久久久精品| 乱系列少妇在线播放| av国产免费在线观看| 精品午夜福利在线看| 99久久综合免费| 国产成人aa在线观看| 黄色欧美视频在线观看| 久久国产精品大桥未久av | 国产乱人视频| 亚洲精品色激情综合| 男男h啪啪无遮挡| 99热这里只有是精品在线观看| 日韩一区二区视频免费看| 亚洲国产日韩一区二区| 久久鲁丝午夜福利片| 国产在线视频一区二区| 久久久久久久久久人人人人人人| 久久久亚洲精品成人影院| 成人国产麻豆网| 国产视频首页在线观看| 久久久色成人| 小蜜桃在线观看免费完整版高清| 精品久久久久久久久亚洲| 插阴视频在线观看视频| 日韩在线高清观看一区二区三区| 高清日韩中文字幕在线| a 毛片基地| 日韩成人伦理影院| 久久精品久久久久久噜噜老黄| 99久久精品国产国产毛片| 精品一品国产午夜福利视频| 黄片wwwwww| 国语对白做爰xxxⅹ性视频网站| 美女中出高潮动态图| 这个男人来自地球电影免费观看 | av一本久久久久| 国产无遮挡羞羞视频在线观看| 三级经典国产精品| 欧美国产精品一级二级三级 | 久久久久久久久久久免费av| 一级a做视频免费观看| 久久99热6这里只有精品| 伦理电影大哥的女人| 777米奇影视久久| 日本黄色片子视频| 大话2 男鬼变身卡| 日韩制服骚丝袜av| 亚洲怡红院男人天堂| 亚洲av二区三区四区| av播播在线观看一区| 男女边吃奶边做爰视频| 日日摸夜夜添夜夜爱| 日本wwww免费看| 欧美xxxx黑人xx丫x性爽| 在线观看人妻少妇| 你懂的网址亚洲精品在线观看| 黄片wwwwww| 国产高清国产精品国产三级 | 黄色日韩在线| 亚洲熟女精品中文字幕| 观看美女的网站| 久久久久性生活片| 精品一品国产午夜福利视频| 国产女主播在线喷水免费视频网站| 久久久久久伊人网av| 国产成人a∨麻豆精品| 欧美 日韩 精品 国产| 日韩国内少妇激情av| 汤姆久久久久久久影院中文字幕| 亚洲国产欧美人成| 乱系列少妇在线播放| 午夜免费观看性视频| 永久免费av网站大全| 2018国产大陆天天弄谢| 免费观看的影片在线观看| 尤物成人国产欧美一区二区三区| 性高湖久久久久久久久免费观看| 最新中文字幕久久久久| 成年av动漫网址| h日本视频在线播放| 精品久久久久久久久亚洲| 久久青草综合色| 男人狂女人下面高潮的视频| 亚洲最大成人中文| 亚洲美女黄色视频免费看| 在线观看国产h片| 午夜激情福利司机影院| 午夜免费观看性视频| 男女啪啪激烈高潮av片| 黑人猛操日本美女一级片| 国产中年淑女户外野战色| 日韩一区二区视频免费看| 日韩av不卡免费在线播放| 亚洲国产欧美人成| 亚洲精品成人av观看孕妇| 亚洲欧美成人精品一区二区| 亚洲真实伦在线观看| 久久影院123| 亚洲成人一二三区av| 成人高潮视频无遮挡免费网站| 精华霜和精华液先用哪个| 久久青草综合色| 99热这里只有精品一区| 看十八女毛片水多多多| 一区二区av电影网| 国语对白做爰xxxⅹ性视频网站| 一个人免费看片子| 国产成人精品久久久久久| 国产精品免费大片| 99热6这里只有精品| 人妻一区二区av| 亚洲欧美日韩无卡精品| 最近中文字幕高清免费大全6| 亚洲精品国产av蜜桃| 国产av精品麻豆| 亚洲av.av天堂| 久久久久精品性色| 熟女av电影| 国产极品天堂在线| 国产精品一区二区在线不卡| 在线观看一区二区三区| 高清日韩中文字幕在线| 美女cb高潮喷水在线观看| 黄色欧美视频在线观看| 99视频精品全部免费 在线| 国产精品福利在线免费观看| 国产亚洲午夜精品一区二区久久| 欧美成人精品欧美一级黄| 内射极品少妇av片p| 亚洲欧美精品专区久久| 麻豆国产97在线/欧美| 一级二级三级毛片免费看| 国产片特级美女逼逼视频| 亚洲av中文字字幕乱码综合| 成人亚洲精品一区在线观看 | 91久久精品国产一区二区三区| 青春草国产在线视频| 国产探花极品一区二区| 色婷婷av一区二区三区视频| 韩国av在线不卡| 国产有黄有色有爽视频| 久久午夜福利片| 国产伦理片在线播放av一区| 国产视频首页在线观看| 国产欧美日韩精品一区二区| 亚洲精品乱久久久久久| 久久久久久久久久久丰满| 国产一区二区三区av在线| 国产片特级美女逼逼视频| 免费av不卡在线播放| 亚洲国产精品一区三区| 蜜桃在线观看..| 亚洲av福利一区| 直男gayav资源| 国产精品偷伦视频观看了| 简卡轻食公司| 欧美三级亚洲精品| 亚洲欧美清纯卡通| 网址你懂的国产日韩在线| 狂野欧美激情性xxxx在线观看| 中文字幕免费在线视频6| 亚洲第一区二区三区不卡| 久久ye,这里只有精品| 男人狂女人下面高潮的视频| av专区在线播放| 大香蕉久久网| av一本久久久久| 午夜精品国产一区二区电影| h日本视频在线播放| 久久久久久伊人网av| 国产av国产精品国产| 亚洲精品一区蜜桃| 内地一区二区视频在线| 亚洲国产精品国产精品| 国产成人精品福利久久| av又黄又爽大尺度在线免费看| 最近2019中文字幕mv第一页| 成人高潮视频无遮挡免费网站| 日韩大片免费观看网站| 午夜激情福利司机影院| 99国产精品免费福利视频| 少妇人妻 视频| 国产精品久久久久成人av| 国产伦精品一区二区三区四那| 91aial.com中文字幕在线观看| av卡一久久| 国产成人精品一,二区| 在线观看免费日韩欧美大片 | 欧美老熟妇乱子伦牲交| 久久久久精品久久久久真实原创| 卡戴珊不雅视频在线播放| 国产 一区 欧美 日韩| 在线观看av片永久免费下载| 深爱激情五月婷婷| 亚洲av在线观看美女高潮| 久久人妻熟女aⅴ| 国产视频首页在线观看| 99久久人妻综合| 日韩伦理黄色片| 亚洲成人一二三区av| 亚洲精品久久久久久婷婷小说| 在线 av 中文字幕| 交换朋友夫妻互换小说| 国产精品99久久99久久久不卡 | 插逼视频在线观看| 丰满少妇做爰视频| 大陆偷拍与自拍| av卡一久久| www.av在线官网国产| 成人漫画全彩无遮挡| 午夜免费男女啪啪视频观看| 激情 狠狠 欧美| 免费人成在线观看视频色| av又黄又爽大尺度在线免费看| 中文在线观看免费www的网站| 亚洲怡红院男人天堂| 亚洲人成网站在线播| 亚洲欧美日韩无卡精品| 久久女婷五月综合色啪小说| 精品少妇久久久久久888优播| av专区在线播放| 少妇的逼好多水| 亚洲三级黄色毛片| 亚洲精品色激情综合| 国产 一区 欧美 日韩| 高清日韩中文字幕在线| 国产成人a区在线观看| 精品久久久久久电影网| 久久精品国产鲁丝片午夜精品| 精品人妻视频免费看| a 毛片基地| 交换朋友夫妻互换小说| 最近的中文字幕免费完整| 国产乱人视频| 99热这里只有是精品在线观看| 午夜福利在线在线| 久久精品国产亚洲网站| 亚洲欧美日韩无卡精品| 免费看日本二区| 亚洲精品日韩av片在线观看| 中文字幕免费在线视频6| 久久精品久久久久久噜噜老黄| 晚上一个人看的免费电影| 日本色播在线视频| 欧美极品一区二区三区四区| 菩萨蛮人人尽说江南好唐韦庄| 免费黄网站久久成人精品| 精品国产三级普通话版| 欧美 日韩 精品 国产| 欧美日韩精品成人综合77777| 蜜桃亚洲精品一区二区三区| 黄片wwwwww| 成年av动漫网址| 国产精品秋霞免费鲁丝片| 久久精品国产鲁丝片午夜精品| 久久99热这里只有精品18| 尤物成人国产欧美一区二区三区| 国产欧美另类精品又又久久亚洲欧美| 成人综合一区亚洲| 91久久精品国产一区二区三区| 欧美高清成人免费视频www| a级毛片免费高清观看在线播放| 亚洲久久久国产精品| 国产精品无大码| 国产精品嫩草影院av在线观看| 在线精品无人区一区二区三 | 毛片女人毛片| 午夜免费观看性视频| 亚洲综合色惰| 亚洲精品中文字幕在线视频 | 九草在线视频观看| 黑人猛操日本美女一级片| 精品亚洲成国产av| 五月伊人婷婷丁香| 国产中年淑女户外野战色| 亚洲精品久久久久久婷婷小说| 性色av一级| 久久国产乱子免费精品| 国产精品久久久久久久久免| 少妇丰满av| 午夜精品国产一区二区电影| 我的女老师完整版在线观看| 日韩电影二区| 美女xxoo啪啪120秒动态图| 一个人看视频在线观看www免费| 日本爱情动作片www.在线观看| 国产在线免费精品| 国产成人a∨麻豆精品| 大陆偷拍与自拍| 国内精品宾馆在线| 国产有黄有色有爽视频| 熟女人妻精品中文字幕| 国产一区二区三区av在线| 欧美极品一区二区三区四区| 我的女老师完整版在线观看| 99久久精品一区二区三区| 久久久精品94久久精品| 日本黄色日本黄色录像| 国精品久久久久久国模美| 亚洲av二区三区四区| 最近手机中文字幕大全| 日韩一本色道免费dvd| 亚洲精品成人av观看孕妇| 精品人妻视频免费看| 蜜桃久久精品国产亚洲av| www.色视频.com| 亚洲第一av免费看| 免费av中文字幕在线| 国产伦在线观看视频一区| 高清不卡的av网站| 久久人妻熟女aⅴ| 水蜜桃什么品种好| 久久国产乱子免费精品| 精品人妻一区二区三区麻豆| 九色成人免费人妻av| av视频免费观看在线观看| 久久综合国产亚洲精品| 女性生殖器流出的白浆| 男人和女人高潮做爰伦理| 亚洲精品自拍成人| 中文字幕亚洲精品专区| 黑人高潮一二区| 欧美变态另类bdsm刘玥| 日本av手机在线免费观看| 国产精品一区二区在线观看99| 2021少妇久久久久久久久久久| 人妻夜夜爽99麻豆av| 久久精品国产亚洲网站| 亚洲av成人精品一二三区| 亚洲人成网站高清观看| 我要看日韩黄色一级片| 黄色配什么色好看| 亚洲综合精品二区| 久久热精品热| 免费av中文字幕在线| 国产成人午夜福利电影在线观看| 久久97久久精品| av天堂中文字幕网| 国产 精品1| 国产 一区精品| 亚洲不卡免费看| 中文精品一卡2卡3卡4更新| 亚洲丝袜综合中文字幕| 精品少妇久久久久久888优播| .国产精品久久| 久久久久网色| 日本与韩国留学比较| 美女视频免费永久观看网站| 一区在线观看完整版| 国产精品久久久久久久久免| 欧美日韩在线观看h| 日本色播在线视频| 国产片特级美女逼逼视频| 在线天堂最新版资源| 王馨瑶露胸无遮挡在线观看| www.av在线官网国产| 久久99热这里只频精品6学生| 国产精品不卡视频一区二区| 激情五月婷婷亚洲| 成年女人在线观看亚洲视频| 又粗又硬又长又爽又黄的视频| 亚洲第一av免费看| 亚洲精品色激情综合| 亚洲av成人精品一区久久| 国产欧美另类精品又又久久亚洲欧美| 久久国产精品男人的天堂亚洲 | 国产午夜精品一二区理论片| 日日摸夜夜添夜夜爱| 天堂中文最新版在线下载| 日韩一区二区三区影片| 免费播放大片免费观看视频在线观看| 精品视频人人做人人爽| 久久97久久精品| 日本黄大片高清| 免费看av在线观看网站| 亚洲精品乱久久久久久| 麻豆成人av视频| 久久午夜福利片| 91午夜精品亚洲一区二区三区| 久久久久久久国产电影| 精品久久久久久久久av| 国产成人精品福利久久| 亚洲欧美中文字幕日韩二区| 黄片wwwwww| 欧美97在线视频| 一级二级三级毛片免费看| 大陆偷拍与自拍| 在线免费观看不下载黄p国产| 日韩中字成人| 成人一区二区视频在线观看| 高清不卡的av网站| 国产爱豆传媒在线观看| 国产精品蜜桃在线观看| 国产成人免费观看mmmm| 国产伦理片在线播放av一区| 亚洲欧美清纯卡通| 日本av免费视频播放| 一个人免费看片子| 人人妻人人添人人爽欧美一区卜 | 一二三四中文在线观看免费高清| 日韩欧美 国产精品| 中文字幕制服av| 丝袜喷水一区| 久久人妻熟女aⅴ| 亚洲色图av天堂| 高清不卡的av网站| 岛国毛片在线播放| 久久6这里有精品| 亚洲性久久影院| 亚洲国产精品一区三区| 男人添女人高潮全过程视频| 一级片'在线观看视频| 亚洲第一av免费看| 国产男女内射视频| 99久久精品一区二区三区| 国产亚洲最大av| 高清视频免费观看一区二区| 午夜免费鲁丝| 看十八女毛片水多多多| 六月丁香七月| 91午夜精品亚洲一区二区三区| 亚洲图色成人| 青春草亚洲视频在线观看| 国产熟女欧美一区二区| 国产无遮挡羞羞视频在线观看| 国产精品人妻久久久影院| 日韩,欧美,国产一区二区三区| 亚洲国产精品成人久久小说| 男女下面进入的视频免费午夜| 大又大粗又爽又黄少妇毛片口| 亚洲,一卡二卡三卡| 22中文网久久字幕| 精品亚洲乱码少妇综合久久| 一级二级三级毛片免费看| 大陆偷拍与自拍| 性色av一级| 亚洲av福利一区| 色综合色国产| 国产中年淑女户外野战色| av免费在线看不卡| 欧美+日韩+精品| 中文字幕精品免费在线观看视频 | 国产视频内射| 成人国产av品久久久| 亚洲精品一区蜜桃| 中国国产av一级| 三级经典国产精品| a级毛色黄片| 国产一区亚洲一区在线观看| 十八禁网站网址无遮挡 | 日韩欧美一区视频在线观看 | 国产精品麻豆人妻色哟哟久久| 精品少妇久久久久久888优播| 91久久精品电影网| 日日啪夜夜爽| 美女xxoo啪啪120秒动态图| 日本黄大片高清| 成年av动漫网址| 我要看日韩黄色一级片| 久久久久久久久久久免费av| a级毛色黄片| 午夜激情久久久久久久| 国产精品一区二区在线观看99| a级毛色黄片| 啦啦啦在线观看免费高清www| 99国产精品免费福利视频| 国产人妻一区二区三区在| 亚洲av成人精品一二三区| 亚洲国产精品999| 麻豆成人午夜福利视频| www.色视频.com| 精品少妇黑人巨大在线播放| 欧美精品亚洲一区二区| 少妇人妻久久综合中文| 国产伦在线观看视频一区| 国产精品久久久久久精品电影小说 | 免费久久久久久久精品成人欧美视频 | av国产免费在线观看| 国产 一区 欧美 日韩| 丰满乱子伦码专区| 黄色一级大片看看| 久久午夜福利片| 国产免费福利视频在线观看| 人妻少妇偷人精品九色| 自拍偷自拍亚洲精品老妇| 99久久人妻综合| av一本久久久久| 波野结衣二区三区在线| 国产免费视频播放在线视频| 国内少妇人妻偷人精品xxx网站| 精品99又大又爽又粗少妇毛片| 美女国产视频在线观看|