• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    新型云網(wǎng)融合編排與調(diào)度系統(tǒng)架構(gòu)與分析

    2022-12-06 03:28:32孫杰馬國(guó)華朱多智葉曉舟王鵬
    信息通信技術(shù)與政策 2022年11期
    關(guān)鍵詞:云網(wǎng)算力調(diào)度

    孫杰 馬國(guó)華 朱多智 葉曉舟 王鵬

    ( 亞信科技(中國(guó))有限公司,北京 100193)

    0 引言

    算力作為數(shù)字時(shí)代的核心資源,不僅改變了人類(lèi)的生產(chǎn)方式、生活模式和科研范式,而且逐漸成為科技進(jìn)步和經(jīng)濟(jì)社會(huì)發(fā)展的底座,預(yù)示著算力成為數(shù)字經(jīng)濟(jì)的主要生產(chǎn)力[1]。隨著算力技術(shù)的發(fā)展,算力呈現(xiàn)出多樣性、泛在化、智能化、綠色化與可信化等趨勢(shì)[2],對(duì)云網(wǎng)融合成為一體化的數(shù)字信息基礎(chǔ)設(shè)施提出了迫切需求,云網(wǎng)融合成為數(shù)字信息基礎(chǔ)設(shè)施的核心,算力基礎(chǔ)設(shè)施是其重要組成部分。

    隨著智慧城市、智能制造、自動(dòng)駕駛(Vehicle to X,V2X)、增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)/虛擬現(xiàn)實(shí)(Virtual Reality,VR)/擴(kuò)展現(xiàn)實(shí)(Extended Reality,XR)等新型算力業(yè)務(wù)場(chǎng)景的出現(xiàn),算力資源需求日益旺盛,驅(qū)動(dòng)數(shù)據(jù)中心高速發(fā)展。到2025年,全球網(wǎng)聯(lián)設(shè)備總數(shù)將超過(guò)270 億,超過(guò)75%的數(shù)據(jù)需要分流到網(wǎng)絡(luò)邊緣側(cè),各類(lèi)新型算力業(yè)務(wù)的異構(gòu)數(shù)據(jù)處理需要云邊協(xié)同的泛在化算力支持[3]。截至2022年年初,我國(guó)已建成數(shù)據(jù)中心500 萬(wàn)標(biāo)準(zhǔn)機(jī)架,整體算力達(dá)到130 EFLOPS,但受限于算力的泛在化特征,國(guó)內(nèi)數(shù)據(jù)中心的平均利用率僅為55%左右,需要通過(guò)自動(dòng)化、智能化、孿生化的云網(wǎng)融合編排調(diào)度實(shí)現(xiàn)算力的效能提升[4]。

    同時(shí),算力的定義也從原有的CPU類(lèi)基礎(chǔ)算力、GPU類(lèi)智能算力向包括算力(基礎(chǔ)算力、智能算力、超算算力等)、存力(存儲(chǔ)容量、存儲(chǔ)效能等)、運(yùn)力(網(wǎng)絡(luò)資源、性能與質(zhì)量等)與能力(AI、大數(shù)據(jù)、區(qū)塊鏈等通用目的技術(shù)能力等)的新型算力演進(jìn),以便滿(mǎn)足新型算力業(yè)務(wù)對(duì)算力服務(wù)的多樣化需求。這就需要云網(wǎng)融合編排調(diào)度系統(tǒng)具備自動(dòng)化、智能化、孿生化的算力、運(yùn)力、存力與能力的編排調(diào)度能力,并實(shí)現(xiàn)在云網(wǎng)全局拓?fù)湎拢瑯I(yè)務(wù)目標(biāo)服務(wù)等級(jí)協(xié)議(Service Level Agreement,SLA)與云網(wǎng)資源組合的聯(lián)合最優(yōu)解。

    1 云網(wǎng)融合編排與調(diào)度系統(tǒng)現(xiàn)狀與不足

    通信運(yùn)營(yíng)商早期的云網(wǎng)融合實(shí)踐以云網(wǎng)業(yè)務(wù)聯(lián)合快速開(kāi)通為主要抓手,以軟件定義網(wǎng)絡(luò)(Software Defined Network,SDN)/網(wǎng)絡(luò)功能虛擬化(Network Function Virtualization,NFV)技術(shù)實(shí)現(xiàn)為主要特征,實(shí)現(xiàn)了網(wǎng)絡(luò)控制系統(tǒng)與自身云管理系統(tǒng)和外部主要公有云業(yè)務(wù)系統(tǒng)的互聯(lián)互通,從而使云網(wǎng)業(yè)務(wù)的同開(kāi)同調(diào)成為可能[5],該階段實(shí)現(xiàn)了云網(wǎng)融合業(yè)務(wù)的流程貫通與初步自動(dòng)化(見(jiàn)圖1)。

    圖1 早期云網(wǎng)融合編排與調(diào)度系統(tǒng)

    算力時(shí)代,隨著新型算力業(yè)務(wù)的發(fā)展,云網(wǎng)融合編排與調(diào)度系統(tǒng)需要支持泛在算力與多樣算力服務(wù)的編排與調(diào)度,早期的云網(wǎng)融合編排與調(diào)度系統(tǒng)存在以下3方面不足。

    (1)自動(dòng)化不足。云網(wǎng)融合時(shí)代早期,以云為主體,旨在將不同地理位置、規(guī)模各異的云計(jì)算節(jié)點(diǎn)統(tǒng)一納管到一套云管理系統(tǒng)中,為云用戶(hù)提供標(biāo)準(zhǔn)統(tǒng)一、高效便捷、安全可靠的云服務(wù)。但在云網(wǎng)融合初級(jí)階段,網(wǎng)絡(luò)能力開(kāi)放程度有限,尤其是在網(wǎng)絡(luò)接入側(cè)。由于泛終端接入位置的廣泛性和不確定性,云廠商很難構(gòu)建或租用一張泛在接入網(wǎng)絡(luò)的基礎(chǔ)設(shè)施實(shí)現(xiàn)算力的隨時(shí)隨地接入。另外,最重要的短板在于,由于網(wǎng)絡(luò)開(kāi)放能力的缺失以及云和網(wǎng)統(tǒng)一編排調(diào)度的標(biāo)準(zhǔn)缺失,云網(wǎng)融合編排與調(diào)度系統(tǒng)無(wú)法自動(dòng)、靈活、實(shí)時(shí)地根據(jù)用戶(hù)需求選擇并調(diào)配恰當(dāng)?shù)乃懔Y源與網(wǎng)絡(luò)資源,無(wú)從實(shí)現(xiàn)算力在云、邊、端的自動(dòng)化協(xié)同調(diào)度,亦無(wú)法滿(mǎn)足新型算力業(yè)務(wù)驅(qū)動(dòng)的算力,算力+能力(AI、數(shù)字孿生等通用目的技術(shù))與算力+算力應(yīng)用的編排調(diào)度需求。

    (2)智能化不足。云網(wǎng)融合時(shí)代早期,云和網(wǎng)的業(yè)務(wù)SLA是獨(dú)立的,網(wǎng)絡(luò)提供帶寬、時(shí)延等資源與性能SLA保障,云提供虛機(jī)CPU,內(nèi)存等資源與性能SLA保障。但是到了算力時(shí)代,新型算力業(yè)務(wù)需要實(shí)現(xiàn)面向算力,運(yùn)力,存力的多維云網(wǎng)資源組合與客戶(hù)目標(biāo)SLA聯(lián)合最優(yōu)。早期的云網(wǎng)融合編排調(diào)度系統(tǒng)由于缺少基于人工智能技術(shù)的智能化編排與調(diào)度,無(wú)法實(shí)現(xiàn)在云網(wǎng)全局拓?fù)湎?,業(yè)務(wù)目標(biāo)服務(wù)等級(jí)協(xié)議(Service Level Agreement,SLA)與云網(wǎng)資源組合的聯(lián)合最優(yōu)解。

    (3)孿生化不足。目前,網(wǎng)絡(luò)數(shù)字孿生技術(shù)基于數(shù)字孿生與人工智能等技術(shù),已基本實(shí)現(xiàn)通信網(wǎng)絡(luò)全要素全生命周期的數(shù)字化管理,支撐全程全網(wǎng)業(yè)務(wù)的編排仿真、流量預(yù)測(cè)、新業(yè)務(wù)預(yù)測(cè)試、配置預(yù)審核、網(wǎng)絡(luò)預(yù)規(guī)劃等服務(wù)[6]。算力時(shí)代,為更好地支撐新型云網(wǎng)融合業(yè)務(wù),需實(shí)現(xiàn)從網(wǎng)絡(luò)數(shù)字孿生向云網(wǎng)數(shù)字孿生的演進(jìn),實(shí)現(xiàn)云網(wǎng)融合業(yè)務(wù)的編排仿真、態(tài)勢(shì)感知、需求預(yù)測(cè)與創(chuàng)新引流(將云網(wǎng)數(shù)字孿生作為算力應(yīng)用對(duì)外提供服務(wù))。

    圖2 新型云網(wǎng)融合編排與調(diào)度系統(tǒng)

    因此,為滿(mǎn)足算力時(shí)代新型算力業(yè)務(wù)的算力泛在化與算力服務(wù)多樣化的需求,需建設(shè)自動(dòng)化、智能化與孿生化的新型云網(wǎng)融合編排與調(diào)度系統(tǒng),實(shí)現(xiàn)算力、存力、運(yùn)力與能力的云邊協(xié)同智能編排與調(diào)度。

    2 新型云網(wǎng)融合編排與調(diào)度系統(tǒng)架構(gòu)與關(guān)鍵技術(shù)

    2.1 新型云網(wǎng)融合編排與調(diào)度系統(tǒng)架構(gòu)

    基于新型算力業(yè)務(wù)對(duì)云網(wǎng)融合編排與調(diào)度系統(tǒng)的自動(dòng)化、智能化與孿生化編排與調(diào)度需求,建議新型云網(wǎng)融合編排與調(diào)度系統(tǒng)架構(gòu)如圖2所示,主要包括云網(wǎng)編排中心、云網(wǎng)管理調(diào)度中心、云網(wǎng)數(shù)字孿生中心與云網(wǎng)智能引擎。

    2.1.1 云網(wǎng)融合編排中心

    云網(wǎng)編排中心實(shí)現(xiàn)云網(wǎng)融合業(yè)務(wù)網(wǎng)絡(luò)和云資源、流程、模型等的統(tǒng)一編排,北向?qū)涌蛻?hù)關(guān)系管理(Customer Relationship Management,CRM)等云網(wǎng)融合業(yè)務(wù)運(yùn)營(yíng)系統(tǒng),接受業(yè)務(wù)編排請(qǐng)求;南向?qū)泳W(wǎng)絡(luò)管理調(diào)中心和云管理調(diào)度中心,實(shí)現(xiàn)運(yùn)力、算力、存力與能力的調(diào)度;東西向連接云網(wǎng)智能引擎和云網(wǎng)數(shù)字孿生中心系統(tǒng),實(shí)現(xiàn)編排注智與仿真等。

    云網(wǎng)編排中心支持算力、存力、運(yùn)力(網(wǎng)絡(luò))資源數(shù)據(jù)的實(shí)時(shí)感知,實(shí)現(xiàn)算力、存力與運(yùn)力(網(wǎng)絡(luò))的融合資源視圖,并基于人工智能、數(shù)字孿生等新技術(shù)實(shí)現(xiàn)云網(wǎng)業(yè)務(wù)的資源需求分析與端到端云網(wǎng)資源一體編排,最終完成運(yùn)力、算力、存力與能力的一體編排。相比早期的云網(wǎng)編排系統(tǒng),新型云網(wǎng)編排系統(tǒng)可以兼顧算力、運(yùn)力(網(wǎng)絡(luò))、存力等多個(gè)資源維度因素,實(shí)現(xiàn)資源聯(lián)合價(jià)值最大化。

    2.1.2 云網(wǎng)管理調(diào)度中心

    云網(wǎng)管理調(diào)度中心包括網(wǎng)絡(luò)與云管理調(diào)度中心,其中網(wǎng)絡(luò)管理調(diào)度中心負(fù)責(zé)網(wǎng)絡(luò)(運(yùn)力)的調(diào)度管理。北向?qū)釉凭W(wǎng)編排中心,接受網(wǎng)絡(luò)調(diào)度請(qǐng)求;南向?qū)釉凭W(wǎng)基礎(chǔ)設(shè)施,完成網(wǎng)絡(luò)配置激活;東西向連接云網(wǎng)智能引擎和數(shù)字孿生中心,實(shí)現(xiàn)網(wǎng)絡(luò)調(diào)度注智。云管理調(diào)度中心負(fù)責(zé)算力、存力、算力應(yīng)用與能力服務(wù)的調(diào)度管理。北向?qū)釉凭W(wǎng)編排中心,為算力與存力的調(diào)度、編排和管理提供決策數(shù)據(jù);南向?qū)釉凭W(wǎng)基礎(chǔ)設(shè)施,執(zhí)行云網(wǎng)編排中心的指令,執(zhí)行云調(diào)度、算力節(jié)點(diǎn)并網(wǎng)、資源同步,云網(wǎng)應(yīng)用部署和為用戶(hù)提供云資源綁定等服務(wù)。

    網(wǎng)絡(luò)管理調(diào)度中心支持跨域端到端網(wǎng)絡(luò)管理調(diào)度,實(shí)現(xiàn)端到端網(wǎng)絡(luò)配置管理、性能管理和告警管理以及多域數(shù)據(jù)采集,包括IP網(wǎng),光傳送網(wǎng)(Optical Transport Network,OTN)/切片分組網(wǎng)(Slicing Packet Network,SPN)/無(wú)源光網(wǎng)絡(luò)(Passive Optical Network,PON)等傳輸網(wǎng),5G核心網(wǎng)與5G無(wú)線網(wǎng)等。網(wǎng)絡(luò)管理調(diào)度中心支持端到端網(wǎng)絡(luò)性能需求到單域網(wǎng)絡(luò)性能需求的分解,實(shí)現(xiàn)網(wǎng)絡(luò)性能需求到網(wǎng)絡(luò)配置要求的映射。

    云管理調(diào)度中支持云原生化的容器管理,支持包括多個(gè)云資源的調(diào)度分發(fā)以及相應(yīng)的云服務(wù)的彈性伸縮管理,并為云網(wǎng)提供算力注冊(cè)、發(fā)現(xiàn)、調(diào)度與云網(wǎng)應(yīng)用的部署能力。

    2.1.3 云網(wǎng)智能引擎

    云網(wǎng)智能引擎是云網(wǎng)融合編排與調(diào)度系統(tǒng)的智能決策中樞,通過(guò)模型訓(xùn)練和推理服務(wù),提供節(jié)點(diǎn)能力評(píng)估、路徑尋優(yōu)、意圖識(shí)別、資源調(diào)度等AI能力,為云網(wǎng)融合編排與調(diào)度系統(tǒng)提供注智引擎和AI服務(wù),最終實(shí)現(xiàn)云網(wǎng)全局圖譜下,云網(wǎng)融合業(yè)務(wù)目標(biāo)SLA與云網(wǎng)資源組合的聯(lián)合最優(yōu)解。

    云網(wǎng)智能引擎內(nèi)置云網(wǎng)資源多因子指標(biāo)體系,如帶寬、時(shí)延、容量、吞吐率、成本等,可根據(jù)需求實(shí)現(xiàn)多維度精細(xì)化解析,以保障選擇最優(yōu)算網(wǎng)節(jié)點(diǎn)和網(wǎng)絡(luò)最優(yōu)路徑。云網(wǎng)智能引擎從場(chǎng)景出發(fā),結(jié)合當(dāng)前資源消耗和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),可自動(dòng)推薦算網(wǎng)節(jié)點(diǎn)和網(wǎng)絡(luò)路徑的最佳編排策略。

    2.1.4 云網(wǎng)數(shù)字孿生中心

    云網(wǎng)數(shù)字孿生中心為云網(wǎng)融合編排與調(diào)度系統(tǒng)提供編排仿真、態(tài)勢(shì)感知、業(yè)務(wù)預(yù)測(cè)與創(chuàng)新引流等服務(wù)。云網(wǎng)數(shù)字孿生中心以數(shù)字化方式創(chuàng)建云網(wǎng)實(shí)體的虛擬孿生體,且可與云網(wǎng)實(shí)體進(jìn)行實(shí)時(shí)交互映射。通過(guò)實(shí)時(shí)或者非實(shí)時(shí)的數(shù)據(jù)采集方式將物理實(shí)體數(shù)據(jù)、空間數(shù)據(jù)、資源數(shù)據(jù),以及協(xié)議、接口、路由、信令、流程、性能、告警、日志、狀態(tài)等信息存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù),為構(gòu)建云網(wǎng)孿生體以及為云網(wǎng)孿生體賦能提供數(shù)據(jù)支撐,并且基于這些數(shù)據(jù)形成功能豐富的數(shù)據(jù)模型。

    云網(wǎng)數(shù)字孿生中心支持通過(guò)靈活組合的方式創(chuàng)建多種云網(wǎng)模型實(shí)例,服務(wù)于各種云網(wǎng)應(yīng)用,并提供基于低代碼的可視化搭建工具,對(duì)已有拓?fù)?、圖表與符號(hào)資源進(jìn)行拖拉拽操作,實(shí)現(xiàn)三維云網(wǎng)數(shù)字孿生可視化應(yīng)用。云網(wǎng)數(shù)字孿生中心通過(guò)可視化的云網(wǎng)孿生體與實(shí)體映射,實(shí)現(xiàn)可視化、孿生化的云網(wǎng)孿生體與物理實(shí)體實(shí)時(shí)交互;并通過(guò)人工智能、AI算法、專(zhuān)家經(jīng)驗(yàn)、大數(shù)據(jù)分析等技術(shù)實(shí)現(xiàn)對(duì)物理云網(wǎng)進(jìn)行全生命周期的分析、診斷、仿真和控制。

    2.2 關(guān)鍵技術(shù)

    對(duì)企業(yè)客戶(hù)而言,需要通過(guò)多云部署、高性能云邊協(xié)同、一體化開(kāi)通服務(wù)等幫助其提升競(jìng)爭(zhēng)優(yōu)勢(shì);對(duì)政府客戶(hù)而言,數(shù)字城市、數(shù)字社區(qū)等對(duì)云的能力和安全性有越來(lái)越高的要求。這些場(chǎng)景,都對(duì)云網(wǎng)融合編排與調(diào)度提出了新的技術(shù)要求。

    為加快推進(jìn)新型云網(wǎng)融合編排與調(diào)度系統(tǒng)建設(shè),需構(gòu)建新型云網(wǎng)編排與調(diào)度系統(tǒng)技術(shù)圖譜,具體參見(jiàn)圖3。

    圖3 新型云網(wǎng)編排與調(diào)度系統(tǒng)技術(shù)圖譜

    算力度量,要求量化異構(gòu)算力資源以及多樣化業(yè)務(wù)需求,并建立統(tǒng)一的描述語(yǔ)言,賦能算力流通屬性的同時(shí),為算力的感知、管控、服務(wù)提供基礎(chǔ)和標(biāo)準(zhǔn)。

    算力感知,在算力進(jìn)行統(tǒng)一度量與標(biāo)識(shí)的基礎(chǔ)上,捕捉業(yè)務(wù)算力需求信息以及算力資源信息的技術(shù),從而為算力網(wǎng)絡(luò)調(diào)度編排提供基礎(chǔ),實(shí)現(xiàn)資源配置的最優(yōu)化。

    基于IPv6的段路由(Segment Routing IPv6,SRv6)[7]/ 軟件定義廣域網(wǎng)(Software Defined Wide Area Network,SD-WAN)[8]/ 開(kāi)放式無(wú)線電接入網(wǎng)(Open Radio Access Network,O-RAN)[9]等網(wǎng)絡(luò)技術(shù),在無(wú)線網(wǎng)、核心網(wǎng)、IP網(wǎng)、傳輸網(wǎng),甚至衛(wèi)星網(wǎng)絡(luò)等各領(lǐng)域,將從深度和廣度兩個(gè)方面提升網(wǎng)絡(luò)連接的性能質(zhì)量與覆蓋范圍,實(shí)現(xiàn)多種連接方式的端到端協(xié)同,構(gòu)筑面向空天地海一體化的泛在連接。

    數(shù)字孿生,通過(guò)感知、采集網(wǎng)絡(luò)和云等資源相關(guān)信息及運(yùn)行狀態(tài),實(shí)現(xiàn)對(duì)云網(wǎng)物理資源的數(shù)字孿生拓?fù)?、建模、仿真等,從而?gòu)建云網(wǎng)資源的數(shù)字孿生體,用于對(duì)云網(wǎng)運(yùn)營(yíng)的實(shí)時(shí)狀態(tài)進(jìn)行仿真和監(jiān)測(cè)。

    面向云網(wǎng)多要素、多因子的融合編排管理需求,管理對(duì)象種類(lèi)多、數(shù)量大,新型云網(wǎng)融合編排調(diào)度系統(tǒng)也需要通過(guò)與人工智能、大數(shù)據(jù)等技術(shù)深度融合,探索云網(wǎng)自智、意圖網(wǎng)絡(luò)等新方向,不斷增強(qiáng)云網(wǎng)融合自動(dòng)化、智能化能力,并提供智能閉環(huán)保障能力,逐步實(shí)現(xiàn)云網(wǎng)自智。

    一體編排,在云網(wǎng)調(diào)度、智能引擎、數(shù)字孿生能力基礎(chǔ)上,根據(jù)交易合約快速分配云網(wǎng)資源,并且需要在合約內(nèi)快速資源的更新、回收,最終完成新型云網(wǎng)融合與調(diào)度能力。

    3 自動(dòng)化、智能化、孿生化的新型云網(wǎng)融合編排與調(diào)度系統(tǒng)

    3.1 智能化

    云網(wǎng)智能引擎是新型云網(wǎng)融合編排與調(diào)度系統(tǒng)的核心,其基于對(duì)云網(wǎng)的測(cè)量感知,進(jìn)行云網(wǎng)全局拓?fù)湎碌闹悄軟Q策,并通過(guò)云網(wǎng)編排中心,實(shí)現(xiàn)對(duì)云網(wǎng)的統(tǒng)一調(diào)度。云網(wǎng)智能引擎的智能決策,就是要在云網(wǎng)全局拓?fù)湎拢瑢?shí)現(xiàn)云網(wǎng)目標(biāo)SLA與云網(wǎng)資源組合的聯(lián)合最優(yōu)解。在滿(mǎn)足云網(wǎng)目標(biāo)SLA的前提下,實(shí)現(xiàn)代價(jià)最優(yōu)的云網(wǎng)資源調(diào)度。

    如圖4所示,云網(wǎng)SLA包括資源約束型、業(yè)務(wù)敏感型、綠色環(huán)保型、經(jīng)濟(jì)敏感型、安全敏感型的多因子指標(biāo)集(KPIs)。多因子指標(biāo)集量化表征了云網(wǎng)SLA,并形成云網(wǎng)決策組合(SLA Portfolio)。

    在云網(wǎng)融合之前,運(yùn)營(yíng)商關(guān)注如何在全局網(wǎng)絡(luò)拓?fù)湎?,?shí)現(xiàn)網(wǎng)絡(luò)目標(biāo)SLA與網(wǎng)絡(luò)資源組合的聯(lián)合最優(yōu)解。其關(guān)系函數(shù)是:

    KPIN=fN(RN1,RN2,…,RNM|TopoN)

    (1)

    其中,KPIN是網(wǎng)絡(luò)SLA的資源、業(yè)務(wù)、綠色、經(jīng)濟(jì)、安全等多因子的量化KPI向量。fN是在網(wǎng)絡(luò)拓?fù)錀l件下的網(wǎng)絡(luò)資源與網(wǎng)絡(luò)KPI的關(guān)系函數(shù)。RNi是網(wǎng)絡(luò)節(jié)點(diǎn)Ni的資源指標(biāo)向量,如占用帶寬、轉(zhuǎn)發(fā)延遲等。

    在算力時(shí)代,根據(jù)不同的云網(wǎng)融合發(fā)展路線條件,存在兩種關(guān)系函數(shù)。對(duì)于具有云網(wǎng)全局圖譜的運(yùn)營(yíng)商,可以通過(guò)fCNC求解目標(biāo)SLA與云網(wǎng)資源組合的聯(lián)合最優(yōu)。而對(duì)于網(wǎng)絡(luò)和云獨(dú)立運(yùn)營(yíng)管理的運(yùn)營(yíng)商,需要針對(duì)目標(biāo)SLA通過(guò)fC和fN對(duì)算力和網(wǎng)絡(luò)資源獨(dú)立求優(yōu)。如公式(2)所示。

    (2)

    其中,KPICNC是云網(wǎng)SLA的資源、業(yè)務(wù)、綠色、經(jīng)濟(jì)、安全等多因子的量化KPI向量。fCNC是在云網(wǎng)統(tǒng)一圖譜條件下的云網(wǎng)資源與云網(wǎng)KPI的關(guān)系函數(shù)。fC是在算力拓?fù)錀l件下的算力資源與算力KPI的關(guān)系函數(shù)。RCj是算力節(jié)點(diǎn)Cj的資源指標(biāo)向量,如CPU使用率、內(nèi)存使用率等。

    基于KPICNC公式,云網(wǎng)智能引擎通過(guò)“KPI與云網(wǎng)資源關(guān)系映射,SLA與KPI映射,有效云網(wǎng)節(jié)點(diǎn)評(píng)估,有效云網(wǎng)路徑評(píng)估,綜合(多因子)最優(yōu)云網(wǎng)路徑計(jì)算,云網(wǎng)資源編排調(diào)度”6個(gè)步驟進(jìn)行智能化的云邊協(xié)同算力調(diào)度,實(shí)現(xiàn)云網(wǎng)全局拓?fù)湎拢瑢?shí)現(xiàn)云網(wǎng)目標(biāo)SLA與云網(wǎng)資源組合的聯(lián)合最優(yōu)解。

    3.2 自動(dòng)化

    云網(wǎng)編排自動(dòng)化是云網(wǎng)融合編排與調(diào)度系統(tǒng)的關(guān)鍵能力,面向云網(wǎng)融合演進(jìn)的新型網(wǎng)絡(luò)架構(gòu),通過(guò)云資源與網(wǎng)絡(luò)資源及邊緣云資源與中心云資源狀態(tài)的協(xié)同調(diào)度,將不同應(yīng)用的業(yè)務(wù)通過(guò)最優(yōu)路徑,自動(dòng)化調(diào)度到最優(yōu)的計(jì)算節(jié)點(diǎn),實(shí)現(xiàn)用戶(hù)體驗(yàn)最優(yōu)的同時(shí),保證運(yùn)營(yíng)商網(wǎng)絡(luò)資源和計(jì)算資源利用率最優(yōu)化。

    為實(shí)現(xiàn)云網(wǎng)融合業(yè)務(wù)的一體化自動(dòng)化開(kāi)通,需借助云網(wǎng)智能引擎和數(shù)字孿生的注智能力實(shí)現(xiàn)云網(wǎng)業(yè)務(wù)、資源的統(tǒng)一編排與集中調(diào)度,并支撐實(shí)現(xiàn)業(yè)務(wù)開(kāi)通流程的全程貫通。其中網(wǎng)絡(luò)側(cè)管理編排包括無(wú)線網(wǎng)、傳輸網(wǎng)、IP網(wǎng)和核心網(wǎng)的開(kāi)通能力標(biāo)準(zhǔn)化、自動(dòng)化與智能化,并實(shí)現(xiàn)跨專(zhuān)業(yè)網(wǎng)絡(luò)端到端管理編排、調(diào)度與運(yùn)維;云側(cè)管理編排在統(tǒng)一架構(gòu)模式之下,基于混合多云管理的能力,實(shí)現(xiàn)異構(gòu)云資源的統(tǒng)一納管、統(tǒng)一調(diào)度、統(tǒng)一運(yùn)維。

    同時(shí),面向新型算力業(yè)務(wù),需實(shí)現(xiàn)算力應(yīng)用的自動(dòng)化部署,為應(yīng)用的構(gòu)建、部署、運(yùn)行和維護(hù)提供必要的托管和支持服務(wù)。如圖5所示,新型云網(wǎng)融合編排與調(diào)度系統(tǒng)支持通過(guò)控制臺(tái)服務(wù)與接口服務(wù)兩種方式實(shí)現(xiàn)應(yīng)用的自動(dòng)化部署與托管服務(wù)。

    圖5 云網(wǎng)融合應(yīng)用自動(dòng)化部署與托管

    控制臺(tái)服務(wù):通過(guò)控制臺(tái)服務(wù)門(mén)戶(hù)直接輸出應(yīng)用的構(gòu)建、部署、運(yùn)行和維護(hù)的服務(wù)支撐能力,為租戶(hù)提供可視化的應(yīng)用托管服務(wù)。接口服務(wù):算力網(wǎng)絡(luò)通過(guò)API接口服務(wù)為可信的第三方PaaS平臺(tái)提供應(yīng)用的部署、運(yùn)行和維護(hù)等服務(wù)支撐能力。

    云網(wǎng)融合編排自動(dòng)化,在計(jì)算維度層面需支持云網(wǎng)業(yè)務(wù)的多量綱計(jì)量方式,如算力的類(lèi)型、精度、質(zhì)量、等級(jí)等指標(biāo)量綱,網(wǎng)絡(luò)的帶寬、時(shí)延、可靠性等指標(biāo)量綱;在云網(wǎng)資源層面,支持云資源和網(wǎng)絡(luò)資源的數(shù)據(jù)實(shí)時(shí)感知,實(shí)現(xiàn)算力和網(wǎng)絡(luò)的融合資源視圖,完成算力資源和網(wǎng)絡(luò)資源一體編排。相比網(wǎng)絡(luò)編排系統(tǒng)與算力編排系統(tǒng)兩個(gè)獨(dú)立系統(tǒng)的方案,云網(wǎng)融合編排與調(diào)度系統(tǒng)可以兼顧算力和網(wǎng)絡(luò)兩個(gè)資源維度因素,自動(dòng)化實(shí)現(xiàn)資源聯(lián)合價(jià)值最大化。

    3.3 孿生化

    云網(wǎng)數(shù)字孿生作為貫穿云網(wǎng)融合調(diào)度、智能編排的核心技術(shù),為新型云網(wǎng)融合編排與調(diào)度系統(tǒng)提供拿來(lái)即用的數(shù)字孿生組件與工具集,實(shí)現(xiàn)云網(wǎng)資源與拓?fù)浞抡?,流程與業(yè)務(wù)編排的仿真,自動(dòng)化測(cè)試仿真等。

    如圖6所示,云網(wǎng)數(shù)字孿生在業(yè)務(wù)支撐層面,實(shí)現(xiàn)面向云網(wǎng)融合的數(shù)字建模,構(gòu)建云網(wǎng)融合模擬運(yùn)行環(huán)境及仿真環(huán)境,有效支撐業(yè)務(wù)開(kāi)通測(cè)試、網(wǎng)絡(luò)模擬驗(yàn)證、業(yè)務(wù)發(fā)展預(yù)測(cè)等能力。在業(yè)務(wù)運(yùn)營(yíng)層面,實(shí)現(xiàn)算力分布、態(tài)勢(shì)感知、業(yè)務(wù)開(kāi)通、業(yè)務(wù)分布、需求預(yù)測(cè)等云網(wǎng)融合業(yè)務(wù)的運(yùn)營(yíng);在創(chuàng)新應(yīng)用層面,數(shù)字孿生作為6G潛在通用目的技術(shù),將作為新型算力能力實(shí)現(xiàn)云渲染、云XR等算力服務(wù)為云網(wǎng)業(yè)務(wù)引流,激活云網(wǎng)資源運(yùn)營(yíng)。

    圖6 云網(wǎng)數(shù)字孿生

    3.4 云網(wǎng)融合編排與調(diào)度智能化、自動(dòng)化與孿生化演進(jìn)分級(jí)

    隨著云網(wǎng)融合技術(shù)的持續(xù)演進(jìn),云網(wǎng)融合編排與調(diào)度智能化、自動(dòng)化與孿生化相關(guān)技術(shù)與功能的演進(jìn)發(fā)展可分為4個(gè)階段,包括云網(wǎng)單體協(xié)同、云網(wǎng)泛在協(xié)同、云網(wǎng)融合協(xié)同、云網(wǎng)原生協(xié)同階段,具體如表1所示。

    表1 云網(wǎng)融合編排與調(diào)度等級(jí)

    4 新型云網(wǎng)融合編排與調(diào)度典型場(chǎng)景

    新型云網(wǎng)融合編排與調(diào)度作為云計(jì)算和網(wǎng)絡(luò)深度融合的產(chǎn)物,“云+網(wǎng)+X”模式本身帶動(dòng)了以云平臺(tái)和網(wǎng)絡(luò)為基礎(chǔ)的云網(wǎng)融合解決方案,形成了“云+網(wǎng)+應(yīng)用”的服務(wù)框架,面向垂直行業(yè)又形成“云+網(wǎng)+行業(yè)”的服務(wù)框架。這些基礎(chǔ)框架為多元化發(fā)展開(kāi)拓了新的云網(wǎng)融合生態(tài)藍(lán)海。

    4.1 AR/VR業(yè)務(wù)新型云網(wǎng)融合編排與調(diào)度方案

    云AR/VR應(yīng)用從云生成的視頻和音頻,經(jīng)過(guò)編碼、壓縮,然后通過(guò)高帶寬網(wǎng)絡(luò)傳輸回終端設(shè)備,實(shí)現(xiàn)AR/VR業(yè)務(wù)內(nèi)容上云、渲染上云。通過(guò)計(jì)算任務(wù)分級(jí)卸載,提高了云、邊、網(wǎng)資源利用率,以及業(yè)務(wù)體驗(yàn)。計(jì)算負(fù)載大的大型計(jì)算、內(nèi)容產(chǎn)生等任務(wù)可部署在中心云上;計(jì)算要求較低的視頻編解碼、內(nèi)容渲染等任務(wù)可動(dòng)態(tài)卸載至邊緣計(jì)算(Multi-Access Edge Computing,MEC)[10]節(jié)點(diǎn)處完成。云AR/VR服務(wù)對(duì)網(wǎng)絡(luò)質(zhì)量和計(jì)算都有很高的要求,需要通過(guò)新型云網(wǎng)編排與調(diào)度系統(tǒng)選擇符合云AR/VR業(yè)務(wù)需求的計(jì)算節(jié)點(diǎn)與網(wǎng)絡(luò)路徑,實(shí)現(xiàn)業(yè)務(wù)的云、邊、端協(xié)同,保證業(yè)務(wù)質(zhì)量與用戶(hù)感知。AR/VR場(chǎng)景下網(wǎng)絡(luò)拓?fù)淙鐖D7所示。

    圖7 AR/VR場(chǎng)景下網(wǎng)絡(luò)拓?fù)?/p>

    4.2 云網(wǎng)需求

    在云網(wǎng)需求場(chǎng)景下進(jìn)一步將AR/VR應(yīng)用總體服務(wù)分解為兩大類(lèi)服務(wù)需求,具體如下。

    ? 低時(shí)延服務(wù):AR/VR視覺(jué)渲染等。

    ? 非低時(shí)延服務(wù):AR/VR內(nèi)容制作、內(nèi)容同步等。

    相關(guān)指標(biāo)要求如表2所示。

    表2 AR/VR場(chǎng)景網(wǎng)絡(luò)指標(biāo)要求

    4.3 新型云網(wǎng)融合編排與調(diào)度關(guān)鍵業(yè)務(wù)流程

    如圖8所示,該場(chǎng)景下的新型云網(wǎng)融合編排與調(diào)度系統(tǒng)選擇符合AR/VR業(yè)務(wù)需求的計(jì)算節(jié)點(diǎn)與網(wǎng)絡(luò)路徑,實(shí)現(xiàn)業(yè)務(wù)的云邊端自動(dòng)化協(xié)同,保證業(yè)務(wù)質(zhì)量與用戶(hù)感知。

    圖8 AR/VR場(chǎng)景下新型云網(wǎng)編排與調(diào)度關(guān)鍵業(yè)務(wù)流程

    5 結(jié)束語(yǔ)

    綜合業(yè)界技術(shù)及運(yùn)營(yíng)商實(shí)踐,目前運(yùn)營(yíng)商云網(wǎng)融合編排與調(diào)度智能化、自動(dòng)化與孿生化處于L1泛在協(xié)同階段。云網(wǎng)融合編排與調(diào)度需在標(biāo)準(zhǔn)化及關(guān)鍵技術(shù)上持續(xù)演進(jìn)。在標(biāo)準(zhǔn)化上,需進(jìn)一步細(xì)化云網(wǎng)融合編排與調(diào)度功能要求,如算力注冊(cè)、策略管理、云網(wǎng)資源拓?fù)涞?;定義端到端編排流程,如云網(wǎng)業(yè)務(wù)開(kāi)通、變更、撤銷(xiāo)及業(yè)務(wù)應(yīng)用部署流程等;定義云網(wǎng)融合編排北向接口,編排中心與云、網(wǎng)調(diào)度中心接口,云平臺(tái)北向接口,網(wǎng)絡(luò)控制臺(tái)北向接口等各層級(jí)API,以達(dá)到廠家互通能力。在關(guān)鍵技術(shù)上,需加強(qiáng)算力度量、評(píng)估,實(shí)時(shí)的算力、網(wǎng)絡(luò)感知,空天一體星云網(wǎng)絡(luò),云網(wǎng)資源的綠色節(jié)能等。最終演進(jìn)為具備自動(dòng)化、智能化、孿生化的新型云網(wǎng)融合編排與調(diào)度系統(tǒng),為客戶(hù)提供一體化供給、一體化服務(wù)、一體化運(yùn)營(yíng)能力。

    未來(lái),新型云網(wǎng)融合編排與調(diào)度系統(tǒng)將向更廣維度的云網(wǎng)資源、更高效的編排調(diào)度能力、更精確的客戶(hù)服務(wù)策略、更確定的資源調(diào)度和更融合的云網(wǎng)一體基礎(chǔ)設(shè)施五大方面演進(jìn),成為“云網(wǎng)大腦”。

    猜你喜歡
    云網(wǎng)算力調(diào)度
    多方求解智能時(shí)代算力挑戰(zhàn)
    這個(gè)第二不一般
    都市人(2023年11期)2024-01-12 05:55:06
    衛(wèi)星通信在算力網(wǎng)絡(luò)中的應(yīng)用研究
    下期要目
    中國(guó)電信董事長(zhǎng)柯瑞文:算力成為數(shù)字經(jīng)濟(jì)的主要生產(chǎn)力
    基于ONAP開(kāi)源架構(gòu)的云網(wǎng)操作系統(tǒng)研究
    航天云網(wǎng)科技發(fā)展有限責(zé)任公司
    《調(diào)度集中系統(tǒng)(CTC)/列車(chē)調(diào)度指揮系統(tǒng)(TDCS)維護(hù)手冊(cè)》正式出版
    一種基于負(fù)載均衡的Kubernetes調(diào)度改進(jìn)算法
    虛擬機(jī)實(shí)時(shí)遷移調(diào)度算法
    99在线视频只有这里精品首页| 免费在线观看成人毛片| 久久久精品欧美日韩精品| 亚洲欧美日韩无卡精品| 日本成人三级电影网站| 九九爱精品视频在线观看| 可以在线观看的亚洲视频| 青春草亚洲视频在线观看| 老司机影院成人| av卡一久久| 亚洲五月天丁香| АⅤ资源中文在线天堂| 神马国产精品三级电影在线观看| 尾随美女入室| 精品久久久久久成人av| 久久九九热精品免费| 九九热线精品视视频播放| 国产伦精品一区二区三区视频9| 免费观看在线日韩| 欧美日本视频| 久久这里有精品视频免费| 九九爱精品视频在线观看| 美女cb高潮喷水在线观看| 成人特级av手机在线观看| 久久精品国产清高在天天线| 国产高潮美女av| 国产亚洲精品av在线| 久久精品国产鲁丝片午夜精品| 少妇熟女欧美另类| 久久九九热精品免费| 成人漫画全彩无遮挡| 97超视频在线观看视频| 欧美日韩在线观看h| 成人特级黄色片久久久久久久| 联通29元200g的流量卡| 午夜精品国产一区二区电影 | 少妇的逼水好多| 人妻久久中文字幕网| av女优亚洲男人天堂| 亚洲aⅴ乱码一区二区在线播放| 五月玫瑰六月丁香| 又粗又爽又猛毛片免费看| 国产精品.久久久| 亚洲人成网站在线观看播放| 一本精品99久久精品77| 最近2019中文字幕mv第一页| 六月丁香七月| av在线天堂中文字幕| 久久久精品欧美日韩精品| 亚洲欧洲国产日韩| 成人毛片60女人毛片免费| 99久久九九国产精品国产免费| 亚洲在线观看片| 亚洲av电影不卡..在线观看| 人妻系列 视频| 男插女下体视频免费在线播放| 一级毛片久久久久久久久女| 亚洲熟妇中文字幕五十中出| 男人舔女人下体高潮全视频| 不卡一级毛片| 网址你懂的国产日韩在线| 人人妻人人看人人澡| 亚洲图色成人| 人妻系列 视频| 乱系列少妇在线播放| 欧美成人一区二区免费高清观看| 欧美性猛交╳xxx乱大交人| 国产一区亚洲一区在线观看| 五月伊人婷婷丁香| 亚洲激情五月婷婷啪啪| 久久精品91蜜桃| 18+在线观看网站| 别揉我奶头 嗯啊视频| a级毛色黄片| 高清在线视频一区二区三区 | 亚洲自拍偷在线| 日本-黄色视频高清免费观看| 国产精品乱码一区二三区的特点| 级片在线观看| 精品日产1卡2卡| 蜜桃亚洲精品一区二区三区| 国产人妻一区二区三区在| 在线观看午夜福利视频| 美女cb高潮喷水在线观看| 日日摸夜夜添夜夜爱| 淫秽高清视频在线观看| 亚洲自偷自拍三级| 美女国产视频在线观看| 深夜a级毛片| 亚洲精品乱码久久久久久按摩| 国产老妇女一区| av天堂中文字幕网| 婷婷亚洲欧美| 成人午夜精彩视频在线观看| 少妇熟女欧美另类| 可以在线观看的亚洲视频| 两个人视频免费观看高清| 国产精品精品国产色婷婷| 变态另类丝袜制服| 久久精品夜夜夜夜夜久久蜜豆| 国产精品久久久久久亚洲av鲁大| 国产成人精品久久久久久| 国产高清不卡午夜福利| .国产精品久久| 国产黄片美女视频| 大香蕉久久网| 成人毛片60女人毛片免费| 精品久久久久久久人妻蜜臀av| 日韩一区二区视频免费看| 99久久精品一区二区三区| av在线亚洲专区| 伊人久久精品亚洲午夜| 国产精品一区二区三区四区免费观看| 国产白丝娇喘喷水9色精品| 伦理电影大哥的女人| 中文亚洲av片在线观看爽| 人妻夜夜爽99麻豆av| 国产亚洲5aaaaa淫片| 男人舔奶头视频| 2022亚洲国产成人精品| 亚洲精品日韩在线中文字幕 | 毛片一级片免费看久久久久| 卡戴珊不雅视频在线播放| 欧美在线一区亚洲| 男女视频在线观看网站免费| 欧美激情在线99| 美女内射精品一级片tv| 99国产精品一区二区蜜桃av| 岛国在线免费视频观看| 国产黄片视频在线免费观看| 岛国在线免费视频观看| 69av精品久久久久久| 一夜夜www| 日日摸夜夜添夜夜爱| 91在线精品国自产拍蜜月| 欧美日韩乱码在线| 九色成人免费人妻av| 男女做爰动态图高潮gif福利片| 男人舔女人下体高潮全视频| 欧美bdsm另类| 日韩中字成人| 一区福利在线观看| 色综合亚洲欧美另类图片| 精品一区二区免费观看| 久久精品久久久久久噜噜老黄 | 身体一侧抽搐| 12—13女人毛片做爰片一| 麻豆久久精品国产亚洲av| 国产老妇女一区| 亚洲人成网站在线播放欧美日韩| 国产精品一区二区三区四区免费观看| www.av在线官网国产| 国产老妇女一区| 变态另类成人亚洲欧美熟女| 欧美激情久久久久久爽电影| 伦精品一区二区三区| 天天一区二区日本电影三级| 伊人久久精品亚洲午夜| 国产精品国产高清国产av| 白带黄色成豆腐渣| 国产精品.久久久| 你懂的网址亚洲精品在线观看 | 婷婷亚洲欧美| 日本成人三级电影网站| 精品熟女少妇av免费看| 免费观看在线日韩| 夜夜看夜夜爽夜夜摸| 欧美三级亚洲精品| 久久精品91蜜桃| 国内精品美女久久久久久| 插逼视频在线观看| 成人亚洲欧美一区二区av| 欧美不卡视频在线免费观看| 国产精品.久久久| 亚洲第一区二区三区不卡| 国产精品久久久久久久电影| 身体一侧抽搐| 在线观看av片永久免费下载| 一区二区三区高清视频在线| 欧美激情在线99| 欧美激情在线99| 精品久久久久久久末码| 亚洲高清免费不卡视频| 欧美xxxx黑人xx丫x性爽| 高清毛片免费观看视频网站| 最近手机中文字幕大全| 欧美xxxx性猛交bbbb| 欧美色欧美亚洲另类二区| 一级毛片电影观看 | 成人特级黄色片久久久久久久| 精品熟女少妇av免费看| 在线观看av片永久免费下载| 亚洲自拍偷在线| 精品一区二区免费观看| 欧美精品国产亚洲| 国产精品爽爽va在线观看网站| 日韩成人av中文字幕在线观看| 国产高清有码在线观看视频| 日本av手机在线免费观看| 亚洲五月天丁香| 麻豆成人午夜福利视频| 国产综合懂色| 久久久精品大字幕| 亚洲丝袜综合中文字幕| 国产精品不卡视频一区二区| 色综合色国产| 人体艺术视频欧美日本| 国产爱豆传媒在线观看| 久久99精品国语久久久| 成人国产麻豆网| АⅤ资源中文在线天堂| 免费看美女性在线毛片视频| 天天躁日日操中文字幕| 国产淫片久久久久久久久| 成人鲁丝片一二三区免费| 校园春色视频在线观看| 国产精品永久免费网站| 国产 一区 欧美 日韩| 欧美变态另类bdsm刘玥| 国内精品一区二区在线观看| 日本黄色视频三级网站网址| 亚洲av中文av极速乱| 久久99蜜桃精品久久| 婷婷色综合大香蕉| 亚洲精品色激情综合| 久久久精品94久久精品| 一区二区三区四区激情视频 | 成人欧美大片| 亚洲精华国产精华液的使用体验 | 久久久精品欧美日韩精品| 亚洲欧美日韩卡通动漫| 美女cb高潮喷水在线观看| 干丝袜人妻中文字幕| 国产91av在线免费观看| 亚洲欧美日韩高清在线视频| 亚洲在久久综合| 欧美+日韩+精品| 免费无遮挡裸体视频| 插逼视频在线观看| 成人毛片a级毛片在线播放| 亚洲精品乱码久久久久久按摩| 男女下面进入的视频免费午夜| 国产成年人精品一区二区| 超碰av人人做人人爽久久| 夜夜爽天天搞| 久久国内精品自在自线图片| 乱系列少妇在线播放| 一区二区三区四区激情视频 | 精品久久久久久成人av| 精品国内亚洲2022精品成人| 国产白丝娇喘喷水9色精品| 欧美三级亚洲精品| 在线观看av片永久免费下载| 草草在线视频免费看| 久久精品影院6| 久久6这里有精品| 国产黄色视频一区二区在线观看 | 成年免费大片在线观看| 十八禁国产超污无遮挡网站| 不卡视频在线观看欧美| 国产爱豆传媒在线观看| 国产成人91sexporn| 国产黄色小视频在线观看| 免费观看的影片在线观看| 99久久人妻综合| 国产探花极品一区二区| 亚洲精品久久久久久婷婷小说 | 人人妻人人澡人人爽人人夜夜 | 我要看日韩黄色一级片| videossex国产| 日本三级黄在线观看| 亚洲最大成人中文| ponron亚洲| 欧美精品国产亚洲| 性色avwww在线观看| 国产亚洲欧美98| 国产午夜精品一二区理论片| 亚洲国产高清在线一区二区三| 热99在线观看视频| 一级二级三级毛片免费看| 啦啦啦啦在线视频资源| 在线国产一区二区在线| 日本黄大片高清| 亚洲av.av天堂| 一个人免费在线观看电影| 美女 人体艺术 gogo| 老女人水多毛片| 波野结衣二区三区在线| 国产av在哪里看| 国产视频首页在线观看| 午夜激情欧美在线| 国产成人a区在线观看| 日本成人三级电影网站| 黄片无遮挡物在线观看| 九九热线精品视视频播放| 日韩欧美精品免费久久| 亚洲精品乱码久久久v下载方式| 久久久久久久久久成人| 久久欧美精品欧美久久欧美| 久久人人爽人人爽人人片va| 美女内射精品一级片tv| 亚洲人成网站在线播| 日本熟妇午夜| 亚洲激情五月婷婷啪啪| 久久久久久国产a免费观看| 久99久视频精品免费| 久久久久久久亚洲中文字幕| 欧美日韩综合久久久久久| 久久99热这里只有精品18| 高清毛片免费观看视频网站| 啦啦啦韩国在线观看视频| 蜜臀久久99精品久久宅男| 中国国产av一级| 性欧美人与动物交配| 波野结衣二区三区在线| 日韩制服骚丝袜av| 99久久无色码亚洲精品果冻| 人妻久久中文字幕网| 日韩,欧美,国产一区二区三区 | 国产成人freesex在线| 国产亚洲5aaaaa淫片| 欧美一区二区亚洲| 最近的中文字幕免费完整| 欧美潮喷喷水| 又粗又爽又猛毛片免费看| 男女边吃奶边做爰视频| 久久久久网色| 免费一级毛片在线播放高清视频| 寂寞人妻少妇视频99o| 国产精品人妻久久久影院| 18禁裸乳无遮挡免费网站照片| 成人亚洲精品av一区二区| 一级黄色大片毛片| 我的女老师完整版在线观看| 久久久久九九精品影院| 久久久a久久爽久久v久久| 日韩欧美 国产精品| av又黄又爽大尺度在线免费看 | 26uuu在线亚洲综合色| 嫩草影院入口| 国产久久久一区二区三区| 婷婷亚洲欧美| 亚洲欧美成人综合另类久久久 | 夜夜爽天天搞| 最近最新中文字幕大全电影3| 国产亚洲精品久久久久久毛片| 黑人高潮一二区| 给我免费播放毛片高清在线观看| 真实男女啪啪啪动态图| 国产成人精品久久久久久| 国产亚洲91精品色在线| 亚洲人与动物交配视频| 免费人成在线观看视频色| 1000部很黄的大片| 亚州av有码| 99在线视频只有这里精品首页| 精品久久久久久久久久免费视频| 女同久久另类99精品国产91| 99久久精品热视频| 国产精品久久视频播放| 亚洲国产精品国产精品| 免费观看在线日韩| 又粗又硬又长又爽又黄的视频 | 精品99又大又爽又粗少妇毛片| 99久久九九国产精品国产免费| 精华霜和精华液先用哪个| 日本av手机在线免费观看| 欧美成人免费av一区二区三区| 看免费成人av毛片| 久久婷婷人人爽人人干人人爱| 国产成人影院久久av| 赤兔流量卡办理| av免费观看日本| 性插视频无遮挡在线免费观看| 国产亚洲av片在线观看秒播厂 | 欧美日韩精品成人综合77777| 91久久精品国产一区二区成人| 久久人妻av系列| 色哟哟哟哟哟哟| 一边亲一边摸免费视频| 一级黄片播放器| 欧美激情国产日韩精品一区| 五月伊人婷婷丁香| 国产成人a∨麻豆精品| 丝袜喷水一区| ponron亚洲| av在线天堂中文字幕| 亚洲精品456在线播放app| 日本-黄色视频高清免费观看| 国产黄片视频在线免费观看| 蜜桃久久精品国产亚洲av| 人妻制服诱惑在线中文字幕| 搡女人真爽免费视频火全软件| 午夜福利视频1000在线观看| 欧美高清成人免费视频www| 亚洲成人中文字幕在线播放| 夜夜爽天天搞| 日韩视频在线欧美| 久久欧美精品欧美久久欧美| 少妇裸体淫交视频免费看高清| 色尼玛亚洲综合影院| 亚洲电影在线观看av| 国产精品一区二区三区四区久久| 国产片特级美女逼逼视频| 99精品在免费线老司机午夜| 99国产极品粉嫩在线观看| 91久久精品国产一区二区成人| 久久久a久久爽久久v久久| 亚洲真实伦在线观看| 成人午夜高清在线视频| 午夜久久久久精精品| 男女啪啪激烈高潮av片| 免费看美女性在线毛片视频| 蜜桃久久精品国产亚洲av| 两个人的视频大全免费| 听说在线观看完整版免费高清| 成熟少妇高潮喷水视频| 全区人妻精品视频| 国产一区二区激情短视频| 亚洲成a人片在线一区二区| h日本视频在线播放| 爱豆传媒免费全集在线观看| 亚洲国产精品国产精品| 国产极品精品免费视频能看的| 男女边吃奶边做爰视频| 秋霞在线观看毛片| 婷婷精品国产亚洲av| 99在线人妻在线中文字幕| 亚洲精品456在线播放app| 欧美日韩一区二区视频在线观看视频在线 | 成人国产麻豆网| 高清毛片免费观看视频网站| 亚洲三级黄色毛片| 国产精品野战在线观看| 毛片女人毛片| 亚洲人成网站在线观看播放| 国产伦精品一区二区三区视频9| 韩国av在线不卡| 你懂的网址亚洲精品在线观看 | 成年女人永久免费观看视频| 欧美另类亚洲清纯唯美| 精品熟女少妇av免费看| 观看美女的网站| 99热精品在线国产| av国产免费在线观看| 午夜爱爱视频在线播放| 亚洲国产精品合色在线| 哪里可以看免费的av片| 99久国产av精品| 国产一级毛片七仙女欲春2| 嫩草影院入口| kizo精华| 日韩欧美三级三区| 久久99热6这里只有精品| 亚洲一区二区三区色噜噜| 男女视频在线观看网站免费| 国产毛片a区久久久久| 两个人视频免费观看高清| 尾随美女入室| 狂野欧美激情性xxxx在线观看| 午夜视频国产福利| 97在线视频观看| 亚洲av中文字字幕乱码综合| 国产男人的电影天堂91| 最近最新中文字幕大全电影3| 91麻豆精品激情在线观看国产| 国产精品永久免费网站| 日本色播在线视频| 欧美丝袜亚洲另类| 波野结衣二区三区在线| 亚洲高清免费不卡视频| 免费av不卡在线播放| 天天躁日日操中文字幕| 亚洲欧美日韩东京热| 69人妻影院| 熟妇人妻久久中文字幕3abv| 99九九线精品视频在线观看视频| 成人欧美大片| 丰满人妻一区二区三区视频av| 亚洲美女搞黄在线观看| 亚洲成人精品中文字幕电影| 三级毛片av免费| 亚洲电影在线观看av| 欧美成人一区二区免费高清观看| 黄色配什么色好看| 一级二级三级毛片免费看| 麻豆一二三区av精品| 九色成人免费人妻av| 99热全是精品| 国产成人一区二区在线| 国产精品无大码| 丝袜美腿在线中文| 亚洲不卡免费看| 成人特级黄色片久久久久久久| 免费电影在线观看免费观看| 久久九九热精品免费| 成人一区二区视频在线观看| 日本-黄色视频高清免费观看| 亚洲18禁久久av| 在线免费十八禁| 99精品在免费线老司机午夜| 97人妻精品一区二区三区麻豆| 国产精品久久久久久精品电影小说 | 九草在线视频观看| 亚洲自偷自拍三级| 日本在线视频免费播放| 国产 一区精品| 韩国av在线不卡| 悠悠久久av| 男插女下体视频免费在线播放| 两性午夜刺激爽爽歪歪视频在线观看| 九九热线精品视视频播放| 日韩视频在线欧美| 亚洲自偷自拍三级| 国产又黄又爽又无遮挡在线| 色噜噜av男人的天堂激情| 夜夜夜夜夜久久久久| 两个人的视频大全免费| 日本一二三区视频观看| 免费av不卡在线播放| 最近中文字幕高清免费大全6| 麻豆一二三区av精品| 日韩三级伦理在线观看| 成年av动漫网址| 久久99蜜桃精品久久| 日本撒尿小便嘘嘘汇集6| 亚洲电影在线观看av| 亚洲五月天丁香| 国产探花极品一区二区| 美女xxoo啪啪120秒动态图| 天堂网av新在线| 久久婷婷人人爽人人干人人爱| 亚洲精品456在线播放app| 亚洲精品乱码久久久久久按摩| 亚洲四区av| 在线观看免费视频日本深夜| 成人午夜高清在线视频| 欧美人与善性xxx| 听说在线观看完整版免费高清| 大又大粗又爽又黄少妇毛片口| 久久99热这里只有精品18| 国产精品久久久久久久久免| 日日啪夜夜撸| 国产麻豆成人av免费视频| 悠悠久久av| 久久午夜亚洲精品久久| 熟女电影av网| 国产精品久久久久久av不卡| 老熟妇乱子伦视频在线观看| 女人十人毛片免费观看3o分钟| 久久精品国产亚洲av涩爱 | 一本精品99久久精品77| 亚洲欧美成人综合另类久久久 | 国产色婷婷99| 26uuu在线亚洲综合色| 男人狂女人下面高潮的视频| 最好的美女福利视频网| 少妇人妻精品综合一区二区 | 亚州av有码| 久久人妻av系列| av又黄又爽大尺度在线免费看 | 老司机影院成人| 在线天堂最新版资源| 中国美女看黄片| 欧美区成人在线视频| 国产成人影院久久av| 亚洲第一区二区三区不卡| 男插女下体视频免费在线播放| 黄色日韩在线| 免费搜索国产男女视频| 九草在线视频观看| 免费人成视频x8x8入口观看| 国产免费男女视频| or卡值多少钱| 国产精品人妻久久久久久| 噜噜噜噜噜久久久久久91| 亚洲无线观看免费| av在线播放精品| 日本成人三级电影网站| 午夜免费激情av| 天堂中文最新版在线下载 | 美女国产视频在线观看| 亚洲天堂国产精品一区在线| 国产精品一及| 十八禁国产超污无遮挡网站| 我的女老师完整版在线观看| 99久久成人亚洲精品观看| 国产伦精品一区二区三区视频9| 少妇人妻一区二区三区视频| 亚洲四区av| 精品一区二区三区人妻视频| 日韩亚洲欧美综合| 两个人的视频大全免费| 久久久国产成人免费| 边亲边吃奶的免费视频| 麻豆成人午夜福利视频| 国内少妇人妻偷人精品xxx网站| 亚洲欧美中文字幕日韩二区| 男的添女的下面高潮视频| 最近2019中文字幕mv第一页| 欧美又色又爽又黄视频| 中文字幕精品亚洲无线码一区| 又粗又爽又猛毛片免费看| 亚洲人与动物交配视频| 亚洲av中文av极速乱| 韩国av在线不卡| 久久人人精品亚洲av| 嘟嘟电影网在线观看| 精华霜和精华液先用哪个| 如何舔出高潮| 少妇丰满av| 直男gayav资源| 色吧在线观看| 亚洲在线自拍视频| 国产成人精品婷婷|