• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    算力網(wǎng)絡(luò)調(diào)度的集中式方案研究與實踐

    2023-01-27 11:50:38崔占偉
    廣東通信技術(shù) 2022年12期
    關(guān)鍵詞:集中式算力路由

    [崔占偉]

    1 引言

    算力,可稱為計算能力,即處理數(shù)據(jù)的能力。從概念上講,數(shù)據(jù)和算力早在信息技術(shù)產(chǎn)生后、數(shù)字經(jīng)濟出現(xiàn)之前就已經(jīng)存在。隨著5G、人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈等技術(shù)的發(fā)展,智能化、數(shù)字化成為未來經(jīng)濟的主流,算力正在成為像水力、電力一樣的生產(chǎn)力要素。

    隨著數(shù)字時代的到來,算力作為重要生產(chǎn)力,成為支撐數(shù)字經(jīng)濟、數(shù)字社會和數(shù)字政府發(fā)展的核心基礎(chǔ)。根據(jù)2022 中國算力大會發(fā)布的數(shù)據(jù)顯示,算力作為數(shù)字經(jīng)濟時代新的生產(chǎn)力正迅速發(fā)展。截至2021 年底,我國在用數(shù)據(jù)中心機架總規(guī)模超過520 萬標準機架,平均上架率超過55%。在用數(shù)據(jù)中心服務(wù)器規(guī)模1 900 萬臺,存儲容量達到800EB(1EB=1024PB)。算力總規(guī)模超過140EFlops,近五年年均增速超過30%,算力規(guī)模排名全球第二。

    算力網(wǎng)絡(luò)是一種利用網(wǎng)絡(luò)控制面?zhèn)鬟f算力等資源信息,并以此為基礎(chǔ)實現(xiàn)多方、異構(gòu)的計算、存儲、網(wǎng)絡(luò)等資源之間的信息關(guān)聯(lián)與高頻交易的技術(shù)體系,以滿足新興業(yè)務(wù)提出的“隨時、隨地、隨需”的多樣化需求,從而解決不同類型云計算節(jié)點規(guī)模建設(shè)后的算力分配與資源共享需求難題。

    2 算力網(wǎng)絡(luò)調(diào)度功能框架

    2.1 算力網(wǎng)絡(luò)調(diào)度功能框架

    算力國際標準ITU-T Y.2501 中提出將算力網(wǎng)絡(luò)功能架構(gòu)分成4 大模塊:算力網(wǎng)絡(luò)資源層、算力網(wǎng)絡(luò)控制層、算力網(wǎng)絡(luò)服務(wù)層和算力網(wǎng)絡(luò)編排管理層,如圖1 所示。

    圖1 算力網(wǎng)絡(luò)總體功能架構(gòu)圖

    其中服務(wù)提供層主要實現(xiàn)面向用戶的服務(wù)、原子功能能力開放;網(wǎng)絡(luò)控制層主要通過網(wǎng)絡(luò)控制平面實現(xiàn)計算和網(wǎng)絡(luò)多維度資源融合的路由;算力網(wǎng)絡(luò)資源層主要提供算力資源、存儲資源和網(wǎng)絡(luò)轉(zhuǎn)發(fā)資源;并結(jié)合網(wǎng)絡(luò)中計算處理能力和網(wǎng)絡(luò)轉(zhuǎn)發(fā)能力的實際情況,實現(xiàn)各類計算、存儲資源的傳遞和流動;算力管理編排層主要解決異構(gòu)算力資源、服務(wù)/功能資源的注冊、建模、納管、編排、安全等問題。

    2.2 算力網(wǎng)絡(luò)調(diào)度模塊劃分

    (1)算力網(wǎng)絡(luò)資源層:包括算力資源和網(wǎng)絡(luò)資源。算力資源是滿足新興業(yè)務(wù)的多樣性計算需求,通過從單核CPU 到多核CPU,到CPU+GPU+FPGA 等多種算力組合,在網(wǎng)絡(luò)中提供泛在異構(gòu)計算資源。網(wǎng)絡(luò)資源時提供信息傳輸?shù)木W(wǎng)絡(luò)基礎(chǔ)設(shè)施,包括接入網(wǎng)、城域網(wǎng)和骨干網(wǎng)。

    (2)算力網(wǎng)絡(luò)控制層:基于抽象后的算力網(wǎng)絡(luò)計算資源采集和發(fā)現(xiàn),實現(xiàn)對算力節(jié)點的資源信息感知;另一方面,通過在用戶請求中攜帶業(yè)務(wù)需求,實現(xiàn)對用戶業(yè)務(wù)需求的感知。綜合考慮用戶業(yè)務(wù)請求、網(wǎng)絡(luò)信息和算力資源信息,將業(yè)務(wù)靈活按需調(diào)度到不同的算力節(jié)點中,同時將計算結(jié)果發(fā)布到算力服務(wù)層。

    (3)算力網(wǎng)絡(luò)服務(wù)層:承載算力的各類能力及應(yīng)用,并將用戶對業(yè)務(wù)SLA 的請求包括算力請求等參數(shù)傳遞給算力網(wǎng)絡(luò)控制層。

    (4)算力網(wǎng)絡(luò)編排管理層:實現(xiàn)對算力服務(wù)的運營與編排管理、對算力路由的管理、對算力資源的管理以及對于網(wǎng)絡(luò)資源的管理,其中算力資源管理包括基于統(tǒng)一的算力度量體系,完成對算力資源的統(tǒng)一抽象描述,進而實現(xiàn)對算力資源的度量與建模、注冊和OAM 管理等功能;以支持網(wǎng)絡(luò)對算力資源的可感知、可度量、可管理和可控制。

    3 算力網(wǎng)絡(luò)調(diào)度總體實現(xiàn)方案分析

    算力網(wǎng)絡(luò)是通過網(wǎng)絡(luò)控制面分發(fā)服務(wù)節(jié)點的算力、存儲、算法等資源信息,并結(jié)合網(wǎng)絡(luò)信息和用戶需求,提供最佳的計算、存儲、網(wǎng)絡(luò)等資源的分發(fā)、關(guān)聯(lián)、交易與調(diào)配,從而實現(xiàn)整網(wǎng)資源的最優(yōu)化配置和使用的新型網(wǎng)絡(luò)。

    3.1 算力網(wǎng)絡(luò)調(diào)度的技術(shù)特征

    現(xiàn)有網(wǎng)絡(luò)架構(gòu)采用以應(yīng)用層為主、基于DNS 的尋址,由于沒有考慮網(wǎng)絡(luò)狀態(tài)以及目的節(jié)點計算能力的變化,因此其綜合性能在某些情況下比較差。算力網(wǎng)絡(luò)面向計算類業(yè)務(wù),根據(jù)業(yè)務(wù)的需求,結(jié)合當前網(wǎng)絡(luò)中實時的網(wǎng)絡(luò)狀況和可服務(wù)的計算資源的計算狀況,通過算力網(wǎng)絡(luò)靈活匹配、動態(tài)調(diào)度,將終端的計算任務(wù)路由到合適的目標計算節(jié)點,以支撐業(yè)務(wù)的計算需求,保證業(yè)務(wù)的用戶體驗。

    綜上,算力網(wǎng)絡(luò)的技術(shù)特征如下。

    (1)算力網(wǎng)絡(luò)路由技術(shù):基于抽象后的計算資源發(fā)現(xiàn),綜合考慮網(wǎng)絡(luò)狀況和計算資源狀況,將業(yè)務(wù)靈活按需調(diào)度到不同的計算資源節(jié)點中。具體功能主要包括算力標識、算力狀態(tài)網(wǎng)絡(luò)同步、算力路由控制、算力路由尋址、算力路由轉(zhuǎn)發(fā)等。可包含集中式算力路由技術(shù)方案和分布式算力路由技術(shù)等方案;

    (2)面向服務(wù)/功能/算力的接口:定義算力網(wǎng)絡(luò)與服務(wù)/功能/算力間的通用接口,用于描述計算狀態(tài),與應(yīng)用無關(guān),語義不感知,使得算力網(wǎng)絡(luò)與千變?nèi)f化的應(yīng)用創(chuàng)新解耦,保持自己的穩(wěn)定。

    算力網(wǎng)絡(luò)的部署可以基于overlay 技術(shù)疊加在現(xiàn)有的傳統(tǒng)網(wǎng)絡(luò)之上,也可以在新建的局部網(wǎng)絡(luò)中獨立部署。算力網(wǎng)絡(luò)的功能模塊可以基于通用服務(wù)器進行實現(xiàn),也可以基于專用網(wǎng)絡(luò)設(shè)備進行實現(xiàn)。

    3.2 算力調(diào)度編排

    算力網(wǎng)絡(luò)編排是針對多樣化、定制化的算網(wǎng)融合服務(wù)需求,基于算力和網(wǎng)絡(luò)的原子能力進行靈活組合、一體編排,設(shè)計產(chǎn)品服務(wù)模型,并以模板的形式固化所需的資源、服務(wù)、策略及配置,實現(xiàn)流程、模型等因子的通用化、標準化,實現(xiàn)算網(wǎng)業(yè)務(wù)統(tǒng)一編排、部署和保障。

    面向上層的能力調(diào)度主要包含網(wǎng)絡(luò)編排和服務(wù)編排兩個方面。

    3.2.1 網(wǎng)絡(luò)編排

    網(wǎng)絡(luò)編排主要是指,對底層的網(wǎng)絡(luò)服務(wù)編排能力進行硬件資源的抽象和能力的建模,并通過服務(wù)編排來實現(xiàn)網(wǎng)絡(luò)控制。我們提出基于SDN 的寬帶接入(SEBA)容器化架構(gòu),以實現(xiàn)SDN 網(wǎng)絡(luò)訪問。SEBA 的核心組件主要包括開放網(wǎng)絡(luò)操作系統(tǒng)(ONOS)、Kafka、VOLTHA、XOS。

    ①ONOS:實現(xiàn)SDN 網(wǎng)絡(luò)操作系統(tǒng),對網(wǎng)絡(luò)服務(wù)編排實現(xiàn)統(tǒng)一的資源調(diào)度和管理。

    ② Kafka:實現(xiàn)REST 的消息隊列管理,并通過上層的服務(wù)能力對底層硬件的訪問請求消息進行統(tǒng)一管理。

    ③VOLTHA:實現(xiàn)底層網(wǎng)絡(luò)接入設(shè)備和轉(zhuǎn)發(fā)設(shè)備的硬件資源抽象,從而使用和訪問上層的網(wǎng)絡(luò)功能。

    ④ XOS:實現(xiàn)網(wǎng)絡(luò)功能虛擬化和服務(wù)化,并可以基于SDN 控制器的可編程能力實現(xiàn)網(wǎng)絡(luò)控制和功能軟件定義能力。

    3.2.2 服務(wù)編排

    服務(wù)編排可以實現(xiàn)對PaaS 和軟件即服務(wù)(SaaS)能力的容器化調(diào)度。由于云原生具有服務(wù)化和微服務(wù)化的能力,因此在實現(xiàn)算力調(diào)度的過程中,基于不同的應(yīng)用場景,我們提出了3 個方面的服務(wù)能力。

    ①計算能力集:集成目前云原生統(tǒng)一的計算型能力庫,包括 Spark、Hadoop、Hive、Flink 等。

    ② 數(shù)據(jù)庫:采用傳統(tǒng)的數(shù)據(jù)庫服務(wù)能力,為上層的應(yīng)用和業(yè)務(wù)場景提供一鍵部署式的云原生數(shù)據(jù)庫,包括Mysql、MangoDB 等。

    ③人工智能:包括面向人工智能場景的推理和訓(xùn)練,以及對硬件加速有特定需求的算力調(diào)度能力。

    這些服務(wù)能力統(tǒng)一由Kubernetes 來實現(xiàn)編排。通過Kubernetes 的調(diào)度擴展接口和平臺內(nèi)部調(diào)度器對接,從而能夠?qū)崿F(xiàn)PaaS 和SaaS 服務(wù)的容器化調(diào)度。

    通過Knative 來完成統(tǒng)一服務(wù)能力的封裝和打包,通過Knative 的API 網(wǎng)關(guān)提供統(tǒng)一的網(wǎng)絡(luò)和算力調(diào)度接口,并通過統(tǒng)一的門戶對外開放,開發(fā)者可以根據(jù)網(wǎng)絡(luò)和算力調(diào)度能力進行網(wǎng)絡(luò)編程。這樣可以進一步融合底層網(wǎng)絡(luò)和算力,實現(xiàn)基于可編程網(wǎng)絡(luò)的算力調(diào)度。同時,用戶也可以更加關(guān)注上層業(yè)務(wù)邏輯和業(yè)務(wù)流程。

    4 算力網(wǎng)絡(luò)調(diào)度的集中式方案

    算力網(wǎng)絡(luò)調(diào)度的技術(shù)實現(xiàn)方案可以分為集中式方案、分布式方案和混合式方案,面向不同的業(yè)務(wù)場景,需綜合考慮業(yè)務(wù)需求、技術(shù)特性,合理選擇適宜的算力調(diào)度方案。

    集中式包括基于SDN/NFV 的算網(wǎng)編排管控以及基于域名解析機制的編排管控;集中式技術(shù)方案基于中心化管理編排系統(tǒng)進行狀態(tài)同步、同步代價相對較小,可適用于較大規(guī)模網(wǎng)絡(luò)。

    分布式技術(shù)方案基于分布式路由協(xié)議進行狀態(tài)同步,需要對現(xiàn)有網(wǎng)絡(luò)設(shè)備升級,因此對網(wǎng)絡(luò)影響較大,此方案具有實時性高、數(shù)據(jù)面調(diào)度轉(zhuǎn)發(fā)快速的特點,比較適用于面向時延敏感業(yè)務(wù)。

    下面我們重點分析集中式方案。

    4.1 集中式方案功能

    算力網(wǎng)絡(luò)集中式管理方案通過集中式的控制單元來統(tǒng)一收集全網(wǎng)的算力資源、網(wǎng)絡(luò)資源以及其他資源信息,用戶將業(yè)務(wù)需求發(fā)送給這個集中的控制單元,然后由該單元利用全局視角進行最優(yōu)化的資源選擇與分配。

    由于算力網(wǎng)絡(luò)編排管理平臺不但要收集各類資源信息,同時還要進行相應(yīng)的抽象與計算,最后還要將算力分配策略發(fā)送給用戶和算力資源池,并調(diào)度網(wǎng)絡(luò)建立相應(yīng)的傳送通道。因此算力網(wǎng)絡(luò)編排管理平臺需要集成原有網(wǎng)絡(luò)的SDN 控制器、NFV 編排器等網(wǎng)絡(luò)控制單元。從某種意義上,也可以認為是集成了算力信息與算力策略的新型網(wǎng)絡(luò)編排調(diào)度系統(tǒng)。

    算力網(wǎng)絡(luò)編排管理平臺具有三大功能:資源信息收集功能、資源分配調(diào)度功能和網(wǎng)絡(luò)連接調(diào)度功能。

    其中:(1)資源信息收集功能:算力網(wǎng)絡(luò)編排管理平臺收集各類資源信息,包括但不限于算力資源信息、網(wǎng)絡(luò)資源信息、存儲資源信息、算法資源信息等。

    (2)資源分配調(diào)度功能:根據(jù)用戶與資源供應(yīng)方在算力網(wǎng)絡(luò)交易平臺所達成的交易(也可以是匿名交易)情況,算力網(wǎng)絡(luò)編排管理平臺將相應(yīng)的資源分配策略發(fā)送給各資源管理方,比如通知算力資源的供應(yīng)方,在什么時間段有多少算力資源將被占用,同時刷新平臺所記錄的資源信息數(shù)據(jù)。

    (3)網(wǎng)絡(luò)連接調(diào)度功能:根據(jù)網(wǎng)絡(luò)資源分配情況,得到網(wǎng)絡(luò)連接需求,比如在哪些節(jié)點之間需要建立多大的網(wǎng)絡(luò)連接,以及提供什么樣的服務(wù)質(zhì)量保障,按照這些業(yè)務(wù)需求,調(diào)度相應(yīng)的網(wǎng)絡(luò)資源,完成網(wǎng)絡(luò)連接建立。注,這里的網(wǎng)絡(luò)連接不只是傳統(tǒng)的通道建立,也可能根據(jù)業(yè)務(wù)需求,需要部署相應(yīng)的網(wǎng)元,如5G UPF、vBRAS、vCPE等接入控制網(wǎng)元等。

    以上這3 個功能,是算力網(wǎng)絡(luò)編排管理平臺所需具備的基本功能,但在實踐中,算力網(wǎng)絡(luò)編排管理平臺會根據(jù)現(xiàn)有系統(tǒng)情況,靈活地增刪相應(yīng)功能。

    4.2 集中式方案架構(gòu)

    算力網(wǎng)絡(luò)集中式方案架構(gòu)主要由以下4 部分構(gòu)成。

    (1)算力網(wǎng)絡(luò)管理編排系統(tǒng)。算力網(wǎng)絡(luò)的資源管理和調(diào)度系統(tǒng),根據(jù)業(yè)務(wù)需求對算力資源進行彈性調(diào)度,在滿足業(yè)務(wù)實時需求的同時,提高算力利用率。

    (2)賦能平臺。為用戶業(yè)務(wù)部署賦能,例如針對AI業(yè)務(wù)的AI 賦能平臺。

    (3)邊緣/核心DC。業(yè)務(wù)部署節(jié)點,包含算力資源基礎(chǔ)設(shè)施和NFV 基礎(chǔ)設(shè)施。其中,用戶應(yīng)用部署在異構(gòu)算力資源池之上,vBRAS、vCPE 等虛擬網(wǎng)元部署在NFVI之上。

    (4)網(wǎng)絡(luò)基礎(chǔ)設(shè)施。連接用戶、邊緣云、核心云的網(wǎng)絡(luò)基礎(chǔ)設(shè)施,包括控制面的SDN 控制器、傳統(tǒng)網(wǎng)管,以及轉(zhuǎn)發(fā)面的網(wǎng)絡(luò)設(shè)備。

    其中,賦能平臺、邊緣/核心DC、網(wǎng)絡(luò)基礎(chǔ)設(shè)施包含了算力調(diào)度的基礎(chǔ)資源,而算力網(wǎng)絡(luò)管理編排系統(tǒng)負責對這些資源進行管理和編排,既要實現(xiàn)根據(jù)業(yè)務(wù)需求的動態(tài)算力調(diào)整,又要實現(xiàn)對各個層面資源的有機協(xié)調(diào)。

    完整的一個算力網(wǎng)絡(luò)調(diào)度集中式方案的架構(gòu),如圖2所示。

    圖2 算力網(wǎng)絡(luò)集中式方案架構(gòu)

    算力網(wǎng)絡(luò)管理編排系統(tǒng)的主要模塊功能如下。

    (1)需求解析模塊。分析用戶業(yè)務(wù)需求,將用戶業(yè)務(wù)需求轉(zhuǎn)化為算力資源需求,根據(jù)算力需求劃分業(yè)務(wù)等級,以確定業(yè)務(wù)的部署位置、所需資源大小等信息。

    (2)算法選擇模塊。根據(jù)用戶的業(yè)務(wù)類型和需求解析模塊的結(jié)果,在賦能平臺中為用戶選擇合適的部署算法,確定用戶業(yè)務(wù)部署的規(guī)格。

    (3)應(yīng)用部署模塊。根據(jù)算法選擇模塊的結(jié)果,將用戶業(yè)務(wù)部署到指定的算力節(jié)點中。

    (4)算力調(diào)度模塊。管理核心云和邊緣云的算力資源,根據(jù)業(yè)務(wù)需求為用戶分配相應(yīng)的計算、存儲、網(wǎng)絡(luò)資源,并根據(jù)策略對業(yè)務(wù)部署位置、業(yè)務(wù)算力進行彈性調(diào)整。

    (5)網(wǎng)絡(luò)調(diào)度模塊。管理用戶、邊緣云、核心云的網(wǎng)絡(luò),在用戶業(yè)務(wù)部署或調(diào)整之后,配置用戶到業(yè)務(wù)處理節(jié)點之間的網(wǎng)絡(luò),將用戶流量路由到處理節(jié)點。

    在上述功能模塊中,部分功能可以借助現(xiàn)有的技術(shù)進行實現(xiàn),如算法選擇模塊使用大數(shù)據(jù)分析技術(shù),應(yīng)用部署模塊借助邊緣計算管控平臺,算力調(diào)度模塊使用NFVO,網(wǎng)絡(luò)調(diào)度模塊使用SDN 控制器等。

    需求分析模塊則需要根據(jù)服務(wù)的用戶類型進行設(shè)計,形成標準化的模板,用戶根據(jù)自身業(yè)務(wù)規(guī)模提出不同的需求,算力網(wǎng)絡(luò)管理編排系統(tǒng)將業(yè)務(wù)需求轉(zhuǎn)化為具體的算力資源調(diào)度方案,并為用戶分配合適的基礎(chǔ)資源。

    可通過將已實現(xiàn)的南向接口協(xié)議(如Netconf、Openflow等)進行增強來實現(xiàn)集中式的算力網(wǎng)絡(luò)編排管理系統(tǒng)。

    4.3 集中式方案工作流程

    集中式的算力網(wǎng)絡(luò)方案主要工作流程如下。

    (1)算力網(wǎng)絡(luò)編排管理系統(tǒng)與所有資源及網(wǎng)絡(luò)節(jié)點建立控制連接,資源結(jié)點和網(wǎng)絡(luò)節(jié)點將自身的計算、網(wǎng)絡(luò)等資源信息通過控制連接上報給算力網(wǎng)絡(luò)編排管理系統(tǒng)。

    (2)算力網(wǎng)絡(luò)編排管理系統(tǒng)將獲得的信息進行處理,得到一張總體資源視圖。

    (3)當用戶向算力網(wǎng)絡(luò)編排管理系統(tǒng)發(fā)送其資源需求(或通過需求分析模塊得到用戶的需求),算力網(wǎng)絡(luò)編排管理系統(tǒng)將根據(jù)用戶的需求將滿足需求的方案返回給用戶供用戶進行選擇(或根據(jù)用戶的需求及資源視圖主動為用戶選擇最佳的方案)。

    (4)用戶在進行選擇之后,將選擇之后的結(jié)果發(fā)送給算力網(wǎng)絡(luò)編排管理系統(tǒng)(或算力網(wǎng)絡(luò)編排管理系統(tǒng)為用戶選擇最佳方案后),算力網(wǎng)絡(luò)編排管理系統(tǒng)通過控制連接告知資源節(jié)點和用戶并對網(wǎng)絡(luò)節(jié)點進行業(yè)務(wù)配置,建立用戶和資源節(jié)點之間的通路。

    詳細工作流程如圖3 所示。

    圖3 算力網(wǎng)絡(luò)集中式方案工作流程

    4.4 集中式方案應(yīng)用案例

    4.4.1 應(yīng)用場景方案

    A 市邊緣云算力不足無法及時擴容,不能滿足A 市業(yè)務(wù)發(fā)展需求,而傳統(tǒng)資源擴容方案從方案招標、設(shè)備采購、設(shè)備上架、設(shè)備部署,整個資源擴容周期按月計算,嚴重拖延了業(yè)務(wù)發(fā)展速度。通過云調(diào)網(wǎng)應(yīng)用場景,在B 市邊緣云分配算力承載A 市新發(fā)展業(yè)務(wù),通過算力網(wǎng)絡(luò)調(diào)度編排系統(tǒng)能力,支持城域網(wǎng)邊緣云資源一體化管理,實現(xiàn)省市跨域資源的共享,按需高效提供彈性資源;支持“視頻監(jiān)控”應(yīng)用云網(wǎng)資源的自動化開通與自適應(yīng)調(diào)度。

    4.4.2 應(yīng)用調(diào)度流程

    集中式方案應(yīng)用調(diào)度流程如圖4 所示。

    圖4 應(yīng)用調(diào)度流程

    4.4.3 算力網(wǎng)絡(luò)調(diào)度配置方法

    (1)網(wǎng)絡(luò)調(diào)度:在B 地市資源分配完成后,協(xié)同調(diào)度多云管配置云上交換機,新增MSE 鏈路子接口,配置子接口地址,配置A 地網(wǎng)段靜態(tài)路由指向MSE 側(cè)對接地址;調(diào)度SDN 控制器 新增VPN,新增上云鏈路子接口加入VPN,配置鏈路子接口地址,配置云上新增資源網(wǎng)段靜態(tài)路由指向云上交換機;協(xié)同SDN 控制器配置A、B 兩地網(wǎng)PE,配置EVPN(以太網(wǎng)虛擬專用網(wǎng))打通A 地視頻接入VPN 與B 地新增VPN。

    在協(xié)同云網(wǎng)管和sdn 控制器之前,需要為業(yè)務(wù)分配網(wǎng)絡(luò)資源,網(wǎng)絡(luò)資源是用于網(wǎng)絡(luò)編排的與底層網(wǎng)絡(luò)部署有關(guān)的、不可共享的網(wǎng)絡(luò)參數(shù)。資源又分為邊緣云資源和城域網(wǎng)資源,邊緣云資源的管理以資源池為單位,一個資源池管理在邊緣云范圍內(nèi)不可共享的特定類型資源。例如,在同一對視頻云網(wǎng)接入MSE 與邊緣云交換機之間的相同物理線路上,為了隔離兩個不同VPN 的流量,需要為兩個VPN 分配不同的VlanId。

    城域網(wǎng)資源以地市城域網(wǎng)為單位,主要有VPN 網(wǎng)號,VPN 網(wǎng)號是專線組網(wǎng)的關(guān)鍵參數(shù),不同VPN 不重復(fù),vpn的RD(路由標識)/RT(網(wǎng)絡(luò)路由目標)以及EVPN 的RD/RT 均基于VPN 網(wǎng)號按規(guī)則生成。

    RT/RD 分配規(guī)則如下。

    ①全網(wǎng)狀組網(wǎng)RD/RT 分配規(guī)則:

    (a)RD 格式:AS 號:VPN 網(wǎng)號;

    (b)ExportRT 格式:AS 號:VPN 網(wǎng)號+00

    (c)ImportRT 格式:AS 號:VPN 網(wǎng)號+00

    ② 星型組網(wǎng)RD/RT 分配規(guī)則:

    中心點:

    (a)RD 格式:AS 號:VPN 網(wǎng)號+00;

    (b)ExportRT 格式:AS 號:VPN 網(wǎng)號+01

    (c)ImportRT 格式:AS 號:VPN 網(wǎng)號+00

    非中心點:

    (a)RD 格式:AS 號:VPN 網(wǎng)號+01;

    (b)ExportRT 格式:AS 號:VPN 網(wǎng)號+00

    (c)ImportRT 格式:AS 號:VPN 網(wǎng)號+01

    本系統(tǒng)的資源管理模塊支持上述的資源分配與回收邏輯。支持的資源類型包括:VlanId、VPN 網(wǎng)號、IP、通用數(shù)值??筛鶕?jù)業(yè)務(wù)管理的需要新增、刪除、修改,并可設(shè)置每個資源池中的可用資源范圍。

    (2)算力資源調(diào)度:算網(wǎng)編排管理平臺根據(jù)業(yè)務(wù)容量需求轉(zhuǎn)換為算力、內(nèi)存及存儲能力需求。在換算之前首先需確認業(yè)務(wù)需求數(shù)量,人工觸發(fā)場景直接選取應(yīng)用管理員輸入的業(yè)務(wù)需求數(shù)量;自動觸發(fā)場景按應(yīng)用現(xiàn)有業(yè)務(wù)容量的10%計算業(yè)務(wù)需求數(shù)量。

    各地市邊緣云節(jié)點服務(wù)器配置不等,同一地市也有提供多種配置的服務(wù)器,有物理機、虛機,云化物理服務(wù)器配置的cpu 型號也不同;各地市的存儲也有不同;面對網(wǎng)絡(luò)中分布的各種異構(gòu)資源,需要實現(xiàn)計算能力資源的抽象表示。

    本應(yīng)用案例按分配的網(wǎng)絡(luò)資源協(xié)同控制器向資源管理服務(wù)器打通A、B 兩個邊緣云節(jié)點之間的網(wǎng)絡(luò),實現(xiàn)集中式方案的算力網(wǎng)絡(luò)互調(diào)。

    4.4.4 實驗效果

    “視頻監(jiān)控”應(yīng)用經(jīng)過集中式方案部署,基于算力網(wǎng)絡(luò)編排管理平臺,實現(xiàn)了應(yīng)用從的A 市節(jié)點到B 市節(jié)點的分鐘級調(diào)度拉起;解決了邊緣云資源忙閑不均的問題,提升整體使用效率,通過CT 資源降低IT 擴容成本;實現(xiàn)對云網(wǎng)業(yè)務(wù)及網(wǎng)絡(luò)的實時質(zhì)量的指標體系的全面掌控。實驗結(jié)果數(shù)據(jù)如表1 所示。

    表1 “視頻監(jiān)控”應(yīng)用集中式調(diào)度測試結(jié)果

    5 結(jié)束語

    在5G 高速發(fā)展的當今時代,高速率和低時延是網(wǎng)絡(luò)的主要技術(shù)特征,無線接入的分量越來越重,促進了移動邊緣計算的發(fā)展,使業(yè)務(wù)的產(chǎn)生、處理和應(yīng)用都可以在本地完成,而不再僅僅依靠遙遠的集中單元,在未來網(wǎng)絡(luò)應(yīng)用中,接入側(cè)的影響也會越來越深遠,業(yè)務(wù)應(yīng)用的速率和時延要求會越來越高,移動邊緣計算的作用也會更加凸顯,算力網(wǎng)絡(luò)架構(gòu)將會以網(wǎng)絡(luò)與計算的深度融合為引擎,集中式技術(shù)方案集成了算力信息與算力策略的新型網(wǎng)絡(luò)編排調(diào)度系統(tǒng),基于中心化管理編排系統(tǒng)進行狀態(tài)同步、同步代價相對較小,在運營商網(wǎng)絡(luò)等較大規(guī)模網(wǎng)絡(luò)應(yīng)用中效率更高,能有效實現(xiàn)全頻域、全場景、全業(yè)務(wù)的靈活適配與資源協(xié)同,最終實現(xiàn)一體化的算力網(wǎng)絡(luò)架構(gòu)目標,為邊緣云網(wǎng)應(yīng)用的百花齊放提供穩(wěn)定、靈活的底座。

    猜你喜歡
    集中式算力路由
    多方求解智能時代算力挑戰(zhàn)
    新華月報(2024年7期)2024-04-08 02:10:56
    這個第二不一般
    都市人(2023年11期)2024-01-12 05:55:06
    衛(wèi)星通信在算力網(wǎng)絡(luò)中的應(yīng)用研究
    中國電信董事長柯瑞文:算力成為數(shù)字經(jīng)濟的主要生產(chǎn)力
    探究路由與環(huán)路的問題
    光伏:分布式新增裝機規(guī)模首次超越集中式
    能源(2018年8期)2018-09-21 07:57:16
    組串式、集中式逆變器的評估選定淺析
    電子測試(2017年23期)2017-04-04 05:07:46
    接觸網(wǎng)隔離開關(guān)集中式控制方案研究
    電氣化鐵道(2016年5期)2016-04-16 05:59:55
    光伏集中式逆變器與組串式逆變器
    PRIME和G3-PLC路由機制對比
    久久精品综合一区二区三区| 成熟少妇高潮喷水视频| 日本黄大片高清| 亚洲精品乱码久久久v下载方式| 美女xxoo啪啪120秒动态图| 午夜福利18| 精品福利观看| 乱码一卡2卡4卡精品| 国产成人影院久久av| 亚州av有码| 小说图片视频综合网站| 国产成人一区二区在线| 看片在线看免费视频| 亚洲av电影不卡..在线观看| 欧美丝袜亚洲另类 | 欧美黑人巨大hd| 美女高潮喷水抽搐中文字幕| 国产精品福利在线免费观看| 亚洲av二区三区四区| 亚洲欧美日韩高清在线视频| 精品日产1卡2卡| 成年女人毛片免费观看观看9| 日本一二三区视频观看| 偷拍熟女少妇极品色| 国产国拍精品亚洲av在线观看| 18禁黄网站禁片免费观看直播| 日本成人三级电影网站| 久久久久国产精品人妻aⅴ院| 国产在视频线在精品| 欧美极品一区二区三区四区| 简卡轻食公司| 久久午夜福利片| 国产精品女同一区二区软件 | 久久天躁狠狠躁夜夜2o2o| 久久久久久大精品| 男女下面进入的视频免费午夜| 18禁黄网站禁片免费观看直播| 12—13女人毛片做爰片一| 三级国产精品欧美在线观看| 69人妻影院| 婷婷色综合大香蕉| 又紧又爽又黄一区二区| 欧美日韩国产亚洲二区| 国产精品不卡视频一区二区| 免费在线观看日本一区| 老师上课跳d突然被开到最大视频| 亚洲av电影不卡..在线观看| 久久精品国产亚洲网站| 久久久国产成人免费| 美女xxoo啪啪120秒动态图| 国内揄拍国产精品人妻在线| 男人舔奶头视频| 成年女人看的毛片在线观看| 亚洲国产精品合色在线| 搞女人的毛片| 亚洲精华国产精华液的使用体验 | 99久久久亚洲精品蜜臀av| 国产在线男女| 精品午夜福利视频在线观看一区| 成人av在线播放网站| 校园人妻丝袜中文字幕| 深夜精品福利| 五月伊人婷婷丁香| 久久精品人妻少妇| 在线a可以看的网站| 欧美另类亚洲清纯唯美| 国产成人av教育| 亚洲欧美清纯卡通| 久久亚洲真实| 成年女人永久免费观看视频| 国产免费av片在线观看野外av| 亚洲av中文av极速乱 | 亚洲无线在线观看| 亚洲av.av天堂| 亚洲精品日韩av片在线观看| 国产高清视频在线播放一区| 国产精品亚洲一级av第二区| 免费看光身美女| 午夜免费男女啪啪视频观看 | bbb黄色大片| 免费大片18禁| 在线免费观看的www视频| 一级a爱片免费观看的视频| 久久欧美精品欧美久久欧美| 动漫黄色视频在线观看| 亚洲色图av天堂| 午夜视频国产福利| 中文在线观看免费www的网站| 亚洲图色成人| 能在线免费观看的黄片| 中亚洲国语对白在线视频| 琪琪午夜伦伦电影理论片6080| 99热网站在线观看| 国产精品久久久久久精品电影| 婷婷色综合大香蕉| 欧美日本亚洲视频在线播放| av在线观看视频网站免费| 成人毛片a级毛片在线播放| 特级一级黄色大片| 赤兔流量卡办理| 啦啦啦韩国在线观看视频| 黄色欧美视频在线观看| 天堂影院成人在线观看| 桃色一区二区三区在线观看| 最近在线观看免费完整版| 亚洲国产精品成人综合色| 亚洲精品色激情综合| 婷婷六月久久综合丁香| 国产真实伦视频高清在线观看 | 亚洲精品国产成人久久av| www.色视频.com| 色综合亚洲欧美另类图片| 国产精品av视频在线免费观看| 色噜噜av男人的天堂激情| 91av网一区二区| 九九久久精品国产亚洲av麻豆| 久久精品国产自在天天线| 搡女人真爽免费视频火全软件 | 国产精品久久久久久久久免| 干丝袜人妻中文字幕| 97超级碰碰碰精品色视频在线观看| 久久久久国内视频| 成人无遮挡网站| 欧美性感艳星| 亚洲熟妇熟女久久| 亚洲国产欧洲综合997久久,| .国产精品久久| 天堂av国产一区二区熟女人妻| 国产精品一区二区免费欧美| 精品久久久久久久久久久久久| 亚洲人成网站在线播| 欧美成人免费av一区二区三区| 国产69精品久久久久777片| 97超级碰碰碰精品色视频在线观看| 99久国产av精品| av女优亚洲男人天堂| 成人无遮挡网站| 午夜福利在线观看吧| 最近最新免费中文字幕在线| 校园人妻丝袜中文字幕| 国产精品爽爽va在线观看网站| 噜噜噜噜噜久久久久久91| 国国产精品蜜臀av免费| 欧美日韩中文字幕国产精品一区二区三区| 亚洲av免费在线观看| 国产欧美日韩精品亚洲av| 亚洲精品粉嫩美女一区| 天堂动漫精品| 深爱激情五月婷婷| 欧美日韩乱码在线| 69人妻影院| 国产精品久久久久久av不卡| 嫁个100分男人电影在线观看| www.www免费av| av女优亚洲男人天堂| 国产视频内射| 老女人水多毛片| 成人永久免费在线观看视频| 少妇高潮的动态图| 麻豆久久精品国产亚洲av| 男人舔奶头视频| 欧美bdsm另类| 久久久久久久久久黄片| 高清日韩中文字幕在线| 亚洲18禁久久av| 亚洲真实伦在线观看| 99久久久亚洲精品蜜臀av| av在线蜜桃| 22中文网久久字幕| 日本色播在线视频| 深夜精品福利| 亚洲无线在线观看| 欧美色视频一区免费| 91麻豆av在线| 日韩一区二区视频免费看| 亚洲无线观看免费| 免费无遮挡裸体视频| av天堂中文字幕网| 精品一区二区三区视频在线观看免费| 成人特级黄色片久久久久久久| 午夜福利在线观看免费完整高清在 | 亚洲成a人片在线一区二区| 国产精品一区www在线观看 | av福利片在线观看| 精品一区二区三区视频在线观看免费| 身体一侧抽搐| 亚洲精品亚洲一区二区| 午夜影院日韩av| 黄片wwwwww| 国产伦精品一区二区三区视频9| 草草在线视频免费看| 国产蜜桃级精品一区二区三区| 色吧在线观看| 色哟哟·www| 免费观看人在逋| 色播亚洲综合网| 天天躁日日操中文字幕| 一本久久中文字幕| 18禁黄网站禁片午夜丰满| 日本撒尿小便嘘嘘汇集6| 性欧美人与动物交配| 欧美另类亚洲清纯唯美| 午夜久久久久精精品| 国产探花在线观看一区二区| 伦精品一区二区三区| 国产精品98久久久久久宅男小说| 永久网站在线| 国产高潮美女av| 欧美又色又爽又黄视频| 日韩一本色道免费dvd| 午夜福利欧美成人| 国产欧美日韩精品亚洲av| 亚洲精品粉嫩美女一区| 国内毛片毛片毛片毛片毛片| 少妇猛男粗大的猛烈进出视频 | 欧美色视频一区免费| 久久久国产成人精品二区| 色视频www国产| 久久人妻av系列| 欧美潮喷喷水| 看黄色毛片网站| 婷婷精品国产亚洲av| 国产一级毛片七仙女欲春2| 日韩中字成人| 一边摸一边抽搐一进一小说| 亚洲熟妇熟女久久| 国产蜜桃级精品一区二区三区| 丰满乱子伦码专区| 亚洲国产精品成人综合色| 男人的好看免费观看在线视频| 国产精品一区www在线观看 | 91久久精品电影网| 少妇丰满av| 我要看日韩黄色一级片| 午夜福利在线观看吧| 桃红色精品国产亚洲av| 国产成人av教育| 日本黄色片子视频| 淫妇啪啪啪对白视频| 亚洲国产精品合色在线| 午夜福利高清视频| 男女做爰动态图高潮gif福利片| 九九热线精品视视频播放| 亚洲精品久久国产高清桃花| 国产日本99.免费观看| 国产成人a区在线观看| 天天一区二区日本电影三级| 九九在线视频观看精品| 久久精品人妻少妇| 久久久久久久久久黄片| 狠狠狠狠99中文字幕| 午夜爱爱视频在线播放| 久久精品国产鲁丝片午夜精品 | 欧美bdsm另类| 变态另类丝袜制服| 少妇裸体淫交视频免费看高清| 精品久久久久久久末码| 非洲黑人性xxxx精品又粗又长| 99久久成人亚洲精品观看| 成人精品一区二区免费| 变态另类成人亚洲欧美熟女| 亚洲精品亚洲一区二区| 香蕉av资源在线| 天美传媒精品一区二区| 人妻少妇偷人精品九色| 女人被狂操c到高潮| 国产又黄又爽又无遮挡在线| 久久99热6这里只有精品| 欧美高清性xxxxhd video| 国产视频内射| 91麻豆av在线| 国产在线男女| 亚洲人成网站在线播放欧美日韩| 99国产极品粉嫩在线观看| 亚洲av.av天堂| 国产黄色小视频在线观看| 一进一出抽搐动态| 国产精品久久电影中文字幕| 亚洲中文日韩欧美视频| 欧美区成人在线视频| 免费看a级黄色片| 国产亚洲91精品色在线| 成人午夜高清在线视频| 久久久久性生活片| 中文在线观看免费www的网站| 日日摸夜夜添夜夜添av毛片 | 国产高清有码在线观看视频| 国产成人av教育| 亚洲在线观看片| 亚洲av五月六月丁香网| 午夜福利高清视频| 日日撸夜夜添| 91在线精品国自产拍蜜月| 18禁黄网站禁片午夜丰满| av在线老鸭窝| 亚洲av二区三区四区| 国产三级在线视频| 国产成人福利小说| 亚洲最大成人手机在线| 一卡2卡三卡四卡精品乱码亚洲| 亚洲中文日韩欧美视频| 国产女主播在线喷水免费视频网站 | 国产黄a三级三级三级人| 一个人观看的视频www高清免费观看| 午夜激情欧美在线| 国产aⅴ精品一区二区三区波| 久久久久国产精品人妻aⅴ院| 久久热精品热| 日日撸夜夜添| 精品久久久久久久末码| 精品日产1卡2卡| 国产精品亚洲美女久久久| a级毛片a级免费在线| 亚洲国产精品成人综合色| 欧美3d第一页| 国产成人一区二区在线| 国产三级在线视频| 舔av片在线| 麻豆av噜噜一区二区三区| 搡老熟女国产l中国老女人| 国内少妇人妻偷人精品xxx网站| 香蕉av资源在线| 91久久精品国产一区二区成人| 亚洲欧美激情综合另类| 黄色欧美视频在线观看| 亚洲人成网站在线播放欧美日韩| 午夜a级毛片| 91在线精品国自产拍蜜月| 韩国av在线不卡| 18+在线观看网站| 又粗又爽又猛毛片免费看| 丰满人妻一区二区三区视频av| 狠狠狠狠99中文字幕| 国产69精品久久久久777片| 免费人成视频x8x8入口观看| 国产视频内射| 午夜精品一区二区三区免费看| 国内精品美女久久久久久| 99热只有精品国产| 国产真实乱freesex| av专区在线播放| 国产精品久久久久久亚洲av鲁大| 深爱激情五月婷婷| 久久精品国产99精品国产亚洲性色| 尾随美女入室| av在线观看视频网站免费| 久久久久久大精品| 亚洲成a人片在线一区二区| 中国美白少妇内射xxxbb| 日韩欧美国产一区二区入口| 欧美性猛交黑人性爽| 成年免费大片在线观看| 91在线观看av| 免费看a级黄色片| 国内毛片毛片毛片毛片毛片| 在线看三级毛片| 不卡视频在线观看欧美| 日本五十路高清| 欧美一区二区亚洲| 久久草成人影院| 亚洲av二区三区四区| 亚洲综合色惰| 18禁裸乳无遮挡免费网站照片| 校园春色视频在线观看| 欧美区成人在线视频| 有码 亚洲区| 成年免费大片在线观看| 成人高潮视频无遮挡免费网站| 亚洲美女视频黄频| 男插女下体视频免费在线播放| 亚洲av电影不卡..在线观看| 网址你懂的国产日韩在线| 在线免费观看的www视频| 亚洲av免费高清在线观看| 精品国内亚洲2022精品成人| 99久久久亚洲精品蜜臀av| 国产亚洲91精品色在线| 99精品久久久久人妻精品| 天堂av国产一区二区熟女人妻| 国产av在哪里看| а√天堂www在线а√下载| 欧美高清性xxxxhd video| 亚洲中文字幕日韩| 成年女人永久免费观看视频| 成人鲁丝片一二三区免费| 亚洲色图av天堂| 欧美黑人欧美精品刺激| 可以在线观看的亚洲视频| 色综合婷婷激情| 成人国产一区最新在线观看| 亚洲狠狠婷婷综合久久图片| 老司机福利观看| 变态另类成人亚洲欧美熟女| 国产亚洲91精品色在线| 乱系列少妇在线播放| 精品久久久久久久人妻蜜臀av| 一区二区三区高清视频在线| 少妇丰满av| 国产成人影院久久av| 精品久久久久久久人妻蜜臀av| netflix在线观看网站| 亚洲电影在线观看av| 少妇的逼好多水| 干丝袜人妻中文字幕| h日本视频在线播放| 天堂√8在线中文| 久久精品国产亚洲网站| 成人高潮视频无遮挡免费网站| 在线免费观看的www视频| 日韩 亚洲 欧美在线| 亚洲av五月六月丁香网| 国产成年人精品一区二区| 久久99热6这里只有精品| 国产精品1区2区在线观看.| 日韩欧美三级三区| 国产视频内射| 动漫黄色视频在线观看| 九九热线精品视视频播放| 成人亚洲精品av一区二区| 夜夜看夜夜爽夜夜摸| 欧美日韩乱码在线| 国产大屁股一区二区在线视频| 人妻夜夜爽99麻豆av| 久久久精品欧美日韩精品| 亚洲人成网站在线播| 一区二区三区高清视频在线| 69人妻影院| 99热这里只有是精品50| 少妇人妻一区二区三区视频| 国产精品久久久久久av不卡| 国产av麻豆久久久久久久| av在线观看视频网站免费| 精品久久久久久久末码| 美女被艹到高潮喷水动态| 亚洲乱码一区二区免费版| 高清毛片免费观看视频网站| 亚洲国产日韩欧美精品在线观看| 久久久久久伊人网av| 国产亚洲欧美98| 一区二区三区激情视频| 听说在线观看完整版免费高清| 欧美3d第一页| 亚洲电影在线观看av| 欧美性感艳星| 天堂网av新在线| 亚洲乱码一区二区免费版| 午夜精品久久久久久毛片777| 直男gayav资源| 深夜a级毛片| 午夜福利视频1000在线观看| 白带黄色成豆腐渣| 久久精品影院6| 成人美女网站在线观看视频| 九九久久精品国产亚洲av麻豆| 久久99热6这里只有精品| 一级黄色大片毛片| 女人十人毛片免费观看3o分钟| 国产亚洲精品av在线| 欧美性猛交黑人性爽| 女人被狂操c到高潮| 两个人的视频大全免费| 午夜福利在线观看吧| 中文字幕久久专区| 他把我摸到了高潮在线观看| 麻豆精品久久久久久蜜桃| 九九在线视频观看精品| 亚洲av一区综合| a级一级毛片免费在线观看| 热99在线观看视频| 欧美3d第一页| 日本黄色视频三级网站网址| 我要搜黄色片| 免费在线观看日本一区| 欧美日本亚洲视频在线播放| av女优亚洲男人天堂| 在线a可以看的网站| 亚洲无线在线观看| 最近最新中文字幕大全电影3| 精品久久久久久久久久久久久| 国产精品爽爽va在线观看网站| 中文字幕人妻熟人妻熟丝袜美| 动漫黄色视频在线观看| av在线天堂中文字幕| 黄色欧美视频在线观看| 久久精品影院6| 日韩大尺度精品在线看网址| 国产亚洲91精品色在线| 中文字幕久久专区| 色哟哟·www| 人人妻人人看人人澡| 成年女人永久免费观看视频| 国产欧美日韩精品一区二区| 婷婷六月久久综合丁香| 久久久国产成人免费| 亚洲最大成人中文| 久久精品影院6| 亚洲男人的天堂狠狠| ponron亚洲| 色播亚洲综合网| 免费人成在线观看视频色| 日韩精品有码人妻一区| 中文字幕精品亚洲无线码一区| av福利片在线观看| 免费看美女性在线毛片视频| 国产精品一区二区免费欧美| 久久精品久久久久久噜噜老黄 | 麻豆成人午夜福利视频| 色哟哟哟哟哟哟| 欧美色视频一区免费| 国产白丝娇喘喷水9色精品| 丝袜美腿在线中文| 免费无遮挡裸体视频| 嫩草影院入口| 在线天堂最新版资源| a在线观看视频网站| 国产黄片美女视频| 女人十人毛片免费观看3o分钟| 国产精品不卡视频一区二区| 国产伦人伦偷精品视频| 欧美+日韩+精品| 制服丝袜大香蕉在线| 日韩国内少妇激情av| 国产精品女同一区二区软件 | 亚洲最大成人av| 免费观看精品视频网站| 国产高清视频在线观看网站| 尤物成人国产欧美一区二区三区| 午夜a级毛片| 国产精品永久免费网站| 国产91精品成人一区二区三区| 天堂影院成人在线观看| 国产伦精品一区二区三区视频9| 别揉我奶头 嗯啊视频| 久久精品夜夜夜夜夜久久蜜豆| 午夜激情福利司机影院| 精品人妻偷拍中文字幕| 在现免费观看毛片| 国产亚洲精品久久久久久毛片| 欧美激情在线99| 国产精品乱码一区二三区的特点| 露出奶头的视频| 欧美潮喷喷水| 深夜精品福利| 久久人妻av系列| 99热网站在线观看| 日韩欧美在线二视频| 97人妻精品一区二区三区麻豆| 非洲黑人性xxxx精品又粗又长| 又黄又爽又免费观看的视频| 日韩欧美免费精品| 亚洲精华国产精华液的使用体验 | 精品久久久久久久久久免费视频| 一区福利在线观看| 精品日产1卡2卡| 国产真实伦视频高清在线观看 | 人妻夜夜爽99麻豆av| 一本久久中文字幕| 国产黄片美女视频| 女人十人毛片免费观看3o分钟| 国产伦在线观看视频一区| 成人特级av手机在线观看| 中文字幕久久专区| 日本精品一区二区三区蜜桃| 精品人妻一区二区三区麻豆 | 亚洲,欧美,日韩| 亚洲av日韩精品久久久久久密| 成人欧美大片| 久久人人爽人人爽人人片va| 真实男女啪啪啪动态图| 91麻豆精品激情在线观看国产| 亚洲图色成人| 精品国产三级普通话版| 亚洲不卡免费看| 最新中文字幕久久久久| 人妻久久中文字幕网| 一a级毛片在线观看| 欧美成人免费av一区二区三区| 少妇人妻一区二区三区视频| 麻豆精品久久久久久蜜桃| 国产av在哪里看| 国产视频内射| 亚洲欧美日韩无卡精品| 久久草成人影院| 亚洲精品日韩av片在线观看| 亚洲欧美精品综合久久99| 久久国产乱子免费精品| 免费看日本二区| 精华霜和精华液先用哪个| 蜜桃亚洲精品一区二区三区| 最好的美女福利视频网| 两人在一起打扑克的视频| 亚洲精品一区av在线观看| 桃色一区二区三区在线观看| 久久人人精品亚洲av| 两人在一起打扑克的视频| 国产真实伦视频高清在线观看 | 久久久久久九九精品二区国产| 简卡轻食公司| 久久热精品热| 亚洲人成伊人成综合网2020| 亚洲精品在线观看二区| 国产日本99.免费观看| 深夜a级毛片| 如何舔出高潮| 九九久久精品国产亚洲av麻豆| 高清在线国产一区| 色吧在线观看| 99热这里只有是精品50| 波多野结衣高清作品| 免费人成在线观看视频色| 国产一区二区亚洲精品在线观看| 精品久久久久久久人妻蜜臀av| 日韩强制内射视频| 国产免费男女视频| 亚洲aⅴ乱码一区二区在线播放|