• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云數(shù)據(jù)中心的SDN解決方案

    2018-07-23 07:18:40鐘翠王蕾羅興
    電信科學(xué) 2018年7期
    關(guān)鍵詞:網(wǎng)絡(luò)設(shè)備網(wǎng)絡(luò)資源虛擬化

    鐘翠,王蕾,羅興

    ?

    云數(shù)據(jù)中心的SDN解決方案

    鐘翠,王蕾,羅興

    (華為技術(shù)有限公司,廣東 深圳 518129)

    SDN的設(shè)計(jì)理念是對(duì)網(wǎng)絡(luò)資源進(jìn)行池化管理,自動(dòng)化實(shí)現(xiàn)網(wǎng)絡(luò)資源的按需申請(qǐng)和調(diào)用,加速數(shù)據(jù)中心業(yè)務(wù)的上線周期。首先介紹了數(shù)據(jù)中心SDN的核心思想和SDN開放架構(gòu)全景圖,然后介紹了SDN網(wǎng)絡(luò)模型和SDN業(yè)務(wù)部署方案,最后闡述了華為CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案。

    SDN;數(shù)據(jù)中心;自動(dòng)化

    1 引言

    傳統(tǒng)數(shù)據(jù)中心業(yè)務(wù)上線主要是通過人力操作繁雜的命令行模式,但隨著云計(jì)算的發(fā)展,數(shù)據(jù)中心網(wǎng)絡(luò)在過去幾年有了翻天覆地的變化。網(wǎng)絡(luò)帶寬從吉比特演進(jìn)到10萬兆,接入端口數(shù)量從幾百臺(tái)增長至幾萬臺(tái),大型數(shù)據(jù)中心的服務(wù)器數(shù)量甚至超過了8萬臺(tái),假定每臺(tái)服務(wù)部署20臺(tái)虛擬機(jī),面對(duì)互聯(lián)網(wǎng)新業(yè)務(wù)的快速上線和迭代訴求,數(shù)據(jù)中心網(wǎng)絡(luò)管理員應(yīng)對(duì)百萬虛擬機(jī)的上線和變更需求,將會(huì)是一個(gè)巨大的挑戰(zhàn)。除此以外,數(shù)據(jù)中心網(wǎng)絡(luò)的管理人員還面臨著各種各樣的難題。

    ?? 數(shù)據(jù)中心網(wǎng)絡(luò)的基礎(chǔ)設(shè)施技術(shù)越來越復(fù)雜,新技術(shù)不斷推陳出新。

    ?? 數(shù)據(jù)中心的業(yè)務(wù)需求經(jīng)常變化,網(wǎng)絡(luò)管理員如何應(yīng)對(duì)?這么多配置如何進(jìn)行調(diào)整?

    ?? 數(shù)據(jù)中心中新服務(wù)越來越多,網(wǎng)絡(luò)如何應(yīng)對(duì)這些部署需求?

    網(wǎng)絡(luò)作為數(shù)據(jù)中心的基礎(chǔ)設(shè)施,本質(zhì)是上層業(yè)務(wù)的支撐系統(tǒng),擁有“快速彈性的架構(gòu)”和一個(gè)“資源池”,可以提供“按需自助服務(wù)”且這些服務(wù)是“可測(cè)量的服務(wù)”,而資源池里的服務(wù)最終是可以被“寬帶接入”訪問,成為新一代數(shù)據(jù)中心IT基礎(chǔ)設(shè)施建設(shè)的一個(gè)普適性需求。

    為了滿足以上訴求,業(yè)界提出了軟件定義數(shù)據(jù)中心的概念和方法,將IT基礎(chǔ)設(shè)施資源變成服務(wù)對(duì)象,通過虛擬化方式進(jìn)行抽象,通過自動(dòng)化的流程和軟件方式提供服務(wù)。SDN(software defined networking,軟件定義網(wǎng)絡(luò))技術(shù)的出現(xiàn)適應(yīng)了網(wǎng)絡(luò)IT化、設(shè)備資源池化和架構(gòu)標(biāo)準(zhǔn)化的趨勢(shì)。

    2 數(shù)據(jù)中心SDN核心思想

    SDN的最終目標(biāo)是服務(wù)于多樣化的業(yè)務(wù)應(yīng)用創(chuàng)新,通過開放架構(gòu),北向?yàn)樯蠈訕I(yè)務(wù)提供了豐富的北向API,基于可視化應(yīng)用模型,讓租戶以應(yīng)用視角定義網(wǎng)絡(luò)訴求。通過核心組件自我驅(qū)動(dòng)將應(yīng)用模型自動(dòng)翻譯為網(wǎng)絡(luò)配置,按需進(jìn)行網(wǎng)絡(luò)資源申請(qǐng)和配置,靈活調(diào)用底層網(wǎng)絡(luò)能力,屏蔽底層物理轉(zhuǎn)發(fā)設(shè)備的差異,將底層的物理資源池化共享,實(shí)時(shí)、按需、動(dòng)態(tài)地分配給不同租戶的不同應(yīng)用。

    3 SDN開放架構(gòu)全景圖

    與傳統(tǒng)網(wǎng)絡(luò)不同,SDN架構(gòu)模型如圖1所示,既要理解業(yè)務(wù)對(duì)網(wǎng)絡(luò)的要求,通過業(yè)務(wù)意圖的編排和理解將其映射為抽象的網(wǎng)絡(luò)模型;同時(shí)將映射后的抽象網(wǎng)絡(luò)模型翻譯成各網(wǎng)元可以理解的轉(zhuǎn)發(fā)策略,分發(fā)到數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)備上。使得網(wǎng)絡(luò)架構(gòu)基于開放架構(gòu),分層解耦、各司其職,層次間通過標(biāo)準(zhǔn)化接口互聯(lián),滿足SDN開放性、擴(kuò)展性、生態(tài)融合的訴求。

    圖1 SDN架構(gòu)模型

    如果將SDN架構(gòu)比作人體系統(tǒng),那么這個(gè)系統(tǒng)的不同層級(jí)和接口都有其獨(dú)特的定位和作用。

    3.1 SDN的“五官”:業(yè)務(wù)呈現(xiàn)協(xié)同層

    如同人體系統(tǒng)中負(fù)責(zé)與外界溝通交互的五官,業(yè)務(wù)呈現(xiàn)和協(xié)同層是SDN架構(gòu)最上層的交互界面,是SDN對(duì)外顯示信息的通道,主要負(fù)責(zé)理解用戶的業(yè)務(wù)訴求,然后整合數(shù)據(jù)中心內(nèi)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源,通過標(biāo)準(zhǔn)化接口實(shí)現(xiàn)資源協(xié)同配合,完成業(yè)務(wù)編排、自動(dòng)發(fā)放、服務(wù)保障等功能。

    3.2 SDN的“大腦”:網(wǎng)絡(luò)控制器

    網(wǎng)絡(luò)控制層是SDN整體架構(gòu)的“大腦中樞”,起著貫通南北的作用,這一層的展現(xiàn)實(shí)體就是控制器。控制器北向支持RESTful API對(duì)接上述業(yè)務(wù)呈現(xiàn)和協(xié)同組件,南向使用OpenFlow、OVSDB、Netconf等接口實(shí)現(xiàn)虛擬網(wǎng)絡(luò)設(shè)備和傳統(tǒng)物理網(wǎng)絡(luò)設(shè)備,如交換機(jī)、防火墻、負(fù)載均衡器等的統(tǒng)一納管。

    首先,協(xié)同層使用RESTful API按需申請(qǐng)網(wǎng)絡(luò)資源,通過控制器創(chuàng)建邏輯網(wǎng)絡(luò)模型;然后,控制器根據(jù)邏輯網(wǎng)元的屬性和邏輯拓?fù)潢P(guān)系,將模型轉(zhuǎn)換為物理和虛擬網(wǎng)元可以識(shí)別的配置或流表(這種轉(zhuǎn)換過程稱為映射),如圖2所示,下發(fā)到網(wǎng)絡(luò)設(shè)備來開通網(wǎng)絡(luò)業(yè)務(wù)。

    圖2 邏輯到物理網(wǎng)絡(luò)映射關(guān)系

    3.3 SDN的“軀干”:Fabric網(wǎng)絡(luò)

    如同人體的軀干,F(xiàn)abric網(wǎng)絡(luò)(如圖3所示)構(gòu)成了SDN架構(gòu)的主體,是網(wǎng)絡(luò)流量和業(yè)務(wù)的主要承載組件,由骨干節(jié)點(diǎn)交換機(jī)、葉子節(jié)點(diǎn)交換機(jī)、虛擬交換機(jī)及防火墻和負(fù)載均衡器組成。

    圖3 Fabric網(wǎng)絡(luò)

    3.4 SDN的“手足”:虛擬平臺(tái)

    虛擬平臺(tái)層主要由虛擬化服務(wù)器構(gòu)成,是SDN架構(gòu)的邊緣節(jié)點(diǎn),如同人體系統(tǒng)的末端——手足。虛擬化服務(wù)器通常由計(jì)算虛擬化廠商提供。SDN對(duì)虛擬化服務(wù)器主要關(guān)注兩個(gè)方面。

    ? ?將虛擬交換機(jī)vSwitch安裝部署到虛擬化服務(wù)器的Hypervisor中,利用vSwitch軟件靈活性與計(jì)算實(shí)例親和性的優(yōu)勢(shì),滿足數(shù)據(jù)中心用戶越來越多的定制化和安全訴求。

    ? ? 在無云平臺(tái)的虛擬化場(chǎng)景下,控制器同VMM聯(lián)動(dòng)感知計(jì)算實(shí)例上下線和遷移細(xì)節(jié),并為其自動(dòng)化開通網(wǎng)絡(luò);下發(fā)安全策略、流量控制策略,實(shí)現(xiàn)面向應(yīng)用的網(wǎng)絡(luò)自動(dòng)化發(fā)放。

    3.5 SDN的“神經(jīng)”:組件接口

    如同大腦要通過神經(jīng)系統(tǒng)控制全身各處,SDN控制器也需要通過標(biāo)準(zhǔn)接口與各組件進(jìn)行交互。如圖4所示,以控制器為中心,接口分為北向(連接協(xié)同層)、南向(連接Fabric層)和東西向(連接外部組件)接口。

    (1)北向接口

    RESTful API表示層狀態(tài)轉(zhuǎn)換接口,互聯(lián)網(wǎng)軟件架構(gòu)擁有一些明顯的特征:使用URI標(biāo)記資源;利用HTTP的get/post/put等標(biāo)準(zhǔn)接口實(shí)現(xiàn)交互;交互過程中服務(wù)器端不記錄客戶端狀態(tài)?;谏鲜鎏攸c(diǎn),RESTful API非常適合用于海量并發(fā)請(qǐng)求的場(chǎng)景。

    (2)南向接口

    南向連接的網(wǎng)絡(luò)設(shè)備種類繁雜,因此支持的接口也種類繁多。

    Netconf接口:基于CLI接口演化,是一種基于XML語言可批量執(zhí)行的設(shè)備配置接口,主要解決CLI接口安全性差、命令執(zhí)行效率低、無法描述復(fù)雜邏輯關(guān)系的問題,對(duì)物理網(wǎng)絡(luò)設(shè)備范圍內(nèi)兼容性最佳。

    OpenFlow接口:隨SDN理念一起推出,也是轉(zhuǎn)發(fā)型SDN的標(biāo)準(zhǔn)協(xié)議,從2009年至今已經(jīng)發(fā)展到1.4x版本,它通過多級(jí)流表(flow table)的方式支持流量的細(xì)化控制,在新的協(xié)議版本中通過支持組表(group table)實(shí)現(xiàn)了多播功能,同時(shí)支持多控制器并發(fā)連接。

    圖4 開放接口

    OVSDB接口:同開源OVS(open virtual switch)相伴而生。將OVS組件拆開可以看到OVSDB-server模塊,作用是作為中間數(shù)據(jù)庫向控制器和OVS傳遞配置、狀態(tài)信息。當(dāng)控制器有配置需要下發(fā)到OVS時(shí),如mirror、LACP等,利用OVSDB接口向OVSDB-server寫入配置數(shù)據(jù),再由OVS自動(dòng)加載;當(dāng)OVS發(fā)生狀態(tài)、配置變化需要通知控制器時(shí),也將這些變化的信息寫入OVSDB-server數(shù)據(jù)庫,控制器通過讀取數(shù)據(jù)庫數(shù)據(jù)感知OVS的變化,如感知虛擬機(jī)端口上線事件等。

    除此以外,南向接口還包括CLI、SNMP等接口,不再贅述。

    (3)東西接口

    目前東西接口主要是指同VMM平臺(tái)之間的連接關(guān)系,包括兩類接口Java SDK和RPC。

    Java SDK是VMware vCenter面向第三方廠商開放的可編程接口;通過此接口第三方廠商可以感知ESXi虛擬機(jī)上線、下線、遷移等事件;查詢vCenter范圍內(nèi)VM的詳細(xì)信息以及VSS/VDS交換機(jī)部署信息。

    4 SDN的網(wǎng)絡(luò)模型

    隨著IT基礎(chǔ)架構(gòu)云計(jì)算時(shí)代的不斷演進(jìn),虛擬機(jī)數(shù)量呈幾何數(shù)增長,越來越多的虛擬機(jī)交互業(yè)務(wù)需要通過網(wǎng)絡(luò)實(shí)現(xiàn),東西向流量開始取代南北向流量,成為數(shù)據(jù)中心的主流。流量模型的轉(zhuǎn)變?yōu)閿?shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)提出了全新的升級(jí)訴求。傳統(tǒng)3-tier網(wǎng)絡(luò)架構(gòu),導(dǎo)致流量時(shí)延、擁塞,擴(kuò)展性差,亟須扁平化、無阻塞的網(wǎng)絡(luò)架構(gòu)演進(jìn)。起源于大型OTT的spine-leaf(葉脊)網(wǎng)絡(luò)架構(gòu)呼之欲出。與傳統(tǒng)3-tier架構(gòu)相比,spine-leaf通過大二層接入,實(shí)現(xiàn)網(wǎng)絡(luò)中任意兩個(gè)服務(wù)器通過leaf-spine-leaf三跳可達(dá)。spine-leaf通過full-mesh連接,spine和leaf均可支持橫向擴(kuò)容,從而構(gòu)建出了一個(gè)無阻塞、可擴(kuò)容的數(shù)據(jù)中心優(yōu)選組網(wǎng)模型。

    4.1 underlay組網(wǎng)

    傳統(tǒng)Fabric為單層網(wǎng)絡(luò),經(jīng)歷了xSTP、CSS/iStack、M-LAG(multi-chassis link aggregation group,跨設(shè)備鏈路聚合)等多種組網(wǎng)技術(shù)。

    xSTP是最為傳統(tǒng)的Fabric組網(wǎng)技術(shù)。通過設(shè)備控制面運(yùn)行xSTP,在二層環(huán)路中阻塞部分鏈路,將環(huán)狀網(wǎng)絡(luò)拓?fù)溆成錇闃錉顭o環(huán)網(wǎng)絡(luò)拓?fù)?。?dāng)轉(zhuǎn)發(fā)鏈路出現(xiàn)故障時(shí),xSTP將阻塞鏈路打開,恢復(fù)流量轉(zhuǎn)發(fā)。xSTP協(xié)議族歷經(jīng)STP、RSTP、MSTP多次優(yōu)化,目前已經(jīng)發(fā)展得非常穩(wěn)定,在傳統(tǒng)數(shù)據(jù)中心有非常多部署案例。但是由于協(xié)議阻塞了部分鏈路,因此鏈路利用率較低,因此xSTP組網(wǎng)近些年越來越多地被無環(huán)組網(wǎng)技術(shù)替代。

    CSS/iStack是典型的無環(huán)組網(wǎng)技術(shù)。框式交換機(jī)利用CSS特性或者盒式交換機(jī)利用iStack特性可以將同系列的兩臺(tái)或者多臺(tái)物理網(wǎng)絡(luò)設(shè)備虛擬為一臺(tái)邏輯網(wǎng)絡(luò)設(shè)備,邏輯網(wǎng)絡(luò)設(shè)備由邏輯系統(tǒng)主控節(jié)點(diǎn)統(tǒng)一管控。邏輯設(shè)備間互聯(lián),設(shè)備之間的多條鏈路建議配置為聚合鏈路,F(xiàn)abric天然無環(huán),充分發(fā)揮硬件設(shè)備轉(zhuǎn)發(fā)性能優(yōu)勢(shì)。同時(shí)設(shè)備虛擬化后網(wǎng)元數(shù)量減少,簡(jiǎn)化運(yùn)維界面,可有效降低數(shù)據(jù)中心運(yùn)營成本。無環(huán)組網(wǎng)是目前推薦的組網(wǎng)方案。

    伴隨著數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)模急速膨脹,網(wǎng)絡(luò)設(shè)備控制面(一般是指ARP處理)處理能力逐漸無法滿足組網(wǎng)要求,上述CSS/iStack邏輯系統(tǒng)控制面由主控節(jié)點(diǎn)統(tǒng)一管控,承擔(dān)著巨大升級(jí)壓力,如果骨干節(jié)點(diǎn)系統(tǒng)崩潰,將對(duì)數(shù)據(jù)中心業(yè)務(wù)造成嚴(yán)重影響。因此一種新的虛擬化技術(shù)M-LAG應(yīng)運(yùn)而生。

    構(gòu)建M-LAG虛擬邏輯系統(tǒng)的網(wǎng)絡(luò)設(shè)備各自擁有獨(dú)立的控制面,分別處理收到的ARP請(qǐng)求報(bào)文,分擔(dān)組網(wǎng)壓力。M-LAG作為網(wǎng)關(guān)設(shè)備時(shí)部署VRRP,使用阻斷VRRP心跳的方式構(gòu)建VRRP雙主系統(tǒng),實(shí)現(xiàn)本地優(yōu)先轉(zhuǎn)發(fā),既分擔(dān)了控制面壓力,提升設(shè)備級(jí)可靠性又充分利用了設(shè)備帶寬資源。

    4.2 overlay組網(wǎng)

    為了滿足數(shù)據(jù)中心海量虛擬機(jī)帶著IP/MAC(不變)地址遷徙的剛性需求,橫貫整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)或者跨數(shù)據(jù)中心的網(wǎng)絡(luò)大二層需求應(yīng)運(yùn)而生。應(yīng)對(duì)挑戰(zhàn)的理想方案是在傳統(tǒng)單層網(wǎng)絡(luò)基礎(chǔ)上疊加一層邏輯網(wǎng)絡(luò)。overlay網(wǎng)絡(luò)包括物理基礎(chǔ)層(underlay)和邏輯疊加層(overlay)兩個(gè)層次,物理基礎(chǔ)層可以使用underlay的傳統(tǒng)組網(wǎng)技術(shù)部署,只要數(shù)據(jù)中心網(wǎng)絡(luò)上任意兩點(diǎn)路由可達(dá)即可;邏輯疊加層則需滿足大二層及動(dòng)態(tài)化要求。

    overlay網(wǎng)絡(luò)的技術(shù)多種多樣,目前業(yè)界主推的VxLAN是一種基于IP-IP的隧道封裝技術(shù),如圖5所示,在原始報(bào)文的基礎(chǔ)上添加L2/L3/L4(UDP)頭部信息,外層L2信息在轉(zhuǎn)發(fā)過程中逐跳修改封裝,外層L3信息作為隧道標(biāo)識(shí),只在隧道端點(diǎn)封裝/解封裝,外層L4-UDP信息包括一組擴(kuò)展為24 bit達(dá)16 Mbit/s的子網(wǎng)ID,用于隧道端點(diǎn)設(shè)備識(shí)別報(bào)文轉(zhuǎn)發(fā)到哪一個(gè)網(wǎng)絡(luò)。

    圖5 VxLAN組網(wǎng)

    報(bào)文添加VxLAN封裝后,VxLAN頭部是標(biāo)準(zhǔn)的TCP/IP封裝,因此傳統(tǒng)IP技術(shù)的操作、管理與維護(hù)工具、運(yùn)維理念以及設(shè)備兼容性等方面均有非常好的表現(xiàn),如果將VxLAN網(wǎng)絡(luò)邊緣延伸到服務(wù)器內(nèi)部的vSwitch虛擬交換機(jī),那么數(shù)據(jù)中心已有的大部分網(wǎng)絡(luò)設(shè)備都可以重復(fù)利用,降低數(shù)據(jù)中心的部署成本。

    5 SDN業(yè)務(wù)部署方案

    5.1 云網(wǎng)一體化方案

    為了解決傳統(tǒng)數(shù)據(jù)中心業(yè)務(wù)部署效率低、資源利用率低、運(yùn)維管理復(fù)雜的問題,數(shù)據(jù)中心需要聯(lián)手云計(jì)算架構(gòu)場(chǎng)景演進(jìn)。OpenStack是一個(gè)開源的IaaS(基礎(chǔ)設(shè)施即服務(wù))云計(jì)算平臺(tái),類似一個(gè)數(shù)據(jù)中心的“操作系統(tǒng)”,管理著數(shù)據(jù)中心的計(jì)算(Nova)、對(duì)象存儲(chǔ)(Swift)、網(wǎng)絡(luò)(Neutron)等資源。Neutron是提供網(wǎng)絡(luò)即服務(wù)(networking as a service)能力的工程,其提供了比較完整的L2~L7層網(wǎng)絡(luò)模型和對(duì)應(yīng)的API;Neutron南向提供了靈活的plugin和driver機(jī)制,方便廠商對(duì)接控制器和設(shè)備。

    云平臺(tái)提供計(jì)算和網(wǎng)絡(luò)統(tǒng)一管理界面,控制器與云平臺(tái)開放對(duì)接如圖6所示。SDN控制器通過Neutron的API實(shí)現(xiàn)網(wǎng)絡(luò)即服務(wù)能力。業(yè)務(wù)管理員通過云平臺(tái)界面統(tǒng)一創(chuàng)建計(jì)算資源和網(wǎng)絡(luò)資源。

    業(yè)務(wù)管理員通過云平臺(tái)將網(wǎng)絡(luò)資源分配給指定的業(yè)務(wù)或應(yīng)用。云平臺(tái)將業(yè)務(wù)下發(fā)指令傳遞給網(wǎng)絡(luò)控制器,再由網(wǎng)絡(luò)控制器將配置明細(xì)自動(dòng)下發(fā)至設(shè)備,無需人工配置。

    業(yè)務(wù)管理員通過云平臺(tái)進(jìn)行計(jì)算和存儲(chǔ)資源的創(chuàng)建、刪除和遷移等操作。云平臺(tái)、網(wǎng)絡(luò)控制器、網(wǎng)絡(luò)設(shè)備和服務(wù)器之間自行進(jìn)行協(xié)調(diào)交互,無需人工干預(yù)。

    5.2 計(jì)算虛擬化方案

    在計(jì)算業(yè)務(wù)管理系統(tǒng)龐雜,或計(jì)算管理和網(wǎng)絡(luò)管理融合度不高又無法構(gòu)建統(tǒng)一云平臺(tái)的情況下,適用計(jì)算聯(lián)動(dòng)場(chǎng)景。

    圖6 云網(wǎng)一體化方案

    通過SDN控制器對(duì)接計(jì)算虛擬化平臺(tái),由控制器和計(jì)算虛擬平臺(tái)一同承擔(dān)業(yè)務(wù)下發(fā)職責(zé),實(shí)現(xiàn)計(jì)算與網(wǎng)絡(luò)協(xié)同發(fā)放。計(jì)算虛擬化方案如圖7所示。

    業(yè)務(wù)發(fā)放包括以下兩個(gè)部分。

    圖7 計(jì)算虛擬化方案

    ?? 網(wǎng)絡(luò)業(yè)務(wù)發(fā)放:網(wǎng)絡(luò)管理員通過SDN控制器將網(wǎng)絡(luò)資源分配給指定的業(yè)務(wù)或應(yīng)用。其中overlay網(wǎng)絡(luò)的業(yè)務(wù)配置及VM/物理機(jī)相關(guān)接入配置均由SDN控制器自動(dòng)下發(fā)完成。

    ?? 計(jì)算業(yè)務(wù)發(fā)放:計(jì)算管理員通過VMM進(jìn)行計(jì)算和存儲(chǔ)資源的創(chuàng)建、刪除和遷移等操作。SDN控制器可自動(dòng)感知VMM對(duì)計(jì)算資源的操作,最終實(shí)現(xiàn)資源上線后的網(wǎng)絡(luò)打通。

    5.3 機(jī)架出租

    機(jī)架出租場(chǎng)景是指出租方(通常為運(yùn)營商)向承租方提供機(jī)房、機(jī)柜空間、網(wǎng)絡(luò)接入和增值服務(wù)的租用服務(wù)。機(jī)架出租場(chǎng)景直接由網(wǎng)絡(luò)管理員通過SDN控制器進(jìn)行網(wǎng)絡(luò)資源業(yè)務(wù)發(fā)放,無需對(duì)接云平臺(tái)/計(jì)算資源/其他第三方系統(tǒng)。機(jī)架出租場(chǎng)景根據(jù)租戶是否自帶網(wǎng)關(guān)設(shè)備可進(jìn)一步區(qū)分為如下兩種應(yīng)用場(chǎng)景。

    ?? 租戶自帶網(wǎng)關(guān):租戶托管的設(shè)備包括服務(wù)器、L2交換機(jī)、網(wǎng)關(guān)設(shè)備和防火墻。租戶設(shè)備通過L3方式接入運(yùn)營商網(wǎng)絡(luò)。

    ?? 運(yùn)營商提供網(wǎng)關(guān):租戶托管的設(shè)備只有服務(wù)器和L2交換機(jī),不包括網(wǎng)關(guān)設(shè)備和防火墻。租戶設(shè)備通過L2方式接入運(yùn)營商網(wǎng)絡(luò),網(wǎng)關(guān)和增值服務(wù)都由運(yùn)營商提供。

    6 華為CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案

    為了幫助客戶快速適應(yīng)互聯(lián)網(wǎng)下各種云業(yè)務(wù)的變化,華為推出了面向新一代云數(shù)據(jù)中心的CloudFabric解決方案,旨在為客戶構(gòu)筑敏捷、智能、超寬、開放的云數(shù)據(jù)中心網(wǎng)絡(luò),支撐數(shù)據(jù)中心云業(yè)務(wù)高效發(fā)展?;诖蠖訜o阻塞網(wǎng)絡(luò),將SDN控制器Agile Controller作為華為云數(shù)據(jù)中心網(wǎng)絡(luò)的核心組件,可實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)資源的統(tǒng)一控制和動(dòng)態(tài)調(diào)度,快速部署云業(yè)務(wù)。支持與AI和大數(shù)據(jù)分析系統(tǒng)聯(lián)動(dòng),不斷調(diào)整和優(yōu)化網(wǎng)絡(luò)能力,簡(jiǎn)化網(wǎng)絡(luò)運(yùn)維形成網(wǎng)絡(luò)閉環(huán)管理,最終實(shí)現(xiàn)可以自治自愈的自循環(huán)智簡(jiǎn)網(wǎng)絡(luò)系統(tǒng)。

    6.1 基于spine-leaf架構(gòu)的AI應(yīng)用網(wǎng)絡(luò)

    spine節(jié)點(diǎn)由華為CE系列的高性能交換機(jī)擔(dān)當(dāng),可實(shí)現(xiàn)線速的VxLAN轉(zhuǎn)發(fā);通過業(yè)界獨(dú)家的iPCA技術(shù)對(duì)實(shí)際業(yè)務(wù)逐跳進(jìn)行精準(zhǔn)的分組丟失、時(shí)延、抖動(dòng)檢測(cè),實(shí)現(xiàn)故障快速定位;同時(shí)它采用全可編程架構(gòu),可靈活快速滿足客戶定制需求;技術(shù)自主可控,關(guān)鍵器件100%國產(chǎn)化;leaf節(jié)點(diǎn)可提供25GE/40GE接口,支持內(nèi)置FPGA專用芯片,可以實(shí)現(xiàn)納秒級(jí)低時(shí)延轉(zhuǎn)發(fā)。

    提供基于以太網(wǎng)的低時(shí)延、零丟失分組AI應(yīng)用網(wǎng)絡(luò)。通過精準(zhǔn)反壓和動(dòng)態(tài)水線等技術(shù),不僅能夠在初期對(duì)網(wǎng)絡(luò)進(jìn)行有效的擁塞調(diào)節(jié),實(shí)現(xiàn)網(wǎng)絡(luò)零丟失分組;同時(shí)可大幅提升吞吐率,有效助力數(shù)據(jù)中心網(wǎng)絡(luò)提升業(yè)務(wù)執(zhí)行效率,降低運(yùn)維復(fù)雜度和建網(wǎng)成本。

    6.2 端到端的云化數(shù)據(jù)中心網(wǎng)絡(luò)

    6.2.1 圖形化網(wǎng)絡(luò)規(guī)劃與設(shè)計(jì)

    提供網(wǎng)絡(luò)規(guī)劃和設(shè)計(jì)階段的圖形化工具、網(wǎng)絡(luò)業(yè)務(wù)變更和應(yīng)急故障處理指導(dǎo)、網(wǎng)絡(luò)冗余與容災(zāi)設(shè)計(jì)輔助,更高效、準(zhǔn)確地規(guī)劃設(shè)計(jì)網(wǎng)絡(luò)。

    6.2.2 SDN控制器Agile Controller

    基于開放架構(gòu)提供南北向標(biāo)準(zhǔn)接口、北向抽象網(wǎng)絡(luò)資源和服務(wù),支持與標(biāo)準(zhǔn)云平臺(tái)或第三方應(yīng)用無縫集成,同時(shí)支持與vCenter/SystemCenter主流計(jì)算平臺(tái)聯(lián)動(dòng),以業(yè)務(wù)為中心,自動(dòng)化實(shí)現(xiàn)網(wǎng)絡(luò)按需部署。南向適配不同設(shè)備和網(wǎng)絡(luò)實(shí)現(xiàn),實(shí)行資源池化管理,實(shí)現(xiàn)跨數(shù)據(jù)中心物理與虛擬網(wǎng)絡(luò)資源池化納管。華為SDN控制器Agile Controller自身提供高可靠集群能力,系統(tǒng)采用負(fù)載分擔(dān)方式,對(duì)南北向業(yè)務(wù)進(jìn)行處理,滿足數(shù)據(jù)中心業(yè)務(wù)的高可靠性要求。

    提供高于業(yè)界10倍管理能力的核心組件SDN控制器Agile Controller,可通過圖形化拖拽定義業(yè)務(wù)模型,自動(dòng)化完成業(yè)務(wù)到命令行的翻譯和下發(fā),實(shí)現(xiàn)網(wǎng)絡(luò)業(yè)務(wù)快速發(fā)放;可一鍵式實(shí)現(xiàn)網(wǎng)絡(luò)端到端打通,簡(jiǎn)化業(yè)務(wù)上線復(fù)雜度,提高準(zhǔn)確率,業(yè)務(wù)部署周期從周縮短到分鐘級(jí)。

    6.2.3 網(wǎng)絡(luò)智能分析

    構(gòu)筑的數(shù)據(jù)中心領(lǐng)域大數(shù)據(jù)分析器,提供無處不在的網(wǎng)絡(luò)應(yīng)用分析與可視化呈現(xiàn),打通應(yīng)用和網(wǎng)絡(luò)的邊界,提供技術(shù)創(chuàng)新到商業(yè)創(chuàng)新的連接。與傳統(tǒng)聚焦資源狀態(tài)的監(jiān)控方式相比,通過Telemetry方式提供全網(wǎng)真實(shí)流秒級(jí)采集,并根據(jù)大數(shù)據(jù)智能算法對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分析、呈現(xiàn),實(shí)時(shí)感知Fabric的狀態(tài)、應(yīng)用的行為狀態(tài);由傳統(tǒng)設(shè)備監(jiān)控變?yōu)閷?shí)時(shí)業(yè)務(wù)監(jiān)控,打破網(wǎng)絡(luò)和應(yīng)用的邊界,從應(yīng)用視角看清網(wǎng)絡(luò),幫助客戶及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)與應(yīng)用的問題,保障應(yīng)用的持續(xù)穩(wěn)定運(yùn)行。

    通過FabricInsight組件實(shí)現(xiàn)AI的智能運(yùn)維,實(shí)時(shí)收集真實(shí)業(yè)務(wù)流數(shù)據(jù),支持百億級(jí)數(shù)據(jù)的秒級(jí)檢索和智能算法分析,實(shí)現(xiàn)異常流數(shù)據(jù)的快速發(fā)現(xiàn)和定位。系統(tǒng)可自動(dòng)實(shí)現(xiàn)應(yīng)用和網(wǎng)絡(luò)的關(guān)聯(lián),呈現(xiàn)丟失分組嚴(yán)重的主機(jī)和故障網(wǎng)絡(luò)路徑,快速定位到故障節(jié)點(diǎn),減少端到端故障處理時(shí)間,故障定位從天縮短到分鐘級(jí)。

    6.3 跨數(shù)據(jù)中心容災(zāi)和雙活管理

    為了滿足多個(gè)遠(yuǎn)距離數(shù)據(jù)中心之間的容災(zāi)和業(yè)務(wù)雙活,華為CloudFabric解決方案提供了多DC互聯(lián)互通方案,可以構(gòu)建同城雙活、異地容災(zāi)(如兩地三中心模式)的數(shù)據(jù)中心業(yè)務(wù)架構(gòu),同時(shí)跨DC的業(yè)務(wù)可以實(shí)現(xiàn)靈活按需互通;支持將同一套業(yè)務(wù)系統(tǒng)分別部署在兩個(gè)獨(dú)立DC中,可實(shí)現(xiàn)系統(tǒng)間L2/L3互通,并對(duì)外提供跨DC的雙活服務(wù),進(jìn)一步提升服務(wù)質(zhì)量。提供跨DC的微分段和業(yè)務(wù)鏈,使業(yè)務(wù)部署更加靈活。

    截止到2017年底,華為CloudFabric云數(shù)據(jù)中心網(wǎng)解決方案已完成180多個(gè)SDN商用方案交付,廣泛部署在中國、西歐、日本、韓國、南太平洋、俄羅斯、中東等全球各地,市場(chǎng)覆蓋涉及運(yùn)營商、互聯(lián)網(wǎng)、金融、制造、政府等多個(gè)行業(yè)。

    7 結(jié)束語

    SDN作為網(wǎng)絡(luò)領(lǐng)域的一次技術(shù)革新,有效地支撐了商業(yè)化數(shù)據(jù)中心上層業(yè)務(wù)的服務(wù)需要,提升了網(wǎng)絡(luò)上線和運(yùn)維效率。隨著網(wǎng)絡(luò)技術(shù)的不斷演進(jìn),網(wǎng)絡(luò)將逐步走向以用戶為中心的意圖驅(qū)動(dòng)解決方案,通過在商業(yè)意圖和物理網(wǎng)絡(luò)之間構(gòu)建數(shù)字孿生,借助ABC(人工智能、大數(shù)據(jù)、云計(jì)算)技術(shù),以智慧、極簡(jiǎn)、超寬、安全、開放的理念,打造意圖驅(qū)動(dòng)的智簡(jiǎn)網(wǎng)絡(luò),從以設(shè)備為中心的網(wǎng)絡(luò)向以用戶為中心的網(wǎng)絡(luò)轉(zhuǎn)型,實(shí)現(xiàn)自動(dòng)化、智能化,并最終走向自治。

    [1] 韋樂平. SDN的戰(zhàn)略性思考[J]. 電信科學(xué),2015, 31(1): 7-12.

    WEI L P. Strategic thinking on SDN [J]. Telecommunications Science, 2015, 31(1): 7-12.

    [2] 何曉明, 冀暉, 毛東峰, 等. 電信IP網(wǎng)向SDN演進(jìn)的探討[J]. 電信科學(xué), 2014, 30(6): 131-137.

    HE X M, JI H, MAO D F, et al. Discussion of evolution of carrier IP network to SDN [J]. Telecommunications Science, 2014, 30(6): 131-137.

    [3] 趙慧玲, 史凡. SDN/NFV的發(fā)展與挑戰(zhàn)[J]. 電信科學(xué), 2014, 30(8): 13-18.

    ZHAO H L, SHI F. Development and challenge of SDN/NFV[J]. Telecommunications Science, 2014, 30(8): 13-18.

    [4] 李晨, 段曉東, 陳煒, 等. SDN和NFV的思考與實(shí)踐[J]. 電信科學(xué), 2014, 30(8): 23-27.

    LI C, DUAN X D, CHEN W, et al. Thoughts and practices about SDN and NFV [J]. Telecommunications Science, 2014, 30(8): 23-27.

    SDN solutions for cloud data center

    ZHONG Cui, WANG Lei, LUO Xing

    Huawei Technologies Co., Ltd., Shenzhen 518129, China

    The design concept of SDN is to pool and manage network resources, automate the on-demand application and call of network resources, and accelerate the online cycle of data center services. Firstly, the core idea of data center SDN and the panoramic view of SDN open architecture was introduced. Then, the SDN network model and SDN service deployment plan was introduced. Finally, solution of Huawei CloudFabric cloud data center network was described.

    software defined networking, data center, automation

    TP399

    A

    10.11959/j.issn.1000?0801.2018213

    2018?05?28;

    2018?07?05

    鐘翠(1981?),女,華為技術(shù)有限公司高級(jí)工程師兼高級(jí)營銷經(jīng)理,主要研究方向?yàn)樾戮W(wǎng)絡(luò)技術(shù)及解決方案。

    王蕾(1985?),女,華為技術(shù)有限公司高級(jí)工程師,主要研究方向?yàn)閿?shù)據(jù)中心網(wǎng)絡(luò)技術(shù)和解決方案。

    羅興(1986?),男,華為技術(shù)有限公司工程師,主要研究方向?yàn)閿?shù)據(jù)中心技術(shù)及解決方案。

    猜你喜歡
    網(wǎng)絡(luò)設(shè)備網(wǎng)絡(luò)資源虛擬化
    一種基于C# 的網(wǎng)絡(luò)設(shè)備自動(dòng)化登錄工具的研制
    基于OpenStack虛擬化網(wǎng)絡(luò)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
    電子制作(2019年10期)2019-06-17 11:45:10
    對(duì)基于Docker的虛擬化技術(shù)的幾點(diǎn)探討
    電子制作(2018年14期)2018-08-21 01:38:20
    虛擬化技術(shù)在計(jì)算機(jī)技術(shù)創(chuàng)造中的應(yīng)用
    數(shù)據(jù)中心唯“快”不破
    網(wǎng)絡(luò)資源在高中班級(jí)管理中的運(yùn)用
    談網(wǎng)絡(luò)資源在大學(xué)計(jì)算機(jī)教學(xué)中的應(yīng)用
    存儲(chǔ)虛擬化還有優(yōu)勢(shì)嗎?
    基于列車監(jiān)測(cè)網(wǎng)絡(luò)設(shè)備的射頻功放模塊設(shè)計(jì)
    對(duì)等網(wǎng)絡(luò)資源搜索模型研究
    五月玫瑰六月丁香| 成人国语在线视频| 国产永久视频网站| 成人亚洲精品一区在线观看| 超色免费av| 有码 亚洲区| 男女国产视频网站| 黄片播放在线免费| 国产黄色视频一区二区在线观看| 在线观看免费视频网站a站| 国产熟女欧美一区二区| 少妇人妻 视频| 亚洲精品,欧美精品| 有码 亚洲区| 日韩亚洲欧美综合| 国产成人精品一,二区| .国产精品久久| 美女主播在线视频| 国产精品国产三级国产av玫瑰| 99久久综合免费| 亚洲国产欧美日韩在线播放| 免费大片黄手机在线观看| av在线观看视频网站免费| 日韩av免费高清视频| 中文字幕精品免费在线观看视频 | 亚洲少妇的诱惑av| 99精国产麻豆久久婷婷| 亚洲精品乱码久久久久久按摩| 一级片'在线观看视频| 国产亚洲精品久久久com| 91精品国产国语对白视频| 超碰97精品在线观看| 91精品一卡2卡3卡4卡| 久久免费观看电影| 啦啦啦在线观看免费高清www| av电影中文网址| 久久精品国产a三级三级三级| 免费大片黄手机在线观看| 欧美日韩视频精品一区| 91精品伊人久久大香线蕉| 18禁动态无遮挡网站| 免费看光身美女| 日本av免费视频播放| 成人18禁高潮啪啪吃奶动态图 | 高清午夜精品一区二区三区| 欧美精品国产亚洲| 99热6这里只有精品| 一区二区日韩欧美中文字幕 | 免费人妻精品一区二区三区视频| 在线观看美女被高潮喷水网站| 丰满饥渴人妻一区二区三| 久久狼人影院| 天天躁夜夜躁狠狠久久av| 高清av免费在线| 中文乱码字字幕精品一区二区三区| 国产精品麻豆人妻色哟哟久久| 夜夜看夜夜爽夜夜摸| 成人国产av品久久久| 人妻一区二区av| 欧美日韩成人在线一区二区| 国产男女超爽视频在线观看| 亚洲国产精品专区欧美| 美女cb高潮喷水在线观看| videos熟女内射| 精品国产露脸久久av麻豆| 精品一区二区免费观看| 热99国产精品久久久久久7| av在线老鸭窝| 久久免费观看电影| xxxhd国产人妻xxx| 精品亚洲乱码少妇综合久久| 欧美日韩一区二区视频在线观看视频在线| 国产成人精品婷婷| 在线免费观看不下载黄p国产| 考比视频在线观看| 亚洲天堂av无毛| 亚洲精品久久午夜乱码| 亚洲av不卡在线观看| www.av在线官网国产| 精品久久久久久久久亚洲| 免费观看性生交大片5| 18禁动态无遮挡网站| 女性生殖器流出的白浆| 97超视频在线观看视频| 久久久久国产精品人妻一区二区| 亚洲久久久国产精品| 国产精品一国产av| 人人澡人人妻人| 国产精品久久久久久精品古装| 欧美人与善性xxx| 午夜av观看不卡| 91在线精品国自产拍蜜月| 三上悠亚av全集在线观看| av有码第一页| 又粗又硬又长又爽又黄的视频| 亚洲国产色片| 国产成人一区二区在线| 亚洲美女视频黄频| 精品一区二区三区视频在线| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 在线观看免费视频网站a站| 男女啪啪激烈高潮av片| 一区二区三区四区激情视频| 精品亚洲成国产av| 男的添女的下面高潮视频| 欧美少妇被猛烈插入视频| 色婷婷久久久亚洲欧美| 如何舔出高潮| 亚洲av综合色区一区| 超色免费av| 有码 亚洲区| 插阴视频在线观看视频| 99热这里只有精品一区| av有码第一页| 欧美日韩成人在线一区二区| 男女高潮啪啪啪动态图| 国产精品一区www在线观看| 男人添女人高潮全过程视频| 欧美最新免费一区二区三区| 日本午夜av视频| 一级片'在线观看视频| 91在线精品国自产拍蜜月| videossex国产| 丁香六月天网| 亚洲国产精品一区二区三区在线| 18禁在线播放成人免费| 亚洲精品乱码久久久v下载方式| 夫妻性生交免费视频一级片| 五月伊人婷婷丁香| 一级a做视频免费观看| 精品少妇久久久久久888优播| av卡一久久| videossex国产| 在现免费观看毛片| 美女视频免费永久观看网站| 大又大粗又爽又黄少妇毛片口| 看免费成人av毛片| 男女啪啪激烈高潮av片| 日本vs欧美在线观看视频| 9色porny在线观看| 在线 av 中文字幕| 久久精品国产a三级三级三级| 欧美+日韩+精品| 久久99一区二区三区| 少妇丰满av| 2018国产大陆天天弄谢| 日本爱情动作片www.在线观看| 五月天丁香电影| 午夜精品国产一区二区电影| 午夜视频国产福利| 日本免费在线观看一区| 九九久久精品国产亚洲av麻豆| 中文字幕最新亚洲高清| av国产久精品久网站免费入址| 97精品久久久久久久久久精品| 亚洲图色成人| 80岁老熟妇乱子伦牲交| 波野结衣二区三区在线| av播播在线观看一区| 国产精品欧美亚洲77777| 91精品伊人久久大香线蕉| 99热这里只有是精品在线观看| 免费少妇av软件| 国产男女超爽视频在线观看| 少妇被粗大猛烈的视频| 亚洲国产精品一区三区| 久久国内精品自在自线图片| 另类精品久久| 亚洲三级黄色毛片| 在线天堂最新版资源| 亚洲国产欧美在线一区| a级毛色黄片| 国产精品不卡视频一区二区| 免费观看无遮挡的男女| 久久影院123| 国产69精品久久久久777片| 亚洲三级黄色毛片| 一级毛片黄色毛片免费观看视频| 日本vs欧美在线观看视频| 我要看黄色一级片免费的| 久久精品国产a三级三级三级| 久久女婷五月综合色啪小说| 26uuu在线亚洲综合色| 亚洲av电影在线观看一区二区三区| 日本av手机在线免费观看| 一级a做视频免费观看| av电影中文网址| 99久久人妻综合| 不卡视频在线观看欧美| 国产午夜精品久久久久久一区二区三区| 夫妻午夜视频| 下体分泌物呈黄色| 精品久久久噜噜| 夜夜看夜夜爽夜夜摸| 精品国产一区二区久久| 中国国产av一级| 少妇人妻精品综合一区二区| 国产色爽女视频免费观看| 久久久久久久久久久免费av| freevideosex欧美| 久久久国产一区二区| 下体分泌物呈黄色| 免费大片黄手机在线观看| 久久人人爽人人爽人人片va| 亚洲精品国产av蜜桃| 日本黄大片高清| 国产黄片视频在线免费观看| tube8黄色片| 欧美日韩在线观看h| 国产亚洲精品久久久com| 国产伦理片在线播放av一区| 九色成人免费人妻av| 亚洲av不卡在线观看| 天天操日日干夜夜撸| xxxhd国产人妻xxx| 99久久精品一区二区三区| 看非洲黑人一级黄片| 国产精品一区www在线观看| 伦理电影大哥的女人| 大片电影免费在线观看免费| 三上悠亚av全集在线观看| 亚洲av欧美aⅴ国产| 午夜福利视频精品| 国产毛片在线视频| 国产国拍精品亚洲av在线观看| 中文字幕亚洲精品专区| 亚洲av中文av极速乱| 好男人视频免费观看在线| 国产午夜精品一二区理论片| 国产男人的电影天堂91| 精品人妻一区二区三区麻豆| 国产精品无大码| 免费日韩欧美在线观看| 人人妻人人澡人人爽人人夜夜| 国国产精品蜜臀av免费| 国产亚洲精品第一综合不卡 | 制服诱惑二区| 91精品国产国语对白视频| 热re99久久精品国产66热6| 99国产精品免费福利视频| 国产一区二区三区av在线| 国产在视频线精品| 免费大片黄手机在线观看| 国产精品欧美亚洲77777| 伊人久久国产一区二区| 日本午夜av视频| 国产精品一区www在线观看| 人人妻人人澡人人爽人人夜夜| 久久午夜综合久久蜜桃| 人妻 亚洲 视频| 亚洲国产av影院在线观看| 国产日韩欧美视频二区| 午夜福利网站1000一区二区三区| 美女cb高潮喷水在线观看| 欧美人与善性xxx| 2018国产大陆天天弄谢| 亚洲av成人精品一区久久| 久久精品国产自在天天线| 少妇 在线观看| 国产熟女欧美一区二区| 亚洲婷婷狠狠爱综合网| 国产成人一区二区在线| 97在线视频观看| 新久久久久国产一级毛片| 成人手机av| 下体分泌物呈黄色| 在线看a的网站| 91精品国产国语对白视频| 在线播放无遮挡| 亚洲精品色激情综合| 国产精品久久久久久久久免| 成人手机av| 黄色视频在线播放观看不卡| 永久网站在线| 国产亚洲精品久久久com| 亚洲中文av在线| 国产高清国产精品国产三级| 男女无遮挡免费网站观看| 精品久久久久久电影网| 熟妇人妻不卡中文字幕| 在线观看免费日韩欧美大片 | 亚洲精品日韩av片在线观看| 日本黄色片子视频| 亚洲精品久久久久久婷婷小说| 国产精品熟女久久久久浪| 亚洲成色77777| 9色porny在线观看| 中国美白少妇内射xxxbb| 2018国产大陆天天弄谢| 国产一区有黄有色的免费视频| 国产国语露脸激情在线看| 在线观看www视频免费| 久久久久久久久久久久大奶| 夜夜骑夜夜射夜夜干| 看十八女毛片水多多多| 亚洲欧美日韩卡通动漫| 精品人妻熟女毛片av久久网站| 国产片内射在线| 国产成人精品一,二区| 国产一区二区在线观看av| 香蕉精品网在线| 午夜日本视频在线| 午夜激情福利司机影院| 久久热精品热| 国产精品久久久久久精品电影小说| 国产av码专区亚洲av| 久久97久久精品| 欧美老熟妇乱子伦牲交| 午夜久久久在线观看| av线在线观看网站| 日本wwww免费看| 亚洲av不卡在线观看| 中文欧美无线码| 99热6这里只有精品| 交换朋友夫妻互换小说| 老司机亚洲免费影院| 老司机影院毛片| 最近中文字幕高清免费大全6| 91精品一卡2卡3卡4卡| 国产国拍精品亚洲av在线观看| 丝袜喷水一区| 色婷婷av一区二区三区视频| av线在线观看网站| 国产成人91sexporn| 中文字幕亚洲精品专区| 国产 一区精品| 99热这里只有是精品在线观看| 一级,二级,三级黄色视频| 日韩欧美精品免费久久| 国产精品人妻久久久久久| 免费高清在线观看视频在线观看| 777米奇影视久久| 国产老妇伦熟女老妇高清| 久久鲁丝午夜福利片| 激情五月婷婷亚洲| 精品亚洲乱码少妇综合久久| 亚洲精品aⅴ在线观看| 2018国产大陆天天弄谢| 久久韩国三级中文字幕| 国产69精品久久久久777片| 久热这里只有精品99| 成人毛片60女人毛片免费| 亚洲国产欧美在线一区| 日韩 亚洲 欧美在线| 久久久久久久大尺度免费视频| 女性生殖器流出的白浆| 欧美精品一区二区大全| 视频区图区小说| 国产精品欧美亚洲77777| 99久久精品国产国产毛片| 啦啦啦啦在线视频资源| 成人毛片a级毛片在线播放| 国精品久久久久久国模美| 麻豆乱淫一区二区| 欧美激情国产日韩精品一区| 一本—道久久a久久精品蜜桃钙片| 国产片特级美女逼逼视频| 岛国毛片在线播放| 国产精品偷伦视频观看了| 人人妻人人添人人爽欧美一区卜| 18禁动态无遮挡网站| 视频在线观看一区二区三区| av国产精品久久久久影院| 久久久久久久久久久丰满| 91aial.com中文字幕在线观看| 男男h啪啪无遮挡| 又黄又爽又刺激的免费视频.| 日本色播在线视频| 色婷婷久久久亚洲欧美| 97超碰精品成人国产| 大片电影免费在线观看免费| 久久精品国产亚洲av天美| 夜夜看夜夜爽夜夜摸| 国产精品久久久久久av不卡| 日日摸夜夜添夜夜添av毛片| 日韩中文字幕视频在线看片| 中文字幕制服av| 日本与韩国留学比较| 丝袜脚勾引网站| 免费观看av网站的网址| 亚洲欧美日韩卡通动漫| 国产午夜精品一二区理论片| 国产国语露脸激情在线看| 久久精品夜色国产| 欧美xxⅹ黑人| 午夜福利影视在线免费观看| 日韩一区二区视频免费看| 看非洲黑人一级黄片| 春色校园在线视频观看| 亚洲av二区三区四区| 亚洲国产精品一区三区| 国产av一区二区精品久久| 国产成人免费观看mmmm| 亚洲精品中文字幕在线视频| av有码第一页| 美女国产视频在线观看| 亚洲四区av| 大香蕉久久网| 国产男女内射视频| 亚洲av综合色区一区| 国产精品不卡视频一区二区| 国产亚洲欧美精品永久| 国产亚洲av片在线观看秒播厂| 少妇人妻 视频| 99热6这里只有精品| 国产有黄有色有爽视频| 午夜福利视频精品| 亚洲国产毛片av蜜桃av| 人人妻人人澡人人看| 久久久精品区二区三区| 我的老师免费观看完整版| 校园人妻丝袜中文字幕| 日韩电影二区| 日日撸夜夜添| 欧美丝袜亚洲另类| 22中文网久久字幕| 最近中文字幕高清免费大全6| 最近中文字幕高清免费大全6| 日日啪夜夜爽| 亚洲欧洲国产日韩| 丰满饥渴人妻一区二区三| 欧美变态另类bdsm刘玥| 中文欧美无线码| 一本久久精品| 考比视频在线观看| 国产欧美另类精品又又久久亚洲欧美| 午夜激情福利司机影院| 人妻一区二区av| 大片电影免费在线观看免费| 亚洲精品成人av观看孕妇| 精品国产露脸久久av麻豆| 国产一区二区在线观看av| 女的被弄到高潮叫床怎么办| 亚洲精品久久久久久婷婷小说| 午夜老司机福利剧场| av有码第一页| 青春草亚洲视频在线观看| 免费黄网站久久成人精品| 亚洲激情五月婷婷啪啪| 最近手机中文字幕大全| 精品一区二区三卡| a级毛片在线看网站| 久久国产亚洲av麻豆专区| 国产亚洲av片在线观看秒播厂| 亚洲av男天堂| 中文字幕人妻熟人妻熟丝袜美| 91久久精品电影网| 99久久中文字幕三级久久日本| 菩萨蛮人人尽说江南好唐韦庄| 这个男人来自地球电影免费观看 | 国产精品久久久久久久电影| 国产精品久久久久久av不卡| 性高湖久久久久久久久免费观看| 爱豆传媒免费全集在线观看| 欧美成人午夜免费资源| 制服诱惑二区| 夜夜骑夜夜射夜夜干| 国产男女超爽视频在线观看| 午夜91福利影院| 亚洲av二区三区四区| 久久国产亚洲av麻豆专区| 一个人看视频在线观看www免费| 天堂8中文在线网| 国产在线视频一区二区| 亚洲色图综合在线观看| 99re6热这里在线精品视频| 搡老乐熟女国产| 国产精品不卡视频一区二区| 激情五月婷婷亚洲| 国产淫语在线视频| 最新中文字幕久久久久| 啦啦啦啦在线视频资源| 国产黄频视频在线观看| 人妻人人澡人人爽人人| 亚洲精品美女久久av网站| 啦啦啦中文免费视频观看日本| 国产伦理片在线播放av一区| 亚洲情色 制服丝袜| 久久久久久久久久成人| 黑人欧美特级aaaaaa片| 蜜桃在线观看..| av天堂久久9| 成年女人在线观看亚洲视频| 亚洲国产av新网站| 最近手机中文字幕大全| 大香蕉久久网| 国产视频首页在线观看| av专区在线播放| 亚洲欧洲日产国产| 久久这里有精品视频免费| 精品久久久久久久久av| 新久久久久国产一级毛片| 日本vs欧美在线观看视频| 亚洲精品乱码久久久v下载方式| 日本av免费视频播放| 秋霞在线观看毛片| 亚洲精品日韩在线中文字幕| 欧美日韩av久久| 大话2 男鬼变身卡| 99九九在线精品视频| 看免费成人av毛片| a级毛片免费高清观看在线播放| av在线老鸭窝| 亚洲欧洲国产日韩| 亚洲精品中文字幕在线视频| 这个男人来自地球电影免费观看 | 黄色视频在线播放观看不卡| 三级国产精品欧美在线观看| 精品卡一卡二卡四卡免费| 国产在线免费精品| 嫩草影院入口| 美女脱内裤让男人舔精品视频| 久久99热这里只频精品6学生| 性高湖久久久久久久久免费观看| 欧美日韩国产mv在线观看视频| 欧美日韩综合久久久久久| 亚洲精品av麻豆狂野| 日韩,欧美,国产一区二区三区| 在线观看美女被高潮喷水网站| 尾随美女入室| av又黄又爽大尺度在线免费看| 天天影视国产精品| 大码成人一级视频| 日韩视频在线欧美| 国产亚洲午夜精品一区二区久久| 久热这里只有精品99| 免费av中文字幕在线| 国产精品人妻久久久久久| 激情五月婷婷亚洲| 午夜免费观看性视频| 国产精品免费大片| 久久精品熟女亚洲av麻豆精品| 男女边吃奶边做爰视频| av专区在线播放| 国产亚洲午夜精品一区二区久久| 久久婷婷青草| 丰满迷人的少妇在线观看| 人妻制服诱惑在线中文字幕| 国产成人a∨麻豆精品| 九九在线视频观看精品| 女性被躁到高潮视频| 人妻夜夜爽99麻豆av| 亚洲五月色婷婷综合| 男女啪啪激烈高潮av片| 国产69精品久久久久777片| 久久精品国产自在天天线| 久久精品国产a三级三级三级| 亚洲综合色网址| 97超碰精品成人国产| 一二三四中文在线观看免费高清| 国产在线免费精品| 美女cb高潮喷水在线观看| 国产成人精品无人区| 亚洲国产精品成人久久小说| 超色免费av| 飞空精品影院首页| 草草在线视频免费看| 日本91视频免费播放| 国产一区亚洲一区在线观看| 国产免费又黄又爽又色| √禁漫天堂资源中文www| av视频免费观看在线观看| 亚洲精品国产色婷婷电影| 伦精品一区二区三区| 久久久精品94久久精品| 伦精品一区二区三区| 嫩草影院入口| 永久免费av网站大全| 建设人人有责人人尽责人人享有的| av播播在线观看一区| 亚洲av不卡在线观看| www.色视频.com| 老女人水多毛片| 亚洲精品国产色婷婷电影| 九九在线视频观看精品| 成人二区视频| 国产精品免费大片| 久久国产精品大桥未久av| 麻豆乱淫一区二区| 国产一区亚洲一区在线观看| 岛国毛片在线播放| 51国产日韩欧美| 日本vs欧美在线观看视频| 高清视频免费观看一区二区| 精品一区二区三区视频在线| 草草在线视频免费看| 亚洲国产精品999| 在线 av 中文字幕| 日本wwww免费看| 人妻一区二区av| 亚洲国产精品成人久久小说| 日韩制服骚丝袜av| 人妻一区二区av| 曰老女人黄片| 亚洲av男天堂| 亚洲国产日韩一区二区| 97精品久久久久久久久久精品| 十分钟在线观看高清视频www| 国产成人freesex在线| 亚洲人与动物交配视频| 国产精品国产三级国产av玫瑰| 国产在线视频一区二区| 51国产日韩欧美| 免费不卡的大黄色大毛片视频在线观看| 国产欧美亚洲国产| 秋霞在线观看毛片| 国产男人的电影天堂91| 人人妻人人澡人人爽人人夜夜| 妹子高潮喷水视频| 一级a做视频免费观看| 插逼视频在线观看| 三上悠亚av全集在线观看| 成人18禁高潮啪啪吃奶动态图 | 亚洲精品久久午夜乱码| 一级,二级,三级黄色视频|