• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    SDN與NFV技術(shù)在云數(shù)據(jù)中心的規(guī)模應(yīng)用

    2016-11-20 03:12:29趙輝丁鳴程青松盧凌孔晨晨
    電信科學(xué) 2016年1期
    關(guān)鍵詞:網(wǎng)絡(luò)設(shè)備虛擬化數(shù)據(jù)中心

    趙輝,丁鳴,程青松,盧凌,孔晨晨

    (中國(guó)電信股份有限公司江蘇分公司操作維護(hù)中心,江蘇 南京210017)

    SDN與NFV技術(shù)在云數(shù)據(jù)中心的規(guī)模應(yīng)用

    趙輝,丁鳴,程青松,盧凌,孔晨晨

    (中國(guó)電信股份有限公司江蘇分公司操作維護(hù)中心,江蘇 南京210017)

    以云數(shù)據(jù)中心為切入點(diǎn),首先對(duì)SDN領(lǐng)域中的疊加網(wǎng)絡(luò)、SDN控制器、VxLAN 3種重要技術(shù)的特點(diǎn)進(jìn)行了研究,然后對(duì)NFV領(lǐng)域中的通用服務(wù)器性能、服務(wù)鏈兩類關(guān)鍵問(wèn)題展開(kāi)具體分析。最后,闡述了前期開(kāi)展的SDN/NFV技術(shù)試驗(yàn)工作進(jìn)展及相關(guān)結(jié)論,并對(duì)VDC應(yīng)用產(chǎn)品進(jìn)行了展望。

    云數(shù)據(jù)中心;軟件定義網(wǎng)絡(luò);網(wǎng)絡(luò)功能虛擬化;VxLAN;大二層

    1 引言

    伴隨著云計(jì)算技術(shù)的興起,數(shù)據(jù)趨于大集中,傳統(tǒng)電信系統(tǒng)網(wǎng)絡(luò)架構(gòu)成為阻礙云數(shù)據(jù)中心發(fā)展的巨大桎梏。為滿足數(shù)據(jù)中心在云計(jì)算環(huán)境下的虛擬網(wǎng)絡(luò)資源調(diào)度和共享需求,未來(lái)的數(shù)據(jù)中心資源池運(yùn)營(yíng)需要解決以下關(guān)鍵問(wèn)題。

    ·用戶需求的快速響應(yīng)。云資源池內(nèi)部網(wǎng)絡(luò)設(shè)備多,網(wǎng)絡(luò)特征復(fù)雜,采用點(diǎn)對(duì)點(diǎn)手工配置,將會(huì)延遲用戶需求的響應(yīng)速度。

    · 清晰的網(wǎng)絡(luò)拓?fù)湟晥D。云資源池本身的網(wǎng)絡(luò)拓?fù)潆y以清晰呈現(xiàn),特別是租戶網(wǎng)絡(luò)與云資源網(wǎng)絡(luò)無(wú)法呈現(xiàn)對(duì)應(yīng)關(guān)系,導(dǎo)致運(yùn)維復(fù)雜。

    · 靈活的資源共享與調(diào)度。資源池很難實(shí)現(xiàn)相互隔離的多租戶環(huán)境,而且在跨數(shù)據(jù)中心組網(wǎng)時(shí)很難實(shí)現(xiàn)網(wǎng)絡(luò)資源的靈活共享與調(diào)度。

    · 動(dòng)態(tài)感知租戶的網(wǎng)絡(luò)資源需求。不同租戶的網(wǎng)絡(luò)流量、安全策略、性能要求等不同,資源池網(wǎng)絡(luò)無(wú)法動(dòng)態(tài)感知租戶的需求,造成資源浪費(fèi)或過(guò)載。

    SDN(software defined networking,軟件定義網(wǎng)絡(luò))、NFV(network function virtualization,網(wǎng)絡(luò)功能虛擬化)等技術(shù)可增強(qiáng)網(wǎng)絡(luò)差異化服務(wù)提供能力以及云、管、端協(xié)同組網(wǎng)能力。因此,在云數(shù)據(jù)中心規(guī)模引入SDN/NFV技術(shù)可以有效解決上述問(wèn)題,同時(shí)基于SDN/NFV技術(shù)的云數(shù)據(jù)中心組網(wǎng)也是電信網(wǎng)絡(luò)未來(lái)演進(jìn)的重要方向。

    2 SDN重要技術(shù)

    在諸如骨干網(wǎng)、數(shù)據(jù)中心、企業(yè)網(wǎng)、城域網(wǎng)邊緣、接入網(wǎng)等眾多網(wǎng)絡(luò)環(huán)境中,數(shù)據(jù)中心是最早遭遇傳統(tǒng)網(wǎng)絡(luò)技術(shù)束縛的地方,也是SDN技術(shù)最早進(jìn)行商業(yè)化應(yīng)用的場(chǎng)景。為了滿足日益增長(zhǎng)的互聯(lián)網(wǎng)服務(wù)需求,數(shù)據(jù)中心逐步向大型化、自動(dòng)化、虛擬化、多租戶等方向發(fā)展,在網(wǎng)絡(luò)性能和靈活性等諸多方面遭遇挑戰(zhàn)。在滿足虛擬化和多租戶的按需靈活組網(wǎng)需求時(shí),特別是IaaS服務(wù)的基礎(chǔ)設(shè)施構(gòu)建時(shí),SDN技術(shù)成為首選方案。

    SDN不應(yīng)被定義為一種網(wǎng)絡(luò)技術(shù),更為準(zhǔn)確的說(shuō)法是,SDN是由多種重要技術(shù)、解決方案形成的一種下一代網(wǎng)絡(luò)體系架構(gòu),本節(jié)將重點(diǎn)討論云數(shù)據(jù)中心組網(wǎng)時(shí)采用的3種SDN重要技術(shù):疊加 (overlay)網(wǎng)絡(luò)、SDN控制器、VxLAN(virtual extensible local area network,虛擬可擴(kuò)展局域網(wǎng))。

    2.1 疊加網(wǎng)絡(luò)

    疊加網(wǎng)絡(luò)是指以現(xiàn)行的IP網(wǎng)絡(luò)為基礎(chǔ),在其上建立疊加的邏輯網(wǎng)絡(luò)(overlay logical network),屏蔽掉底層物理網(wǎng)絡(luò)差異,實(shí)現(xiàn)網(wǎng)絡(luò)資源的虛擬化,使得多個(gè)邏輯上彼此隔離的網(wǎng)絡(luò)分區(qū)以及多種異構(gòu)的虛擬網(wǎng)絡(luò)可以在同一共享網(wǎng)絡(luò)基礎(chǔ)設(shè)施上共存。根據(jù)上述內(nèi)容可知,邏輯網(wǎng)絡(luò)疊加層的概念并非由SDN發(fā)明,VLAN(虛擬局域網(wǎng))就是典型的代表,但在云數(shù)據(jù)中心網(wǎng)絡(luò)領(lǐng)域,疊加網(wǎng)絡(luò)已成為當(dāng)今SDN發(fā)展的重要?jiǎng)恿χ?。它的主要思路可被歸納為解耦、獨(dú)立、控制 3 個(gè)方面[1]。

    解耦:是指將網(wǎng)絡(luò)的控制從網(wǎng)絡(luò)物理硬件中脫離出來(lái),交給虛擬化的網(wǎng)絡(luò)層處理。這個(gè)虛擬化的網(wǎng)絡(luò)層加載在物理網(wǎng)絡(luò)之上,屏蔽掉底層的物理差異,在虛擬的空間重建整個(gè)網(wǎng)絡(luò)。因此,物理網(wǎng)絡(luò)資源將被泛化成網(wǎng)絡(luò)能力池,正如服務(wù)器虛擬化技術(shù)把服務(wù)器資源轉(zhuǎn)化為計(jì)算能力池一樣,它使得網(wǎng)絡(luò)資源的調(diào)用更加靈活,滿足用戶對(duì)網(wǎng)絡(luò)資源的按需交付需求。

    獨(dú)立:是指疊加網(wǎng)絡(luò)方案承載于IP網(wǎng)絡(luò)之上,因此只要IP可達(dá),相應(yīng)的虛擬化網(wǎng)絡(luò)就可以被部署,而無(wú)需對(duì)原有物理網(wǎng)絡(luò)架構(gòu)(如原有的網(wǎng)絡(luò)硬件、原有的服務(wù)器虛擬化解決方案、原有的網(wǎng)絡(luò)管理系統(tǒng)、原有的IP地址等)做出任何改變。該類方案可以便捷地在現(xiàn)網(wǎng)上部署和實(shí)施,這是它最大的優(yōu)勢(shì)。

    控制:是指疊加后的邏輯網(wǎng)絡(luò)將以軟件可編程的方式被統(tǒng)一控制。通過(guò)應(yīng)用該方案,網(wǎng)絡(luò)資源可以和計(jì)算資源、存儲(chǔ)資源一起被統(tǒng)一調(diào)度和按需交付。以虛擬交換機(jī)為代表的虛擬化網(wǎng)絡(luò)設(shè)備可以被整合在服務(wù)器虛擬化管理程序(hypervisor)中統(tǒng)一部署,也可以以軟件方式部署在網(wǎng)關(guān)中實(shí)現(xiàn)與外部物理網(wǎng)絡(luò)的整合。這兩類部署方式代表了業(yè)界目前在疊加網(wǎng)絡(luò)方案中兩大主要流派 (前者是以VMware為代表的“軟”派,后者則是以華為、阿朗為代表的“硬”派)。各種虛擬化網(wǎng)絡(luò)設(shè)備協(xié)同工作,在資源管理平臺(tái)的統(tǒng)一控制下,通過(guò)在節(jié)點(diǎn)間按需搭建虛擬網(wǎng)絡(luò),實(shí)現(xiàn)網(wǎng)絡(luò)資源的虛擬化。

    2.2 SDN控制器

    控制和數(shù)據(jù)平面的分離應(yīng)是SDN最基本的原則之一,其思想是將網(wǎng)絡(luò)設(shè)備的控制平面遷移到集中化的控制器中,利用標(biāo)準(zhǔn)化的南向接口替換了網(wǎng)絡(luò)設(shè)備中的控制平面,并在控制器中增加了可編程的北向接口供上層調(diào)用。因此,控制器在SDN架構(gòu)中具有非常重要的地位,在SDN系統(tǒng)中,各個(gè)層次之間的接口都以它為中心進(jìn)行定義。理想化的SDN控制器應(yīng)是一個(gè)提供如下功能的軟件系統(tǒng)集合[2]。

    · 網(wǎng)絡(luò)狀態(tài)管理。對(duì)于網(wǎng)絡(luò)狀態(tài)的管理與分布可以使用一個(gè)數(shù)據(jù)庫(kù)實(shí)現(xiàn),它負(fù)責(zé)保存來(lái)自被控制的網(wǎng)元設(shè)備和相關(guān)軟件的信息。

    ·高級(jí)數(shù)據(jù)模型。這個(gè)數(shù)據(jù)模型描述被管理的資源、策略和控制器提供的其他服務(wù)之間的關(guān)系。YANG建模語(yǔ)言可以用來(lái)構(gòu)建這個(gè)數(shù)據(jù)模型。

    · 使用 RESTful(representational state transfer,表征狀態(tài)轉(zhuǎn)移)API將控制服務(wù)提供給應(yīng)用程序使用,為控制器與應(yīng)用程序間的交互提供便利。

    · 安全的控制會(huì)話,即控制器和網(wǎng)元設(shè)備中相應(yīng)的代理之間的TCP會(huì)話。

    · 一個(gè)基于標(biāo)準(zhǔn)的、用于在網(wǎng)元設(shè)備上配置應(yīng)用程序驅(qū)動(dòng)的狀態(tài)協(xié)議。

    · 一個(gè)設(shè)備、拓?fù)浜头?wù)發(fā)現(xiàn)機(jī)制,一個(gè)路徑計(jì)算系統(tǒng)。

    目前,在云數(shù)據(jù)中心SDN解決方案中,對(duì)于控制器的選擇分為兩大陣營(yíng),一個(gè)是由商業(yè)公司主導(dǎo)的封閉式SDN控制器,這其中有NSX控制器 (VMware)、VCFC(H3C)、NetMatrix/SNC(華為)、Contrail(瞻博)等多種產(chǎn)品。另一個(gè)則是由開(kāi)源社區(qū)推進(jìn)的開(kāi)放式SDN控制器,包括NOX/POX(Nicira)、Ryu(NTT)、Floodlight(Big Switch Networks)等開(kāi)源項(xiàng)目。從實(shí)際應(yīng)用情況來(lái)看,無(wú)論是商業(yè)SDN控制器還是開(kāi)源SDN控制器,都存在各自的優(yōu)缺點(diǎn)。例如,商業(yè)SDN控制器由廠商獨(dú)立研發(fā),成熟度、可靠性通常較高,但由于采用私有技術(shù)實(shí)現(xiàn),使得多廠商間的互操作性大幅降低。開(kāi)源SDN控制器由于協(xié)議、代碼的開(kāi)放,確保了較高水平的互操作性,但在可靠性方面仍存在不足之處。

    2.3 VxLAN

    VxLAN是一種網(wǎng)絡(luò)虛擬化技術(shù),目標(biāo)在于改善現(xiàn)有VLAN技術(shù)在部署大規(guī)模云數(shù)據(jù)中心時(shí)遇到的擴(kuò)展性問(wèn)題。該技術(shù)是由 VMware、Cisco、Arista、Broadcom、Citrix共同提出的IETF草案,它把基于MAC地址的二層以太網(wǎng)幀封裝到三層UDP分組中。通過(guò)這種MAC-in-UDP封裝技術(shù),VxLAN為虛擬機(jī)提供了與位置無(wú)關(guān)的二層抽象,使得位于不同數(shù)據(jù)中心的虛擬機(jī)通過(guò)大二層網(wǎng)絡(luò)實(shí)現(xiàn)通信,虛擬機(jī)跨站點(diǎn)熱遷移也更加便捷。和VLAN類似,VxLAN也是通過(guò)邏輯網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)多租戶的彼此隔離,同時(shí)由于VxLAN采用24位標(biāo)識(shí)符,它所標(biāo)識(shí)的虛擬化空間數(shù)量可以達(dá)到1 600萬(wàn)個(gè),遠(yuǎn)超VLAN所標(biāo)識(shí)的4 096個(gè)的數(shù)量限制,VxLAN報(bào)文封裝格式如圖1所示。

    通常VxLAN的運(yùn)作依賴于VTEP(VxLAN tunneling end point,VxLAN隧道終端)組件,該組件可以為終端系統(tǒng)提供二層以太網(wǎng)服務(wù)所需的所有功能。其工作原理大致為:VTEP檢查幀中的目標(biāo)MAC地址,查找目標(biāo)VTEP的IP地址。當(dāng)一個(gè)虛擬機(jī)要與其他虛擬機(jī)通信時(shí),通常會(huì)先發(fā)送一個(gè)廣播ARP分組,VTEP會(huì)將其發(fā)送到對(duì)應(yīng)的VNI多播組。其他所有VTEP從該分組中學(xué)習(xí)到發(fā)送方虛擬機(jī)的內(nèi)層MAC地址和其VTEP的外層IP地址,目標(biāo)虛擬機(jī)會(huì)給發(fā)送方返回一個(gè)單播消息來(lái)響應(yīng)ARP,原有VTEP也可以由此學(xué)習(xí)到目標(biāo)地址映射。

    目前,業(yè)界各廠商對(duì)VTEP的實(shí)現(xiàn)方式主要分為3種類型,第一種是在虛擬化軟件hypervisor層中實(shí)現(xiàn)該功能,如VMware的解決方案就是在其ESXi內(nèi)核中創(chuàng)建了VTEP組件,由于該種方式最接近虛擬化層,其效率是最高的;第二種是在虛擬交換機(jī)中集成了VTEP功能,H3C所提供的解決方案就是這一類,該種方式的優(yōu)點(diǎn)在于支持多虛擬化環(huán)境(vSphere、KVM、Xen、hypervisor);第三種是在硬件網(wǎng)絡(luò)設(shè)備中新增VTEP功能,該種方式更適用于非虛擬化環(huán)境,華為、阿朗等傳統(tǒng)網(wǎng)絡(luò)設(shè)備廠商多采用這一類方法。

    在此,需要提醒運(yùn)維人員注意的一點(diǎn)是,由于VTEP對(duì)普通IP報(bào)文進(jìn)行了再次封裝,這將帶來(lái)約50 byte的額外開(kāi)銷(xiāo),當(dāng)現(xiàn)網(wǎng)運(yùn)行的設(shè)備MTU值設(shè)置為1 500 byte,而數(shù)據(jù)分組大小超過(guò)該值需進(jìn)行分片處理時(shí),將導(dǎo)致基于VxLAN封裝的IP報(bào)文無(wú)法到達(dá)目的端。此時(shí)有兩種解決方法,一是將IP報(bào)文發(fā)送端的操作系統(tǒng)MTU值改為1 450 byte以下,二是在IP報(bào)文沿途所有網(wǎng)絡(luò)設(shè)備上開(kāi)啟jumbo frames相關(guān)功能,推薦采用第二種方法解決該問(wèn)題,因?yàn)樵诠歉删W(wǎng)的核心網(wǎng)絡(luò)設(shè)備中通常默認(rèn)開(kāi)啟了jumbo frames相關(guān)功能,運(yùn)維人員僅需確認(rèn)本端及對(duì)端接入層網(wǎng)絡(luò)設(shè)備是否開(kāi)啟該功能即可。

    3 NFV關(guān)鍵問(wèn)題

    NFV和SDN都是近些年為了滿足新的應(yīng)用需求提出的下一代網(wǎng)絡(luò)技術(shù),總體而言,它們各有側(cè)重,分別從不同的角度解決不同的網(wǎng)絡(luò)問(wèn)題,同時(shí)它們又有著非常密切的關(guān)系。雖然兩者都能夠改進(jìn)網(wǎng)絡(luò)的整體可管理性,但是它們的目標(biāo)和方式有所差異。SDN通過(guò)將控制平面和數(shù)據(jù)平面分離來(lái)實(shí)現(xiàn)集中的網(wǎng)絡(luò)控制,而源自運(yùn)營(yíng)商需求的NFV技術(shù)則是通過(guò)軟硬件分離,實(shí)現(xiàn)網(wǎng)絡(luò)功能虛擬化,其關(guān)注的重點(diǎn)是優(yōu)化網(wǎng)絡(luò)服務(wù)本身[3]。這兩種技術(shù)看起來(lái)屬于不同維度,卻具有很強(qiáng)的互補(bǔ)性,利用SDN技術(shù)在流量路由方面所提供的靈活性,結(jié)合NFV的架構(gòu),可以更好地提升網(wǎng)絡(luò)的效率,提高網(wǎng)絡(luò)整體的敏捷性,NFV與SDN關(guān)系如圖2所示。

    業(yè)界普遍認(rèn)為若要NFV技術(shù)真正實(shí)現(xiàn)商用,有兩個(gè)關(guān)鍵問(wèn)題是必須要關(guān)注的,它們分別是與硬件相關(guān)的通用服務(wù)器性能問(wèn)題、與軟件相關(guān)的服務(wù)鏈 (service chain)問(wèn)題,下文將重點(diǎn)討論這兩個(gè)關(guān)鍵問(wèn)題。

    3.1 通用服務(wù)器性能

    圖1 VxLAN報(bào)文封裝格式

    圖2 NFV與SDN關(guān)系

    通過(guò)在云數(shù)據(jù)中心中引入NFV技術(shù),可以將路由器、防火墻、負(fù)載均衡器等任何類型的網(wǎng)絡(luò)功能運(yùn)行在共享的通用服務(wù)器上,并將它們按需劃分為虛擬機(jī)軟件實(shí)例。這樣做的好處是可以有效地降低投資成本 (capital expenditure,CAPEX)和維護(hù)成本(operating expense,OPEX)[4],并縮短業(yè)務(wù)部署與上線時(shí)間。但同時(shí)必須面對(duì)一個(gè)較為棘手的問(wèn)題,即通用服務(wù)器能否完全代替舊有專用硬件網(wǎng)絡(luò)設(shè)備。

    ASIC、NP、CPU 3類芯片構(gòu)建了IT架構(gòu)的基礎(chǔ)。ASIC和NP基于pipeline模式的傳統(tǒng)做法,對(duì)網(wǎng)絡(luò)報(bào)文的轉(zhuǎn)發(fā)和處理可以達(dá)到很高的性能,但業(yè)務(wù)固化,應(yīng)用靈活加載的能力欠缺。新IT融合架構(gòu)的本質(zhì)在于“面向應(yīng)用”,因此以x86架構(gòu)為代表的CPU通用架構(gòu)異軍突起,得到了廣泛的關(guān)注。CPU在計(jì)算能力上優(yōu)勢(shì)明顯,適合處理L4~L7層業(yè)務(wù),但短板是沒(méi)有專用的數(shù)據(jù)面操作系統(tǒng),導(dǎo)致I/O轉(zhuǎn)發(fā)能力弱。而英特爾公司在2013年正式推出的DPDK(data plane development kit,數(shù)據(jù)平面開(kāi)發(fā)套件)技術(shù)可以有效彌補(bǔ)這一短板,它主要用于快速的分組處理,可以顯著提升數(shù)據(jù)分組處理性能,按照英特爾最新發(fā)布的實(shí)驗(yàn)室測(cè)試數(shù)據(jù),基于DPDK的數(shù)據(jù)平面轉(zhuǎn)發(fā)能力已經(jīng)可以達(dá)到220 Gbit/s。雖然離規(guī)模商用仍然尚待時(shí)日,但已經(jīng)讓業(yè)界看到了摩爾定律在NFV領(lǐng)域再續(xù)輝煌的潛力。另外,由于英特爾開(kāi)放了DPDK源代碼,使得廣大網(wǎng)絡(luò)廠商均可以利用DPDK技術(shù)來(lái)提高網(wǎng)絡(luò)設(shè)備的轉(zhuǎn)發(fā)性能。通過(guò)上述技術(shù)使得通用服務(wù)器可以完全替代專用硬件網(wǎng)絡(luò)設(shè)備,甚至提供更高性能的網(wǎng)絡(luò)應(yīng)用,這為NFV走出實(shí)驗(yàn)室、大規(guī)模商用奠定了堅(jiān)實(shí)的基礎(chǔ)。

    3.2 服務(wù)鏈

    隨著云業(yè)務(wù)的交付,尤其是面向多租戶的環(huán)境,網(wǎng)絡(luò)業(yè)務(wù)越來(lái)越復(fù)雜。數(shù)據(jù)報(bào)文在網(wǎng)絡(luò)中傳遞時(shí),需要經(jīng)過(guò)各種各樣的業(yè)務(wù)節(jié)點(diǎn),才能保證網(wǎng)絡(luò)能夠按照設(shè)計(jì)要求,提供給用戶安全、快速、穩(wěn)定的網(wǎng)絡(luò)服務(wù)。這些業(yè)務(wù)節(jié)點(diǎn)(service node)典型的有防火墻、負(fù)載均衡、入侵檢測(cè)等。通常,網(wǎng)絡(luò)流量需要按照業(yè)務(wù)邏輯所要求的既定順序穿過(guò)這些業(yè)務(wù)點(diǎn),這就是所謂的服務(wù)鏈。為了實(shí)現(xiàn)各種業(yè)務(wù)邏輯,服務(wù)鏈需要可編程實(shí)現(xiàn)靈活組合。而隨著SDN以及NFV的不斷推進(jìn),服務(wù)鏈變得更加重要。傳統(tǒng)的網(wǎng)絡(luò)用專業(yè)硬件承載單獨(dú)功能,再將其部署在物理網(wǎng)絡(luò)中,作為一種固化的網(wǎng)絡(luò)拓?fù)?。隨著業(yè)務(wù)編排和服務(wù)鏈的引入,網(wǎng)絡(luò)可以被抽象。運(yùn)營(yíng)商可以面向業(yè)務(wù)流定義所需要的網(wǎng)絡(luò)功能以及業(yè)務(wù)流處理方式。

    通過(guò)SDN控制器,把多個(gè)NFV軟件化的業(yè)務(wù)功能模塊鏈接在一起運(yùn)作,實(shí)現(xiàn)業(yè)務(wù)的靈活調(diào)度,服務(wù)鏈?zhǔn)嵌鄻I(yè)務(wù)整合的關(guān)鍵,也為個(gè)性化應(yīng)用的平臺(tái)開(kāi)發(fā)打下基礎(chǔ)。服務(wù)鏈中的各角色:業(yè)務(wù)節(jié)點(diǎn)(service function)、流分類節(jié)點(diǎn)(classification)、控制平面(control plane)、代理節(jié)點(diǎn)(proxy node)協(xié)同完成業(yè)務(wù)定義。

    4 基于SDN與NFV技術(shù)的云數(shù)據(jù)中心應(yīng)用場(chǎng)景

    隨著技術(shù)逐步走向成熟,越來(lái)越多的運(yùn)營(yíng)商、互聯(lián)網(wǎng)公司和企業(yè)在SDN/NFV相關(guān)領(lǐng)域開(kāi)展實(shí)驗(yàn)網(wǎng)絡(luò)部署、測(cè)試和驗(yàn)證活動(dòng),在SDN/NFV的需求場(chǎng)景識(shí)別、產(chǎn)品驗(yàn)證和商業(yè)準(zhǔn)備等關(guān)鍵環(huán)節(jié)均取得了明顯進(jìn)展。AT&T在2013年啟動(dòng)的Domain2.0計(jì)劃,旨在通過(guò)SDN/NFV技術(shù)將網(wǎng)絡(luò)基礎(chǔ)設(shè)施從以硬件為中心向以軟件為中心轉(zhuǎn)變,實(shí)現(xiàn)基于云架構(gòu)的開(kāi)放網(wǎng)絡(luò)。與傳統(tǒng)電信運(yùn)營(yíng)商的SDN商業(yè)訴求不同,互聯(lián)網(wǎng)公司作為技術(shù)的先行者,在SDN商業(yè)化進(jìn)展方面相對(duì)領(lǐng)先。如Google公司宣布通過(guò)部署SDN能夠?qū)?shù)據(jù)中心之間的鏈路利用率提升至90%以上,并于2014年4月宣布推出基于SDN 和 NFV技術(shù)的Andromeda虛擬化平臺(tái)[5]。

    4.1 試驗(yàn)進(jìn)展與結(jié)論

    中國(guó)電信股份有限公司江蘇分公司 (以下簡(jiǎn)稱江蘇電信)從2014年開(kāi)始積極探索SDN/NFV技術(shù)在云數(shù)據(jù)中心等領(lǐng)域的應(yīng)用,重點(diǎn)關(guān)注機(jī)房資源碎片化、非核心區(qū)域機(jī)房閑置率較高、網(wǎng)絡(luò)資源無(wú)法按需分配、網(wǎng)絡(luò)架構(gòu)難以靈活調(diào)整、網(wǎng)絡(luò)配置過(guò)于復(fù)雜等多方面問(wèn)題,通過(guò)在省內(nèi)不同城市的云資源池中試點(diǎn)部署部分廠商的解決方案,實(shí)現(xiàn)了跨數(shù)據(jù)中心大二層網(wǎng)絡(luò)架構(gòu),總結(jié)并提出了基于SDN/NFV技術(shù)的云數(shù)據(jù)中心組網(wǎng)方案,試驗(yàn)環(huán)境拓?fù)淙鐖D3、圖4所示。

    在SDN領(lǐng)域,試點(diǎn)工作主要圍繞基于SDN+VxLAN技術(shù)的跨數(shù)據(jù)中心大二層組網(wǎng)展開(kāi),分別對(duì)跨機(jī)房東西向、南北向互通以及虛擬機(jī)在線遷移等多個(gè)功能場(chǎng)景進(jìn)行了驗(yàn)證,雖然各廠商提供的方案略有差異,但從試驗(yàn)結(jié)果來(lái)看,均能達(dá)到預(yù)期效果,各類基礎(chǔ)功能場(chǎng)景及價(jià)值結(jié)論見(jiàn)表1。

    圖3 基于SDN/NFV技術(shù)的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)(廠商A)

    圖4 基于SDN/NFV技術(shù)的云數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)(廠商B)

    表1 SDN+VxLAN技術(shù)基礎(chǔ)功能場(chǎng)景及價(jià)值總結(jié)

    同時(shí),充分利用同城兩個(gè)云資源池(位于不同機(jī)房)間已具備的光纖直連環(huán)境,與多廠商提供的SDN+VxLAN解決方案開(kāi)展性能對(duì)比測(cè)試工作,分別對(duì)網(wǎng)站、FTP、視頻、數(shù)據(jù)庫(kù)4類應(yīng)用系統(tǒng)業(yè)務(wù)場(chǎng)景進(jìn)行了模擬,測(cè)試結(jié)果見(jiàn)表2。

    在NFV領(lǐng)域,以江蘇電信業(yè)務(wù)云為試驗(yàn)環(huán)境,試點(diǎn)部署了業(yè)界較為成熟的VMware NSX解決方案,并率先提出了基于NFV架構(gòu)的網(wǎng)絡(luò)自助式云化流程,現(xiàn)階段已依托相關(guān)IT支撐系統(tǒng)對(duì)NSX部分功能進(jìn)行了二次開(kāi)發(fā),目前已完成虛擬防火墻、虛擬負(fù)載均衡器、虛擬DHCP 3類虛擬網(wǎng)元功能開(kāi)發(fā),相關(guān)配置界面如圖5、圖6所示。

    4.2 VDC應(yīng)用產(chǎn)品展望

    在開(kāi)展上述技術(shù)驗(yàn)證工作的同時(shí),計(jì)劃以云計(jì)算和傳統(tǒng)數(shù)據(jù)中心資源整合為切入點(diǎn),結(jié)合IDC產(chǎn)品特性,面向政企用戶推出一類基于SDN/NFV技術(shù)的創(chuàng)新產(chǎn)品——VDC(virtual data center,虛擬數(shù)據(jù)中心)。VDC是用物理設(shè)備構(gòu)建的專屬虛擬化資源池,是將云計(jì)算概念運(yùn)用于IDC的一種新型的數(shù)據(jù)中心形態(tài)。VDC組網(wǎng)是基于VxLAN的大二層技術(shù)實(shí)現(xiàn)多個(gè)IDC機(jī)房的互聯(lián),提供IDC機(jī)房間東西向與底層無(wú)關(guān)的二層互通能力,整合零散的IDC資源,進(jìn)而通過(guò)應(yīng)用SDN、NFV、自動(dòng)化部署等技術(shù),建設(shè)統(tǒng)一創(chuàng)新型VDC運(yùn)營(yíng)管理系統(tǒng),構(gòu)建可伸縮的虛擬化基礎(chǔ)架構(gòu),面向用戶提供靈活、安全的私有云服務(wù),允許客戶在自己定義的虛擬網(wǎng)絡(luò)中配置和使用云資源。用戶可以完全掌控自己的虛擬網(wǎng)絡(luò)環(huán)境,包括選擇自有的 IP地址范圍、創(chuàng)建子網(wǎng)以及配置路由表、網(wǎng)關(guān),甚至包括復(fù)雜的4~7層應(yīng)用交付服務(wù)。在此基礎(chǔ)上,還可以根據(jù)用戶的需求,提供各種應(yīng)用環(huán)境配置、安全管理、代維等增值業(yè)務(wù)。

    表2 光纖直連與各廠商大二層互聯(lián)方案性能測(cè)試結(jié)果

    圖5 虛擬防火墻自助式配置界面

    圖6 虛擬負(fù)載均衡器自助式配置界面

    VDC邏輯模型如圖7所示。

    VDC業(yè)務(wù)場(chǎng)景需求描述見(jiàn)表3。

    5 結(jié)束語(yǔ)

    圖7 VDC邏輯模型

    表3 VDC業(yè)務(wù)場(chǎng)景需求描述

    傳統(tǒng)網(wǎng)絡(luò)設(shè)備支撐了過(guò)去幾十年網(wǎng)絡(luò)的發(fā)展和應(yīng)用,隨著云計(jì)算與移動(dòng)互聯(lián)網(wǎng)的興起,用戶的業(yè)務(wù)需求呈現(xiàn)出多樣化、靈活化、不確定性等特點(diǎn),目前封閉的網(wǎng)絡(luò)體系架構(gòu)已經(jīng)不能滿足實(shí)際應(yīng)用的需求,面臨著越來(lái)越多的問(wèn)題和挑戰(zhàn)。SDN/NFV作為一種革命性的新技術(shù)必將對(duì)未來(lái)網(wǎng)絡(luò)的演進(jìn)帶來(lái)舉足輕重的影響。云網(wǎng)融合已經(jīng)成為一種趨勢(shì),無(wú)論對(duì)運(yùn)營(yíng)商還是互聯(lián)網(wǎng)企業(yè)而言,誰(shuí)能率先實(shí)現(xiàn)云計(jì)算與網(wǎng)絡(luò)基礎(chǔ)設(shè)施的深度融合,誰(shuí)就能夠在“互聯(lián)網(wǎng)+”時(shí)代贏得先機(jī),取得領(lǐng)導(dǎo)地位。

    [1]趙慧玲,雷葆華,王峰,等.SDN核心技術(shù)剖析和實(shí)戰(zhàn)指南[M].北京:電子工業(yè)出版社,2013:12-13.ZHAO H L,LEI B H,WANG F,et al.Deciphering SDN:Core Techniques and Practical Guide [M].Beijing:Publishing House of Electronics Industry,2013:12-13.

    [2]NADEAU T D,GRAY K.軟件定義網(wǎng)絡(luò):SDN與OpenFlow解析 [M].畢軍,單業(yè),張紹宇,等譯.北京:人民郵電出版社,2014:66-67.NADEAU T D,GRAY K.SDN:Software Defined Networks[M].Translated by BI J,SHAN Y,ZHANG S Y,et al.Beijing:Posts and Telecom Press,2014:66-67.

    [3]SDx Central.2015年網(wǎng)絡(luò)功能虛擬化 (NFV)報(bào)告[R/OL].[2015-04-16].http://www.sdnlab.com/10593.html.SDx Central.Network functions virtualization report [R/OL].[2015-04-16].http://www.sdnlab.com/10593.html.

    [4]李祥敬.云數(shù)據(jù)中心引入網(wǎng)絡(luò)功能虛擬化 NFV[EB/OL].[2015-03-22].http://server.yesky.com/datacenter/161/53732661.shtml.LI X J.Data center to introduce the function of the network virtualization [EB/OL]. [2015-03-22].http://server.yesky.com/datacenter/161/53732661.shtml.

    [5]SDN產(chǎn)業(yè)聯(lián)盟.SDN產(chǎn)業(yè)發(fā)展白皮書(shū) (2014年)[EB/OL].[2015-04-23].http://www.sdnlab.com/10752.html.SDN Industry Alliance.White paper ofSDN industrial development [EB/OL]. [2015-04-23].http://www.sdnlab.com/10752.html.

    Application of SDN and NFV technology in the cloud data center

    ZHAO Hui,DING Ming,CHENG Qingsong,LU Ling,KONG Chensheng Operations&Maintenance Center,Jiangsu Branch of China Telecom Co.,Ltd.,Nanjing 210017,China

    Taking the cloud computing data center as the breakthrough point,firstly,the characteristics of overlay network,SDN controller and VxLAN in SDN field were presented.Secondly,two kinds of problems about general server performance and service chain were analyzed in NFV field.Finally,the early test progress of SDN/NFV technology and related conclusions were expounded,then VDC was discussed.

    cloud data center,software defined networking,network function virtualization,VxLAN,big two-layer

    TP393.1

    A

    10.11959/j.issn.1000-0801.2016023

    2015-05-24;

    2015-10-30

    趙輝(1984-),男,中國(guó)電信股份有限公司江蘇分公司操作維護(hù)中心工程師、平臺(tái)維護(hù)技術(shù)支撐工程師,主要研究方向?yàn)樵朴?jì)算平臺(tái)維護(hù)優(yōu)化、SDN/NFV技術(shù)預(yù)研等。

    丁鳴(1977-),男,中國(guó)電信股份有限公司江蘇分公司操作維護(hù)中心工程師、平臺(tái)維護(hù)部主任,主要研究方向?yàn)槠脚_(tái)維護(hù)管理等。

    程青松(1975-),男,中國(guó)電信股份有限公司江蘇分公司操作維護(hù)中心工程師、平臺(tái)維護(hù)部副主任,主要研究方向?yàn)槠脚_(tái)維護(hù)管理等。

    盧凌(1980-),男,中國(guó)電信股份有限公司江蘇分公司操作維護(hù)中心工程師、平臺(tái)維護(hù)技術(shù)支撐工程師,主要研究方向?yàn)樵朴?jì)算平臺(tái)架構(gòu)規(guī)劃和新技術(shù)研究。

    孔晨晨(1984-),男,中國(guó)電信股份有限公司江蘇分公司操作維護(hù)中心工程師、平臺(tái)維護(hù)技術(shù)支撐工程師,主要研究方向?yàn)樵朴?jì)算平臺(tái)維護(hù)優(yōu)化、SDN/混合云預(yù)研等。

    猜你喜歡
    網(wǎng)絡(luò)設(shè)備虛擬化數(shù)據(jù)中心
    酒泉云計(jì)算大數(shù)據(jù)中心
    一種基于C# 的網(wǎng)絡(luò)設(shè)備自動(dòng)化登錄工具的研制
    基于OpenStack虛擬化網(wǎng)絡(luò)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
    電子制作(2019年10期)2019-06-17 11:45:10
    對(duì)基于Docker的虛擬化技術(shù)的幾點(diǎn)探討
    電子制作(2018年14期)2018-08-21 01:38:20
    民航綠色云數(shù)據(jù)中心PUE控制
    虛擬化技術(shù)在計(jì)算機(jī)技術(shù)創(chuàng)造中的應(yīng)用
    數(shù)據(jù)中心唯“快”不破
    存儲(chǔ)虛擬化還有優(yōu)勢(shì)嗎?
    基于云計(jì)算的交通運(yùn)輸數(shù)據(jù)中心實(shí)現(xiàn)與應(yīng)用
    Overlay Network技術(shù)在云計(jì)算數(shù)據(jù)中心中的應(yīng)用
    河南科技(2014年11期)2014-02-27 14:16:49
    又大又爽又粗| 一二三四在线观看免费中文在| 国产精品电影一区二区三区| 中文字幕最新亚洲高清| 老司机福利观看| 精品无人区乱码1区二区| 国产精品偷伦视频观看了| 夜夜爽天天搞| 一个人观看的视频www高清免费观看 | 人妻丰满熟妇av一区二区三区| 亚洲欧美激情综合另类| 中文欧美无线码| 亚洲五月天丁香| 国产av精品麻豆| 一个人免费在线观看的高清视频| 91成年电影在线观看| 成年人免费黄色播放视频| 在线观看免费视频网站a站| 国产xxxxx性猛交| 日韩欧美国产一区二区入口| 无人区码免费观看不卡| 操出白浆在线播放| 国产精品偷伦视频观看了| 国产精品偷伦视频观看了| 亚洲一卡2卡3卡4卡5卡精品中文| 日韩大码丰满熟妇| 又大又爽又粗| av欧美777| 老熟妇乱子伦视频在线观看| 麻豆一二三区av精品| 中文字幕av电影在线播放| 精品国产乱子伦一区二区三区| 亚洲国产欧美网| 久久精品国产清高在天天线| 亚洲 国产 在线| 国产成人免费无遮挡视频| 啪啪无遮挡十八禁网站| av视频免费观看在线观看| 精品少妇一区二区三区视频日本电影| 久久久久久久久免费视频了| 午夜精品久久久久久毛片777| 亚洲激情在线av| 国产亚洲精品第一综合不卡| a级毛片黄视频| 香蕉久久夜色| 91老司机精品| 免费av中文字幕在线| 国产av又大| 精品免费久久久久久久清纯| 亚洲熟妇中文字幕五十中出 | x7x7x7水蜜桃| 夜夜爽天天搞| 成人亚洲精品一区在线观看| 欧美日韩亚洲综合一区二区三区_| 中文字幕人妻丝袜一区二区| 久久久国产欧美日韩av| 国产一区在线观看成人免费| 精品人妻在线不人妻| 在线观看一区二区三区激情| 久久国产精品男人的天堂亚洲| 亚洲第一av免费看| 天天影视国产精品| 女同久久另类99精品国产91| 激情在线观看视频在线高清| 亚洲五月色婷婷综合| 老司机在亚洲福利影院| 亚洲精品成人av观看孕妇| 精品国产超薄肉色丝袜足j| 欧美一区二区精品小视频在线| 国产一区二区三区视频了| 一边摸一边做爽爽视频免费| 国产高清国产精品国产三级| 多毛熟女@视频| 亚洲欧洲精品一区二区精品久久久| 熟女少妇亚洲综合色aaa.| 一级片'在线观看视频| 操美女的视频在线观看| 在线观看午夜福利视频| 欧美+亚洲+日韩+国产| 国产av精品麻豆| 欧美久久黑人一区二区| 中文字幕人妻丝袜一区二区| 久久久久精品国产欧美久久久| 亚洲成av片中文字幕在线观看| 高清av免费在线| 国产主播在线观看一区二区| 国产精品九九99| 成人黄色视频免费在线看| 国产99白浆流出| 国产精品av久久久久免费| 欧美精品啪啪一区二区三区| 国产精品爽爽va在线观看网站 | 性色av乱码一区二区三区2| 国产男靠女视频免费网站| 欧美一区二区精品小视频在线| 91精品国产国语对白视频| 国产一区二区三区综合在线观看| 久久精品91蜜桃| 啦啦啦在线免费观看视频4| 成人18禁在线播放| 狂野欧美激情性xxxx| 国产国语露脸激情在线看| 一级,二级,三级黄色视频| 国产成人精品久久二区二区91| 久久中文字幕人妻熟女| 91成年电影在线观看| 淫秽高清视频在线观看| 亚洲精品美女久久av网站| 极品教师在线免费播放| 操美女的视频在线观看| 777久久人妻少妇嫩草av网站| 精品一区二区三卡| 久久久久九九精品影院| 在线国产一区二区在线| 天天影视国产精品| 黄片大片在线免费观看| 真人做人爱边吃奶动态| 99re在线观看精品视频| 亚洲五月婷婷丁香| 99国产精品99久久久久| 在线观看一区二区三区| 两性夫妻黄色片| 脱女人内裤的视频| 久久人人精品亚洲av| 亚洲av第一区精品v没综合| 熟女少妇亚洲综合色aaa.| 亚洲专区国产一区二区| av有码第一页| 91麻豆av在线| 动漫黄色视频在线观看| 嫩草影院精品99| 性欧美人与动物交配| 日韩国内少妇激情av| 午夜福利欧美成人| 欧美色视频一区免费| 亚洲色图综合在线观看| 美女大奶头视频| 亚洲国产精品一区二区三区在线| 国产精品一区二区免费欧美| 亚洲国产精品sss在线观看 | 国产伦一二天堂av在线观看| 日韩 欧美 亚洲 中文字幕| 免费高清在线观看日韩| 久99久视频精品免费| 日韩大尺度精品在线看网址 | 亚洲精品成人av观看孕妇| 一区福利在线观看| 免费在线观看黄色视频的| 91在线观看av| 久久中文看片网| 99香蕉大伊视频| 好看av亚洲va欧美ⅴa在| 亚洲国产精品999在线| 亚洲精华国产精华精| 久久热在线av| 成人三级黄色视频| 久久午夜亚洲精品久久| www日本在线高清视频| 在线永久观看黄色视频| 99久久精品国产亚洲精品| www日本在线高清视频| 欧美激情 高清一区二区三区| av福利片在线| 在线观看66精品国产| 欧美激情 高清一区二区三区| 国产精品美女特级片免费视频播放器 | 妹子高潮喷水视频| 欧美午夜高清在线| 一级,二级,三级黄色视频| 高清在线国产一区| 亚洲av成人一区二区三| 亚洲熟女毛片儿| 欧美在线黄色| 国产一区二区三区在线臀色熟女 | 悠悠久久av| av视频免费观看在线观看| 性色av乱码一区二区三区2| 亚洲人成电影免费在线| 丰满迷人的少妇在线观看| 777久久人妻少妇嫩草av网站| 99国产极品粉嫩在线观看| 亚洲熟妇中文字幕五十中出 | 久久精品91蜜桃| 国产91精品成人一区二区三区| 99精品久久久久人妻精品| 两性午夜刺激爽爽歪歪视频在线观看 | 欧美丝袜亚洲另类 | 国产亚洲精品第一综合不卡| 一边摸一边抽搐一进一小说| av国产精品久久久久影院| 欧美av亚洲av综合av国产av| 亚洲自偷自拍图片 自拍| 国产精品影院久久| 亚洲人成电影观看| 女人爽到高潮嗷嗷叫在线视频| 精品久久久久久,| 国产伦人伦偷精品视频| 精品一区二区三区四区五区乱码| 伦理电影免费视频| 成人永久免费在线观看视频| 国产高清视频在线播放一区| 亚洲视频免费观看视频| 久久久久久久精品吃奶| 中文字幕色久视频| 亚洲国产欧美网| 老司机靠b影院| 久久精品影院6| www国产在线视频色| 精品国产亚洲在线| 电影成人av| 啦啦啦在线免费观看视频4| 免费少妇av软件| 国产成人影院久久av| 热re99久久国产66热| 日韩欧美一区视频在线观看| 女人精品久久久久毛片| 免费在线观看影片大全网站| 1024视频免费在线观看| 99国产精品一区二区三区| 欧美黄色片欧美黄色片| 国产成人啪精品午夜网站| 久久久久久人人人人人| 在线观看午夜福利视频| 女性被躁到高潮视频| 日本精品一区二区三区蜜桃| 十分钟在线观看高清视频www| 日韩中文字幕欧美一区二区| 亚洲国产精品一区二区三区在线| 久久久久久久久中文| 国产欧美日韩一区二区三| 日本wwww免费看| 一二三四在线观看免费中文在| 久久精品人人爽人人爽视色| 91大片在线观看| 新久久久久国产一级毛片| 又大又爽又粗| 午夜91福利影院| 91麻豆精品激情在线观看国产 | 国产野战对白在线观看| 日韩有码中文字幕| 亚洲熟女毛片儿| 黄频高清免费视频| 咕卡用的链子| 十八禁网站免费在线| 自拍欧美九色日韩亚洲蝌蚪91| 日韩免费av在线播放| 午夜福利在线观看吧| 国产亚洲精品综合一区在线观看 | 国产成人免费无遮挡视频| 国产高清激情床上av| 日本wwww免费看| 天堂俺去俺来也www色官网| 午夜亚洲福利在线播放| netflix在线观看网站| 久久中文看片网| 99久久综合精品五月天人人| av中文乱码字幕在线| 久久精品亚洲av国产电影网| 麻豆成人av在线观看| 久久中文字幕人妻熟女| 在线国产一区二区在线| 五月开心婷婷网| 亚洲欧洲精品一区二区精品久久久| 亚洲成人精品中文字幕电影 | 女同久久另类99精品国产91| 久久亚洲真实| 色婷婷久久久亚洲欧美| 黄色视频,在线免费观看| 我的亚洲天堂| 国产91精品成人一区二区三区| 大码成人一级视频| 在线视频色国产色| 极品人妻少妇av视频| 色哟哟哟哟哟哟| 亚洲一区二区三区欧美精品| 亚洲av五月六月丁香网| 满18在线观看网站| 91九色精品人成在线观看| 日本精品一区二区三区蜜桃| 日韩欧美在线二视频| 国产三级在线视频| 极品人妻少妇av视频| 黄色 视频免费看| 久久久久国内视频| 精品福利观看| 大陆偷拍与自拍| 亚洲精品av麻豆狂野| 亚洲视频免费观看视频| 多毛熟女@视频| 男女午夜视频在线观看| bbb黄色大片| 热re99久久精品国产66热6| 啪啪无遮挡十八禁网站| 曰老女人黄片| 久久人妻熟女aⅴ| 99久久99久久久精品蜜桃| 免费高清视频大片| 精品一区二区三区av网在线观看| 午夜免费观看网址| 亚洲精品国产色婷婷电影| 午夜福利欧美成人| 成人三级做爰电影| 男人舔女人下体高潮全视频| 婷婷丁香在线五月| 搡老岳熟女国产| av片东京热男人的天堂| 99久久人妻综合| 久99久视频精品免费| 久久久久久免费高清国产稀缺| 日韩av在线大香蕉| 欧美日韩av久久| 亚洲九九香蕉| 国产成+人综合+亚洲专区| 国产三级黄色录像| 丁香六月欧美| 老汉色av国产亚洲站长工具| 午夜免费鲁丝| 久久精品影院6| xxx96com| 天堂动漫精品| 精品国内亚洲2022精品成人| 国产精品一区二区三区四区久久 | 大香蕉久久成人网| 国产精品1区2区在线观看.| 国产亚洲欧美在线一区二区| 如日韩欧美国产精品一区二区三区| 午夜福利欧美成人| 久久亚洲真实| 美女福利国产在线| 久久人人精品亚洲av| 久久亚洲真实| 亚洲av美国av| 中国美女看黄片| 看片在线看免费视频| 亚洲国产精品999在线| 最近最新免费中文字幕在线| 国产av一区在线观看免费| 国产亚洲精品久久久久久毛片| 亚洲精品美女久久av网站| 亚洲欧美激情综合另类| 激情在线观看视频在线高清| 亚洲熟妇中文字幕五十中出 | 欧美乱色亚洲激情| 80岁老熟妇乱子伦牲交| 在线观看日韩欧美| 中文字幕精品免费在线观看视频| 巨乳人妻的诱惑在线观看| 十八禁人妻一区二区| 日韩成人在线观看一区二区三区| 久久九九热精品免费| 欧美成人午夜精品| 久久九九热精品免费| 亚洲五月色婷婷综合| 久久精品成人免费网站| 亚洲欧美激情在线| 午夜精品在线福利| 日韩免费av在线播放| 在线观看日韩欧美| 神马国产精品三级电影在线观看 | 亚洲欧美日韩无卡精品| 亚洲成国产人片在线观看| 国产av在哪里看| 性少妇av在线| 丁香欧美五月| 一级片'在线观看视频| 亚洲第一av免费看| 国产精品久久电影中文字幕| 国产主播在线观看一区二区| www.熟女人妻精品国产| 午夜福利,免费看| xxx96com| 免费在线观看完整版高清| 两个人看的免费小视频| 99在线人妻在线中文字幕| xxxhd国产人妻xxx| 久久香蕉国产精品| 亚洲av片天天在线观看| 极品教师在线免费播放| 老司机亚洲免费影院| 亚洲av第一区精品v没综合| 热99国产精品久久久久久7| 在线看a的网站| 欧美激情久久久久久爽电影 | 成人亚洲精品av一区二区 | 国产99久久九九免费精品| 国产黄a三级三级三级人| 一级毛片女人18水好多| 国产精品九九99| 中文字幕高清在线视频| 久久中文字幕人妻熟女| 欧美激情久久久久久爽电影 | 色尼玛亚洲综合影院| 黄色女人牲交| 国产高清国产精品国产三级| 免费高清视频大片| 亚洲国产欧美网| 亚洲九九香蕉| 手机成人av网站| 麻豆av在线久日| 侵犯人妻中文字幕一二三四区| 在线观看午夜福利视频| 丝袜在线中文字幕| 美女 人体艺术 gogo| 国产av在哪里看| 首页视频小说图片口味搜索| 日本 av在线| 在线播放国产精品三级| 亚洲熟妇中文字幕五十中出 | 久久99一区二区三区| 曰老女人黄片| 国产精品久久视频播放| 久久婷婷成人综合色麻豆| 国产极品粉嫩免费观看在线| 久久久国产欧美日韩av| 欧洲精品卡2卡3卡4卡5卡区| 欧美老熟妇乱子伦牲交| 一级毛片精品| av在线天堂中文字幕 | 一个人免费在线观看的高清视频| 又黄又粗又硬又大视频| 亚洲五月天丁香| 亚洲欧美日韩另类电影网站| 欧美日韩视频精品一区| 人人妻,人人澡人人爽秒播| 少妇的丰满在线观看| 国产又色又爽无遮挡免费看| 最近最新中文字幕大全电影3 | 日本免费一区二区三区高清不卡 | 亚洲av片天天在线观看| 老汉色av国产亚洲站长工具| 正在播放国产对白刺激| 在线观看一区二区三区| 老司机午夜福利在线观看视频| 亚洲精品一区av在线观看| 亚洲人成伊人成综合网2020| 999久久久国产精品视频| 国产成人影院久久av| 侵犯人妻中文字幕一二三四区| 狠狠狠狠99中文字幕| 久久 成人 亚洲| 国产一区二区三区在线臀色熟女 | 超色免费av| 久久久久久人人人人人| 女人被狂操c到高潮| 美女午夜性视频免费| 正在播放国产对白刺激| 女生性感内裤真人,穿戴方法视频| 咕卡用的链子| 精品福利永久在线观看| 亚洲一区二区三区色噜噜 | 999精品在线视频| 久久这里只有精品19| 在线观看一区二区三区激情| 成人18禁在线播放| 国产黄a三级三级三级人| 国产熟女xx| 一个人观看的视频www高清免费观看 | 老司机亚洲免费影院| 国产黄色免费在线视频| 亚洲成人免费电影在线观看| 久久这里只有精品19| 国产真人三级小视频在线观看| 天堂影院成人在线观看| 欧美日韩中文字幕国产精品一区二区三区 | 久久久国产成人精品二区 | 欧美中文综合在线视频| 亚洲,欧美精品.| 看片在线看免费视频| 黄频高清免费视频| 夜夜看夜夜爽夜夜摸 | 999久久久精品免费观看国产| 99久久国产精品久久久| 一a级毛片在线观看| 最近最新中文字幕大全电影3 | 精品人妻1区二区| 熟女少妇亚洲综合色aaa.| 午夜福利,免费看| 色综合婷婷激情| 成人亚洲精品一区在线观看| 欧美不卡视频在线免费观看 | 日韩成人在线观看一区二区三区| 天堂影院成人在线观看| 国产免费现黄频在线看| 亚洲av五月六月丁香网| 午夜精品久久久久久毛片777| 久久久国产欧美日韩av| 欧美大码av| 成人亚洲精品一区在线观看| 亚洲色图av天堂| 一区在线观看完整版| 女人高潮潮喷娇喘18禁视频| 国产精品久久电影中文字幕| 成年人免费黄色播放视频| 又黄又粗又硬又大视频| 大香蕉久久成人网| 国产三级在线视频| 搡老乐熟女国产| 国产成人精品在线电影| a级毛片黄视频| 成人黄色视频免费在线看| 91成人精品电影| www.熟女人妻精品国产| 国产免费现黄频在线看| 国产精品一区二区精品视频观看| 免费在线观看黄色视频的| 欧美在线黄色| 夜夜躁狠狠躁天天躁| 天天添夜夜摸| 亚洲人成网站在线播放欧美日韩| 免费在线观看亚洲国产| 日韩欧美一区二区三区在线观看| 亚洲va日本ⅴa欧美va伊人久久| 男人的好看免费观看在线视频 | 熟女少妇亚洲综合色aaa.| 亚洲精品美女久久久久99蜜臀| 亚洲专区字幕在线| 91国产中文字幕| 日韩免费av在线播放| 99久久综合精品五月天人人| 国产精品二区激情视频| 高清欧美精品videossex| 大香蕉久久成人网| 亚洲成人精品中文字幕电影 | 在线观看一区二区三区| 国产精品电影一区二区三区| 久久精品国产亚洲av高清一级| 97人妻天天添夜夜摸| 后天国语完整版免费观看| 美女大奶头视频| 我的亚洲天堂| 日日干狠狠操夜夜爽| 999久久久精品免费观看国产| 成人国语在线视频| 亚洲久久久国产精品| 日韩国内少妇激情av| 久久性视频一级片| 国产成人系列免费观看| 国产精品一区二区免费欧美| 精品国产乱码久久久久久男人| 亚洲欧美日韩另类电影网站| 老司机午夜十八禁免费视频| 另类亚洲欧美激情| 搡老熟女国产l中国老女人| 久久精品91无色码中文字幕| 成人国产一区最新在线观看| 免费av中文字幕在线| av有码第一页| 一二三四在线观看免费中文在| 国产精品秋霞免费鲁丝片| 男女做爰动态图高潮gif福利片 | 9热在线视频观看99| av福利片在线| 亚洲精品久久成人aⅴ小说| 美女福利国产在线| 一边摸一边抽搐一进一小说| 国产男靠女视频免费网站| 久久影院123| videosex国产| 国产视频一区二区在线看| 操美女的视频在线观看| 深夜精品福利| 在线十欧美十亚洲十日本专区| 99在线视频只有这里精品首页| 搡老岳熟女国产| 免费观看精品视频网站| 国产精品久久久久久人妻精品电影| 国产高清视频在线播放一区| 多毛熟女@视频| 一个人免费在线观看的高清视频| 亚洲成人免费电影在线观看| 亚洲一区高清亚洲精品| 国产欧美日韩精品亚洲av| 日韩精品中文字幕看吧| 99香蕉大伊视频| 久热这里只有精品99| 亚洲国产欧美网| 国产精华一区二区三区| 国产精品久久久av美女十八| 高潮久久久久久久久久久不卡| 亚洲国产精品一区二区三区在线| 国产精品综合久久久久久久免费 | 啦啦啦在线免费观看视频4| 亚洲黑人精品在线| 日本五十路高清| 黄片播放在线免费| 亚洲精品中文字幕一二三四区| 国产无遮挡羞羞视频在线观看| 久久久久国产一级毛片高清牌| 亚洲精品粉嫩美女一区| 777久久人妻少妇嫩草av网站| x7x7x7水蜜桃| 男女床上黄色一级片免费看| 手机成人av网站| 精品久久久久久电影网| 黄片小视频在线播放| 欧美性长视频在线观看| 黄色片一级片一级黄色片| 国产91精品成人一区二区三区| 欧美人与性动交α欧美软件| 99热国产这里只有精品6| 91麻豆精品激情在线观看国产 | 国产成人影院久久av| 亚洲国产精品sss在线观看 | 男女床上黄色一级片免费看| a级毛片黄视频| 免费在线观看亚洲国产| 亚洲成av片中文字幕在线观看| 欧美不卡视频在线免费观看 | 美女大奶头视频| 黄色毛片三级朝国网站| 视频在线观看一区二区三区| 无遮挡黄片免费观看| 国产1区2区3区精品| 亚洲五月婷婷丁香| 国产又色又爽无遮挡免费看|