• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    電信IP網(wǎng)向SDN演進的探討

    2014-02-28 06:18:10何曉明毛東峰
    電信科學(xué) 2014年6期
    關(guān)鍵詞:交換機虛擬化數(shù)據(jù)中心

    何曉明,冀 暉,毛東峰,唐 宏

    (1.中國電信股份有限公司廣東研究院 廣州510630;2.中國電信集團公司 北京100032)

    1 當前電信IP網(wǎng)面臨的問題

    電信IP網(wǎng)絡(luò)從最初僅能滿足互聯(lián)網(wǎng)應(yīng)用的“盡力而為”網(wǎng)絡(luò)發(fā)展到今天能夠提供具有服務(wù)質(zhì)量保證的語音、視頻、文本等多媒體業(yè)務(wù)的融合承載網(wǎng),IP網(wǎng)絡(luò)的功能和性能發(fā)生了巨大的變化。支撐IP網(wǎng)絡(luò)飛速發(fā)展的TCP/IP技術(shù)體系也在不斷地 “做加法”,變得日趨龐大和復(fù)雜,IETF組織正式發(fā)布的RFC文檔目前已超過7 000個。然而,這種基于分布式路由計算的網(wǎng)絡(luò)架構(gòu)并未發(fā)生本質(zhì)的變化。今天的IP網(wǎng)絡(luò)就像得了肥胖癥,并伴生出多種難以治愈的并發(fā)癥,如網(wǎng)絡(luò)設(shè)備更具多樣性和復(fù)雜性,由此導(dǎo)致的網(wǎng)絡(luò)運維將不堪重負;網(wǎng)絡(luò)不能適應(yīng)快速變化的業(yè)務(wù)和應(yīng)用需求等。下面從這些方面分別進行闡述。

    1.1 網(wǎng)絡(luò)設(shè)備的多樣性和復(fù)雜性

    最初的IP組網(wǎng)設(shè)備僅有交換機和路由器兩種設(shè)備形態(tài),設(shè)備廠商也較為單一,基本上維持Cisco設(shè)備一統(tǒng)天下的局面。隨著IP技術(shù)發(fā)展以及市場競爭的加劇,越來越多的公司加入網(wǎng)絡(luò)設(shè)備研發(fā)隊列;與此同時,電信運營商也需要更多地考慮建設(shè)網(wǎng)絡(luò)基礎(chǔ)設(shè)施的經(jīng)濟性和網(wǎng)絡(luò)運營的安全性,多廠商設(shè)備組網(wǎng)已成為各大運營商共識。另一方面,豐富多彩的網(wǎng)絡(luò)應(yīng)用也催生出更多的設(shè)備形態(tài)和種類,像以太網(wǎng)交換機、路由器、網(wǎng)關(guān)設(shè)備、寬帶接入服務(wù)器、防火墻、網(wǎng)絡(luò)地址轉(zhuǎn)換(NAT)設(shè)備、負載均衡設(shè)備這些標準化程度較高的設(shè)備都已廣泛部署在各大運營商網(wǎng)絡(luò)。這些為滿足不同功能、運行多種不同協(xié)議的設(shè)備組成的異構(gòu)網(wǎng)絡(luò)需要通過TCP/IP互聯(lián)起來,共同構(gòu)筑今天通達全球的信息高速公路。

    過去30多年來,IP技術(shù)在不斷滿足人類信息需求的過程中取得了巨大的成功,這種成功建立在對TCP/IP技術(shù)體系不斷豐富完善的基礎(chǔ)之上。層出不窮的網(wǎng)絡(luò)應(yīng)用對IP網(wǎng)絡(luò)的傳輸容量、可靠性和擴展性、安全性提出了新的要求。每當一個新的功能和性能需求提出時,需要有一種新的網(wǎng)絡(luò)協(xié)議與之相適應(yīng)。比如說,設(shè)備需要支持區(qū)分服務(wù)(DiffServ)或綜合服務(wù)(IntServ)協(xié)議以支撐網(wǎng)絡(luò)的差異化的QoS服務(wù);設(shè)備需要支持PIM(protocol independent multicast,協(xié)議無關(guān)多播)協(xié)議以提供網(wǎng)絡(luò)多播服務(wù);設(shè)備需要支持標簽分發(fā)協(xié)議(LDP)和多協(xié)議邊界網(wǎng)關(guān)協(xié)議(M-iBGP),才能提供二、三層MPLS/VPN服務(wù)。每一次設(shè)備功能和性能的增強都是以設(shè)備復(fù)雜度的增加作為代價,網(wǎng)絡(luò)設(shè)備就在人們對網(wǎng)絡(luò)應(yīng)用需求永無止境的追求中積累著難以承受的復(fù)雜度。這種IP網(wǎng)絡(luò)和設(shè)備的復(fù)雜性根源于傳統(tǒng)分布式路由計算的網(wǎng)絡(luò)架構(gòu),只要傳統(tǒng)IP網(wǎng)絡(luò)架構(gòu)不發(fā)生革命性的變化,IP網(wǎng)絡(luò)和設(shè)備的復(fù)雜性就將會與日俱增。

    1.2 網(wǎng)絡(luò)運維的艱巨性

    電信IP網(wǎng)絡(luò)的多廠商、多設(shè)備形態(tài)、多版本的設(shè)備組網(wǎng)特點帶給網(wǎng)絡(luò)運維的復(fù)雜性不言而喻。不同設(shè)備形態(tài)、不同廠商、不同軟硬件版本的設(shè)備存在功能和性能差異,配置命令也互不相同,網(wǎng)絡(luò)運維人員需要耗費大量時間和精力熟悉多種設(shè)備的技術(shù)特點和配置命令。在實際網(wǎng)絡(luò)運維中,運維部門通常按照設(shè)備廠商、設(shè)備形態(tài)或版本型號配置相應(yīng)的技術(shù)人員,通過對管理界面適度分工的方式來緩解運維壓力。這種分工協(xié)作的運維管理模式也滋生出一種副作用,那就是負責不同廠商設(shè)備的專業(yè)技術(shù)人員難以就設(shè)備互聯(lián)互通問題進行有效的溝通,導(dǎo)致業(yè)務(wù)開通及網(wǎng)絡(luò)排障的時效性差,飽受用戶和客戶詬病。

    與此同時,IP技術(shù)發(fā)展日新月異,設(shè)備需要同時運行多種信令協(xié)議來支持不同的網(wǎng)絡(luò)應(yīng)用,網(wǎng)絡(luò)技術(shù)人員需要不斷熟悉和掌握IP新技術(shù),這也對網(wǎng)絡(luò)運維人員的專業(yè)技能提出了更高要求。今天網(wǎng)絡(luò)的配置工作正變得日益繁重,通常需要在大型運營商網(wǎng)絡(luò)設(shè)備上手工完成上千行配置命令,這對技術(shù)人員來說,是一件望而生畏的工作。隨著移動互聯(lián)網(wǎng)、云計算的廣泛應(yīng)用,網(wǎng)絡(luò)更趨向于動態(tài)化,相比于過去的靜態(tài)網(wǎng)絡(luò),今天網(wǎng)絡(luò)中的參數(shù)和配置命令更需要進行動態(tài)配置和修改,比如說,網(wǎng)絡(luò)中增加、刪除或移動某臺設(shè)備時,運維人員需要使用設(shè)備級的管理工具調(diào)整相關(guān)聯(lián)設(shè)備如交換機、路由器、防火墻、AAA認證系統(tǒng)的網(wǎng)絡(luò)參數(shù),更新相關(guān)設(shè)備的訪問控制列表(ACL)、VLAN、QoS等配置命令。服務(wù)器虛擬化極大地增加了網(wǎng)絡(luò)互聯(lián)的主機數(shù)目,虛擬機(VM)遷移對傳統(tǒng)網(wǎng)絡(luò)的諸多方面提出了挑戰(zhàn),從尋址方案、命名空間到網(wǎng)絡(luò)分段和路由設(shè)計等,都對網(wǎng)絡(luò)的動態(tài)配置提出了很高的要求。由于應(yīng)用需求的動態(tài)變化、主機位置的移動、設(shè)備的添加和刪除隨時都可能發(fā)生,網(wǎng)絡(luò)配置也需要適應(yīng)這種動態(tài)變化的環(huán)境。傳統(tǒng)網(wǎng)絡(luò)基于設(shè)備級的手工配置方法不能適應(yīng)當前動態(tài)變化的網(wǎng)絡(luò)環(huán)境,網(wǎng)絡(luò)配置的自動化更能適應(yīng)快速變化的業(yè)務(wù)和應(yīng)用需求,并能從根本上把網(wǎng)絡(luò)技術(shù)人員從繁重的運維工作中解脫出來。

    1.3 網(wǎng)絡(luò)不能適應(yīng)快速變化的業(yè)務(wù)和應(yīng)用需求

    移動設(shè)備、存儲和服務(wù)器虛擬化的爆發(fā)以及云服務(wù)的興起迫使網(wǎng)絡(luò)工業(yè)重新審視傳統(tǒng)IP網(wǎng)絡(luò)架構(gòu)。傳統(tǒng)靜態(tài)的IP網(wǎng)絡(luò)架構(gòu)能較好地適應(yīng)以客戶機/服務(wù)器模式為主的網(wǎng)絡(luò)應(yīng)用,然而,這種靜態(tài)架構(gòu)不能很好地適配今天云數(shù)據(jù)中心對動態(tài)計算和存儲的需要。下面幾個關(guān)鍵因素正驅(qū)動著傳統(tǒng)網(wǎng)絡(luò)架構(gòu)的變革。

    (1)流量模型的變化

    今天的云數(shù)據(jù)中心,其流量模型正在發(fā)生重大變化。對比過去占統(tǒng)治地位的客戶機/服務(wù)器應(yīng)用,數(shù)據(jù)中心流量流向主要以南北向為主。在云計算環(huán)境下,用戶對前端服務(wù)器訪問請求,會引起大量后端服務(wù)器的分布式計算,這種后端服務(wù)器群組的協(xié)同計算產(chǎn)生巨大突發(fā)的東西向流量。同時,以社交網(wǎng)絡(luò)和即時通信為代表的移動互聯(lián)網(wǎng)應(yīng)用的爆發(fā)正在改變著互聯(lián)網(wǎng)的流量模型,永遠在線的移動終端無時無刻不在制造并向網(wǎng)絡(luò)注入海量內(nèi)容,改變了過去互聯(lián)網(wǎng)上下行流量嚴重不對稱現(xiàn)象。再者,許多企業(yè)數(shù)據(jù)中心的管理者正在考慮把傳統(tǒng)的企業(yè)數(shù)據(jù)中心轉(zhuǎn)變成私有云、公有云或混合云,這將產(chǎn)生更多的跨越廣域網(wǎng)的流量。

    (2)云服務(wù)的興起

    企業(yè)開始關(guān)注并對公有云和私有云服務(wù)產(chǎn)生興趣,導(dǎo)致云服務(wù)的迅速增長。企業(yè)希望以更加靈活的方式按需獲取互聯(lián)網(wǎng)應(yīng)用、基礎(chǔ)設(shè)施和IT資源。這對網(wǎng)絡(luò)的安全隔離性、策略一致性、審計等方面提出了更高要求。網(wǎng)絡(luò)在為計算、存儲和網(wǎng)絡(luò)資源提供更多彈性和可擴展性的同時,還需部署自服務(wù)平臺,方便用戶隨時獲取所需資源。

    (3)大數(shù)據(jù)對網(wǎng)絡(luò)帶寬的彈性要求

    大數(shù)據(jù)正成為互聯(lián)網(wǎng)企業(yè)追逐的下一座金礦。大數(shù)據(jù)處理需要成百上千臺相互連接的服務(wù)器并行計算,如百度和Google搜索引擎就是一種典型的大數(shù)據(jù)應(yīng)用。根據(jù)權(quán)威機構(gòu)預(yù)測,隨著大數(shù)據(jù)應(yīng)用范圍的擴展,計算節(jié)點之間交換的數(shù)據(jù)流量將達到PB量級。大數(shù)據(jù)時代要求網(wǎng)絡(luò)帶寬具有極大彈性和伸縮性,能夠動態(tài)提供從數(shù)十吉比特每秒到太比特每秒級的網(wǎng)絡(luò)帶寬,以滿足成千上萬臺服務(wù)器之間的高容量、低時延的網(wǎng)絡(luò)連接。

    (4)網(wǎng)絡(luò)虛擬化要求

    當前電信運營商網(wǎng)絡(luò)部署了大量種類各異的專用硬件設(shè)備,這些專用硬件設(shè)施是在不同時期為滿足特定業(yè)務(wù)而購置的。這些設(shè)備生命周期短,運營維護成本高,為特定業(yè)務(wù)專門定制和獨享,利用效率低。隨著新業(yè)務(wù)層出不窮的涌現(xiàn),需要部署更多新的專用硬件,不僅開發(fā)周期長,影響業(yè)務(wù)的快速部署,不利于網(wǎng)絡(luò)和應(yīng)用創(chuàng)新,而且大大增加了電信運營商的資本支出。電信運營商迫切需要尋求一種通用的網(wǎng)絡(luò)基礎(chǔ)實施,支撐未來不斷變化的業(yè)務(wù)和應(yīng)用需求。計算和存儲的虛擬化技術(shù)的大量商用部署為網(wǎng)絡(luò)功能虛擬化打開了一扇門。網(wǎng)絡(luò)虛擬化的目標是通過借助IT虛擬化技術(shù)把網(wǎng)絡(luò)基礎(chǔ)設(shè)施轉(zhuǎn)變成工業(yè)標準的大容量服務(wù)器、存儲設(shè)備和交換機,而使業(yè)務(wù)的部署不再受具體物理設(shè)備及位置的限制。

    2 SDN對傳統(tǒng)網(wǎng)絡(luò)的變革

    傳統(tǒng)網(wǎng)絡(luò)架構(gòu)不能很好地適應(yīng)今天的企業(yè)、電信運營商及用戶的需求。由開放網(wǎng)絡(luò)基金組織(ONF)發(fā)起的軟件定義網(wǎng)絡(luò)(SDN)正在變革傳統(tǒng)網(wǎng)絡(luò)架構(gòu)。根據(jù)ONF對SDN的定義,在SDN架構(gòu)中,控制平面和數(shù)據(jù)平面解耦,網(wǎng)絡(luò)智能和狀態(tài)邏輯集中,底層網(wǎng)絡(luò)基礎(chǔ)設(shè)施抽象于應(yīng)用。企業(yè)和電信運營商能夠?qū)崿F(xiàn)對網(wǎng)絡(luò)的自動化、編程和控制,網(wǎng)絡(luò)變得更加具有擴展性、靈活性,更能適應(yīng)不斷變化的業(yè)務(wù)和應(yīng)用的需求。

    ONF提出的SDN架構(gòu)如圖1所示。SDN架構(gòu)分為3層,最上層為應(yīng)用層,包括了各種不同的業(yè)務(wù)和網(wǎng)絡(luò)應(yīng)用。應(yīng)用層根據(jù)網(wǎng)絡(luò)不同的應(yīng)用需求,調(diào)用與控制層相接的應(yīng)用編程接口(API),實現(xiàn)不同功能的應(yīng)用程序。利用API,業(yè)務(wù)應(yīng)用可以充分利用網(wǎng)絡(luò)的服務(wù)和能力,并在一個抽象的網(wǎng)絡(luò)上進行操作,實現(xiàn)通常的網(wǎng)絡(luò)服務(wù),包括路由、多播、安全、訪問控制、帶寬管理、流量工程、服務(wù)質(zhì)量、計算和存儲優(yōu)化、能源管理、各種形式的策略管理以及客戶定制化服務(wù)等。

    SDN的控制層由控制軟件實現(xiàn),主要負責集中收集和維護網(wǎng)絡(luò)拓撲及網(wǎng)絡(luò)狀態(tài)信息,實現(xiàn)不同業(yè)務(wù)特性的適配。利用控制/數(shù)據(jù)平面接口,控制層獲取底層網(wǎng)絡(luò)設(shè)備互聯(lián)及狀態(tài)信息,生成全局的網(wǎng)絡(luò)拓撲視圖,對底層網(wǎng)絡(luò)設(shè)備的資源進行抽象,并通過API提供給上層應(yīng)用。因此,對于上層應(yīng)用程序來說,網(wǎng)絡(luò)呈現(xiàn)為一個單一的邏輯開關(guān)。通過這種軟件模式,網(wǎng)絡(luò)管理人員可以靈活配置、管理和優(yōu)化網(wǎng)絡(luò)資源,實現(xiàn)了網(wǎng)絡(luò)的可編程及靈活控制。

    SDN基礎(chǔ)設(shè)施層由網(wǎng)絡(luò)的底層轉(zhuǎn)發(fā)設(shè)備構(gòu)成,通過對底層設(shè)備及網(wǎng)絡(luò)資源進行抽象,并通過開放標準的接口為控制層提供服務(wù)。底層設(shè)備只需關(guān)注數(shù)據(jù)的轉(zhuǎn)發(fā)性能,無需運行網(wǎng)絡(luò)相關(guān)及應(yīng)用相關(guān)的各種復(fù)雜信令協(xié)議,通過接受控制器的指令,實現(xiàn)數(shù)據(jù)分組的轉(zhuǎn)發(fā)、丟棄或修改等操作。SDN極大簡化了網(wǎng)絡(luò)設(shè)備復(fù)雜性。

    從SDN架構(gòu)可以總結(jié)出SDN應(yīng)具有的四大基本特征。

    ·控制平面與數(shù)據(jù)平面完全分離。打破了傳統(tǒng)網(wǎng)絡(luò)設(shè)備垂直一體化設(shè)計架構(gòu),大大簡化了底層轉(zhuǎn)發(fā)設(shè)備復(fù)雜度。

    ·集中控制。由集中控制器實現(xiàn)全網(wǎng)拓撲的自動發(fā)現(xiàn)和路由計算,優(yōu)化網(wǎng)絡(luò)資源利用,實現(xiàn)全網(wǎng)流量工程。

    ·開放接口。通過開放南、北向接口,實現(xiàn)應(yīng)用和網(wǎng)絡(luò)的無縫集成,加快業(yè)務(wù)部署周期,提升用戶體驗。

    ·網(wǎng)絡(luò)可編程。通過開放API,上層應(yīng)用與底層網(wǎng)絡(luò)良性互動,實現(xiàn)網(wǎng)絡(luò)服務(wù)的可定制化和可編程能力。

    在SDN架構(gòu)下,通過集中式的網(wǎng)絡(luò)配置和管理,大大簡化了傳統(tǒng)網(wǎng)絡(luò)設(shè)備配置的工作量。由于底層硬件采用工業(yè)標準化的通用轉(zhuǎn)發(fā)設(shè)備,有利于實現(xiàn)網(wǎng)絡(luò)功能虛擬化;新業(yè)務(wù)部署減少了對不同廠商設(shè)備的依賴程度,加速了網(wǎng)絡(luò)和應(yīng)用創(chuàng)新。同時,SDN實現(xiàn)了網(wǎng)絡(luò)智能和狀態(tài)邏輯集中,網(wǎng)絡(luò)管理人員可以通過一套動態(tài)、自動化的應(yīng)用程序?qū)崿F(xiàn)對網(wǎng)絡(luò)的靈活配置、管理、安全加固、資源優(yōu)化等。

    3 電信IP網(wǎng)向SDN的演進

    SDN改變了傳統(tǒng)網(wǎng)絡(luò)架構(gòu),也改變了傳統(tǒng)網(wǎng)絡(luò)的運維管理模式和業(yè)務(wù)部署方式,為企業(yè)和用戶提供更好業(yè)務(wù)體驗的同時,期望能減少電信運營商的資本支出和運營支出。然而,SDN當前仍面臨許多挑戰(zhàn)。本文對SDN滿足電信級要求的網(wǎng)絡(luò)性能、網(wǎng)絡(luò)擴展性、網(wǎng)絡(luò)生存性3個方面進行了探討和分析,并結(jié)合電信運營商網(wǎng)絡(luò)現(xiàn)實需求,探索SDN在電信網(wǎng)的應(yīng)用與實踐。

    3.1 SDN網(wǎng)絡(luò)性能

    在移動互聯(lián)、云計算、大數(shù)據(jù)爆發(fā)的今天,網(wǎng)絡(luò)流量呈爆炸式增長。全球電信運營商都倍感網(wǎng)絡(luò)擴容壓力,目前中國電信集團ChinaNet骨干網(wǎng)流量已超過40 Tbit/s,若流量按照40%的年增長速度計算,網(wǎng)絡(luò)容量每隔兩年增長一倍。單槽位100 Gbit/s平臺路由器剛進入大規(guī)模商用期,許多大電信運營商已開始考慮在骨干網(wǎng)部署400 Gbit/s平臺的核心路由器。SDN的底層數(shù)據(jù)轉(zhuǎn)發(fā)平面可能使用完全不同于傳統(tǒng)網(wǎng)絡(luò)設(shè)備的硬件架構(gòu),因此,SDN首先面臨的一個基本挑戰(zhàn)是怎樣應(yīng)對洶涌而來的數(shù)字洪流。這里有兩個方面的因素需要考慮:網(wǎng)絡(luò)性能與可編程/靈活性。

    本文中SDN網(wǎng)絡(luò)性能主要考察網(wǎng)絡(luò)設(shè)備的吞吐量和時延兩個指標。網(wǎng)絡(luò)的可編程意味著網(wǎng)絡(luò)設(shè)備接受控制器下發(fā)的一系列指令,進而改變數(shù)據(jù)流的轉(zhuǎn)發(fā)行為。靈活性是指網(wǎng)絡(luò)對新業(yè)務(wù)和應(yīng)用的適應(yīng)能力。通常來講,網(wǎng)絡(luò)性能與可編程/靈活性是一對矛盾,網(wǎng)絡(luò)的高性能需要犧牲網(wǎng)絡(luò)的靈活性作為代價。怎樣在網(wǎng)絡(luò)性能與可編程/靈活性之間取得平衡是SDN需要解決的問題。

    圖2給出了網(wǎng)絡(luò)處理的主要技術(shù)中性能與可編程性之間的關(guān)系。通用處理器(CPU/GPU)能夠提供極高的靈活性,高級編程語言和設(shè)計工具可對底層硬件進行高度抽象,快速開發(fā)復(fù)雜的數(shù)據(jù)分組處理功能。受通用架構(gòu)約束,CPU的處理性能低,電能消耗大。類似Intel的Xeon系列多核處理器能夠達到幾十吉比特每秒的報文處理吞吐量。網(wǎng)絡(luò)處理器(NPU/NFP)的架構(gòu)專為處理數(shù)據(jù)流而優(yōu)化,專用硬件加速器及各種接口技術(shù)的使用可減少處理器能耗。由于需要定義數(shù)據(jù)分組/流的處理功能,其靈活性不如通用處理器。網(wǎng)絡(luò)處理器可達到100 Gbit/s的線速處理能力??删幊踢壿嬙O(shè)備(PLD)或現(xiàn)場可編程門陣列(FPGA)專為特定的網(wǎng)絡(luò)功能而設(shè)計,具有高度并行處理數(shù)據(jù)分組/流的能力,當前的PLD技術(shù)可以達到200 Gbit/s的線速處理能力。專用標準產(chǎn)品(ASSP)是高性能網(wǎng)絡(luò)的里程碑,缺點是其靈活性不夠。ASSP主要應(yīng)用于物理層和鏈路層設(shè)備、交換機及無線產(chǎn)品。最近,Intel、Broadcom以及Marvell公司開始使用基于SDN的ASSP來設(shè)計高性能以太網(wǎng)交換機,它們設(shè)計的OpenFlow交換機聲稱可支持500 Gbit/s的交換能力。專用集成電路(ASIC)專為廠商定制生產(chǎn),作為一種專有的解決方案,ASIC具有極高的性能、成本及能耗優(yōu)勢,但其靈活性也極為有限。

    SDN需要同時兼顧網(wǎng)絡(luò)性能和可編程/靈活性,容易想到一種軟件和硬件相結(jié)合的混合架構(gòu)更能適合SDN基礎(chǔ)設(shè)施層。例如,基于PLD/ASSP與NPU/NFP和CPU/GPU相結(jié)合的混合架構(gòu)構(gòu)建的底層轉(zhuǎn)發(fā)平面既能提供網(wǎng)絡(luò)可編程的靈活性,又能支持數(shù)據(jù)流的高性能轉(zhuǎn)發(fā)。這種軟、硬件一體化的混合架構(gòu)有助于實現(xiàn)網(wǎng)絡(luò)虛擬化目標——開發(fā)出工業(yè)標準化的通用轉(zhuǎn)發(fā)設(shè)備。

    3.2 SDN的網(wǎng)絡(luò)擴展性

    如果SDN數(shù)據(jù)轉(zhuǎn)發(fā)平面的性能問題可以通過混合式可編程架構(gòu)得到解決,另一個引起廣泛關(guān)注的問題是SDN的擴展性。目前,對SDN的擴展性研究主要集中在SDN控制平面可擴展性。

    制約SDN控制平面可擴展性的主要原因有以下幾點。

    ·流的細粒度處理需求使得控制器需要響應(yīng)更多的流請求事件。雖然控制器可以通過主動決策機制提前將控制邏輯下發(fā)到數(shù)據(jù)轉(zhuǎn)發(fā)單元,減少數(shù)據(jù)平面和控制器之間的處理開銷,但控制邏輯的變化通常是動態(tài)的,尤其是當網(wǎng)絡(luò)拓撲改變或者存在移動節(jié)點時。在基于OpenFlow的SDN中,提前安裝流表項也將使大量流表空間無法釋放,浪費緩存資源,而實際上大部分流的持續(xù)時間是很短的。

    ·接入控制、負載均衡、資源遷移等新型應(yīng)用需求逐漸增加到控制平面中,控制器需要對日趨復(fù)雜的管控功能進行有效整合,這進一步增加了控制平面的處理開銷。

    ·傳統(tǒng)分布式網(wǎng)絡(luò)中每臺設(shè)備都是獨立自治的,每臺設(shè)備通過運行路由協(xié)議獲取全局的網(wǎng)絡(luò)狀態(tài)信息并計算路由。而SDN控制平面需要維護全局的網(wǎng)絡(luò)狀態(tài)信息,為全網(wǎng)中的所有網(wǎng)絡(luò)設(shè)備計算數(shù)據(jù)轉(zhuǎn)發(fā)路徑,這使得控制平面的可擴展性不僅需要考慮處理性能的需求,而且要考慮網(wǎng)絡(luò)狀態(tài)的一致性。

    ·在網(wǎng)絡(luò)規(guī)模增大、數(shù)據(jù)平面轉(zhuǎn)發(fā)設(shè)備數(shù)量增多的環(huán)境下,單控制器設(shè)備可能難以滿足性能需求。

    在基于OpenFlow的SDN中,每當交換機收到一個新的數(shù)據(jù)流時,由于交換機還未安裝流表項,首個分組需要上送控制器。在電信運營商的大規(guī)模網(wǎng)絡(luò)中,會導(dǎo)致數(shù)據(jù)面和控制面之間的控制通道帶寬需求大、依賴首個分組反應(yīng)式的流表項建立時延大以及控制器需要頻繁響應(yīng)交換機請求等擴展性問題。DIFANE方案結(jié)合了主動和被動兩種安裝流表的方式將數(shù)據(jù)流量保持在數(shù)據(jù)平面,從而減小控制器負載。通過在OpenFlow交換機中選出權(quán)威交換機,由每個權(quán)威交換機管理一定區(qū)域內(nèi)的OpenFlow交換機。當普通交換機產(chǎn)生新的數(shù)據(jù)流時,它根據(jù)自身的分區(qū)規(guī)則直接和自己分區(qū)內(nèi)的權(quán)威交換機進行通信,由于權(quán)威交換機已提前部署了權(quán)威規(guī)則,因而可以向普通交換機安裝緩存規(guī)則,同時,直接將請求數(shù)據(jù)轉(zhuǎn)發(fā)給目的地而無須再返回給源交換機,從而省去了流請求建立過程中首個分組經(jīng)過控制器的往返時延,也減少了控制器需要實時處理的控制流。DevoFlow方案借助于ASIC的支持,在OpenFlow交換機上提前安裝帶有通配符的流表項,對于需要特殊處理的細粒度流才轉(zhuǎn)發(fā)到控制器,這樣能有效減少控制器的負載。針對單控制器無法從根本上解決處理性能瓶頸問題,Onix提出了一整套面向大規(guī)模網(wǎng)絡(luò)的分布式SDN部署方案,即通過多控制器對OpenFlow交換機進行分域管理,這應(yīng)該是未來SDN面向大規(guī)模網(wǎng)絡(luò)部署可擴展性研究的主要發(fā)展方向。

    3.3 SDN的網(wǎng)絡(luò)生存性

    電信運營商網(wǎng)絡(luò)由于承載著大量實時交互性業(yè)務(wù),對網(wǎng)絡(luò)的生存性提出了很高的要求,如5個9的網(wǎng)絡(luò)可用性、多種方式的業(yè)務(wù)保護及網(wǎng)絡(luò)快速自愈能力。為了滿足電信級IP網(wǎng)絡(luò)的要求,IP網(wǎng)絡(luò)已形成一整套成熟完善的高可靠性和高可用性技術(shù),包括路由快速收斂技術(shù)、MPLS TE/LSP FRR業(yè)務(wù)保護技術(shù)、MPLS OAM/Ethernet OAM/PWE3 OAM故障快速檢測技術(shù),不間斷轉(zhuǎn)發(fā)(NSF)、不間斷路由(NSR)及平穩(wěn)重啟(GR)等技術(shù)在設(shè)備控制引擎失效時仍能保持業(yè)務(wù)的連續(xù)性。

    SDN對網(wǎng)絡(luò)的生存性要求也不能低于傳統(tǒng)的IP網(wǎng)絡(luò)。為了應(yīng)對控制器的單點失效,OpenFlow2.0增加了多角色控制器功能,主控制器與多個從控制器保持狀態(tài)信息的同步,當主控制器失效時,從控制器能平滑接管主控制器的工作,不至于引起業(yè)務(wù)中斷。當存在多條等價或非等價路徑時,轉(zhuǎn)發(fā)設(shè)備的流表項也應(yīng)提供多個輸出端口,并根據(jù)負載均衡算法把數(shù)據(jù)流轉(zhuǎn)發(fā)到不同的路徑上。SDN同樣需要支持IP網(wǎng)絡(luò)中類似于MPLS TE/LSP FRR的業(yè)務(wù)保護機制,為需要業(yè)務(wù)保護的數(shù)據(jù)流提供1條到多條備用路徑,從而在鏈路失效時立即轉(zhuǎn)用備用路徑,而不是把數(shù)據(jù)轉(zhuǎn)發(fā)給控制器。

    下面分析SDN的故障恢復(fù)能力。如圖3所示,正常情況下,由于R1與R3之間的鏈路代價小于R1與R4之間的鏈路代價,數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備R1的數(shù)據(jù)流都會轉(zhuǎn)發(fā)到R3。當R1快速檢測到R1與R3之間的鏈路故障時(如通過BFD或以太網(wǎng)OAM),R1應(yīng)立即上報控制器,控制器收到故障通告后,根據(jù)更新的全局網(wǎng)絡(luò)拓撲重新計算路由,并向受影響的數(shù)據(jù)轉(zhuǎn)發(fā)設(shè)備更新流轉(zhuǎn)發(fā)表。等到最新的流轉(zhuǎn)發(fā)表都安裝好后,來自R1的數(shù)據(jù)流才切換到R4。再看看IP網(wǎng)絡(luò)是怎樣實現(xiàn)路由收斂的。在傳統(tǒng)IP網(wǎng)絡(luò)中,鏈路故障通知最先向它的鄰居宣告,鄰居再向鄰居的鄰居宣告,網(wǎng)絡(luò)規(guī)模越大,最后一跳獲知鏈路故障的路由器所需時間越長,當全網(wǎng)所有路由器都獲知這一鏈路故障事件時,才會重新形成一致的網(wǎng)絡(luò)拓撲,然后每臺路由器各自獨立計算路由,向轉(zhuǎn)發(fā)平面下發(fā)FIB。顯然,SDN的故障信息傳播時延要小于傳統(tǒng)IP網(wǎng)絡(luò),SDN的網(wǎng)絡(luò)收斂性能基本不受網(wǎng)絡(luò)規(guī)模的影響,而傳統(tǒng)網(wǎng)絡(luò)的收斂時間隨著網(wǎng)絡(luò)規(guī)模的增大而增大,這就是傳統(tǒng)基于分布式路由計算的IP網(wǎng)絡(luò)收斂時間難以實現(xiàn)傳輸網(wǎng)所要求的50 ms保護倒換的原因。而且,基于云計算架構(gòu)的控制器計算能力理論上可以無限擴展,而傳統(tǒng)路由器的CPU計算能力是有限的。

    SDN優(yōu)良的網(wǎng)絡(luò)自愈能力還取決于連接控制平面和數(shù)據(jù)平面的控制信道的高可靠性。如果控制信道與數(shù)據(jù)平面共享網(wǎng)絡(luò)帶寬(帶內(nèi)控制信道),由于數(shù)據(jù)平面不再運行路由協(xié)議,難以保證控制平面和數(shù)據(jù)平面的連通性,數(shù)據(jù)平面的故障可能無法上報到控制器,導(dǎo)致網(wǎng)絡(luò)無法自愈,業(yè)務(wù)中斷。因此,控制信道的高可靠性需要獨立的控制網(wǎng)絡(luò)來保證,這個帶外控制網(wǎng)絡(luò)本身應(yīng)該具有快速自愈能力。

    3.4 SDN應(yīng)用與實踐

    SDN目前主要應(yīng)用于校園網(wǎng)和企業(yè)數(shù)據(jù)中心。在校園網(wǎng)中部署OpenFlow網(wǎng)絡(luò),是OpenFlow設(shè)計之初應(yīng)用較多的場所,它為學(xué)校的科研人員構(gòu)建了一個可以部署網(wǎng)絡(luò)新協(xié)議和新算法的創(chuàng)新平臺,并實現(xiàn)了基本的網(wǎng)絡(luò)管理和安全控制功能。目前,已經(jīng)有包括斯坦福大學(xué)在內(nèi)的多所高校部署了OpenFlow網(wǎng)絡(luò),并搭建了應(yīng)用環(huán)境。隨著云計算在數(shù)據(jù)中心的廣泛應(yīng)用,將SDN應(yīng)用于數(shù)據(jù)中心網(wǎng)絡(luò)已經(jīng)成為研究熱點。Google在其數(shù)據(jù)中心全面采用基于OpenFlow的SDN技術(shù),大幅度地提高其數(shù)據(jù)中心之間的鏈路利用率,起到了很好的示范作用。由于電信運營商網(wǎng)絡(luò)是一個多業(yè)務(wù)融合承載網(wǎng),真實網(wǎng)絡(luò)面臨的異構(gòu)組網(wǎng)、跨域互聯(lián)、超大容量、高可靠性和高可用性等都可能成為制約SDN應(yīng)用的因素。SDN在校園網(wǎng)和企業(yè)數(shù)據(jù)中心取得的研究成果和應(yīng)用經(jīng)驗不能一成不變地移植到電信網(wǎng),需要進一步在電信網(wǎng)加以實踐和驗證。為加速SDN在電信網(wǎng)的全面部署,還需要充分考慮電信網(wǎng)的特殊需求,進一步研究SDN滿足電信網(wǎng)所應(yīng)具備的功能和性能要求。下面從電信運營商的數(shù)據(jù)中心、IP RAN、IP骨干網(wǎng)需求3個方面探索SDN應(yīng)用和部署。

    (1)SDN在數(shù)據(jù)中心的應(yīng)用

    隨著數(shù)據(jù)中心服務(wù)器和存儲虛擬化技術(shù)的廣泛應(yīng)用,傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)必須實現(xiàn)網(wǎng)絡(luò)虛擬化的改造,以滿足虛擬機頻繁遷移對網(wǎng)絡(luò)大量動態(tài)配置的需要。在服務(wù)器上實現(xiàn)虛擬網(wǎng)卡和虛擬交換機已成為VMware、Xen、Oracle等主流服務(wù)器供應(yīng)商的標準配置。為適應(yīng)網(wǎng)絡(luò)虛擬化要求,提出了相關(guān)標準和草案如虛擬以太網(wǎng)橋(VEB)、虛擬以太網(wǎng)端口聚集器(VEPA)、虛擬擴展局域網(wǎng)(VXLAN)、通用路由封裝實現(xiàn)網(wǎng)絡(luò)虛擬化(NVGRE)等,并在部分廠商設(shè)備上得到相應(yīng)支持。同時,虛擬化網(wǎng)絡(luò)環(huán)境下的動態(tài)路由、負載均衡和能量管理等方面也對數(shù)據(jù)中心網(wǎng)絡(luò)提出了新的要求。SDN基于軟件控制的可編程特點可以簡化網(wǎng)絡(luò)配置和管理的復(fù)雜性,是實現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)虛擬化最適合的基礎(chǔ)平臺。

    (2)SDN在IP RAN的應(yīng)用

    IP RAN廣泛應(yīng)用于移動回傳網(wǎng),用于承載2G/3G/LTE等移動業(yè)務(wù),是一種新型傳輸網(wǎng)絡(luò)。IP RAN分為接入層、匯聚層和核心層。IP RAN全網(wǎng)采用IP/MPLS解決方案,接入 層涉及IGP、BGP、LDP、RSVP-TE、PW、L2/L3VPN、QoS等配置。一個IP RAN本地網(wǎng)的接入層往往有數(shù)千臺接入設(shè)備,網(wǎng)絡(luò)配置復(fù)雜、業(yè)務(wù)開通周期長。隨著網(wǎng)絡(luò)規(guī)模的擴大,現(xiàn)有IP RAN在網(wǎng)絡(luò)高可用性、網(wǎng)絡(luò)運維等方面面臨困境。隨著技術(shù)的發(fā)展,新的增值業(yè)務(wù)和應(yīng)用不斷推出,IP RAN如何更好地適應(yīng)業(yè)務(wù)網(wǎng)絡(luò)的發(fā)展和要求,快速響應(yīng)業(yè)務(wù)的部署及對業(yè)務(wù)進行動態(tài)維護也是需要考慮的問題。通過把SDN技術(shù)應(yīng)用于IP RAN,可探索和研究SDN快速響應(yīng)業(yè)務(wù)和網(wǎng)絡(luò)運維這兩方面的能力需求。

    (3)SDN在IP骨干網(wǎng)的應(yīng)用

    隨著互聯(lián)網(wǎng)流量的爆炸式增長,電信運營商IP骨干網(wǎng)面臨持續(xù)擴容的壓力。另一方面,IGP選路的唯一性原則導(dǎo)致網(wǎng)絡(luò)流量分布極度不均衡,一部分鏈路嚴重擁塞,而另一部分鏈路長期處于輕載狀態(tài)。無法通過IGP metric(度量)調(diào)整來達到全網(wǎng)負載均衡的目的。在存在路由反射器(RR)的環(huán)境下,RR遵循標準BGP選路原則,無法實現(xiàn)跨域多歸屬網(wǎng)絡(luò)的負載均衡。BGP虛擬下一跳技術(shù)雖然能夠彌補RR選路的不足,但是卻增加了網(wǎng)絡(luò)配置和運維的復(fù)雜度。SDN可基于全局流量觀,根據(jù)自定義策略(如最短路徑、鏈路負載、指定經(jīng)由節(jié)點等)進行路徑選擇,實現(xiàn)全網(wǎng)流量工程。同時,城域網(wǎng)、數(shù)據(jù)中心、不同電信運營商網(wǎng)絡(luò)同骨干網(wǎng)跨域互聯(lián)對SDN的可擴展性提出了挑戰(zhàn),多控制器方案在骨干網(wǎng)的應(yīng)用和實踐能夠驗證SDN分布式部署方案的可行性,為進一步完善SDN架構(gòu)、功能、相關(guān)接口和規(guī)范提供研究基礎(chǔ)。

    4 結(jié)束語

    移動互聯(lián)、存儲和服務(wù)器虛擬化的爆發(fā)以及大數(shù)據(jù)和云服務(wù)的興起對傳統(tǒng)IP網(wǎng)絡(luò)架構(gòu)提出了新的要求,并加速了傳統(tǒng)網(wǎng)絡(luò)的變革。SDN提供了一種新的、動態(tài)的、業(yè)務(wù)驅(qū)動的網(wǎng)絡(luò)架構(gòu),適應(yīng)不斷變化的業(yè)務(wù)和應(yīng)用需求,契合當今時代創(chuàng)新求變的主旋律。SDN倡導(dǎo)的“集中控制、網(wǎng)絡(luò)可編程、開放接口”等理念引起了產(chǎn)、學(xué)、研各界的廣泛關(guān)注。目前,OpenFlow是實現(xiàn)SDN的主要技術(shù)和標準,其相關(guān)規(guī)范已經(jīng)得到普遍承認?;贠penFlow的SDN技術(shù)在解決當前存在的實際問題和開拓網(wǎng)絡(luò)新應(yīng)用等方面取得了不少成果,在校園網(wǎng)、企業(yè)網(wǎng)及數(shù)據(jù)中心都有相應(yīng)部署,部分主流廠商的設(shè)備也逐漸支持OpenFlow接口規(guī)范,但目前在電信運營商大規(guī)模網(wǎng)絡(luò)仍缺少商用案例??傊?,SDN在控制軟件架構(gòu)、接口標準、數(shù)據(jù)轉(zhuǎn)發(fā)性能、網(wǎng)絡(luò)擴展性和頑健性、網(wǎng)絡(luò)安全性、與傳統(tǒng)網(wǎng)絡(luò)設(shè)備的互操作性等諸多方面仍面臨巨大挑戰(zhàn)。盡管如此,SDN已為傳統(tǒng)網(wǎng)絡(luò)演進和變革指明了方向,相信在眾多設(shè)備廠商、標準化組織、研究機構(gòu)的共同努力下,SDN將發(fā)展成為面向下一代IP網(wǎng)絡(luò)的標準架構(gòu)。

    1 ONF White Paper.Software-Defined Networking:the New Norm for Networks,April 13,2102

    2 Raj Jain,Subharthi P.Network virtualization and software defined networking for cloud computing:a survey.IEEE Communications Magazine,2013,51(11)

    3 Sezer S,Hayward S S,Chouhan P K,et al.Are we ready for SDN?Implementation challenges for software-defined networks.IEEE Communications Magazine,2013,51(7)

    4 Yeganeh S H,Tootoonchian A,Ganjali Y,et al.On scalability of software-defined networking.IEEE Communications Magazine,2013,51(2)

    5 Boucadair M,Jacquenet C.Software-Defined Networking:A Perspective from within a Service Provider.RFC 7149,March 2014

    6 Haleplidis E,Denazis S,Salim J H,et al.SDN Layers and Architecture Terminology.IETF Draft(Work in Progress)

    7 ONF.OpenFlow Switch Specification Version 1.3.4,March 27,2004

    8 Yu M,Rexford J,Freedman M J,et al.Scalable flow-based networking with DIFANE.Proceedings of the ACM SIGCOMM 2010 Conference on Applications,Technologies,Architectures,and Protocols for Computer Communications,New Delhi,India,2010

    9 Curtis A R,Mogul J C,Tourrilhes J,et al.DevoFlow:scaling flow management for high-performance networks.Proceedings of the ACM SIGCOMM 2011 Conference on Applications,Technologies,Architectures,and Protocols for Computer Communications,Toronto,ON,Canada,2011

    10 Koponen T,Casado M,Gude N,et al.Onix:a distributed control platform for large-scale production networks.Proceedings of the 9th USENIX Conference on Operating Systems Design and Implementation,San Jose,CA,USA,2010

    猜你喜歡
    交換機虛擬化數(shù)據(jù)中心
    酒泉云計算大數(shù)據(jù)中心
    基于OpenStack虛擬化網(wǎng)絡(luò)管理平臺的設(shè)計與實現(xiàn)
    電子制作(2019年10期)2019-06-17 11:45:10
    修復(fù)損壞的交換機NOS
    對基于Docker的虛擬化技術(shù)的幾點探討
    電子制作(2018年14期)2018-08-21 01:38:20
    民航綠色云數(shù)據(jù)中心PUE控制
    電子測試(2018年11期)2018-06-26 05:56:24
    虛擬化技術(shù)在計算機技術(shù)創(chuàng)造中的應(yīng)用
    電子測試(2017年11期)2017-12-15 08:57:56
    使用鏈路聚合進行交換機互聯(lián)
    存儲虛擬化還有優(yōu)勢嗎?
    基于云計算的交通運輸數(shù)據(jù)中心實現(xiàn)與應(yīng)用
    PoE交換機雷擊浪涌防護設(shè)計
    啦啦啦韩国在线观看视频| 国产蜜桃级精品一区二区三区| 91av网一区二区| 国产女主播在线喷水免费视频网站 | 婷婷丁香在线五月| 精品日产1卡2卡| 天天躁日日操中文字幕| 欧美成人免费av一区二区三区| 欧美+亚洲+日韩+国产| 乱人视频在线观看| 乱系列少妇在线播放| 亚洲精品影视一区二区三区av| av黄色大香蕉| 91av网一区二区| 亚洲精品456在线播放app | 少妇人妻一区二区三区视频| 免费在线观看日本一区| 国产亚洲欧美98| 亚洲av免费在线观看| 国产在线精品亚洲第一网站| 精品一区二区三区视频在线观看免费| 夜夜爽天天搞| 欧美激情国产日韩精品一区| .国产精品久久| 欧美一区二区国产精品久久精品| 少妇的逼水好多| 亚洲人成伊人成综合网2020| 久久久久久九九精品二区国产| 免费黄网站久久成人精品| 人妻少妇偷人精品九色| 99riav亚洲国产免费| 俄罗斯特黄特色一大片| 亚洲美女视频黄频| 女人被狂操c到高潮| 日本色播在线视频| 变态另类丝袜制服| 欧美性感艳星| 真人做人爱边吃奶动态| 亚洲av免费在线观看| 亚洲中文字幕一区二区三区有码在线看| 亚洲在线观看片| 麻豆一二三区av精品| 国产精品一区二区免费欧美| www.色视频.com| 国产黄片美女视频| 日韩高清综合在线| 88av欧美| avwww免费| 亚洲真实伦在线观看| 亚洲欧美日韩无卡精品| 色哟哟哟哟哟哟| 一本一本综合久久| 国产精品一及| 97人妻精品一区二区三区麻豆| 白带黄色成豆腐渣| 联通29元200g的流量卡| 能在线免费观看的黄片| 噜噜噜噜噜久久久久久91| 精品乱码久久久久久99久播| 国产高潮美女av| 熟女人妻精品中文字幕| 69人妻影院| 校园人妻丝袜中文字幕| 国产精品日韩av在线免费观看| 国产一区二区亚洲精品在线观看| 国产男人的电影天堂91| 女生性感内裤真人,穿戴方法视频| 亚洲av成人av| 女生性感内裤真人,穿戴方法视频| 久久人人爽人人爽人人片va| 亚洲av免费在线观看| 久久99热这里只有精品18| 欧美日韩精品成人综合77777| 婷婷六月久久综合丁香| 少妇人妻一区二区三区视频| 免费黄网站久久成人精品| 欧美xxxx性猛交bbbb| 变态另类丝袜制服| 我要看日韩黄色一级片| 一本久久中文字幕| 两人在一起打扑克的视频| 午夜精品久久久久久毛片777| 国产精品嫩草影院av在线观看 | 色噜噜av男人的天堂激情| ponron亚洲| 免费无遮挡裸体视频| 美女被艹到高潮喷水动态| 在线免费十八禁| 999久久久精品免费观看国产| 成人特级黄色片久久久久久久| 国产精品久久久久久久电影| 小说图片视频综合网站| 亚洲人成网站在线播放欧美日韩| 成人永久免费在线观看视频| 久久久久九九精品影院| 嫩草影院精品99| 神马国产精品三级电影在线观看| 午夜视频国产福利| 内地一区二区视频在线| 1024手机看黄色片| 国产高潮美女av| 嫩草影视91久久| 三级国产精品欧美在线观看| 国产女主播在线喷水免费视频网站 | 18+在线观看网站| 欧美zozozo另类| 成年女人永久免费观看视频| 精品乱码久久久久久99久播| 免费av毛片视频| 香蕉av资源在线| 亚洲精品成人久久久久久| 波多野结衣高清无吗| 五月伊人婷婷丁香| 乱系列少妇在线播放| 久久99热6这里只有精品| 中文字幕免费在线视频6| 国产精品久久电影中文字幕| 免费观看精品视频网站| 欧美日本视频| 在线观看66精品国产| 色哟哟哟哟哟哟| 久久久久久久亚洲中文字幕| 亚洲av不卡在线观看| 内地一区二区视频在线| 亚洲av成人精品一区久久| 天堂网av新在线| 亚洲在线自拍视频| netflix在线观看网站| 蜜桃久久精品国产亚洲av| 嫩草影院精品99| 欧美在线一区亚洲| av女优亚洲男人天堂| 最新在线观看一区二区三区| 国产aⅴ精品一区二区三区波| 国产精品久久电影中文字幕| 免费看美女性在线毛片视频| 天堂动漫精品| 99九九线精品视频在线观看视频| 亚洲狠狠婷婷综合久久图片| 一区二区三区四区激情视频 | 老司机福利观看| 中文字幕免费在线视频6| 日韩 亚洲 欧美在线| www.色视频.com| 国产一区二区在线av高清观看| 一区二区三区四区激情视频 | 国产淫片久久久久久久久| 嫩草影院新地址| 国产成人aa在线观看| 久久精品国产鲁丝片午夜精品 | 色在线成人网| 日韩一本色道免费dvd| 日本五十路高清| 3wmmmm亚洲av在线观看| 日韩精品有码人妻一区| 99热只有精品国产| 亚洲国产欧洲综合997久久,| 男人舔女人下体高潮全视频| 国产主播在线观看一区二区| 他把我摸到了高潮在线观看| 九九久久精品国产亚洲av麻豆| 99热这里只有精品一区| www.www免费av| 俺也久久电影网| 午夜激情欧美在线| 如何舔出高潮| 在线播放国产精品三级| 午夜视频国产福利| 久久久精品大字幕| 亚洲av成人精品一区久久| 韩国av一区二区三区四区| 亚洲va日本ⅴa欧美va伊人久久| 白带黄色成豆腐渣| 免费无遮挡裸体视频| 国产高清不卡午夜福利| 国产精品久久久久久久电影| av在线蜜桃| 国产黄片美女视频| 99热6这里只有精品| 亚洲av不卡在线观看| 国产色婷婷99| 亚洲色图av天堂| 日韩一本色道免费dvd| 国产伦精品一区二区三区视频9| 久久精品国产清高在天天线| 别揉我奶头 嗯啊视频| 精品午夜福利视频在线观看一区| 夜夜夜夜夜久久久久| 一级av片app| 国产成人a区在线观看| 日韩欧美在线乱码| 亚洲欧美日韩东京热| 婷婷亚洲欧美| 日本-黄色视频高清免费观看| 欧美三级亚洲精品| 亚洲一区二区三区色噜噜| 大型黄色视频在线免费观看| 日本黄大片高清| 欧美又色又爽又黄视频| 亚洲中文字幕日韩| 九九在线视频观看精品| 久久久久国产精品人妻aⅴ院| 久久精品国产亚洲av涩爱 | 亚洲三级黄色毛片| 偷拍熟女少妇极品色| 成年女人永久免费观看视频| 欧美成人性av电影在线观看| 欧美色视频一区免费| 精品人妻一区二区三区麻豆 | 成人二区视频| 亚洲av第一区精品v没综合| 国产黄色小视频在线观看| 午夜老司机福利剧场| 国产69精品久久久久777片| 女的被弄到高潮叫床怎么办 | 白带黄色成豆腐渣| 又黄又爽又免费观看的视频| 少妇高潮的动态图| 亚洲专区中文字幕在线| 他把我摸到了高潮在线观看| 午夜视频国产福利| 国产精品一区二区三区四区免费观看 | 一区二区三区高清视频在线| 久久香蕉精品热| 色噜噜av男人的天堂激情| 国产一区二区三区在线臀色熟女| 禁无遮挡网站| 婷婷丁香在线五月| 韩国av一区二区三区四区| 国产精品一区二区三区四区免费观看 | 久久精品国产清高在天天线| 亚洲欧美日韩卡通动漫| 亚洲精品456在线播放app | 欧美日韩中文字幕国产精品一区二区三区| 亚洲av免费高清在线观看| 一本精品99久久精品77| .国产精品久久| 波野结衣二区三区在线| 少妇的逼水好多| 尾随美女入室| ponron亚洲| 久久精品夜夜夜夜夜久久蜜豆| 88av欧美| 欧美成人a在线观看| 最新在线观看一区二区三区| 国产激情偷乱视频一区二区| 国内精品一区二区在线观看| 国产爱豆传媒在线观看| 久久国产乱子免费精品| 久久99热这里只有精品18| 日本五十路高清| 亚洲精品粉嫩美女一区| 男插女下体视频免费在线播放| 99热这里只有精品一区| 精品免费久久久久久久清纯| 日本 欧美在线| 九九爱精品视频在线观看| 亚洲成av人片在线播放无| 亚洲精品亚洲一区二区| 狂野欧美激情性xxxx在线观看| 亚洲人成伊人成综合网2020| a级一级毛片免费在线观看| 国内少妇人妻偷人精品xxx网站| 亚洲熟妇熟女久久| 1024手机看黄色片| 亚洲av中文字字幕乱码综合| 波多野结衣高清无吗| 国产国拍精品亚洲av在线观看| 少妇高潮的动态图| 亚洲电影在线观看av| 搡老岳熟女国产| 一夜夜www| 三级毛片av免费| 精品一区二区三区av网在线观看| 一级黄色大片毛片| 亚洲成人中文字幕在线播放| 国产精品一及| 岛国在线免费视频观看| 毛片女人毛片| 99热这里只有是精品在线观看| 美女黄网站色视频| 欧美性猛交黑人性爽| 久久精品人妻少妇| 亚洲熟妇中文字幕五十中出| 久久久色成人| 日日夜夜操网爽| 精品人妻偷拍中文字幕| 亚洲精品国产成人久久av| 亚洲成a人片在线一区二区| 日本免费a在线| 观看美女的网站| 久久久国产成人免费| 老师上课跳d突然被开到最大视频| 亚洲色图av天堂| 久久久久久九九精品二区国产| 精品乱码久久久久久99久播| 性插视频无遮挡在线免费观看| 如何舔出高潮| 美女被艹到高潮喷水动态| 国产伦精品一区二区三区四那| 人妻少妇偷人精品九色| 中文在线观看免费www的网站| 婷婷亚洲欧美| eeuss影院久久| 成人午夜高清在线视频| 又爽又黄a免费视频| 国产美女午夜福利| 18禁黄网站禁片午夜丰满| 天堂av国产一区二区熟女人妻| 成人毛片a级毛片在线播放| 欧美一区二区亚洲| xxxwww97欧美| 亚洲av中文字字幕乱码综合| 久久热精品热| 国产精品三级大全| 男人的好看免费观看在线视频| 精品久久久久久久久久久久久| 尾随美女入室| 久久人人精品亚洲av| 俄罗斯特黄特色一大片| 女人被狂操c到高潮| 国产成人a区在线观看| 日本成人三级电影网站| 国产主播在线观看一区二区| 两个人视频免费观看高清| 很黄的视频免费| 亚洲天堂国产精品一区在线| 国产乱人伦免费视频| 亚洲电影在线观看av| 国产精品免费一区二区三区在线| 色精品久久人妻99蜜桃| 色尼玛亚洲综合影院| 最近在线观看免费完整版| 人妻少妇偷人精品九色| 啪啪无遮挡十八禁网站| 1024手机看黄色片| 精品久久久久久成人av| 白带黄色成豆腐渣| 九九久久精品国产亚洲av麻豆| 亚洲av日韩精品久久久久久密| 国产精品嫩草影院av在线观看 | 18禁黄网站禁片午夜丰满| 欧美最黄视频在线播放免费| 国产男靠女视频免费网站| 深夜精品福利| 久久九九热精品免费| 少妇的逼水好多| 日韩一本色道免费dvd| 深夜精品福利| 精品一区二区三区视频在线| 精品久久久噜噜| 身体一侧抽搐| 天堂√8在线中文| 日韩欧美精品免费久久| 亚洲av电影不卡..在线观看| 国产精品亚洲美女久久久| 永久网站在线| 久久精品夜夜夜夜夜久久蜜豆| 熟女电影av网| 欧美潮喷喷水| 欧美+亚洲+日韩+国产| 国产成人福利小说| 亚洲人成伊人成综合网2020| 伊人久久精品亚洲午夜| 不卡一级毛片| 国产成人福利小说| 国产精品嫩草影院av在线观看 | 九九爱精品视频在线观看| 成年版毛片免费区| 午夜影院日韩av| a级毛片免费高清观看在线播放| 麻豆国产av国片精品| 看黄色毛片网站| av在线观看视频网站免费| 少妇丰满av| 亚洲国产欧洲综合997久久,| 亚洲人成伊人成综合网2020| 日本熟妇午夜| 色吧在线观看| 午夜爱爱视频在线播放| 免费看光身美女| 国产私拍福利视频在线观看| 非洲黑人性xxxx精品又粗又长| 午夜日韩欧美国产| 亚洲在线观看片| 窝窝影院91人妻| www日本黄色视频网| 有码 亚洲区| 能在线免费观看的黄片| 欧美潮喷喷水| 久久久久久九九精品二区国产| 亚洲av美国av| 一个人免费在线观看电影| 精品一区二区三区视频在线| 欧美中文日本在线观看视频| 亚洲av电影不卡..在线观看| 午夜免费男女啪啪视频观看 | 九九热线精品视视频播放| 制服丝袜大香蕉在线| 一边摸一边抽搐一进一小说| aaaaa片日本免费| 麻豆av噜噜一区二区三区| 噜噜噜噜噜久久久久久91| 亚洲va在线va天堂va国产| 色av中文字幕| 亚洲无线观看免费| 国产免费一级a男人的天堂| 97超视频在线观看视频| 亚洲aⅴ乱码一区二区在线播放| 性欧美人与动物交配| 成人综合一区亚洲| 日韩中文字幕欧美一区二区| 国产三级中文精品| 亚洲欧美日韩高清在线视频| 国产高潮美女av| 欧美日韩精品成人综合77777| 亚洲av免费在线观看| 午夜爱爱视频在线播放| 亚洲性久久影院| 搡女人真爽免费视频火全软件 | 欧美不卡视频在线免费观看| 欧美bdsm另类| 午夜免费激情av| 亚洲中文日韩欧美视频| 麻豆久久精品国产亚洲av| 一级黄色大片毛片| 美女黄网站色视频| 国产成人aa在线观看| 成人国产综合亚洲| 97超视频在线观看视频| 啦啦啦啦在线视频资源| 国内精品美女久久久久久| av视频在线观看入口| 精品久久久久久久人妻蜜臀av| 久久精品国产亚洲av香蕉五月| 精品无人区乱码1区二区| 日本-黄色视频高清免费观看| 亚洲av熟女| 人人妻人人看人人澡| 色综合亚洲欧美另类图片| 美女高潮的动态| 国产一级毛片七仙女欲春2| 欧美性猛交黑人性爽| 久久精品综合一区二区三区| 九九爱精品视频在线观看| 动漫黄色视频在线观看| 中文字幕熟女人妻在线| 高清在线国产一区| 国产av在哪里看| 亚洲五月天丁香| 可以在线观看毛片的网站| 一a级毛片在线观看| 国产美女午夜福利| 国产精品亚洲一级av第二区| 深爱激情五月婷婷| 国产精品伦人一区二区| 国产极品精品免费视频能看的| 久久国产乱子免费精品| 亚洲av成人精品一区久久| 神马国产精品三级电影在线观看| 午夜老司机福利剧场| 亚洲性久久影院| 国产国拍精品亚洲av在线观看| 观看免费一级毛片| 一区福利在线观看| xxxwww97欧美| 三级国产精品欧美在线观看| 一区二区三区四区激情视频 | 97碰自拍视频| 一区二区三区四区激情视频 | 国产精品人妻久久久影院| 女的被弄到高潮叫床怎么办 | videossex国产| 熟妇人妻久久中文字幕3abv| 国产精品一区二区三区四区久久| 精品久久久久久成人av| 自拍偷自拍亚洲精品老妇| 无人区码免费观看不卡| 91午夜精品亚洲一区二区三区 | 22中文网久久字幕| 男人的好看免费观看在线视频| 久久精品国产亚洲av涩爱 | av专区在线播放| 床上黄色一级片| 可以在线观看毛片的网站| 哪里可以看免费的av片| 精品国内亚洲2022精品成人| 88av欧美| 国产色婷婷99| 国产精品一区二区三区四区久久| 午夜精品一区二区三区免费看| 香蕉av资源在线| 亚洲图色成人| 高清日韩中文字幕在线| 久久久久久久久久久丰满 | 免费搜索国产男女视频| 欧美不卡视频在线免费观看| 日本a在线网址| 国产探花极品一区二区| 乱人视频在线观看| 特级一级黄色大片| 18禁在线播放成人免费| 亚洲精华国产精华液的使用体验 | 亚洲欧美清纯卡通| 国产探花在线观看一区二区| 国产免费av片在线观看野外av| 91精品国产九色| 一进一出抽搐gif免费好疼| 成年人黄色毛片网站| av.在线天堂| 亚洲va在线va天堂va国产| 麻豆成人av在线观看| 久久久久久久精品吃奶| 搡老熟女国产l中国老女人| 亚洲av日韩精品久久久久久密| 欧美最黄视频在线播放免费| 欧美精品国产亚洲| 午夜精品一区二区三区免费看| 久久中文看片网| 级片在线观看| 国产精品久久久久久精品电影| 亚洲久久久久久中文字幕| 五月伊人婷婷丁香| 女的被弄到高潮叫床怎么办 | 三级毛片av免费| 精品人妻偷拍中文字幕| 成人性生交大片免费视频hd| 1000部很黄的大片| 成年人黄色毛片网站| 999久久久精品免费观看国产| 久久久久九九精品影院| 亚洲专区国产一区二区| 99久久无色码亚洲精品果冻| 欧美日韩瑟瑟在线播放| 亚洲七黄色美女视频| 伊人久久精品亚洲午夜| 男女之事视频高清在线观看| 国产精品99久久久久久久久| 免费观看人在逋| 欧美+日韩+精品| 一区二区三区四区激情视频 | 一进一出好大好爽视频| 色视频www国产| 中文字幕av成人在线电影| 国产欧美日韩一区二区精品| 欧美三级亚洲精品| 色精品久久人妻99蜜桃| 国产成人一区二区在线| 极品教师在线免费播放| 免费人成在线观看视频色| 国产成年人精品一区二区| 日本黄色片子视频| 亚洲中文字幕一区二区三区有码在线看| 欧美成人一区二区免费高清观看| 免费看光身美女| 亚洲av一区综合| 亚洲欧美日韩高清在线视频| 黄色配什么色好看| 少妇裸体淫交视频免费看高清| 国产精品久久视频播放| 日韩精品青青久久久久久| 性色avwww在线观看| 亚洲人成网站在线播放欧美日韩| 性插视频无遮挡在线免费观看| 久久久久国产精品人妻aⅴ院| 偷拍熟女少妇极品色| 国产高清三级在线| 欧美绝顶高潮抽搐喷水| 免费看美女性在线毛片视频| 久久久久免费精品人妻一区二区| 美女xxoo啪啪120秒动态图| 亚洲,欧美,日韩| а√天堂www在线а√下载| 伦理电影大哥的女人| 色精品久久人妻99蜜桃| 日本黄色视频三级网站网址| 国产欧美日韩一区二区精品| 又粗又爽又猛毛片免费看| 美女高潮的动态| 久久精品国产自在天天线| 亚洲图色成人| 国产精品免费一区二区三区在线| 亚洲三级黄色毛片| 欧美性猛交黑人性爽| 成人永久免费在线观看视频| 日日干狠狠操夜夜爽| 在线免费观看不下载黄p国产 | 日本色播在线视频| 国产v大片淫在线免费观看| 精品久久久久久,| 精品日产1卡2卡| 日韩中字成人| 免费在线观看成人毛片| 国产免费一级a男人的天堂| 国产人妻一区二区三区在| 日本黄大片高清| 在线免费十八禁| 欧美又色又爽又黄视频| 国产亚洲欧美98| 日韩欧美精品v在线| 欧美成人免费av一区二区三区| 国产伦精品一区二区三区视频9| 中文字幕人妻熟人妻熟丝袜美| 国产精品,欧美在线| 免费在线观看日本一区| 国产一区二区亚洲精品在线观看| 看黄色毛片网站| 欧美另类亚洲清纯唯美| 人妻少妇偷人精品九色| 国产乱人伦免费视频| 久久久久国内视频| 熟女电影av网| 成人av在线播放网站| 亚洲av中文av极速乱 | 中国美白少妇内射xxxbb|