• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    NFV開(kāi)源技術(shù)

    2017-05-22 07:02:43王峰趙慧玲
    電信科學(xué) 2017年4期
    關(guān)鍵詞:網(wǎng)元開(kāi)源虛擬化

    王峰,趙慧玲

    (中國(guó)電信股份有限公司北京研究院,北京 102209)

    NFV開(kāi)源技術(shù)

    王峰,趙慧玲

    (中國(guó)電信股份有限公司北京研究院,北京 102209)

    NFV是運(yùn)營(yíng)商網(wǎng)絡(luò)重構(gòu)的核心組成部分,開(kāi)源則是加速NFV發(fā)展的重要?jiǎng)恿?。如何利用開(kāi)源技術(shù)推動(dòng)NFV在電信網(wǎng)絡(luò)的應(yīng)用,是運(yùn)營(yíng)商在當(dāng)前面臨的重大課題。以國(guó)際標(biāo)準(zhǔn)化組織ETSI提出的NFV參考框架為參考,全面梳理了NFV開(kāi)源技術(shù)體系,重點(diǎn)對(duì)NFVI、VNF、MANO等領(lǐng)域的主流開(kāi)源項(xiàng)目的工作背景、技術(shù)路線、發(fā)展方向進(jìn)行了深入剖析,并結(jié)合運(yùn)營(yíng)商實(shí)際情況指出了相關(guān)開(kāi)源技術(shù)在現(xiàn)網(wǎng)引入時(shí)面臨的技術(shù)瓶頸、解耦障礙和運(yùn)營(yíng)難題,提出了相應(yīng)的工作建議。

    網(wǎng)絡(luò)功能虛擬化;開(kāi)源;解耦架構(gòu);網(wǎng)絡(luò)重構(gòu)

    1 引言

    NFV(network function virtualization,網(wǎng)絡(luò)功能虛擬化)是當(dāng)前網(wǎng)絡(luò)領(lǐng)域的熱點(diǎn),其目標(biāo)是利用虛擬化技術(shù)和標(biāo)準(zhǔn)化的通用IT設(shè)備實(shí)現(xiàn)網(wǎng)絡(luò)功能。開(kāi)源能夠進(jìn)一步推動(dòng)網(wǎng)絡(luò)的開(kāi)放性,促進(jìn)電信網(wǎng)絡(luò)中私有、專用和封閉的網(wǎng)元的替換。因此,開(kāi)源NFV是運(yùn)營(yíng)商網(wǎng)絡(luò)重構(gòu)的利器[1]。

    NFV 的理念源自 ETSI(European Telecommunications Standards Institute,歐洲電信標(biāo)準(zhǔn)化協(xié)會(huì))于2012年11月發(fā)起的NFV ISG(Industry Specification Group,行業(yè)規(guī)范組),其主要目標(biāo)是定義NFV架構(gòu),并與業(yè)界主流標(biāo)準(zhǔn)化組織和開(kāi)源社區(qū)互動(dòng)促進(jìn)標(biāo)準(zhǔn)生成,推動(dòng)設(shè)備廠商驗(yàn)證并提供應(yīng)用參考[2]。當(dāng)前,ETSI NFV ISG已經(jīng)制訂了NFV參考框架,如圖1所示,完成了NFV的需求、架構(gòu)和應(yīng)用場(chǎng)景分析,正在引導(dǎo)可支持互操作的NFV生態(tài)建設(shè),明確NFV與SDN(software defined networking,軟件定義網(wǎng)絡(luò))等領(lǐng)域的相關(guān)標(biāo)準(zhǔn)、開(kāi)源項(xiàng)目的協(xié)作關(guān)系[3]。

    為了加速 NFV 技術(shù)標(biāo)準(zhǔn)從概念驗(yàn)證向商用化部署,主流運(yùn)營(yíng)商、設(shè)備商與 Linux基金會(huì)在2014年9月聯(lián)合發(fā)起OPNFV(open platform for NFV,NFV開(kāi)放平臺(tái))項(xiàng)目,旨在利用開(kāi)源社區(qū)力量開(kāi)發(fā)和集成符合NFV需求和架構(gòu)的開(kāi)源參考平臺(tái)。OPNFV以整合已有和新增的開(kāi)源組件為基礎(chǔ),開(kāi)展相關(guān)組件的性能、一致性和互操作性的驗(yàn)證,達(dá)到構(gòu)建完善的NFV事實(shí)標(biāo)準(zhǔn)的目標(biāo)。遵循這一愿景,OPNFV開(kāi)源平臺(tái)中,已經(jīng)包含有KVM、Ceph、OpenDaylight、OpenStack、Open vSwitch(OVS)等眾多開(kāi)源項(xiàng)目[3]。

    實(shí)踐證明,在NFV的研發(fā)應(yīng)用過(guò)程中,開(kāi)源能夠有效地推進(jìn)硬件設(shè)備、虛擬化環(huán)境、網(wǎng)元應(yīng)用乃至運(yùn)營(yíng)系統(tǒng)的全面解耦,這也是運(yùn)營(yíng)商引入NFV的重要工作目標(biāo)。ETSI NFV參考框架示意如圖1所示,綜合考慮標(biāo)準(zhǔn)化組織和開(kāi)源社區(qū)中NFV系統(tǒng)互操作方面的工作進(jìn)展,NFV解耦首先將從虛擬化基礎(chǔ)設(shè)施與硬件廠商設(shè)備的解耦以及NFVO(NFV orchestrator,NFV編排器)、各網(wǎng)元EMS(element management system,網(wǎng)元管理系統(tǒng))與運(yùn)營(yíng)商的上層網(wǎng)管/支撐系統(tǒng)對(duì)接集成開(kāi)始,然后實(shí)現(xiàn)直接模式下全局 NFVO和 VNFM(virtual network function manager,虛擬網(wǎng)絡(luò)功能管理器)、VIM(virtualized infrastructure manager,虛擬化基礎(chǔ)設(shè)施管理器)的解耦,最后是最具難度的VNF(virtualized network function,虛擬網(wǎng)元功能)和NFVI(NFV infrastructure,網(wǎng)絡(luò)功能虛擬化基礎(chǔ)設(shè)施)的解耦。在上述3個(gè)階段中,開(kāi)源軟件都能夠在標(biāo)準(zhǔn)編制、接口定義、原型驗(yàn)證乃至現(xiàn)網(wǎng)系統(tǒng)實(shí)現(xiàn)等方面提供全方位支持。

    圖1 ETSI NFV參考框架示意

    綜上所述,開(kāi)源是NFV發(fā)展的重要?jiǎng)恿?。本文將?duì) NFV開(kāi)源技術(shù)進(jìn)行全面的研究和分析,闡述NFVI、VNF以及MANO(management and orchestration,管理與編排)的開(kāi)源技術(shù)體系,并對(duì)主流開(kāi)源項(xiàng)目的工作背景、技術(shù)路線開(kāi)展深入的對(duì)比,并提出NFV開(kāi)源技術(shù)在當(dāng)前面臨的主要問(wèn)題。

    2 NFVI及VNF開(kāi)源技術(shù)

    NFVI是虛擬網(wǎng)元部署和運(yùn)行的基礎(chǔ),其核心在于利用標(biāo)準(zhǔn)化的虛擬化手段支持多租戶,從而能夠?yàn)椴煌愋吞摂M網(wǎng)元的同時(shí)運(yùn)行按需提供資源支持。針對(duì)不同網(wǎng)元在功能、性能等方面的要求,用于承載VNF的NFVI可以有多種實(shí)現(xiàn)類型,如圖2所示。

    圖2 典型的NFVI實(shí)現(xiàn)方式示意

    圖2中所示的基于NFVI的網(wǎng)元部署方案各有特點(diǎn),其優(yōu)點(diǎn)和不足的對(duì)比分析見(jiàn)表1[4]。

    表1 典型NFVI實(shí)現(xiàn)方式的優(yōu)缺點(diǎn)

    NFVI開(kāi)源技術(shù)需要靈活滿足虛擬網(wǎng)元功能對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源的需求。其中,在計(jì)算方面,需要考慮如何選擇合適的x86架構(gòu)虛擬化技術(shù)(如KVM、Xen、Docker等)用于網(wǎng)元承載;在存儲(chǔ)方面,因?yàn)殡娦啪W(wǎng)絡(luò)大部分網(wǎng)元功能具有無(wú)需向磁盤寫數(shù)據(jù)等特性,所以可直接利用云計(jì)算領(lǐng)域的成熟開(kāi)源項(xiàng)目(如Ceph);在網(wǎng)絡(luò)方面,則需要關(guān)注虛擬網(wǎng)元功能(如OVS)及其I/O性能提升技術(shù)(如DPDK、VPP等)。

    2.1 NFVI開(kāi)源技術(shù)

    基于虛擬化環(huán)境的軟件網(wǎng)元部署是NFV的核心理念之一。當(dāng)前,在虛擬化層面,KVM和Xen是主流的x86架構(gòu)硬件虛擬化技術(shù),它們普遍利用了底層硬件處理器對(duì)虛擬化技術(shù)的支持(如Intel VT、AMD-V),以有效提升虛擬化資源的處理性能。兩者的架構(gòu)如圖3所示。

    圖3 KVM和Xen虛擬化架構(gòu)示意

    圖3(a)中KVM作為L(zhǎng)inux的內(nèi)核模塊,通過(guò)QEMU(面向完整x86系統(tǒng)的開(kāi)源仿真器,具有高性能、跨平臺(tái)等特性)為每臺(tái)虛擬機(jī)提供模擬的磁盤、網(wǎng)絡(luò)等設(shè)備,提供高性能的 I/O支持;圖3(b)中Xen則只有域0具有訪問(wèn)硬件I/O設(shè)備的特權(quán),它負(fù)責(zé)接收來(lái)自各個(gè)域 U(即虛擬機(jī))中的設(shè)備前端驅(qū)動(dòng)程序發(fā)來(lái)的 I/O請(qǐng)求,進(jìn)而通過(guò)其具備的設(shè)備后端驅(qū)動(dòng)程序驅(qū)動(dòng)設(shè)備完成請(qǐng)求。

    在此前的IT云中,Xen在性能、穩(wěn)定性和成熟度等方面更具優(yōu)勢(shì),從而具有廣泛的應(yīng)用(如AWS、阿里云都采用基于Xen的虛擬化技術(shù))。但是,在新興的NFV場(chǎng)景中,網(wǎng)元應(yīng)用具有的高網(wǎng)絡(luò)I/O壓力使得Xen架構(gòu)中的域0容易成為瓶頸,這使得KVM成為開(kāi)源NFVI的首選[5,6]。

    容器作為輕量級(jí)虛擬化方案,正在IT基礎(chǔ)設(shè)施平臺(tái)領(lǐng)域獲得推廣。其中,Docker是當(dāng)前最為知名的容器引擎,同時(shí)Rocket、runC等開(kāi)源項(xiàng)目也正在快速成長(zhǎng)中。多個(gè)容器可直接在共享的宿主Linux上分別加載和運(yùn)行應(yīng)用程序,并利用cgroup、namespace等Linux內(nèi)部機(jī)制實(shí)現(xiàn)不同容器間的隔離、權(quán)限管理和資源額度分配。作為操作系統(tǒng)層的虛擬化,容器不像虛擬機(jī)一樣需要虛擬出完整的硬件平臺(tái)并運(yùn)行獨(dú)立的操作系統(tǒng),具有部署快捷、擴(kuò)展性強(qiáng)、整合密度高等特點(diǎn)。

    利用容器承載VNF是當(dāng)前NFV領(lǐng)域的研究熱點(diǎn)。與基于硬件的虛擬化技術(shù)側(cè)重在資源層面實(shí)現(xiàn)物理向虛擬的轉(zhuǎn)換不同,容器更強(qiáng)調(diào)的是軟件組件的細(xì)粒度和松耦合。利用微服務(wù)(micro service)理念改造軟件網(wǎng)元,進(jìn)而通過(guò)容器承載微服務(wù)是容器在NFV領(lǐng)域引入的關(guān)鍵,這也為網(wǎng)元的研發(fā)、部署、管理提出了新的挑戰(zhàn)。另外,在高帶寬、低時(shí)延的網(wǎng)絡(luò)流量壓力下,基于容器部署的微服務(wù)間通信在同步性、時(shí)效性等方面的能力有待進(jìn)一步驗(yàn)證。同時(shí),容器技術(shù)自身也還存在不足(如Docker的向后兼容問(wèn)題),更加劇了在當(dāng)前利用容器平臺(tái)承載虛擬網(wǎng)元功能的風(fēng)險(xiǎn)。

    2.2 VNF開(kāi)源技術(shù)

    NFV實(shí)現(xiàn)了網(wǎng)元設(shè)備的軟硬件解耦及網(wǎng)元功能的抽象,降低了傳統(tǒng)網(wǎng)絡(luò)設(shè)備制造領(lǐng)域的門檻。開(kāi)源的VNF已經(jīng)由來(lái)已久,但此前主要在數(shù)據(jù)中心網(wǎng)絡(luò)被廣泛部署應(yīng)用,如:以 LVS、Nginx為代表的虛擬負(fù)載均衡,以iptables為代表的虛擬防火墻,以O(shè)VS為代表的虛擬交換機(jī)。當(dāng)前,開(kāi)源領(lǐng)域也出現(xiàn)了面向電信網(wǎng)絡(luò)的開(kāi)源VNF技術(shù),例如OpenEPC、OpenIMS等,它們以純軟件的方式實(shí)現(xiàn)電信網(wǎng)絡(luò)的網(wǎng)元功能,使之更適合于在虛擬化基礎(chǔ)設(shè)施上運(yùn)行。

    在VNF的設(shè)計(jì)與實(shí)現(xiàn)中,x86架構(gòu)及其虛擬化技術(shù)能否為虛擬網(wǎng)元功能提供足夠的性能支持是亟待解決的問(wèn)題,開(kāi)源的 DPDK(data planedevelopment kit,數(shù)據(jù)平面開(kāi)發(fā)套件)是針對(duì)這一問(wèn)題的主流解決方案。DPDK是x86架構(gòu)平臺(tái)上用于報(bào)文快速處理的庫(kù)和驅(qū)動(dòng)的集合,其核心思想是支持運(yùn)行在 Linux用戶態(tài)空間的應(yīng)用程序能夠直接驅(qū)動(dòng)物理網(wǎng)絡(luò)設(shè)備而無(wú)需陷入操作系統(tǒng)的核心態(tài),從而有效提升性能。當(dāng)前,很多軟件都在借助DPDK改善網(wǎng)絡(luò)數(shù)據(jù)處理效能,如FD.io開(kāi)源項(xiàng)目。FD.io的目標(biāo)是提供模塊化、可擴(kuò)展的用戶空間的 I/O服務(wù)框架,能支持高吞吐量、低時(shí)延、高資源利用率的I/O服務(wù)。它貢獻(xiàn)的VPP(vector packet processing)是利用了DPDK技術(shù)的可供商用的vSwitch/vRouter方案,與同類開(kāi)源技術(shù)相比擁有數(shù)量級(jí)上的性能優(yōu)勢(shì)。

    與DPDK專注于提升運(yùn)行在Linux用戶態(tài)的虛擬網(wǎng)元功能的I/O性能不同,I/O Visor開(kāi)源項(xiàng)目的思路是在Linux內(nèi)核中拓展I/O虛擬化能力,從而提供可擴(kuò)展的網(wǎng)絡(luò)系統(tǒng)基礎(chǔ)。使用I/O Visor,Linux內(nèi)核中可以運(yùn)行多個(gè)VNF乃至完整的服務(wù)鏈(service chain),系統(tǒng)在處理網(wǎng)絡(luò)流量時(shí)也無(wú)需進(jìn)行內(nèi)核模塊的加載,能夠確保基礎(chǔ)設(shè)施更新升級(jí)時(shí)不會(huì)中斷網(wǎng)絡(luò)操作。同時(shí),I/O Visor支持在操作系統(tǒng)內(nèi)核態(tài)直接處理網(wǎng)絡(luò)I/O,也避免了傳統(tǒng)的需要經(jīng)由系統(tǒng)調(diào)用進(jìn)入用戶態(tài)的做法,有效地提升了VNF性能。

    3 MANO開(kāi)源技術(shù)

    NFV MANO涵蓋了支持基礎(chǔ)設(shè)施虛擬化的軟硬件資源的編排和生命周期管理以及VNF的生命周期管理。如圖1所示,MANO主要包括3個(gè)模塊:NFVO負(fù)責(zé)網(wǎng)絡(luò)服務(wù)生命周期管理和總體資源管理等功能;VNFM負(fù)責(zé)監(jiān)控VNF實(shí)例的整個(gè)生命周期(包括配置、擴(kuò)展和終結(jié)等);VIM負(fù)責(zé)管理和控制 NFVI中的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。其中,VNFM和具體的VNF有密切的關(guān)系,在當(dāng)前還缺少完善的開(kāi)源解決方案,而VIM則相對(duì)成熟。

    3.1 MANO開(kāi)源技術(shù)概述

    對(duì)于運(yùn)營(yíng)商而言,網(wǎng)絡(luò)資源的運(yùn)維和調(diào)度是其核心競(jìng)爭(zhēng)力,特別是NFV能夠更便捷地支持網(wǎng)絡(luò)服務(wù)的規(guī)模伸縮和質(zhì)量?jī)?yōu)化,因此MANO吸引了眾多運(yùn)營(yíng)商的目光,有很多運(yùn)營(yíng)商主導(dǎo)的開(kāi)源MANO項(xiàng)目被提出,例如:Telefonica發(fā)起的OpenMANO、中國(guó)移動(dòng)發(fā)起的Open-O、AT&T發(fā)起的 ECOMP(enhanced control, orchestration, management & policy,增強(qiáng)控制、編排、管理和策略)等。同時(shí),標(biāo)準(zhǔn)化組織和開(kāi)源社區(qū)也在MANO領(lǐng)域做出很多工作,例如:ETSI OSM(open source MANO)、OpenStack Tacker等。另外,還有一些企業(yè)在MANO功能模塊方面做出了貢獻(xiàn),例如Gigaspace推出的編排器Cloudify、Canonical推出的VNF管理器Juju等[7]。

    在經(jīng)歷了開(kāi)源項(xiàng)目爆發(fā)期之后,MANO在當(dāng)前正走向項(xiàng)目整合的方向。將多個(gè)相關(guān)領(lǐng)域的小型開(kāi)源項(xiàng)目匯集整合到大型項(xiàng)目中,有利于產(chǎn)業(yè)的聚焦,避免重復(fù)研發(fā),擴(kuò)大社區(qū)影響力。例如,ETSI OSM 在其發(fā)布的首個(gè)版本中,就利用了OpenMANO實(shí)現(xiàn)資源編排,利用Juju實(shí)現(xiàn)VNF配置和管理,同時(shí)它還引入了ETSI NFV范圍之外的開(kāi)源服務(wù)編排組件RIFT.ware。2017年2月,同屬于 Linux基金會(huì)的兩大開(kāi)源組織 Open-O和ECOMP合并成為ONAP(open network automation platform,開(kāi)放網(wǎng)絡(luò)自動(dòng)化平臺(tái))項(xiàng)目。同為運(yùn)營(yíng)商主導(dǎo)的MANO項(xiàng)目,Open-O和ECOMP在架構(gòu)設(shè)計(jì)、功能實(shí)現(xiàn)等方面存在共性,并且都具有良好的發(fā)展勢(shì)頭,其中,Open-O擁有眾多運(yùn)營(yíng)商支持并成為OPNFV上游項(xiàng)目,ECOMP則已經(jīng)在AT&T實(shí)現(xiàn)現(xiàn)網(wǎng)的規(guī)模部署。兩個(gè)項(xiàng)目合并成立ONAP意味著 NFV已經(jīng)度過(guò)初始的技術(shù)驗(yàn)證階段,即將走向規(guī)模部署、規(guī)模商用的階段。

    NFV MANO開(kāi)源項(xiàng)目當(dāng)前不夠成熟,但在ETSI發(fā)布的標(biāo)準(zhǔn)架構(gòu)的指引下,該領(lǐng)域的開(kāi)源項(xiàng)目都具有較為清晰的定位。不同背景的開(kāi)源項(xiàng)目會(huì)有不同的發(fā)展路徑,其中:標(biāo)準(zhǔn)化組織主導(dǎo)開(kāi)源工作的原則之一是項(xiàng)目要服務(wù)于標(biāo)準(zhǔn)的制定,通過(guò)開(kāi)源代碼驗(yàn)證標(biāo)準(zhǔn)的合理性和可行性,并為文檔工作的完善提供依據(jù)[8];運(yùn)營(yíng)商主導(dǎo)的項(xiàng)目則以滿足電信網(wǎng)絡(luò)重構(gòu)的現(xiàn)實(shí)需求為目標(biāo),會(huì)在標(biāo)準(zhǔn)化架構(gòu)的基礎(chǔ)上結(jié)合自身需求進(jìn)行能力的增減,并通過(guò)社區(qū)凝聚產(chǎn)業(yè)生態(tài),加速落地;設(shè)備廠商發(fā)起的項(xiàng)目,更主要的是發(fā)揮自身在相關(guān)領(lǐng)域的特長(zhǎng),為前兩類開(kāi)源社區(qū)的能力完善和資源整合提供支持。為了確保自身利益,運(yùn)營(yíng)商主導(dǎo)的開(kāi)源項(xiàng)目會(huì)設(shè)定一些規(guī)則,例如ONAP在號(hào)召運(yùn)營(yíng)商加入的同時(shí)對(duì)設(shè)備廠商董事成員名額進(jìn)行了限制,這也是其與另兩類開(kāi)源項(xiàng)目不同的地方。

    3.2 VIM開(kāi)源技術(shù)

    VIM是NFV MANO中相對(duì)成熟的模塊,利用云計(jì)算和SDN的理念是當(dāng)前實(shí)現(xiàn)VIM的主流思路。開(kāi)源領(lǐng)域的 OpenStack云管理平臺(tái)和以O(shè)penDaylight、ONOS為代表的SDN控制器的融合構(gòu)建成為了VIM領(lǐng)域廣為使用的方案。

    VIM 作為底層虛擬化基礎(chǔ)設(shè)施的管理平臺(tái),需要負(fù)責(zé)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源池的統(tǒng)一管理和協(xié)同調(diào)度。OpenStack作為當(dāng)前最具影響力的開(kāi)源云管理平臺(tái)項(xiàng)目,可實(shí)現(xiàn)在單一管理平臺(tái)上對(duì)多個(gè)數(shù)據(jù)中心的管理,并具備通用的安全、身份識(shí)別服務(wù)、API 及用戶界面。OpenStack的Nova、Cinder、Neutron等組件在云計(jì)算資源池的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等領(lǐng)域的資源管理方面吸引了眾多合作伙伴,實(shí)現(xiàn)了對(duì)云基礎(chǔ)設(shè)施資源的全面管理。因此,OpenStack被眾多 NFV項(xiàng)目用作虛擬化基礎(chǔ)設(shè)施的管理組件,例如OPNFV。同時(shí),OpenStack在VIM模塊上的成功推動(dòng)了其向 NFV MANO的全棧拓展。Tacker是 OpenStack社區(qū)中遵循 ETSI MANO架構(gòu)實(shí)現(xiàn)NFVO和VNFM的組件服務(wù),在端到端VNF平臺(tái)模板交付、VNF服務(wù)目錄、NFV生命周期管理等方面做出突出工作。

    VNF部署的動(dòng)態(tài)性、擴(kuò)展性對(duì)網(wǎng)絡(luò)連接提出了更高的要求,SDN則能夠很好地支持NFV在電信網(wǎng)絡(luò)的引入。控制器作為SDN的核心也是開(kāi)源領(lǐng)域的重點(diǎn),其中最具影響力的是 OpenDaylight和 ONOS。經(jīng)過(guò)多年的發(fā)展,兩個(gè)開(kāi)源項(xiàng)目相互借鑒相互影響,在整體架構(gòu)和技術(shù)路線上正日益趨同,例如采用 Karaf架構(gòu)提升擴(kuò)展性、北向采用模型驅(qū)動(dòng)、南向支持多種協(xié)議等。類似此前MANO開(kāi)源項(xiàng)目分析,OpenDaylight和ONOS分別是設(shè)備廠商和運(yùn)營(yíng)商主導(dǎo)。因此,OpenDaylight更符合廠商利益,并更適于和現(xiàn)網(wǎng)的平滑過(guò)渡;ONOS則更多體現(xiàn)了運(yùn)營(yíng)商的意志,貼合電信網(wǎng)絡(luò)重構(gòu)需求。

    NFVI的發(fā)展趨勢(shì)之一是容器的應(yīng)用,因此容器集群的管理也是當(dāng)前VIM領(lǐng)域的熱點(diǎn),主流開(kāi)源項(xiàng)目包括Kubernetes、Mesos、Swarm、Rancher等。其中,源自Google的Kubernetes在當(dāng)前最受關(guān)注,其在服務(wù)發(fā)現(xiàn)與容錯(cuò)調(diào)度等方面有較大優(yōu)勢(shì);Mesos的調(diào)度機(jī)制分為資源委派和調(diào)度框架兩個(gè)層次,更適用于復(fù)雜分布式應(yīng)用的部署;Swarm是主流容器技術(shù)Docker的原生功能,在使用維護(hù)上較為簡(jiǎn)潔;Rancher作為后起之秀,則具備了對(duì)上述3家容器集群管理引擎的支持。如上文所述,容器的關(guān)鍵并非只是虛擬化資源交付方式的簡(jiǎn)單改變,更重要的是它能夠更好地支持以微服務(wù)的粒度對(duì)VNF進(jìn)行靈活的編排。相應(yīng)的,容器的集群管理和資源調(diào)度解決的將不僅是VIM層面的問(wèn)題,而且可以擴(kuò)展到NFVO、VNFM等多個(gè)層面。隨著基于容器的NFV技術(shù)的發(fā)展,以Kubernetes為代表的容器集群管理項(xiàng)目也將成為NFV MANO的重要選擇。

    4 開(kāi)源NFV問(wèn)題

    對(duì)于運(yùn)營(yíng)商而言,開(kāi)源是一把雙刃劍:一方面,它能夠充分借助社區(qū)的力量,幫助運(yùn)營(yíng)商脫離設(shè)備廠商的鎖定,使得整個(gè)網(wǎng)絡(luò)系統(tǒng)更加靈活;另一方面,在開(kāi)源社區(qū)中,運(yùn)營(yíng)商、設(shè)備廠商有著不同的訴求,對(duì)運(yùn)營(yíng)商的掌控力提出新的挑戰(zhàn)。另外,開(kāi)源項(xiàng)目依托相對(duì)松散的社區(qū)提供代碼維護(hù)和支持,在軟件質(zhì)量、版本兼容、代碼冗余等方面存在不確定性,為其在現(xiàn)網(wǎng)的引入增加了障礙。結(jié)合開(kāi)源項(xiàng)目的發(fā)展現(xiàn)狀,運(yùn)營(yíng)商在運(yùn)用開(kāi)源NFV時(shí)需特別關(guān)注以下方面。

    (1)技術(shù)瓶頸

    開(kāi)源NFV在性能、可靠性等方面存在瓶頸,這主要是因?yàn)樽鳛槠浠A(chǔ)的x86架構(gòu)及其虛擬化技術(shù)此前重點(diǎn)面向的是計(jì)算密集型應(yīng)用而并非類似網(wǎng)元功能的 I/O密集型應(yīng)用,雖然其網(wǎng)絡(luò)處理能力在DPDK、SR-IOV等軟硬件技術(shù)輔助下已有較大幅度提升,但是仍難以滿足高性能轉(zhuǎn)發(fā)的需求。同時(shí),電信網(wǎng)絡(luò)網(wǎng)元所需的高可靠性保障在此前需要依賴于專用硬件的特別設(shè)計(jì),而在NFV場(chǎng)景下憑借通用IT設(shè)備和軟件高可用設(shè)計(jì)來(lái)實(shí)現(xiàn)相關(guān)目標(biāo)還需要更多的工作。

    (2)解耦障礙

    解耦是運(yùn)營(yíng)商部署NFV的重要目標(biāo),但在當(dāng)前存在巨大障礙。主要原因來(lái)自兩個(gè)方面:一個(gè)方面是設(shè)備商為了解決上述 NFV開(kāi)源技術(shù)的瓶頸,必然會(huì)在NFV架構(gòu)的軟硬件堆棧開(kāi)展優(yōu)化,以建立技術(shù)壁壘;另一個(gè)方面是NFV除了在縱向上具有基礎(chǔ)設(shè)施、虛擬網(wǎng)絡(luò)和運(yùn)營(yíng)支撐等層次外,橫向上還有橫向的管理編排域,眾多接口和協(xié)議標(biāo)準(zhǔn)分散在不同的標(biāo)準(zhǔn)化組織中,從而影響了兼容性和互操作性的實(shí)現(xiàn)。運(yùn)營(yíng)商的需求引領(lǐng)將是解決這一問(wèn)題的關(guān)鍵,通過(guò)開(kāi)源項(xiàng)目打造確保互聯(lián)互通的事實(shí)標(biāo)準(zhǔn)是實(shí)現(xiàn)NFV架構(gòu)在各個(gè)層次上充分解耦的重要手段。

    (3)運(yùn)營(yíng)難題

    雖然運(yùn)營(yíng)商已經(jīng)在NFV開(kāi)源項(xiàng)目中發(fā)揮了一定的主導(dǎo)作用,但是總體而言,運(yùn)營(yíng)商在軟件設(shè)計(jì)開(kāi)發(fā)、開(kāi)源社區(qū)運(yùn)營(yíng)等方面尚不具有足夠的實(shí)力,其中最典型的難題之一就是如何針對(duì)自身需求開(kāi)展開(kāi)源組件選型進(jìn)而整合為業(yè)務(wù)系統(tǒng)。為此,SDN和NFV領(lǐng)域的重要標(biāo)準(zhǔn)化組織ONF(Open Networking Foundation,開(kāi)放網(wǎng)絡(luò)基金會(huì))提出了開(kāi)放式創(chuàng)新渠道(open innovation pipeline),目標(biāo)是在開(kāi)放平臺(tái)上提供大量可應(yīng)用框架,為運(yùn)營(yíng)商提供多種多樣的解決方案,降低運(yùn)營(yíng)商進(jìn)入軟件開(kāi)發(fā)領(lǐng)域的成本和障礙。另外,開(kāi)源的引入絕不意味著運(yùn)營(yíng)商不再需要設(shè)備商的支持,圍繞開(kāi)源技術(shù)的集成服務(wù)和技術(shù)支撐將促使運(yùn)營(yíng)商和設(shè)備商此前建立的簡(jiǎn)單買賣關(guān)系轉(zhuǎn)型為更深入的研發(fā)運(yùn)營(yíng)合作關(guān)系。

    5 結(jié)束語(yǔ)

    開(kāi)源驅(qū)動(dòng)的以軟件為中心的架構(gòu)正在加速網(wǎng)絡(luò)的變革,以使得運(yùn)營(yíng)商能夠應(yīng)對(duì)市場(chǎng)競(jìng)爭(zhēng)的持續(xù)加劇、用戶需求的不斷變化以及自身業(yè)務(wù)增收的巨大壓力,NFV則是這一變革的重要組成部分。開(kāi)源項(xiàng)目的涌現(xiàn)促進(jìn)了NFV領(lǐng)域完備軟件化體系的形成,有力地推動(dòng)了NFV的標(biāo)準(zhǔn)制定、系統(tǒng)研發(fā)及落地實(shí)踐。

    NFV以及SDN、云計(jì)算構(gòu)成了當(dāng)前運(yùn)營(yíng)商網(wǎng)絡(luò)重構(gòu)的核心要素,它們的核心理念都是 CT產(chǎn)業(yè)與IT產(chǎn)業(yè)的能力融合。而開(kāi)源作為IT產(chǎn)業(yè)迅猛發(fā)展的重要推手,也勢(shì)必會(huì)在 CT產(chǎn)業(yè)發(fā)揮重大作用。運(yùn)營(yíng)商應(yīng)牢牢把握這一趨勢(shì),借助開(kāi)源的力量,掌控核心技術(shù),建立事實(shí)標(biāo)準(zhǔn),加快業(yè)務(wù)創(chuàng)新,降低運(yùn)營(yíng)成本,進(jìn)而打造開(kāi)源生態(tài),引領(lǐng)產(chǎn)業(yè)發(fā)展。

    [1] 中國(guó)電信集團(tuán)公司. CTNet 2025網(wǎng)絡(luò)架構(gòu)白皮書 [R/OL]. (2016?07?11)[2017?01?15]. http://www.chinatelecom.com. cn/news/06/bps/. China Telecom. CTNet 2025 network architecture white paper [R/OL]. (2016?07?11)[2017?01?15]. http://www.chinatelecom. com.cn/news/06/bps/.

    [2] European Telecommunications Standards Institute. Network functions virtualisation: network operator perspectives on in-dustry progress [R/OL]. (2014?10?17)[2017?01?15]. https:// portal.etsi.org/Portals/0/TBpages/NFV/Docs/NFV_White_Paper3.pdf.

    [3] 馬軍鋒. SDN/NFV關(guān)鍵技術(shù)問(wèn)題分析和標(biāo)準(zhǔn)化進(jìn)展[J]. 中興通訊技術(shù), 2016, 22(6): 12-16. MA J F. Key technical problems and standardization progress of SDN/NFV [J]. ZTE Technology Journal, 2016, 22(6): 12-16.

    [4] 趙慧玲. SDN/NFV的發(fā)展與挑戰(zhàn)[C/OL]//2016全球SDNFV技術(shù)大會(huì), 2016年6月1日, 北京. [2016?06?01]. http://net. zhiding.cn/ network_security_zone/2016/0601/3078383.shtml. ZHAO H L. Developments and challenges of SDN/NFV [C/OL]//Global SDNFV Technology Conference 2016, June 1, 2016, Beijing, China. [2016?06?01]. http://net.zhiding.cn/network_ security_zone/2016/ 0601/3078383.shtml.

    [5] Wind River. Open solutions for NFV [R/OL]. (2015?11?01) [2017?01?16]. http://www.windriver.com.cn/products/titaniumserver/2415-Open-Checklist.pdf.

    [6] Red Hat. Network functions virtualization with Red Hat [R/OL]. (2015?09?03)[2017?01?16].https://www.redhat.com/en/files/ resources/en-rhel- nfv-value-inc0285929_v1_0815_kvm.pdf.

    [7] IEEE. IEEE softwarization eNewsletter – July 2016 [R/OL]. (2016?07?13)[2017?01?16]. http://resourcecenter.fd.ieee.org/ fd/product/enewsletters/FDSDNNL0005.

    [8] Open Source MANO. A conversation with the OSM Leadership Group [EB/OL]. (2016?10?01)[2017?01?16]. https://osm.etsi. org/news-events/news/a-conversation-with-the-osm-leadership-group.

    王峰(1979?),男,中國(guó)電信股份有限公司北京研究院教授級(jí)高級(jí)工程師,主要研究方向?yàn)樵朴?jì)算、軟件定義網(wǎng)絡(luò)。

    趙慧玲,女,長(zhǎng)期從事電信網(wǎng)絡(luò)領(lǐng)域技術(shù)和標(biāo)準(zhǔn)工作。現(xiàn)任中國(guó)通信學(xué)會(huì)常務(wù)理事;中國(guó)通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)專業(yè)委員會(huì)主任委員;中國(guó)通信學(xué)會(huì)北京通信學(xué)會(huì)副理事長(zhǎng);中國(guó)通信標(biāo)準(zhǔn)協(xié)會(huì)網(wǎng)絡(luò)與業(yè)務(wù)能力技術(shù)工作委員會(huì)主席;工業(yè)和信息化部科學(xué)技術(shù)委員會(huì)委員;中國(guó)電信科學(xué)技術(shù)委員會(huì)常務(wù)委員兼核心網(wǎng)組負(fù)責(zé)人;國(guó)際標(biāo)準(zhǔn)組織MEF顧問(wèn)董事;SDN、NFV產(chǎn)業(yè)聯(lián)盟技術(shù)委員會(huì)副主任。發(fā)表技術(shù)文章百余篇、技術(shù)專著12部,曾獲得多個(gè)國(guó)家及省部級(jí)科學(xué)技術(shù)進(jìn)步獎(jiǎng)項(xiàng)。

    Open source technology of NFV

    WANG Feng, ZHAO Huiling
    Beijing Research Institute of China Telecom Co., Ltd., Beijing 102209, China

    NFV is a core component of the operator network reconstitution, and open source is an important driving force to accelerate the development of NFV. How to use open source technology to promote the application of NFV in telecom network is a major issue faced by operators. NFV open source technology system was surveyed comprehensively according to the NFV reference framework proposed by ETSI, and the background, core technology and development trend of mainstream open source projects of NFVI, VNF and MANO was analyzed. Finally, some critical problems (such as technical bottlenecks, decoupling obstacles and operational difficulties) and corresponding solutions were presented to help operators to make better use of open source technology of NFV.

    network function virtualization, open source, decoupling architecture, network reconstitution

    TP393

    A

    10.11959/j.issn.1000?0801.2017105

    2017?02?20;

    2017?04?04

    國(guó)家高技術(shù)研究發(fā)展計(jì)劃(“863”計(jì)劃)基金資助項(xiàng)目(No.2015AA016106)

    Foundation Item:The National High Technology Research and Development Program of China (863 Program)(No.2015AA016106)

    猜你喜歡
    網(wǎng)元開(kāi)源虛擬化
    五毛錢能買多少頭牛
    基于OpenStack虛擬化網(wǎng)絡(luò)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
    電子制作(2019年10期)2019-06-17 11:45:10
    一種全網(wǎng)時(shí)鐘同步管理方法
    對(duì)基于Docker的虛擬化技術(shù)的幾點(diǎn)探討
    電子制作(2018年14期)2018-08-21 01:38:20
    虛擬化技術(shù)在計(jì)算機(jī)技術(shù)創(chuàng)造中的應(yīng)用
    大家說(shuō):開(kāi)源、人工智能及創(chuàng)新
    開(kāi)源中國(guó)開(kāi)源世界高峰論壇圓桌會(huì)議縱論開(kāi)源與互聯(lián)網(wǎng)+創(chuàng)新2.0
    存儲(chǔ)虛擬化還有優(yōu)勢(shì)嗎?
    開(kāi)源計(jì)算機(jī)輔助翻譯工具研究
    光網(wǎng)絡(luò)設(shè)備ECC常見(jiàn)問(wèn)題解決思路剖析
    kizo精华| 国产成人精品一,二区| 人妻 亚洲 视频| 日日摸夜夜添夜夜添av毛片| 人妻一区二区av| 久久女婷五月综合色啪小说 | 成年版毛片免费区| 人妻夜夜爽99麻豆av| 哪个播放器可以免费观看大片| 国产精品一及| 深爱激情五月婷婷| 国产精品久久久久久av不卡| 热99国产精品久久久久久7| 最近的中文字幕免费完整| 日韩成人av中文字幕在线观看| 午夜免费鲁丝| 乱系列少妇在线播放| 久久久久久久国产电影| 一级爰片在线观看| 成年女人在线观看亚洲视频 | 国产亚洲av片在线观看秒播厂| 久久久a久久爽久久v久久| 亚洲av在线观看美女高潮| 97精品久久久久久久久久精品| 成年人午夜在线观看视频| 少妇熟女欧美另类| 日本黄色片子视频| 蜜桃亚洲精品一区二区三区| 亚洲成人一二三区av| 伊人久久国产一区二区| 人人妻人人看人人澡| 色综合色国产| 亚洲不卡免费看| 国产精品人妻久久久久久| 少妇高潮的动态图| 人妻制服诱惑在线中文字幕| 成人午夜精彩视频在线观看| 日本一本二区三区精品| 久久久久久久亚洲中文字幕| 在线观看人妻少妇| 一级av片app| 美女高潮的动态| 亚洲四区av| 亚洲精品国产色婷婷电影| av卡一久久| 日韩 亚洲 欧美在线| 国产乱人偷精品视频| 日韩不卡一区二区三区视频在线| xxx大片免费视频| 日日摸夜夜添夜夜爱| 超碰av人人做人人爽久久| 国产在视频线精品| 极品教师在线视频| 久久久欧美国产精品| 特级一级黄色大片| 你懂的网址亚洲精品在线观看| 街头女战士在线观看网站| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 中文天堂在线官网| 一本色道久久久久久精品综合| 日本av手机在线免费观看| 麻豆成人午夜福利视频| 又爽又黄a免费视频| 日日摸夜夜添夜夜添av毛片| 国产黄色免费在线视频| 夫妻午夜视频| 精品久久久久久久末码| 老司机影院成人| 久热久热在线精品观看| 国产成人一区二区在线| av网站免费在线观看视频| 精品国产三级普通话版| 色视频在线一区二区三区| 久久久色成人| 蜜桃久久精品国产亚洲av| 精品久久久久久久人妻蜜臀av| 久久久久久久久久人人人人人人| 欧美日韩精品成人综合77777| 久久久久久久午夜电影| av女优亚洲男人天堂| 干丝袜人妻中文字幕| 久久99热这里只频精品6学生| 亚洲成人久久爱视频| 亚洲美女搞黄在线观看| 美女cb高潮喷水在线观看| 男人爽女人下面视频在线观看| 熟妇人妻不卡中文字幕| 欧美激情国产日韩精品一区| 亚洲成人精品中文字幕电影| 我要看日韩黄色一级片| 日韩 亚洲 欧美在线| 最近最新中文字幕大全电影3| 日韩国内少妇激情av| 亚洲精品自拍成人| 搡老乐熟女国产| 成年人午夜在线观看视频| 在线观看人妻少妇| av天堂中文字幕网| 草草在线视频免费看| 亚洲欧美日韩无卡精品| 国产一区亚洲一区在线观看| 18禁在线无遮挡免费观看视频| 亚洲最大成人手机在线| 乱系列少妇在线播放| 国产精品99久久99久久久不卡 | 男人舔奶头视频| 国产一区二区三区av在线| 综合色av麻豆| 国产视频内射| kizo精华| 欧美日韩视频精品一区| 亚洲精品久久午夜乱码| 美女视频免费永久观看网站| 午夜免费男女啪啪视频观看| 我的老师免费观看完整版| 国产成人免费观看mmmm| 777米奇影视久久| 一区二区三区四区激情视频| 亚洲人成网站在线播| 狠狠精品人妻久久久久久综合| 午夜视频国产福利| 国产亚洲5aaaaa淫片| 国产国拍精品亚洲av在线观看| 久久韩国三级中文字幕| 亚洲精品一区蜜桃| 国内精品美女久久久久久| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 免费看日本二区| 国产久久久一区二区三区| 天天一区二区日本电影三级| 男女下面进入的视频免费午夜| 校园人妻丝袜中文字幕| 又黄又爽又刺激的免费视频.| 日本-黄色视频高清免费观看| 高清av免费在线| 69av精品久久久久久| 亚洲av.av天堂| 国产成人福利小说| 亚洲,一卡二卡三卡| 亚洲人与动物交配视频| 伊人久久国产一区二区| 欧美成人精品欧美一级黄| 成人二区视频| 久久久a久久爽久久v久久| 日韩 亚洲 欧美在线| 国产综合懂色| 亚洲在久久综合| 成年女人看的毛片在线观看| 精品久久久久久久久av| 国产精品久久久久久久久免| 欧美三级亚洲精品| 亚洲精品久久午夜乱码| 亚洲三级黄色毛片| 黄片wwwwww| 成人无遮挡网站| 成人综合一区亚洲| 亚洲成人中文字幕在线播放| 欧美日韩国产mv在线观看视频 | 91狼人影院| 日本wwww免费看| 免费观看的影片在线观看| 秋霞伦理黄片| 国产成人免费观看mmmm| 超碰97精品在线观看| 成年版毛片免费区| 嫩草影院精品99| 亚洲av不卡在线观看| 人体艺术视频欧美日本| 夫妻午夜视频| 老师上课跳d突然被开到最大视频| 成人毛片60女人毛片免费| 久久影院123| 中文字幕免费在线视频6| 在线播放无遮挡| 边亲边吃奶的免费视频| 啦啦啦中文免费视频观看日本| 亚洲国产精品成人久久小说| 日本熟妇午夜| 色哟哟·www| 成人鲁丝片一二三区免费| 波野结衣二区三区在线| 日韩强制内射视频| 乱码一卡2卡4卡精品| 亚洲av国产av综合av卡| 亚洲高清免费不卡视频| 亚洲无线观看免费| 久久人人爽人人爽人人片va| 亚洲久久久久久中文字幕| 男的添女的下面高潮视频| 久久精品久久精品一区二区三区| 可以在线观看毛片的网站| 国产一区二区三区av在线| 一本久久精品| 免费大片黄手机在线观看| 国产成年人精品一区二区| 久久久久性生活片| 老司机影院毛片| 亚洲精品国产色婷婷电影| 别揉我奶头 嗯啊视频| 男女边摸边吃奶| 欧美zozozo另类| 联通29元200g的流量卡| 少妇丰满av| 国产老妇伦熟女老妇高清| 特级一级黄色大片| 黑人高潮一二区| 美女视频免费永久观看网站| 久久精品人妻少妇| 亚洲综合精品二区| 国产成人一区二区在线| 国产精品国产三级国产av玫瑰| 国产乱来视频区| www.av在线官网国产| 一边亲一边摸免费视频| 国产大屁股一区二区在线视频| 汤姆久久久久久久影院中文字幕| 在现免费观看毛片| 国产黄片美女视频| 久久人人爽av亚洲精品天堂 | av.在线天堂| 激情 狠狠 欧美| 国产综合懂色| 亚洲成人精品中文字幕电影| 狂野欧美激情性bbbbbb| 国产白丝娇喘喷水9色精品| 中文精品一卡2卡3卡4更新| 亚洲精品成人av观看孕妇| 成人亚洲精品一区在线观看 | 少妇猛男粗大的猛烈进出视频 | 女人十人毛片免费观看3o分钟| 国产日韩欧美在线精品| 亚洲综合色惰| 国产爽快片一区二区三区| 91午夜精品亚洲一区二区三区| 少妇猛男粗大的猛烈进出视频 | 一个人观看的视频www高清免费观看| av专区在线播放| 最新中文字幕久久久久| 欧美xxxx性猛交bbbb| 国产黄片美女视频| 嫩草影院新地址| 大又大粗又爽又黄少妇毛片口| 看非洲黑人一级黄片| 最近的中文字幕免费完整| 最近中文字幕2019免费版| 舔av片在线| 久久久久久久亚洲中文字幕| www.色视频.com| 超碰97精品在线观看| 亚洲av日韩在线播放| 亚洲aⅴ乱码一区二区在线播放| 欧美变态另类bdsm刘玥| 精品久久久久久电影网| 成年av动漫网址| 亚洲一区二区三区欧美精品 | 男女啪啪激烈高潮av片| 老司机影院成人| 99久久九九国产精品国产免费| 综合色av麻豆| 久热这里只有精品99| 亚洲怡红院男人天堂| 性色av一级| 人妻夜夜爽99麻豆av| 大片免费播放器 马上看| 亚洲在线观看片| 最新中文字幕久久久久| 欧美 日韩 精品 国产| 熟女电影av网| 精品国产乱码久久久久久小说| 国产精品99久久99久久久不卡 | 韩国av在线不卡| 亚洲电影在线观看av| 免费大片18禁| 小蜜桃在线观看免费完整版高清| 亚洲国产欧美在线一区| 久久精品国产a三级三级三级| 婷婷色麻豆天堂久久| 丝袜美腿在线中文| 日日摸夜夜添夜夜添av毛片| 国产精品爽爽va在线观看网站| 国产爽快片一区二区三区| 免费看a级黄色片| 老司机影院成人| 五月开心婷婷网| 在线观看三级黄色| 91精品国产九色| 男女啪啪激烈高潮av片| 精品人妻熟女av久视频| 中文天堂在线官网| 久久久久精品性色| 麻豆久久精品国产亚洲av| av国产久精品久网站免费入址| av专区在线播放| 国产精品国产三级国产av玫瑰| 国产爽快片一区二区三区| 日本午夜av视频| 精品人妻熟女av久视频| 亚洲av欧美aⅴ国产| 国产精品久久久久久av不卡| 亚洲色图av天堂| 校园人妻丝袜中文字幕| 亚洲在久久综合| 狂野欧美激情性xxxx在线观看| 亚洲美女搞黄在线观看| 日韩不卡一区二区三区视频在线| 中文字幕免费在线视频6| 亚洲欧美精品专区久久| 成人鲁丝片一二三区免费| 亚洲精品乱码久久久久久按摩| 在现免费观看毛片| 国产精品一区二区性色av| 天天躁日日操中文字幕| 日日摸夜夜添夜夜添av毛片| 99九九线精品视频在线观看视频| 97超碰精品成人国产| 色哟哟·www| 国产成人a区在线观看| 亚洲国产av新网站| 亚洲国产精品国产精品| 亚洲伊人久久精品综合| 色视频www国产| 男女边摸边吃奶| 国产人妻一区二区三区在| 夫妻性生交免费视频一级片| 天天躁日日操中文字幕| 国产男女超爽视频在线观看| 天天躁日日操中文字幕| av福利片在线观看| 亚洲精品影视一区二区三区av| 亚洲国产日韩一区二区| 日日摸夜夜添夜夜爱| 久久精品国产亚洲av涩爱| 欧美性猛交╳xxx乱大交人| 日韩欧美一区视频在线观看 | 3wmmmm亚洲av在线观看| 亚洲人成网站在线播| 日本午夜av视频| 女人被狂操c到高潮| 国产精品国产三级专区第一集| 乱系列少妇在线播放| 国产免费一级a男人的天堂| 久久韩国三级中文字幕| 老司机影院毛片| 亚洲精品影视一区二区三区av| 黄色一级大片看看| 亚洲av一区综合| 国产精品不卡视频一区二区| 一级毛片久久久久久久久女| 亚洲在久久综合| 美女xxoo啪啪120秒动态图| 直男gayav资源| 一区二区av电影网| 中文字幕人妻熟人妻熟丝袜美| 免费播放大片免费观看视频在线观看| 亚洲人成网站在线播| 久久精品国产自在天天线| 国产精品久久久久久久久免| 又大又黄又爽视频免费| 亚洲人与动物交配视频| 蜜臀久久99精品久久宅男| 99热全是精品| 中文欧美无线码| 免费在线观看成人毛片| 久久久久国产网址| 少妇猛男粗大的猛烈进出视频 | av女优亚洲男人天堂| 国产免费一级a男人的天堂| 国产精品嫩草影院av在线观看| 午夜视频国产福利| 99九九线精品视频在线观看视频| 十八禁网站网址无遮挡 | 精品久久国产蜜桃| 免费看不卡的av| 国产亚洲最大av| 免费少妇av软件| 国产国拍精品亚洲av在线观看| 青春草视频在线免费观看| 国产精品福利在线免费观看| 久久久久久久大尺度免费视频| 国产 一区精品| 男男h啪啪无遮挡| 欧美激情国产日韩精品一区| 丝袜美腿在线中文| 国产老妇女一区| 国语对白做爰xxxⅹ性视频网站| 国产有黄有色有爽视频| 午夜亚洲福利在线播放| 岛国毛片在线播放| 一级毛片我不卡| 人妻制服诱惑在线中文字幕| 18禁在线无遮挡免费观看视频| 99精国产麻豆久久婷婷| 插阴视频在线观看视频| 亚洲欧美精品自产自拍| 亚洲成人久久爱视频| 亚洲激情五月婷婷啪啪| 久久人人爽人人片av| 亚洲精品乱码久久久久久按摩| 在线免费观看不下载黄p国产| 身体一侧抽搐| 97精品久久久久久久久久精品| 国产极品天堂在线| 美女视频免费永久观看网站| 少妇丰满av| 成年av动漫网址| 九九久久精品国产亚洲av麻豆| 中文字幕人妻熟人妻熟丝袜美| 各种免费的搞黄视频| 老师上课跳d突然被开到最大视频| 爱豆传媒免费全集在线观看| 秋霞伦理黄片| 免费大片18禁| 成人亚洲精品一区在线观看 | 少妇熟女欧美另类| 日本午夜av视频| 亚洲美女搞黄在线观看| 亚州av有码| 美女被艹到高潮喷水动态| 亚洲精品色激情综合| 国产淫语在线视频| 深爱激情五月婷婷| 久久久久国产网址| 亚洲精品国产av成人精品| 大话2 男鬼变身卡| 国产精品国产三级国产专区5o| 国产 一区精品| 蜜桃久久精品国产亚洲av| 一级毛片 在线播放| 夜夜爽夜夜爽视频| 综合色av麻豆| 国产毛片a区久久久久| 97热精品久久久久久| 天堂中文最新版在线下载 | 免费黄频网站在线观看国产| 亚洲精品aⅴ在线观看| 黄色日韩在线| 亚洲国产欧美在线一区| 亚洲图色成人| 国产精品偷伦视频观看了| 国产精品久久久久久精品电影小说 | 天美传媒精品一区二区| 亚洲丝袜综合中文字幕| 99久久中文字幕三级久久日本| 久久久久久久大尺度免费视频| 免费看a级黄色片| 黄色视频在线播放观看不卡| 网址你懂的国产日韩在线| 久久综合国产亚洲精品| 人人妻人人看人人澡| 久久久久久久午夜电影| 久久精品熟女亚洲av麻豆精品| 各种免费的搞黄视频| 乱码一卡2卡4卡精品| 草草在线视频免费看| 精品99又大又爽又粗少妇毛片| av播播在线观看一区| 麻豆乱淫一区二区| 亚洲精品视频女| 国产免费视频播放在线视频| 欧美日本视频| 啦啦啦在线观看免费高清www| 国产亚洲av片在线观看秒播厂| 久久99热这里只有精品18| 男的添女的下面高潮视频| 麻豆成人午夜福利视频| 亚洲欧美日韩无卡精品| videos熟女内射| 国国产精品蜜臀av免费| 麻豆成人av视频| 日日摸夜夜添夜夜爱| 肉色欧美久久久久久久蜜桃 | 欧美亚洲 丝袜 人妻 在线| 国产欧美日韩一区二区三区在线 | 免费人成在线观看视频色| 我要看日韩黄色一级片| 亚洲av二区三区四区| 在线 av 中文字幕| 2022亚洲国产成人精品| 韩国高清视频一区二区三区| 久久精品久久久久久噜噜老黄| 丝袜喷水一区| 欧美国产精品一级二级三级 | 久久精品久久久久久久性| 2021天堂中文幕一二区在线观| 在线亚洲精品国产二区图片欧美 | 日韩成人伦理影院| 色视频在线一区二区三区| 欧美日韩综合久久久久久| 国产免费一区二区三区四区乱码| 欧美精品人与动牲交sv欧美| 晚上一个人看的免费电影| 高清日韩中文字幕在线| 人人妻人人看人人澡| 国产免费视频播放在线视频| 国产女主播在线喷水免费视频网站| 国产69精品久久久久777片| 国产伦精品一区二区三区视频9| 99热这里只有是精品50| 夫妻午夜视频| 成人免费观看视频高清| 99久久精品国产国产毛片| 日产精品乱码卡一卡2卡三| 别揉我奶头 嗯啊视频| 一级a做视频免费观看| 18+在线观看网站| 国产精品精品国产色婷婷| 亚洲经典国产精华液单| 欧美xxxx性猛交bbbb| 久久久久精品久久久久真实原创| 免费人成在线观看视频色| 嫩草影院新地址| 永久网站在线| 美女视频免费永久观看网站| xxx大片免费视频| 特级一级黄色大片| 国产精品熟女久久久久浪| 自拍偷自拍亚洲精品老妇| 久久精品国产a三级三级三级| 欧美国产精品一级二级三级 | 亚洲,欧美,日韩| 国产免费一区二区三区四区乱码| 亚洲精品日韩在线中文字幕| 亚洲精品一区蜜桃| 搡老乐熟女国产| 大陆偷拍与自拍| 久久人人爽人人片av| 亚洲伊人久久精品综合| 亚洲精品一二三| 能在线免费看毛片的网站| 日产精品乱码卡一卡2卡三| av黄色大香蕉| 久久综合国产亚洲精品| 99精国产麻豆久久婷婷| 国产乱来视频区| 亚洲国产精品专区欧美| 一级黄片播放器| 久久久久久伊人网av| 亚洲欧美成人精品一区二区| 久久久久九九精品影院| 国产精品无大码| tube8黄色片| 日本与韩国留学比较| 又爽又黄a免费视频| av一本久久久久| h日本视频在线播放| 免费黄色在线免费观看| 七月丁香在线播放| kizo精华| 色视频在线一区二区三区| 国产午夜福利久久久久久| 建设人人有责人人尽责人人享有的 | 精品熟女少妇av免费看| 亚洲国产色片| 又大又黄又爽视频免费| 看黄色毛片网站| 欧美zozozo另类| 日韩一本色道免费dvd| 蜜桃亚洲精品一区二区三区| 大码成人一级视频| 小蜜桃在线观看免费完整版高清| 丰满少妇做爰视频| 欧美日韩在线观看h| 99热这里只有精品一区| 欧美另类一区| 国产黄片美女视频| 麻豆精品久久久久久蜜桃| 国产精品一及| 色5月婷婷丁香| 在现免费观看毛片| 国内揄拍国产精品人妻在线| 小蜜桃在线观看免费完整版高清| 性色avwww在线观看| 日韩欧美精品v在线| 欧美高清性xxxxhd video| 搡老乐熟女国产| 成年女人看的毛片在线观看| 中文字幕制服av| 精品一区在线观看国产| 夜夜看夜夜爽夜夜摸| 亚洲成人一二三区av| 亚洲内射少妇av| av福利片在线观看| 超碰97精品在线观看| 2018国产大陆天天弄谢| 久久久久久久久久久免费av| 亚洲国产精品成人久久小说| 汤姆久久久久久久影院中文字幕| 中文在线观看免费www的网站| 听说在线观看完整版免费高清| 日本免费在线观看一区| 一级av片app| 国国产精品蜜臀av免费| 久久久久久久久久人人人人人人| 欧美丝袜亚洲另类| 我的女老师完整版在线观看| 亚洲,欧美,日韩| 国产精品一区www在线观看| 久久久久久伊人网av| 精品少妇黑人巨大在线播放| 成年人午夜在线观看视频| 日韩制服骚丝袜av| 亚洲精品一二三| 国产老妇伦熟女老妇高清| 亚洲怡红院男人天堂| 高清视频免费观看一区二区| 简卡轻食公司| 亚洲怡红院男人天堂| 特级一级黄色大片| 国产美女午夜福利| 爱豆传媒免费全集在线观看| 成人免费观看视频高清| 韩国高清视频一区二区三区| 九色成人免费人妻av| 欧美区成人在线视频| 中文字幕亚洲精品专区|