• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    NFV開(kāi)源技術(shù)

    2017-05-22 07:02:43王峰趙慧玲
    電信科學(xué) 2017年4期
    關(guān)鍵詞:網(wǎng)元開(kāi)源虛擬化

    王峰,趙慧玲

    (中國(guó)電信股份有限公司北京研究院,北京 102209)

    NFV開(kāi)源技術(shù)

    王峰,趙慧玲

    (中國(guó)電信股份有限公司北京研究院,北京 102209)

    NFV是運(yùn)營(yíng)商網(wǎng)絡(luò)重構(gòu)的核心組成部分,開(kāi)源則是加速NFV發(fā)展的重要?jiǎng)恿?。如何利用開(kāi)源技術(shù)推動(dòng)NFV在電信網(wǎng)絡(luò)的應(yīng)用,是運(yùn)營(yíng)商在當(dāng)前面臨的重大課題。以國(guó)際標(biāo)準(zhǔn)化組織ETSI提出的NFV參考框架為參考,全面梳理了NFV開(kāi)源技術(shù)體系,重點(diǎn)對(duì)NFVI、VNF、MANO等領(lǐng)域的主流開(kāi)源項(xiàng)目的工作背景、技術(shù)路線、發(fā)展方向進(jìn)行了深入剖析,并結(jié)合運(yùn)營(yíng)商實(shí)際情況指出了相關(guān)開(kāi)源技術(shù)在現(xiàn)網(wǎng)引入時(shí)面臨的技術(shù)瓶頸、解耦障礙和運(yùn)營(yíng)難題,提出了相應(yīng)的工作建議。

    網(wǎng)絡(luò)功能虛擬化;開(kāi)源;解耦架構(gòu);網(wǎng)絡(luò)重構(gòu)

    1 引言

    NFV(network function virtualization,網(wǎng)絡(luò)功能虛擬化)是當(dāng)前網(wǎng)絡(luò)領(lǐng)域的熱點(diǎn),其目標(biāo)是利用虛擬化技術(shù)和標(biāo)準(zhǔn)化的通用IT設(shè)備實(shí)現(xiàn)網(wǎng)絡(luò)功能。開(kāi)源能夠進(jìn)一步推動(dòng)網(wǎng)絡(luò)的開(kāi)放性,促進(jìn)電信網(wǎng)絡(luò)中私有、專用和封閉的網(wǎng)元的替換。因此,開(kāi)源NFV是運(yùn)營(yíng)商網(wǎng)絡(luò)重構(gòu)的利器[1]。

    NFV 的理念源自 ETSI(European Telecommunications Standards Institute,歐洲電信標(biāo)準(zhǔn)化協(xié)會(huì))于2012年11月發(fā)起的NFV ISG(Industry Specification Group,行業(yè)規(guī)范組),其主要目標(biāo)是定義NFV架構(gòu),并與業(yè)界主流標(biāo)準(zhǔn)化組織和開(kāi)源社區(qū)互動(dòng)促進(jìn)標(biāo)準(zhǔn)生成,推動(dòng)設(shè)備廠商驗(yàn)證并提供應(yīng)用參考[2]。當(dāng)前,ETSI NFV ISG已經(jīng)制訂了NFV參考框架,如圖1所示,完成了NFV的需求、架構(gòu)和應(yīng)用場(chǎng)景分析,正在引導(dǎo)可支持互操作的NFV生態(tài)建設(shè),明確NFV與SDN(software defined networking,軟件定義網(wǎng)絡(luò))等領(lǐng)域的相關(guān)標(biāo)準(zhǔn)、開(kāi)源項(xiàng)目的協(xié)作關(guān)系[3]。

    為了加速 NFV 技術(shù)標(biāo)準(zhǔn)從概念驗(yàn)證向商用化部署,主流運(yùn)營(yíng)商、設(shè)備商與 Linux基金會(huì)在2014年9月聯(lián)合發(fā)起OPNFV(open platform for NFV,NFV開(kāi)放平臺(tái))項(xiàng)目,旨在利用開(kāi)源社區(qū)力量開(kāi)發(fā)和集成符合NFV需求和架構(gòu)的開(kāi)源參考平臺(tái)。OPNFV以整合已有和新增的開(kāi)源組件為基礎(chǔ),開(kāi)展相關(guān)組件的性能、一致性和互操作性的驗(yàn)證,達(dá)到構(gòu)建完善的NFV事實(shí)標(biāo)準(zhǔn)的目標(biāo)。遵循這一愿景,OPNFV開(kāi)源平臺(tái)中,已經(jīng)包含有KVM、Ceph、OpenDaylight、OpenStack、Open vSwitch(OVS)等眾多開(kāi)源項(xiàng)目[3]。

    實(shí)踐證明,在NFV的研發(fā)應(yīng)用過(guò)程中,開(kāi)源能夠有效地推進(jìn)硬件設(shè)備、虛擬化環(huán)境、網(wǎng)元應(yīng)用乃至運(yùn)營(yíng)系統(tǒng)的全面解耦,這也是運(yùn)營(yíng)商引入NFV的重要工作目標(biāo)。ETSI NFV參考框架示意如圖1所示,綜合考慮標(biāo)準(zhǔn)化組織和開(kāi)源社區(qū)中NFV系統(tǒng)互操作方面的工作進(jìn)展,NFV解耦首先將從虛擬化基礎(chǔ)設(shè)施與硬件廠商設(shè)備的解耦以及NFVO(NFV orchestrator,NFV編排器)、各網(wǎng)元EMS(element management system,網(wǎng)元管理系統(tǒng))與運(yùn)營(yíng)商的上層網(wǎng)管/支撐系統(tǒng)對(duì)接集成開(kāi)始,然后實(shí)現(xiàn)直接模式下全局 NFVO和 VNFM(virtual network function manager,虛擬網(wǎng)絡(luò)功能管理器)、VIM(virtualized infrastructure manager,虛擬化基礎(chǔ)設(shè)施管理器)的解耦,最后是最具難度的VNF(virtualized network function,虛擬網(wǎng)元功能)和NFVI(NFV infrastructure,網(wǎng)絡(luò)功能虛擬化基礎(chǔ)設(shè)施)的解耦。在上述3個(gè)階段中,開(kāi)源軟件都能夠在標(biāo)準(zhǔn)編制、接口定義、原型驗(yàn)證乃至現(xiàn)網(wǎng)系統(tǒng)實(shí)現(xiàn)等方面提供全方位支持。

    圖1 ETSI NFV參考框架示意

    綜上所述,開(kāi)源是NFV發(fā)展的重要?jiǎng)恿?。本文將?duì) NFV開(kāi)源技術(shù)進(jìn)行全面的研究和分析,闡述NFVI、VNF以及MANO(management and orchestration,管理與編排)的開(kāi)源技術(shù)體系,并對(duì)主流開(kāi)源項(xiàng)目的工作背景、技術(shù)路線開(kāi)展深入的對(duì)比,并提出NFV開(kāi)源技術(shù)在當(dāng)前面臨的主要問(wèn)題。

    2 NFVI及VNF開(kāi)源技術(shù)

    NFVI是虛擬網(wǎng)元部署和運(yùn)行的基礎(chǔ),其核心在于利用標(biāo)準(zhǔn)化的虛擬化手段支持多租戶,從而能夠?yàn)椴煌愋吞摂M網(wǎng)元的同時(shí)運(yùn)行按需提供資源支持。針對(duì)不同網(wǎng)元在功能、性能等方面的要求,用于承載VNF的NFVI可以有多種實(shí)現(xiàn)類型,如圖2所示。

    圖2 典型的NFVI實(shí)現(xiàn)方式示意

    圖2中所示的基于NFVI的網(wǎng)元部署方案各有特點(diǎn),其優(yōu)點(diǎn)和不足的對(duì)比分析見(jiàn)表1[4]。

    表1 典型NFVI實(shí)現(xiàn)方式的優(yōu)缺點(diǎn)

    NFVI開(kāi)源技術(shù)需要靈活滿足虛擬網(wǎng)元功能對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源的需求。其中,在計(jì)算方面,需要考慮如何選擇合適的x86架構(gòu)虛擬化技術(shù)(如KVM、Xen、Docker等)用于網(wǎng)元承載;在存儲(chǔ)方面,因?yàn)殡娦啪W(wǎng)絡(luò)大部分網(wǎng)元功能具有無(wú)需向磁盤寫數(shù)據(jù)等特性,所以可直接利用云計(jì)算領(lǐng)域的成熟開(kāi)源項(xiàng)目(如Ceph);在網(wǎng)絡(luò)方面,則需要關(guān)注虛擬網(wǎng)元功能(如OVS)及其I/O性能提升技術(shù)(如DPDK、VPP等)。

    2.1 NFVI開(kāi)源技術(shù)

    基于虛擬化環(huán)境的軟件網(wǎng)元部署是NFV的核心理念之一。當(dāng)前,在虛擬化層面,KVM和Xen是主流的x86架構(gòu)硬件虛擬化技術(shù),它們普遍利用了底層硬件處理器對(duì)虛擬化技術(shù)的支持(如Intel VT、AMD-V),以有效提升虛擬化資源的處理性能。兩者的架構(gòu)如圖3所示。

    圖3 KVM和Xen虛擬化架構(gòu)示意

    圖3(a)中KVM作為L(zhǎng)inux的內(nèi)核模塊,通過(guò)QEMU(面向完整x86系統(tǒng)的開(kāi)源仿真器,具有高性能、跨平臺(tái)等特性)為每臺(tái)虛擬機(jī)提供模擬的磁盤、網(wǎng)絡(luò)等設(shè)備,提供高性能的 I/O支持;圖3(b)中Xen則只有域0具有訪問(wèn)硬件I/O設(shè)備的特權(quán),它負(fù)責(zé)接收來(lái)自各個(gè)域 U(即虛擬機(jī))中的設(shè)備前端驅(qū)動(dòng)程序發(fā)來(lái)的 I/O請(qǐng)求,進(jìn)而通過(guò)其具備的設(shè)備后端驅(qū)動(dòng)程序驅(qū)動(dòng)設(shè)備完成請(qǐng)求。

    在此前的IT云中,Xen在性能、穩(wěn)定性和成熟度等方面更具優(yōu)勢(shì),從而具有廣泛的應(yīng)用(如AWS、阿里云都采用基于Xen的虛擬化技術(shù))。但是,在新興的NFV場(chǎng)景中,網(wǎng)元應(yīng)用具有的高網(wǎng)絡(luò)I/O壓力使得Xen架構(gòu)中的域0容易成為瓶頸,這使得KVM成為開(kāi)源NFVI的首選[5,6]。

    容器作為輕量級(jí)虛擬化方案,正在IT基礎(chǔ)設(shè)施平臺(tái)領(lǐng)域獲得推廣。其中,Docker是當(dāng)前最為知名的容器引擎,同時(shí)Rocket、runC等開(kāi)源項(xiàng)目也正在快速成長(zhǎng)中。多個(gè)容器可直接在共享的宿主Linux上分別加載和運(yùn)行應(yīng)用程序,并利用cgroup、namespace等Linux內(nèi)部機(jī)制實(shí)現(xiàn)不同容器間的隔離、權(quán)限管理和資源額度分配。作為操作系統(tǒng)層的虛擬化,容器不像虛擬機(jī)一樣需要虛擬出完整的硬件平臺(tái)并運(yùn)行獨(dú)立的操作系統(tǒng),具有部署快捷、擴(kuò)展性強(qiáng)、整合密度高等特點(diǎn)。

    利用容器承載VNF是當(dāng)前NFV領(lǐng)域的研究熱點(diǎn)。與基于硬件的虛擬化技術(shù)側(cè)重在資源層面實(shí)現(xiàn)物理向虛擬的轉(zhuǎn)換不同,容器更強(qiáng)調(diào)的是軟件組件的細(xì)粒度和松耦合。利用微服務(wù)(micro service)理念改造軟件網(wǎng)元,進(jìn)而通過(guò)容器承載微服務(wù)是容器在NFV領(lǐng)域引入的關(guān)鍵,這也為網(wǎng)元的研發(fā)、部署、管理提出了新的挑戰(zhàn)。另外,在高帶寬、低時(shí)延的網(wǎng)絡(luò)流量壓力下,基于容器部署的微服務(wù)間通信在同步性、時(shí)效性等方面的能力有待進(jìn)一步驗(yàn)證。同時(shí),容器技術(shù)自身也還存在不足(如Docker的向后兼容問(wèn)題),更加劇了在當(dāng)前利用容器平臺(tái)承載虛擬網(wǎng)元功能的風(fēng)險(xiǎn)。

    2.2 VNF開(kāi)源技術(shù)

    NFV實(shí)現(xiàn)了網(wǎng)元設(shè)備的軟硬件解耦及網(wǎng)元功能的抽象,降低了傳統(tǒng)網(wǎng)絡(luò)設(shè)備制造領(lǐng)域的門檻。開(kāi)源的VNF已經(jīng)由來(lái)已久,但此前主要在數(shù)據(jù)中心網(wǎng)絡(luò)被廣泛部署應(yīng)用,如:以 LVS、Nginx為代表的虛擬負(fù)載均衡,以iptables為代表的虛擬防火墻,以O(shè)VS為代表的虛擬交換機(jī)。當(dāng)前,開(kāi)源領(lǐng)域也出現(xiàn)了面向電信網(wǎng)絡(luò)的開(kāi)源VNF技術(shù),例如OpenEPC、OpenIMS等,它們以純軟件的方式實(shí)現(xiàn)電信網(wǎng)絡(luò)的網(wǎng)元功能,使之更適合于在虛擬化基礎(chǔ)設(shè)施上運(yùn)行。

    在VNF的設(shè)計(jì)與實(shí)現(xiàn)中,x86架構(gòu)及其虛擬化技術(shù)能否為虛擬網(wǎng)元功能提供足夠的性能支持是亟待解決的問(wèn)題,開(kāi)源的 DPDK(data planedevelopment kit,數(shù)據(jù)平面開(kāi)發(fā)套件)是針對(duì)這一問(wèn)題的主流解決方案。DPDK是x86架構(gòu)平臺(tái)上用于報(bào)文快速處理的庫(kù)和驅(qū)動(dòng)的集合,其核心思想是支持運(yùn)行在 Linux用戶態(tài)空間的應(yīng)用程序能夠直接驅(qū)動(dòng)物理網(wǎng)絡(luò)設(shè)備而無(wú)需陷入操作系統(tǒng)的核心態(tài),從而有效提升性能。當(dāng)前,很多軟件都在借助DPDK改善網(wǎng)絡(luò)數(shù)據(jù)處理效能,如FD.io開(kāi)源項(xiàng)目。FD.io的目標(biāo)是提供模塊化、可擴(kuò)展的用戶空間的 I/O服務(wù)框架,能支持高吞吐量、低時(shí)延、高資源利用率的I/O服務(wù)。它貢獻(xiàn)的VPP(vector packet processing)是利用了DPDK技術(shù)的可供商用的vSwitch/vRouter方案,與同類開(kāi)源技術(shù)相比擁有數(shù)量級(jí)上的性能優(yōu)勢(shì)。

    與DPDK專注于提升運(yùn)行在Linux用戶態(tài)的虛擬網(wǎng)元功能的I/O性能不同,I/O Visor開(kāi)源項(xiàng)目的思路是在Linux內(nèi)核中拓展I/O虛擬化能力,從而提供可擴(kuò)展的網(wǎng)絡(luò)系統(tǒng)基礎(chǔ)。使用I/O Visor,Linux內(nèi)核中可以運(yùn)行多個(gè)VNF乃至完整的服務(wù)鏈(service chain),系統(tǒng)在處理網(wǎng)絡(luò)流量時(shí)也無(wú)需進(jìn)行內(nèi)核模塊的加載,能夠確保基礎(chǔ)設(shè)施更新升級(jí)時(shí)不會(huì)中斷網(wǎng)絡(luò)操作。同時(shí),I/O Visor支持在操作系統(tǒng)內(nèi)核態(tài)直接處理網(wǎng)絡(luò)I/O,也避免了傳統(tǒng)的需要經(jīng)由系統(tǒng)調(diào)用進(jìn)入用戶態(tài)的做法,有效地提升了VNF性能。

    3 MANO開(kāi)源技術(shù)

    NFV MANO涵蓋了支持基礎(chǔ)設(shè)施虛擬化的軟硬件資源的編排和生命周期管理以及VNF的生命周期管理。如圖1所示,MANO主要包括3個(gè)模塊:NFVO負(fù)責(zé)網(wǎng)絡(luò)服務(wù)生命周期管理和總體資源管理等功能;VNFM負(fù)責(zé)監(jiān)控VNF實(shí)例的整個(gè)生命周期(包括配置、擴(kuò)展和終結(jié)等);VIM負(fù)責(zé)管理和控制 NFVI中的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。其中,VNFM和具體的VNF有密切的關(guān)系,在當(dāng)前還缺少完善的開(kāi)源解決方案,而VIM則相對(duì)成熟。

    3.1 MANO開(kāi)源技術(shù)概述

    對(duì)于運(yùn)營(yíng)商而言,網(wǎng)絡(luò)資源的運(yùn)維和調(diào)度是其核心競(jìng)爭(zhēng)力,特別是NFV能夠更便捷地支持網(wǎng)絡(luò)服務(wù)的規(guī)模伸縮和質(zhì)量?jī)?yōu)化,因此MANO吸引了眾多運(yùn)營(yíng)商的目光,有很多運(yùn)營(yíng)商主導(dǎo)的開(kāi)源MANO項(xiàng)目被提出,例如:Telefonica發(fā)起的OpenMANO、中國(guó)移動(dòng)發(fā)起的Open-O、AT&T發(fā)起的 ECOMP(enhanced control, orchestration, management & policy,增強(qiáng)控制、編排、管理和策略)等。同時(shí),標(biāo)準(zhǔn)化組織和開(kāi)源社區(qū)也在MANO領(lǐng)域做出很多工作,例如:ETSI OSM(open source MANO)、OpenStack Tacker等。另外,還有一些企業(yè)在MANO功能模塊方面做出了貢獻(xiàn),例如Gigaspace推出的編排器Cloudify、Canonical推出的VNF管理器Juju等[7]。

    在經(jīng)歷了開(kāi)源項(xiàng)目爆發(fā)期之后,MANO在當(dāng)前正走向項(xiàng)目整合的方向。將多個(gè)相關(guān)領(lǐng)域的小型開(kāi)源項(xiàng)目匯集整合到大型項(xiàng)目中,有利于產(chǎn)業(yè)的聚焦,避免重復(fù)研發(fā),擴(kuò)大社區(qū)影響力。例如,ETSI OSM 在其發(fā)布的首個(gè)版本中,就利用了OpenMANO實(shí)現(xiàn)資源編排,利用Juju實(shí)現(xiàn)VNF配置和管理,同時(shí)它還引入了ETSI NFV范圍之外的開(kāi)源服務(wù)編排組件RIFT.ware。2017年2月,同屬于 Linux基金會(huì)的兩大開(kāi)源組織 Open-O和ECOMP合并成為ONAP(open network automation platform,開(kāi)放網(wǎng)絡(luò)自動(dòng)化平臺(tái))項(xiàng)目。同為運(yùn)營(yíng)商主導(dǎo)的MANO項(xiàng)目,Open-O和ECOMP在架構(gòu)設(shè)計(jì)、功能實(shí)現(xiàn)等方面存在共性,并且都具有良好的發(fā)展勢(shì)頭,其中,Open-O擁有眾多運(yùn)營(yíng)商支持并成為OPNFV上游項(xiàng)目,ECOMP則已經(jīng)在AT&T實(shí)現(xiàn)現(xiàn)網(wǎng)的規(guī)模部署。兩個(gè)項(xiàng)目合并成立ONAP意味著 NFV已經(jīng)度過(guò)初始的技術(shù)驗(yàn)證階段,即將走向規(guī)模部署、規(guī)模商用的階段。

    NFV MANO開(kāi)源項(xiàng)目當(dāng)前不夠成熟,但在ETSI發(fā)布的標(biāo)準(zhǔn)架構(gòu)的指引下,該領(lǐng)域的開(kāi)源項(xiàng)目都具有較為清晰的定位。不同背景的開(kāi)源項(xiàng)目會(huì)有不同的發(fā)展路徑,其中:標(biāo)準(zhǔn)化組織主導(dǎo)開(kāi)源工作的原則之一是項(xiàng)目要服務(wù)于標(biāo)準(zhǔn)的制定,通過(guò)開(kāi)源代碼驗(yàn)證標(biāo)準(zhǔn)的合理性和可行性,并為文檔工作的完善提供依據(jù)[8];運(yùn)營(yíng)商主導(dǎo)的項(xiàng)目則以滿足電信網(wǎng)絡(luò)重構(gòu)的現(xiàn)實(shí)需求為目標(biāo),會(huì)在標(biāo)準(zhǔn)化架構(gòu)的基礎(chǔ)上結(jié)合自身需求進(jìn)行能力的增減,并通過(guò)社區(qū)凝聚產(chǎn)業(yè)生態(tài),加速落地;設(shè)備廠商發(fā)起的項(xiàng)目,更主要的是發(fā)揮自身在相關(guān)領(lǐng)域的特長(zhǎng),為前兩類開(kāi)源社區(qū)的能力完善和資源整合提供支持。為了確保自身利益,運(yùn)營(yíng)商主導(dǎo)的開(kāi)源項(xiàng)目會(huì)設(shè)定一些規(guī)則,例如ONAP在號(hào)召運(yùn)營(yíng)商加入的同時(shí)對(duì)設(shè)備廠商董事成員名額進(jìn)行了限制,這也是其與另兩類開(kāi)源項(xiàng)目不同的地方。

    3.2 VIM開(kāi)源技術(shù)

    VIM是NFV MANO中相對(duì)成熟的模塊,利用云計(jì)算和SDN的理念是當(dāng)前實(shí)現(xiàn)VIM的主流思路。開(kāi)源領(lǐng)域的 OpenStack云管理平臺(tái)和以O(shè)penDaylight、ONOS為代表的SDN控制器的融合構(gòu)建成為了VIM領(lǐng)域廣為使用的方案。

    VIM 作為底層虛擬化基礎(chǔ)設(shè)施的管理平臺(tái),需要負(fù)責(zé)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源池的統(tǒng)一管理和協(xié)同調(diào)度。OpenStack作為當(dāng)前最具影響力的開(kāi)源云管理平臺(tái)項(xiàng)目,可實(shí)現(xiàn)在單一管理平臺(tái)上對(duì)多個(gè)數(shù)據(jù)中心的管理,并具備通用的安全、身份識(shí)別服務(wù)、API 及用戶界面。OpenStack的Nova、Cinder、Neutron等組件在云計(jì)算資源池的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等領(lǐng)域的資源管理方面吸引了眾多合作伙伴,實(shí)現(xiàn)了對(duì)云基礎(chǔ)設(shè)施資源的全面管理。因此,OpenStack被眾多 NFV項(xiàng)目用作虛擬化基礎(chǔ)設(shè)施的管理組件,例如OPNFV。同時(shí),OpenStack在VIM模塊上的成功推動(dòng)了其向 NFV MANO的全棧拓展。Tacker是 OpenStack社區(qū)中遵循 ETSI MANO架構(gòu)實(shí)現(xiàn)NFVO和VNFM的組件服務(wù),在端到端VNF平臺(tái)模板交付、VNF服務(wù)目錄、NFV生命周期管理等方面做出突出工作。

    VNF部署的動(dòng)態(tài)性、擴(kuò)展性對(duì)網(wǎng)絡(luò)連接提出了更高的要求,SDN則能夠很好地支持NFV在電信網(wǎng)絡(luò)的引入。控制器作為SDN的核心也是開(kāi)源領(lǐng)域的重點(diǎn),其中最具影響力的是 OpenDaylight和 ONOS。經(jīng)過(guò)多年的發(fā)展,兩個(gè)開(kāi)源項(xiàng)目相互借鑒相互影響,在整體架構(gòu)和技術(shù)路線上正日益趨同,例如采用 Karaf架構(gòu)提升擴(kuò)展性、北向采用模型驅(qū)動(dòng)、南向支持多種協(xié)議等。類似此前MANO開(kāi)源項(xiàng)目分析,OpenDaylight和ONOS分別是設(shè)備廠商和運(yùn)營(yíng)商主導(dǎo)。因此,OpenDaylight更符合廠商利益,并更適于和現(xiàn)網(wǎng)的平滑過(guò)渡;ONOS則更多體現(xiàn)了運(yùn)營(yíng)商的意志,貼合電信網(wǎng)絡(luò)重構(gòu)需求。

    NFVI的發(fā)展趨勢(shì)之一是容器的應(yīng)用,因此容器集群的管理也是當(dāng)前VIM領(lǐng)域的熱點(diǎn),主流開(kāi)源項(xiàng)目包括Kubernetes、Mesos、Swarm、Rancher等。其中,源自Google的Kubernetes在當(dāng)前最受關(guān)注,其在服務(wù)發(fā)現(xiàn)與容錯(cuò)調(diào)度等方面有較大優(yōu)勢(shì);Mesos的調(diào)度機(jī)制分為資源委派和調(diào)度框架兩個(gè)層次,更適用于復(fù)雜分布式應(yīng)用的部署;Swarm是主流容器技術(shù)Docker的原生功能,在使用維護(hù)上較為簡(jiǎn)潔;Rancher作為后起之秀,則具備了對(duì)上述3家容器集群管理引擎的支持。如上文所述,容器的關(guān)鍵并非只是虛擬化資源交付方式的簡(jiǎn)單改變,更重要的是它能夠更好地支持以微服務(wù)的粒度對(duì)VNF進(jìn)行靈活的編排。相應(yīng)的,容器的集群管理和資源調(diào)度解決的將不僅是VIM層面的問(wèn)題,而且可以擴(kuò)展到NFVO、VNFM等多個(gè)層面。隨著基于容器的NFV技術(shù)的發(fā)展,以Kubernetes為代表的容器集群管理項(xiàng)目也將成為NFV MANO的重要選擇。

    4 開(kāi)源NFV問(wèn)題

    對(duì)于運(yùn)營(yíng)商而言,開(kāi)源是一把雙刃劍:一方面,它能夠充分借助社區(qū)的力量,幫助運(yùn)營(yíng)商脫離設(shè)備廠商的鎖定,使得整個(gè)網(wǎng)絡(luò)系統(tǒng)更加靈活;另一方面,在開(kāi)源社區(qū)中,運(yùn)營(yíng)商、設(shè)備廠商有著不同的訴求,對(duì)運(yùn)營(yíng)商的掌控力提出新的挑戰(zhàn)。另外,開(kāi)源項(xiàng)目依托相對(duì)松散的社區(qū)提供代碼維護(hù)和支持,在軟件質(zhì)量、版本兼容、代碼冗余等方面存在不確定性,為其在現(xiàn)網(wǎng)的引入增加了障礙。結(jié)合開(kāi)源項(xiàng)目的發(fā)展現(xiàn)狀,運(yùn)營(yíng)商在運(yùn)用開(kāi)源NFV時(shí)需特別關(guān)注以下方面。

    (1)技術(shù)瓶頸

    開(kāi)源NFV在性能、可靠性等方面存在瓶頸,這主要是因?yàn)樽鳛槠浠A(chǔ)的x86架構(gòu)及其虛擬化技術(shù)此前重點(diǎn)面向的是計(jì)算密集型應(yīng)用而并非類似網(wǎng)元功能的 I/O密集型應(yīng)用,雖然其網(wǎng)絡(luò)處理能力在DPDK、SR-IOV等軟硬件技術(shù)輔助下已有較大幅度提升,但是仍難以滿足高性能轉(zhuǎn)發(fā)的需求。同時(shí),電信網(wǎng)絡(luò)網(wǎng)元所需的高可靠性保障在此前需要依賴于專用硬件的特別設(shè)計(jì),而在NFV場(chǎng)景下憑借通用IT設(shè)備和軟件高可用設(shè)計(jì)來(lái)實(shí)現(xiàn)相關(guān)目標(biāo)還需要更多的工作。

    (2)解耦障礙

    解耦是運(yùn)營(yíng)商部署NFV的重要目標(biāo),但在當(dāng)前存在巨大障礙。主要原因來(lái)自兩個(gè)方面:一個(gè)方面是設(shè)備商為了解決上述 NFV開(kāi)源技術(shù)的瓶頸,必然會(huì)在NFV架構(gòu)的軟硬件堆棧開(kāi)展優(yōu)化,以建立技術(shù)壁壘;另一個(gè)方面是NFV除了在縱向上具有基礎(chǔ)設(shè)施、虛擬網(wǎng)絡(luò)和運(yùn)營(yíng)支撐等層次外,橫向上還有橫向的管理編排域,眾多接口和協(xié)議標(biāo)準(zhǔn)分散在不同的標(biāo)準(zhǔn)化組織中,從而影響了兼容性和互操作性的實(shí)現(xiàn)。運(yùn)營(yíng)商的需求引領(lǐng)將是解決這一問(wèn)題的關(guān)鍵,通過(guò)開(kāi)源項(xiàng)目打造確保互聯(lián)互通的事實(shí)標(biāo)準(zhǔn)是實(shí)現(xiàn)NFV架構(gòu)在各個(gè)層次上充分解耦的重要手段。

    (3)運(yùn)營(yíng)難題

    雖然運(yùn)營(yíng)商已經(jīng)在NFV開(kāi)源項(xiàng)目中發(fā)揮了一定的主導(dǎo)作用,但是總體而言,運(yùn)營(yíng)商在軟件設(shè)計(jì)開(kāi)發(fā)、開(kāi)源社區(qū)運(yùn)營(yíng)等方面尚不具有足夠的實(shí)力,其中最典型的難題之一就是如何針對(duì)自身需求開(kāi)展開(kāi)源組件選型進(jìn)而整合為業(yè)務(wù)系統(tǒng)。為此,SDN和NFV領(lǐng)域的重要標(biāo)準(zhǔn)化組織ONF(Open Networking Foundation,開(kāi)放網(wǎng)絡(luò)基金會(huì))提出了開(kāi)放式創(chuàng)新渠道(open innovation pipeline),目標(biāo)是在開(kāi)放平臺(tái)上提供大量可應(yīng)用框架,為運(yùn)營(yíng)商提供多種多樣的解決方案,降低運(yùn)營(yíng)商進(jìn)入軟件開(kāi)發(fā)領(lǐng)域的成本和障礙。另外,開(kāi)源的引入絕不意味著運(yùn)營(yíng)商不再需要設(shè)備商的支持,圍繞開(kāi)源技術(shù)的集成服務(wù)和技術(shù)支撐將促使運(yùn)營(yíng)商和設(shè)備商此前建立的簡(jiǎn)單買賣關(guān)系轉(zhuǎn)型為更深入的研發(fā)運(yùn)營(yíng)合作關(guān)系。

    5 結(jié)束語(yǔ)

    開(kāi)源驅(qū)動(dòng)的以軟件為中心的架構(gòu)正在加速網(wǎng)絡(luò)的變革,以使得運(yùn)營(yíng)商能夠應(yīng)對(duì)市場(chǎng)競(jìng)爭(zhēng)的持續(xù)加劇、用戶需求的不斷變化以及自身業(yè)務(wù)增收的巨大壓力,NFV則是這一變革的重要組成部分。開(kāi)源項(xiàng)目的涌現(xiàn)促進(jìn)了NFV領(lǐng)域完備軟件化體系的形成,有力地推動(dòng)了NFV的標(biāo)準(zhǔn)制定、系統(tǒng)研發(fā)及落地實(shí)踐。

    NFV以及SDN、云計(jì)算構(gòu)成了當(dāng)前運(yùn)營(yíng)商網(wǎng)絡(luò)重構(gòu)的核心要素,它們的核心理念都是 CT產(chǎn)業(yè)與IT產(chǎn)業(yè)的能力融合。而開(kāi)源作為IT產(chǎn)業(yè)迅猛發(fā)展的重要推手,也勢(shì)必會(huì)在 CT產(chǎn)業(yè)發(fā)揮重大作用。運(yùn)營(yíng)商應(yīng)牢牢把握這一趨勢(shì),借助開(kāi)源的力量,掌控核心技術(shù),建立事實(shí)標(biāo)準(zhǔn),加快業(yè)務(wù)創(chuàng)新,降低運(yùn)營(yíng)成本,進(jìn)而打造開(kāi)源生態(tài),引領(lǐng)產(chǎn)業(yè)發(fā)展。

    [1] 中國(guó)電信集團(tuán)公司. CTNet 2025網(wǎng)絡(luò)架構(gòu)白皮書 [R/OL]. (2016?07?11)[2017?01?15]. http://www.chinatelecom.com. cn/news/06/bps/. China Telecom. CTNet 2025 network architecture white paper [R/OL]. (2016?07?11)[2017?01?15]. http://www.chinatelecom. com.cn/news/06/bps/.

    [2] European Telecommunications Standards Institute. Network functions virtualisation: network operator perspectives on in-dustry progress [R/OL]. (2014?10?17)[2017?01?15]. https:// portal.etsi.org/Portals/0/TBpages/NFV/Docs/NFV_White_Paper3.pdf.

    [3] 馬軍鋒. SDN/NFV關(guān)鍵技術(shù)問(wèn)題分析和標(biāo)準(zhǔn)化進(jìn)展[J]. 中興通訊技術(shù), 2016, 22(6): 12-16. MA J F. Key technical problems and standardization progress of SDN/NFV [J]. ZTE Technology Journal, 2016, 22(6): 12-16.

    [4] 趙慧玲. SDN/NFV的發(fā)展與挑戰(zhàn)[C/OL]//2016全球SDNFV技術(shù)大會(huì), 2016年6月1日, 北京. [2016?06?01]. http://net. zhiding.cn/ network_security_zone/2016/0601/3078383.shtml. ZHAO H L. Developments and challenges of SDN/NFV [C/OL]//Global SDNFV Technology Conference 2016, June 1, 2016, Beijing, China. [2016?06?01]. http://net.zhiding.cn/network_ security_zone/2016/ 0601/3078383.shtml.

    [5] Wind River. Open solutions for NFV [R/OL]. (2015?11?01) [2017?01?16]. http://www.windriver.com.cn/products/titaniumserver/2415-Open-Checklist.pdf.

    [6] Red Hat. Network functions virtualization with Red Hat [R/OL]. (2015?09?03)[2017?01?16].https://www.redhat.com/en/files/ resources/en-rhel- nfv-value-inc0285929_v1_0815_kvm.pdf.

    [7] IEEE. IEEE softwarization eNewsletter – July 2016 [R/OL]. (2016?07?13)[2017?01?16]. http://resourcecenter.fd.ieee.org/ fd/product/enewsletters/FDSDNNL0005.

    [8] Open Source MANO. A conversation with the OSM Leadership Group [EB/OL]. (2016?10?01)[2017?01?16]. https://osm.etsi. org/news-events/news/a-conversation-with-the-osm-leadership-group.

    王峰(1979?),男,中國(guó)電信股份有限公司北京研究院教授級(jí)高級(jí)工程師,主要研究方向?yàn)樵朴?jì)算、軟件定義網(wǎng)絡(luò)。

    趙慧玲,女,長(zhǎng)期從事電信網(wǎng)絡(luò)領(lǐng)域技術(shù)和標(biāo)準(zhǔn)工作。現(xiàn)任中國(guó)通信學(xué)會(huì)常務(wù)理事;中國(guó)通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)專業(yè)委員會(huì)主任委員;中國(guó)通信學(xué)會(huì)北京通信學(xué)會(huì)副理事長(zhǎng);中國(guó)通信標(biāo)準(zhǔn)協(xié)會(huì)網(wǎng)絡(luò)與業(yè)務(wù)能力技術(shù)工作委員會(huì)主席;工業(yè)和信息化部科學(xué)技術(shù)委員會(huì)委員;中國(guó)電信科學(xué)技術(shù)委員會(huì)常務(wù)委員兼核心網(wǎng)組負(fù)責(zé)人;國(guó)際標(biāo)準(zhǔn)組織MEF顧問(wèn)董事;SDN、NFV產(chǎn)業(yè)聯(lián)盟技術(shù)委員會(huì)副主任。發(fā)表技術(shù)文章百余篇、技術(shù)專著12部,曾獲得多個(gè)國(guó)家及省部級(jí)科學(xué)技術(shù)進(jìn)步獎(jiǎng)項(xiàng)。

    Open source technology of NFV

    WANG Feng, ZHAO Huiling
    Beijing Research Institute of China Telecom Co., Ltd., Beijing 102209, China

    NFV is a core component of the operator network reconstitution, and open source is an important driving force to accelerate the development of NFV. How to use open source technology to promote the application of NFV in telecom network is a major issue faced by operators. NFV open source technology system was surveyed comprehensively according to the NFV reference framework proposed by ETSI, and the background, core technology and development trend of mainstream open source projects of NFVI, VNF and MANO was analyzed. Finally, some critical problems (such as technical bottlenecks, decoupling obstacles and operational difficulties) and corresponding solutions were presented to help operators to make better use of open source technology of NFV.

    network function virtualization, open source, decoupling architecture, network reconstitution

    TP393

    A

    10.11959/j.issn.1000?0801.2017105

    2017?02?20;

    2017?04?04

    國(guó)家高技術(shù)研究發(fā)展計(jì)劃(“863”計(jì)劃)基金資助項(xiàng)目(No.2015AA016106)

    Foundation Item:The National High Technology Research and Development Program of China (863 Program)(No.2015AA016106)

    猜你喜歡
    網(wǎng)元開(kāi)源虛擬化
    五毛錢能買多少頭牛
    基于OpenStack虛擬化網(wǎng)絡(luò)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
    電子制作(2019年10期)2019-06-17 11:45:10
    一種全網(wǎng)時(shí)鐘同步管理方法
    對(duì)基于Docker的虛擬化技術(shù)的幾點(diǎn)探討
    電子制作(2018年14期)2018-08-21 01:38:20
    虛擬化技術(shù)在計(jì)算機(jī)技術(shù)創(chuàng)造中的應(yīng)用
    大家說(shuō):開(kāi)源、人工智能及創(chuàng)新
    開(kāi)源中國(guó)開(kāi)源世界高峰論壇圓桌會(huì)議縱論開(kāi)源與互聯(lián)網(wǎng)+創(chuàng)新2.0
    存儲(chǔ)虛擬化還有優(yōu)勢(shì)嗎?
    開(kāi)源計(jì)算機(jī)輔助翻譯工具研究
    光網(wǎng)絡(luò)設(shè)備ECC常見(jiàn)問(wèn)題解決思路剖析
    亚洲国产欧洲综合997久久,| 日韩欧美在线二视频| 男男h啪啪无遮挡| 精品国产超薄肉色丝袜足j| 欧美黑人精品巨大| 日本 欧美在线| 成人国语在线视频| 亚洲av中文字字幕乱码综合| 日本免费一区二区三区高清不卡| 波多野结衣高清作品| 一个人免费在线观看的高清视频| 88av欧美| 中文在线观看免费www的网站 | www国产在线视频色| 丰满人妻熟妇乱又伦精品不卡| 禁无遮挡网站| 久久中文字幕人妻熟女| 动漫黄色视频在线观看| 国产亚洲av高清不卡| 每晚都被弄得嗷嗷叫到高潮| 免费在线观看视频国产中文字幕亚洲| 免费一级毛片在线播放高清视频| 国产1区2区3区精品| 一本综合久久免费| 在线a可以看的网站| 91字幕亚洲| 天天躁狠狠躁夜夜躁狠狠躁| 国产一级毛片七仙女欲春2| 亚洲熟女毛片儿| 一级黄色大片毛片| 三级国产精品欧美在线观看 | 国产一级毛片七仙女欲春2| 人妻夜夜爽99麻豆av| 国产三级中文精品| 18禁黄网站禁片免费观看直播| 少妇人妻一区二区三区视频| 精品国产美女av久久久久小说| 亚洲熟妇中文字幕五十中出| 俄罗斯特黄特色一大片| 欧美色欧美亚洲另类二区| 成人精品一区二区免费| 村上凉子中文字幕在线| cao死你这个sao货| 亚洲欧洲精品一区二区精品久久久| 激情在线观看视频在线高清| 草草在线视频免费看| 欧美在线一区亚洲| 首页视频小说图片口味搜索| 欧美精品啪啪一区二区三区| av欧美777| 久久精品国产亚洲av高清一级| 桃色一区二区三区在线观看| 国产午夜精品论理片| 神马国产精品三级电影在线观看 | 熟妇人妻久久中文字幕3abv| 亚洲国产精品sss在线观看| 国产精品av久久久久免费| 在线看三级毛片| 91在线观看av| 午夜福利欧美成人| 18禁裸乳无遮挡免费网站照片| 国产片内射在线| 黄色成人免费大全| 国产蜜桃级精品一区二区三区| 久久精品91无色码中文字幕| 国产久久久一区二区三区| 精品福利观看| 宅男免费午夜| 操出白浆在线播放| 中文资源天堂在线| 亚洲精品一区av在线观看| 中文字幕熟女人妻在线| 国产精品亚洲av一区麻豆| 成人永久免费在线观看视频| 国产高清激情床上av| 麻豆av在线久日| 在线播放国产精品三级| 一区二区三区高清视频在线| a级毛片a级免费在线| 精品无人区乱码1区二区| 色综合婷婷激情| av中文乱码字幕在线| 成在线人永久免费视频| 日韩欧美在线二视频| 一二三四在线观看免费中文在| 国产蜜桃级精品一区二区三区| 丝袜人妻中文字幕| 天堂av国产一区二区熟女人妻 | 久久天躁狠狠躁夜夜2o2o| 日本在线视频免费播放| 亚洲中文字幕一区二区三区有码在线看 | 亚洲成人免费电影在线观看| 19禁男女啪啪无遮挡网站| 午夜老司机福利片| 欧美日韩瑟瑟在线播放| 免费在线观看完整版高清| 18禁裸乳无遮挡免费网站照片| 国产在线精品亚洲第一网站| 人人妻,人人澡人人爽秒播| 俄罗斯特黄特色一大片| 国产片内射在线| 动漫黄色视频在线观看| 国内毛片毛片毛片毛片毛片| 欧美一级毛片孕妇| 国产乱人伦免费视频| 一进一出好大好爽视频| bbb黄色大片| 亚洲国产欧美网| 亚洲乱码一区二区免费版| 一夜夜www| 美女扒开内裤让男人捅视频| 三级国产精品欧美在线观看 | 国产成人一区二区三区免费视频网站| 欧美精品啪啪一区二区三区| 国产高清视频在线观看网站| 国产真实乱freesex| 国产区一区二久久| 一二三四社区在线视频社区8| 久久久国产欧美日韩av| 久久久国产精品麻豆| 给我免费播放毛片高清在线观看| av福利片在线| 成年免费大片在线观看| 91大片在线观看| 亚洲av中文字字幕乱码综合| 国产精品免费视频内射| 午夜免费成人在线视频| 免费电影在线观看免费观看| 久久中文字幕人妻熟女| 亚洲一卡2卡3卡4卡5卡精品中文| 国产成人啪精品午夜网站| 人人妻人人看人人澡| 国产99白浆流出| 国产午夜精品久久久久久| x7x7x7水蜜桃| www日本在线高清视频| 国产免费av片在线观看野外av| 在线观看免费日韩欧美大片| 国产激情偷乱视频一区二区| 99久久精品热视频| 一本一本综合久久| 不卡av一区二区三区| avwww免费| 亚洲国产欧美人成| 国产精品 欧美亚洲| 999久久久精品免费观看国产| 国产亚洲欧美在线一区二区| 欧美国产日韩亚洲一区| 97碰自拍视频| 在线观看午夜福利视频| 国产探花在线观看一区二区| 日韩成人在线观看一区二区三区| 亚洲国产欧美一区二区综合| 一级毛片女人18水好多| 中文字幕人成人乱码亚洲影| 一进一出抽搐动态| 又黄又粗又硬又大视频| 中文字幕人妻丝袜一区二区| 性欧美人与动物交配| 又紧又爽又黄一区二区| av在线天堂中文字幕| 99热这里只有精品一区 | 亚洲国产精品合色在线| 黄色视频不卡| 美女扒开内裤让男人捅视频| 久久婷婷成人综合色麻豆| 淫秽高清视频在线观看| 亚洲欧洲精品一区二区精品久久久| ponron亚洲| 欧美日韩乱码在线| 国内精品久久久久精免费| 人人妻人人澡欧美一区二区| 久久久久九九精品影院| 一本综合久久免费| 免费高清视频大片| 成人亚洲精品av一区二区| 亚洲国产高清在线一区二区三| 亚洲无线在线观看| 成人18禁在线播放| 日韩免费av在线播放| av在线天堂中文字幕| 夜夜夜夜夜久久久久| avwww免费| 久久精品国产亚洲av香蕉五月| 国产一区二区激情短视频| 久久久久九九精品影院| 精品日产1卡2卡| 好看av亚洲va欧美ⅴa在| 又紧又爽又黄一区二区| 人妻夜夜爽99麻豆av| 最近视频中文字幕2019在线8| 欧美中文综合在线视频| 男人舔奶头视频| 亚洲国产欧美一区二区综合| 中文资源天堂在线| 天堂动漫精品| 日本三级黄在线观看| 国内少妇人妻偷人精品xxx网站 | 日本一区二区免费在线视频| 黑人巨大精品欧美一区二区mp4| 国产一区二区激情短视频| 亚洲av电影不卡..在线观看| 此物有八面人人有两片| tocl精华| 午夜激情av网站| 女生性感内裤真人,穿戴方法视频| 老司机福利观看| 99久久久亚洲精品蜜臀av| 日本免费a在线| 久久国产精品人妻蜜桃| 国产不卡一卡二| 最近在线观看免费完整版| 天天一区二区日本电影三级| 久久香蕉国产精品| 熟女少妇亚洲综合色aaa.| 久久久久久九九精品二区国产 | 妹子高潮喷水视频| 18禁美女被吸乳视频| 男女那种视频在线观看| 久久这里只有精品中国| 成人国语在线视频| 日韩免费av在线播放| 母亲3免费完整高清在线观看| 国产精品野战在线观看| 岛国视频午夜一区免费看| 亚洲免费av在线视频| 精品国产亚洲在线| 欧美黑人巨大hd| 成人精品一区二区免费| www.999成人在线观看| 99久久综合精品五月天人人| 又粗又爽又猛毛片免费看| 欧美黑人巨大hd| 在线国产一区二区在线| 波多野结衣高清作品| 欧美极品一区二区三区四区| 免费看a级黄色片| 99riav亚洲国产免费| 亚洲专区字幕在线| 琪琪午夜伦伦电影理论片6080| 国产精品久久电影中文字幕| 国产亚洲精品第一综合不卡| 三级毛片av免费| 久热爱精品视频在线9| 一个人免费在线观看的高清视频| 国产99久久九九免费精品| 国内揄拍国产精品人妻在线| 亚洲免费av在线视频| 妹子高潮喷水视频| 国产成人影院久久av| 欧美日韩国产亚洲二区| 午夜福利免费观看在线| 一级毛片女人18水好多| 在线免费观看的www视频| 欧美中文日本在线观看视频| 久久久久亚洲av毛片大全| 日本一二三区视频观看| 欧美性长视频在线观看| 听说在线观看完整版免费高清| 亚洲人成网站高清观看| 亚洲激情在线av| 亚洲一区高清亚洲精品| 午夜免费成人在线视频| 黄色片一级片一级黄色片| 国产亚洲av高清不卡| 亚洲av第一区精品v没综合| 天堂av国产一区二区熟女人妻 | 老司机福利观看| 男人舔奶头视频| 日本一二三区视频观看| 在线观看免费视频日本深夜| a级毛片在线看网站| 久久久久免费精品人妻一区二区| 色综合站精品国产| 亚洲精品av麻豆狂野| 两个人免费观看高清视频| 欧美黄色淫秽网站| 97碰自拍视频| 黄色片一级片一级黄色片| 日本黄色视频三级网站网址| 丝袜人妻中文字幕| 一二三四在线观看免费中文在| 在线观看美女被高潮喷水网站 | 国产欧美日韩一区二区三| 免费看日本二区| 又粗又爽又猛毛片免费看| 青草久久国产| 国产精品久久久久久久电影 | 国产一区二区三区在线臀色熟女| 久久午夜综合久久蜜桃| 久久精品国产清高在天天线| 狂野欧美激情性xxxx| 18禁观看日本| 别揉我奶头~嗯~啊~动态视频| 又紧又爽又黄一区二区| 精品久久久久久久末码| 国产精品一及| 欧美另类亚洲清纯唯美| 亚洲精品一区av在线观看| 一级作爱视频免费观看| 我的老师免费观看完整版| 日本 欧美在线| 天天一区二区日本电影三级| 性色av乱码一区二区三区2| 天堂av国产一区二区熟女人妻 | 亚洲国产中文字幕在线视频| 巨乳人妻的诱惑在线观看| 免费在线观看亚洲国产| 亚洲精品在线观看二区| 久久久精品国产亚洲av高清涩受| 又粗又爽又猛毛片免费看| 精品欧美国产一区二区三| 小说图片视频综合网站| 亚洲九九香蕉| 欧美大码av| 亚洲乱码一区二区免费版| 国产麻豆成人av免费视频| 欧美日韩黄片免| 啪啪无遮挡十八禁网站| 国产av麻豆久久久久久久| 国产一区在线观看成人免费| 亚洲免费av在线视频| 亚洲av五月六月丁香网| 久久久精品欧美日韩精品| 国产精品野战在线观看| 久久久水蜜桃国产精品网| xxx96com| 男女床上黄色一级片免费看| 夜夜躁狠狠躁天天躁| 亚洲激情在线av| 国产精品 欧美亚洲| www日本黄色视频网| 国产区一区二久久| 亚洲成人精品中文字幕电影| 国产69精品久久久久777片 | 男女之事视频高清在线观看| 国产成+人综合+亚洲专区| 久久精品综合一区二区三区| 亚洲中文日韩欧美视频| 在线永久观看黄色视频| 热99re8久久精品国产| 精品日产1卡2卡| 狂野欧美白嫩少妇大欣赏| 中文字幕高清在线视频| 午夜福利18| 亚洲一码二码三码区别大吗| 久久国产精品人妻蜜桃| 日韩成人在线观看一区二区三区| 一进一出抽搐动态| 一级黄色大片毛片| 欧美日韩中文字幕国产精品一区二区三区| 国产成人一区二区三区免费视频网站| 在线十欧美十亚洲十日本专区| 日本五十路高清| 久久久国产精品麻豆| 校园春色视频在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 国产私拍福利视频在线观看| 国产成人aa在线观看| 特级一级黄色大片| 亚洲激情在线av| 非洲黑人性xxxx精品又粗又长| 又黄又爽又免费观看的视频| 亚洲国产欧洲综合997久久,| 国产97色在线日韩免费| 又紧又爽又黄一区二区| 国产精品爽爽va在线观看网站| 精品久久久久久成人av| 欧美精品亚洲一区二区| 国产91精品成人一区二区三区| aaaaa片日本免费| 我的老师免费观看完整版| 久久午夜亚洲精品久久| 老熟妇仑乱视频hdxx| 精品熟女少妇八av免费久了| 91字幕亚洲| 国产麻豆成人av免费视频| 亚洲全国av大片| 一进一出抽搐动态| 男女午夜视频在线观看| 欧美一级毛片孕妇| 久久这里只有精品中国| 国产aⅴ精品一区二区三区波| 国产精品久久久久久精品电影| 伦理电影免费视频| 99精品欧美一区二区三区四区| 欧美久久黑人一区二区| 亚洲精品美女久久av网站| 脱女人内裤的视频| 国产三级黄色录像| 亚洲成av人片在线播放无| 亚洲性夜色夜夜综合| 一本综合久久免费| 欧美zozozo另类| 免费无遮挡裸体视频| 69av精品久久久久久| 欧美日韩精品网址| 久久久久九九精品影院| 99久久久亚洲精品蜜臀av| 亚洲成人久久爱视频| 97碰自拍视频| 国产精品亚洲av一区麻豆| 国产精品久久久av美女十八| 法律面前人人平等表现在哪些方面| 日韩精品免费视频一区二区三区| 欧美大码av| 日本精品一区二区三区蜜桃| 成人一区二区视频在线观看| 最近视频中文字幕2019在线8| 欧美日韩国产亚洲二区| 国产精品av久久久久免费| 亚洲专区字幕在线| 久久亚洲真实| 一区二区三区激情视频| 麻豆国产av国片精品| 每晚都被弄得嗷嗷叫到高潮| 欧美色欧美亚洲另类二区| 日韩欧美精品v在线| 久久久久国产一级毛片高清牌| 啦啦啦免费观看视频1| 美女扒开内裤让男人捅视频| 免费电影在线观看免费观看| 可以在线观看毛片的网站| 久久精品综合一区二区三区| 国产免费男女视频| 啪啪无遮挡十八禁网站| 在线观看www视频免费| 1024手机看黄色片| av天堂在线播放| 久久久久久亚洲精品国产蜜桃av| av在线播放免费不卡| 国内久久婷婷六月综合欲色啪| 午夜福利欧美成人| 桃色一区二区三区在线观看| 热99re8久久精品国产| 久久精品亚洲精品国产色婷小说| 午夜a级毛片| 亚洲人与动物交配视频| 亚洲熟女毛片儿| av超薄肉色丝袜交足视频| 国产99久久九九免费精品| 五月玫瑰六月丁香| 人妻久久中文字幕网| 欧美一区二区精品小视频在线| 制服诱惑二区| 精品国产超薄肉色丝袜足j| 一区二区三区激情视频| 成人国产一区最新在线观看| 久久午夜亚洲精品久久| www日本在线高清视频| 成人午夜高清在线视频| 精品国内亚洲2022精品成人| 亚洲国产精品999在线| 欧美成人一区二区免费高清观看 | 在线永久观看黄色视频| 久久久精品国产亚洲av高清涩受| 在线a可以看的网站| 露出奶头的视频| 中文字幕av在线有码专区| 亚洲18禁久久av| 国产成人啪精品午夜网站| 国产精品影院久久| 久久亚洲真实| 国产伦一二天堂av在线观看| 国产午夜精品久久久久久| 蜜桃久久精品国产亚洲av| 国产精品香港三级国产av潘金莲| 日本撒尿小便嘘嘘汇集6| 精品一区二区三区视频在线观看免费| 精品久久久久久久毛片微露脸| 黄色毛片三级朝国网站| 国产蜜桃级精品一区二区三区| 国产成人欧美在线观看| 97碰自拍视频| 国产成人aa在线观看| 一区二区三区激情视频| 久久人妻福利社区极品人妻图片| 人妻丰满熟妇av一区二区三区| 亚洲成人国产一区在线观看| 91麻豆av在线| 波多野结衣高清无吗| 国产麻豆成人av免费视频| 欧美三级亚洲精品| 真人一进一出gif抽搐免费| 国产99白浆流出| 色精品久久人妻99蜜桃| 欧美绝顶高潮抽搐喷水| 俄罗斯特黄特色一大片| 99国产精品99久久久久| 波多野结衣高清作品| 日本一本二区三区精品| 五月伊人婷婷丁香| 国产单亲对白刺激| av中文乱码字幕在线| 精品熟女少妇八av免费久了| 国产精品亚洲一级av第二区| 亚洲七黄色美女视频| 欧美绝顶高潮抽搐喷水| 91av网站免费观看| 国产成人精品久久二区二区免费| 亚洲国产欧洲综合997久久,| 真人一进一出gif抽搐免费| 又紧又爽又黄一区二区| 亚洲一码二码三码区别大吗| 国产伦在线观看视频一区| 国产三级黄色录像| 可以在线观看毛片的网站| 波多野结衣高清作品| 亚洲天堂国产精品一区在线| 在线永久观看黄色视频| 一卡2卡三卡四卡精品乱码亚洲| 一级a爱片免费观看的视频| 97超级碰碰碰精品色视频在线观看| 成人av一区二区三区在线看| 在线观看免费日韩欧美大片| 黑人巨大精品欧美一区二区mp4| 大型av网站在线播放| 欧美 亚洲 国产 日韩一| 国产精品精品国产色婷婷| 人人妻人人看人人澡| 久久久久久国产a免费观看| 天堂av国产一区二区熟女人妻 | 我要搜黄色片| 亚洲人成网站高清观看| 亚洲片人在线观看| 亚洲av电影不卡..在线观看| 日韩精品免费视频一区二区三区| 欧美极品一区二区三区四区| 亚洲国产看品久久| 午夜福利成人在线免费观看| 色在线成人网| 91麻豆av在线| avwww免费| √禁漫天堂资源中文www| 国产真人三级小视频在线观看| 久久久精品国产亚洲av高清涩受| 神马国产精品三级电影在线观看 | 成人特级黄色片久久久久久久| 狠狠狠狠99中文字幕| 老司机深夜福利视频在线观看| 69av精品久久久久久| av福利片在线观看| 久久精品国产亚洲av高清一级| 欧美精品啪啪一区二区三区| 免费看十八禁软件| 日本黄色视频三级网站网址| 好男人在线观看高清免费视频| 我的老师免费观看完整版| 老司机午夜十八禁免费视频| 欧美日本亚洲视频在线播放| 久99久视频精品免费| 久久久久久九九精品二区国产 | 黑人巨大精品欧美一区二区mp4| 久久精品成人免费网站| 手机成人av网站| 精品国产乱码久久久久久男人| 国产伦在线观看视频一区| 黄频高清免费视频| 曰老女人黄片| 又大又爽又粗| 日本成人三级电影网站| 两性夫妻黄色片| 大型黄色视频在线免费观看| 国产视频内射| 亚洲国产精品sss在线观看| 国产激情久久老熟女| 中文字幕人成人乱码亚洲影| 亚洲国产精品久久男人天堂| 久久精品国产亚洲av香蕉五月| 精品久久久久久久久久久久久| 日韩欧美国产一区二区入口| 亚洲一码二码三码区别大吗| 欧美绝顶高潮抽搐喷水| 久久亚洲真实| 国产午夜福利久久久久久| 国产熟女午夜一区二区三区| 亚洲 国产 在线| 99久久精品国产亚洲精品| 在线视频色国产色| 正在播放国产对白刺激| 国产高清视频在线观看网站| 可以在线观看毛片的网站| av有码第一页| 色综合婷婷激情| 叶爱在线成人免费视频播放| 岛国在线观看网站| 亚洲精华国产精华精| 人妻夜夜爽99麻豆av| 两人在一起打扑克的视频| 美女免费视频网站| 色av中文字幕| 国产精品久久久人人做人人爽| 99热这里只有是精品50| 久久久久久大精品| 亚洲av五月六月丁香网| 久久久国产成人免费| 亚洲全国av大片| 欧美3d第一页| 无遮挡黄片免费观看| 成年女人毛片免费观看观看9| 亚洲成人中文字幕在线播放| 欧美国产日韩亚洲一区| 亚洲成人国产一区在线观看| 黄色毛片三级朝国网站| 一个人免费在线观看的高清视频| 欧美 亚洲 国产 日韩一| 亚洲国产精品成人综合色| 麻豆成人av在线观看| 18禁裸乳无遮挡免费网站照片| 精品一区二区三区视频在线观看免费| 国产欧美日韩一区二区精品| www.自偷自拍.com| 18禁黄网站禁片午夜丰满| 村上凉子中文字幕在线| 老司机福利观看|