NFVO標準和實踐

王海寧，趙慧玲

（中國電信股份有限公司北京研究院，北京 102209）

NFVO標準和實踐

王海寧，趙慧玲

（中國電信股份有限公司北京研究院，北京 102209）

網絡功能虛擬化（NFV）是未來網絡發(fā)展的重要趨勢，也是目前全球各大標準組織和開源社區(qū)的工作重點。網絡功能虛擬化編排器（NFVO）是編排和管理NFV網絡的核心功能，也是運營商和設備廠商關注的焦點。全面梳理了NFVO相關的國際國內標準組織及開源項目的最新研究進展，闡述了中國電信股份有限公司北京研究院聯合江蘇分公司研發(fā)的NFVO系統架構和關鍵組件，并基于現網實踐指出NFVO在未來研發(fā)和部署中的挑戰(zhàn)。

網絡功能虛擬化；NFVO；編排

1 NFVO標準和開源研究進展

網絡功能虛擬化（network function virtualization，NFV）是網絡演進的重要趨勢之一，全球各大標準和開源組織紛紛圍繞NFV展開了相關工作。

虛擬網絡 MANO（management and orchestration，管理和編排）系統，由網絡功能虛擬化編排器（network functions virtualization orchestrator，NFVO）、虛擬網絡功能管理器（virtualized network functions manager，VNFM）以及虛擬化基礎設施管理器（virtualized infrastructure manager，VIM）共同組成，以實現虛擬網絡層、虛擬網元層、虛擬化基礎設施分層管理功能。其中 NFVO是整個虛擬網絡的“大腦”，負責管理和編排網絡服務（network service，NS），指揮 VNFM 和VIM 共同完成網絡服務的生命周期管理工作。下面逐一介紹 NFVO相關的標準和開源組織的最新工作進展。

1.1 ETSI

歐洲電信標準化協會（European Telecommunications Standards Institute，ETSI）是由歐共體委員會于1988年批準建立的非營利性電信標準化組織，標準化領域主要面向于電信業(yè)，并涉及與其他組織合作的信息及廣播技術領域。ETSI是最早制定NFV技術相關行業(yè)規(guī)范的標準組織，ETSI NFV ISG發(fā)布的成果有著舉足輕重的影響力。

2012年10月，ETSI于在德國舉辦的軟件定義網絡（software defined networking，SDN）和OpenFlow世界大會上正式發(fā)布了NFV白皮書。2012年11月，7家運營商選擇在 ETSI制定NFV行業(yè)規(guī)范，并于2013年2月正式成立了NFV行業(yè)標準工作組（NFV ISG）。2013年10月，NFV ISG發(fā)布了NFV基礎架構框架以及相關標準，被業(yè)內廣泛用于相應虛擬化產品設計和開發(fā)，并公布了NFV的OPNFV（Open Platform）等新的開放源代碼組織。與此同時，NFV ISG提出了用概念驗證（proof of concept，PoC）的方式驗證NFV可促進開放性生態(tài)系統的發(fā)展。目前，25項PoC正在順利展開或完成，其論證成果也為NFV ISG所普遍認可。

2014年11月ETSI結束了NFV行業(yè)標準的第一階段工作，發(fā)布了 3版 NFV白皮書和包括MANO在內的17份工作組規(guī)范。至此，NFV ISG已發(fā)展至包括235家企業(yè)、34家服務供應商組織。在這部分工作中，NFV ISG定義了MANO的需求、通用架構、功能模塊、描述模板、參考點、接口基本描述以及部分操作流程和信息模型。但是第一階段的接口消息、語義、信元缺乏協議級的定義，無法滿足多廠商設備互操作的要求。

2015年末，NFV ISG結束了第二階段工作，并于2016年2月發(fā)布了第二階段的工作進展報告及相關文件，其成果基于第一階段的工作做了更加細化的定義，其中，NFV ISG細化了NFV架構體系里NFV-MANO中VIM、VNFM以及NFVO功能模塊的具體功能要求，并定義了相應功能需求參考點以及詳細的接口協議規(guī)范，包括接口需求、功能、消息、語義、輸入輸出參數、信元等。提供了MANO在實際部署時的各種架構選項，例如 NFVO分裂為網絡服務編排（network service orchestrator，NSO）和資源編排（resource orchestrator，RO）；可由一個通用VNFM管理多個VNF，或者由特定VNFM管理特定VNF；EM可作為VNF或者VNFC或者軟件包里單獨的一類來部署；NFVO對VNFM生命周期操作進行批量授權等。

此外，對各部分功能的需求、接口以及信息模型都進行了相應細化，包括虛擬化資源管理和變更通知、虛擬化資源的故障和性能管理、VNF封裝和軟件圖像化管理、VNF生命周期管理和變更通知、網絡業(yè)務生命周期、VNF描述信息模型等。

第三階段工作的成果將于2017年年中發(fā)布，其中將包括相關用例的指定以及整體需求、架構和接口的進一步完善。目前，第三版工作成果已確定包括18項關鍵特征，其中15項為新設特征點，3項為在第二版工作基礎上的補充和擴展，總體內容進一步展開，涵蓋了計費標準、會計細則、許可證管理、安全感知組件、政策分配框架等新的領域以及加速、信息模型等已有領域的功能整合。

1.2 3GPP SA5

3GPP（3rd Generation Partnership Project）是移動通信標準領域的權威組織，定義了 GSM、WCDMA、LTE/EPC及5G等多代移動通信系統的標準規(guī)范。

3GPP SA5（Service and System Aspects Working Group 5：Telecom Management）于2014年中在R13首次針對如何在3GPP網絡背景下進行網絡虛擬化進行具體調查研究，啟動關于虛擬網元相關接口的研究工作，并于2015年底完成。目前即將完成的R14標準包括對原有北向接口的增強和與MANO新接口的定義，包括虛擬化移動網絡管理相關的概念、用例、需求，性能管理，故障管理，配置管理和生命周期管理等內容。

1.3 ITU-T

國際電信聯盟電信標準分局（ITU-T for ITU Telecommunication Standardization Sector）是國際電信聯盟管理下的專門制定電信標準的分支機構。其中第 13研究組（SG13）主要進行關于云計算、下一代網絡（next-generaty network，NGN）、IMT-2020網絡（ITU定義的5G網絡）等未來網絡架構相關技術標準的研究和制定工作，第11研究組（SG11）主要進行相應的協議和信令相關技術標準的研究和制定工作。

目前ITU-T已在其定義的NGN和IMT-2020架構中引入了對 NFV技術的支持。2016年底，ITU-T SG13已完成了 NGN控制網元虛擬化（virtualization of control network entity，VCN）的功能架構標準。在2017—2020年研究期，正在開展 NGN 的 VCNMO（virtualized control network-entity management and orchestrator）的功能細分定義、NGN全局編排需求和能力框架以及IMT-2020網絡切片編排和管理相關的網絡架構和協議標準制定工作。

1.4 OpenMANO

OpenMANO是西班牙電信 Telefonica在2015年公開的開源MANO項目，并于2016 年納入ETSI的開源工作組。它基于ETSI第一階段的MANO架構，提供了ETSI標準的NFV參考架構的接口，包括3部分基本組件。

其中，OpenVIM參考NFV-VIM模塊，連接了基礎資源中的計算節(jié)點與OpenFlow控制器，以提供計算和網絡功能并部署虛擬機。它提供了類似 OpenStack的面向高級云服務的北向接口，這些服務包括創(chuàng)建、刪除和管理鏡像、計算節(jié)點和網絡，接口參照NFV-PER001標準。

OpenMANO作為核心組件參考了NFV-O模塊，實現了NFVO的基本功能，通過API與NFV VIM交互，并提供基于REST（OpenMANO API）的北向操作接口，北向提供包括創(chuàng)建和刪除VNF模板與實例、網絡服務模板與實例等NFV服務，可以創(chuàng)建刪除虛擬網絡場景或虛擬網元。

OpenMANO-GUI組件提供了實現與OpenMANO服務器的北向API友好交互的Web界面。

1.5 OSM

2016年4月ETSI成立了開源工作組（Open Source Group，OSG），OSM（Open Source MANO）是其首個開源項目，OSM由運營商主導，專注于以 ETSI的 NFV信息模型為標準，提供開源MANO以滿足NFV網絡的生產需求。

OSM 第一版本已完成設計、測試和文檔編寫，作為一套可擴展、可互操作的開源MANO環(huán)境，在全球范圍內的運營商實驗室里，OSM可實現快速安裝，大大提高了與其他組件（VNF、VIM、SDN控制器等）的互操作性，且提供了一個插件框架，使平臺更加易于擴展和維護。此外，第一版本在可用性和安裝程序上提升了管理員與開發(fā)者體驗，并改進了VNF和NS模型。作為此開源項目的目的之一，這些模型也將對ETSI的NFV進行完善和補充。第一版本還提供了極其靈活的虛擬化網絡功能配置以及先進的網管系統，同時提升了故障排除能力。

OSM提供了NFVO和通用VNFM的集成模塊，支持外部的專用 VNFM，同時還支持與OpenStack VIM的集成。支持對NS和VNF的各種生命周期管理操作。OSM整合了之前已有的一些開源組件，使用OpenMANO作為RO模塊，使用juju作為VNF配置和管理模塊，使用Riftware作為NSO模塊。

1.6 OpenStack Tacker項目

OpenStack是開源的云計算管理平臺，提供部署云的操作平臺和工具集。OpenStack的 Tacker項目提供了一個集成在一起的NFVO和VNFM模塊，未暴露二者之間的Or-Vnfm接口，但可以支持連接外部VNFM。目前支持的能力包括VNF模板管理、VNF實例化和終止、VNF配置管理、VNF監(jiān)控和自愈等。

Tacker由四大組件組成：VNFD目錄、VNF設置、VNF配置管理以及VNF監(jiān)控與自動修復。

TOSCA（Topology and Orchestration Specification for Cloud Applications，針對云應用的拓撲與編排規(guī)范）作為OASIS協會下的一個技術委員會，主要致力于為全球信息社會推動開放標準的開發(fā)、整合與應用，其中也包括如何呈現VNF的標準化。目前，TOSCA的NFV概要文件草案已經完成。該規(guī)范描述了VNF的屬性以及Tacker對VNFD目錄的維護。一旦VNF被規(guī)定使用TOSCA NFV模板，那么它們就能夠進入Tacker VNF目錄中。之后，Tacker就可以通過編譯TOSCA模板和翻譯器翻譯部分OpenStack Heat，實現VNF的實例化。Tacker還側重于VNF的配置和持續(xù)性監(jiān)控，如果需要，自動修復可貫穿ETSI MANO所描述的整個生命周期。

通過上述的 Heat模板，Tacker可以使用OpenStack Nova設置計算基礎設施。OpenStack Nova的許多功能可以在計算設置程序過程中被使用。通過利用 SR-IOV透傳、NUMA、CPU pinning和大頁面分配等特定屬性創(chuàng)建的一些功能，計算資源可以針對VNF進行優(yōu)化。

Tacker將通過配置驅動推動VNF所需的特殊配置。配置管理被設計為可插入式框架，不同的VNF廠商可以為他們的VNF編寫自己的配置驅動。另一個方法是使用SDN控制器。目前已經就如何將SDN和NFV整合在一起展開了許多討論，例如對于使用SDN控制器插件的Tacker，如何推動配置使用SDN控制器南向接口的特殊VNF。

Tacker的一個關鍵職責是監(jiān)視VNF的正常運轉。通過出臺一系列旨在指導 OpenStack其他項目設計的規(guī)范，Tacker可以隨時使用如ICMP-ping和HTTP-ping等可加載的監(jiān)控驅動。它們還被規(guī)劃與Ceilometer進行整合，如今VNF廠商已經能夠編寫自身帶有特殊監(jiān)控屬性的監(jiān)控驅動。

1.7 ONAP（Open-O + 開源ECOMP)

Open-O是由中國移動、中國電信、華為、中興通訊等中國公司推動的業(yè)界首個 NFV/SDN融合協同器開源項目，于2016年6月成立，由Linux基金會管理。ECOMP是AT&T下一代運營平臺，2016年與Linux基金會合作準備推動開源。2017年2月23日，Open-O和開源ECOMP宣布合并為ONAP。

Open-O基礎架構參照了ETSI的NFV框架以及 MANO模塊，并在此基礎上引入了更多的模塊。Open-O的架構主要由 3個編排模塊組成：GS-O（global service-orchestrator）、NFV-O 和SDN-O。其中，GS-O為服務層面功能模塊，實現端到端的服務組合和交付；NFV-O負責通過VNFM和 VIM實現各項虛擬網絡功能的編排；SDN-O在SDN或傳統基礎設施的基礎上確保網絡連通性和網絡虛擬化實現。通過對 GS-O、NFV-O和SDN-O的協同使用，Open-O可提供一系列通用服務，包括政策管理、安全性管理、系統分析、日志記錄以及其他管理功能。

ECOMP主要包括8個軟件子系統，涵蓋兩個主要框架結構。其中 MSO（master service orchestrator）和控制器組件大致分別對應ETSI定義的NFVO和VNFM。此外，ECOMP拓展了ETSI的MANO的范圍，增加了控制器和政策組件，而政策在控制和管理不同VNF運作以及框架管理中影響重大。ECOMP顯著擴展了ETSI MANO的資源描述部分，提供了虛擬環(huán)境的生命周期管理的完整元數據。ECOMP的設計框架也用于定義資源、服務、產品以及各種規(guī)則。由元數據驅動的通用VNF管理器使用戶能夠快速部署新的VNF類型，避免了漫長的開發(fā)過程和集成周期，實現對不同VNF的高效管理。

1.8 CCSA

中國通信標準化協會（China Communications Standards Association，CCSA）于2013年開始啟動關于 NFV 網絡的研究，目前分布于TC1/TC3/TC5/TC6/TC7/TC8等技術工作委員會，范圍包括城域網虛擬化、核心網虛擬化、移動網絡虛擬化、接入和傳輸網虛擬化、網管、安全等。

2017年初，為盡快啟動國內NFVO標準化工作、確定國內NFVO領域的標準體系、更好地支持NFV國際標準化進程，協會技術管理委員會下設“NFV特設標準項目組”對該領域項目進行研究。目前，正在圍繞NFVO的架構、業(yè)務流程、接口、模板等方面開展行業(yè)標準工作。

2 中國電信NFVO研發(fā)和部署實踐

中國電信基于ETSI一階段定義的NFV框架，在 vBRAS、vIMS等網絡場景下，開展了分層解耦的NFV網絡部署實踐活動，從運維管理編排層、虛擬化網絡功能層、網絡云基礎設施層3個層面，對ETSI參考體系架構中的NFVO、VNFM和VNF以及VIM和NFVI的功能進行了實驗室測試和現網試驗。

其中，中國電信股份有限公司北京研究院（以下簡稱中國電信北京研究院）與中國電信股份有限公司江蘇分公司（以下簡稱江蘇電信）聯合研發(fā)的NFVO系統，支持對全局網絡云資源池的可視化監(jiān)控和管理，VNFM的注冊和管理，網絡和網元模板的編排和管理，網絡服務和虛擬網元的實例化、終止、查看等生命周期操作以及虛擬網絡運行監(jiān)控等基本功能，并且實現了與基于OpenStack的VIM互通、與異廠商VNFM的互通。該系統的架構如圖1所示。

圖1 NFVO系統架構

本系統包括如下幾個主要的組成部分。

（1）業(yè)務編排和執(zhí)行模塊

一個NS由一個或多個VNF、VL以及VNFFG（VNF forwarding graph，VNF轉發(fā)圖）組成，業(yè)務編排主要通過編排 NS的模板結構，定義提供特定服務的虛擬網絡拓撲，包括組成NS的VNF、VNF與VNF之間的VL、VNF之間的VNFFG以及 NS所需的客戶化參數等元素；業(yè)務編排和執(zhí)行模塊還提供針對 NS的生命周期管理功能，同時包括完成相關的策略定義。使用者通過圖形化界面進行網絡服務的可視化操作，如網絡服務的定義、編輯和保存等，最后生成網絡服務的TOSCA/YAML文件。業(yè)務執(zhí)行包括解析NS模板文件，并且調用VNFM和云資源池的能力執(zhí)行模板所描述的功能，實現虛擬網絡/網元實例的創(chuàng)建和管理。定義和存儲全局NFV實例數據，且可存儲 NS模板目錄數據、業(yè)務策略等資源數據，策略管理支持NS實例和VNF實例相關的策略管理（如NS/VNF的擴縮容操作策略、存取控制策略、資源管理策略、告警關聯策略等）。

（2）資源編排和管理模塊

資源編排模塊主要負責網絡云資源池里資源管理以及相關的策略管理，資源管理支持跨VIM的資源編排，為業(yè)務編排提供資源管理接口，實現NFVO對于VNF資源的預留和分配機制，并且提供統一的配置管理數據庫。

（3）運行監(jiān)控和保障模塊

為了保障VNF實例的運行，系統要支持全網集中運行監(jiān)控，包括告警、性能、狀態(tài)和系統監(jiān)控，支持NS業(yè)務層面監(jiān)控、VNF運行實例監(jiān)控以及底層資源層的監(jiān)控保障等。實現分層關聯的NS監(jiān)控和NFVI性能監(jiān)控，在將來可集成第三方監(jiān)控或者中國電信的BSS/OSS。負責運行日志的維護，支持主動告警功能。負責對關鍵虛擬網元在應用層面的配置。

另外，NFVO還包括如下對外的接口模塊。

· 與VNFM的接口：提供與VNFM的通信接口。

· 與VIM的接口：提供與VIM的通信接口。

· UI界面：提供NFVO系統的人機交互界面。

· OSS/BSS的通信接口模塊：提供與OSS/BSS的通信接口。

上述系統已于2016年10月在江蘇無錫電信正式上線，實現了vBRAS等虛擬化網元的自動編排和快速部署，提供網絡資源的靈活調度、業(yè)務按需開通以及維護保障等能力，是國內第一個由運營商研發(fā)并在現網部署應用的NFVO系統。實際運行情況表明，使用NFVO創(chuàng)建虛擬網元，可以使相關業(yè)務部署從月級縮短至分鐘級，實現了對市場需求的快速響應。

3 面臨的挑戰(zhàn)

在以NFVO為中心的虛擬網絡編排部署和管理實踐活動中，也遇到了一些問題，需要在NFV網絡大范圍商用部署前解決。

分層解耦的虛擬網絡相比傳統網絡引入了更多的網絡功能模塊和參與方，網絡運行監(jiān)控和故障定位復雜。傳統網絡的運行信息采集渠道集中，一般通過設備網管EMS，并且故障直接定位到物理設備，責任清晰；而虛擬網絡面臨著物理資源層面、虛擬資源層面、虛擬網絡功能層面等不同層次的故障定位問題，相應地，運行信息采集渠道除傳統網管EMS之外，增加了VIM、VNFM、NFVO的渠道，需要選擇一個信息匯聚的節(jié)點對多個渠道的信息做關聯分析，確定出現問題的具體層次和原因，責任可能涉及多廠商，因此故障定位比傳統網絡更復雜、周期更長。

對虛擬資源的分配和調度，存在直接模式和間接模式兩種方式，直接模式是由VNFM直接對VIM提出資源操作請求，間接模式由VNFM通過NFVO向VIM提出資源操作請求。目前無論在國際標準方面還是虛擬化產品方面，直接模式的支持力度都相對較好，可以實現快速部署和運維，但是很難實現三層解耦。從運營商角度考慮，在統一的網絡云資源池上構建多種業(yè)務場景的虛擬網絡是NFV的典型場景之一，需要統一管理資源池，為不同的虛擬網絡分配資源，間接模式能夠更好地保證資源的統一分配。

接口和模板標準化程度不足，目前國際標準對于相關接口和信息模型的定義尚未完成，各NS和VNF模板廠商也存在差異，導致NFVO每對接一個廠商的VNFM或者VNF，都需要進行開發(fā)適配工作。

4 結束語

本文介紹了ETSI、3GPP、ITU-T、CCSA的國際國內標準組織在NFVO方面的標準工作內容及最新進展以及 OpenMANO、OSM、OpenStack Tacker、ONAP各開源項目提供的網絡管理與編排系統的功能及差異。本文還詳細闡述了中國電信北京研究院和江蘇電信聯合研發(fā)的NFVO系統的功能、架構、關鍵組件、主要接口以及該系統部署上線運行的實踐活動。最后，基于中國電信在NFVO研發(fā)和試點部署的實踐經驗，指出在NFV網絡大范圍商用部署前需要解決分層解耦網絡的運行監(jiān)控與故障定位、虛擬資源的統一分配和調度、接口和模板標準化的問題。

[1] ETSI. SDN & OpenFlow world congress[EB/OL]. (2015?10?12) [2017?02?01]. https://www.opendaylight.org/events/2015?10?12?000000?2015?10?16?000000/sdn-openflow-world-congress.

[2] 3GPP. Overview of 3GPP release 14 v0.0.1[EB/OL]. (2014?09?02) [2017?02?01]. http://max.book118.com/html/2015/0619/19393239. shtm.

[3] NFV Labs. OpenMANO[EB/OL]. [2017?02?01]. https://github. com/nfvlabs/openmano/wiki.

[4] ETSI. OSM community white paper: OSM release one, a technical overview[R]. 2016.

[5] 趙慧玲, 史凡. SDN/NFV的發(fā)展與挑戰(zhàn)[J]. 電信科學, 2014, 30(8): 13-18. ZHAO H L, SHI F. Development and challenge of SDN/NFV[J]. Telecommunications Science, 2014, 30(8): 13-18.

[6] 李晨, 段曉東, 陳煒, 等. SDN和NFV的思考與實踐[J]. 電信科學, 2014, 30(8): 23-27. LI C, DUAN X D, CHEN W, et al. Thoughts and practices about SDN and NFV[J]. Telecommunications Science, 2014, 30(8): 23-27.

[7] 馬書惠, 毋濤. NFV標準與開源技術現狀[J]. 電信科學, 2016, 32(3): 43-47. MA S H, WU T. Standards and open source technology of NFV[J]. Telecommunications Science, 2016, 32(3): 43-47.

王海寧（1982?），女，中國電信股份有限公司北京研究院高級工程師，ITU-T、ETSI、3GPP、CCSA、ONAP等標準和開源組織參會代表，ITU-T SG11 Q6報告人，主要研究方向為 5G網絡架構和關鍵技術、SDN與NFV架構和接口等。

趙慧玲，女，長期從事電信網絡領域技術和標準工作?，F任中國通信學會常務理事；中國通信學會信息通信網絡技術專業(yè)委員會主任委員；中國通信學會北京通信學會副理事長；中國通信標準協會網絡與業(yè)務能力技術工作委員會主席；工業(yè)和信息化部科學技術委員會委員；中國電信科學技術委員會常務委員兼核心網組負責人；國際標準組織MEF顧問董事；SDN、NFV產業(yè)聯盟技術委員會副主任。發(fā)表技術文章百余篇、技術專著12部，曾獲得多個國家及省部級科學技術進步獎項。

NFVO standards and practice

WANG Haining, ZHAO Huiling
Beijing Research Institute of China Telecom Co., Ltd., Beijing 102209, China

Network function virtualization (NFV) is an important trend in the development of future network, and is currently the work focus of the world’s major standards organizations and open source communities. Network functions virtualization orchestrator (NFVO) is the core function of arranging and managing the NFV network and is the focus for operators and equipment manufacturers. The latest research progress of NFVO related international and domestic standards organizations and open source projects was expatiated, the NFVO system architecture and key components developed by Beijing Research Institute of China Telecom Co., Ltd. and Jiangsu Branch of China Telecom Co., Ltd. was expounded and NFVO’s challenges in future R&D and deployment was pointed out based on the existing practice of network.

network function virtualization, network functions virtualization orchestrator, orchestration

TN915

A

10.11959/j.issn.1000?0801.2017096

2017?02?01；

2017?03?29