NFV故障關(guān)聯(lián)及故障自愈方案研究

毛斌宏，陽志明

（中國電信股份有限公司廣州研究院，廣東 廣州 510630）

NFV故障關(guān)聯(lián)及故障自愈方案研究

毛斌宏，陽志明

（中國電信股份有限公司廣州研究院，廣東 廣州 510630）

利用NFV實現(xiàn)電信網(wǎng)絡(luò)設(shè)備軟硬件解耦，擺脫了對專用硬件設(shè)備的依賴，并能利用NFV資源共享、自動部署、彈性伸縮等特性，但同時也帶來了故障點多、故障定位分析困難等問題，導(dǎo)致NFV網(wǎng)絡(luò)的運營維護難度增加。分析了NFV故障處理的流程及故障關(guān)聯(lián)方案，為NFV場景下的故障定位處理提供指引。同時給出了VNF故障自愈實現(xiàn)方案，利用VNF特性，實現(xiàn)網(wǎng)元及業(yè)務(wù)自愈，提升自動化運維能力。

NFV；MANO；故障關(guān)聯(lián)；故障自愈

1 引言

SDN（software defined networking，軟件定義網(wǎng)絡(luò)）/NFV（network function virtualization，網(wǎng)絡(luò)功能虛擬化）是當(dāng)前電信網(wǎng)絡(luò)技術(shù)研究的熱點之一，NFV通過使用x86等通用性硬件以及虛擬化技術(shù)，承載通信網(wǎng)絡(luò)處理功能，使網(wǎng)絡(luò)設(shè)備功能不再依賴于專用硬件、資源可以靈活共享，實現(xiàn)新業(yè)務(wù)的快速開發(fā)和部署，并基于實際業(yè)務(wù)需求進(jìn)行自動部署、彈性伸縮等。參照ETSI NFV系統(tǒng)架構(gòu)，如圖1所示，虛擬化實現(xiàn)了底層物理設(shè)備和上層操作系統(tǒng)、應(yīng)用軟件的解耦，而MANO（management and orchestration，管理和編排）則提供一個可管、可控、可運營的服務(wù)提供環(huán)境，使得底層基礎(chǔ)設(shè)施可以便捷地提供給應(yīng)用。MANO實現(xiàn)NS（network service，網(wǎng)絡(luò)服務(wù)）及VNF（virtual network function，虛擬網(wǎng)元功能）生命周期管理相關(guān)的業(yè)務(wù)部署、資源調(diào)度和運維管理功能。

MANO包含 3個功能模塊：NFVO（NFV orchestrator，NFV 編排器）、VNFM（virtual network function management，虛擬網(wǎng)元功能管理）和VIM（virtualized infrastructure management，虛擬化基礎(chǔ)設(shè)施管理）。

· NFVO：主要負(fù)責(zé)跨VIM的NFVI資源編

排及NS的生命周期管理。

· VNFM：主要負(fù)責(zé)VNF的生命周期管理，包括VNF實例化、VNF彈性擴縮容、VNF終止等。VNFM一般分為通用VNFM和專用VNFM，其中專用VNFM可以部署多個，一個專用VNFM可以管理同一廠商的多個VNF。

· VIM：主要負(fù)責(zé)管理一個或多個NFVI-POP中的NFV基礎(chǔ)設(shè)施資源。NFVI-POP是指部署了計算、存儲、網(wǎng)絡(luò)資源，符合運營商NFV硬件和虛擬化技術(shù)要求，由NFVI管理系統(tǒng)統(tǒng)一管理，提供VNF業(yè)務(wù)承載能力的局站。

NFVO、VNFM和VIM這3個功能模塊在邏輯上獨立，可通過標(biāo)準(zhǔn)接口互通，在實際部署時可根據(jù)需要分設(shè)或合設(shè)。此外，MANO還定義了實體模塊之間的接口，包括：NFVO與VNFM的接口（Or-Vnfm）、NFVO與VIM的接口（Or-Vi）、VNFM與VIM的接口（Vi-Vnfm）、NFVO與OSS的接口（Os-Ma-nfvo）、VNFM 與 EMS的接口（Ve-Vnfm-em）、VNFM 與 VNF的接口（Ve-Vnfm-vnf）、VIM 與NFVI的接口（Nf-Vi）。

NFV的引入一方面帶來了資源共享、網(wǎng)絡(luò)快速部署的優(yōu)勢，但同時也帶來了新的問題。隨著軟硬件解耦，相對于傳統(tǒng)軟硬件一體化設(shè)備而言，網(wǎng)元及業(yè)務(wù)的故障定位、分析、處理的難度會增加。當(dāng)NFV出現(xiàn)故障后，故障信息可以是幾個不同的故障源：物理資源故障（即 NFVI的物理計算、存儲和網(wǎng)絡(luò)相關(guān)的故障）、虛擬資源故障（如虛擬化層或VM相關(guān)故障）和應(yīng)用故障（即VNF應(yīng)用軟件及功能相關(guān)故障）等。NFV虛擬網(wǎng)元相對于傳統(tǒng)軟硬件一體化網(wǎng)元設(shè)備，在故障管理方面主要有兩大差異：一是故障點多，傳統(tǒng)網(wǎng)元設(shè)備軟硬件故障、業(yè)務(wù)故障都通過同一廠商的設(shè)備網(wǎng)管 EMS采集和上報，故障定位比較明確；而NFV虛擬網(wǎng)元硬件資源層、虛擬化層、應(yīng)用軟件層、業(yè)務(wù)邏輯層都可能產(chǎn)生故障。二是故障管理功能分散，傳統(tǒng)設(shè)備通過網(wǎng)元—EMS—NMS（OSS）的層次進(jìn)行處理；而 NFV網(wǎng)絡(luò)，在原有處理功能基礎(chǔ)上，增加了 MANO的故障處理功能，分別負(fù)責(zé) NFVI層的硬件資源、虛擬資源故障以及VNF故障和NS故障。因此，本文將重點研究NFV場景下故障處理流程及故障關(guān)聯(lián)方案，同時，由于NFV具備動態(tài)部署、彈性調(diào)整的特性，還要研究NFV故障情況下如何實現(xiàn)VNF故障自愈、網(wǎng)元及業(yè)務(wù)的自動恢復(fù)，提升自動化運維能力和業(yè)務(wù)可用性。

圖1 NFV系統(tǒng)架構(gòu)

2 NFV故障關(guān)聯(lián)方案

2.1 NFV故障處理流程

NFV分層解耦后，每一層都會產(chǎn)生告警，僅靠單一層面很難進(jìn)行故障定位，例如，一個網(wǎng)卡出現(xiàn)故障，會引起相關(guān)VIM層的告警和操作系統(tǒng)層面的告警，也會產(chǎn)生網(wǎng)絡(luò)層面的告警以及業(yè)務(wù)層面的告警，這些告警由不同層面采集和監(jiān)控，如何進(jìn)行故障關(guān)聯(lián)分析和處理，需要有完善的NFV故障采集、故障定位和故障處理流程。

NFV故障告警主要分為NFVI層物理資源告警、虛擬資源告警、虛擬網(wǎng)元告警和業(yè)務(wù)層告警。NFV故障管理流程示意如圖2所示。

NFV故障管理流程的主要步驟如下。

· VNFM 接收與該特定 VNF實例相關(guān)的虛擬化基礎(chǔ)設(shè)施故障（1a）。NFVO接收與該特定VNF無關(guān)的基礎(chǔ)設(shè)施故障（1b）。

· VNFM可對某些所選事件執(zhí)行其自身的故

障相關(guān)性分析。

· VNFM 可以將與該特定 VNF實例的相關(guān)故障信息轉(zhuǎn)發(fā)到其他不同的故障關(guān)聯(lián)點，主要是EMS（3a）和NFVO（3b）。

圖2 NFV故障管理流程示意

· VNF實例可以將應(yīng)用層故障發(fā)送到不同的關(guān)聯(lián)點，主要是EMS（4a）和VNFM（4b）。VNFM 可以進(jìn)一步將故障信息轉(zhuǎn)發(fā)到NFVO（4c）。

· 故障相關(guān)性分析可能發(fā)生在任何故障關(guān)聯(lián)點。EMS可以執(zhí)行故障相關(guān)性分析以確定根原因和對VNF的影響（5a）。NFVO可以執(zhí)行故障相關(guān)性分析以確定根原因和對網(wǎng)絡(luò)服務(wù)的影響（5b）。

· 可以在不同的故障關(guān)聯(lián)點處發(fā)起解決故障動作。

· 在OSS中可能發(fā)生額外的相關(guān)性分析和處理流程。

當(dāng)相同故障原因的告警信息由多個告警源產(chǎn)生時，需要對這些信息進(jìn)行關(guān)聯(lián)分析。在NFV MANO架構(gòu)中，這種相關(guān)性分析可能發(fā)生在多個地方：EMS、VNFM、NFVO或 OSS。一旦確定了故障關(guān)聯(lián)點，其他功能單元必須能夠?qū)⒐收闲畔⑥D(zhuǎn)發(fā)到故障關(guān)聯(lián)點，如 VIM負(fù)責(zé)收集 NFVI物理資源和虛擬資源告警并進(jìn)行轉(zhuǎn)發(fā)；EMS負(fù)責(zé)收集 VNF產(chǎn)生的業(yè)務(wù)告警并進(jìn)行轉(zhuǎn)發(fā)。

2.2 NFV故障關(guān)聯(lián)分析

NFV框架中不存在唯一的故障關(guān)聯(lián)點或故障處理點。例如，某些故障相關(guān)性分析和故障處理在 VIM 中執(zhí)行，而另外一些故障處理可能在NFVO、VNFM或EMS中執(zhí)行，具體取決于故障本身的類型和層級。NFV架構(gòu)中，每一個管理單元負(fù)責(zé)不同層級、不同類型的告警采集和故障關(guān)聯(lián)，如圖3所示。

NFV框架中需要根據(jù)故障類型確定故障關(guān)聯(lián)點和故障處理點，每一個管理單元負(fù)責(zé)不同的告警采集和故障關(guān)聯(lián)。

· VIM 負(fù)責(zé)收集虛擬資源告警與物理資源告警，并進(jìn)行關(guān)聯(lián)，以確定資源故障影響范圍。

· VNFM 負(fù)責(zé)收集虛擬資源告警與相應(yīng)的VNF網(wǎng)元告警，并與VNF生命周期告警關(guān)聯(lián)，以確定網(wǎng)元實例影響范圍。

· EMS負(fù)責(zé)收集VNF業(yè)務(wù)告警與VNFM上報的關(guān)聯(lián)后的虛擬資源告警，并進(jìn)行關(guān)聯(lián)（即基礎(chǔ)設(shè)施與應(yīng)用關(guān)聯(lián)），以確定業(yè)務(wù)影響范圍。

· NFVO負(fù)責(zé)收集虛擬資源、物理資源告警以及VNF生命周期相關(guān)告警，并進(jìn)行關(guān)聯(lián)，以確定NS的影響范圍。

圖3 NFV故障關(guān)聯(lián)示意

· OSS或新一代網(wǎng)絡(luò)運營系統(tǒng)負(fù)責(zé)收集VNF業(yè)務(wù)告警、NS生命周期告警、VNF生命周期告警、NFVI重要告警，并進(jìn)行關(guān)聯(lián)，以確定網(wǎng)絡(luò)影響范圍、業(yè)務(wù)影響范圍及客戶影響范圍。

基于以上分析，NFV故障管理中采用“逐層關(guān)聯(lián)、分類管理”的原則，即物理資源、虛擬資源、虛擬網(wǎng)元、網(wǎng)絡(luò)服務(wù)垂直逐層關(guān)聯(lián)，資源故障、業(yè)務(wù)故障分類管理，這是NFV故障管理應(yīng)采取的基本維護管理思路，需要通過分層協(xié)同的方式處理NFV運行監(jiān)控和故障處理。例如，某個虛擬網(wǎng)元的業(yè)務(wù)單元出現(xiàn)異常，首先進(jìn)行應(yīng)用進(jìn)程重啟，而如果是整個虛擬網(wǎng)元出現(xiàn)異常，則可能會觸發(fā)VNF實例生命周期管理流程（例如VNF擴縮容、VNF終止）或NS實例生命周期管理流程（例如網(wǎng)絡(luò)服務(wù)終止）的操作以實現(xiàn)故障恢復(fù)。

2.3 業(yè)務(wù)與資源故障關(guān)聯(lián)實現(xiàn)方案

參照ETSI NFV架構(gòu)及相關(guān)實體職責(zé)分工，MANO（包括 VIM、VNFM、NFVO）主要負(fù)責(zé)資源域的告警監(jiān)控與處理，VNF-EMS-OSS主要負(fù)責(zé)業(yè)務(wù)域的告警采集與處理。而當(dāng)資源域與業(yè)務(wù)域告警信息需要關(guān)聯(lián)時，目前業(yè)界一般有以下兩種實現(xiàn)方案。

方案一：OSS負(fù)責(zé)業(yè)務(wù)與資源故障關(guān)聯(lián)

方案一如圖4所示，EMS負(fù)責(zé)網(wǎng)元層級的業(yè)務(wù)告警（從VNF收集）與資源告警（從VNFM收集）的關(guān)聯(lián)。OSS負(fù)責(zé)業(yè)務(wù)層級的業(yè)務(wù)告警（從EMS收集）與資源告警（從NFVO收集）的關(guān)聯(lián)。這種方案與現(xiàn)有的電信網(wǎng)絡(luò)運營維護體制相適應(yīng)，能夠?qū)⑿碌?NFV網(wǎng)絡(luò)融入傳統(tǒng)OSS進(jìn)行管理，最終實現(xiàn)新舊網(wǎng)絡(luò)一體化運營維護。

方案二：NFVO負(fù)責(zé)業(yè)務(wù)與資源故障關(guān)聯(lián)

方案二如圖5所示，EMS負(fù)責(zé)網(wǎng)元層級的業(yè)務(wù)告警（從 VNF收集）與資源告警（從 VNFM收集）的關(guān)聯(lián)。NFVO負(fù)責(zé)業(yè)務(wù)層級的業(yè)務(wù)告警（從EMS收集）與資源告警的關(guān)聯(lián)。這種方案需要對ETSI定義的NFVO功能框架進(jìn)行功能擴展，統(tǒng)一管理NFV網(wǎng)絡(luò)的業(yè)務(wù)編排、資源調(diào)度及運營維護，不需要與傳統(tǒng)OSS發(fā)生關(guān)聯(lián)，即“新網(wǎng)新思路”的辦法。這種方案簡化了故障處理流程，有利于實現(xiàn)故障處理流程的快速啟動和基于策略的故障恢復(fù)及故障自愈。

圖4 OSS負(fù)責(zé)業(yè)務(wù)與資源故障關(guān)聯(lián)

從NFVO功能要求、故障處理效率、運營模式、EMS要求等方面對上述兩種方案進(jìn)行對比分析，見表1。

上述兩種方案各有優(yōu)劣，如果需要兼顧傳統(tǒng)網(wǎng)絡(luò)與NFV新網(wǎng)絡(luò)一體化運營，則建議采用方案一；如果需要提升NFV網(wǎng)絡(luò)告警處理效率，則建議采用方案二。

2.4 分層故障處理方案

故障采集上報、關(guān)聯(lián)分析需要逐層分解、逐層關(guān)聯(lián)，同樣，故障處理也需要采用逐層處理的方案，如圖6所示。

NFV架構(gòu)中各功能實體分別負(fù)責(zé)相關(guān)故障的處理。

· EMS負(fù)責(zé)VNF業(yè)務(wù)故障處理。

· EMS根據(jù)策略向VNF發(fā)起配置變更操作。

· OSS負(fù)責(zé)業(yè)務(wù)、網(wǎng)絡(luò)故障處理。

· OSS通知EMS對相應(yīng)VNF網(wǎng)元進(jìn)行調(diào)整。

· OSS通知NFVO對相應(yīng)NS、VNF生命周期及其資源進(jìn)行調(diào)整。

· NFVO負(fù)責(zé) NS故障處理以及與網(wǎng)絡(luò)相關(guān)的物理資源、虛擬資源故障處理。

· NFVO基于策略調(diào)整虛擬資源或物理資源。

· VNFM負(fù)責(zé)VNF生命周期相關(guān)故障處理。

圖5 NFVO負(fù)責(zé)業(yè)務(wù)與資源故障關(guān)聯(lián)

表1 業(yè)務(wù)與資源告警故障關(guān)聯(lián)方案對比分析

· VNFM基于策略需要對虛擬資源進(jìn)行調(diào)整時，通知NFVO（間接模式）。

· VNFM基于策略需要對虛擬資源進(jìn)行調(diào)整時，通過VIM實現(xiàn)（直接模式）。

因此，NFV在故障處理時，首先需要分析故障類型（資源故障或業(yè)務(wù)故障）和故障影響范圍（單網(wǎng)元故障或業(yè)務(wù)級故障），再確定合適的故障處理流程，快速定位故障，并基于策略實現(xiàn)故障修復(fù)或故障自愈。

3 故障自愈方案

傳統(tǒng)電信網(wǎng)絡(luò)設(shè)備的告警采集監(jiān)控是自動化處理過程，而故障修復(fù)一般需要轉(zhuǎn)人工線下處理，因此故障監(jiān)控和故障處理是兩個相對獨立的處理流程。而NFV的引入使得虛擬化網(wǎng)元設(shè)備的故障監(jiān)控與故障處理流程實現(xiàn)了閉環(huán)融合，利用虛擬云化資源特性為NFV故障自愈創(chuàng)造了條件。

NFV將軟件功能和專用硬件分離，且采用通用的硬件，當(dāng)硬件出現(xiàn)故障時，應(yīng)用軟件可以自動轉(zhuǎn)移到備份的硬件上重新部署。具體而言，硬件故障時，該硬件上承載的VM轉(zhuǎn)移到備用硬件上，也就是將應(yīng)用軟件重新部署在新的通用硬件上，維持業(yè)務(wù)的連續(xù)性。當(dāng)VM出現(xiàn)故障時，重建VM即可。

當(dāng)VNF出現(xiàn)異常時，可以通過VNF自愈流程實現(xiàn)自愈，保障VNF網(wǎng)元和業(yè)務(wù)的連續(xù)性。

如圖7所示，基于策略的VNF故障自愈有3種常見模式。

· VNF故障自愈：當(dāng)VNF出現(xiàn)異常無法恢復(fù)時，則通過VNFM發(fā)起VNF自愈恢復(fù)流程，重新實例化部署該VNF，恢復(fù)歷史數(shù)據(jù)，進(jìn)行VNF恢復(fù)。

· VNFC故障自愈：當(dāng)某個VNFC出現(xiàn)異常無法恢復(fù)時，則通過 VNFM 刪除原有的VNFC，新建VNFC進(jìn)行恢復(fù)。

· VM故障自愈：當(dāng)VNFC對應(yīng)的VM出現(xiàn)異常時，則通過 VNFM發(fā)起新建 VM，并安裝部署相應(yīng)的VNFC，實現(xiàn)VNFC功能恢復(fù)。

圖6 NFV分層告警處理方案

以 vIMS分層解耦部署為例，要求網(wǎng)元及VNFM 具備故障自動恢復(fù)功能，備用模塊對應(yīng)虛擬機恢復(fù)后，vIMS網(wǎng)元應(yīng)能恢復(fù)對應(yīng)模塊的備用工作狀態(tài)。在設(shè)定時間內(nèi)，備用模塊虛擬機由于物理故障等無法恢復(fù)的情況下，VNFM應(yīng)能啟動虛擬機重建將備用模塊對應(yīng)虛擬機遷移至其他物理機上，并啟動部署及配置業(yè)務(wù)功能。在故障自愈過程中，也對各個環(huán)節(jié)的處理時限提出了要求。

· 從故障產(chǎn)生到被VIM檢測出來并上報告警的間隔時間小于10 s。

· 故障硬件對應(yīng)的模塊業(yè)務(wù)倒換至備用模塊，業(yè)務(wù)損失時間小于2 s。

· 在設(shè)定時間內(nèi)虛擬機無法自動恢復(fù)，VNFM能啟動虛擬機重建流程，虛擬機能夠重建成功，重建時間小于10 min。

盡管虛擬化基礎(chǔ)設(shè)施管理平臺VIM一般具備VM遷移的能力（如OpenStack），但VIM主動發(fā)起的虛擬機遷移無法實現(xiàn)業(yè)務(wù)網(wǎng)元連接、業(yè)務(wù)數(shù)據(jù)恢復(fù)，無法保障業(yè)務(wù)的連續(xù)性，因此一般不建議采用VIM發(fā)起的主動遷移虛擬機，而是通過VNFM或EMS根據(jù)告警及性能策略觸發(fā)，由業(yè)務(wù)層發(fā)起業(yè)務(wù)級的虛擬機遷移，并恢復(fù)相應(yīng)的業(yè)務(wù)連接和業(yè)務(wù)配置，保證業(yè)務(wù)的連續(xù)性。

圖7 基于策略的VNF故障自愈示意

4 結(jié)束語

NFV為通信網(wǎng)絡(luò)變革帶來了機遇，同時也為未來的網(wǎng)絡(luò)運維提出了新的挑戰(zhàn)。本文分析了NFV故障處理的流程及故障關(guān)聯(lián)方案，提出了VNF故障自愈實現(xiàn)方案，為NFV場景下的故障定位處理、故障自愈提供了基本思路和方法?？傮w來說，NFV故障處理需要采用“逐層關(guān)聯(lián)、分類管理”的原則，既分工負(fù)責(zé)，又統(tǒng)籌協(xié)同，充分發(fā)揮云化部署彈性可擴展的特性，實現(xiàn)虛擬網(wǎng)元故障自愈，提升自動化運維能力。在此基礎(chǔ)上，下一步還需深入研究策略引擎、規(guī)則引擎等關(guān)鍵技術(shù)，制定分層協(xié)同故障處理模式下故障快速定位的方法和機制；研究制定故障自愈策略，提高虛擬網(wǎng)元的自愈恢復(fù)能力。

[1] ETSI. NFV management and orchestration[S]. 2014.

[2] ETSI. NFV MANO functional requirements specification[S].2017.

[3] ETSI. NFV MANO Or-Vi reference point - interface and information model specification[S]. 2016.

[4] ETSI. NFV MANO Vi-Vnfm reference point-interface and information model specification[S]. 2016.

[5] ETSI. NFV MANO Or-Vnfm reference point-interface and information model specification[S]. 2016.

[6] 趙慧玲, 史凡. SDN/NFV的發(fā)展與挑戰(zhàn)[J]. 電信科學(xué), 2014,30(8): 13-18.ZHAO H L, SHI F. Development and challenge of SDN/NFV[J].Telecommunications Science, 2014, 30(8): 13-18.

[7] 王海寧, 趙慧玲. NFVO標(biāo)準(zhǔn)和實踐[J]. 電信科學(xué), 2017,33(4): 1-7.WANG H N, ZHAO H L. NFVO standards and practice[J].Telecommunications Science, 2017, 33(4): 1-7.

Research on NFV fault association and fault self-healing

MAO Binhong, YANG Zhiming
Guangzhou Research Institute of China Telecom Co., Ltd., Guangzhou 510630, China

NFV implements the hardware and software decoupling of telecommunications network equipment, gets rid of the dependence on dedicated hardware equipment. NFV brings benefits such as resource sharing, automatic deployment, flexibility and other features, but it also brings some problems such as more fault points, difficult fault analysis and so on. It results in NFV network operation and maintenance more difficult. The NFV fault process and fault association were analyzed, and guidance for fault location processing in NFV was provided. At the same time,the VNF fault self-healing implementation scheme was given to realize the network element and service fault self-healing, and improve capability of automatic operation and maintenance.

NFV, MANO, fault association, fault self-healing

TP393

A

10.11959/j.issn.1000?0801.2017261

2017?06?11；

2017?08?30

毛斌宏（1975?），男，中國電信股份有限公司廣州研究院高級工程師、高級企業(yè)信息管理師，主要研究方向為NFV MANO及電信運營支撐系統(tǒng)。

陽志明（1972?），男，中國電信股份有限公司廣州研究院高級工程師，主要研究方向為信息與通信技術(shù)、運營支撐系統(tǒng)理論與實踐。