云環(huán)境下的虛擬網(wǎng)絡(luò)智能監(jiān)控分析關(guān)鍵技術(shù)研究與應(yīng)用

陸宏波

摘要：該文主要研究云環(huán)境下的虛擬網(wǎng)絡(luò)智能監(jiān)控分析關(guān)鍵技術(shù)在電力行業(yè)的應(yīng)用，首先論述了網(wǎng)絡(luò)安全對電網(wǎng)安全穩(wěn)定運行的重要性，虛擬網(wǎng)絡(luò)監(jiān)控對網(wǎng)絡(luò)運維的重要輔助作用；然后分析了國內(nèi)外在虛擬網(wǎng)絡(luò)安全領(lǐng)域的應(yīng)用技術(shù)發(fā)展；最后根據(jù)電力系統(tǒng)特點，設(shè)計了虛擬網(wǎng)絡(luò)智能監(jiān)控分析系統(tǒng)。

關(guān)鍵詞：云環(huán)境；虛擬網(wǎng)絡(luò)安全；智能監(jiān)控分析；電力行業(yè)；運維

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2017）22-0056-03

1背景

電力信息通信網(wǎng)作為電力系統(tǒng)的專用網(wǎng)絡(luò)，為電力系統(tǒng)的生產(chǎn)安全、穩(wěn)定運行提供了重要保障。電力系統(tǒng)中物理空間對信息空間的高度依賴性，也使網(wǎng)絡(luò)安全的可靠性決定電力系統(tǒng)的安全性。在電力系統(tǒng)中，風(fēng)險的傳播方式具有明顯的耦合性，即信息系統(tǒng)受到的故障破壞、網(wǎng)絡(luò)攻擊會通過各子系統(tǒng)影響到大量的量測、控制終端設(shè)備的監(jiān)測能力，從而會進(jìn)一步影響到電力系統(tǒng)物理空間設(shè)備的正常運行。

隨著國網(wǎng)的不斷發(fā)展，業(yè)務(wù)越來越繁多，業(yè)務(wù)之間的關(guān)聯(lián)越來越復(fù)雜，而不同的業(yè)務(wù)對于底層基礎(chǔ)網(wǎng)絡(luò)的需求也不盡相同，有的業(yè)務(wù)對于時延非常敏感，要求底層基礎(chǔ)網(wǎng)絡(luò)可以保證低延時；而有的業(yè)務(wù)對于帶寬需求很大，要求底層基礎(chǔ)網(wǎng)絡(luò)可以提供無阻塞的高帶寬快速轉(zhuǎn)發(fā)。在這樣的情況下，傳統(tǒng)的業(yè)務(wù)和網(wǎng)絡(luò)緊密耦合的情況將越來越難滿足現(xiàn)今多業(yè)務(wù)發(fā)展的情況，而為每一種需求的業(yè)務(wù)獨立建設(shè)一張底層物理網(wǎng)絡(luò)，不僅成本高昂，而且規(guī)模和管理都變得不可控。所以業(yè)務(wù)和底層網(wǎng)絡(luò)解耦變得越來越重要，而虛擬網(wǎng)絡(luò)通過在同一張底層物理網(wǎng)絡(luò)基礎(chǔ)上overlay不同的網(wǎng)絡(luò)來滿足不同的業(yè)務(wù)，很好地解決了這個矛盾。同時虛擬化帶來了降低成本，業(yè)務(wù)部署靈活，支持業(yè)務(wù)平滑遷移，網(wǎng)絡(luò)彈性伸縮等優(yōu)點。但是因為虛擬網(wǎng)絡(luò)無論從網(wǎng)絡(luò)架構(gòu)、網(wǎng)絡(luò)設(shè)備以及流量轉(zhuǎn)發(fā)等方面都與傳統(tǒng)物理網(wǎng)絡(luò)截然不同，因此對于傳統(tǒng)網(wǎng)絡(luò)運維管理來說是一個巨大挑戰(zhàn)，具體體現(xiàn)在如下三個方面：

1）傳統(tǒng)網(wǎng)絡(luò)下，網(wǎng)絡(luò)流量通過網(wǎng)絡(luò)硬件設(shè)備如路由器、交換機(jī)等進(jìn)行轉(zhuǎn)發(fā)，而傳統(tǒng)網(wǎng)絡(luò)管理工具通過網(wǎng)管協(xié)議等與網(wǎng)絡(luò)硬件設(shè)備交互，從而可以獲取清晰的網(wǎng)絡(luò)信息，從而對傳統(tǒng)網(wǎng)絡(luò)實現(xiàn)拓?fù)渥詣映尸F(xiàn)，流量追蹤，故障定位等。但是在虛擬網(wǎng)絡(luò)中，網(wǎng)絡(luò)流量通過虛擬主機(jī)及虛擬交換機(jī)進(jìn)行轉(zhuǎn)發(fā)，傳統(tǒng)網(wǎng)管協(xié)議不再有效，流量甚至不經(jīng)過物理網(wǎng)絡(luò)設(shè)備。因此虛擬網(wǎng)絡(luò)對于傳統(tǒng)網(wǎng)絡(luò)管理工具而言完全不可見，傳統(tǒng)網(wǎng)絡(luò)管理工具對于虛擬網(wǎng)絡(luò)中的故障、流量、性能等無能為力。

2）傳統(tǒng)網(wǎng)絡(luò)邊界分明，通常內(nèi)部邊界終止于TOR交換機(jī)，而外部邊界終止于邊界路由器或邊界防火墻，可以用非常分明的界限畫出傳統(tǒng)網(wǎng)絡(luò)的邊界范圍。而傳統(tǒng)的網(wǎng)絡(luò)管理工具也依據(jù)此進(jìn)行開發(fā)和發(fā)展。但是在虛擬網(wǎng)絡(luò)環(huán)境下，網(wǎng)絡(luò)邊界不再明晰甚至不存在一個明確的網(wǎng)絡(luò)邊界，對內(nèi)，網(wǎng)絡(luò)邊界不在止步于TOR交換機(jī)，而是向下延伸至服務(wù)器內(nèi)部，尤其對于同宿主機(jī)間不同虛機(jī)間流量，往往通過虛擬交換機(jī)就進(jìn)行了轉(zhuǎn)發(fā)，而不經(jīng)過任何物理網(wǎng)絡(luò)設(shè)備；而對外，因為NFV在網(wǎng)絡(luò)中的應(yīng)用，邊界也不再終止于明確的物理網(wǎng)絡(luò)設(shè)備，而是延伸至提供NFV功能的相關(guān)服務(wù)器中。加上Service Chain技術(shù)在虛擬化網(wǎng)絡(luò)中的應(yīng)用，流量往往在服務(wù)器內(nèi)部進(jìn)行了相應(yīng)的轉(zhuǎn)發(fā)，而不再經(jīng)過物理網(wǎng)絡(luò)設(shè)備。因此傳統(tǒng)的網(wǎng)絡(luò)管理工具在這種環(huán)境下不再有效，不再能探知明確的網(wǎng)絡(luò)邊界，對于虛擬網(wǎng)絡(luò)內(nèi)發(fā)生的一切都不可知。

3）傳統(tǒng)網(wǎng)絡(luò)中，業(yè)務(wù)部署于硬件服務(wù)器上，而硬件服務(wù)器的位置相對固定，很少改變。而隨著業(yè)務(wù)的不斷發(fā)展擴(kuò)大，企業(yè)對于業(yè)務(wù)的高可用性及靈活部署的需求越來越高，傳統(tǒng)網(wǎng)絡(luò)的這種特點很難滿足企業(yè)的新的需求。而虛擬網(wǎng)絡(luò)環(huán)境中，業(yè)務(wù)部署于虛機(jī)上，通過虛擬網(wǎng)絡(luò)或大二層技術(shù)實現(xiàn)數(shù)據(jù)中心內(nèi)的二層聯(lián)通，甚至跨數(shù)據(jù)中心的二層聯(lián)通，基于此同時滿足了業(yè)務(wù)的高可用性（雙活或多活）以及業(yè)務(wù)的靈活遷移。而傳統(tǒng)網(wǎng)絡(luò)管理工具是為傳統(tǒng)網(wǎng)絡(luò)運維管理而開發(fā)，因此并沒有考慮到這種業(yè)務(wù)平滑遷移的情況，因此傳統(tǒng)網(wǎng)絡(luò)管理工具無法感知業(yè)務(wù)的平滑遷移，因此在這種環(huán)境下，傳統(tǒng)網(wǎng)絡(luò)管理工具再次失效。

針對國網(wǎng)網(wǎng)絡(luò)監(jiān)管現(xiàn)狀，研究設(shè)計虛擬網(wǎng)絡(luò)智能監(jiān)控分析系統(tǒng)，系統(tǒng)基于SDN軟件定義網(wǎng)絡(luò)技術(shù)，原生支持云內(nèi)Vxlan+Oveday架構(gòu)的虛擬網(wǎng)絡(luò)，理解云內(nèi)虛擬網(wǎng)絡(luò)和資源映射關(guān)系，采用虛擬探針獲取虛擬網(wǎng)絡(luò)東西向流量，并通過大數(shù)據(jù)分析技術(shù)為用戶提供高性能的資源池虛擬網(wǎng)絡(luò)可視化和分析能力，同時也能提供基于TCP會話的Session級取證能力和NPB網(wǎng)包分發(fā)功能等增值應(yīng)用，可以滿足虛擬網(wǎng)絡(luò)日常運維、分析、取證、免責(zé)等需求，解決國網(wǎng)虛擬網(wǎng)絡(luò)流量無法監(jiān)控的問題。

2國內(nèi)外研究比較

虛擬網(wǎng)絡(luò)技術(shù)研究雖然早就已經(jīng)出現(xiàn)，但是直到近些年才逐步普及并且高速發(fā)展，因此對于虛擬網(wǎng)絡(luò)的管理和分析就相對滯后。目前國內(nèi)對于虛擬網(wǎng)絡(luò)的流量監(jiān)控依然是一個空白領(lǐng)域，缺乏行之有效的手段；而國際上在近年出現(xiàn)了一些對于虛擬網(wǎng)絡(luò)流量監(jiān)控的成熟方案和產(chǎn)品，主要掌握在網(wǎng)絡(luò)和虛擬化的傳統(tǒng)廠商手中。這其中以VMWare、Cisco和Gigamon為主，均推出了虛擬網(wǎng)絡(luò)流量監(jiān)控的解決方案和相關(guān)產(chǎn)品，并已有商用案例。但是因為國內(nèi)外情況不同，加上以上廠商大多屬于傳統(tǒng)的網(wǎng)絡(luò)大廠，其更核心的利潤來源于已經(jīng)成熟的虛擬軟件或網(wǎng)絡(luò)硬件設(shè)備，因此這些方案各有缺陷。經(jīng)過細(xì)致的調(diào)查研究，對于這三家主流的虛擬網(wǎng)絡(luò)流量監(jiān)控的方案有了深入的了解和細(xì)致的分析。VMWare的方案主要針對VMWare的虛擬機(jī)的狀態(tài)監(jiān)控，如虛機(jī)的狀態(tài)，資源占用情況，虛機(jī)的出流量及人流量統(tǒng)計等。但是對于流量的組成、應(yīng)用及流量間的關(guān)聯(lián)關(guān)系等沒有任何的監(jiān)控和分析；Cisco在2016年7月推出其數(shù)據(jù)中心網(wǎng)絡(luò)監(jiān)控平臺Tetration可以實現(xiàn)對于數(shù)據(jù)中心虛擬網(wǎng)絡(luò)的流量監(jiān)控，其功能全面，但是因為Cisco本身是業(yè)界知名的網(wǎng)絡(luò)設(shè)備硬件廠商，而其利潤主要來源于硬件，因此Cisco的Tetra-tion也有其應(yīng)用局限性，只能用于采用了Cisco Nexus9000系列交換機(jī)的網(wǎng)絡(luò)中，對于采用其他廠商設(shè)備甚至Cisco其他系列設(shè)備的網(wǎng)絡(luò)則無能為力；而Gigamon的方案則完全聚焦于虛擬網(wǎng)絡(luò)的流量采集，對于采集后的數(shù)據(jù)則沒有任何的分析功能，需要配合第三方數(shù)據(jù)分析工具協(xié)同工作。endprint

3系統(tǒng)體系架構(gòu)研究

目前業(yè)界對于虛擬網(wǎng)絡(luò)的監(jiān)控分析主要思路分為數(shù)據(jù)采集、數(shù)據(jù)分析和分析結(jié)果的可視化呈現(xiàn)三個步驟。而這其中最主要的思路和方式的區(qū)別在數(shù)據(jù)采集部分，因為虛擬網(wǎng)絡(luò)不同于傳統(tǒng)物理網(wǎng)絡(luò)，無法采取通過網(wǎng)絡(luò)管理協(xié)議與網(wǎng)絡(luò)設(shè)備進(jìn)行交互的方式獲得相關(guān)數(shù)據(jù)信息，因此只能從數(shù)據(jù)本身人手。

目前對于虛擬網(wǎng)絡(luò)的數(shù)據(jù)采集主要分為兩類，其中一類是通過在業(yè)務(wù)虛機(jī)上安裝插件或代理，將數(shù)據(jù)直接導(dǎo)出或經(jīng)過簡單處理后導(dǎo)出；另一類是通過在同宿主機(jī)上啟用獨立虛機(jī)，通過虛擬交換機(jī)將業(yè)務(wù)虛機(jī)流量鏡像至該獨立虛機(jī)，再通過該獨立虛機(jī)上的相應(yīng)軟件將數(shù)據(jù)進(jìn)行處理后導(dǎo)出。第一種方式不需要對虛擬交換機(jī)進(jìn)行任何改動或操作，但是存在很大的安全隱患，若在業(yè)務(wù)虛機(jī)上安裝的插件或代理本身有bug或有后門漏洞，則很容易被利用或因bug而導(dǎo)致該虛機(jī)崩潰，從而造成業(yè)務(wù)數(shù)據(jù)泄露或嚴(yán)重影響業(yè)務(wù)運行。而第二種方式雖然需要在虛擬交換機(jī)上進(jìn)行簡單配置，將業(yè)務(wù)流量鏡像至采集虛機(jī)，但是因為采用了獨立虛機(jī)進(jìn)行數(shù)據(jù)采集，因此無論采集軟件自身有bug或有后門漏洞，對于業(yè)務(wù)都不會有任何影響，且不會造成業(yè)務(wù)數(shù)據(jù)的泄露。因此，此次基于云環(huán)境下的虛擬網(wǎng)絡(luò)智能監(jiān)控分析系統(tǒng)方案中，數(shù)據(jù)采集部分采用第二種獨立虛機(jī)方案。

數(shù)據(jù)采集后需要將采集的數(shù)據(jù)通過生產(chǎn)網(wǎng)絡(luò)或管理網(wǎng)導(dǎo)出至分析節(jié)點進(jìn)行分析。數(shù)據(jù)的導(dǎo)出業(yè)界目前主要也有兩種方案。第一種數(shù)據(jù)采集后不進(jìn)行任何處理，直接將數(shù)據(jù)全包導(dǎo)出至分析節(jié)點進(jìn)行處理和分析；第二種數(shù)據(jù)采集后直接在采集器上進(jìn)行相應(yīng)的處理，然后將處理后的數(shù)據(jù)導(dǎo)出至分析節(jié)點進(jìn)行分析。第一種看似雖然減輕了采集器的負(fù)擔(dān)，但是將數(shù)據(jù)全包導(dǎo)出，若數(shù)據(jù)流量較大，尤其對于中大型數(shù)據(jù)中心而言，因為導(dǎo)出的數(shù)據(jù)需要通過生產(chǎn)網(wǎng)絡(luò)或管理網(wǎng)絡(luò)導(dǎo)出，那么勢必將嚴(yán)重影響生產(chǎn)網(wǎng)絡(luò)或管理網(wǎng)絡(luò)的正常運行，將直接導(dǎo)致正常業(yè)務(wù)訪問延遲或管理流量延遲。而第二種方案在不過多增加采集器負(fù)擔(dān)的情況下，通過采集器將數(shù)據(jù)處理后再導(dǎo)出，大大降低了對于生產(chǎn)網(wǎng)絡(luò)或管理網(wǎng)絡(luò)的負(fù)擔(dān)，不會對于正常業(yè)務(wù)或管理流量產(chǎn)生過多影響。因此，此次基于云環(huán)境下的虛擬網(wǎng)絡(luò)智能監(jiān)控分析系統(tǒng)方案中，數(shù)據(jù)導(dǎo)出部分采用第二種先處理后導(dǎo)出的方案。

3.1系統(tǒng)主要架構(gòu)

虛擬網(wǎng)絡(luò)智能監(jiān)控分析系統(tǒng)解決方案主要包含控制器、采集器和分析器三個組件，整體分為數(shù)據(jù)采集、數(shù)據(jù)分析和數(shù)據(jù)可視化呈現(xiàn)三個部分。主要架構(gòu)示意如下圖：主要核心組件示意圖如下：

3.2系統(tǒng)技術(shù)原理

3.2.1數(shù)據(jù)采集

物理網(wǎng)絡(luò)通過在物理交換機(jī)上做鏡像，或在鏈路上做分光方式將物理網(wǎng)絡(luò)的數(shù)據(jù)導(dǎo)出至分析節(jié)點進(jìn)行數(shù)據(jù)分析；虛擬網(wǎng)絡(luò)通過在Hypervisor上創(chuàng)建獨立虛機(jī)安裝采集器，在虛擬交換機(jī)上通過鏡像將業(yè)務(wù)虛機(jī)流量鏡像至采集器虛機(jī)，采集器處理后將處理后的流導(dǎo)出至分析節(jié)點進(jìn)行分析；通過以上的方式實現(xiàn)全網(wǎng)全量的數(shù)據(jù)采集能力。

3.2.2數(shù)據(jù)分析

處理后的流經(jīng)過交換機(jī)匯總轉(zhuǎn)發(fā)至分析集群，在分析集群中通過大數(shù)據(jù)分析技術(shù)，對網(wǎng)絡(luò)行為進(jìn)行自動識別、自動關(guān)聯(lián)、自動判斷、自動結(jié)論，從而實現(xiàn)智能運維。并根據(jù)業(yè)務(wù)模式，通過大數(shù)據(jù)技術(shù)對業(yè)務(wù)行為進(jìn)行預(yù)測，對業(yè)務(wù)對未來網(wǎng)絡(luò)的需求進(jìn)行預(yù)判，從而為網(wǎng)絡(luò)運營、規(guī)劃設(shè)計、建設(shè)等提供可靠依據(jù)。

3.2.3數(shù)據(jù)可視化呈現(xiàn)

分析后的數(shù)據(jù)送人控制器節(jié)點，通過GUI將各類數(shù)據(jù)進(jìn)行豐富的可視化呈現(xiàn)。

虛擬網(wǎng)絡(luò)智能監(jiān)控分析系統(tǒng)實現(xiàn)方式示意如下圖：

3.3系統(tǒng)核心技術(shù)

虛擬網(wǎng)絡(luò)智能監(jiān)控分析系統(tǒng)方案中涉及四大核心技術(shù)：非侵入式數(shù)據(jù)采集技術(shù)、流量數(shù)據(jù)自動預(yù)處理技術(shù)、按需流量分發(fā)技術(shù)、智能數(shù)據(jù)分析技術(shù)。

3.3.1非侵入式數(shù)據(jù)采集技術(shù)

對云數(shù)據(jù)中心流量進(jìn)行全網(wǎng)采集，需要在業(yè)務(wù)網(wǎng)絡(luò)中部署盡量多的采集點。傳統(tǒng)的三層網(wǎng)絡(luò)架構(gòu)和Spine-leaf的Fabric架構(gòu)是目前云數(shù)據(jù)中心采用的主要網(wǎng)絡(luò)架構(gòu)，二者在互聯(lián)方式和可擴(kuò)展性上有很大的不同，但從流量采集角度看，主要區(qū)別在于外部出口（運營商、DCI等）位置。考慮到不對生產(chǎn)網(wǎng)絡(luò)產(chǎn)生影響，采用非侵入式數(shù)據(jù)采集，不改變現(xiàn)有生產(chǎn)網(wǎng)絡(luò)結(jié)構(gòu)。通過創(chuàng)建獨立虛機(jī)，并在之上部署采集器方式對虛擬網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)采集。采集到的流量通過流量分發(fā)交換機(jī)，以基于“源IP+目的IP哈?！钡呢?fù)載均衡算法，分發(fā)到后端分析節(jié)點進(jìn)入數(shù)據(jù)分析集群處理流程。

3.3.2流量數(shù)據(jù)自動預(yù)處理技術(shù)

為不過多占用生產(chǎn)網(wǎng)帶寬資源，采用在采集器上先對數(shù)據(jù)進(jìn)行處理，處理后的數(shù)據(jù)遠(yuǎn)遠(yuǎn)小于原始數(shù)據(jù)，對處理后的數(shù)據(jù)重新封裝為流再導(dǎo)出至分析節(jié)點進(jìn)行分析。

3.3.3按需流量分發(fā)技術(shù)

為對已有分析工具包括傳統(tǒng)網(wǎng)絡(luò)流量分析管理工具進(jìn)行投資保護(hù)，及為與后續(xù)未來部署的其他分析工具諸如大數(shù)據(jù)分析平臺等兼容對接，將采集到的流量通過策略靈活導(dǎo)出到不同的數(shù)據(jù)分析平臺。將物理服務(wù)器的網(wǎng)卡數(shù)據(jù)包自動分發(fā)到相應(yīng)虛擬服務(wù)器，將物理網(wǎng)絡(luò)和虛擬網(wǎng)絡(luò)的數(shù)據(jù)包采集匯總后，通過自定義策略自動分發(fā)至對應(yīng)的數(shù)據(jù)分析工具。虛擬網(wǎng)絡(luò)智能監(jiān)控分析系統(tǒng)具備網(wǎng)包分發(fā)（NPB Network Packet Broker）功能，通過將符合過濾策略的流量按需鏡像到第三方分析工具（如DPI、APM等設(shè)備）進(jìn)行特定分析。

3.3.4智能數(shù)據(jù)分析技術(shù)

基于SDN軟件定義網(wǎng)絡(luò)架構(gòu)，采用DF-DFI深度流監(jiān)測技術(shù)和大數(shù)據(jù)分析架構(gòu)對網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行處理分析，數(shù)據(jù)處理過程包含：數(shù)據(jù)預(yù)處理、實時分析、數(shù)據(jù)存儲、離線分析等主要步驟及相關(guān)技術(shù)。根據(jù)業(yè)務(wù)模式建立流量模型，通過大數(shù)據(jù)技術(shù)和機(jī)器學(xué)習(xí)算法，對網(wǎng)絡(luò)流量進(jìn)行行為識別、行為判斷和行為預(yù)測，實現(xiàn)虛擬網(wǎng)絡(luò)故障智能診斷。

4結(jié)束語

虛擬網(wǎng)絡(luò)智能監(jiān)控分析系統(tǒng)可以實現(xiàn)在不影響業(yè)務(wù)的前提下對虛擬網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行采集，并通過大數(shù)據(jù)分析技術(shù)對流量進(jìn)行分析，可視化呈現(xiàn)出虛擬網(wǎng)絡(luò)拓?fù)?、虛擬網(wǎng)絡(luò)性能以及虛擬網(wǎng)絡(luò)狀態(tài)，可以對虛擬網(wǎng)絡(luò)故障實現(xiàn)快速發(fā)現(xiàn)、快速定位、快速解決。該系統(tǒng)同時具備歷史回溯功能，可以對網(wǎng)絡(luò)事件前后的虛擬網(wǎng)絡(luò)狀態(tài)進(jìn)行分析，了解事件狀況?？梢杂行椭W(wǎng)絡(luò)運維人員對虛擬網(wǎng)絡(luò)進(jìn)行運維管理，使虛擬網(wǎng)絡(luò)不再成為網(wǎng)絡(luò)運維的黑盒子。endprint