DeepFlow混合云全網(wǎng)監(jiān)控流量采集與分發(fā)方案

■ 北京云杉世紀(jì)網(wǎng)絡(luò)有限公司 來(lái)源

在混合云環(huán)境，企業(yè)的業(yè)務(wù)運(yùn)行在邏輯網(wǎng)絡(luò)中，同樣面臨網(wǎng)絡(luò)性能分析、網(wǎng)絡(luò)問(wèn)題定位及排障、網(wǎng)絡(luò)安全管理、合規(guī)審計(jì)、網(wǎng)絡(luò)擴(kuò)展等問(wèn)題。在解決以上問(wèn)題時(shí)，有能力獲取完整的網(wǎng)絡(luò)流量，是一個(gè)前提。

為什么混合云需要全網(wǎng)流量

網(wǎng)絡(luò)的保障涉及到配置、日志及現(xiàn)網(wǎng)流量或流數(shù)據(jù)等元素。在混合云環(huán)境中獲取并管理好現(xiàn)網(wǎng)監(jiān)控流量并不是一件輕松的事情。在云環(huán)境下，選擇網(wǎng)絡(luò)流量采集方案需要考慮流量獲取的方式、環(huán)境中的流量模型、規(guī)模及可管理性、對(duì)現(xiàn)網(wǎng)環(huán)境的影響、平臺(tái)開(kāi)放性。

1.流量獲取的方式

在云環(huán)境中，影響獲取虛擬交換機(jī)流量的因素首先是對(duì)現(xiàn)有生產(chǎn)環(huán)境的侵入性，其次是性能。目前獲取虛擬交換機(jī)流量的技術(shù)方案有以下幾種，企業(yè)可根據(jù)自身IT環(huán)境的實(shí)際情況進(jìn)行選擇：

（1）在虛擬機(jī)或工作負(fù)載（Workload）中安裝采集探針，從操作系統(tǒng)層抓取流量信息。此方案探針部署規(guī)模大，且需要獲取虛擬機(jī)根（Root）權(quán)限。

（2）通過(guò)在虛擬交換機(jī)（OVS：Open vSwitch、VDS：vSphere Distributed Switch、VSS：Virtual Stand ard Switch）上配置鏡像或廣播策略，將所需流量引出。該方案需要對(duì)生產(chǎn)平面的虛擬交換機(jī)進(jìn)行配置。

（3）在宿主機(jī)Hyperviso r（如Openstack Hyperviso r）上安裝采集探針，以用戶態(tài)進(jìn)程形式獨(dú)立獲取虛擬交換機(jī)上的流量。該方案無(wú)需對(duì)生產(chǎn)平面的虛擬交換機(jī)進(jìn)行配置。

2.環(huán)境中的流量模型

規(guī)劃網(wǎng)絡(luò)流量采集方案時(shí)，現(xiàn)網(wǎng)中的流量模型、主要業(yè)務(wù)的流量特征是方案選擇的重要依據(jù)，基礎(chǔ)特征包括IP分配、流量、包長(zhǎng)、協(xié)議、端口、TCP、HTTP信息等，同時(shí)也需要考慮組合特征，尤其是可能出現(xiàn)的滲透、異常等因素。

3.規(guī)模及可管理性

混合云環(huán)境中，網(wǎng)絡(luò)規(guī)模宏大且資源池類型繁多，虛擬交換機(jī)采集點(diǎn)數(shù)量相比傳統(tǒng)監(jiān)控規(guī)模有幾個(gè)數(shù)量級(jí)的增長(zhǎng)。此外，虛擬化及容器資源池動(dòng)態(tài)性很強(qiáng)，流量采集和分發(fā)策略也要隨著資源變化進(jìn)行實(shí)時(shí)跟隨或釋放。

在構(gòu)建整體采集方案時(shí)，企業(yè)應(yīng)考慮IT資源的多樣性，采集平臺(tái)應(yīng)分階段進(jìn)行建設(shè)，尤其要注意確保方案具備擴(kuò)展和統(tǒng)一管理能力。

4.對(duì)現(xiàn)網(wǎng)環(huán)境的影響

單一的生產(chǎn)環(huán)境在企業(yè)中并不多見(jiàn)。在進(jìn)行流量采集部署時(shí)，需滿足平滑部署且保證業(yè)務(wù)不間斷，同時(shí)確保對(duì)計(jì)算資源和網(wǎng)絡(luò)帶寬的消耗限制。此外，流量采集系統(tǒng)的部署要兼容傳統(tǒng)監(jiān)控方案或支持其無(wú)縫切換，并可對(duì)接企業(yè)的分析工具。

5.平臺(tái)開(kāi)放性

采集平臺(tái)本身應(yīng)具備開(kāi)放性，避免采集端與消費(fèi)端綁定，導(dǎo)致在現(xiàn)網(wǎng)中不斷部署垂直豎井式的流量采集系統(tǒng)，對(duì)于流量數(shù)據(jù)應(yīng)具備一次采集，可按需多處進(jìn)行分析消費(fèi)的能力。此外，還考慮具備數(shù)據(jù)開(kāi)放性，針對(duì)原始流量數(shù)據(jù)進(jìn)行處理，得到流日志、統(tǒng)計(jì)、特征等數(shù)據(jù)，有能力提供高性能存儲(chǔ)寫入、檢索查詢、API輸出等數(shù)據(jù)服務(wù)。

全網(wǎng)流量采集與分發(fā)方案

目前多數(shù)大型企業(yè)都存在多數(shù)據(jù)中心、混合云架構(gòu)的IT資源，從網(wǎng)絡(luò)的角度看如下圖所示。自有的數(shù)據(jù)中心劃分為不同業(yè)務(wù)區(qū)并通過(guò)專有網(wǎng)絡(luò)互聯(lián)，且可能存在多個(gè)分支機(jī)構(gòu)。為保障資源彈性，企業(yè)不同程度地使用公有云資源和選擇多個(gè)云服務(wù)商。企業(yè)從運(yùn)維排障、運(yùn)營(yíng)管理、業(yè)務(wù)監(jiān)控等方面都需要對(duì)網(wǎng)絡(luò)有全面清晰的畫(huà)像，如圖1所示。

本方案的目標(biāo)是為企業(yè)混合云IT建立統(tǒng)一高效的網(wǎng)絡(luò)流量采集和處理平臺(tái)。針對(duì)異構(gòu)資源池實(shí)現(xiàn)統(tǒng)一的流量采集抽象層，可對(duì)流量實(shí)現(xiàn)過(guò)濾、去重、壓縮、截短等處理，支持IPv4、IPv6協(xié)議，能為網(wǎng)絡(luò)運(yùn)營(yíng)中心（NOC：Network Operation Center）、安全運(yùn)營(yíng)中心（SOC：Security Operation Center）、大數(shù)據(jù)分析平臺(tái)等不同的流量消費(fèi)端提供數(shù)據(jù)供給服務(wù)。

在混合云環(huán)境中，方案的挑戰(zhàn)在于資源池內(nèi)的網(wǎng)絡(luò)邊界——各類虛機(jī)交換機(jī)數(shù)量多、波動(dòng)大、技術(shù)新。實(shí)現(xiàn)全網(wǎng)流量采集及處理，可以從業(yè)務(wù)或者網(wǎng)絡(luò)區(qū)域以及資源池來(lái)規(guī)劃，本文基于DeepFlow?設(shè)計(jì)，分別從數(shù)據(jù)中心側(cè)、公有云側(cè)及整體控制管理側(cè)詳細(xì)闡述。

1.數(shù)據(jù)中心側(cè)

按網(wǎng)絡(luò)功能將數(shù)據(jù)中心按區(qū)域（Region）來(lái)定義，區(qū)域內(nèi)可包含多個(gè)可用區(qū)（AZ：Available Zone），區(qū)域內(nèi)的網(wǎng)絡(luò)流量包含可用區(qū)內(nèi)的物理網(wǎng)絡(luò)和資源池內(nèi)的虛擬網(wǎng)絡(luò)數(shù)據(jù)流量。

（1）物理網(wǎng)絡(luò)流量采集

在物理網(wǎng)絡(luò)涉及的范圍，除可用區(qū)內(nèi)部網(wǎng)絡(luò)外，還包括各類鏈路；流量采集可通過(guò)傳統(tǒng)監(jiān)控方式如分光、鏡像等獲取。在物理網(wǎng)絡(luò)中，采集點(diǎn)主要有互聯(lián)網(wǎng)業(yè)務(wù)區(qū)中的ISP線路、外聯(lián)區(qū)域的專線線路、各區(qū)出口線路以及防火墻、負(fù)載均衡設(shè)備前后線路；通常由設(shè)備廠商的監(jiān)控方案實(shí)現(xiàn)，DeepFlow?采集器通過(guò)對(duì)接設(shè)備廠商方案的標(biāo)準(zhǔn)數(shù)據(jù)輸出實(shí)現(xiàn)物理網(wǎng)絡(luò)流量的采集。

圖1 多數(shù)據(jù)中心的混合云架構(gòu)拓?fù)浣Y(jié)構(gòu)

（2）資源池內(nèi)網(wǎng)絡(luò)流量采集

各類型號(hào)的DeepFlow?采集器為全網(wǎng)流量采集方案提供數(shù)據(jù)包捕獲能力；按部署方式分為VMware ESXi采集器、KVM采集器、KVM-DPDK采集器、HyperV采集器、容器OnVM采集器、容器OnHost采集器。對(duì)于裸金屬設(shè)備資源池，可將網(wǎng)絡(luò)設(shè)備的端口鏡像至專屬采集服務(wù)器完成對(duì)數(shù)據(jù)包的處理；亦可將采集器安裝在每一臺(tái)需要采集的裸金屬設(shè)備系統(tǒng)上。

（3）DPDK環(huán)境下的支持

在采用了DPDK (Data Plane Development Kit)的運(yùn)營(yíng)商CT（Communications Technology）網(wǎng)和企業(yè)網(wǎng)環(huán)境中，可采用DeepFlow?KVM-DPDK采集器進(jìn)行資源池內(nèi)流量采集。

（4）多區(qū)域支持

多數(shù)考慮統(tǒng)一監(jiān)控流量采集平臺(tái)的企業(yè)，IT資源都存在于多個(gè)數(shù)據(jù)中心，而且存在眾多分支機(jī)構(gòu)。各地?cái)?shù)據(jù)中心區(qū)域、各類資源池，網(wǎng)絡(luò)流量采集需求都由相應(yīng)型號(hào)的采集器完成。

2.公有云側(cè)

公有云為租戶提供VPC網(wǎng)絡(luò)，Workload采集器以用戶態(tài)的軟件形式部署在虛擬機(jī)、容器、裸金屬設(shè)備等Workload上，支持Linux、Windows等主流操作系統(tǒng)，實(shí)現(xiàn)VPC內(nèi)各類資源的網(wǎng)絡(luò)流量采集。由于部署安裝在Workload操作系統(tǒng)上，采集器數(shù)量多，可以通過(guò)鏡像進(jìn)行預(yù)裝。

3.控制管理側(cè)

由于采集器數(shù)量大、策略多，波動(dòng)強(qiáng)，需從控制面的設(shè)計(jì)入手，解決大規(guī)模及可管理性的問(wèn)題。在多點(diǎn)的部署環(huán)境中，首先指定主區(qū)域（Region），主控制器存在于主區(qū)域中，當(dāng)啟動(dòng)主控制器高可用功能，主區(qū)域內(nèi)應(yīng)部署多臺(tái)控制器，通過(guò)心跳保證控制器間的狀態(tài)同步，及時(shí)啟動(dòng)主、備控制器選舉。選舉產(chǎn)生主控制器后，為整體流量管理平臺(tái)提供控制入口。除主區(qū)域外的其他區(qū)域控制器為從控制器，不參與主控制器選舉。

在云環(huán)境、容器環(huán)境中，控制器通過(guò)對(duì)接虛擬化資源池、配置管理數(shù)據(jù)庫(kù)（CMDB：Configuration Management Data Base）、公有云開(kāi)放API等，可實(shí)現(xiàn)多粒度下發(fā)采集、分發(fā)策略，更靈活、更貼近業(yè)務(wù)應(yīng)用。

各類型的采集器可能處于自檢、運(yùn)行、停止、異常、保護(hù)等幾種狀中，其中保護(hù)狀態(tài)，是確保采集器工作時(shí)，平臺(tái)能對(duì)其使用CPU、內(nèi)存資源使用上限的限定。當(dāng)采集器壓力過(guò)大時(shí)，采集器狀態(tài)將由“運(yùn)行”切換至“保護(hù)”狀態(tài)，以確保不對(duì)生產(chǎn)環(huán)境產(chǎn)生影響，直至重新調(diào)整資源配置或處理壓力下降，切回至“運(yùn)行”狀態(tài)。

單一DeepFlow?控制器可管理2000個(gè)采集器，通常能夠滿足一個(gè)可用區(qū)；控制器最大支持50臺(tái)的規(guī)模，方案整體可滿足10萬(wàn)臺(tái)采集器統(tǒng)一管理，足以應(yīng)對(duì)大型企業(yè)私有IT、公有云、容器等網(wǎng)絡(luò)流量采集需求。

基于分布式的監(jiān)控流量處理

不同于集中式后處理的方案，DeepFlow?采集器具備專利算法的前置計(jì)算能力可在采集點(diǎn)對(duì)流量進(jìn)行直接處理。眾多采集器和控制器共同構(gòu)建成一個(gè)與云網(wǎng)規(guī)模一致的分布式流量處理系統(tǒng)，大幅減少了分發(fā)數(shù)據(jù)對(duì)監(jiān)控網(wǎng)絡(luò)和后端分析工具的壓力。

1.流量預(yù)處理

流量采集過(guò)程中的過(guò)濾策略支持更豐富的維度，除了五元組還包括業(yè)務(wù)、主機(jī)、服務(wù)、POD等條件。此外DeepFlow? 采集器還具備去重、截短、流日志、壓縮、標(biāo)記等能力，以最小資源消耗實(shí)現(xiàn)流量全局的精準(zhǔn)采集。

2.包分發(fā)

包分發(fā)功能通過(guò)三層隧道實(shí)現(xiàn)，控制器統(tǒng)一下發(fā)分發(fā)策略后由采集器端直接進(jìn)行數(shù)據(jù)包封裝和發(fā)送，支持單一數(shù)據(jù)包多目的端發(fā)送。同時(shí)針對(duì)分發(fā)目的端是否具備解封裝能力可靈活定制隧道卸載方案。

在混合云數(shù)據(jù)包分發(fā)方案中，需要考慮分發(fā)的網(wǎng)絡(luò)平面，如果分發(fā)流量較大，建議預(yù)留獨(dú)立的網(wǎng)絡(luò)監(jiān)控平面；如果僅針對(duì)少量核心業(yè)務(wù)，可復(fù)用已有的物理網(wǎng)絡(luò)。在混合云環(huán)境中，資源池?cái)?shù)量多、種類不同，應(yīng)以分布式部署避免單點(diǎn)瓶頸，并適配邏輯網(wǎng)絡(luò)跨多資源池場(chǎng)景。

3.數(shù)據(jù)服務(wù)

在每個(gè)區(qū)域、可用區(qū)都可配置高性能時(shí)序數(shù)據(jù)庫(kù)，通常在分支機(jī)構(gòu)環(huán)境下，不需要部署時(shí)序數(shù)據(jù)庫(kù)，其數(shù)據(jù)通過(guò)壓縮后寫入納管區(qū)域內(nèi)的數(shù)據(jù)庫(kù)。對(duì)于非原始數(shù)據(jù)包的數(shù)據(jù)消費(fèi)需求，平臺(tái)提供開(kāi)放的數(shù)據(jù)訂閱服務(wù)，用戶可通過(guò)API、消息隊(duì)列調(diào)用。數(shù)據(jù)訂閱可通過(guò)ZeroMQ等消息隊(duì)列提供，由數(shù)據(jù)需求平臺(tái)向數(shù)據(jù)庫(kù)發(fā)起消息隊(duì)列請(qǐng)求后，就可執(zhí)行訂閱服務(wù)。

部署

整體方案主要涉及采集器、控制器、高性能時(shí)序數(shù)據(jù)庫(kù)三部分，在完成規(guī)劃整體方案后，可分區(qū)域、分資源池按階段投入建設(shè)，最終為企業(yè)混合云環(huán)境構(gòu)建統(tǒng)一的流量監(jiān)控管理平臺(tái)。

1.第一步：解決虛擬網(wǎng)絡(luò)環(huán)境流量“黑盒”不可見(jiàn)的問(wèn)題，滿足對(duì)虛擬網(wǎng)絡(luò)流量合規(guī)審計(jì)的要求；采集流量對(duì)接已存在的監(jiān)控分析工具，閉合私有云、容器環(huán)境中的運(yùn)維、業(yè)務(wù)分析工具鏈。

2.第二步：納入更多資源池，與新建擴(kuò)容的資源池同步部署，接入物理網(wǎng)絡(luò)中交換機(jī)sFlow數(shù)據(jù)，接入專線等分光流量數(shù)據(jù)，實(shí)現(xiàn)對(duì)整體數(shù)據(jù)中心的監(jiān)控流量采集能力；對(duì)接網(wǎng)絡(luò)中心、安全中心、智能運(yùn)維等平臺(tái)，提供數(shù)據(jù)包、流數(shù)據(jù)服務(wù)，滿足各平臺(tái)對(duì)現(xiàn)網(wǎng)流量數(shù)據(jù)的展示、分析需求。

3.第三步：對(duì)存在公有云上所運(yùn)行的Workload或?qū)嵗髁窟M(jìn)行采集，完成對(duì)混合云IT環(huán)境整體監(jiān)控流量管理，具備整體網(wǎng)絡(luò)畫(huà)像、流量分發(fā)、支持對(duì)多平臺(tái)流量數(shù)據(jù)分發(fā)服務(wù)能力。

對(duì)于已經(jīng)運(yùn)行的混合云環(huán)境，可以在不影響生產(chǎn)環(huán)境運(yùn)行的情況下部署實(shí)施，網(wǎng)絡(luò)規(guī)劃上將DeepFlow? 平臺(tái)所涉及的管理、監(jiān)控分發(fā)平面復(fù)用在已有的網(wǎng)絡(luò)平面中，通?？梢詮?fù)用已經(jīng)存在的網(wǎng)絡(luò)管理平面。對(duì)于整體規(guī)劃的方案，建議對(duì)整體混合云規(guī)劃獨(dú)立的網(wǎng)絡(luò)監(jiān)控平面，對(duì)于混合云的監(jiān)管流量統(tǒng)一、獨(dú)立地進(jìn)行管理。

方案優(yōu)勢(shì)

流量采集先進(jìn)：全網(wǎng)采集方案主要圍繞DeepFlow?采集器技術(shù)實(shí)現(xiàn)，采集器以進(jìn)程形態(tài)部署，最大程度上避免對(duì)現(xiàn)網(wǎng)的影響，同時(shí)在操作系統(tǒng)上繼承進(jìn)程級(jí)保護(hù)優(yōu)勢(shì)，整體更穩(wěn)定。

分布式處理系統(tǒng)：采集到數(shù)據(jù)包后避免集中處理，采用分布式架構(gòu)，采集點(diǎn)分布處理控制器集中管理。

場(chǎng)景全規(guī)模大：方案基于云原生設(shè)計(jì)，涵蓋裸金屬、虛擬機(jī)、容器、公有云資源池等多種異構(gòu)系統(tǒng)場(chǎng)景，整體系統(tǒng)可滿足10萬(wàn)臺(tái)節(jié)點(diǎn)的需求。

可管理性：平臺(tái)主控制器具備對(duì)所有采集器的監(jiān)控和管理能力。通過(guò)對(duì)接云平臺(tái)使得操作貼近資源池特性，針對(duì)云資源移、回收、重新部署等場(chǎng)景做到了實(shí)時(shí)策略跟隨，保障采集能力在動(dòng)態(tài)環(huán)境下的持續(xù)執(zhí)行。

數(shù)據(jù)包、流數(shù)據(jù)服務(wù)：數(shù)據(jù)服務(wù)是將流量采集與后端平臺(tái)對(duì)接的重要環(huán)節(jié)，完整流量數(shù)據(jù)包多目的地分發(fā)，高性能網(wǎng)絡(luò)時(shí)序數(shù)據(jù)庫(kù)通過(guò)API、ZeroMQ、Kafka等消息隊(duì)列提供流數(shù)據(jù)服務(wù)。同時(shí)也將采集與后端各類分析工具解耦，避免流量采集器局限在僅為單一工具服務(wù)的豎井中。

總結(jié)

DeepFlow?混合云全網(wǎng)流監(jiān)控量采集與分發(fā)解決方案為企業(yè)提供完整的、可持續(xù)的平臺(tái)級(jí)監(jiān)控流量管理，為企業(yè)規(guī)劃整體運(yùn)維。本方案已應(yīng)用于金融、運(yùn)營(yíng)商等客戶IT環(huán)境中。