一種面向云化智能化的網(wǎng)絡(luò)態(tài)勢系統(tǒng)構(gòu)建方法*

易小芹，潘麗娟，彭望龍

（中國電子科技集團(tuán)公司第三十研究所，四川 成都 610041）

0 引言

美軍從全球信息柵格以來，就開始注重增強(qiáng)網(wǎng)絡(luò)全局態(tài)勢感知能力建設(shè)，通過采集網(wǎng)絡(luò)中各類異構(gòu)傳感器的監(jiān)控?cái)?shù)據(jù)并進(jìn)行關(guān)聯(lián)分析，形成全局網(wǎng)絡(luò)態(tài)勢。

美軍在聯(lián)合信息環(huán)境中部署了聯(lián)合管理系統(tǒng)（Joint Management System，JMS），運(yùn)用以大數(shù)據(jù)為支撐的監(jiān)測和管理等技術(shù)手段，實(shí)現(xiàn)全網(wǎng)統(tǒng)一監(jiān)控和運(yùn)維。各聯(lián)合區(qū)域安全堆棧通過聯(lián)合管理網(wǎng)絡(luò)（Joint Management Network，JMN）接 受JMS 的 統(tǒng)一管理調(diào)度，共享安全情報(bào)和知識庫，協(xié)同執(zhí)行防御任務(wù)，大幅度提升了網(wǎng)絡(luò)協(xié)同防御能力。

從2010 年開始，以美國國防部高級研究計(jì)劃局（Defense Advanced Research Projects Agency，DARPA）的X 計(jì)劃、美國國土安全部（Department of Homeland Security，DHS）的SHINE 計(jì)劃以及美國國家安全局（National Security Agency，NSA）的Treasure Map 計(jì)劃為代表，美國倡導(dǎo)進(jìn)一步加固關(guān)鍵基礎(chǔ)設(shè)施網(wǎng)絡(luò)組件主動探測能力和快速響應(yīng)能力。DAPRA 的X 計(jì)劃為網(wǎng)絡(luò)戰(zhàn)部隊(duì)提供戰(zhàn)場地圖快速描繪能力，并輔助生成作戰(zhàn)計(jì)劃，從而推動網(wǎng)絡(luò)作戰(zhàn)效率和能力；DHS 的SHINE 計(jì)劃定期監(jiān)測美國本土關(guān)鍵基礎(chǔ)設(shè)施網(wǎng)絡(luò)組件的安全狀態(tài)；NSA的Treasure Map 計(jì)劃建立對全球多維度信息的主動探測，從而形成大規(guī)模情報(bào)生產(chǎn)能力。通過這些計(jì)劃，美國在初步建立的基于被動信息源的感知能力的基礎(chǔ)上，結(jié)合集成主動探測、海外信息搜集等技術(shù)，進(jìn)一步擴(kuò)展其網(wǎng)絡(luò)空間態(tài)勢感知能力，形成了目前的基于主動信息源的態(tài)勢感知體系。

由此可見，我國網(wǎng)絡(luò)態(tài)勢系統(tǒng)的構(gòu)建已經(jīng)顯得刻不容緩，通過提取、精煉、融合、深化和管理網(wǎng)絡(luò)態(tài)勢相關(guān)的各種信息，并將這些信息高效組織升華為管理人員能夠理解的較為完整的宏觀態(tài)勢知識，幫助管理人員理解當(dāng)前所處的狀態(tài)和下一步的發(fā)展趨勢，為網(wǎng)絡(luò)部署和應(yīng)急決策提供依據(jù)[1-2]。

1 網(wǎng)絡(luò)態(tài)勢系統(tǒng)構(gòu)建框架

本文介紹的網(wǎng)絡(luò)態(tài)勢系統(tǒng)采用面向云化的、服務(wù)化的、滿足分布式集群部署管理要求的技術(shù)體制與架構(gòu)，依據(jù)插件化集成開發(fā)標(biāo)準(zhǔn)，實(shí)現(xiàn)態(tài)勢展示按需組裝和多維信息的可視化集成能力。系統(tǒng)構(gòu)建框架如圖1 所示，由基礎(chǔ)環(huán)境層、業(yè)務(wù)服務(wù)層、態(tài)勢展示層組成。

圖1 面向云化智能化的網(wǎng)絡(luò)態(tài)勢系統(tǒng)構(gòu)建框架

基礎(chǔ)環(huán)境層為態(tài)勢業(yè)務(wù)服務(wù)提供分布式集群環(huán)境支撐，保障系統(tǒng)的高可靠、高性能運(yùn)行，采用微服務(wù)架構(gòu)，實(shí)現(xiàn)敏捷開發(fā)和部署，確保網(wǎng)絡(luò)態(tài)勢相關(guān)業(yè)務(wù)服務(wù)具備分布式部署發(fā)布、運(yùn)行以及數(shù)據(jù)管理能力。

業(yè)務(wù)服務(wù)層采用服務(wù)化架構(gòu)體系。核心服務(wù)平臺為服務(wù)化開發(fā)、調(diào)用、運(yùn)行、監(jiān)控提供相關(guān)標(biāo)準(zhǔn)接口。業(yè)務(wù)服務(wù)具體實(shí)現(xiàn)標(biāo)準(zhǔn)接口，通過對標(biāo)準(zhǔn)接口的調(diào)用，使得業(yè)務(wù)服務(wù)在核心服務(wù)平臺中可運(yùn)行、可調(diào)用、可監(jiān)管，確保服務(wù)化架構(gòu)體系的建立。分析處理服務(wù)使用聚類分析工具OpenRefine、機(jī)器學(xué)習(xí)工具Storm、流數(shù)據(jù)分析工具M(jìn)apReduce 實(shí)現(xiàn)網(wǎng)絡(luò)態(tài)勢系統(tǒng)的綜合分析處理能力。此外，在業(yè)務(wù)服務(wù)層中，還提供日志管理、用戶管理、自動化測試、測試評估、跨平臺封裝等業(yè)務(wù)開發(fā)中常用且通用功能的支撐，既降低了服務(wù)開發(fā)難度，又保證了服務(wù)質(zhì)量。

態(tài)勢展示層以插件技術(shù)為核心，通過2D GIS呈現(xiàn)工具、3D GIS 呈現(xiàn)工具、邏輯圖工具、統(tǒng)計(jì)圖表工具，實(shí)現(xiàn)可集成、可擴(kuò)展的態(tài)勢展示能力。態(tài)勢展示插件依據(jù)插件集成開發(fā)標(biāo)準(zhǔn)，通過對GIS 呈現(xiàn)工具、邏輯圖工具、統(tǒng)計(jì)圖表工具提供相關(guān)接口，可實(shí)現(xiàn)二維、三維圖形繪制、圖層及窗口管理、態(tài)勢標(biāo)繪等功能。

2 網(wǎng)絡(luò)態(tài)勢系統(tǒng)構(gòu)建關(guān)鍵技術(shù)

2.1 多源異構(gòu)態(tài)勢信息采集處理技術(shù)

2.1.1 必要性及難點(diǎn)分析

網(wǎng)絡(luò)態(tài)勢系統(tǒng)需要采集各類網(wǎng)絡(luò)站點(diǎn)、網(wǎng)絡(luò)鏈路、網(wǎng)絡(luò)設(shè)備及網(wǎng)管系統(tǒng)等的各類態(tài)勢信息，包括狀態(tài)信息、故障信息、性能信息、日志信息等。這些通信網(wǎng)絡(luò)設(shè)施處于多廠商、多技術(shù)和多系統(tǒng)的運(yùn)營環(huán)境，因此態(tài)勢數(shù)據(jù)來源和結(jié)構(gòu)各異，如何保證采集數(shù)據(jù)的完整性、一致性和準(zhǔn)確性是系統(tǒng)的必須解決的問題。

2.1.2 解決途徑

采用多源異構(gòu)態(tài)勢信息采集處理技術(shù)保證采集數(shù)據(jù)的完整性、一致性和準(zhǔn)確性，其原理如圖2所示。

圖2 多源異構(gòu)態(tài)勢信息采集處理技術(shù)原理

將采集到的原始數(shù)據(jù)經(jīng)過抽取、檢查和轉(zhuǎn)換后再加載到數(shù)據(jù)庫，保證采集數(shù)據(jù)的質(zhì)量，為后續(xù)數(shù)據(jù)分析加工奠定良好的數(shù)據(jù)基礎(chǔ)。

2.2 態(tài)勢數(shù)據(jù)預(yù)處理技術(shù)

2.2.1 必要性及難點(diǎn)分析

網(wǎng)絡(luò)態(tài)勢系統(tǒng)采集的網(wǎng)絡(luò)態(tài)勢數(shù)據(jù)來源廣、規(guī)模大、種類多，并且網(wǎng)絡(luò)環(huán)境不確定性也多，例如局部擁塞、癱瘓、設(shè)備異常等，會導(dǎo)致采集到的原始態(tài)勢數(shù)據(jù)存在臟數(shù)據(jù)、殘缺數(shù)據(jù)、冗余數(shù)據(jù)等，這會給態(tài)勢數(shù)據(jù)融合分析帶來很大的影響。如何保證融合分析入口態(tài)勢數(shù)據(jù)的質(zhì)量是系統(tǒng)必須解決的問題，也是提高態(tài)勢分析準(zhǔn)確性的關(guān)鍵技術(shù)之一。

2.2.2 解決途徑

采用態(tài)勢數(shù)據(jù)預(yù)處理技術(shù)對采集到的原始數(shù)據(jù)進(jìn)行預(yù)處理后，再進(jìn)行融合分析。態(tài)勢數(shù)據(jù)預(yù)處理技術(shù)原理如圖3 所示，將采集的原始態(tài)勢信息（L0）經(jīng)數(shù)據(jù)校驗(yàn)、數(shù)據(jù)去重歸并、數(shù)據(jù)時空配準(zhǔn)形成預(yù)備數(shù)據(jù)集（L1）。數(shù)據(jù)檢驗(yàn)主要實(shí)現(xiàn)噪聲數(shù)據(jù)去除、殘缺數(shù)據(jù)處理、異構(gòu)數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)去重歸并主要實(shí)現(xiàn)將不同來源、不同類型、內(nèi)容殘缺的數(shù)據(jù)，進(jìn)行融合歸并，形成具有豐富信息的態(tài)勢信息。數(shù)據(jù)時空配準(zhǔn)主要實(shí)現(xiàn)基于時間、空間數(shù)據(jù)或者用戶指定的關(guān)聯(lián)規(guī)則，進(jìn)行關(guān)聯(lián)匹配。

圖3 態(tài)勢數(shù)據(jù)預(yù)處理技術(shù)

2.3 大規(guī)模態(tài)勢數(shù)據(jù)融合分析技術(shù)

2.3.1 必要性及難點(diǎn)分析

網(wǎng)絡(luò)態(tài)勢系統(tǒng)采集的態(tài)勢數(shù)據(jù)規(guī)模大種類多，如何對采集的大規(guī)模態(tài)勢數(shù)據(jù)進(jìn)行融合分析處理，是網(wǎng)絡(luò)態(tài)勢系統(tǒng)急需解決的問題，也是難點(diǎn)問題。

2.3.2 解決途徑

采用大規(guī)模態(tài)勢數(shù)據(jù)融合分析技術(shù)對態(tài)勢數(shù)據(jù)進(jìn)行融合分析處理，其原理如圖4 所示，針對經(jīng)預(yù)處理后的態(tài)勢數(shù)據(jù)（預(yù)備數(shù)據(jù)集L1），通過深入挖掘數(shù)據(jù)之間的關(guān)系，利用基于特征相似度、上下文關(guān)系判別的方法，建立各種數(shù)據(jù)的特征，實(shí)現(xiàn)多源數(shù)據(jù)的有效融合；建立專家知識庫，有效結(jié)合專家知識對態(tài)勢進(jìn)行綜合分析評估與預(yù)測，支撐網(wǎng)絡(luò)態(tài)勢系統(tǒng)分析和呈現(xiàn)。并采用多維度態(tài)勢信息統(tǒng)計(jì)分析方法，支持以表格、曲線、直方圖、柱狀圖、餅圖等方式顯示和輸出統(tǒng)計(jì)分析結(jié)果，形成綜合全局態(tài)勢信息，以便網(wǎng)絡(luò)管理人員掌控網(wǎng)絡(luò)整體運(yùn)行 態(tài)勢[3-4]。

圖4 大規(guī)模態(tài)勢數(shù)據(jù)融合分析技術(shù)原理

2.4 智能故障關(guān)聯(lián)分析技術(shù)

2.4.1 必要性及難點(diǎn)分析

網(wǎng)絡(luò)態(tài)勢系統(tǒng)實(shí)時采集全網(wǎng)故障信息，并存放到故障數(shù)據(jù)庫，呈現(xiàn)給管理人員，而管理人員要從故障信息中快速、準(zhǔn)確地判明引起這些故障的根本原因難度很大。如何輔助管理人員分析定位故障是網(wǎng)絡(luò)態(tài)勢系統(tǒng)亟需解決的問題。然而通信網(wǎng)絡(luò)基礎(chǔ)設(shè)施是一個多廠商、多技術(shù)和多系統(tǒng)的運(yùn)營環(huán)境，具有規(guī)模巨大、技術(shù)復(fù)雜、平臺異構(gòu)的特點(diǎn)，導(dǎo)致故障關(guān)聯(lián)分析非常困難。這些難點(diǎn)主要體現(xiàn)在如下4 個方面。

（1）故障中含有噪聲數(shù)據(jù)。如果在短時間內(nèi)產(chǎn)生多個故障，而與之對應(yīng)的設(shè)備可以是相關(guān)的，也可以是不相關(guān)的。當(dāng)多個不相關(guān)的設(shè)備同時產(chǎn)生告警，那么這些告警集合會交疊在一起，相互之間存在一定的干擾。另外，故障引起的告警集合中有時會包含一些無意義、冗余的告警數(shù)據(jù)。

（2）告警數(shù)據(jù)不完整。為了能夠全面了解網(wǎng)絡(luò)的運(yùn)行狀況，通常希望獲取全部的故障數(shù)據(jù)，然而在網(wǎng)絡(luò)中有時會出現(xiàn)告警丟失和延遲的問題，因此無法獲取全部告警數(shù)據(jù)，如當(dāng)設(shè)備癱瘓、設(shè)備掉電或告警在傳輸中丟失等情況發(fā)生時，都無法獲取與該設(shè)備相關(guān)的告警信息。

（3）故障擴(kuò)散。由于網(wǎng)絡(luò)中設(shè)備是相互連接的，某一設(shè)備發(fā)生的故障有時會擴(kuò)散到與其相關(guān)的其他設(shè)備上，造成多個設(shè)備同時發(fā)生故障的假象。

（4）告警數(shù)據(jù)動態(tài)增加。整個網(wǎng)絡(luò)總是不斷地發(fā)展變化，而故障關(guān)聯(lián)規(guī)則依賴于網(wǎng)絡(luò)的物理和邏輯結(jié)構(gòu)，需要及時對不斷產(chǎn)生的新故障數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)網(wǎng)絡(luò)中新出現(xiàn)的故障關(guān)聯(lián)規(guī)則。

2.4.2 解決途徑

采用智能故障關(guān)聯(lián)分析技術(shù)實(shí)現(xiàn)故障關(guān)聯(lián)分析及定位，其原理如圖5 所示，通過人工定制關(guān)聯(lián)規(guī)則和人工智能技術(shù)結(jié)合的方式進(jìn)行關(guān)聯(lián)規(guī)則挖掘，并將得到的關(guān)聯(lián)規(guī)則保存于規(guī)則庫中?；诠收详P(guān)聯(lián)規(guī)則和故障操作，確定關(guān)聯(lián)規(guī)則模式從而構(gòu)造故障關(guān)聯(lián)分析系統(tǒng)，再用故障關(guān)聯(lián)分析系統(tǒng)迭代應(yīng)用關(guān)聯(lián)規(guī)則產(chǎn)生新的、更高級的故障關(guān)聯(lián)規(guī)則，結(jié)合對象模型可以將這些故障間的關(guān)聯(lián)關(guān)系映射到設(shè)備對象上，從而在發(fā)生新的故障時能夠快速進(jìn)行故障定位和分析[3-5]。

圖5 智能故障關(guān)聯(lián)分析原理

2.5 多維可視化態(tài)勢呈現(xiàn)技術(shù)

2.5.1 技術(shù)難點(diǎn)

網(wǎng)絡(luò)態(tài)勢系統(tǒng)的可視化呈現(xiàn)存在以下幾個方面的難點(diǎn)：①采集的態(tài)勢信息僅能表現(xiàn)某個維度的網(wǎng)絡(luò)運(yùn)行狀態(tài)信息，無法全面了解網(wǎng)絡(luò)運(yùn)行的綜合情況，特別是多維度的信息關(guān)聯(lián)呈現(xiàn)；②不同職責(zé)的用戶對網(wǎng)絡(luò)裝備關(guān)注的維度不同，對同種資源類型呈現(xiàn)的維度不同，可視化的內(nèi)容也應(yīng)該不同；③當(dāng)大量可視化呈現(xiàn)數(shù)據(jù)加載時，客戶端會進(jìn)入長時間等待狀態(tài)，甚至陷入假死狀態(tài)，造成糟糕的用戶體驗(yàn)。

2.5.2 解決途徑

運(yùn)用多維可視化呈現(xiàn)技術(shù)來呈現(xiàn)態(tài)勢數(shù)據(jù)，其原理如圖6 所示。

圖6 多維可視化態(tài)勢呈現(xiàn)技術(shù)原理

通過建立態(tài)勢信息各個維度的映射和關(guān)聯(lián)關(guān)系，為滿足用戶不同需求提供可定制的多維可視化呈現(xiàn)方式，建立多維空間信息模型，采用探索型和解釋型相結(jié)合的呈現(xiàn)技術(shù)，提升多維態(tài)勢呈現(xiàn)的互動性和獨(dú)特性。

另外采用數(shù)據(jù)流分片技術(shù)對可視化呈現(xiàn)的數(shù)據(jù)處理方法進(jìn)行優(yōu)化，其原理如圖7 所示。該技術(shù)對大規(guī)模海量數(shù)據(jù)進(jìn)行分片、排隊(duì)處理，將一次性大規(guī)模數(shù)據(jù)加載轉(zhuǎn)換為分多次數(shù)據(jù)片加載的方式，并實(shí)現(xiàn)了數(shù)據(jù)片的邊加載邊渲染技術(shù)。該技術(shù)的實(shí)現(xiàn)，在客戶端表現(xiàn)為海量可視化數(shù)據(jù)平滑過渡呈現(xiàn)，極大提升了用戶使用體驗(yàn)，避免陷入假死狀態(tài)。

圖7 數(shù)據(jù)流分片處理

3 結(jié)語

網(wǎng)絡(luò)態(tài)勢系統(tǒng)是應(yīng)對新形勢下信息化戰(zhàn)爭的迫切要求，可以幫助網(wǎng)絡(luò)管理人員快速掌握網(wǎng)絡(luò)的整體運(yùn)行態(tài)勢，實(shí)時感知故障和威脅，并提供有效的輔助決策能力。本文對網(wǎng)絡(luò)態(tài)勢系統(tǒng)的構(gòu)建做了一些研究和實(shí)踐，但距離真正構(gòu)建一個高效智能的態(tài)勢系統(tǒng)，有效發(fā)揮作戰(zhàn)輔助決策效力，還有很多難題需要攻克。