基于Spark Streaming的網(wǎng)絡(luò)安全流式大數(shù)據(jù)態(tài)勢(shì)感知研究及發(fā)展趨勢(shì)分析

◆靳 琳 趙任方 董 鐘

（1.國(guó)網(wǎng)河北省電力有限公司信息通信分公司 河北 050011；2.國(guó)家電網(wǎng)有限公司華北分部 北京100053；3.北京博望華科科技有限公司 北京 100053）

國(guó)家互聯(lián)網(wǎng)應(yīng)急中心發(fā)布的《2018年我國(guó)互聯(lián)網(wǎng)網(wǎng)絡(luò)安全態(tài)勢(shì)報(bào)告》中顯示，2018年勒索病毒攻擊事件頻發(fā)，變種數(shù)量不斷攀升，重要行業(yè)關(guān)鍵信息基礎(chǔ)設(shè)施逐漸成為勒索軟件的重點(diǎn)攻擊目標(biāo)；網(wǎng)絡(luò)攻擊和風(fēng)險(xiǎn)正向物聯(lián)網(wǎng)和智能設(shè)備蔓延，路由器、網(wǎng)絡(luò)攝像頭等智能設(shè)備安全漏洞環(huán)比增長(zhǎng)8.0%；云平臺(tái)也成為網(wǎng)絡(luò)攻擊新的重災(zāi)區(qū)，數(shù)據(jù)泄露風(fēng)險(xiǎn)增加，預(yù)測(cè)2019年個(gè)人信息和重要數(shù)據(jù)泄露將更加嚴(yán)重，同時(shí)5G、IPv6 等新技術(shù)廣泛應(yīng)用帶來(lái)的安全問(wèn)題也應(yīng)引起足夠重視。

企業(yè)面臨越來(lái)越嚴(yán)峻復(fù)雜的網(wǎng)絡(luò)空間安全威脅形勢(shì)，同時(shí)大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)等新技術(shù)給我們帶來(lái)便利的同時(shí)，也帶來(lái)了新的安全問(wèn)題。一方面，多年來(lái)我們一直專注于架構(gòu)安全(漏洞管理、系統(tǒng)加固、安全域劃分等)和被動(dòng)防御能力(IPS、WAF、AV 等)的建設(shè)，雖取得了一定的成果，卻也遇到發(fā)展瓶頸，需要進(jìn)一步提升安全運(yùn)營(yíng)水平的同時(shí)，積極開(kāi)展主動(dòng)防御能力的建設(shè)。另一方面，面對(duì)越來(lái)越專業(yè)的惡意攻擊，我們已無(wú)法再用傳統(tǒng)的邊界隔離理念、日漸臃腫的攻擊特征庫(kù)，與對(duì)方多變的滲透技術(shù)、智能的HaaS服務(wù)、隱蔽的信道相抗衡了，因此態(tài)勢(shì)感知成為未來(lái)網(wǎng)絡(luò)安全的關(guān)鍵。

目前電網(wǎng)企業(yè)已經(jīng)在網(wǎng)絡(luò)和信息安全態(tài)勢(shì)感知方面進(jìn)行了一些探索和實(shí)踐[1]，實(shí)現(xiàn)了感知脆弱性、感知威脅性、感知全資產(chǎn)的功能，并進(jìn)一步優(yōu)化安全態(tài)勢(shì)監(jiān)控平臺(tái)[2]，采用“開(kāi)關(guān)量”狀態(tài)監(jiān)控模式和圖像呈現(xiàn)方式，解決了防護(hù)體系碎片化、安全設(shè)備孤島化、設(shè)備告警數(shù)量高、數(shù)據(jù)價(jià)值密度低、人員能力要求高、研判處置拿不準(zhǔn)等問(wèn)題。然而，現(xiàn)有的網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)由于實(shí)時(shí)網(wǎng)絡(luò)攻擊數(shù)據(jù)量較大，無(wú)法直接進(jìn)行存儲(chǔ)及展示，必須進(jìn)行預(yù)處理，并且隨著泛在電力物聯(lián)網(wǎng)的不斷建設(shè)，網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)的數(shù)據(jù)吞吐量將會(huì)越來(lái)越大，現(xiàn)有機(jī)制無(wú)法滿足網(wǎng)絡(luò)安全態(tài)勢(shì)感知的實(shí)時(shí)性要求；另外現(xiàn)有的網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)僅僅能階段性地展示一段時(shí)間內(nèi)的攻擊事件，無(wú)法將實(shí)時(shí)數(shù)據(jù)和歷史數(shù)據(jù)聯(lián)合關(guān)聯(lián)分析。為了更好地滿足高吞吐量下網(wǎng)絡(luò)安全態(tài)勢(shì)感知的實(shí)時(shí)性要求并且結(jié)合歷史數(shù)據(jù)更精準(zhǔn)地關(guān)聯(lián)分析，本文提出了一種基于Spark Streaming的網(wǎng)絡(luò)安全流式大數(shù)據(jù)態(tài)勢(shì)感知系統(tǒng)。

1 網(wǎng)絡(luò)安全流式大數(shù)據(jù)態(tài)勢(shì)感知關(guān)鍵技術(shù)

1.1 網(wǎng)絡(luò)安全態(tài)勢(shì)感知的內(nèi)涵

網(wǎng)絡(luò)安全態(tài)勢(shì)感知是一種基于環(huán)境的動(dòng)態(tài)、整體地洞悉安全風(fēng)險(xiǎn)的能力，是以安全大數(shù)據(jù)為基礎(chǔ)，從全局視角提升對(duì)安全威脅的發(fā)現(xiàn)識(shí)別、理解分析、響應(yīng)處置能力的一種方式，最終是為決策和行動(dòng)服務(wù)，是安全能力的落地[3]。網(wǎng)絡(luò)安全態(tài)勢(shì)感知旨在大規(guī)模網(wǎng)絡(luò)環(huán)境中對(duì)能夠引起網(wǎng)絡(luò)態(tài)勢(shì)發(fā)生變化的安全要素進(jìn)行獲取、理解、顯示以及最近發(fā)展趨勢(shì)的順延性預(yù)測(cè)，實(shí)現(xiàn)攻擊行為可發(fā)現(xiàn)、安全防護(hù)可協(xié)同、威脅態(tài)勢(shì)可預(yù)測(cè)、安全狀態(tài)可度量，進(jìn)而進(jìn)行安全態(tài)勢(shì)感知的相關(guān)決策與行動(dòng)。網(wǎng)絡(luò)安全態(tài)勢(shì)感知強(qiáng)調(diào)的是環(huán)境性、動(dòng)態(tài)性和整體性。環(huán)境性是指態(tài)勢(shì)感知的應(yīng)用環(huán)境是在一個(gè)較大的范圍內(nèi)具有一定規(guī)模的網(wǎng)絡(luò)；動(dòng)態(tài)性是指態(tài)勢(shì)隨時(shí)間不斷變化，態(tài)勢(shì)信息既包括過(guò)去和當(dāng)前的狀態(tài)，還包括對(duì)未來(lái)趨勢(shì)的預(yù)測(cè)；整體性是指態(tài)勢(shì)各實(shí)體間相互關(guān)系的體現(xiàn)，某些網(wǎng)絡(luò)實(shí)體狀態(tài)發(fā)生變化，會(huì)影響到其他網(wǎng)絡(luò)實(shí)體的狀態(tài)，進(jìn)而影響整個(gè)網(wǎng)絡(luò)的態(tài)勢(shì)[4]。

網(wǎng)絡(luò)安全態(tài)勢(shì)感知包括了時(shí)間和檢測(cè)內(nèi)容兩個(gè)維度。時(shí)間維度上，既需要利用已有實(shí)時(shí)或準(zhǔn)實(shí)時(shí)的檢測(cè)技術(shù)，同時(shí)還需要通過(guò)更長(zhǎng)時(shí)間數(shù)據(jù)來(lái)分析發(fā)現(xiàn)異常行為，特別是失陷情況；而內(nèi)容維度上，則需要覆蓋網(wǎng)絡(luò)流量、終端行為、內(nèi)容載荷三個(gè)方面，并完整提供以下5類檢測(cè)能力：基于流量特征的實(shí)時(shí)檢測(cè)、基于流量日志的異常分析機(jī)制、針對(duì)內(nèi)容的靜態(tài)、動(dòng)態(tài)分析機(jī)制、基于終端行為特征的實(shí)時(shí)檢測(cè)、基于終端行為日志的異常分析機(jī)制[5]。

1.2 Spark Streaming 流數(shù)據(jù)處理技術(shù)

Spark Streaming是構(gòu)建在Spark上的實(shí)時(shí)計(jì)算框架，它擴(kuò)展了Spark 處理大規(guī)模流式數(shù)據(jù)的能力，具有可擴(kuò)展、高吞吐量、對(duì)于流數(shù)據(jù)的可容錯(cuò)性等特點(diǎn)。Spark Streaming 將流式計(jì)算分解成一系列短小的批處理作業(yè)，這里的批處理引擎是Spark，它把Spark Streaming的輸入數(shù)據(jù)按照批尺寸分成一段段的數(shù)據(jù)，稱之為DStream（Discretized Stream），每一段數(shù)據(jù)都轉(zhuǎn)換成Spark中的RDD（Resilient Distributed Dataset），然后將Spark Streaming中對(duì)DStream的Transformation 操作轉(zhuǎn)換為Spark中針對(duì)RDD的Transformation 操作，并將操作結(jié)果保存在內(nèi)存中。

圖1 Spark Streaming 工作流程圖

根據(jù)業(yè)務(wù)需要，整個(gè)流式計(jì)算可對(duì)中間結(jié)果進(jìn)行疊加，或存儲(chǔ)到外部設(shè)備。Spark中的RDD 具有良好的容錯(cuò)機(jī)制，每個(gè)RDD都是一個(gè)不可變的分布式、可重算的數(shù)據(jù)集，記錄著確定性的操作繼承關(guān)系，即使某處輸入數(shù)據(jù)出錯(cuò)，仍能通過(guò)計(jì)算重新恢復(fù)。在實(shí)時(shí)性上，Spark Streaming 將流式計(jì)算分解成多個(gè)SparkJob，每段數(shù)據(jù)的處理都會(huì)經(jīng)過(guò)SparkDAG 圖分解以及任務(wù)集的調(diào)度[6]，最小延遲在0.5～2s 之間，能滿足大多數(shù)實(shí)時(shí)計(jì)算任務(wù)。Spark 已經(jīng)能線性擴(kuò)展到100個(gè)節(jié)點(diǎn)，可以以數(shù)秒的延遲處理6GB/s的數(shù)據(jù)量，其吞吐量也比Storm 高3倍以上。

與Storm相比，Spark Streaming 有幾個(gè)明顯的優(yōu)勢(shì)，一是它的吞吐量比Storm 等專門(mén)的流式數(shù)據(jù)處理軟件要優(yōu)秀；二是相比基于Record的其他處理框架，一部分窄依賴的RDD數(shù)據(jù)集可以從源數(shù)據(jù)重新計(jì)算，達(dá)到容錯(cuò)處理目的；三是小批量處理的方式使得它可以同時(shí)兼容批量和實(shí)時(shí)數(shù)據(jù)處理的邏輯和算法，方便了一些需要?dú)v史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)聯(lián)合分析的特定應(yīng)用場(chǎng)合[7]；四是它位于Spark 生態(tài)技術(shù)棧中，可以和Spark Core、Spark SQL 無(wú)縫整合，也就意味著我們可以對(duì)實(shí)時(shí)處理出來(lái)的中間數(shù)據(jù)，立即在程序中無(wú)縫進(jìn)行延遲批處理、交互式查詢等操作[8]。以上四個(gè)特點(diǎn)能夠滿足網(wǎng)絡(luò)安全態(tài)勢(shì)感知過(guò)程中高吞吐量的數(shù)據(jù)處理，并且在需要?dú)v史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)聯(lián)合分析的場(chǎng)景下可以很好地兼容其批量和實(shí)時(shí)數(shù)據(jù)處理框架。

1.3 分布式消息隊(duì)列系統(tǒng)

在大規(guī)模分布式系統(tǒng)中常使用消息隊(duì)列，它是在消息傳輸過(guò)程中保存消息的容器或中間件，主要目的是提供消息路由、數(shù)據(jù)分發(fā)并保障消息可靠傳遞，為分布式系統(tǒng)的各個(gè)構(gòu)件之間傳遞消息并提供承載。目前常見(jiàn)的分布式消息隊(duì)列中間件產(chǎn)品有Kafka、ActiveMQ、ZeroMQ和RabbitMQ 等。從性能和可擴(kuò)展性上看，ZeroMQ、Kafka、RabbitMQ、ActiveMQ 依次遞減。從功能種類和應(yīng)用廣度上看RabbitMQ和ActiveMQ 強(qiáng)于Kafka和ZeroMQ。綜合比較的話，與RabbitMQ和ActiveMQ相比較Kafka 算是輕量級(jí)系統(tǒng)，同時(shí)相較于ZeroMQ 又能提供消息持久化保證，性能、高可用和可擴(kuò)展方面表現(xiàn)也很優(yōu)異，平均表現(xiàn)最好，目前應(yīng)用場(chǎng)景較多，也非常適合用于網(wǎng)絡(luò)安全態(tài)勢(shì)感知大數(shù)據(jù)平臺(tái)，因此我們選擇將Kafka 消息隊(duì)列中間件應(yīng)用于網(wǎng)絡(luò)安全流式大數(shù)據(jù)態(tài)勢(shì)感知系統(tǒng)。

Kafka是LinkedIn 開(kāi)源的分布式消息隊(duì)列系統(tǒng)，誕生于2010年，具有極高的吞吐量和較強(qiáng)的擴(kuò)展性和高可用性，主要用于處理活躍的流式數(shù)據(jù)。Kafka是顯式的分布式架構(gòu)，主要涉及三個(gè)角色：消息生產(chǎn)者、代理服務(wù)器、消息消費(fèi)者。消息生產(chǎn)者產(chǎn)生特定主題的消息并傳入代理服務(wù)器集群，代理服務(wù)器也稱緩存代理，是Kafka 集群中的一臺(tái)或多臺(tái)服務(wù)器，消息消費(fèi)者訂閱主題并處理其發(fā)布的消息，其工作機(jī)制如圖2所示。流計(jì)算系統(tǒng)的數(shù)據(jù)源是Kafka的一個(gè)典型應(yīng)用場(chǎng)景，流數(shù)據(jù)產(chǎn)生系統(tǒng)作為Kafka 消息數(shù)據(jù)的生產(chǎn)者，將數(shù)據(jù)流分發(fā)給Kafka 消息主題，流數(shù)據(jù)計(jì)算系統(tǒng)實(shí)時(shí)消費(fèi)并計(jì)算數(shù)據(jù)。

圖2 Kafka 工作機(jī)制

Kafka 有以下幾個(gè)主要特點(diǎn)，一是同時(shí)為發(fā)布和訂閱提供高吞吐量，Kafka 每秒可以生產(chǎn)約25萬(wàn)條消息（50 MB），每秒處理55萬(wàn)條消息（110 MB）。二是可進(jìn)行持久化操作，通過(guò)將數(shù)據(jù)持久化到硬盤(pán)以及實(shí)現(xiàn)多副本，從而防止數(shù)據(jù)丟失。三是支持在線應(yīng)用和離線應(yīng)用的場(chǎng)景。Kafka的這些特點(diǎn)能使它與Spark Streaming 配合，支持網(wǎng)絡(luò)安全流式大數(shù)據(jù)態(tài)勢(shì)感知系統(tǒng)的數(shù)據(jù)處理工作。

2 基于Spark Streaming的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)

利用Kafka和Spark Streaming 關(guān)鍵技術(shù)，結(jié)合批處理和流計(jì)算，構(gòu)建出基于Spark Streaming的網(wǎng)絡(luò)安全流式大數(shù)據(jù)態(tài)勢(shì)分析平臺(tái)架構(gòu)，如圖3所示，該平臺(tái)分為數(shù)據(jù)源、數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)與管理、數(shù)據(jù)處理分析、態(tài)勢(shì)感知場(chǎng)景展示五個(gè)層。

圖3 基于Spark streaming的網(wǎng)絡(luò)安全流式大數(shù)據(jù)態(tài)勢(shì)感知平臺(tái)架構(gòu)

2.1 數(shù)據(jù)源層

平臺(tái)數(shù)據(jù)源分為四類數(shù)據(jù)，一是環(huán)境業(yè)務(wù)類數(shù)據(jù)，主要包括被感知環(huán)境中的各類資產(chǎn)和屬性；二是網(wǎng)絡(luò)層面數(shù)據(jù)，主要包括包捕獲數(shù)據(jù)、會(huì)話或流數(shù)據(jù)、包字符串?dāng)?shù)據(jù)；三是主機(jī)層面日志數(shù)據(jù)，包括各種系統(tǒng)、應(yīng)用所產(chǎn)生的日志數(shù)據(jù)等；四是告警數(shù)據(jù)，來(lái)自IDS、防火墻等安全設(shè)備或軟件的報(bào)警信息。

2.2 數(shù)據(jù)采集層

平臺(tái)數(shù)據(jù)采集層針對(duì)不同類型和來(lái)源的數(shù)據(jù)，采用不同工具進(jìn)行數(shù)據(jù)采集。傳感器部署在網(wǎng)絡(luò)設(shè)備中直接采集網(wǎng)絡(luò)流量數(shù)據(jù)，網(wǎng)頁(yè)爬蟲(chóng)用于自動(dòng)抓取特定的互聯(lián)網(wǎng)網(wǎng)頁(yè)信息，日志收集系統(tǒng)用于將分布在各個(gè)設(shè)備、系統(tǒng)和應(yīng)用中的日志數(shù)據(jù)收集起來(lái)進(jìn)行高效的匯總，數(shù)據(jù)抽取工具用于將關(guān)系型數(shù)據(jù)庫(kù)所存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù)抽取到Hadoop 大數(shù)據(jù)平臺(tái)中以用于進(jìn)一步的分析處理，分布式消息隊(duì)列用于提供消息路由、數(shù)據(jù)分發(fā)并保障消息可靠傳遞，為分布式系統(tǒng)的各個(gè)構(gòu)件之間傳遞消息并提供承載。

2.3 數(shù)據(jù)存儲(chǔ)與管理層

平臺(tái)使用分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫(kù)HBase、非關(guān)系型數(shù)據(jù)庫(kù)NoSQL 等，用于靜態(tài)采集數(shù)據(jù)和分析處理后數(shù)據(jù)的存儲(chǔ)與管理。

2.4 數(shù)據(jù)處理分析層

數(shù)據(jù)處理分析層結(jié)合流計(jì)算和批處理，Spark Streaming 接收Kafka 采集的安全、網(wǎng)絡(luò)等設(shè)備的日志、告警等實(shí)時(shí)流數(shù)據(jù)，進(jìn)行關(guān)聯(lián)分析、模糊識(shí)別、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、規(guī)則匹配等復(fù)雜計(jì)算，將結(jié)果保存到數(shù)據(jù)庫(kù)或通過(guò)網(wǎng)頁(yè)進(jìn)行可視化展示。對(duì)于一些分析場(chǎng)合，Spark Streaming 還可以兼容批處理算法和實(shí)時(shí)流數(shù)據(jù)處理算法，對(duì)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)進(jìn)行聯(lián)合分析以及交互查詢等操作。通過(guò)流計(jì)算和批處理的結(jié)合，以及用戶的交互查詢，平臺(tái)能更出色地對(duì)網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行深度動(dòng)態(tài)感知和整體把握。

2.5 態(tài)勢(shì)感知場(chǎng)景展示層

本平臺(tái)設(shè)計(jì)的安全態(tài)勢(shì)感知場(chǎng)景有五個(gè)，分別為網(wǎng)絡(luò)攻擊態(tài)勢(shì)感知、網(wǎng)絡(luò)威脅態(tài)勢(shì)感知、系統(tǒng)脆弱性態(tài)勢(shì)感知、異常流量態(tài)勢(shì)感知和用戶行為態(tài)勢(shì)感知。

網(wǎng)絡(luò)攻擊態(tài)勢(shì)感知通過(guò)對(duì)IDS/IPS、WAF、抗DDOS設(shè)備等安全設(shè)備、網(wǎng)絡(luò)設(shè)備采集的數(shù)據(jù)在時(shí)間和空間維度進(jìn)行分析，并與歷史攻擊進(jìn)行關(guān)聯(lián)，通過(guò)識(shí)別攻擊類型、源IP地址、目標(biāo)IP地址，為攻擊路徑分析、溯源提供幫助，動(dòng)態(tài)生成安全策略，并實(shí)時(shí)展示全網(wǎng)安全攻擊情況和趨勢(shì)預(yù)測(cè)。

網(wǎng)絡(luò)威脅態(tài)勢(shì)感知通過(guò)對(duì)防病毒系統(tǒng)、防毒墻、WEB應(yīng)用防火墻、特種木馬檢測(cè)系統(tǒng)、惡意行為檢測(cè)系統(tǒng)等安全設(shè)備數(shù)據(jù)進(jìn)行多維度分析，評(píng)估病毒、木馬、惡意代碼等威脅的風(fēng)險(xiǎn)等級(jí)并進(jìn)行預(yù)警。

系統(tǒng)脆弱性態(tài)勢(shì)感知通過(guò)對(duì)系統(tǒng)漏洞、安全基線、系統(tǒng)弱口令、安全事件等進(jìn)行關(guān)聯(lián)分析，動(dòng)態(tài)感知系統(tǒng)脆弱性并進(jìn)行預(yù)警。

異常流量態(tài)勢(shì)感知，圍繞用戶、業(yè)務(wù)、關(guān)鍵鏈路和互聯(lián)網(wǎng)訪問(wèn)等多個(gè)維度的流量分析，通過(guò)與丟包率、流量地址范圍、端口范圍、協(xié)議類型、流量時(shí)間周期分布、流量總值、流量峰值、流量均值范圍等進(jìn)行對(duì)比，識(shí)別異常流量并告警。

用戶行為態(tài)勢(shì)感知通過(guò)分析用戶終端行為，通過(guò)機(jī)器學(xué)習(xí)等算法對(duì)用戶行為進(jìn)行分析，發(fā)現(xiàn)偏離基線的用戶安全威脅行為，對(duì)潛在的用戶異常行為進(jìn)行挖掘和判斷。

3 網(wǎng)絡(luò)安全態(tài)勢(shì)感知發(fā)展趨勢(shì)分析

目前網(wǎng)絡(luò)安全態(tài)勢(shì)感知已取得了一定成效，但仍存在很多不足。

信息過(guò)載。在網(wǎng)絡(luò)系統(tǒng)中我們能獲取到海量的安全信息并展示，但展示信息大部分是無(wú)用信息，態(tài)勢(shì)感知過(guò)程中如果僅僅是加大提供和共享的數(shù)據(jù)，未能相應(yīng)的通過(guò)快速處理提高數(shù)據(jù)的質(zhì)量，會(huì)導(dǎo)致超越人類認(rèn)知局限性的閾值，壓倒相關(guān)人員及時(shí)進(jìn)行分析處理的能力，而且片面強(qiáng)調(diào)數(shù)據(jù)采集和可視化，還可能導(dǎo)致網(wǎng)絡(luò)安全人員產(chǎn)生“我可以看到一切”的虛假安全感。

支持決策能力不足。態(tài)勢(shì)感知的目的是支持決策和行動(dòng)執(zhí)行，目前的態(tài)勢(shì)感知系統(tǒng)偏重于觀察和理解階段的感知過(guò)程，則僅能達(dá)到“感而不為”或“知而不為”的殘缺效果。如果將觀察階段實(shí)現(xiàn)為單純的數(shù)據(jù)采集和處理，將理解階段實(shí)現(xiàn)為可視化展示呈現(xiàn)和按需交互分析，并在預(yù)測(cè)階段將問(wèn)題丟給網(wǎng)空安全分析人員，讓他們各自猜測(cè)可能的未來(lái)發(fā)展情況，并讓網(wǎng)空安全防御人員自行琢磨應(yīng)當(dāng)采取哪些響應(yīng)行動(dòng)措施，就有可能導(dǎo)致低水平態(tài)勢(shì)感知，而且在海量網(wǎng)絡(luò)流量面前，這種完全依賴分析人員處理能力的模式不具有可持續(xù)性。

網(wǎng)絡(luò)安全度量指標(biāo)不統(tǒng)一?，F(xiàn)有的信息融合工具和可視化工具，都是針對(duì)具體網(wǎng)絡(luò)以及網(wǎng)絡(luò)的具體任務(wù)或運(yùn)營(yíng)需求而定制的，各自使用不同的輸入和輸出，因此，需要對(duì)工具的輸入與輸出進(jìn)行標(biāo)準(zhǔn)化，并形成通用的度量指標(biāo)。

針對(duì)以上不足，網(wǎng)絡(luò)安全態(tài)勢(shì)感知下一步將向更有效的數(shù)據(jù)展示、加強(qiáng)系統(tǒng)自動(dòng)決策能力、統(tǒng)一網(wǎng)絡(luò)安全度量指標(biāo)的方向進(jìn)一步發(fā)展。

4 結(jié)語(yǔ)

本文針對(duì)網(wǎng)絡(luò)安全采集數(shù)據(jù)吞吐量大、實(shí)時(shí)數(shù)據(jù)需要和歷史數(shù)據(jù)聯(lián)合分析的特點(diǎn)，提出了一種基于Spark Streaming的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)。本文研究了網(wǎng)絡(luò)安全流式大數(shù)據(jù)態(tài)勢(shì)感知的關(guān)鍵技術(shù)和系統(tǒng)架構(gòu)，為網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)的發(fā)展提供了技術(shù)思路和解決方法，并通過(guò)分析目前網(wǎng)絡(luò)安全態(tài)勢(shì)分析發(fā)展的不足，闡述了網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)的下一步發(fā)展趨勢(shì)。