基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知研究

祁萬青

摘要：當前，網(wǎng)絡(luò)安全問題愈加突出，安全技術(shù)之間的協(xié)同與管理存在著較為明顯的欠缺，最終導(dǎo)致數(shù)據(jù)的整合不足。網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)不僅為當前存在的問題提供了較為綜合的解決方案，也讓網(wǎng)絡(luò)安全防御較為單一的狀況得到有效解決?；诖?，文章對當前存在的網(wǎng)絡(luò)安全數(shù)據(jù)進行調(diào)查與整合，對網(wǎng)絡(luò)安全狀況進行綜合的分析，同時對網(wǎng)絡(luò)安全的發(fā)展趨勢給予較為精準的預(yù)判。

關(guān)鍵詞：大數(shù)據(jù)技術(shù)；網(wǎng)絡(luò)安全；態(tài)勢感知

中圖分類號：TN915文獻標志碼：A0引言網(wǎng)絡(luò)安全態(tài)勢感知涉及眾多安全態(tài)勢要素，基于對安全態(tài)勢要素的獲取、分析、評估、預(yù)測、可視化，進而對網(wǎng)絡(luò)安全狀況做出科學(xué)準確的描述。伴隨大數(shù)據(jù)技術(shù)的發(fā)展，將其與網(wǎng)絡(luò)安全態(tài)勢感知的方案結(jié)合起來成為網(wǎng)絡(luò)安全態(tài)勢感知發(fā)展趨勢。

1大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)安全態(tài)勢面臨難點1.1大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)安全態(tài)勢特征要素提取首先，大數(shù)據(jù)背景下，安全數(shù)據(jù)來源復(fù)雜且數(shù)據(jù)量巨大，其中的錯誤數(shù)據(jù)也不在少數(shù)。其次，網(wǎng)絡(luò)安全數(shù)據(jù)變化頻率高，且數(shù)據(jù)具有多維度復(fù)雜的特征，數(shù)據(jù)與數(shù)據(jù)時間的關(guān)系錯綜復(fù)雜，數(shù)據(jù)維數(shù)失誤較為容易發(fā)生。最后，在對網(wǎng)絡(luò)安全數(shù)據(jù)提取的過程中，會受到傳統(tǒng)提取方法的影響，造成數(shù)據(jù)最終采集結(jié)果完整度較低。與此同時，數(shù)據(jù)的數(shù)量難以達到整合的要求，導(dǎo)致網(wǎng)絡(luò)安全態(tài)勢感知后段工作效率也隨之降低，網(wǎng)絡(luò)安全的整體評估不盡準確［1］。

1.2大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)安全網(wǎng)絡(luò)入侵檢測第一，在大數(shù)據(jù)環(huán)境下，網(wǎng)絡(luò)攻擊通常是有計劃性或目的性的，且大規(guī)模攻擊與協(xié)同攻擊并存。在傳統(tǒng)來看，入侵檢測一般針對單一攻擊行為，而對多個攻擊入侵檢測的方法還有待研究開發(fā)。第二，網(wǎng)絡(luò)攻擊數(shù)據(jù)特征的維度多且復(fù)雜，目前盡管借助數(shù)據(jù)降維等方式能夠有效提升數(shù)據(jù)處理效率，但在面臨大規(guī)模攻擊與協(xié)同攻擊的多個攻擊分類檢測時，依然具有很大的計算量，這就要求持續(xù)提升高分類檢測效率。第三，當遇到大規(guī)模攻擊與協(xié)同攻擊檢測時，多個網(wǎng)絡(luò)攻擊數(shù)據(jù)到達時通常存在分布不平衡的問題，影響網(wǎng)絡(luò)攻擊檢測的準確率、精確率等。

1.3大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)安全態(tài)勢評估大數(shù)據(jù)背景下，網(wǎng)絡(luò)安全數(shù)據(jù)感知過程中存在著不穩(wěn)定因素。在采集過程中，數(shù)據(jù)也會呈現(xiàn)不準確、不確定的特征。大數(shù)據(jù)環(huán)境網(wǎng)絡(luò)安全數(shù)據(jù)有多維性、特征負責的特性，這增加了網(wǎng)絡(luò)安全度量的難度，使得網(wǎng)絡(luò)安全態(tài)勢評估指標不易被量化，造成工作效果不全面或不準確。如今的網(wǎng)絡(luò)環(huán)境繁雜多樣、錯綜復(fù)雜，網(wǎng)絡(luò)安全也是如此。在此情況下，網(wǎng)絡(luò)安全態(tài)勢評估準確性及全面性也會受到影響。由于網(wǎng)絡(luò)攻擊存在隨機性，加之大數(shù)據(jù)系統(tǒng)環(huán)境復(fù)雜等原因，網(wǎng)絡(luò)安全態(tài)勢評估對于專家知識比較依賴，這就要求在多個專家意見發(fā)生沖突時，能夠更客觀地反映網(wǎng)絡(luò)安全態(tài)勢［2］。

1.4大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)安全態(tài)勢預(yù)測感知采集數(shù)據(jù)流會隨時間變化并能夠?qū)崟r到達，其具有流動速度快、響應(yīng)時間短的特點。在大數(shù)據(jù)環(huán)境下，對網(wǎng)絡(luò)安全呈現(xiàn)動態(tài)趨勢無法精準、實時的預(yù)測。縱觀網(wǎng)絡(luò)安全預(yù)測的歷史，并沒有系統(tǒng)且科學(xué)的經(jīng)驗可以參考。過往的經(jīng)驗存在著不確定性、不準確性以及自相矛盾的缺點。因此，想要實現(xiàn)網(wǎng)絡(luò)安全預(yù)測的精準且自動化預(yù)測并不現(xiàn)實。通過對當前網(wǎng)絡(luò)安全預(yù)測進行對比研究發(fā)現(xiàn)，其在學(xué)習效率提升、精準預(yù)測等方面還有較大的提升空間。

2網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)平臺架構(gòu)設(shè)計與實現(xiàn)2.1網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)平臺架構(gòu)縱觀傳統(tǒng)的網(wǎng)絡(luò)安全分析，其更多的是側(cè)重對單向安全事件的預(yù)測與探究。從目前來看，網(wǎng)絡(luò)安全事件是錯綜復(fù)雜的、多變的。因此，單向的預(yù)測方法無法滿足當前的需要，同時對網(wǎng)絡(luò)管理決策的協(xié)助也有限［3］。本文提出一種融合大數(shù)據(jù)技術(shù)平臺架構(gòu)。平臺包含網(wǎng)絡(luò)安全情報信息、網(wǎng)絡(luò)流量監(jiān)測預(yù)警、收集存儲、標準化、查詢、分析和形成報表全部的操作。平臺設(shè)置安全管理、智能分析、安全數(shù)據(jù)中心、內(nèi)置數(shù)據(jù)攝取4個層面，不同層面設(shè)置相應(yīng)技術(shù)，以便于對事件、漏洞、資產(chǎn)、情報、日志、*flow、流量鏡像等各要素融合感知，采用情報比對、行為分析、關(guān)聯(lián)分析、資產(chǎn)分析、專項分析、態(tài)勢分析、漏洞分析等對所采數(shù)據(jù)做出多維度安全分析，進而實現(xiàn)對資產(chǎn)、威脅情報的安全管理，保障信息安全。

2.2網(wǎng)絡(luò)安全態(tài)勢評估模型網(wǎng)絡(luò)安全態(tài)勢評估方案通常以單個警報或日志作為基礎(chǔ)做出檢測，而單一性數(shù)據(jù)源會造成評估結(jié)果與實際產(chǎn)生偏差，而評估方法也通常采取相對復(fù)雜的算法，這些將會對評估及時性造成直接影響，迫使網(wǎng)絡(luò)管理員錯過處理的最優(yōu)時機。

針對上述潛在問題，本文采用基于SimHash算法的網(wǎng)絡(luò)安全態(tài)勢評估模型對評估系統(tǒng)進行優(yōu)化，具體內(nèi)容如下：（1）拓撲結(jié)構(gòu)：其為一個圖形結(jié)構(gòu)，用來表示大數(shù)據(jù)環(huán)境中的節(jié)點及其連接信息。（2）服務(wù)信息：指節(jié)點所提供的服務(wù)，用于確定節(jié)點權(quán)重。（3）日志信息：其包含系統(tǒng)以及安全、應(yīng)用程序每日記錄等關(guān)鍵信息。每個日志信息采用六元組（id，time，type，info，id，id）進行表征，id用于表示日志中某記錄唯一標識，time用于表示該日志記錄的生成時間，type是于表示該日志記錄的類型，info用于表示該日志記錄相應(yīng)的描述信息，id用于表示生成該日志記錄的節(jié)點標識，iddt表示某一安全事件內(nèi)目標節(jié)點的標識。（4）漏洞信息V。其指的是節(jié)點存在漏洞信息，用于確定攻擊的成功概率。其中每個漏洞信息均能采用四元組（id，time，pro，impact，info）進行表征。idv指的是某漏洞唯一標識，time為某漏洞被掃描出的時間，pro為某漏洞被成功利用概率，info為某漏洞描述相關(guān)信息。（5）攻擊信息A：其是指對節(jié)點的攻擊信息。每次攻擊信息均可采用六元組（id，time，st，dt，info，id）進行表示，其中id作為攻擊唯一標識，time作為攻擊發(fā)生時間，st與dt各自表示攻擊起始節(jié)點及目的節(jié)點，info作為攻擊描述信息，id作為被攻擊利用漏洞的標識信息。（6）節(jié)點安全態(tài)勢NSA：是指針對節(jié)點安全狀況的量化值，其由拓撲信息、漏洞信息以及攻擊信息所共同組成，采用NSA=（T，V，A）進行表示。（7）模塊安全態(tài)勢MSA：是指針對模塊安全狀況的量化值，其由NSA與模塊中節(jié)點權(quán)重綜合所共同得到的，采用MSA=（NSA，ω）進行表示。（8）網(wǎng)絡(luò)安全態(tài)勢SA：是指大數(shù)據(jù)安全狀況量化值，其由MSA與模塊權(quán)重所共同組成，采用SA=（MSA，ω）進行表示。

在以上各種概念的前提下，以SimHash為基本前提的網(wǎng)絡(luò)安全評估模型應(yīng)運而生，如圖1所示。

計算步驟分為以下8步：（1）采取復(fù)雜網(wǎng)絡(luò)社區(qū)結(jié)構(gòu)劃分算法，把大數(shù)據(jù)分為多個模塊，得出各模塊權(quán)重；（2）整合收集網(wǎng)絡(luò)安全態(tài)勢要素，包括網(wǎng)絡(luò)流量、網(wǎng)絡(luò)拓撲結(jié)構(gòu)、系統(tǒng)安全日志等內(nèi)容；（3）通過對數(shù)據(jù)進行預(yù)處理，處理完畢之后對文件進行上傳和保存；（4）在每個網(wǎng)絡(luò)模塊內(nèi)部，掃描節(jié)點存在漏洞，同時對各種攻擊類型攻擊時成功概率進行計算；（5）針對各個網(wǎng)絡(luò)模塊中節(jié)點，采用基于SimHash的算法，結(jié)合攻擊類型及次數(shù)，進而得出攻擊嚴重程度；（6）按照攻擊嚴重程度及攻擊成功概率，對節(jié)點安全態(tài)勢進行計算；（7）借助節(jié)點提供的服務(wù)計算節(jié)點權(quán)重，結(jié)合節(jié)點安全態(tài)勢值，進一步獲取模塊安全態(tài)勢；（8）以模塊的安全狀態(tài)和權(quán)重為基本的判斷標準，對網(wǎng)絡(luò)安全的狀態(tài)進行最終的評估與定論。

2.3網(wǎng)絡(luò)安全態(tài)勢預(yù)測模型在傳統(tǒng)的網(wǎng)絡(luò)安全檢測中，安全狀態(tài)的評估依據(jù)主要是源自于某個檢測設(shè)備的每日數(shù)據(jù)。然而，這種方式的檢測具有明顯的缺點，數(shù)據(jù)檢測不夠準確尤為明顯。為了提高網(wǎng)絡(luò)安全檢測的準確性，增加多樣設(shè)備每日記錄數(shù)據(jù)作為對比，在這樣的情況下，不同設(shè)備之間的數(shù)據(jù)可以進行補充，讓數(shù)據(jù)更加準確。然而，劣勢也隨之暴露出來。設(shè)備之間的數(shù)據(jù)存在一定的重復(fù)性，為分析過程提升了難度［4］。伴隨大數(shù)據(jù)時代來臨，網(wǎng)絡(luò)安全態(tài)勢感知為計算能力以及存儲能力提出了新的挑戰(zhàn)和要求。

本文提出了動態(tài)網(wǎng)絡(luò)安全態(tài)勢預(yù)測模型。（1）通過對提取特征的提前確定，讓數(shù)據(jù)的格式達到一定的統(tǒng)一，從而多源異構(gòu)地讓網(wǎng)絡(luò)安全態(tài)勢要素的采集更加全面，通過布隆過濾器的使用，讓重復(fù)的網(wǎng)絡(luò)安全態(tài)勢要素得以有效過濾。（2）借助AML模型預(yù)測未來一定期限內(nèi)的脆弱性數(shù)量及發(fā)布時間等內(nèi)容，將預(yù)測結(jié)果和Mulval結(jié)合獲得攻擊圖，將攻擊圖轉(zhuǎn)換為貝葉斯攻擊圖，對攻擊路徑及概率做出動態(tài)預(yù)測；采用預(yù)測結(jié)果就網(wǎng)絡(luò)安全態(tài)勢做出評估。

（1）獲取網(wǎng)絡(luò)安全態(tài)勢要素。其主要包括網(wǎng)絡(luò)拓撲結(jié)構(gòu)、報警信息、系統(tǒng)安全日志以及脆弱性信息等幾方面。通過將數(shù)據(jù)上傳至HDFS，并編寫MapReduce程序，隨后采取布隆過濾器對入侵檢測系統(tǒng)報警信息以及系統(tǒng)安全日志中重復(fù)信息進行去除。（2）攻擊行為預(yù)測。采取MulVAL工具產(chǎn)生攻擊圖，結(jié)合脆弱性預(yù)測，形成貝葉斯攻擊圖，并預(yù)測后續(xù)攻擊行為。（3）網(wǎng)絡(luò)安全態(tài)勢量化。通過把網(wǎng)絡(luò)安全態(tài)勢要素以及攻擊行為預(yù)測結(jié)果相結(jié)合，獲取網(wǎng)絡(luò)安全態(tài)勢。

2.4大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢可視化框架網(wǎng)絡(luò)安全態(tài)勢可視化框架具體如圖2所示，具體可分為以下步驟：（1）設(shè)計Zookeeper分布式服務(wù)框架，便于為平臺提供統(tǒng)一資源管理及協(xié)調(diào)服務(wù)；（2）明確可視化數(shù)據(jù)，設(shè)計Kafka并將其傳輸?shù)絊park平臺；（3）讀取數(shù)據(jù)，對數(shù)據(jù)降維、去噪；（4）將處理好數(shù)據(jù)存儲至各分布式文件系統(tǒng)（HDFS）中；（5）按照滑動窗口模型，分批次將其讀取數(shù)據(jù)至可視化模塊當中；（6）對數(shù)據(jù)進行渲染并展示。

2.4.1Spark數(shù)據(jù)處理流程Spark運行的基本流程如下所述：（1）通過SparkContext的創(chuàng)建，讓資源申請、任務(wù)分配與監(jiān)控得以進行，完成基本運行環(huán)境的創(chuàng)建。（2）以SparkContext類的textFile為根本的切入方法，以文件中的增量為出發(fā)點，利用RDD類開展數(shù)據(jù)緩存，同時建立讀入的數(shù)據(jù)文件彈性分布數(shù)據(jù)集。（3）無環(huán)圖在RDD的依賴關(guān)系中得以創(chuàng)建。接下來通過DAGScheduler對數(shù)據(jù)進行解析。將任務(wù)集通過向askScheduler提交，通過Executor獲取任務(wù)進行處理。（4）在各個Worker節(jié)點，采用主成分分析法對數(shù)據(jù)降維，去除冗余。（5）在Executor執(zhí)行完成，將執(zhí)行結(jié)果返回至任務(wù)調(diào)度器，導(dǎo)入數(shù)據(jù)并釋放任務(wù)處理過程中所申請資源。（6）待運行完畢，通過SaveAsTextFile法將數(shù)據(jù)導(dǎo)入HDFS，完成數(shù)據(jù)持久化處理，同時釋放資源。

2.4.2使用滑動窗口模型分批處理數(shù)據(jù)在大數(shù)據(jù)環(huán)境下，產(chǎn)生網(wǎng)絡(luò)流量速度快、數(shù)量大、突發(fā)性強。因此，為更好地降低處理大量網(wǎng)絡(luò)安全態(tài)勢要素過程中的內(nèi)存占用率，采取了滑動窗口處理模型。模型滑動距離可按照實際情況設(shè)置，通常為幾秒，每隔幾秒滑動窗口便會向前移動一個單位，通過Spark對數(shù)據(jù)處理后獲得的結(jié)果集合用屬性集進行表示。各滑動窗口工作流程基本一致，在獲取數(shù)據(jù)之后，按照時間推進，進行數(shù)據(jù)渲染，此過程僅緩存幾個基本窗口渲染結(jié)果。

綜合考慮上述內(nèi)容，本大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)的技術(shù)架構(gòu)主要由數(shù)據(jù)采集、數(shù)據(jù)存儲、監(jiān)測分析以及指揮調(diào)度等層次所組成，借助UI和可視化技術(shù)完成安全態(tài)勢展示及人機交互共同。

3結(jié)語在數(shù)據(jù)化的時代里，傳統(tǒng)的網(wǎng)絡(luò)安全預(yù)測已經(jīng)無法滿足當前發(fā)展的需要，本文以網(wǎng)絡(luò)安全態(tài)勢為根本發(fā)現(xiàn)，將其分為不同的階段，并根據(jù)不同階段的特點給出相應(yīng)的解決方法。綜上，網(wǎng)絡(luò)安全態(tài)勢感知的發(fā)展還有較大的空間，網(wǎng)絡(luò)大數(shù)據(jù)的研究也亟須進步與提升。隨著社會的發(fā)展和進步，網(wǎng)絡(luò)安全態(tài)勢相關(guān)研究也日趨完善，相對應(yīng)的技術(shù)也更加的實用與成熟，這對網(wǎng)絡(luò)安全的監(jiān)控與預(yù)測都具有至關(guān)重要的推進作用。

參考文獻

［1］王閃閃.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知與關(guān)鍵技術(shù)分析［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2022（10）：3-5.

［2］賓冬梅，楊春燕，余通，等.基于深度行為分析的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)［J］.微型電腦應(yīng)用，2022（1）：66-69.

［3］周晶波.大數(shù)據(jù)時代計算機網(wǎng)絡(luò)信息安全研究——評《網(wǎng)絡(luò)安全態(tài)勢感知：提取、理解和預(yù)測》［J］.安全與環(huán)境學(xué)報，2021（3）：1388.

［4］簡玲，葉天鵬，林祥，等.多源融合的大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢感知平臺研究與探索［J］.信息網(wǎng)絡(luò)安全，2020（增刊2）：139-143.

（編輯 王永超）

Research on network security situation sense based on big dataQi? Wanqing

（Lanzhou Modern Vocational College， Lanzhou 730300， China）Abstract： At present， the problem of network security is more and more outstanding， and the coordination and management of security technology is obviously deficient， which leads to insufficient data integration. Network security situation awareness technology not only provides a comprehensive solution to the current problems， but also makes the network security defense more single situation to be effectively resolved. Based on this， this paper investigates and integrates the existing network security data， makes a comprehensive analysis of the network security situation， and gives a more accurate prediction of the development trend of network security.

Key words： big data technology; network security; situational awareness