試論大數(shù)據(jù)技術(shù)網(wǎng)絡(luò)安全態(tài)勢感知平臺

汪茹洋 李鵬

摘? 要：在信息技術(shù)不斷發(fā)展進步的背景下，各種網(wǎng)絡(luò)威脅也變得更加復(fù)雜多樣化，其技術(shù)水平也隨之提高，傳統(tǒng)的計算模式已經(jīng)不能滿足抵御網(wǎng)絡(luò)威脅的要求，這就需要基于大數(shù)據(jù)的應(yīng)用對多種領(lǐng)域的計算模式進行創(chuàng)新，尤其是對數(shù)據(jù)信息應(yīng)用以及協(xié)同計算方面的提升有著非常重要的推動作用，根據(jù)當前網(wǎng)絡(luò)安全存在的問題，提出了有效合理的解決方式。根據(jù)現(xiàn)階段網(wǎng)絡(luò)安全的形勢，需要在建立網(wǎng)絡(luò)安全預(yù)警系統(tǒng)的過程中，融入新型的信息技術(shù)，保證安全態(tài)勢感知平臺的全面性，進而能夠做到有效的應(yīng)對各種網(wǎng)絡(luò)安全威脅。

關(guān)鍵詞：大數(shù)據(jù);威脅感知;威脅發(fā)現(xiàn)

中圖分類號：TP393? ? ? ? ?文獻標志碼：A? ? ? ? ?文章編號：2095-2945（2020）10-0023-02

Abstract： In the context of the continuous development and progress of information technology， all kinds of network threats have become more complex and diversified， and their technical level has also been improved. The traditional computing model can no longer meet the requirements of resisting network threats， which requires the innovation of computing models in many fields based on big data application， especially in the application of data information and collaborative computing. According to the problems existing in the current network security， an effective and reasonable solution is put forward. According to the current situation of network security， it is necessary to integrate new information technology into the process of establishing a network security early warning system to ensure the comprehensiveness of the security situation awareness platform， so as to effectively deal with a variety of network security threats.

Keywords： big data; threat perception; threat discovery

隨著社會不斷的進步與發(fā)展，網(wǎng)絡(luò)態(tài)勢感知作為一種新型的技術(shù)，目前已經(jīng)成為我國互聯(lián)網(wǎng)安全的發(fā)展方向之一。針對內(nèi)網(wǎng)環(huán)境下，能夠改變網(wǎng)絡(luò)態(tài)勢的因素進行分析、顯示并預(yù)測未來的走向的網(wǎng)絡(luò)安全態(tài)勢感知平臺，通過對各類感知數(shù)據(jù)源進行整合分析，利用智能算法和安全模型，把各種安全數(shù)據(jù)轉(zhuǎn)化成直觀的信息。

1 技術(shù)架構(gòu)

建立并完善網(wǎng)絡(luò)安全態(tài)勢感知平臺，首先要將整條防御鏈中的相關(guān)安全數(shù)據(jù)進行采集，篩選互聯(lián)網(wǎng)中各種存在威脅的信息并進行儲存，逐步形成一個與網(wǎng)絡(luò)安全相關(guān)的大數(shù)據(jù)架構(gòu)。其次，要實現(xiàn)諸多安全規(guī)劃、分析算法、安全模型等有效的結(jié)合，對數(shù)據(jù)庫中的安全數(shù)據(jù)進行更深層次的挖掘并加以分析，從這些數(shù)據(jù)之中推算出存在的風(fēng)險，例如潛在的威脅、安全事件、預(yù)判未知風(fēng)險等等，最終完成整個網(wǎng)絡(luò)安全態(tài)勢感知的任務(wù)[1]。

2 網(wǎng)絡(luò)安全對數(shù)據(jù)匯聚與存儲的威脅

針對于采集和儲存威脅數(shù)據(jù)，首先要對態(tài)勢感知數(shù)據(jù)源進行采集;其次需要用到大數(shù)據(jù)的存儲管理技術(shù)，在數(shù)據(jù)平臺當中，需要輸入采集的數(shù)據(jù)，這樣可以形成初級的安全數(shù)據(jù)庫[2]。其中在態(tài)勢感知數(shù)據(jù)源中，可以為數(shù)據(jù)分析提供一定的技術(shù)保障，同時還可以提供各種原始的安全數(shù)據(jù)。態(tài)勢感知數(shù)據(jù)源最大程度的覆蓋整個互聯(lián)網(wǎng)攻擊鏈條下的每一個環(huán)節(jié)、要素，保證各類數(shù)據(jù)的全面性;在運用大數(shù)據(jù)技術(shù)進行管理和存儲的過程中，不僅需要結(jié)合關(guān)系數(shù)據(jù)庫系統(tǒng)，同時還需要構(gòu)建數(shù)據(jù)庫集群、分布式文件系統(tǒng)，從而保證形成混合式數(shù)據(jù)庫的順利，滿足各種數(shù)據(jù)的存儲需求，例如結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。

3 篩選安全數(shù)據(jù)

在挖掘和分析數(shù)據(jù)的過程中，需要篩選安全數(shù)據(jù)，并且需要轉(zhuǎn)變?yōu)橥{情報，具體步驟如下;首先，要對數(shù)據(jù)進行預(yù)先處理，利用關(guān)聯(lián)分析、數(shù)據(jù)融合等方式，對初期的數(shù)據(jù)進行組織，這樣可以形成初步的數(shù)據(jù)關(guān)系圖;其次，在對模型進行設(shè)計的過程中，需要根據(jù)攻擊數(shù)據(jù)的實際情況，不僅需要分析攻擊特征，同時還需要對行為特征進行分析，然后制定數(shù)據(jù)分析的方式，構(gòu)建分析大量數(shù)據(jù)的模型。最后，需要運用一些方式對數(shù)據(jù)進行分析，主要包括了離線分析法和實時分析法等等，對于已經(jīng)預(yù)先處理的數(shù)據(jù)，需要結(jié)合分析模式，開展深入挖掘，從中發(fā)掘潛在的威脅、探索網(wǎng)絡(luò)安全態(tài)勢[3]。

3.1 預(yù)先處理數(shù)據(jù)

對數(shù)據(jù)進行預(yù)處理需要以下三個步驟：首先，清洗數(shù)據(jù)。原始的數(shù)據(jù)在經(jīng)過規(guī)整以及標注之后，可以保證安全數(shù)據(jù)的準確性;其次，融合數(shù)據(jù)。對于基礎(chǔ)的安全數(shù)據(jù)而言，需要與已知的威脅特征進行有效的結(jié)合，從而形成數(shù)據(jù)族。最后，關(guān)聯(lián)數(shù)據(jù)。在進行數(shù)據(jù)關(guān)聯(lián)的過程中，需要對數(shù)據(jù)的時序關(guān)系進行關(guān)聯(lián)，同時還需要對數(shù)據(jù)的交互特征進行關(guān)聯(lián)，從而可以構(gòu)建數(shù)據(jù)關(guān)系網(wǎng)絡(luò)圖。

（1）清洗數(shù)據(jù)。在數(shù)據(jù)清洗的過程中，其就是對各種各樣安全數(shù)據(jù)的格式進行轉(zhuǎn)換，然后對數(shù)據(jù)進行去重和過濾，從而完成數(shù)據(jù)的清洗工作，其目的是可以清除大量數(shù)據(jù)中無效數(shù)據(jù)。將各類數(shù)據(jù)庫做為基礎(chǔ)，在對原始數(shù)據(jù)進行整理的過程中，需要對數(shù)據(jù)的威脅信息和報警信息進行標注，從而可以保證基礎(chǔ)安全數(shù)據(jù)的準確性[4]。（2）融合數(shù)據(jù)。其含義是有效的融合各種各樣的數(shù)據(jù)，從而可以形成屬性和類別統(tǒng)一的源數(shù)據(jù)。再結(jié)合行為特征、流量特征等，對同一特征、規(guī)律的數(shù)據(jù)進行融合，最終形成一個共性的數(shù)據(jù)族。（3）關(guān)聯(lián)數(shù)據(jù)。首先是屬性相似的數(shù)據(jù)族進行關(guān)聯(lián)，在數(shù)據(jù)族的一些信息相同的情況下，就可以對數(shù)據(jù)開展關(guān)聯(lián)工作。其次，在對數(shù)據(jù)進行關(guān)聯(lián)的過程中，可以根據(jù)數(shù)據(jù)的時間順序進行關(guān)聯(lián)，比如在某些數(shù)據(jù)中，具備時間順序的特征，就可以建立關(guān)聯(lián)。通過數(shù)據(jù)之間的關(guān)聯(lián)，可以重新組織原始數(shù)據(jù)，并且還可以對數(shù)據(jù)的關(guān)系進行分析總結(jié)，從而形成數(shù)據(jù)關(guān)系圖。

3.2 設(shè)計計算模型

（1）數(shù)值統(tǒng)計模型。在態(tài)勢感知數(shù)據(jù)源中含有大量的交互IP、用戶行為等數(shù)據(jù)信息，在這些信息的統(tǒng)計特征當中，可以保證表達網(wǎng)絡(luò)動作的完整性，而在這些網(wǎng)絡(luò)動作當中，在運用傳統(tǒng)方式進行匹配的過程中，是非常不容易被發(fā)現(xiàn)的。因此當數(shù)據(jù)都表達了同一種網(wǎng)絡(luò)行為的時候，而且這個行為屬于網(wǎng)絡(luò)攻擊的范圍之內(nèi)，那么就可以通過數(shù)值統(tǒng)計的方法來發(fā)現(xiàn)[5]。（2）算法挖掘模型。在算法挖掘模型數(shù)據(jù)當中，是根據(jù)現(xiàn)有的分析算法，對數(shù)據(jù)進行挖掘，從而可以發(fā)現(xiàn)存在的隱藏風(fēng)險，其中主要包括的算法：基于統(tǒng)計學(xué)方法的度分布計算、基于PageRank的頂點分析算法[6]?；诮y(tǒng)計學(xué)方法的度分布計算：通過運用此算法，不僅可以掌握數(shù)據(jù)關(guān)系中的節(jié)點個數(shù)，同時還可以了解節(jié)點度的分布曲線。進而能夠發(fā)現(xiàn)，某一時間段內(nèi)，活躍人員數(shù)量及規(guī)模、熱點服務(wù)器、高危漏洞、嚴重病毒等，通過運用該算法，可以確定整個數(shù)據(jù)需重點重視的目標?；赑ageRank的頂點分析算法：該算法的核心在整個網(wǎng)絡(luò)訪問的IP網(wǎng)頁得到了廣泛的應(yīng)用，這就是屬于該算法重點注重的對象，通過運用該算法，可以發(fā)現(xiàn)網(wǎng)絡(luò)中包含的重要信息[7]。

3.3 分析安全數(shù)據(jù)

分析數(shù)據(jù)是基于上述模型的基礎(chǔ)之上，對數(shù)據(jù)進行實時分析和離線分析，進而分析出數(shù)據(jù)的流向、層次、行為等，這樣可以在數(shù)據(jù)中發(fā)現(xiàn)存在的風(fēng)險，其中主要包括了兩個部分：實時分析和離線分析。

（1）實時分析。在進行實時分析的過程中，就是對數(shù)據(jù)進行實時分析，但是在實時分析當中，需要搭建Spark框架，而在Spark中，是運用內(nèi)存計算的方式，對數(shù)據(jù)進行大批量的流處理，擁有非常高的并發(fā)處理能力、計算能力，因此適用于實時分析計算。實時分析計算中流式計算模型和MapReduce調(diào)度計算有著很大的不同之處，流計算可以實現(xiàn)數(shù)據(jù)的實時處理，可以根據(jù)計算范圍的情況，對模式進行合理的擴展，保證處理數(shù)據(jù)計算任務(wù)之間關(guān)系的靈活性。在實時分析模型當中，需要分析處理在線收集的即時數(shù)據(jù)，這樣可以保證現(xiàn)場處理的有效性，這樣就會弱化對安全事件的分析結(jié)果準確度要求。在實時分析中，其主要的功能包括了判斷威脅類型、挖掘安全事件，這就可以及時的發(fā)現(xiàn)存在攻擊行為，并且進行預(yù)警。而對不能確定的事件，需要交給離線分析進行處理。（2）離線分析。在離線分析中，與實時分析進行比較的情況下，其駐點是反復(fù)挖掘數(shù)據(jù)庫的歷史數(shù)據(jù)，并且還需要進行分析和計算，從而保證深入使用數(shù)據(jù)的最大化。在離線分析模塊中，需要收集數(shù)據(jù)庫中全部的歷史數(shù)據(jù)，并存放在數(shù)據(jù)庫中，其中包含了實時分析模塊轉(zhuǎn)接的疑難數(shù)據(jù)。在離線分析模塊中，需要對已知安全事件倉庫進行維護，在安全事件的來源當中，不僅包括了實時分析的結(jié)果反饋，同時還包括離線分析的結(jié)構(gòu)反饋。在對引擎進行挖掘的過程中，需要有效的結(jié)合事件倉庫，可以更加深入分析和挖掘數(shù)據(jù)庫中的數(shù)據(jù)，然后對于最新的挖掘結(jié)果而言，需要傳遞到安全事件處理模塊中，對挖掘結(jié)果進行處理，同時對于新挖掘的事件，需要保存到事件倉庫當中[8]。離線分析模塊在數(shù)據(jù)庫中提取有效安全事件分析，判別其威脅的類型，在對分析挖掘進行聯(lián)合的過程中，不僅需要運用數(shù)據(jù)庫中的原始數(shù)據(jù)集，同時還需要利用數(shù)據(jù)庫中的已知安全事件，然后對多個安全事件的聯(lián)系進行分析，并根據(jù)此聯(lián)系形成新的安全事件。通過離線分析和實時分析的有效結(jié)合，可以保證建立大數(shù)據(jù)分析引擎的完善性，不但能夠?qū)M入系統(tǒng)的實時數(shù)據(jù)進行現(xiàn)場的分析挖掘，做到第一時間的預(yù)警，同時也能夠?qū)v史數(shù)據(jù)進行更深層次的分析挖掘，并通過分析找出存在的安全隱患，預(yù)判未知的威脅。

4 態(tài)勢感知在預(yù)警業(yè)務(wù)中的應(yīng)用

態(tài)勢感知在預(yù)警方面主要有著以下三點運用：一是，通過對大數(shù)據(jù)的分析挖掘，實現(xiàn)網(wǎng)絡(luò)安全威脅自動預(yù)警，防止受到木馬傳播、仿冒釣魚等攻擊。二是能夠?qū)崿F(xiàn)對重要系統(tǒng)的實時監(jiān)控，比如對政府部門、事業(yè)單位的官網(wǎng)等進行實時全方位的監(jiān)測，防止網(wǎng)頁被篡改、服務(wù)器被攻擊等現(xiàn)象的發(fā)生。三是實現(xiàn)對網(wǎng)絡(luò)風(fēng)險的預(yù)警及感知，能夠?qū)W(wǎng)絡(luò)攻擊行為、安全隱患等進行分析總結(jié)，使人們對網(wǎng)絡(luò)風(fēng)險有一定的理解并加以預(yù)防。

5 結(jié)束語

態(tài)勢感知是網(wǎng)絡(luò)對抗預(yù)警的重要組成部分，能夠從安全數(shù)據(jù)中分析挖掘出安全風(fēng)險。本文對當今網(wǎng)絡(luò)攻擊方式和防御需求進行分析，闡述了在大數(shù)據(jù)技術(shù)的應(yīng)用背景下網(wǎng)絡(luò)安全的優(yōu)勢，并提出了大數(shù)據(jù)技術(shù)網(wǎng)絡(luò)安全態(tài)勢感知平臺概念，從多個方面分析了構(gòu)建此平臺的優(yōu)勢以及平臺的功能，希望能夠幫助更多的單位、企業(yè)做好網(wǎng)絡(luò)攻擊防范預(yù)警工作。

參考文獻：

[1]董超，劉雷.大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢感知中數(shù)據(jù)融合技術(shù)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2019（7）：60-62.

[2]盧慶，文衛(wèi)疆，陳新.大數(shù)據(jù)技術(shù)支持下的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)探究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2018（10）：63-64.

[3]伍黎明.基于大數(shù)據(jù)分析的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)及評估方法研究[J].電子元器件與信息技術(shù)，2018（9）：49-51，101.

[4]鄧曉東，何慶，許敬偉，等.大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢感知中數(shù)據(jù)融合技術(shù)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017（8）：79-80.

[5]付瑋.大數(shù)據(jù)時代背景下的網(wǎng)絡(luò)安全策略研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2019（10）：15-16.

[6]許暖.基于大數(shù)據(jù)背景下分析網(wǎng)絡(luò)安全態(tài)勢感知關(guān)鍵實現(xiàn)技術(shù)探索[J].數(shù)字化用戶，2019，25（1）：179-180.

[7]李若愚，張新躍，張晉豪.網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)架構(gòu)淺析[J].信息記錄材料，2019，20（8）：101-102.

[8]胡志軍.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺的應(yīng)用思考[J].金融科技時代，2019（10）：44-46.