基于大數(shù)據(jù)技術的可視化安全態(tài)勢感知

0 引言

近幾年來，信息化應用水平提升到了一個更高的層次，如何從整體上動態(tài)反映網(wǎng)絡安全狀況，并對網(wǎng)絡安全的發(fā)展趨勢進行預測和預警是目前的難題。大數(shù)據(jù)技術特有的海量存儲、并行計算、高效查詢等特點，為大規(guī)模網(wǎng)絡安全態(tài)勢感知技術的突破創(chuàng)造了機遇，借助大數(shù)據(jù)分析對成千上萬的網(wǎng)絡日志等信息進行自動分析處理與深度挖掘，對網(wǎng)絡的安全狀態(tài)進行分析評價，感知網(wǎng)絡中的異常事件與整體安全態(tài)勢。

1 基于大數(shù)據(jù)技術的態(tài)勢感知

網(wǎng)絡安全態(tài)勢感知的主要任務包括風險感知和事件感知兩個方面。風險感知包括網(wǎng)絡資產(chǎn)感知和網(wǎng)絡脆弱性感知，網(wǎng)絡資產(chǎn)感知是自動、快速發(fā)現(xiàn)和收集大規(guī)模網(wǎng)絡資產(chǎn)的分布情況、更新情況、屬性等信息網(wǎng)絡脆弱性感知是分析、發(fā)現(xiàn)網(wǎng)絡的脆弱性對脆弱性進行統(tǒng)一標識和管理。網(wǎng)絡脆弱性包括不可見脆弱性和可見脆弱性。事件感知主要包括安全事件感知和異常行為感知，安全事件感知是指能夠確定安全事件發(fā)生的時間、地點、起因、經(jīng)過和結果，異常行為感知是指通過異常行為判定風險，以彌補對不可見脆弱性、未知安全事件發(fā)現(xiàn)的不足，主要面向的是感知未知的攻擊。

2 網(wǎng)絡安全態(tài)勢感知的相關技術

實現(xiàn)基于多源日志的網(wǎng)絡安全態(tài)勢感知，采集了多種安全設備上多樣的檢測方式和事件報告機制生成的海量數(shù)據(jù)，而這些原始的日志信息存在海量、冗余和錯誤等缺陷不能作為態(tài)勢感知的直接信息來源，必須進行關聯(lián)分析和數(shù)據(jù)融合等處理。

關聯(lián)分析。網(wǎng)絡中的防火墻日志和入侵檢測日志都是對進入網(wǎng)絡的安全事件的流量的刻畫針對某一個可能的攻擊事件會產(chǎn)生大量的日志和相關報警記錄，這些記錄存在著很多的冗余和關聯(lián)。因此首先要對得到的原始日志進行單源上的關聯(lián)分析，把海量的原始日志轉換為直觀的、能夠為人所理解的、可能對網(wǎng)絡造成危害的安全事件?；诙嘣慈罩镜木W(wǎng)絡安全態(tài)勢感知采用基于相似度的報警關聯(lián)可以較好地控制關聯(lián)后的報警數(shù)量，有利于減少復雜度。其處理過程是：

首先，提取報警日志中的主要屬性，形成原始報警，再通過重復報警聚合生成聚合報警，對聚合報警的各個屬性定義相似度的計算方法，并分配權重，計算兩個聚合報警的相似度，通過與相似度閥值的比較來決定是否對聚合報警進行超報警，最終輸出屬于同一類報警的地址范圍和報警信息，生成安全事件。

融合分析。多源日志存在冗余性、互補性等特點，態(tài)勢感知借助數(shù)據(jù)融合技術，能夠使得多個數(shù)據(jù)源之間取長補短，從而為感知過程提供保障，以便更準確地生成安全態(tài)勢。經(jīng)過單源日志報警關聯(lián)過程，分別得到各自的安全事件。

態(tài)勢要素分析。通過對網(wǎng)絡入口處安全設備日志的安全分析，得到的只是進入目標網(wǎng)絡的可能的攻擊信息，而真正對網(wǎng)絡安全狀況產(chǎn)生決定性影響的安全事件，則需要通過綜合分析攻擊知識庫和具體的網(wǎng)絡環(huán)境進行最終確認。主要分為三個步驟：一是通過對大量網(wǎng)絡攻擊實例的研究，得到可用的攻擊知識庫，主要包括各種網(wǎng)絡攻擊的原理、特點以及它們的作用環(huán)境等；二是分析關鍵主機上存在的系統(tǒng)漏洞和承載的服務的可能漏洞，建立當前網(wǎng)絡環(huán)境的漏洞知識庫分析當前網(wǎng)絡環(huán)境的拓撲結構、性能指標等得到網(wǎng)絡環(huán)境知識庫；三是通過漏洞知識庫來確認安全事件的有效性，也即對當前網(wǎng)絡產(chǎn)生影響的網(wǎng)絡攻擊事件。在網(wǎng)絡安全事件生成和攻擊事件確認的過程中，提取出用于對整個網(wǎng)絡安全態(tài)勢進行評估的態(tài)勢要素主要包括整個網(wǎng)絡面臨的安全威脅、分支網(wǎng)絡面臨的安全威脅、主機受到的安全威脅以及這些威脅的程度等。

3 安全風險態(tài)勢感知的預警分析技術

對于海量網(wǎng)絡安全日志信息，僅通過網(wǎng)絡安全設備提供的網(wǎng)絡安全日志分析網(wǎng)絡安全事件通常是滯后的，因此利用大數(shù)據(jù)分析技術針對海量網(wǎng)絡安全日志 數(shù)據(jù)進行深層次的分析，從中發(fā)現(xiàn)有價值的信息。發(fā)現(xiàn)數(shù)據(jù)中存在的關系和規(guī)則，根據(jù)現(xiàn)有的數(shù)據(jù)預測未來的發(fā)展趨勢，從海量的安全數(shù)據(jù)中發(fā)現(xiàn)潛在的安全威脅和攻擊。

網(wǎng)絡安全事件預警分析技術采用基于動態(tài)基線的方法并結合數(shù)據(jù)挖掘算法進行預警分析。通過設置的20種指標項，利用以存儲的海量日志數(shù)據(jù)獲取網(wǎng)絡安全事件的標準差及標準誤差，最終針對指標項計算其置信區(qū)間，系統(tǒng)針對存儲的歷史數(shù)據(jù)進行機器學習，分析日志特征并對于置信區(qū)間進行動態(tài)規(guī)則設置，利用置信區(qū)間及置信區(qū)間規(guī)則，分析實時采集的日志數(shù)據(jù)，如果在置信區(qū)間范圍外的數(shù)據(jù)或置信區(qū)間內(nèi)匹配異常場景的數(shù)據(jù)進行攻擊場景及資產(chǎn)脆弱性關聯(lián)分析，為用戶提供對應的預警信息。預警分為安全事件預警和重要信息系統(tǒng)預警。

安全事件預警流程為當發(fā)生安全事件時，首先判定事件等級，根據(jù)事件等級選擇通知相應的負責人處理，處置完成后判斷系統(tǒng)運行是否正常，如果正常則通知系統(tǒng)管理員填寫信息安全事件和系統(tǒng)故障處理記錄單并結束流程，并將此次處理填入值班記錄；如果處置完成后系統(tǒng)沒有正常運行，則重新判斷事件等級進行處理。

重要信息系統(tǒng)預警流程為當發(fā)生系統(tǒng)故障時，首先判斷故障等級，根據(jù)故障等級選擇通知相應的負責人處理，處置完成后判斷系統(tǒng)運行是否正常，如果正常則通知系統(tǒng)管理員填寫信息安全事件和系統(tǒng)故障處理記錄單并結束流程，并將此次處理填入值班記錄；如果處置完成后系統(tǒng)沒有正常運行，則重新判斷故障等級進行處理。

4 尚存在的技術難題分析

由于目前用戶普遍網(wǎng)絡規(guī)模較大，結構復雜，網(wǎng)絡數(shù)據(jù)還存在實時可變的特征，網(wǎng)絡系統(tǒng)安全態(tài)勢的可視化是實現(xiàn)網(wǎng)絡態(tài)勢感知的難點。基于主機的數(shù)據(jù)顯示和基于網(wǎng)絡的數(shù)據(jù)顯示是態(tài)勢可視化的兩大方面，可視化的結果既要反應區(qū)域內(nèi)主機網(wǎng)絡安全威脅等級，也要從宏觀上對整個網(wǎng)絡的安全態(tài)勢進行描繪。可視化還需考慮人機交互的可操作性，基于多數(shù)據(jù)源，多視圖的可視化系統(tǒng)才能滿足態(tài)勢可視化要求。

5 總結

網(wǎng)絡安全態(tài)勢感知基于全網(wǎng)海量多源異構各類告警數(shù)據(jù)、業(yè)務數(shù)據(jù)、網(wǎng)絡數(shù)據(jù)、網(wǎng)管與運維數(shù)據(jù)和內(nèi)控數(shù)據(jù)，通過數(shù)據(jù)的集中分析，構建安全場景分析，實現(xiàn)安全風險與態(tài)勢的實時感知。將事前風險合規(guī)性管理運維流程成果量化、事中發(fā)生的各類安全告警和異常行為及時感知，事后網(wǎng)管系統(tǒng)監(jiān)測到的業(yè)務異動和事件處置運維流程情況，全部匯總統(tǒng)一成風險感知的業(yè)務數(shù)據(jù)鏈。