淺談大數據技術在網絡安全分析中的應用

韋俊旭

（廣州南洋理工職業(yè)學院，廣東 廣州 510900）

一、大數據技術與網絡安全分析概述

現(xiàn)代計算機互聯(lián)網已經發(fā)展成為當前和未來支持、引領中國經濟快速發(fā)展的重要動力，它促進了社會主義生產和人民生活方式的變化，激發(fā)了網絡市場的活力，為促進我國生產發(fā)展和科技進步增添了新動能。但同時我們也需要更加意識到，隨著現(xiàn)代計算機互聯(lián)網、特別是智能移動互聯(lián)網在我們這個世界中廣泛普及與應用,在互聯(lián)網的世界中每一天都有可能會產生大量網絡信息材料。這些網絡信息材料形式多種多樣,來源繁瑣,甚至還摻雜著大量可能會直接危及我們的個人隱私、威脅我們國家安全的信息,再加之勒索病毒、木馬和部分黑客惡意侵害和威脅的影響,網絡安全問題也變得愈發(fā)嚴重,這對于網絡安全的分析工作提出了一種新技術要求。

大數據技術作為一種新興的網絡安全信息處理方法和手段，在收集和處理網絡安全信息方面表現(xiàn)出了其巨大的規(guī)模性、多樣性、結構和形式獨特的特點和優(yōu)勢。而且，我國的網絡安全大數據技術還處于不斷發(fā)展和完善的歷史階段，技術和能力都在不斷提高和升級，這直接決定了其在網絡安全信息分析領域的廣泛應用。

二、大數據技術在網絡安全分析領域的應用意義

（一）網絡安全分析應用大數據技術的重要性

為了改善和提高互聯(lián)網網絡信息安全的精度和準確率，就必須采取更多的方法。網絡安全分析中利用大數據技術在網絡上的應用主要集中于分析數據，傳統(tǒng)的對于數據信息進行傳遞的技術已經滿足不了越來越多人日益擴展的需求。而且大數據技術可以在海量、沒有一定規(guī)律的信息處理中仍舊能夠很好地保證其效率與準確度，這些都是傳統(tǒng)的信息技術所做不到的。因此為了有效地保障信息安全，就必須要求大數據技術在企業(yè)中得到廣泛的運用。大數據技術可以有效地提升網絡安全性分析系統(tǒng)的內部存儲和管理能力。由于網絡的信息復雜、巨大，要把這些海量信息進行集中、分析和存儲，這就必然需要互聯(lián)網和大數據技術的協(xié)助。并且，大數據技術在網絡安全方面的運用，可以有效地降低網絡維護和安全管理的成本。大數據所采用的結構化數據庫方式較之于傳統(tǒng)結構化的數據庫方式效率更好，對硬件的要求低，成本更低。

（二）大數據技術在網絡安全分析領域的應用優(yōu)勢

1.分析資料更加詳實

網絡安全問題涉及到諸多影響因素，涉及到與整個網絡運行密切相關的各種流程和節(jié)點。它要求我們廣泛收集和分析網絡世界中可能產生的各種海量信息數據。然而，傳統(tǒng)的大數據分析技術不能完全滿足這項技術的要求。一般只圍繞具體問題收集和分析數據，這嚴重制約了網絡安全分析結果的準確性，其工作價值無法得到保證。

大數據技術的發(fā)展是為了有效解決網絡上數量眾多的、非結構化數據的采集和處理問題。利用這項技術，我們可以廣泛收集和處理網絡世界中人類產生的各種海量信息，這顯然在很大程度上增加了豐富的分析數據，我們的研究結論也變得更加可靠。

2.提升分析效率

與其他大數據技術方法相比，傳統(tǒng)的數據處理方法和手段主要是處理具有結構和形態(tài)多樣性的大規(guī)模復雜信息，分析和處理這些數據的效率相對較低。我們的網絡安全分析基于移動互聯(lián)網的應用領域。網絡世界的每一個地方都會收集到大量與安全密切相關的信息，這就導致了以往傳統(tǒng)數據處理技術中所存在的不利局面，阻礙了我們工作效率的提高?；诖?，要加強大數據技術在互聯(lián)網安全分析等新技術領域的實際應用，特別是加強基于大數據技術的信息分析平臺的建設和運營，通過分布式數據采集獲得的各種海量異構數據資源進行分布式存儲和并行計算，全面提升大數據的綜合處理能力和效率。

3.降低數據處理成本

信息數據的采集可以通過對現(xiàn)有的網絡基礎設施進行微小的改動直接實現(xiàn)，信息數據的采集可以通過移動終端直接完成。由于大部分數據處理任務都安裝在云端，本地人員無需部署大量計算機和計算機分析資源，有效降低了系統(tǒng)的運營成本。

4.提升分析結果的可靠度

與傳統(tǒng)的數據處理技術主要針對特定問題、進行無限有限的數據采集和分析相比，大數據技術的優(yōu)勢在于在數據吞吐量方面具有海量數據的特點。它使我們能夠廣泛收集與當前互聯(lián)網安全密切相關的各種信息，也可以從不同層面收集、對從不同角度收集的數量眾多的異構化數據進行耦合分析，計算結果明顯更加準確，比從單個角度和圍繞特定問題計算的結果更準確和完整。

（三）大數據技術在網絡安全平臺中的構架方案

根據網絡安全分析的特點，大數據技術的安全防護平臺構架方法如下：第一，在大數據技術中的數據采集層中，系統(tǒng)會按照分布式的方法進行數據流以及用戶信息的采集，并及時發(fā)現(xiàn)網絡安全系統(tǒng)中的隱患；第二，大數據存儲層，對于該種網絡平臺系統(tǒng)，通過大數據技術的運用，可以將分布式文件系統(tǒng)的構建進行處理，確定長期、全量的信息存儲方案，并利用結構化以及非結構化的平臺進行數據資源的統(tǒng)一存儲，提高網絡安全的管理效率。第三，將大數據技術運用在網絡安全平臺中，通過數據挖掘分析層的設計，系統(tǒng)會按照網絡安全分析狀況，進行數據的實時分析以及安全事件的挖掘，避免網絡異?，F(xiàn)象的出現(xiàn)，提高各項網絡安全數據的處理效率。第四，在數據呈現(xiàn)層的設計中，通過大數據技術的結構化處理中，不僅可以進行網絡安全數據的查詢及定位處理，也可以利用多維度的方案確定網絡安全的運行狀態(tài)，充分保證網絡系統(tǒng)的安全、穩(wěn)定運行。

三、大數據技術在網絡安全分析中的應用

（一）信息的采集

在對數據分析過程中可以將信息的采集作為基本條件，需要結合網絡安全的需求科學合理的采集數據信息，大數據技術在信息采集階段的應用十分必要，信息采集作為信息整合與分析的前提基礎，完善采集工作板與后續(xù)工作的順利開展。在大數據技術的采集階段應用匯總，其常見的技術手段有Flume、Kafka、Storm 技術，以便于大數據進行各種分布式的采集。這種數據采集的方式比較高效，其采集的速度可以達到每秒內數百兆左右，從而使得它們在對各種日志數據信息等進行處理的過程中得以獲得顯著地成效。這幾項信息采集技術的應用會將所采集信息中有價值的信息分離出來，再講分離出來的價值信息進行重新整合與分析，最終生成數據報告和完成數據傳輸工作。需要強調的是，在最終生成的數據傳輸工作前，其數據要進行檢查和分類，確保數據格式的正確性能夠符合消費者所需服務的要求。

（二）信息的儲存

能否有效地存儲安全的信息和數據，是我們衡量網絡安全分析的一個重要產趙武，信息的收集和存儲對于互聯(lián)網網絡安全的分析來講很重要，而且在實際中運用到了大數據技術就能夠通過多種形式采取不同的存儲手段來處理和應對不同類型的信息和數據，從而大幅度地提升了數據的查詢與存儲的順利性以及其工作效率。在信息的存儲過程中，必須要考慮到數據信息的類別和數量，信息的存儲一方面要確保數據信息分類的科學性，另外，在存儲量上一定要確保容量，確保數據存儲的安全穩(wěn)定不易丟失，只有明確好這些點才能夠選擇最為合適的存儲方法，以便提高數據的查詢速度和存儲效率。在網絡組織架構的計算過程中，必須要考慮到安全實施的標準，把分布式作為依據，在數據的設置和分析過程中，要注重節(jié)點上的計算，使用腳本挖掘來更好地分析網絡的安全級別，通過列式的方式存儲數據，把需要分析的數據資源放到每一個計算的節(jié)點中，系統(tǒng)在此就會對其進行快速的分析，并且完成信息的統(tǒng)計工作，最后再通過流式的方式把分析的結果放在數據庫當中。

（三）數據的檢索

數據的檢索是在數據分類存儲的基礎上進行的，通過對數據信息進行檢索有利于促進網絡安全數據分析工作的順利進行，科學合理的檢索信息，從而使得使用者通過查找關鍵詞的方式即可查詢到所需數據信息，能夠提升網絡安全分析的性能，同時在數據分析質量提升方面起著舉足輕重的作用。在開展網絡安全分析工作過程中，有必要檢索數據信息，通常使用MapReduce 方法對數據進行檢索，把提出的查詢請求傳送到各個處理節(jié)點，然后將查詢請求進行有效處理，接著采用分布式計算，可以加快相關數據信息的檢索。檢索速度的提高有利于促進網絡安全數據分析工作的順利進行，同時在網絡安全性能提升方面發(fā)揮著至關重要的作用。

（四）數據的分析

數據信息的分析是指對于收集存儲信息的梳理和預判，數據的整理和預判大致可以劃分為兩類，一種是對于實時數據的整理和預判，另一種則是對于歷史資料的整理和預判。結合考慮到網絡安全問題，對于網絡中實時信息和數據的分析我們可以采取流式進行計算，然后利用關鍵分析算法、CEP 技術等手段來輔助進行分析，最終分辨出當下傳播的信息是否屬于或可能成為網絡安全問題。對于歷史數據的分析，主要使用分布式存儲和計算方法。為了深入分析網絡中的歷史數據，我們還可以考慮在處理時使用分布式存儲和計算方法。這種信息處理方法是為了更好地深入收集數據，規(guī)避風險，從而有效判斷當前或未來需要收集的信息，實現(xiàn)網絡安全控制。

（五）構建基于大數據分析技術的網絡安全平臺

在了解各種網絡安全設備、構建一套網絡安全防護體系的基礎上，我們還需要構建基于大數據分析技術的網絡安全平臺。網絡安全平臺的建設分為數據采集層和數據處理層。數據信息采集層分為數據信息分析采集層和大數據技術信息存儲層，數據處理層分為數據挖掘層、分析層和顯示層。在這些層面內能夠對所得到用戶各式各樣的數據信息展開逐一分類，以方便對這海量數據的量化存儲。至于展示層就是通過大數據分析技術對數據進行特定的檢索，并將其可視化，最后將安全規(guī)范數據多維度的空間模型來呈現(xiàn)網絡的安全性?；诖髷祿治黾夹g網絡安全平臺的構建在運行期間通常會采用Hive 的方式來統(tǒng)計和分析所得到的海量數據，通過分析、檢索得到的數據可存儲在HDFS 內。對于數據挖掘層而言，可采取基于Hadoop 技術的機械化數據挖掘技術(對于海量的靜態(tài)數據而言，Hadoop 技術對數據的處理速度要遠遠大于Spack 技術)，對于海量數據進行深度挖掘與整理，并且能夠按照數據分析所引用的事件流來進行特殊化分析工作。在最后可以采用CPE 技術來對平臺內的不同類型、不同時間的數據加以分析，并且能夠較好幫助建設關系庫，從而更好實現(xiàn)平臺對數據處理的整體性，以保障網絡環(huán)境的安全與防范。

四、結束語：

我們國家的經濟社會正在蓬勃發(fā)展,科技也正在飛躍。而這種網絡安全的問題其實也就是一種網絡信息安全的問題。任何一項個人信息在互聯(lián)網上的披露對我們個人、社會都有很大的威脅。傳統(tǒng)網絡安全分析方法采用的技術已經不適合當今時代的技術水平。大數據技術的深入應用已經是中國移動互聯(lián)網迅猛發(fā)展的一個重要象征。大數據技術目前應用廣泛,效果明顯，能有效提高工作效率，節(jié)約成本。將先進的大數據技術應用于網絡安全分析，可以有效提高網絡安全性，為用戶提供良好的生活和工作環(huán)境。