關于網(wǎng)絡安全分析的大數(shù)據(jù)技術實踐解析

◆許茂森

關于網(wǎng)絡安全分析的大數(shù)據(jù)技術實踐解析

◆許茂森

(菏澤職業(yè)學院 山東 274000)

網(wǎng)絡信息技術的迅速發(fā)展，使得人們的生活生產(chǎn)變得更為方便，但是面對呈井噴式增長的數(shù)據(jù)，再加上其復雜程度越來越高，都使得網(wǎng)絡安全面臨較大威脅，網(wǎng)絡安全問題已經(jīng)引起了人們的廣泛重視。本文著眼于大數(shù)據(jù)技術應用于網(wǎng)絡安全分析中的重要性，對其實踐應用進行了分析，并探究了大數(shù)據(jù)技術背景下網(wǎng)絡安全平臺的建設策略，希望對構建安全網(wǎng)絡環(huán)境具有幫助作用。

網(wǎng)絡安全分析；大數(shù)據(jù)技術；重要性；平臺建設

0 引言

網(wǎng)絡化、信息化時代背景下，人們對互聯(lián)網(wǎng)的依賴程度越來越高，但是網(wǎng)絡信息安全問題也變得更為嚴峻，近些年所發(fā)生的網(wǎng)絡安全事件屢見不鮮，如2017年老牌信用機構Equifax遭黑客攻擊，1.43億用戶信息被盜事件，全球爆發(fā)WannaCrypt勒索病毒等。面對愈發(fā)復雜的網(wǎng)絡環(huán)境以及海量增長的數(shù)據(jù)信息，傳統(tǒng)網(wǎng)絡安全防護技術已經(jīng)無法滿足實際需求，將大數(shù)據(jù)技術加以充分應用，構建網(wǎng)絡安全平臺，能夠顯著增強網(wǎng)絡安全等級，是當下研究的熱點。

1 大數(shù)據(jù)技術應用于網(wǎng)絡安全分析中的重要性

大數(shù)據(jù)技術具有有數(shù)據(jù)量大、種類繁多、速度快、價值密度低等特點，在網(wǎng)絡安全分析中有著較高的應用價值，其重要性具體體現(xiàn)在以下幾方面。第一，大數(shù)據(jù)技術可以拓寬數(shù)據(jù)存儲容量，滿足海量數(shù)據(jù)安全分析需求，并且在對多源數(shù)據(jù)和多階段組合進行分析時，在保證運算效率的同時，還能確保數(shù)據(jù)的完整性。第二，大數(shù)據(jù)技術能夠對網(wǎng)絡數(shù)據(jù)進行多層級、多精度分析，理清數(shù)據(jù)間的復雜關系，找出其中潛在的安全隱患和風險，網(wǎng)絡安全分析精度大幅提升。第三，利用大數(shù)據(jù)分析技術，可以對異構數(shù)據(jù)進行存儲和分析，顯著提高了網(wǎng)絡安全分析速率，能夠在更短時間內(nèi)發(fā)現(xiàn)并解決網(wǎng)絡安全問題[1]。第四，傳統(tǒng)網(wǎng)絡安全平臺為結構化數(shù)據(jù)庫，而基于大數(shù)據(jù)技術的網(wǎng)絡安全平臺為分布式數(shù)據(jù)庫，具有良好的經(jīng)濟效益，設備成本較低且性能良好，減少了系統(tǒng)維修費用，降低了網(wǎng)絡安全平臺構建成本。

2 網(wǎng)絡安全分析的大數(shù)據(jù)技術實踐

將大數(shù)據(jù)技術應用于網(wǎng)絡安全分析方面，可以實現(xiàn)對日志和流量的集中化存儲與分析，深層挖掘數(shù)據(jù)之間的關系，增強了網(wǎng)絡安全檢測及防防護能力。

2.1 數(shù)據(jù)采集

網(wǎng)絡安全分析需要依托全面、完整的信息數(shù)據(jù)，在應用大數(shù)據(jù)技術時，應先完成數(shù)據(jù)采集。對于每秒數(shù)百兆的日志信息來講，可以利用Chukwa等工具對其進行采集；對于全數(shù)量數(shù)據(jù)來講，可以使用傳統(tǒng)數(shù)鏡向方式對其進行采集[2]。

2.2 數(shù)據(jù)存儲

完成數(shù)據(jù)采集后，需依托數(shù)據(jù)庫對其進行集中存儲，在大數(shù)據(jù)技術的幫助下，數(shù)據(jù)類型存在差異時，可以采用與其相匹配的方式完成存儲，不僅能夠保證數(shù)據(jù)之間的明確分類，又可以方便數(shù)據(jù)查詢。數(shù)據(jù)類型為即時數(shù)據(jù)時，可采用列式存儲方法，先運用流式計算方式進行分析，然后存儲所得結果。數(shù)據(jù)類型為日志時，為提高數(shù)據(jù)查詢效率，可選用列式存儲方法完成存儲。另外，當數(shù)據(jù)經(jīng)過標準化處理后，需要先對其進行處理，所用方法為分布式計算方法，然后再采用列式存儲方法進行存儲。

2.3 數(shù)據(jù)查詢

將大數(shù)據(jù)技術應用于網(wǎng)絡安全分析中去，就數(shù)據(jù)查詢來講，可依托MapReduce完成[3]。系統(tǒng)發(fā)出查詢指令后，在對應的節(jié)點位置完成處理，并將多種結果加以整合，然后可以通過檢索得到自己所需數(shù)據(jù)信息。相較于傳統(tǒng)網(wǎng)絡安全分析平臺，這種數(shù)據(jù)查詢方式的指令反應及處理更為迅速，大大提高了查詢效率。

2.4 數(shù)據(jù)分析

基于大數(shù)據(jù)技術的網(wǎng)絡安全分析平臺，當數(shù)據(jù)類型不同時，所用分析處理方法也是不一樣的。首先，如果數(shù)據(jù)類型為實時數(shù)據(jù)時，在對其進行分析和處理時，主要用到了流式計算方式、CEP技術、關聯(lián)分析算法等，可以及時發(fā)現(xiàn)潛在的安全隱患及威脅。其次，如果數(shù)據(jù)類型為歷史數(shù)據(jù)、統(tǒng)計結果時，在實效性方面要求并不嚴格，可對其進行離線處理，完成更為深入、全面的分析，所用方法主要為分布式存儲與計算，既能夠發(fā)現(xiàn)其中的風險隱患，又可以找出攻擊來源。

2.5 復雜數(shù)據(jù)處理

面對越來越復雜以及關聯(lián)性越來越強的數(shù)據(jù)，以大數(shù)據(jù)技術為依托的網(wǎng)絡安全分析平臺，也可以更加迅速、精準地對其進行處理，包括多源異構數(shù)據(jù)、系統(tǒng)安全隱患以及關聯(lián)性攻擊行為等。以網(wǎng)絡安全問題中常見的僵尸網(wǎng)絡為例，借助大數(shù)據(jù)技術，不但能夠從流量和DNS訪問特性出發(fā)，而且能進行發(fā)散性關聯(lián)分析，同時結合多方面的數(shù)據(jù)信息，可對數(shù)據(jù)進行多維度、深層次、全方位分析，確保了數(shù)據(jù)處理的有效性。

3 大數(shù)據(jù)技術背景下網(wǎng)絡安全平臺建設

基于大數(shù)據(jù)技術所體現(xiàn)出的多方面優(yōu)勢，已經(jīng)在網(wǎng)絡安全分析方面得到了越來越廣泛的應用，在構建網(wǎng)絡安全平臺時，需要科學設計其基礎構架，并嚴格把控關鍵技術環(huán)節(jié)，充分發(fā)揮其應用價值。

3.1 平臺構架

以大數(shù)據(jù)技術為依托，所搭建的網(wǎng)絡安全平臺分為四個層級，包括數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)挖掘分析層、數(shù)據(jù)呈現(xiàn)層，四個層級功能各不相同，需要分別對其進行分析。首先，數(shù)據(jù)采集層主要負責采集各種類型數(shù)據(jù)，包括即時數(shù)據(jù)、用戶身份信息、日志等，實現(xiàn)方式為分布式采集。其次，數(shù)據(jù)存儲層的能夠實現(xiàn)海量信息的長期保存，并采用結構化、半結構化、非結構化方式對其進行統(tǒng)一存儲，使用均衡算法將現(xiàn)實數(shù)據(jù)均勻分布在分布式文件系統(tǒng)上[4]。另外，網(wǎng)絡安全異常的發(fā)現(xiàn)及溯源，則是在數(shù)據(jù)挖掘分析層完成，具體方法包括特征提取、情境分析、關聯(lián)分析等，可通過檢索查詢對異常網(wǎng)絡行為進行準確定位。最后，數(shù)據(jù)呈現(xiàn)層則可以通過可視化形式將大數(shù)據(jù)分析結果呈現(xiàn)出來，通過多種維度展現(xiàn)網(wǎng)絡安全狀態(tài)。

3.2 關鍵技術

構建網(wǎng)絡安全平臺時，所用到的關鍵技術主要有數(shù)據(jù)采集技術、數(shù)據(jù)存儲技術、數(shù)據(jù)分析技術等。此次研究所用數(shù)據(jù)采集技術包括Flume、Kafka、Storm等，F(xiàn)lume能夠采用分布式方式，對來源不同的數(shù)據(jù)進行收集和整理，經(jīng)過處理后將其傳輸至定制方。Kafka中應用了Zookeeper平臺，可實現(xiàn)數(shù)據(jù)的集群配置管理，能夠作為一個高吞吐量的分布式發(fā)布訂閱系統(tǒng)應用，平衡數(shù)據(jù)處理環(huán)節(jié)的系統(tǒng)負荷。完成數(shù)據(jù)采集后，采用HDFS分布式文件系統(tǒng)對其進行存儲，其容錯性和吞吐量都比較高，使用元數(shù)據(jù)管理節(jié)點文件系統(tǒng)對空間命名，數(shù)據(jù)文件保存至數(shù)據(jù)節(jié)點，基本存儲單位為64兆字節(jié)的數(shù)據(jù)塊。數(shù)據(jù)文件會隨著元數(shù)據(jù)節(jié)點的增多而減少，兩者之間呈反比關系，多個文件同時被訪問時，會對系統(tǒng)性能造成影響，而HDFS分布式文件系統(tǒng)的應用可有效避免這種問題。在數(shù)據(jù)分析環(huán)節(jié)，該平臺所用技術為Hivc，對于非結構化數(shù)據(jù)的檢索，所用語言為HiveQL，與HDFS和HBase匹配性良好。API的封裝則是采用Hive完成，使用定制的插件開發(fā)和實現(xiàn)各種數(shù)據(jù)的處理、分析與統(tǒng)計。

4 結束語

將大數(shù)據(jù)技術應用于網(wǎng)絡安全分析領域，不僅能夠提高分析速率、分析精準度，而且還可以降低技術成本，有著多方面顯著優(yōu)勢，是未來網(wǎng)絡安全防護的必然發(fā)展方向。在實際應用時，應采用層級結構構建網(wǎng)絡安全平臺，就數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)分析等關鍵技術環(huán)節(jié)進行重點把控，以此來改善當前網(wǎng)絡安全分析中的缺陷與不足，提高網(wǎng)絡安全等級。

[1]孫玉.淺談網(wǎng)絡安全分析中的大數(shù)據(jù)技術應用[J].網(wǎng)絡安全技術與應用，2017.

[2]王帥，汪來富，金華敏等.網(wǎng)絡安全分析中的大數(shù)據(jù)技術應用[J].電信科學，2015.

[3]賈衛(wèi).網(wǎng)絡安全分析中的大數(shù)據(jù)技術應用探討[J].網(wǎng)絡安全技術與應用，2016.

[4]萬明秀，宋秋蓮.網(wǎng)絡安全分析中的大數(shù)據(jù)技術應用探討[J].無線互聯(lián)科技，2017.