大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

◆吳世嘉 李言鵬

大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

◆吳世嘉1李言鵬2

(1. 92269部隊(duì) 浙江 316000；2.31603部隊(duì) 江蘇 221000)

近年來(lái)，隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，人們對(duì)網(wǎng)絡(luò)信息的安全性越來(lái)越重視，網(wǎng)絡(luò)安全分析的規(guī)模不斷增長(zhǎng)，其中大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用逐漸成為業(yè)內(nèi)研究的熱點(diǎn)。本文從網(wǎng)絡(luò)安全分析的需求入手，分析了應(yīng)用大數(shù)據(jù)技術(shù)的必要性，進(jìn)而從信息的采集、存儲(chǔ)、檢索、分析等方面深入探討了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用，最后對(duì)基于大數(shù)據(jù)的網(wǎng)絡(luò)安全分析平臺(tái)建設(shè)問題進(jìn)行了探討，希望為網(wǎng)絡(luò)安全環(huán)境的創(chuàng)建提供一定借鑒。

大數(shù)據(jù)技術(shù)；網(wǎng)絡(luò)安全分析；應(yīng)用

0 引言

隨著信息時(shí)代的到來(lái)，大數(shù)據(jù)技術(shù)滲透到了各個(gè)行業(yè)領(lǐng)域，其在網(wǎng)絡(luò)安全中的應(yīng)用更是起到了非常重要的作用。當(dāng)前來(lái)說(shuō)，隨著人們對(duì)網(wǎng)絡(luò)安全問題的越來(lái)越重視，怎樣才能更加有效地應(yīng)用大數(shù)據(jù)技術(shù)已成為業(yè)內(nèi)研究的熱點(diǎn)。基于此，本文就大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用展開研究，希望能夠有效地提高網(wǎng)絡(luò)安全分析的效率和質(zhì)量。

1 應(yīng)用大數(shù)據(jù)技術(shù)的必要性

信息網(wǎng)絡(luò)技術(shù)的發(fā)展為人們的工作、生活帶來(lái)了極大的便利，但也引發(fā)了諸多問題，比如：網(wǎng)絡(luò)架構(gòu)日漸復(fù)雜，數(shù)據(jù)來(lái)源日益豐富，信息數(shù)量呈爆炸式增長(zhǎng)，已經(jīng)從TB躍進(jìn)到PB數(shù)量級(jí)，在細(xì)節(jié)上更加細(xì)致，影響的范圍越來(lái)越大，這就給網(wǎng)絡(luò)安全分析帶來(lái)了較大的難度；網(wǎng)絡(luò)系統(tǒng)的性能不斷提高，信息傳送速度越來(lái)越快，對(duì)安全數(shù)據(jù)的采集有了更高的要求；此外，網(wǎng)絡(luò)的開放性、兼容性也造成了越來(lái)越多的安全漏洞。而且，許多不法分子為謀取私利而對(duì)網(wǎng)絡(luò)系統(tǒng)進(jìn)行頻繁的攻擊，這就要求我們的網(wǎng)絡(luò)安全分析必須具備針對(duì)性的應(yīng)對(duì)手段。有關(guān)調(diào)查發(fā)現(xiàn)，未來(lái)的信息網(wǎng)絡(luò)離不開大數(shù)據(jù)技術(shù)的應(yīng)用，隨著研究的深入其在多個(gè)行業(yè)領(lǐng)域都獲得了應(yīng)用。尤其是在網(wǎng)絡(luò)安全分析中，大數(shù)據(jù)技術(shù)的應(yīng)用有著速度快、種類多、覆蓋范圍廣等優(yōu)點(diǎn)，能夠充分滿足當(dāng)前對(duì)安全數(shù)據(jù)分析的高效率、大容量的要求。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

對(duì)于網(wǎng)絡(luò)安全分析來(lái)說(shuō)，主要涉及到日志和流量等關(guān)鍵性數(shù)據(jù)，再加上系統(tǒng)配置、訪問控制、應(yīng)用報(bào)告等輔助性數(shù)據(jù)信息。通過大數(shù)據(jù)技術(shù)的應(yīng)用，能夠?qū)⒎浅７稚⒌娜罩?、流量等匯集起來(lái)，并采用靈活的儲(chǔ)存、分析技術(shù)手段，大大地提高安全分析的效率，降低分析的成本。而且，還可以使用信息關(guān)聯(lián)、場(chǎng)景關(guān)聯(lián)等技術(shù)進(jìn)行深層次的分析，對(duì)各類事件之間的關(guān)系做出準(zhǔn)確的判斷，從而能夠準(zhǔn)確的預(yù)估網(wǎng)絡(luò)攻擊、數(shù)據(jù)漏洞等問題的發(fā)生，進(jìn)一步提高防御的主動(dòng)性。

2.1 信息的采集

一般來(lái)說(shuō)，信息的采集可以選擇Chukwa等技術(shù)工具，利用分布采集的方式獲取到各種類型的日志信息；對(duì)于全流量數(shù)據(jù)的采集，則可以采取常見的數(shù)據(jù)鏡像的方法。

2.2 信息的存儲(chǔ)

考慮到數(shù)據(jù)的復(fù)雜性，以及應(yīng)用形式的多樣性，想要實(shí)現(xiàn)高效的信息存儲(chǔ)，并不斷提升檢索的效率，就要針對(duì)不同的數(shù)據(jù)類型采取不同的存儲(chǔ)方法。

對(duì)于部分原始數(shù)據(jù)來(lái)說(shuō)，比如系統(tǒng)中的日志、流量等，可以采用GBase、Hbase等技術(shù)，檢索速度較快，能夠?qū)崿F(xiàn)查詢的快速響應(yīng)。

對(duì)于經(jīng)過標(biāo)準(zhǔn)化處理的數(shù)據(jù)，可以選擇Hahoop進(jìn)行架構(gòu)計(jì)算，將得到的數(shù)據(jù)放置到相應(yīng)的節(jié)點(diǎn)上，采用Hive等進(jìn)行分析，最終獲得統(tǒng)計(jì)、分析報(bào)告，并將結(jié)果存儲(chǔ)起來(lái)。

對(duì)于需要實(shí)時(shí)分析的數(shù)據(jù)，可以選擇Storm、Spark等方法，將得到的數(shù)據(jù)放置到相應(yīng)的節(jié)點(diǎn)上，當(dāng)經(jīng)過節(jié)點(diǎn)時(shí)能夠自動(dòng)進(jìn)行分析，獲得統(tǒng)計(jì)、分析報(bào)告，并將結(jié)果存儲(chǔ)起來(lái)。

2.3 信息的檢索

在進(jìn)行安全分析時(shí)，還要對(duì)信息實(shí)施必要的檢索，一般采用的是MapReduce方法，將提出的查詢請(qǐng)求發(fā)送到各個(gè)節(jié)點(diǎn)進(jìn)行處理，再通過分布式的計(jì)算，能夠有效地提高有關(guān)數(shù)據(jù)信息的檢索速度。

2.4 數(shù)據(jù)的分析

數(shù)據(jù)的分析一般采用的是Storm或者Spark等方法，并結(jié)合復(fù)雜問題處理及電聯(lián)分析技術(shù)。通過以上方式對(duì)實(shí)時(shí)數(shù)據(jù)信息、監(jiān)控信息進(jìn)行分析，可以覺察到任何異常行為的發(fā)生。如果面對(duì)的是非實(shí)時(shí)數(shù)據(jù)，則可采用Hadoop架構(gòu)，以及HDFS與MapReduce分布式操作方法，對(duì)可能的風(fēng)險(xiǎn)、事態(tài)進(jìn)行分析，并及時(shí)的定位攻擊源。

2.5 多源數(shù)據(jù)與多階段組合的關(guān)聯(lián)分析

大數(shù)據(jù)技術(shù)的應(yīng)用，對(duì)于存儲(chǔ)、分析效率的提高有著重要作用，實(shí)現(xiàn)了多源數(shù)據(jù)的快速分析，以及各類安全問題的關(guān)聯(lián)挖掘。比如，對(duì)僵尸網(wǎng)絡(luò)的分析，不只是結(jié)合流量同DNS來(lái)分析，還可以實(shí)現(xiàn)數(shù)據(jù)源的進(jìn)一步拓展，涉及到各種數(shù)據(jù)的集合、溯源數(shù)據(jù)的攻擊、深層次關(guān)聯(lián)外界數(shù)據(jù)等。又比如，發(fā)現(xiàn)某個(gè)設(shè)備終端被侵襲或者存在安全疏漏，能夠判斷分析其他終端是否受到類似的攻擊或者出現(xiàn)類似的漏洞，使得出現(xiàn)的隱患被及時(shí)發(fā)現(xiàn)，從而能夠提前做出有效的防范。

3 基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析平臺(tái)

3.1 平臺(tái)架構(gòu)

網(wǎng)絡(luò)安全分析平臺(tái)，主要由以下幾個(gè)部分構(gòu)成：

（1）數(shù)據(jù)采集層，主要用于采集用戶基本信息、安全事件等異常數(shù)據(jù)信息。

（2）大數(shù)據(jù)存儲(chǔ)層，主要應(yīng)用的是具有分布式特點(diǎn)的存儲(chǔ)系統(tǒng)持續(xù)存儲(chǔ)巨量的數(shù)據(jù)信息，還能實(shí)現(xiàn)各種類型數(shù)據(jù)的一致性存儲(chǔ)，采用均衡算法將龐大的數(shù)據(jù)依次存儲(chǔ)在分布式系統(tǒng)中，同時(shí)也為后續(xù)的數(shù)據(jù)檢索提供了方便。

（3）數(shù)據(jù)挖掘分析層，主要用于對(duì)數(shù)據(jù)進(jìn)行分析，探討其關(guān)聯(lián)性，并實(shí)現(xiàn)特征的提取，從而迅速挖掘出存在安全隱患的事件，察覺各類異常行為并探尋其根源，同時(shí)能夠?qū)﹃P(guān)鍵數(shù)據(jù)進(jìn)行排查以及定位。

（4）數(shù)據(jù)呈現(xiàn)層，主要用于實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)的可視化呈現(xiàn)，在多層級(jí)狀態(tài)下展現(xiàn)網(wǎng)絡(luò)系統(tǒng)的狀態(tài)。

3.2 平臺(tái)實(shí)現(xiàn)的有關(guān)技術(shù)

（1）信息采集。該平臺(tái)采用的是Flume、Kafka等相結(jié)合的方法實(shí)現(xiàn)有關(guān)信息的采集。Flume的使用，對(duì)于安全數(shù)據(jù)的整合、分析非常有利，表現(xiàn)出較高的可用性以及穩(wěn)定性，對(duì)數(shù)據(jù)實(shí)施可靠性定制，收到來(lái)自不同源頭的數(shù)據(jù)之后，對(duì)其進(jìn)行簡(jiǎn)單的分析并傳輸給相應(yīng)的定制方。

對(duì)于活躍性較高的流式數(shù)據(jù)，可將Kafka用作是數(shù)據(jù)采集與處理操作之間的緩存。Kafka提供的是具有一定整體性的邏輯服務(wù)，使其發(fā)展為一個(gè)具有分布式特征的數(shù)據(jù)系統(tǒng)。對(duì)于分布式中的數(shù)據(jù)操作，采用的是Zookeeper框架對(duì)其實(shí)施有效的管理，最終實(shí)現(xiàn)均衡的目標(biāo)。

（2）信息存儲(chǔ)。采用的是HDFS進(jìn)行信息的存儲(chǔ)，該技術(shù)有著很高的吞吐量以及容錯(cuò)性，運(yùn)用元數(shù)據(jù)對(duì)節(jié)點(diǎn)系統(tǒng)進(jìn)行管理，相應(yīng)的節(jié)點(diǎn)被用來(lái)存放關(guān)聯(lián)數(shù)據(jù)，此處是將64兆字節(jié)的數(shù)據(jù)塊用作最基礎(chǔ)的存儲(chǔ)單元。有關(guān)節(jié)點(diǎn)的數(shù)量與文件的大小成反比關(guān)系，在某一時(shí)間段內(nèi)假如有過多的訪問量，必然會(huì)影響到所在系統(tǒng)的整體性能。因此，要想提高信息處理的效率，在該平臺(tái)中選用的是HDFS存儲(chǔ)模塊，將得到的數(shù)據(jù)進(jìn)行歸納、整理，確保每一個(gè)文件的大小都符合要求。

（3）數(shù)據(jù)分析。在這里采用的是Hive實(shí)施數(shù)據(jù)分析，應(yīng)用HiveQL語(yǔ)言以充分滿足對(duì)于非結(jié)構(gòu)化的數(shù)據(jù)實(shí)施快速檢索的要求。采用Hive對(duì)API實(shí)施必要的封裝，選擇預(yù)先定制的各類插件來(lái)實(shí)現(xiàn)各種數(shù)據(jù)的處理、分析功能。

對(duì)于數(shù)據(jù)的深度挖掘，采用的是Mahout實(shí)現(xiàn)有關(guān)Hadoop的學(xué)習(xí)模式，同時(shí)對(duì)數(shù)據(jù)進(jìn)行有效的整理。考慮到還要用到數(shù)據(jù)的關(guān)聯(lián)與分析，應(yīng)用了CPE，將系統(tǒng)數(shù)據(jù)看作是不同類型的事件，對(duì)互相之間的聯(lián)系進(jìn)行深層次分析，創(chuàng)建相應(yīng)的事件關(guān)系序列庫(kù)，能夠?qū)崿F(xiàn)從簡(jiǎn)單到高級(jí)的轉(zhuǎn)換，從而在海量的數(shù)據(jù)信息中找到潛藏的安全隱患。

4 結(jié)語(yǔ)

總的來(lái)說(shuō)，大數(shù)據(jù)技術(shù)的應(yīng)用具有數(shù)據(jù)量大、覆蓋面廣等特點(diǎn)，因此被應(yīng)用到了諸多行業(yè)領(lǐng)域。近年來(lái)，隨著網(wǎng)絡(luò)安全分析要求的提高，如何有效地利用大數(shù)據(jù)技術(shù)已逐漸成為業(yè)內(nèi)研究的熱點(diǎn)。本文深入分析了應(yīng)用大數(shù)據(jù)技術(shù)的必要性，對(duì)數(shù)據(jù)的采集、存儲(chǔ)、檢索、分析等環(huán)節(jié)進(jìn)行了深入的探討，可以說(shuō)，大數(shù)據(jù)技術(shù)的應(yīng)用有效地提高了網(wǎng)絡(luò)系統(tǒng)的安全質(zhì)量。

[1]管磊，胡光俊，王專.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2016.

[2]王謙，潘辰.基于大數(shù)據(jù)時(shí)代下的網(wǎng)絡(luò)安全漏洞與防范措施分析[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017.

[3]孫星.大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)安全研究[J].電腦知識(shí)與技術(shù)， 2016.