淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用

◆林幼文

淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用

◆林幼文

(北海職業(yè)學(xué)院電子信息工程系 廣西 536000)

傳統(tǒng)的網(wǎng)絡(luò)安全分析模式已經(jīng)不能滿足網(wǎng)絡(luò)信息安全的需求，亟需引進(jìn)新技術(shù)進(jìn)行改進(jìn)。基于此，本文從網(wǎng)絡(luò)安全分析的現(xiàn)狀以及大數(shù)據(jù)技術(shù)的概念入手，分析了網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用，然后基于大數(shù)據(jù)技術(shù)，構(gòu)建了網(wǎng)絡(luò)安全分析系統(tǒng)，以此來保障網(wǎng)絡(luò)信息的安全。

網(wǎng)絡(luò)安全分析；大數(shù)據(jù)技術(shù)；流量數(shù)據(jù)

0 前言

隨著網(wǎng)絡(luò)在人們生活中的普及，網(wǎng)絡(luò)安全問題也越來越嚴(yán)重，受到了人們的重視。網(wǎng)絡(luò)安全不僅會對個人信息安全造成影響，還會對國家機(jī)密信息安全造成影響。而大數(shù)據(jù)技術(shù)的出現(xiàn)使網(wǎng)絡(luò)數(shù)據(jù)的增長速度越來越快，網(wǎng)絡(luò)數(shù)據(jù)也越來越多，這在很大程度上加大了網(wǎng)絡(luò)安全管理的難度，還對傳統(tǒng)的網(wǎng)絡(luò)安全模式提出了挑戰(zhàn)。因此，需要將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析中，確保大數(shù)據(jù)時代網(wǎng)絡(luò)的安全。

1 網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)概述

1.1網(wǎng)絡(luò)安全分析現(xiàn)狀

隨著科學(xué)技術(shù)的不斷發(fā)展，IT的架構(gòu)越來越復(fù)雜，出現(xiàn)了很多不同的應(yīng)用，使得數(shù)據(jù)與業(yè)務(wù)越來越集中、在這種發(fā)展趨勢下，網(wǎng)絡(luò)與應(yīng)用之間的界限越來越模糊，傳統(tǒng)的網(wǎng)絡(luò)安全設(shè)備已經(jīng)不能保障整個系統(tǒng)或者網(wǎng)絡(luò)的安全。就目前的發(fā)展?fàn)顩r來說，基于網(wǎng)絡(luò)流量以及日志等數(shù)據(jù)的安全分析雖然趨于成熟，但是這種安全分析方式需要保留大量的數(shù)據(jù)，需要花費(fèi)很高的成本。因此，要想對云計(jì)算平臺或者網(wǎng)絡(luò)進(jìn)行全面的安全分析，就要從全局的角度出發(fā)，獲取網(wǎng)絡(luò)數(shù)據(jù)包、用戶相關(guān)信息業(yè)務(wù)信息以及漏洞信息等多種網(wǎng)絡(luò)安全分析所需的數(shù)據(jù)。但是，這些數(shù)據(jù)的類型不僅包括結(jié)構(gòu)化，還包括半結(jié)構(gòu)化以及非結(jié)構(gòu)化，而且數(shù)據(jù)產(chǎn)生的速度非?？?，總體呈現(xiàn)出大數(shù)據(jù)的特征，傳統(tǒng)的網(wǎng)絡(luò)安全分析方法已經(jīng)不能處理大數(shù)據(jù)，因此，需要應(yīng)用大數(shù)據(jù)技術(shù)進(jìn)行網(wǎng)絡(luò)安全分析。

1.2大數(shù)據(jù)技術(shù)概述

大數(shù)據(jù)具有海量、多樣化、生成速度快等特點(diǎn)，使用傳統(tǒng)的數(shù)據(jù)體系架構(gòu)很難對大數(shù)據(jù)進(jìn)行有效的處理。就資源角度來說，大數(shù)據(jù)技術(shù)屬于新資源，展現(xiàn)了一種全新的資源觀；就技術(shù)的角度來說，大數(shù)據(jù)展現(xiàn)了一種全新的數(shù)據(jù)處理和分析技術(shù)。大數(shù)據(jù)技術(shù)是指挖掘大數(shù)據(jù)中的價值并將其展現(xiàn)的技術(shù)和方法，主要包括數(shù)據(jù)采集技術(shù)、數(shù)據(jù)預(yù)處理技術(shù)、數(shù)據(jù)存儲技術(shù)、數(shù)據(jù)分析挖掘技術(shù)以及可視化技術(shù)等[1]。

2 網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用

目前來說，網(wǎng)絡(luò)安全分析的主要內(nèi)容就是日志數(shù)據(jù)以及流量數(shù)據(jù)，大數(shù)據(jù)技術(shù)可以將日志數(shù)據(jù)以及流量數(shù)據(jù)聚集在一起，利用大數(shù)據(jù)的采集以及挖掘功能高效存儲聚集的數(shù)據(jù)，然后使用大數(shù)據(jù)技術(shù)檢索并分析這些數(shù)據(jù)，如果發(fā)現(xiàn)了數(shù)據(jù)中存在安全隱患，大數(shù)據(jù)技術(shù)會采取相應(yīng)的措施排除掉安全隱患，從而保障網(wǎng)絡(luò)安全。網(wǎng)絡(luò)安全分析中使用大數(shù)據(jù)技術(shù)，不僅會減少網(wǎng)絡(luò)安全分析的時間，還會避免信息的泄露或者丟失，將傳統(tǒng)的被動防御轉(zhuǎn)變?yōu)橹鲃臃烙?。總的來說，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用，主要包括以下幾方面的內(nèi)容：

第一，數(shù)據(jù)信息的采集。大數(shù)據(jù)技術(shù)可以通過相關(guān)工具的使用進(jìn)行數(shù)據(jù)信息的采集，主要通過分布采集的方式進(jìn)行日志數(shù)據(jù)的采集，這種采集方式的效率非常高；使用數(shù)據(jù)鏡像采集的方法進(jìn)行流量數(shù)據(jù)的采集，這種采集方式非常全面。

第二，數(shù)據(jù)信息的存儲。大數(shù)據(jù)不僅數(shù)量比較多，而且種類比較復(fù)雜，應(yīng)用方式比非常多，要想滿足網(wǎng)絡(luò)安全分析對于大數(shù)據(jù)存儲的要求，提高網(wǎng)絡(luò)安全分析的速度，就要使用不同的存儲方法進(jìn)行不同種類數(shù)據(jù)的存儲。其中，對于流量歷史數(shù)據(jù)或者日志信息數(shù)據(jù)等內(nèi)容檢索需要的原始數(shù)據(jù)，可以使用Hbase等方式進(jìn)行存儲，這種方式的檢索速度非?？?；對于經(jīng)過處理之后的安全數(shù)據(jù)，可以使用Hahoop分布的方法進(jìn)行數(shù)據(jù)的構(gòu)架計(jì)算，然后將計(jì)算的結(jié)果存儲于列式存儲中；如果安全數(shù)據(jù)需要采取實(shí)時分析，可以使用Spark或者Stom等流式計(jì)算的方式，對安全數(shù)據(jù)進(jìn)行計(jì)算分析，然后將結(jié)果存儲于列式存儲中。

第三，數(shù)據(jù)信息的檢索。對于安全數(shù)據(jù)的檢索來說，可以通過某種檢索架構(gòu)來實(shí)現(xiàn)，該架構(gòu)需要將Map Reduce作為基礎(chǔ)，用戶將具體的檢索條件輸入之后，該架構(gòu)會將檢索信息傳輸?shù)椒治龉?jié)點(diǎn)進(jìn)行加工處理，然后再使用分布式的計(jì)算方式，以此來提高檢索的速度。

第四，數(shù)據(jù)信息的分析。對于實(shí)時數(shù)據(jù)來說，可以使用Spark或者Stom等流式計(jì)算的方式作為基礎(chǔ)，結(jié)合電聯(lián)分析以及CEP技術(shù)，進(jìn)行實(shí)時數(shù)據(jù)的分析和監(jiān)控，這種分析方式可以有效捕捉到網(wǎng)絡(luò)中的異常行為；對于非實(shí)時數(shù)據(jù)來說，可以使用分布式計(jì)算以及存儲的方式，同時結(jié)合多種數(shù)據(jù)處理技術(shù)，進(jìn)行深層次的數(shù)據(jù)離線處理，從而實(shí)現(xiàn)數(shù)據(jù)信息的風(fēng)險分析和攻擊源頭的查找。

第五，復(fù)雜數(shù)據(jù)信息的分析。大數(shù)據(jù)技術(shù)的應(yīng)用，提高了數(shù)據(jù)信息存儲、檢索以及分析等方面的性能。就復(fù)雜數(shù)據(jù)信息的分析來說，大數(shù)據(jù)技術(shù)不僅可以快速挖掘出多源異構(gòu)數(shù)據(jù)，并對該數(shù)據(jù)進(jìn)行分析，還可以分析系統(tǒng)中存在的安全隱患和攻擊行為。比如，僵尸網(wǎng)絡(luò)這一網(wǎng)絡(luò)安全問題，如果使用大數(shù)據(jù)技術(shù)處理，就要從DNS訪問特性以及流量數(shù)據(jù)入手，結(jié)合數(shù)據(jù)源進(jìn)行關(guān)聯(lián)分析，這種處理方式比較全面，而且效率很高。另外，如果系統(tǒng)中存在著安全隱患或者其他被攻擊行為，就可以檢查關(guān)聯(lián)主機(jī)是否也存在同樣的問題，然后采取相應(yīng)的措施進(jìn)行解決，以此來保障整個系統(tǒng)的安全[2]。

3 網(wǎng)絡(luò)安全分析系統(tǒng)中的大數(shù)據(jù)技術(shù)應(yīng)用

3.1網(wǎng)絡(luò)安全分析系統(tǒng)的架構(gòu)

網(wǎng)絡(luò)安全分析系統(tǒng)主要分為數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)分析層以及數(shù)據(jù)呈現(xiàn)層。其中，數(shù)據(jù)采集層主要應(yīng)用分布式計(jì)算方式進(jìn)行用戶信息以及安全時間信息的采集；數(shù)據(jù)存儲層主要應(yīng)用分布式計(jì)算方式長久存儲數(shù)據(jù)信息，該層可以存儲所有類型的數(shù)據(jù)信息；數(shù)據(jù)分析層主要負(fù)責(zé)數(shù)據(jù)的關(guān)聯(lián)分析和特征掌握，以此來發(fā)現(xiàn)安全事件和異常網(wǎng)絡(luò)行為；數(shù)據(jù)呈現(xiàn)層主要負(fù)責(zé)數(shù)據(jù)分析結(jié)果的呈現(xiàn)，該層可以從多個角度進(jìn)行網(wǎng)絡(luò)安全狀況的呈現(xiàn)。

3.2網(wǎng)絡(luò)安全分析系統(tǒng)中的大數(shù)據(jù)技術(shù)

本文從網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)應(yīng)用入手，構(gòu)建了網(wǎng)絡(luò)安全分析系統(tǒng)，該系統(tǒng)可以有效進(jìn)行網(wǎng)絡(luò)安全分析、維護(hù)網(wǎng)絡(luò)安全，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析系統(tǒng)中的具體應(yīng)用如下：

第一，數(shù)據(jù)采集技術(shù)，網(wǎng)絡(luò)安全分析系統(tǒng)中的數(shù)據(jù)采集技術(shù)主要通過Storm形式、Kafka形式以及Flume形式來進(jìn)行數(shù)據(jù)采集。其中，F(xiàn)lume主要用來進(jìn)行安全數(shù)據(jù)的采集，并將安全數(shù)據(jù)進(jìn)行整合以及傳輸，該過程具有可靠性和可用性比較高的優(yōu)點(diǎn)，然后進(jìn)行數(shù)據(jù)的定制，確保數(shù)據(jù)的發(fā)送者可以采集到不同來源的數(shù)據(jù)；在進(jìn)行流式數(shù)據(jù)的加工時，Kafka主要作為數(shù)據(jù)采集與流式數(shù)據(jù)加工之間的緩存階段。

第二，數(shù)據(jù)存儲技術(shù)，網(wǎng)絡(luò)安全分析系統(tǒng)中的數(shù)據(jù)存儲主要依靠HDFS來實(shí)現(xiàn)，該技術(shù)具有容錯性比較高以及吞吐量比較大的特點(diǎn)，從而使數(shù)據(jù)信息被完整且安全地存儲起來。

第三，數(shù)據(jù)分析技術(shù)，網(wǎng)絡(luò)安全分析系統(tǒng)主要使用Hive方法進(jìn)行數(shù)據(jù)的分析，該方法中的HiveQL語言能夠幫助HDFS進(jìn)行非結(jié)構(gòu)式數(shù)據(jù)的檢索。另外，該技術(shù)可以按照數(shù)據(jù)信息的類型進(jìn)行分析，然后分別建立結(jié)構(gòu)化數(shù)據(jù)安全事件的關(guān)系序列庫；半結(jié)構(gòu)化數(shù)據(jù)安全事件的關(guān)系序列庫以及非結(jié)構(gòu)化數(shù)據(jù)安全事件的關(guān)系序列庫，以此來使數(shù)據(jù)更加復(fù)雜，從而降低數(shù)據(jù)的安全風(fēng)險。另外，該技術(shù)還可以在海量的數(shù)據(jù)信息中發(fā)現(xiàn)安全隱患，這樣相關(guān)人員就可以消除安全隱患，確保網(wǎng)絡(luò)的安全[3]。

4 結(jié)論

綜上所述，大數(shù)據(jù)技術(shù)可以有效提高網(wǎng)絡(luò)安全分析的效果。分析可得，通過對網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用研究可知，在網(wǎng)絡(luò)安全分析中運(yùn)用大數(shù)據(jù)技術(shù)，不僅可以減少數(shù)據(jù)信息存儲的費(fèi)用，擴(kuò)大數(shù)據(jù)庫的容量，同時，大數(shù)據(jù)技術(shù)還可以提高網(wǎng)絡(luò)安全的防御能力以及保護(hù)能力，從而保障我國網(wǎng)絡(luò)的安全。希望本文可以為相關(guān)人員研究網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用提供參考。

[1]陳興蜀，曾雪梅，王文賢，邵國林.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報分析[J].工程科學(xué)與技術(shù)，2017.

[2]曾秋梅.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)與實(shí)踐探究[J].信息系統(tǒng)工程，2017.

[3]孫星.大數(shù)據(jù)時代的網(wǎng)絡(luò)安全研究[J].電腦知識與技術(shù)，2016.

廣西高校中青年教師基礎(chǔ)能力提升項(xiàng)目；共享動態(tài)緩沖NoC路由器設(shè)計(jì)與研究（2017KY126）；項(xiàng)目編號：2017KY1264；項(xiàng)目名稱：共享動態(tài)緩沖NoC路由器設(shè)計(jì)與研究。