網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)的有效利用

任勇+劉旸

摘要：隨著當(dāng)前社會(huì)網(wǎng)絡(luò)的日益撅起，大數(shù)據(jù)時(shí)代已經(jīng)成為當(dāng)前主流的發(fā)展，我國(guó)許多醫(yī)療機(jī)構(gòu)、金融機(jī)構(gòu)等都利用了大數(shù)據(jù)對(duì)當(dāng)前的影響，網(wǎng)絡(luò)安全也是如此，由于人們對(duì)網(wǎng)絡(luò)的依賴，導(dǎo)致網(wǎng)絡(luò)安全問(wèn)題成為了當(dāng)前人們普遍關(guān)注的主要問(wèn)題。該文針對(duì)大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全中的重要性進(jìn)行優(yōu)先闡述，然后在將大數(shù)據(jù)技術(shù)運(yùn)用到網(wǎng)絡(luò)安全的各個(gè)還擊，從網(wǎng)絡(luò)安全運(yùn)用的實(shí)際出發(fā)，對(duì)大數(shù)據(jù)技術(shù)進(jìn)行簡(jiǎn)潔闡述，從而為當(dāng)前網(wǎng)絡(luò)安全做出貢獻(xiàn)。

關(guān)鍵詞：大數(shù)據(jù)；網(wǎng)絡(luò)安全分析；供給檢測(cè)

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）34-0016-02

網(wǎng)路安全不僅在生活上保證了人們的隱私不受侵犯，對(duì)于整個(gè)國(guó)家來(lái)說(shuō)，更是保證了國(guó)家信息安全，然而網(wǎng)絡(luò)安全分析的數(shù)據(jù)卻隨著網(wǎng)絡(luò)架構(gòu)的復(fù)雜化，相應(yīng)的數(shù)據(jù)來(lái)源也會(huì)越來(lái)越多，數(shù)據(jù)的數(shù)量也會(huì)以指數(shù)的形式出現(xiàn)，并且按照曲線的方式增長(zhǎng)，從而由原先的TB數(shù)量級(jí)慢慢發(fā)展成為PB的數(shù)量級(jí)，數(shù)據(jù)發(fā)展過(guò)程中，數(shù)據(jù)所表現(xiàn)的內(nèi)容也會(huì)更加細(xì)致，數(shù)據(jù)維度范圍也會(huì)慢慢擴(kuò)張；當(dāng)前網(wǎng)絡(luò)設(shè)備為了能夠跟上網(wǎng)絡(luò)發(fā)展的腳步，對(duì)設(shè)備的性能也進(jìn)行了增強(qiáng)，對(duì)數(shù)據(jù)的發(fā)送以及接受速度也進(jìn)行了飛速提升，因此對(duì)于安全信息的采集要求也會(huì)進(jìn)一步提升，因此網(wǎng)絡(luò)上的安全漏洞問(wèn)題也會(huì)慢慢的提升，對(duì)網(wǎng)絡(luò)安全造成范圍影響。不僅如此，一些不法分子更是利用網(wǎng)絡(luò)安全中出現(xiàn)的漏洞，對(duì)網(wǎng)絡(luò)實(shí)行有預(yù)謀、有組織的持續(xù)性供給也慢慢增多，這樣就要求網(wǎng)監(jiān)部門(mén)在維護(hù)當(dāng)前網(wǎng)絡(luò)安全信息是，要保證對(duì)安全信息的分析工作能夠使用多種手段和種類。

在2013年，Cartner在對(duì)數(shù)據(jù)進(jìn)行分析時(shí)得出了這樣的結(jié)論，在未來(lái)的時(shí)間里，信息構(gòu)架將發(fā)生翻天覆地的變化，發(fā)展趨勢(shì)也會(huì)慢慢朝著大數(shù)據(jù)方向發(fā)展，因此大數(shù)據(jù)技術(shù)就成為了當(dāng)前主要發(fā)展的技術(shù)之一。同時(shí)，大數(shù)據(jù)本著自身數(shù)據(jù)量大；運(yùn)行速度快、種類齊全以及價(jià)值相對(duì)較低等特性，滿足了當(dāng)前網(wǎng)絡(luò)安全需求。

1 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全中的具體運(yùn)用

針對(duì)當(dāng)前數(shù)據(jù)本身的日志以及數(shù)據(jù)在傳遞過(guò)程中所產(chǎn)生的流量來(lái)說(shuō)，就成為了當(dāng)前網(wǎng)絡(luò)安全分析的主要分析目標(biāo)，網(wǎng)絡(luò)安全帶來(lái)的資產(chǎn)、網(wǎng)絡(luò)配置、網(wǎng)絡(luò)漏洞、對(duì)網(wǎng)絡(luò)進(jìn)行訪問(wèn)工作、網(wǎng)絡(luò)使用者的行為、網(wǎng)絡(luò)運(yùn)用上業(yè)務(wù)上的行為以及外部人員多網(wǎng)絡(luò)的報(bào)告，都是作為與網(wǎng)絡(luò)安全相關(guān)聯(lián)的輔助信息。而將大數(shù)據(jù)技術(shù)引用到當(dāng)前網(wǎng)絡(luò)安全中的原理，就利用則相對(duì)分散的數(shù)據(jù)日志以及數(shù)據(jù)的流量進(jìn)行結(jié)合，從而對(duì)他們進(jìn)行基礎(chǔ)處理，在運(yùn)用當(dāng)前高校的信息采集、信息儲(chǔ)存、信息的檢索和分析技術(shù)，對(duì)這些數(shù)據(jù)信息作出安全分析和處理，還能提升工作成效，節(jié)省數(shù)據(jù)分析所占用用的時(shí)間[1]。同時(shí)，再根據(jù)當(dāng)前信息的關(guān)聯(lián)性、階段性組合，使用場(chǎng)景關(guān)聯(lián)的方式對(duì)數(shù)據(jù)進(jìn)行分析，從而發(fā)現(xiàn)網(wǎng)絡(luò)安全問(wèn)題之間的關(guān)聯(lián)，從而預(yù)測(cè)出網(wǎng)絡(luò)在運(yùn)行中，安全漏洞的發(fā)生，保證網(wǎng)絡(luò)數(shù)據(jù)中所儲(chǔ)存的數(shù)據(jù)不會(huì)泄露，從而將網(wǎng)絡(luò)安全防御系統(tǒng)從被動(dòng)防御晉升為主動(dòng)防御。

1.1 信息采集工作

對(duì)當(dāng)前網(wǎng)絡(luò)安全問(wèn)題中，數(shù)據(jù)和相關(guān)信息的采集可以利用Chukwa等工具實(shí)施，同時(shí)在利用Chukwa等工作實(shí)施信息采集時(shí)，還要運(yùn)用分布采集的數(shù)據(jù)收集方法，從而能做到對(duì)于數(shù)據(jù)日志中產(chǎn)生的信息，可以做到每秒數(shù)百兆的信息采集率，進(jìn)而在根據(jù)傳統(tǒng)的鏡像采集方式，完成對(duì)數(shù)據(jù)流程的全部采集工作。

1.2 信息的儲(chǔ)存

當(dāng)前網(wǎng)絡(luò)技術(shù)以及信息化發(fā)展，所產(chǎn)生的數(shù)據(jù)也是復(fù)雜多樣，對(duì)于這些數(shù)據(jù)的應(yīng)用方式來(lái)說(shuō)，也是有著各式各樣的方式，而大數(shù)據(jù)技術(shù)想要對(duì)這些數(shù)據(jù)和應(yīng)用方式進(jìn)行存儲(chǔ)，就要滿足這些信息數(shù)據(jù)和應(yīng)用方式的各個(gè)要求，才能實(shí)現(xiàn)對(duì)這些數(shù)據(jù)和應(yīng)用方式的整體存儲(chǔ)工作，因此就要提升對(duì)這些數(shù)據(jù)信息以及應(yīng)用方式的分析檢索速度，從而對(duì)他們進(jìn)行分類，然后在根據(jù)種類不同，選擇不同的儲(chǔ)存方式[2]。

對(duì)于檢索工作來(lái)說(shuō)，主要還是對(duì)數(shù)據(jù)中原始安全數(shù)據(jù)進(jìn)行分析，例如數(shù)據(jù)日志產(chǎn)生的信息、數(shù)據(jù)傳輸過(guò)程中所產(chǎn)生的流量信息等。對(duì)于上述數(shù)據(jù)信息進(jìn)行檢索工作時(shí)，可以根據(jù)GBase以及HNase兩種列式進(jìn)行信息儲(chǔ)存工作，這樣的儲(chǔ)存方式，本身就具有快速索引以及快速響應(yīng)的特定，能夠?qū)?shù)據(jù)實(shí)現(xiàn)快速檢索工作，提升檢索效率。

而對(duì)于實(shí)行過(guò)標(biāo)準(zhǔn)化處理的安全數(shù)據(jù)來(lái)說(shuō)，則可以憑借Hahoop分布式，對(duì)數(shù)據(jù)信息的架構(gòu)進(jìn)行計(jì)算。具體做法則是將需要進(jìn)行分析的數(shù)據(jù)信息，放置在計(jì)算的節(jié)點(diǎn)中，再根據(jù)Hive等技術(shù)，對(duì)其進(jìn)行腳本的分析，從而將安全數(shù)據(jù)挖掘出來(lái)，才能完成對(duì)數(shù)據(jù)的統(tǒng)計(jì)報(bào)告工作以及網(wǎng)絡(luò)安全分析警告，最后在將分析結(jié)果存放在相應(yīng)的列式中儲(chǔ)存起來(lái)[3]。

針對(duì)部分需要做出實(shí)時(shí)分析的安全數(shù)據(jù)而言，可以根據(jù)Strom、Spark等計(jì)算方法，將需要做出分析工作的數(shù)據(jù)放置于計(jì)算機(jī)節(jié)點(diǎn)中，這樣一來(lái)，需要進(jìn)行實(shí)時(shí)分析的數(shù)據(jù)流經(jīng)這個(gè)節(jié)點(diǎn)時(shí)，系統(tǒng)就能夠根據(jù)數(shù)據(jù)信息所產(chǎn)生的流量做到自動(dòng)分析，最終形完成了對(duì)數(shù)據(jù)的統(tǒng)計(jì)工作以及網(wǎng)絡(luò)安全報(bào)告。這一統(tǒng)計(jì)方式稱為流式計(jì)算法。

1.3 信息的檢索

在對(duì)安全數(shù)據(jù)進(jìn)行查詢以及檢索的過(guò)程中，由于數(shù)據(jù)的多樣性，可以根據(jù)MapReduce作為基礎(chǔ)，形成數(shù)據(jù)檢索的基本構(gòu)架，然后在將數(shù)據(jù)中出現(xiàn)請(qǐng)求主語(yǔ)時(shí)，放在需要進(jìn)行各個(gè)分析的節(jié)點(diǎn)上，做到對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一處理工作，最后在根據(jù)分布式中常見(jiàn)的數(shù)據(jù)并行計(jì)算法完成對(duì)數(shù)據(jù)的檢索工作。

1.4 數(shù)據(jù)的分析工作

對(duì)于當(dāng)前實(shí)施數(shù)據(jù)的分析，可以根據(jù)Strom或是Spaik等，采用流式計(jì)算法作為基礎(chǔ)計(jì)算方法，與當(dāng)前數(shù)據(jù)處理工作中復(fù)雜事件處理方法以及制定出的相關(guān)電聯(lián)分析計(jì)算方法完成對(duì)數(shù)據(jù)的計(jì)算工作[4]。利用上述兩種方式，對(duì)需要進(jìn)行實(shí)時(shí)分析以及實(shí)時(shí)監(jiān)控的數(shù)據(jù)，有著良好的分析和檢測(cè)能力，可以在數(shù)據(jù)傳輸過(guò)程中，第一時(shí)間捕捉到數(shù)據(jù)所產(chǎn)生的異常行為，保證數(shù)據(jù)安全。而對(duì)于不是實(shí)時(shí)數(shù)據(jù)的分析工作來(lái)說(shuō)，可以使用Hadoop的運(yùn)算結(jié)構(gòu)，在聯(lián)合上對(duì)數(shù)據(jù)的聚合、挖掘以及抽取技術(shù)實(shí)施，保證力線統(tǒng)計(jì)風(fēng)險(xiǎn)，從而對(duì)事態(tài)進(jìn)行分析，從而尋找出當(dāng)前網(wǎng)絡(luò)安全漏洞出現(xiàn)的根本原因。

1.5 多元數(shù)據(jù)與多階段組合的關(guān)聯(lián)分析工作

對(duì)于大數(shù)據(jù)技術(shù)而言，能夠?qū)?shù)據(jù)的儲(chǔ)存以及分析速率做到有效的提升，并且在短時(shí)間內(nèi)進(jìn)行外挖掘工作，從而分析出數(shù)據(jù)在傳輸過(guò)程中所產(chǎn)生的多元異構(gòu)數(shù)據(jù)，從而根絕這項(xiàng)帶有多元異構(gòu)的數(shù)據(jù)，可以從整體數(shù)據(jù)中進(jìn)行大規(guī)模的排查以及挖掘工作，從而找出與之存在關(guān)聯(lián)的其他異構(gòu)數(shù)據(jù)，保證網(wǎng)絡(luò)的整體安全[5]。例如，在對(duì)將是網(wǎng)絡(luò)進(jìn)行分析過(guò)程中，需要就不僅僅是結(jié)合流量就能對(duì)DNS進(jìn)行訪問(wèn)，這是就需要根據(jù)這項(xiàng)數(shù)據(jù)的源頭，對(duì)數(shù)據(jù)檢索工作作出進(jìn)一步的擴(kuò)充和分析，從而保證將對(duì)網(wǎng)絡(luò)數(shù)據(jù)的全部分組進(jìn)行集合，然后對(duì)數(shù)據(jù)的源頭以及莫管數(shù)據(jù)做到主動(dòng)的攻擊，最后再對(duì)這項(xiàng)數(shù)據(jù)進(jìn)行深度的分析，從而了解到外界情報(bào)信息。又例如，當(dāng)發(fā)現(xiàn)數(shù)據(jù)運(yùn)行的過(guò)程中，出現(xiàn)主機(jī)被攻擊或者網(wǎng)絡(luò)出現(xiàn)漏洞的時(shí)候，可以則可以通過(guò)主機(jī)的關(guān)聯(lián)系統(tǒng)，保證其他主機(jī)沒(méi)有受到這樣的攻擊或者出現(xiàn)這樣的漏洞，這樣一來(lái)就能對(duì)網(wǎng)絡(luò)安全進(jìn)行預(yù)防工作，保證安全隱患能夠及時(shí)被發(fā)現(xiàn)，做到防范與未然。

2 基于大叔級(jí)技術(shù)的網(wǎng)絡(luò)安全平臺(tái)建設(shè)

2.1 基于大數(shù)據(jù)網(wǎng)絡(luò)安全平臺(tái)構(gòu)架

這樣平臺(tái)建設(shè)，按照從上到下的順序，可以分為數(shù)據(jù)信息分析層、大數(shù)據(jù)技術(shù)信息儲(chǔ)存、數(shù)據(jù)的挖掘以及分析層和數(shù)據(jù)呈現(xiàn)層。而在這些層面中，能夠?qū)W(wǎng)絡(luò)用戶的身份信息、利用網(wǎng)絡(luò)作出的事件和存在威脅的情報(bào)等，得到數(shù)據(jù)多元異構(gòu)信息。從而保證了當(dāng)前大數(shù)據(jù)儲(chǔ)存層能夠?qū)Ψ植际轿募到y(tǒng)進(jìn)行應(yīng)用，從而保證系統(tǒng)儲(chǔ)存的海量信息能夠?qū)崿F(xiàn)長(zhǎng)期全量的儲(chǔ)存，并且還能夠?qū)⑦@些信息做出結(jié)構(gòu)化以及半結(jié)構(gòu)化的數(shù)據(jù)儲(chǔ)存工作。對(duì)于數(shù)據(jù)呈現(xiàn)層來(lái)說(shuō)，則能夠?qū)⒋罅康臄?shù)據(jù)進(jìn)行定位和搜索工作，并且對(duì)于這些工作來(lái)說(shuō)，都能做到可視性，最后在根據(jù)數(shù)據(jù)的多種維度，展現(xiàn)的出網(wǎng)絡(luò)的整體安全狀態(tài)。

2.2 數(shù)據(jù)分析技術(shù)

這項(xiàng)平臺(tái)在運(yùn)行的過(guò)程中，主要是采用了Hive形式，完成了對(duì)數(shù)據(jù)的統(tǒng)計(jì)和分析工作，這樣一來(lái)，還可以采用與SQL相似的HiveQL語(yǔ)言來(lái)滿足HDFS和HBase共組中，對(duì)于非結(jié)構(gòu)化的數(shù)據(jù)做出相對(duì)快速的檢索工作。同時(shí)這項(xiàng)平臺(tái)應(yīng)該事先利用Hive技術(shù)對(duì)于API做好完善的封裝處理，在使用特殊的插件事先對(duì)各種數(shù)據(jù)的處理分析以及統(tǒng)計(jì)工作。

針對(duì)當(dāng)前數(shù)據(jù)的整體挖掘分析來(lái)說(shuō)，對(duì)數(shù)據(jù)平臺(tái)運(yùn)用Mahout技術(shù)可以完成基于Hadoop技術(shù)形成的機(jī)械式學(xué)習(xí)，并完成相應(yīng)的數(shù)據(jù)挖掘與整理措施。并且還要針對(duì)數(shù)據(jù)分析中使用的事件流，做出特殊的分析工作，主要分析的內(nèi)容是事件流的關(guān)聯(lián)數(shù)據(jù)[6]。同時(shí)，這項(xiàng)系統(tǒng)還是用了CPE技術(shù)，將系統(tǒng)中的數(shù)據(jù)當(dāng)成了不同類型的事件進(jìn)行分析，并且針對(duì)這些事件中出現(xiàn)的各種問(wèn)題建立起各種關(guān)系庫(kù)，從而對(duì)數(shù)據(jù)完成了將簡(jiǎn)單時(shí)間朝著更高級(jí)別事件進(jìn)行轉(zhuǎn)化工作，并且還能在大量的信息中，找到威脅網(wǎng)絡(luò)安全的隱患。

3 結(jié)束語(yǔ)

在當(dāng)前的大數(shù)據(jù)環(huán)境下，對(duì)于網(wǎng)絡(luò)安全問(wèn)題可以說(shuō)是提出了更高的要求，并且網(wǎng)絡(luò)安全中的各種應(yīng)用為了保證網(wǎng)絡(luò)安全工作，也體現(xiàn)除了精準(zhǔn)、迅速和價(jià)格低廉的特性。因此在當(dāng)前階段，網(wǎng)路的安全問(wèn)題以及如何有效地利用大數(shù)據(jù)技術(shù)提升網(wǎng)絡(luò)質(zhì)量已經(jīng)成為了當(dāng)前社會(huì)主要討論的網(wǎng)絡(luò)話題。針對(duì)這些工作，將大數(shù)據(jù)技術(shù)的主要應(yīng)用引到了網(wǎng)絡(luò)安全的領(lǐng)域，從而實(shí)現(xiàn)網(wǎng)絡(luò)對(duì)數(shù)據(jù)的收集工作、儲(chǔ)存設(shè)施以及檢索功能都能做到有效應(yīng)用，進(jìn)一步的提升網(wǎng)絡(luò)安全并提升網(wǎng)絡(luò)防御的準(zhǔn)確性和效率。

參考文獻(xiàn)：

[1] 魯宛生.淺談網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)的應(yīng)用[J].數(shù)碼世界，2017，（8）：165-165.

[2] 孫玉.淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017，（4）：102-102.

[3] 崔玉禮，黃麗君.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].信息安全與技術(shù)，2016，（6）：75-77.

[4] 鄧曉東，何慶，許敬偉，等.大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢(shì)感知中數(shù)據(jù)融合技術(shù)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017，（8）：79-80.

[5] 潘峰，李濤.大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)安全態(tài)勢(shì)感知研究進(jìn)展[J].保密科學(xué)技術(shù)，2016，（4）：27-33.

[6] 國(guó)威，畢遠(yuǎn).大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)安全技術(shù)探究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017，（7）：70-71.