網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用

郭健

（山東省濱海公安局網(wǎng)安支隊(duì) 山東省東營(yíng)市 257000）

隨著我國(guó)的信息科學(xué)技術(shù)不斷發(fā)展，網(wǎng)絡(luò)信息技術(shù)也得到了快速的普及，人們更多地關(guān)注網(wǎng)絡(luò)安全問題的重要性。網(wǎng)絡(luò)安全對(duì)于個(gè)人隱私有著直接的聯(lián)系，同時(shí)會(huì)對(duì)國(guó)家的機(jī)密信息形成影響，由于大數(shù)據(jù)技術(shù)的不斷成熟和發(fā)展，使得信息數(shù)量在不斷呈現(xiàn)爆炸式的增長(zhǎng)，這在很大程度上加大了計(jì)算機(jī)網(wǎng)絡(luò)安全的管理難度，與此同時(shí)，這也對(duì)當(dāng)前的網(wǎng)絡(luò)安全模式提出了更多的發(fā)展空間。只有不斷地加強(qiáng)對(duì)大數(shù)據(jù)的管理，才能更多地保證大數(shù)據(jù)網(wǎng)絡(luò)信息的安全穩(wěn)定發(fā)展。

1 大數(shù)據(jù)時(shí)代背景下網(wǎng)絡(luò)安全分析

1.1 網(wǎng)絡(luò)信息安全管理現(xiàn)狀分析

在科學(xué)技術(shù)不斷發(fā)展的今天，各種IT 行業(yè)之間的構(gòu)架越來越復(fù)雜，由此延伸出更多的信息工具，無形中使得網(wǎng)絡(luò)數(shù)據(jù)相應(yīng)的業(yè)務(wù)正在不斷的增多。在這個(gè)數(shù)據(jù)時(shí)代的背景下，網(wǎng)絡(luò)的運(yùn)用過程中，復(fù)雜性在增加，傳統(tǒng)的網(wǎng)絡(luò)設(shè)備已經(jīng)不能滿足信息化技術(shù)發(fā)展的步伐，并且通過對(duì)網(wǎng)絡(luò)運(yùn)行的安全性進(jìn)行分析，這個(gè)過程能保留大量的網(wǎng)站信息，但是要花費(fèi)很大的成本，因此，為了有效的提升網(wǎng)絡(luò)安全的有效性，可以借助云計(jì)算平臺(tái)進(jìn)行相關(guān)數(shù)據(jù)的分析，獲取更多的數(shù)據(jù)包漏洞以及網(wǎng)絡(luò)信息的數(shù)據(jù)分析，然而，在這個(gè)數(shù)據(jù)的整理過程當(dāng)中，包括了各種各樣的結(jié)構(gòu)。其中有非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)是發(fā)展非常迅速的，相比較傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)而言，這種數(shù)據(jù)整理已經(jīng)不能滿足網(wǎng)絡(luò)安全的正常運(yùn)行，為此，只有借助大數(shù)據(jù)技術(shù)對(duì)網(wǎng)絡(luò)安全信息開展分析工作[1]。

1.2 大數(shù)據(jù)技術(shù)概述

在這個(gè)網(wǎng)絡(luò)發(fā)展快速的階段，大數(shù)據(jù)技術(shù)呈現(xiàn)多樣化的特點(diǎn)，在以往的數(shù)據(jù)體系結(jié)構(gòu)下，對(duì)于大數(shù)據(jù)進(jìn)行有效的處理，就當(dāng)前的數(shù)據(jù)信息來看，大數(shù)據(jù)是一種新的資源。然而，通過技術(shù)角度進(jìn)行大數(shù)據(jù)分析和處理。其中對(duì)于大數(shù)據(jù)技術(shù)的分析概念如下：大數(shù)據(jù)是通過對(duì)網(wǎng)絡(luò)信息的搜集和整理，再結(jié)合相應(yīng)的數(shù)據(jù)處理技術(shù)，展示出大數(shù)據(jù)獨(dú)特的技術(shù)和方法等[2]。

2 網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)應(yīng)用的意義

隨著互聯(lián)網(wǎng)的迅速發(fā)展，給人們提供了更多的生活便利，同時(shí)也給網(wǎng)絡(luò)安全分析帶來了更大的負(fù)擔(dān)，具體表現(xiàn)在以下兩方面：

（1）網(wǎng)絡(luò)安全需要處理的數(shù)據(jù)量在不斷地增多，并且數(shù)據(jù)的種類也呈現(xiàn)多種多樣的趨勢(shì)，這就需要結(jié)合多維分析法，才能產(chǎn)生更好的效果。

（2）隨著數(shù)據(jù)量的增加和傳輸速度的加快，要完成對(duì)數(shù)據(jù)的有效分析，就必須提高對(duì)信息采集的速度，這無疑增加了網(wǎng)絡(luò)安全分析的難度。

相比較傳統(tǒng)網(wǎng)絡(luò)安全分析系統(tǒng)而言，應(yīng)用結(jié)構(gòu)化的數(shù)據(jù)庫(kù)，通過對(duì)數(shù)據(jù)儲(chǔ)存，這種方式使得網(wǎng)絡(luò)安全的運(yùn)營(yíng)成本增加，為了降低成本，通過對(duì)數(shù)據(jù)進(jìn)行應(yīng)對(duì)處理，降低數(shù)據(jù)的大小，提高儲(chǔ)存的容量，但是這種方式一般會(huì)導(dǎo)致數(shù)據(jù)在處理過程當(dāng)中出現(xiàn)丟失的情況，并且長(zhǎng)時(shí)間儲(chǔ)存信息也會(huì)造成數(shù)據(jù)的丟失，相比較傳統(tǒng)的網(wǎng)絡(luò)安全分析而言，在面對(duì)復(fù)雜的數(shù)據(jù)處理過程當(dāng)中，不能充分的發(fā)揮好具體的作用，這種分析的速度和訪問的效率都滿足不了，當(dāng)下的網(wǎng)絡(luò)發(fā)展的需求[3]。

相比較而言，大數(shù)據(jù)技術(shù)對(duì)于當(dāng)今的網(wǎng)絡(luò)安全分析取得了較為明顯的效果：

（1）大數(shù)據(jù)技術(shù)能夠提升網(wǎng)絡(luò)安全分析的數(shù)據(jù)儲(chǔ)存量，對(duì)于復(fù)雜的非結(jié)構(gòu)化的數(shù)據(jù)，大數(shù)據(jù)源能夠保證效率的前提下進(jìn)行有效的分析，這就需要保證數(shù)據(jù)的完整性。

（2）在大數(shù)據(jù)技術(shù)的使用背景下，可以降低網(wǎng)絡(luò)安全分析的運(yùn)營(yíng)成本。在這過程當(dāng)中，會(huì)使用分布式的數(shù)據(jù)庫(kù)，相比較傳統(tǒng)的機(jī)構(gòu)化的數(shù)據(jù)庫(kù)而言，它相對(duì)經(jīng)濟(jì)實(shí)惠，并且對(duì)于硬件的要求比較低，在低要求的設(shè)備中進(jìn)行數(shù)據(jù)分析，也能保證平穩(wěn)運(yùn)行，從而大大的降低網(wǎng)絡(luò)安全分析系統(tǒng)的成本。

（3）在大數(shù)據(jù)技術(shù)下，最為顯著的特點(diǎn)是能夠保證網(wǎng)絡(luò)安全分析系統(tǒng)的工作效率，在大數(shù)據(jù)技術(shù)下能夠完成對(duì)非結(jié)構(gòu)數(shù)據(jù)的儲(chǔ)存以及處理這種數(shù)據(jù)儲(chǔ)存以及訪問的速度是非常快的，使得系統(tǒng)數(shù)據(jù)分析處理要求較高。

（4）大數(shù)據(jù)技術(shù)運(yùn)用到網(wǎng)絡(luò)安全分析之中，可以提升數(shù)據(jù)處理的速度和精確度。大數(shù)據(jù)技術(shù)能夠從多維度多層次，對(duì)數(shù)據(jù)進(jìn)行分析，這樣提高網(wǎng)絡(luò)安全系統(tǒng)的數(shù)據(jù)處理有效性[4]。

3 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

就目前的發(fā)展情況來看，通過對(duì)日志的流量和數(shù)量進(jìn)行處理。在進(jìn)行數(shù)據(jù)信息的管理過程中，能將數(shù)據(jù)整合在一起，并且結(jié)合大數(shù)據(jù)的信息技術(shù)管理方式，能對(duì)數(shù)據(jù)進(jìn)行分析和整理，一旦發(fā)生了數(shù)據(jù)存在隱患，那么就會(huì)采取預(yù)警，那么大數(shù)據(jù)技術(shù)就會(huì)根據(jù)安全隱患的層級(jí)進(jìn)行有效的處理。在網(wǎng)絡(luò)安全分析的基礎(chǔ)上，使用大數(shù)據(jù)能減少網(wǎng)絡(luò)安全分析的時(shí)間，提升網(wǎng)絡(luò)安全的運(yùn)營(yíng)，通過傳統(tǒng)的被動(dòng)防御方式轉(zhuǎn)化為主動(dòng)防御的方式，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的運(yùn)用，具體包括了以下幾方面：

3.1 關(guān)于大數(shù)據(jù)信息的采集和存儲(chǔ)

運(yùn)用大數(shù)據(jù)技術(shù)，通過Flume Scribe 等相關(guān)工具對(duì)網(wǎng)絡(luò)系統(tǒng)中所有數(shù)據(jù)進(jìn)行分布式的采集，在每秒內(nèi)可以完成百兆以上的數(shù)據(jù)采集工作，特別是針對(duì)一些用戶的日志數(shù)據(jù)處理起著良好的作用，在此之外，可以利用傳統(tǒng)模式對(duì)數(shù)據(jù)信息進(jìn)行采集，將全系統(tǒng)進(jìn)行方位流量數(shù)據(jù)采集，比如通過大數(shù)據(jù)技術(shù)對(duì)門戶網(wǎng)站中每天產(chǎn)生的信息進(jìn)行收集，采集甚至可以對(duì)指定網(wǎng)站的數(shù)據(jù)內(nèi)容以及媒體報(bào)道的信息進(jìn)行采集，要想看什么信息及時(shí)搜索就能獲取，不少用戶在進(jìn)行雙11 過程當(dāng)中會(huì)進(jìn)行淘寶搶購(gòu)，這就是利用大數(shù)據(jù)技術(shù)，每天自動(dòng)采集網(wǎng)上的價(jià)格以及更新情況，甚至產(chǎn)品的說明圖片就能一目了然[5]。

對(duì)于信息儲(chǔ)存技術(shù)是使用HDFS 開展數(shù)據(jù)采集后的存儲(chǔ)，如果在一段時(shí)間內(nèi)文件數(shù)據(jù)過大，想要保證數(shù)據(jù)的處理，以及分析率在儲(chǔ)存過程當(dāng)中可以使用。例如新聞媒體都要自動(dòng)采集成千上萬個(gè)指定網(wǎng)站上的新聞內(nèi)容，并且對(duì)于這些內(nèi)容進(jìn)行整理儲(chǔ)存。隨后，根據(jù)相關(guān)工作人員對(duì)這個(gè)區(qū)域的情況整合，按照專題編寫，當(dāng)日的新聞內(nèi)容，每天發(fā)布的內(nèi)容要進(jìn)行一定的儲(chǔ)存，才方便日后的總結(jié)和檢索，由于這種大數(shù)據(jù)技術(shù)用戶在該網(wǎng)站進(jìn)行新聞信息查詢，可以輕松的進(jìn)行操作[6]。

3.2 信息的檢索與數(shù)據(jù)分析

對(duì)于信息的檢索，可以采用Map Reduce 作為架構(gòu)形式，在這個(gè)環(huán)節(jié)，通過進(jìn)行檢索的方式，對(duì)內(nèi)容進(jìn)行分析和歸類，大幅度提升信息的檢索能力，由此可見，大數(shù)據(jù)技術(shù)在信息檢索方面有著很大的推動(dòng)作用，比如企業(yè)要想在開會(huì)之前尋找相關(guān)的內(nèi)容，作為參考，就可以利用大數(shù)據(jù)技術(shù)進(jìn)行信息檢索，在這個(gè)過程當(dāng)中，可以根據(jù)國(guó)內(nèi)外相應(yīng)的檢索技術(shù)和參考文獻(xiàn)進(jìn)行對(duì)比分析，從而尋找出競(jìng)爭(zhēng)對(duì)手。與此同時(shí)，大數(shù)據(jù)技術(shù)能夠?qū)ν袠I(yè)的論壇信息進(jìn)行收集整理，并且及時(shí)了解出消費(fèi)者的潛在消費(fèi)意識(shí)和需求，通過數(shù)據(jù)分析得出消費(fèi)者的消費(fèi)意向，通過準(zhǔn)確的對(duì)網(wǎng)絡(luò)公共信息的采集和整理，甚至在這種大數(shù)據(jù)的檢索功能，挖掘出潛在客戶的一些信息和資料。

數(shù)據(jù)分析也是數(shù)據(jù)解析的一種，該技術(shù)利用HIVE 方法對(duì)數(shù)據(jù)進(jìn)行展開分析，使用SQL 中HIVEQL 語言使HDFS 和HBASE 可以對(duì)不能構(gòu)成結(jié)構(gòu)式的數(shù)據(jù)進(jìn)行檢索。此外，大數(shù)據(jù)技術(shù)下還能夠利用Mahout 達(dá)到以Hadoop 為前提的機(jī)械研究所有數(shù)據(jù)能夠進(jìn)行深度挖掘與整理解析。例如，政府機(jī)關(guān)以及軍隊(duì)可以對(duì)信息進(jìn)行實(shí)時(shí)跟蹤，了解國(guó)內(nèi)外的新聞數(shù)據(jù)，并且通過這個(gè)數(shù)據(jù)整理出這個(gè)地方的政策法規(guī)，以及經(jīng)濟(jì)產(chǎn)業(yè)的信息。通過利用大數(shù)據(jù)技術(shù)解決與因特網(wǎng)隔離重要部門對(duì)于因特網(wǎng)的信息問題進(jìn)行實(shí)時(shí)的解決，針對(duì)政府網(wǎng)站的各地址，網(wǎng)站的信息進(jìn)行采集和整理。

3.3 多源數(shù)據(jù)與多階段組合的關(guān)聯(lián)分析

多元數(shù)據(jù)和多階段組合的關(guān)聯(lián)性分析是十分復(fù)雜，并且這個(gè)過程中確定好相應(yīng)的采集任務(wù)，隨后，針對(duì)不同的目標(biāo)數(shù)據(jù)進(jìn)行整理，從而保證收集的數(shù)據(jù)有效性，針對(duì)不同的數(shù)據(jù)目標(biāo)進(jìn)行采集，通過配置更好的信息管理方式。對(duì)信息進(jìn)行梯度分析辦法，從而達(dá)到與目標(biāo)站點(diǎn)信息同步的方式，對(duì)于采集的結(jié)果完成數(shù)據(jù)重構(gòu)的方式，最后通過發(fā)布任務(wù)服務(wù)器的方式，將數(shù)據(jù)發(fā)布到應(yīng)用平臺(tái)。大數(shù)據(jù)技術(shù)能夠不斷地增強(qiáng)數(shù)據(jù)的分析以及解析效率，及時(shí)發(fā)現(xiàn)解析的多元數(shù)據(jù)，從而防止安全隱患，并阻止網(wǎng)絡(luò)攻擊產(chǎn)生。如果一個(gè)計(jì)算機(jī)存在安全隱患，甚至還有攻擊現(xiàn)象，通過大數(shù)據(jù)可以查看計(jì)算機(jī)系統(tǒng)中是否存在同樣相似的情況，這樣在最短的時(shí)間內(nèi)找到問題，產(chǎn)生的原因，并且采取相應(yīng)的措施，保證所有的機(jī)械處于正常運(yùn)行的狀態(tài)。例如，美國(guó)國(guó)家衛(wèi)生研究院的生物科技信息中心(NCBI)公布的大量基因相關(guān)數(shù)據(jù)，這些數(shù)據(jù)的來源可以實(shí)時(shí)跟蹤、采集相關(guān)的國(guó)內(nèi)外科技信息與新聞，對(duì)科研數(shù)據(jù)在各個(gè)網(wǎng)站網(wǎng)頁(yè)中進(jìn)行整合，再通過本地文本數(shù)據(jù)抽取最后整合出完整且有實(shí)際作用的最終數(shù)據(jù)。

4 網(wǎng)絡(luò)安全平臺(tái)實(shí)現(xiàn)的技術(shù)支持

隨著我國(guó)的信息技術(shù)不斷的發(fā)展和普及，大數(shù)據(jù)技術(shù)更多的參與到網(wǎng)絡(luò)平臺(tái)的建設(shè)之中，通過對(duì)網(wǎng)絡(luò)安全平臺(tái)的構(gòu)建，為用戶提供一個(gè)網(wǎng)絡(luò)安全使用環(huán)境。

（1）通過積極的構(gòu)建大數(shù)據(jù)技術(shù)安全平臺(tái)，首先要對(duì)大數(shù)據(jù)的儲(chǔ)存曾進(jìn)行數(shù)據(jù)分析，通過積極的構(gòu)建平臺(tái)框架，針對(duì)數(shù)據(jù)采集進(jìn)行分布式的收集信息，在這個(gè)過程中，通過運(yùn)用信息管理的方式，對(duì)于信息用戶的方式能對(duì)安全信息和身份方式能更好地進(jìn)行保密，使得信息進(jìn)行永久的儲(chǔ)存。在大數(shù)據(jù)技術(shù)的背景下，可以使用結(jié)構(gòu)化的儲(chǔ)存模式，再利用相應(yīng)的文件層，進(jìn)行數(shù)據(jù)分布收集，提升用戶使用網(wǎng)絡(luò)的速度和效率。

（2）大數(shù)據(jù)平臺(tái)的建設(shè)，其中包含了信息儲(chǔ)存、信息采集以及信息解析的方式，那么相對(duì)于其他的信息儲(chǔ)存層而言，解析層的功能相對(duì)完善，有效把握信息的特征，對(duì)于出現(xiàn)網(wǎng)絡(luò)信息安全問題漏洞，能夠及時(shí)的進(jìn)行解決。除此之外，大數(shù)據(jù)可以通過顯示層對(duì)數(shù)據(jù)進(jìn)行更好的呈現(xiàn)，通過利用多個(gè)維度的方式保證網(wǎng)絡(luò)安全，處于正常運(yùn)行的狀態(tài)。

（3）通過數(shù)據(jù)的分析和挖掘，在網(wǎng)絡(luò)平臺(tái)的建設(shè)過程當(dāng)中，主要是利用機(jī)械化的學(xué)習(xí)方式開展的，通過對(duì)試卷留的分析，能這樣系統(tǒng)數(shù)據(jù)作為事件類型進(jìn)行分類，再進(jìn)行關(guān)聯(lián)行的時(shí)間中，可以對(duì)試件進(jìn)行分門別類，在針對(duì)海量信息的查詢中，找出網(wǎng)絡(luò)安全存在的各種問題。

（4）對(duì)于網(wǎng)絡(luò)安全平臺(tái)的安全性問題，這將直接影響到未來網(wǎng)絡(luò)的使用體驗(yàn)，以及網(wǎng)絡(luò)發(fā)展空間。在網(wǎng)絡(luò)發(fā)展的過程當(dāng)中，涉及到安全管理、密碼學(xué)、移動(dòng)代碼指令、保護(hù)操作系統(tǒng)以及網(wǎng)絡(luò)安全管理等相應(yīng)的內(nèi)容，通過將計(jì)算機(jī)和軟件結(jié)合在一起，在互聯(lián)網(wǎng)和內(nèi)部網(wǎng)絡(luò)建立一個(gè)安全運(yùn)行的體系，這成為保護(hù)網(wǎng)絡(luò)安全運(yùn)行的關(guān)鍵，從而避免非法入侵的事件發(fā)生。

5 總結(jié)

總而言之，在當(dāng)今大數(shù)據(jù)發(fā)展的背景下，網(wǎng)絡(luò)信息數(shù)據(jù)在不斷的普及，在這個(gè)過程中，人們的生活和工作更多地依賴與網(wǎng)絡(luò)體現(xiàn)，因此，人們更多地關(guān)注網(wǎng)絡(luò)信息安全系統(tǒng)建設(shè)。在大數(shù)據(jù)系統(tǒng)中能更好地優(yōu)化配置，能夠?yàn)槿藗兲峁┌踩暇W(wǎng)的環(huán)境，不管是信息的收集整理，甚至是最后信息呈現(xiàn)方式，數(shù)據(jù)的應(yīng)用對(duì)所有的使用者言都有著不可比擬的作用。在這個(gè)平臺(tái)上為用戶提供海量信息，同時(shí)為其生活工作帶來更大的便利，只有不斷提升網(wǎng)絡(luò)安全的管理，增強(qiáng)網(wǎng)絡(luò)安全抵御能力，才能為用戶的使用解決后顧之憂。