網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)應(yīng)用分析

李宗辰

(長(zhǎng)春金融高等?？茖W(xué)?，F(xiàn)代教育中心，吉林 長(zhǎng)春 130012)

隨著各行各業(yè)相繼推出“互聯(lián)網(wǎng)+”的發(fā)展模式，使得互聯(lián)網(wǎng)在各領(lǐng)域內(nèi)應(yīng)用越來(lái)越廣。 在互聯(lián)網(wǎng)飛速發(fā)展的同時(shí)，也給網(wǎng)絡(luò)安全分析工作帶來(lái)了更大的困擾與壓力。首先是網(wǎng)絡(luò)安全分析工作所面臨的處理數(shù)據(jù)的工作強(qiáng)度呈指數(shù)型上升，并且數(shù)據(jù)的規(guī)模是海量的，類型也是多種多樣的， 所以需要通過多個(gè)維度的分析才能夠得到有效結(jié)果。 同時(shí)面對(duì)著海量的、多種結(jié)構(gòu)的數(shù)據(jù)在分析處理上的空間復(fù)雜度與時(shí)間復(fù)雜度也越來(lái)越大， 處理時(shí)間越來(lái)越長(zhǎng)，存儲(chǔ)成本越來(lái)越高，傳輸質(zhì)量越來(lái)越低，甚至丟失數(shù)據(jù)。 為了解決上述諸多麻煩，將大數(shù)據(jù)分析技術(shù)融入網(wǎng)絡(luò)安全分析。 在引入大數(shù)據(jù)分析技術(shù)后，對(duì)計(jì)算機(jī)硬件要求不高，還能夠減低存儲(chǔ)成本，提高存儲(chǔ)空間，提升傳輸質(zhì)量并且減少丟包現(xiàn)象的發(fā)生， 同時(shí)也能夠處理半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)，提高數(shù)據(jù)分析的精確度。

1 大數(shù)據(jù)分析技術(shù)應(yīng)用研究

1.1 數(shù)據(jù)采集

流量與日志是研究者用做網(wǎng)絡(luò)安全分析的最為重要的研究數(shù)據(jù)。 如果能夠在網(wǎng)絡(luò)安全分析中完美嵌套上數(shù)據(jù)挖掘算法以及大數(shù)據(jù)分析技術(shù)， 將可以不斷的完善各項(xiàng)數(shù)據(jù)收集任務(wù)的工作質(zhì)量與效率。 與傳統(tǒng)的數(shù)據(jù)收集工作來(lái)比較的話， 引入大數(shù)據(jù)分析技術(shù)的數(shù)據(jù)采集工作將能夠更好的保證數(shù)據(jù)的完整度和收集效率。

1.2 數(shù)據(jù)檢索

與原始的數(shù)據(jù)檢索方式相比較， 引用大數(shù)據(jù)分析技術(shù)能夠完善目前的數(shù)據(jù)檢索的方式， 并能大大降低原始檢索方式的時(shí)間復(fù)雜度。 引用大數(shù)據(jù)分析技術(shù)能夠?qū)崿F(xiàn)并行化方式來(lái)進(jìn)行數(shù)據(jù)檢索， 將所需要的檢索需求任務(wù)可以同時(shí)發(fā)布給大量的分節(jié)點(diǎn)， 這些分節(jié)點(diǎn)能夠同一時(shí)間接收到任務(wù)并同時(shí)觸發(fā)任務(wù)， 然后這些分節(jié)點(diǎn)能夠各種數(shù)據(jù)挖掘算法計(jì)算來(lái)判斷出是否存在契合任務(wù)所需要的相關(guān)數(shù)據(jù)。 如果分節(jié)點(diǎn)判斷出自己是具有滿足任務(wù)的數(shù)據(jù)時(shí)，即可將數(shù)據(jù)反饋給上層節(jié)點(diǎn)，從而實(shí)現(xiàn)數(shù)據(jù)檢索的相關(guān)任務(wù)。 與傳統(tǒng)方式相比，運(yùn)用大數(shù)據(jù)分析技術(shù)能大大降低該任務(wù)的時(shí)間復(fù)雜度與空間復(fù)雜度，降低了工作者的工作難度，極大地提高了檢索工作的質(zhì)量與效率，減緩了工作者的工作壓力[1]。

1.3 數(shù)據(jù)儲(chǔ)存

隨著互聯(lián)網(wǎng)技術(shù)的不斷提升，尤其是移動(dòng)互聯(lián)設(shè)備的普及，使得每天都會(huì)產(chǎn)生海量數(shù)據(jù)。 而這些數(shù)據(jù)中有傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)， 也有非結(jié)構(gòu)化數(shù)據(jù)乃至半結(jié)構(gòu)化數(shù)據(jù)，如何儲(chǔ)存這海量的數(shù)據(jù)是網(wǎng)絡(luò)安全分析的工作者們需要解決的頭等問題。 大數(shù)據(jù)分析技術(shù)的引用當(dāng)即能夠解決工作者們的燃眉之急。 上文講到，引用大數(shù)據(jù)分析技術(shù)能夠加快數(shù)據(jù)檢索工作的效率和質(zhì)量，意味著在同等的工作時(shí)間內(nèi)，引用大數(shù)據(jù)分析技術(shù)能夠更快更多的檢索數(shù)據(jù)并且各個(gè)分節(jié)點(diǎn)也能夠迅速給出反饋信息，加快比對(duì)并將海量數(shù)據(jù)分門別類的存儲(chǔ)起來(lái)。 也就是說(shuō)利用大數(shù)據(jù)分析技術(shù)能夠使得對(duì)海量數(shù)據(jù)處理的方式更加規(guī)范，處理規(guī)則更加統(tǒng)一，所得到的結(jié)果更加精確，最后把得到的各類新的數(shù)據(jù)分開存儲(chǔ)到各個(gè)位置，等待數(shù)據(jù)挖掘與分析工作的進(jìn)行。 大數(shù)據(jù)分析技術(shù)的主要數(shù)據(jù)存儲(chǔ)技術(shù)為是HDFS：Hadoop Distributed File System。 HDFS 是一個(gè)基于分布式文件系統(tǒng)。 它有一定高度的容錯(cuò)性和高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。 HDFS 提供了一個(gè)高容錯(cuò)性和高吞吐量的海量數(shù)據(jù)存儲(chǔ)解決方案。

1.4 數(shù)據(jù)處理

利用大數(shù)據(jù)分析技術(shù)來(lái)進(jìn)行網(wǎng)絡(luò)安全分析，實(shí)踐上就是想要通過實(shí)現(xiàn)不同種類的數(shù)據(jù)挖掘算法和分析技術(shù)來(lái)完成網(wǎng)絡(luò)安全的分析。 與傳統(tǒng)的流水式數(shù)據(jù)處理技術(shù)相比，大數(shù)據(jù)分析技術(shù)對(duì)于海量數(shù)據(jù)分析處理的優(yōu)勢(shì)則是分布式處理技術(shù)。 大量的分節(jié)點(diǎn)以不規(guī)則分布方式存在，待任務(wù)觸發(fā)時(shí)，能夠并發(fā)處理各項(xiàng)數(shù)據(jù)，從數(shù)據(jù)預(yù)處理，到算法核計(jì)算、分析以及最終的分析結(jié)果等步驟無(wú)不體現(xiàn)了運(yùn)用大數(shù)據(jù)分析技術(shù)的優(yōu)勢(shì)。 不僅降低了任務(wù)的時(shí)間復(fù)雜度與空間復(fù)雜度，而且最終所得到的處理結(jié)果的準(zhǔn)確率與完整性更高，消耗的時(shí)間更低，整體處理效率更高[2]。

2 構(gòu)建大數(shù)據(jù)分析應(yīng)用安全策略

大數(shù)據(jù)分析技術(shù)的出現(xiàn)給人們的生產(chǎn)生活帶來(lái)天翻地覆的變化，在大數(shù)據(jù)技術(shù)的帶動(dòng)下，各個(gè)行業(yè)領(lǐng)域都做出了重大的改變與發(fā)展。 如何將大數(shù)據(jù)分析技術(shù)應(yīng)用到網(wǎng)絡(luò)安全分析工作中， 并且能夠使二者完美的契合起來(lái)將是一個(gè)長(zhǎng)遠(yuǎn)而又宏大的工程， 需要政府部門與高校研究人員以及相關(guān)技術(shù)企業(yè)等多方人員的全力配合， 才能夠?qū)⒋髷?shù)據(jù)分析技術(shù)完美的融入網(wǎng)絡(luò)安全分析工作中。

2.1 加強(qiáng)數(shù)據(jù)保護(hù)與安全建設(shè)

首先，要在思想上加強(qiáng)對(duì)數(shù)據(jù)安全保護(hù)的重視，網(wǎng)絡(luò)安全所需要面臨的問題并不是僅僅只有個(gè)人， 還有企事業(yè)單位以及各級(jí)政府，國(guó)家的信息數(shù)據(jù)安全最為重要。 綜上所述，必須對(duì)網(wǎng)絡(luò)數(shù)據(jù)安全建設(shè)提高重視，強(qiáng)化意識(shí)，需要大力鼓勵(lì)與扶持相關(guān)技術(shù)研究企業(yè)的發(fā)展， 打下夯實(shí)的網(wǎng)絡(luò)環(huán)境基礎(chǔ)， 提高對(duì)各項(xiàng)數(shù)據(jù)的保護(hù)能力與監(jiān)察能力，時(shí)刻保證單位的網(wǎng)絡(luò)數(shù)據(jù)安全。 無(wú)論是作為個(gè)人還是單位員工都要提高網(wǎng)絡(luò)安全意識(shí)， 保證自身的網(wǎng)絡(luò)數(shù)據(jù)安全[3]。

2.2 提升大數(shù)據(jù)網(wǎng)絡(luò)安全感知能力

如今， 幾乎沒有任何一個(gè)行業(yè)與領(lǐng)域能夠離開互聯(lián)網(wǎng)與計(jì)算機(jī)， 并且為了保障自身利益不受到損害先后都構(gòu)建了各式各樣的網(wǎng)絡(luò)安全防護(hù)系統(tǒng)，但是當(dāng)面臨病毒、黑客入侵，不良信息發(fā)布時(shí)，絕大多數(shù)的網(wǎng)絡(luò)安全防護(hù)系統(tǒng)大多不堪一擊，幾乎完全沒有抵抗能力，一旦面臨有比較大的危險(xiǎn)時(shí)無(wú)法保護(hù)個(gè)人的數(shù)據(jù)信息， 導(dǎo)致個(gè)人或者企事業(yè)單位遭受巨大損失。 想要加強(qiáng)網(wǎng)絡(luò)安全防護(hù)能力的建設(shè)，就必須要提升網(wǎng)絡(luò)安全感知能力。 在當(dāng)今互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代背景下， 網(wǎng)絡(luò)安全感知能力是一種能夠提高處理效率， 同時(shí)準(zhǔn)確率也能相對(duì)提高的一種網(wǎng)絡(luò)安全技術(shù)，能夠?qū)崿F(xiàn)脆弱性感知、異常行為檢測(cè)感知以及資產(chǎn)感知等操作， 還能夠?qū)τ脩舻男畔?lái)往和操作進(jìn)行安全性評(píng)估， 同時(shí)網(wǎng)絡(luò)安全感知技術(shù)還能夠?qū)τ脩舻男袨檫M(jìn)行特征分析計(jì)算， 從而進(jìn)一步辨別用戶的操作能否遭受到安全威脅。 當(dāng)被判別為能夠威脅到用過戶的安全時(shí)，系統(tǒng)就能夠自行屏蔽并提示管理員或者用戶， 從而大大提高對(duì)個(gè)人或者企事業(yè)單位的網(wǎng)絡(luò)安全保障。

2.3 提升大數(shù)據(jù)網(wǎng)絡(luò)安全融合能力

與如今的互聯(lián)網(wǎng)空間相比， 在過去的互聯(lián)網(wǎng)普及度相對(duì)較低，互聯(lián)網(wǎng)領(lǐng)域內(nèi)的法律法規(guī)也并不規(guī)范、并不完善， 各單位所上線的網(wǎng)絡(luò)安全管理系統(tǒng)在面對(duì)病毒以及黑客入侵時(shí)不堪一擊，無(wú)法抵御惡意程序和病毒的入侵，也不能夠攔截不良網(wǎng)站傳播的各種各樣非法廣告與危險(xiǎn)性極高的數(shù)據(jù)信息，大大破壞了網(wǎng)絡(luò)的安全與環(huán)境。 而現(xiàn)今，隨著業(yè)界內(nèi)相關(guān)的法律法規(guī)逐漸發(fā)展與完善，各種各樣的安全技術(shù)不斷攀升，各式各樣的安全設(shè)備推陳出新，例如邊界防護(hù)墻、VPN 設(shè)備、上網(wǎng)認(rèn)證系統(tǒng)、殺毒軟件、上網(wǎng)行為管理系統(tǒng)以及用戶訪問控制系統(tǒng)等等，使得現(xiàn)今的網(wǎng)絡(luò)安全系統(tǒng)越來(lái)越牢不可破。 但是，雖然各大安全技術(shù)廠家推出了各式各樣的網(wǎng)絡(luò)安全設(shè)備，如果僅用單一的網(wǎng)絡(luò)安全設(shè)備或者單一廠家的安全設(shè)備，是不能在當(dāng)今大數(shù)據(jù)時(shí)代來(lái)保護(hù)網(wǎng)絡(luò)安全的。 如今的病毒或惡意程序是多渠道、多空間、多層次的無(wú)差別攻擊，必須要將各個(gè)廠家的多種安全設(shè)備合理串聯(lián)利用，例如天融信的防火墻，依訊的漏洞掃描，深信服的VPN 等等多廠家主打的網(wǎng)絡(luò)安全設(shè)備筑起一道牢不可破的“長(zhǎng)城”，才能提升網(wǎng)絡(luò)安全防護(hù)能力。

2.4 構(gòu)建基于大數(shù)據(jù)分析技術(shù)的網(wǎng)絡(luò)安全平臺(tái)

在了解各網(wǎng)絡(luò)安全設(shè)備并構(gòu)建了網(wǎng)絡(luò)安全防護(hù)系統(tǒng)的基礎(chǔ)上，還需要基于大數(shù)據(jù)分析技術(shù)搭建其網(wǎng)絡(luò)安全平臺(tái)。 構(gòu)建網(wǎng)絡(luò)安全平臺(tái)的分為數(shù)據(jù)收集層與數(shù)據(jù)處理層。數(shù)據(jù)收集層又分為數(shù)據(jù)信息的分析層與大數(shù)據(jù)技術(shù)信息存儲(chǔ)層，而數(shù)據(jù)處理層又分為數(shù)據(jù)挖掘?qū)印⒎治鰧右约罢故緦印?在這些層面內(nèi)能夠?qū)λ玫接脩舾魇礁鳂拥臄?shù)據(jù)信息展開逐一分類，以方便對(duì)這海量數(shù)據(jù)的量化存儲(chǔ)。 至于展示層就是通過大數(shù)據(jù)分析技術(shù)對(duì)數(shù)據(jù)進(jìn)行特定的檢索，并將其可視化，最后將安全規(guī)范數(shù)據(jù)多維度的空間模型來(lái)呈現(xiàn)網(wǎng)絡(luò)的安全性。

基于大數(shù)據(jù)分析技術(shù)網(wǎng)絡(luò)安全平臺(tái)的構(gòu)建在運(yùn)行期間通常會(huì)采用Hive 的方式來(lái)統(tǒng)計(jì)和分析所得到的海量數(shù)據(jù)，通過分析、檢索得到的數(shù)據(jù)可存儲(chǔ)在HDFS 內(nèi)。對(duì)于數(shù)據(jù)挖掘?qū)佣裕刹扇』贖adoop 技術(shù)的機(jī)械化數(shù)據(jù)挖掘技術(shù)（對(duì)于海量的靜態(tài)數(shù)據(jù)而言，Hadoop 技術(shù)對(duì)數(shù)據(jù)的處理速度要遠(yuǎn)遠(yuǎn)大于Spack 技術(shù)）， 對(duì)于海量數(shù)據(jù)進(jìn)行深度挖掘與整理，并且能夠按照數(shù)據(jù)分析所引用的事件流來(lái)進(jìn)行特殊化分析工作[4]。在最后可以采用CPE 技術(shù)來(lái)對(duì)平臺(tái)內(nèi)的不同類型、不同時(shí)間的數(shù)據(jù)加以分析，并且能夠較好幫助建設(shè)關(guān)系庫(kù)，從而更好實(shí)現(xiàn)平臺(tái)對(duì)數(shù)據(jù)處理的整體性，以保障網(wǎng)絡(luò)環(huán)境的安全與防范。

3 結(jié)論

在現(xiàn)如今的互聯(lián)網(wǎng)背景下，雖然能夠大幅度提高網(wǎng)絡(luò)安全防護(hù)水平，但是從長(zhǎng)遠(yuǎn)的角度來(lái)看，還遠(yuǎn)遠(yuǎn)不夠，同樣存在著比較嚴(yán)重的網(wǎng)絡(luò)安全隱患。 對(duì)于網(wǎng)絡(luò)安全防護(hù)要與時(shí)俱進(jìn)，需要在設(shè)備上繼續(xù)加大研發(fā)力度，在技術(shù)上要改進(jìn)對(duì)網(wǎng)絡(luò)安全隱患的分析方法，才能夠在網(wǎng)絡(luò)安全防患的能力上得到加強(qiáng)，確保網(wǎng)絡(luò)環(huán)境的安全，才能夠更好地服務(wù)大眾與社會(huì)。