大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

滕雅玲

（萊州市融媒體中心，山東 萊州 261400）

0 引言

隨著近年來(lái)我國(guó)信息技術(shù)的飛速發(fā)展，我國(guó)的網(wǎng)絡(luò)信息技術(shù)實(shí)現(xiàn)了普及。我國(guó)居民對(duì)于網(wǎng)絡(luò)安全也變得越來(lái)越重視，因?yàn)榫W(wǎng)絡(luò)安全將直接關(guān)系到我國(guó)居民的隱私，對(duì)我國(guó)的國(guó)家機(jī)密也會(huì)造成巨大的威脅，使我國(guó)的網(wǎng)絡(luò)安全分析面臨著全新的挑戰(zhàn)。

1 大數(shù)據(jù)技術(shù)背景下網(wǎng)絡(luò)安全分析的必要性探究

1.1 網(wǎng)絡(luò)信息安全管理現(xiàn)狀

得益于我國(guó)信息技術(shù)的進(jìn)步，IT行業(yè)發(fā)生了巨大的變革，具體的表現(xiàn)就是利用信息技術(shù)與信息工具所建立的網(wǎng)絡(luò)數(shù)據(jù)業(yè)務(wù)數(shù)量越來(lái)越多。因此，網(wǎng)絡(luò)應(yīng)用的復(fù)雜性也變得越來(lái)越高，現(xiàn)階段以往的網(wǎng)絡(luò)設(shè)備已經(jīng)無(wú)法滿足信息技術(shù)飛速發(fā)展的需求，如何提升網(wǎng)絡(luò)運(yùn)行的安全性是需要重視的問(wèn)題。以往在分析網(wǎng)絡(luò)運(yùn)行的安全性時(shí)需要消耗大量的成本，且有效性往往難以得到保障。利用云計(jì)算平臺(tái)實(shí)現(xiàn)數(shù)據(jù)分析，通過(guò)云計(jì)算實(shí)現(xiàn)網(wǎng)絡(luò)信息數(shù)據(jù)的有效分析，獲取數(shù)據(jù)包漏洞已經(jīng)成了網(wǎng)絡(luò)安全分析的一大發(fā)展趨勢(shì)。非結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)相較以往已產(chǎn)生巨大的變化，以往的數(shù)據(jù)整理手段無(wú)法滿足現(xiàn)階段網(wǎng)絡(luò)安全運(yùn)行的需求，因此大數(shù)據(jù)技術(shù)的在網(wǎng)絡(luò)安全分析中的應(yīng)用迫在眉睫[1]。

1.2 大數(shù)據(jù)技術(shù)概述

大數(shù)據(jù)技術(shù)的應(yīng)用是未來(lái)網(wǎng)絡(luò)安全分析的重要發(fā)展趨勢(shì)。大數(shù)據(jù)技術(shù)最大的特點(diǎn)就是數(shù)據(jù)量大、數(shù)據(jù)多樣化。就以往的數(shù)據(jù)體系而言，要想處理好大數(shù)據(jù)，是有著一定的難度的。受到大數(shù)據(jù)技術(shù)的影響，大數(shù)據(jù)已經(jīng)成為了一種新型網(wǎng)絡(luò)資源。大數(shù)據(jù)指的也就是通過(guò)搜集與整理網(wǎng)絡(luò)信息，利用數(shù)據(jù)處理技術(shù)，有效處理大數(shù)據(jù)的獨(dú)特方法與技術(shù)。

1.3 大數(shù)據(jù)技術(shù)背景下網(wǎng)絡(luò)安全分析的意義

網(wǎng)絡(luò)安全分析面臨的壓力與負(fù)擔(dān)具體體現(xiàn)在以下兩個(gè)方面：第一個(gè)壓力是我國(guó)互聯(lián)網(wǎng)高速發(fā)展帶來(lái)的數(shù)據(jù)問(wèn)題，隨著網(wǎng)絡(luò)數(shù)據(jù)的爆炸式增長(zhǎng)，網(wǎng)絡(luò)安全要面對(duì)的數(shù)據(jù)種類(lèi)以及數(shù)據(jù)儲(chǔ)量也大幅增加，以往的數(shù)據(jù)處理方法已經(jīng)無(wú)法滿足現(xiàn)階段數(shù)據(jù)處理的需求；第二個(gè)壓力是隨著我國(guó)網(wǎng)絡(luò)傳輸速度的升級(jí)換代，要想做好網(wǎng)絡(luò)安全分析工作，就要提升信息采集的速度與效率，如果網(wǎng)絡(luò)安全分析效率跟不上數(shù)據(jù)傳輸?shù)乃俣?，那么也無(wú)法真正有效地保證網(wǎng)絡(luò)安全。就網(wǎng)絡(luò)安全分析系統(tǒng)而言，傳統(tǒng)的網(wǎng)絡(luò)安全分析系統(tǒng)采用結(jié)構(gòu)化數(shù)據(jù)庫(kù)實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)會(huì)大幅增加網(wǎng)絡(luò)安全分析的運(yùn)營(yíng)成本。要想減少這方面的成本，就要對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的處理，即減小數(shù)據(jù)，提升存儲(chǔ)量。但是這樣的方式會(huì)導(dǎo)致數(shù)據(jù)在處理的過(guò)程中出現(xiàn)丟失，在數(shù)據(jù)長(zhǎng)時(shí)間的存儲(chǔ)過(guò)程中也會(huì)導(dǎo)致數(shù)據(jù)的丟失。因此，傳統(tǒng)的網(wǎng)絡(luò)安全分析在面對(duì)互聯(lián)網(wǎng)飛速發(fā)展帶來(lái)的復(fù)雜數(shù)據(jù)時(shí)，難以發(fā)揮作用，分析速度與分析效率無(wú)法滿足現(xiàn)階段發(fā)展的需求[2]。

大數(shù)據(jù)技術(shù)的發(fā)展為網(wǎng)絡(luò)安全分析打開(kāi)了新的大門(mén)，其較好的應(yīng)用效果推進(jìn)了網(wǎng)絡(luò)安全分析的進(jìn)一步發(fā)展。首先，大數(shù)據(jù)技術(shù)能夠顯著提升網(wǎng)絡(luò)安全分析的數(shù)據(jù)儲(chǔ)存量，在應(yīng)對(duì)現(xiàn)階段網(wǎng)絡(luò)上大量的非結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)技術(shù)能夠確保效率與速度，還能保證數(shù)據(jù)的完整性實(shí)現(xiàn)高效分析。其次，大數(shù)據(jù)技術(shù)能夠降低傳統(tǒng)網(wǎng)絡(luò)安全分析高額的運(yùn)營(yíng)成本，大數(shù)據(jù)技術(shù)所應(yīng)用的分布式數(shù)據(jù)庫(kù)相較于傳統(tǒng)機(jī)構(gòu)化數(shù)據(jù)庫(kù)，其成本更低，對(duì)于硬件的要求也更加低，這也使得數(shù)據(jù)的分析門(mén)檻降低，確定數(shù)據(jù)分析的穩(wěn)定運(yùn)行。再者，大數(shù)據(jù)技術(shù)的發(fā)展能夠提升網(wǎng)絡(luò)安全分析系統(tǒng)的運(yùn)行效率，實(shí)現(xiàn)非結(jié)構(gòu)數(shù)據(jù)的存儲(chǔ)與處理，提升訪問(wèn)速度。最后是大數(shù)據(jù)技術(shù)的應(yīng)用能夠顯著提升數(shù)據(jù)處理的精度與速度，實(shí)現(xiàn)多維度與多層次的數(shù)據(jù)處理與分析[3]。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

2.1 數(shù)據(jù)采集

數(shù)據(jù)采集是將大數(shù)據(jù)應(yīng)用在網(wǎng)絡(luò)安全分析的第一個(gè)基礎(chǔ)步驟，其由日志和流量?jī)刹糠植杉瘍?nèi)容構(gòu)成。大數(shù)據(jù)技術(shù)需要對(duì)這兩種形式的內(nèi)容進(jìn)行采集，并開(kāi)展后續(xù)的工作，是網(wǎng)絡(luò)安全分析的重要步驟。就傳統(tǒng)數(shù)據(jù)采集而言，其比較容易受到工作者的專業(yè)技術(shù)能力的限制，如果工作者缺乏相應(yīng)的技術(shù)，那么數(shù)據(jù)采集的準(zhǔn)確性就難以保證。在大數(shù)據(jù)技術(shù)與網(wǎng)絡(luò)安全技術(shù)的結(jié)合下，Chukwa等類(lèi)型的工具被廣泛應(yīng)用于數(shù)據(jù)采集當(dāng)中，這無(wú)疑解決了傳統(tǒng)數(shù)據(jù)采集效率低、準(zhǔn)確性低的難題。

2.2 數(shù)據(jù)查詢

得益于大數(shù)據(jù)技術(shù)龐大的數(shù)據(jù)量以及強(qiáng)大的分析能力，其大大提升了檢索效率，使檢索結(jié)果更加符合人們預(yù)期，因此數(shù)據(jù)查詢工作的效率也會(huì)大幅提升。這主要是因?yàn)榇髷?shù)據(jù)技術(shù)所能夠采集到的信息量大幅增加，在進(jìn)行數(shù)據(jù)查詢時(shí)其所能夠提供的是一個(gè)更加龐大的資料。且大數(shù)據(jù)技術(shù)有著定期采集與更新的特點(diǎn)，其能夠?qū)Σ杉降男畔⑦M(jìn)行分類(lèi)，對(duì)采集到的信息類(lèi)型與信息特點(diǎn)進(jìn)行總結(jié)，來(lái)判斷信息是否與人們的需求相貼合，進(jìn)而節(jié)約了大量的時(shí)間，為人們提供了便利[4]。

2.3 數(shù)據(jù)存儲(chǔ)

就數(shù)據(jù)存儲(chǔ)而言，我國(guó)網(wǎng)絡(luò)信息的數(shù)量、類(lèi)型與種類(lèi)都在不斷增加，這就導(dǎo)致了現(xiàn)階段網(wǎng)絡(luò)安全分析當(dāng)中對(duì)數(shù)據(jù)存儲(chǔ)容量的需求也變得越來(lái)越大，數(shù)據(jù)在傳輸?shù)倪^(guò)程中難免會(huì)產(chǎn)生改變，但隨著數(shù)據(jù)種類(lèi)的增多，對(duì)數(shù)據(jù)存儲(chǔ)也提出了更高的要求?，F(xiàn)階段以往的存儲(chǔ)類(lèi)型已經(jīng)無(wú)法推進(jìn)網(wǎng)絡(luò)安全的進(jìn)一步發(fā)展，所以在數(shù)據(jù)存儲(chǔ)方面也要應(yīng)用到大數(shù)據(jù)技術(shù)。大數(shù)據(jù)技術(shù)在數(shù)據(jù)存儲(chǔ)中的應(yīng)用主要體現(xiàn)在不同存儲(chǔ)方式的提供與使用，大數(shù)據(jù)龐大的計(jì)算能力可以幫助數(shù)據(jù)更好地進(jìn)行分類(lèi)，結(jié)合數(shù)據(jù)的特點(diǎn)對(duì)數(shù)據(jù)進(jìn)行處理、計(jì)算與分類(lèi)。通常大數(shù)據(jù)技術(shù)支撐下存儲(chǔ)的主要方式是云存儲(chǔ)，其能夠方便數(shù)據(jù)的分析與處理，解決信息量大帶來(lái)的一系列問(wèn)題。

2.4 數(shù)據(jù)分析

網(wǎng)絡(luò)安全分析中，應(yīng)用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)分析能夠?qū)崿F(xiàn)信息的實(shí)時(shí)監(jiān)控，其主要是對(duì)信息的安全性進(jìn)行監(jiān)控，以確保網(wǎng)絡(luò)的安全。在利用大數(shù)據(jù)進(jìn)行數(shù)據(jù)分析時(shí)，會(huì)根據(jù)信息的特點(diǎn)選擇不同類(lèi)型的分析方法，且會(huì)利用與信息相對(duì)應(yīng)的技術(shù)進(jìn)行分析，確保數(shù)據(jù)信息的安全性與準(zhǔn)確性。GEP技術(shù)、Sprk技術(shù)是常見(jiàn)的大數(shù)據(jù)技術(shù)下數(shù)據(jù)分析方式，其主要針對(duì)數(shù)據(jù)信息中存在的錯(cuò)誤、隱患與漏洞進(jìn)行分析，以確保數(shù)據(jù)分析工作能夠順利開(kāi)展，推進(jìn)下一步工作的進(jìn)行。

2.5 復(fù)雜數(shù)據(jù)處理

我國(guó)的數(shù)據(jù)信息種類(lèi)近年來(lái)也變得更加豐富與多元化，其面臨的問(wèn)題也越來(lái)越復(fù)雜。應(yīng)及時(shí)解決其中所存在的問(wèn)題，才能夠確保網(wǎng)絡(luò)的安全。大數(shù)據(jù)技術(shù)在處理復(fù)雜數(shù)據(jù)時(shí)也有著較好的效果，如果大數(shù)據(jù)技術(shù)在進(jìn)行網(wǎng)絡(luò)安全分析過(guò)程中遇到了僵尸網(wǎng)絡(luò)，大數(shù)據(jù)技術(shù)可以利用其強(qiáng)大的采集能力，對(duì)數(shù)據(jù)進(jìn)行全面分析，以確保數(shù)據(jù)的準(zhǔn)確性與安全性。

3 大數(shù)據(jù)技術(shù)下網(wǎng)絡(luò)安全平臺(tái)的構(gòu)建

3.1 網(wǎng)絡(luò)安全平臺(tái)架構(gòu)

網(wǎng)絡(luò)安全平臺(tái)的架構(gòu)主要建立在以下四個(gè)方面，其分別是數(shù)據(jù)的采集、存儲(chǔ)、分析與表現(xiàn)。數(shù)據(jù)的采集是進(jìn)行后續(xù)工作的重要技術(shù)，大數(shù)據(jù)技術(shù)支撐下的數(shù)據(jù)采集有著更高的準(zhǔn)確性與進(jìn)度。數(shù)據(jù)的存儲(chǔ)是為了方便后續(xù)數(shù)據(jù)的分析，只有確保數(shù)據(jù)存儲(chǔ)的質(zhì)量與效率，才能夠推進(jìn)后續(xù)數(shù)據(jù)分析準(zhǔn)確性的提升。數(shù)據(jù)分析指的是對(duì)數(shù)據(jù)的信息進(jìn)行安全分析，確保其安全性的同時(shí)還要對(duì)數(shù)據(jù)進(jìn)行整理。根據(jù)數(shù)據(jù)類(lèi)型的不同特點(diǎn)進(jìn)行分類(lèi)與整理，大數(shù)據(jù)技術(shù)對(duì)網(wǎng)絡(luò)安全分析能夠提供強(qiáng)有力的信息依據(jù)，更好地構(gòu)建網(wǎng)絡(luò)安全平臺(tái)。其次就是大數(shù)據(jù)技術(shù)豐富了數(shù)據(jù)的表現(xiàn)形式，以往種類(lèi)單一的數(shù)據(jù)在大數(shù)據(jù)技術(shù)的加持下變得更加多樣化，實(shí)現(xiàn)了數(shù)據(jù)信息的有效處理[5]。

3.2 平臺(tái)實(shí)現(xiàn)的技術(shù)支持

針對(duì)數(shù)據(jù)應(yīng)用形式的不同，也應(yīng)該采用不同的技術(shù)手段。Stom、hive、flume等技術(shù)是常見(jiàn)的數(shù)據(jù)采集技術(shù)，根據(jù)數(shù)據(jù)采集需求與類(lèi)型的不同進(jìn)行采集，使數(shù)據(jù)的采集更具系統(tǒng)性與規(guī)范性。HDFS是數(shù)據(jù)存儲(chǔ)的常用技術(shù)，其容量較大、吞吐量高，能夠?qū)崿F(xiàn)數(shù)據(jù)的有效存儲(chǔ)。MapReduce技術(shù)是常見(jiàn)的數(shù)據(jù)分析手段，其能夠?qū)Υ鎯?chǔ)的信息進(jìn)行整合，進(jìn)行進(jìn)一步的分析與整理，推進(jìn)網(wǎng)絡(luò)安全工作的順利開(kāi)展。

3.3 實(shí)時(shí)安全分析

主機(jī)入侵檢測(cè)與DDoS攻擊路徑準(zhǔn)實(shí)時(shí)監(jiān)測(cè)是實(shí)時(shí)安全分析的兩大板塊，DDoS攻擊路徑實(shí)時(shí)監(jiān)測(cè)能夠及時(shí)獲取入侵信息的相關(guān)信息，查詢獲取到的信息并進(jìn)行分析；而主機(jī)入侵檢測(cè)指的是對(duì)上述信息進(jìn)行標(biāo)記，將這類(lèi)信息存儲(chǔ)到名單之中，在名單之中與已有的入侵信息記錄進(jìn)行比對(duì)后，如果發(fā)現(xiàn)是一種新的攻擊主機(jī)信息，系統(tǒng)便會(huì)對(duì)其進(jìn)行自動(dòng)定義，日后對(duì)這類(lèi)信息加以防范，提升網(wǎng)絡(luò)安全分析的效率。

4 結(jié)語(yǔ)

大數(shù)據(jù)技術(shù)彌補(bǔ)了以往網(wǎng)絡(luò)安全分析中，安全分析能力不足的問(wèn)題，其通過(guò)關(guān)聯(lián)分析、人機(jī)交互、流量計(jì)算引擎、分布式采集處理等技術(shù)，能夠在大量的數(shù)據(jù)中發(fā)現(xiàn)攻擊與威脅，以便采取及時(shí)的預(yù)防與處理措施，使網(wǎng)絡(luò)安全得到大幅提升。尤其是在當(dāng)前網(wǎng)絡(luò)技術(shù)大范圍應(yīng)用的背景下，網(wǎng)絡(luò)安全已經(jīng)成為人們普遍關(guān)注的問(wèn)題，因此在網(wǎng)絡(luò)安全分析中，大數(shù)據(jù)技術(shù)以其在網(wǎng)絡(luò)安全分析中的優(yōu)勢(shì)，必然能發(fā)揮出更顯著的作用。