網(wǎng)絡(luò)安全分析如何應(yīng)用大數(shù)據(jù)技術(shù)

張慶濤

摘要：科技的進(jìn)步對(duì)人們的日常生活產(chǎn)生了重大且深遠(yuǎn)的影響，尤其是網(wǎng)絡(luò)的廣泛普及和應(yīng)用，讓人們得以享受更加便捷的服務(wù)。而伴隨而來(lái)的網(wǎng)絡(luò)安全問(wèn)題也成了大家關(guān)注的焦點(diǎn)，當(dāng)下日益增長(zhǎng)的網(wǎng)絡(luò)信息安全需求已經(jīng)難以憑借傳統(tǒng)網(wǎng)絡(luò)安全分析進(jìn)行處理，因此有必要引入更加先進(jìn)的技術(shù)進(jìn)行改善優(yōu)化。鑒于此，文章以大數(shù)據(jù)技術(shù)為核心，探討了其在網(wǎng)絡(luò)安全分析領(lǐng)域的應(yīng)用情況。

關(guān)鍵詞：網(wǎng)絡(luò)安全分析;大數(shù)據(jù)技術(shù);應(yīng)用

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）31-0013-02

當(dāng)前社會(huì)的方方面面都與網(wǎng)絡(luò)的應(yīng)用密不可分，網(wǎng)絡(luò)在維持社會(huì)正常運(yùn)行的同時(shí)，也面臨著一些令人棘手的安全問(wèn)題，對(duì)于個(gè)人、機(jī)構(gòu)甚至國(guó)家的信息安全等都存在一定的威脅。隨著互聯(lián)網(wǎng)的快速迭代升級(jí)，安全漏洞也日益增多，如果繼續(xù)沿用以往的分析模式和分析工具，將難以滿足實(shí)際需求。在這一背景下，引人最前沿的大數(shù)據(jù)技術(shù)，對(duì)于提高網(wǎng)絡(luò)安全防護(hù)具有不可估量的作用。

1網(wǎng)絡(luò)安全分析現(xiàn)狀與大數(shù)據(jù)技術(shù)概述

科技在現(xiàn)階段正處于高速發(fā)展階段，相比以往的從無(wú)到有，層出不窮的新技術(shù)和新設(shè)備為互聯(lián)網(wǎng)的應(yīng)用提供了更多的可能。由于IT架構(gòu)日益復(fù)雜，很多新的應(yīng)用場(chǎng)景導(dǎo)致業(yè)務(wù)和數(shù)據(jù)逐漸集中化，并形成了發(fā)展趨勢(shì)。網(wǎng)絡(luò)和應(yīng)用之間的界限不再像以往那么清晰明確，為了保障整個(gè)系統(tǒng)或者網(wǎng)絡(luò)的安全，相應(yīng)的設(shè)備也亟待更新。根據(jù)現(xiàn)階段的網(wǎng)絡(luò)發(fā)展情況來(lái)看，占據(jù)主流位置的安全分析模式是基于網(wǎng)絡(luò)流量以及日志等數(shù)據(jù)，它最顯著的弊端在于為了保留下大量的數(shù)據(jù)，不得不花費(fèi)高昂的資金成本。與此同時(shí)，想要對(duì)更復(fù)雜的網(wǎng)絡(luò)，比如云計(jì)算平臺(tái)等進(jìn)行全面的安全分析，就必須獲得包括網(wǎng)絡(luò)數(shù)據(jù)包、用戶相關(guān)業(yè)務(wù)信息以及漏洞信息等在內(nèi)的關(guān)鍵性數(shù)據(jù)。然而，這些數(shù)據(jù)的類型不僅限于常見(jiàn)的結(jié)構(gòu)化，還包括分結(jié)構(gòu)化和半結(jié)構(gòu)化，且產(chǎn)生的速度極陜，總體上呈現(xiàn)出“大數(shù)據(jù)”的特征，無(wú)法直接套用傳統(tǒng)的網(wǎng)絡(luò)安全分析進(jìn)行處理。由此可以看出，深入研究網(wǎng)絡(luò)安全分析并引人更先進(jìn)的技術(shù)迫在眉睫。

作為當(dāng)下最前沿的技術(shù)，大數(shù)據(jù)以其多樣化、內(nèi)容豐富和生成速度快等特點(diǎn)，在很多領(lǐng)域都取得了不俗的應(yīng)用成效。而對(duì)于大數(shù)據(jù)的處理，傳統(tǒng)的數(shù)據(jù)體系架構(gòu)并不能發(fā)揮理想的效果。從資源上來(lái)說(shuō)，大數(shù)據(jù)是一種新的資源，展現(xiàn)了不同以往的資源觀;從技術(shù)上來(lái)說(shuō)，大數(shù)據(jù)也被認(rèn)為是一種新的數(shù)據(jù)處理和分析技術(shù)。綜合而言，我們所說(shuō)的大數(shù)據(jù)技術(shù)囊括了挖掘大數(shù)據(jù)價(jià)值并將其展現(xiàn)的所有技術(shù)和方法，具體可分為數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析挖掘以及可視化等技術(shù)。

2網(wǎng)絡(luò)安全分析應(yīng)用大數(shù)據(jù)技術(shù)的意義

社會(huì)的運(yùn)行以及人們的日常生活都已離不開(kāi)互聯(lián)網(wǎng)絡(luò)，隨著科技的迅猛發(fā)展，互聯(lián)網(wǎng)中最核心的數(shù)據(jù)也迎來(lái)了更新。不論是數(shù)據(jù)的量或是增長(zhǎng)速度，都得到了顯著提升，當(dāng)然這對(duì)于互聯(lián)網(wǎng)服務(wù)性能的提升有一定的促進(jìn)作用，但不得忽視的一個(gè)問(wèn)題是，它也變相地增大了網(wǎng)絡(luò)安全分析工作的壓力。具體而言，這種壓力主要體現(xiàn)在這兩個(gè)方面：第一，網(wǎng)絡(luò)安全分析工作不得不面對(duì)更大的數(shù)據(jù)量和更豐富的數(shù)據(jù)種類，只有采取多維分析才能進(jìn)行有效處理;第二，不論是數(shù)據(jù)量的增長(zhǎng)還是數(shù)據(jù)傳輸速度的提升，都對(duì)數(shù)據(jù)分析處理工作提出了更高的要求，既要實(shí)現(xiàn)快速采集和處理數(shù)據(jù)信息，又要確保整個(gè)數(shù)據(jù)信息安全分析過(guò)程的有效，因此網(wǎng)絡(luò)安全分析工作面臨著前所未有的壓力。事實(shí)上，對(duì)于數(shù)據(jù)的存儲(chǔ)，在傳統(tǒng)網(wǎng)絡(luò)安全分析系統(tǒng)中主要是應(yīng)用結(jié)構(gòu)化數(shù)據(jù)庫(kù)來(lái)完成的，但這種方式所花費(fèi)的成本較大。為了控制成本，通常的做法是先對(duì)數(shù)據(jù)進(jìn)行處理以降低其大小，然后提升數(shù)據(jù)存儲(chǔ)容量，但這又催生了另一個(gè)問(wèn)題，即數(shù)據(jù)在處理過(guò)程中容易丟失部分信息。另一方面，傳統(tǒng)的網(wǎng)絡(luò)安全分析系統(tǒng)對(duì)于一些內(nèi)容復(fù)雜、非結(jié)構(gòu)化的數(shù)據(jù)和數(shù)據(jù)集進(jìn)行處理時(shí)，不論分析還是查詢都極為低效。以上問(wèn)題如果不得到有效解決，將愈發(fā)難以適應(yīng)日益增長(zhǎng)的網(wǎng)絡(luò)需求。

引入大數(shù)據(jù)技術(shù)，對(duì)于網(wǎng)絡(luò)安全分析的整體提升具有極大的促進(jìn)作用：首先，應(yīng)用大數(shù)據(jù)技術(shù)可以顯著提高數(shù)據(jù)存儲(chǔ)量，尤其在非結(jié)構(gòu)化的海量復(fù)雜數(shù)據(jù)處理方面效果突出，能夠保證處理效率和準(zhǔn)確性，同時(shí)盡可能完整的保存數(shù)據(jù)信息。其次，應(yīng)用大數(shù)據(jù)技術(shù)對(duì)于網(wǎng)絡(luò)安全分析系統(tǒng)的運(yùn)用成本控制有極大的裨益，比如相較于以往的結(jié)構(gòu)化數(shù)據(jù)庫(kù)，如果使用分布式數(shù)據(jù)庫(kù)則能有效降低經(jīng)濟(jì)成本，同時(shí)不需要很高的硬件輔助;再者，應(yīng)用大數(shù)據(jù)技術(shù)能夠顯著提升網(wǎng)絡(luò)安全分析系統(tǒng)的運(yùn)行效率，尤其表現(xiàn)在對(duì)于異構(gòu)數(shù)據(jù)的存儲(chǔ)和處理上，速度將得到進(jìn)一步加快;最后，應(yīng)用大數(shù)據(jù)技術(shù)便于從更多的維度、更深入的層級(jí)來(lái)分析和處理相關(guān)數(shù)據(jù)，從整體上提高了數(shù)據(jù)處理的進(jìn)度，讓網(wǎng)絡(luò)安全分析系統(tǒng)更高效地運(yùn)行。

3網(wǎng)絡(luò)安全分析應(yīng)用大數(shù)據(jù)技術(shù)的作用

網(wǎng)絡(luò)安全分析內(nèi)容龐雜，涉及很多工序和領(lǐng)域，其中最關(guān)鍵的是對(duì)各類數(shù)據(jù)的及時(shí)、有效處理。一般而言，網(wǎng)絡(luò)安全分析需要處理日志和流量?jī)煞N數(shù)據(jù)，同時(shí)兼顧相對(duì)較少的數(shù)據(jù)信息，比如日常數(shù)據(jù)訪問(wèn)、用戶的信息交流、業(yè)務(wù)行為產(chǎn)生的信息流等。應(yīng)用大數(shù)據(jù)技術(shù)，能夠通過(guò)對(duì)以往數(shù)據(jù)分析處理過(guò)程的優(yōu)化來(lái)提升網(wǎng)絡(luò)安全分析工作的效率，即憑借對(duì)分散性日志和數(shù)據(jù)的統(tǒng)籌處理，來(lái)進(jìn)一步降低數(shù)據(jù)采集和分析處理的時(shí)間。除此之外，大數(shù)據(jù)技術(shù)的合理應(yīng)用還可以通過(guò)關(guān)聯(lián)分析多種安全信息，多維度地進(jìn)行數(shù)據(jù)處理，更好地發(fā)現(xiàn)其中可能存在的問(wèn)題，從而讓安全分析更加有效。綜合而言，網(wǎng)絡(luò)安全分析應(yīng)用大數(shù)據(jù)技術(shù)的作用主要體現(xiàn)在這幾個(gè)方面：

3.1數(shù)據(jù)的采集

在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，通常需要借助一些工具，如Flume、Scribe等，以便于進(jìn)行分布式采集。這種數(shù)據(jù)采集方式更為高效，采集速度能達(dá)到每秒內(nèi)數(shù)百兆左右，從而在對(duì)日志數(shù)據(jù)信息等處理過(guò)程中發(fā)揮顯著成效。

3.2數(shù)據(jù)的存儲(chǔ)

能否有效存儲(chǔ)安全數(shù)據(jù)，是衡量網(wǎng)絡(luò)安全分析的一個(gè)重要參照，而應(yīng)用大數(shù)據(jù)技術(shù)則能夠采取不同的存儲(chǔ)方式應(yīng)對(duì)各種類型的數(shù)據(jù)，從而大幅提升數(shù)據(jù)查詢和存儲(chǔ)的有序性以及工作效率。具體而言，列式存儲(chǔ)方式最適宜用于主要在查詢中發(fā)揮作用的日志信息等數(shù)據(jù)，能夠顯著提升查詢效率;一些經(jīng)過(guò)標(biāo)準(zhǔn)化處理的數(shù)據(jù)在分析處理時(shí)，需要先進(jìn)行分布式計(jì)算，再將分析結(jié)果存放于列式存儲(chǔ)部分;一些即時(shí)性數(shù)據(jù)在分析處理時(shí)，需要先進(jìn)行流式計(jì)算，再將分析結(jié)果存放在列式存儲(chǔ)部分。

3.3數(shù)據(jù)的查詢

在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，可以開(kāi)發(fā)出新的數(shù)據(jù)查詢處理方式，即基于MapReduce的查詢模塊構(gòu)建，便于在查詢數(shù)據(jù)時(shí)將指令分節(jié)點(diǎn)安置并處理，最后再將所有節(jié)點(diǎn)的處理結(jié)果整合。很明顯，這樣的方式使得系統(tǒng)對(duì)于查詢指令的反應(yīng)和處理速度都得到顯著提升。

3.4數(shù)據(jù)的分析

在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，還有助于數(shù)據(jù)分析工作的效率提升。具體表現(xiàn)為：第一，對(duì)于實(shí)時(shí)數(shù)據(jù)的分析，可以應(yīng)用流式計(jì)算以及CEP技術(shù)和關(guān)聯(lián)分析算法，從而完成即時(shí)分析、即時(shí)監(jiān)控和即時(shí)處理，這樣可以在短時(shí)間內(nèi)找出數(shù)據(jù)異常;第二，對(duì)于統(tǒng)計(jì)結(jié)果和歷史數(shù)據(jù)的分析，可以借助分布式存儲(chǔ)與計(jì)算，運(yùn)用多種數(shù)據(jù)處理技術(shù)，實(shí)現(xiàn)較深層次的數(shù)據(jù)離線處理，這樣有助于更好地發(fā)揮網(wǎng)絡(luò)安全分析系統(tǒng)的風(fēng)險(xiǎn)分析與攻擊溯源等功能。

3.5復(fù)雜數(shù)據(jù)的分析處理

應(yīng)用大數(shù)據(jù)技術(shù)還有助于系統(tǒng)分析處理較為復(fù)雜的數(shù)據(jù)，比如在多源異構(gòu)數(shù)據(jù)、系統(tǒng)安全隱患以及關(guān)聯(lián)性攻擊行為等方面更加高效準(zhǔn)確。舉例來(lái)說(shuō)，作為一種常見(jiàn)的網(wǎng)絡(luò)安全問(wèn)題，僵尸網(wǎng)絡(luò)的處理通常較為低效，而應(yīng)用大數(shù)據(jù)技術(shù)之后，則既可以從流量和DNS訪問(wèn)特性上人手，又可以通過(guò)發(fā)散性關(guān)聯(lián)分析法以及與其他數(shù)據(jù)信息的整合，實(shí)現(xiàn)整體數(shù)據(jù)分析的全方位提升。另外，當(dāng)查出系統(tǒng)有漏洞時(shí)，能夠借助關(guān)聯(lián)處理內(nèi)網(wǎng)的主機(jī)，全面檢測(cè)出析系統(tǒng)中的隱患位置。

4基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全系統(tǒng)構(gòu)建

基于以上分析不難看出，應(yīng)用大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中發(fā)揮出重要的作用，因此有必要構(gòu)建基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全系統(tǒng)。具體而言，需要建立以下幾個(gè)模塊：

4.1數(shù)據(jù)源模塊

首先要安裝分布式采集器，這樣有助于系統(tǒng)采集各個(gè)硬件設(shè)備和軟件行為的數(shù)據(jù)信息，并且將采集的結(jié)果存放在相應(yīng)的存儲(chǔ)部位。在科技不斷發(fā)展的當(dāng)下，網(wǎng)絡(luò)安全分析系統(tǒng)所要處理的數(shù)據(jù)源會(huì)越來(lái)越多，除了做好傳統(tǒng)的防火墻和入侵檢測(cè)，還應(yīng)當(dāng)進(jìn)一步提升硬件性能，特別是對(duì)于服務(wù)器、存儲(chǔ)器等腰做好檢查維護(hù)，同時(shí)對(duì)系統(tǒng)軟件和數(shù)據(jù)庫(kù)等做好分析抽查。

4.2數(shù)據(jù)采集與存儲(chǔ)模塊

應(yīng)用大數(shù)據(jù)技術(shù)能夠優(yōu)化數(shù)據(jù)存儲(chǔ)與采集工作，即通過(guò)數(shù)據(jù)和元數(shù)據(jù)分立的方法實(shí)現(xiàn)，這也促進(jìn)了分布式數(shù)據(jù)的構(gòu)建。而對(duì)分布式數(shù)據(jù)來(lái)說(shuō)，其優(yōu)點(diǎn)體現(xiàn)在能夠穩(wěn)定完成數(shù)據(jù)存儲(chǔ)和訪問(wèn)，并且這一過(guò)程覆蓋數(shù)據(jù)自出現(xiàn)到刪除整個(gè)階段。當(dāng)下數(shù)據(jù)量不斷加大已成趨勢(shì)，因此不難預(yù)測(cè)未來(lái)網(wǎng)絡(luò)安全系統(tǒng)中，分布式數(shù)據(jù)存儲(chǔ)將大放異彩，尤其體現(xiàn)在對(duì)于系統(tǒng)數(shù)據(jù)存儲(chǔ)容量的提升和數(shù)據(jù)庫(kù)穩(wěn)定性的提高這方面。

4.3數(shù)據(jù)分析模塊

大數(shù)據(jù)技術(shù)的應(yīng)用使得網(wǎng)絡(luò)安全系統(tǒng)可以同時(shí)高效運(yùn)行對(duì)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)的分析，在大數(shù)據(jù)分布式處理基礎(chǔ)上構(gòu)建的數(shù)據(jù)分析模塊，在數(shù)據(jù)處理分析方面則更加高效穩(wěn)定，從而促進(jìn)系統(tǒng)在有效時(shí)間內(nèi)實(shí)現(xiàn)多維度地分析處理數(shù)據(jù)信息或者聯(lián)合分析處理數(shù)據(jù)信息。

4.4數(shù)據(jù)展示模塊

數(shù)據(jù)展示模塊的構(gòu)建是基于用戶的視角，通過(guò)對(duì)用戶服務(wù)和體驗(yàn)進(jìn)行分析來(lái)提供更加優(yōu)質(zhì)的服務(wù)，從而保障用戶可以通過(guò)該模塊更好地使用網(wǎng)絡(luò)安全系統(tǒng)，并促進(jìn)用戶增強(qiáng)對(duì)大數(shù)據(jù)技術(shù)的信任，以便將自身個(gè)人信息放心地存儲(chǔ)在其中。

網(wǎng)絡(luò)安全分析是整個(gè)互聯(lián)網(wǎng)運(yùn)行的重要環(huán)節(jié)之一，它必須隨著科技的進(jìn)步而不斷優(yōu)化改進(jìn)。當(dāng)下正處于數(shù)據(jù)信息爆炸式增長(zhǎng)的階段，為了更好地保障網(wǎng)絡(luò)運(yùn)行的安全，需要引入先進(jìn)的大數(shù)據(jù)技術(shù)來(lái)進(jìn)行網(wǎng)絡(luò)安全分析，從而使互聯(lián)網(wǎng)更好地被人們應(yīng)用。