大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

韋俊旭

【摘要】21世紀(jì)我國(guó)已經(jīng)進(jìn)入了網(wǎng)絡(luò)建設(shè)的全新時(shí)代，在網(wǎng)絡(luò)的安全運(yùn)行過(guò)程，對(duì)于大數(shù)據(jù)技術(shù)的應(yīng)用一定要重視起來(lái)。能夠注重對(duì)流量數(shù)據(jù)和分散日志的集中化管理，同時(shí)，通過(guò)儲(chǔ)存，采集，檢索等方式來(lái)提高網(wǎng)絡(luò)數(shù)據(jù)的處理速度和效率，關(guān)注到網(wǎng)絡(luò)的安全問(wèn)題，盡可能地減少安全分析的時(shí)間。本文首先了解了大數(shù)據(jù)技術(shù)與網(wǎng)絡(luò)安全分析，隨后分析了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析領(lǐng)域的應(yīng)用意義，最后探究了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用。

【關(guān)鍵詞】大數(shù)據(jù)技術(shù);網(wǎng)絡(luò)安全分析;重要意義;應(yīng)用

中圖分類號(hào)：TN92 ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? ? DOI：10.12246/j.issn.1673-0348.2021.22.033

結(jié)合網(wǎng)絡(luò)信息技術(shù)發(fā)展特點(diǎn)，在網(wǎng)絡(luò)信息技術(shù)發(fā)展的背景下，網(wǎng)絡(luò)框架呈現(xiàn)出復(fù)雜性的發(fā)展變化，網(wǎng)絡(luò)資源內(nèi)容呈現(xiàn)出細(xì)致性以及多元化的變化，若在網(wǎng)絡(luò)信息技術(shù)使用中，缺少網(wǎng)絡(luò)安全意識(shí)，會(huì)降低網(wǎng)絡(luò)安全性，無(wú)法滿足不同行業(yè)的信息化發(fā)展需求。所以，在網(wǎng)絡(luò)安全分析中，通過(guò)大數(shù)據(jù)技術(shù)的運(yùn)用，不僅可以實(shí)現(xiàn)數(shù)據(jù)量大、速度快的使用優(yōu)勢(shì)，也可以滿足網(wǎng)絡(luò)系統(tǒng)利用的安全性，展現(xiàn)網(wǎng)絡(luò)安全防護(hù)的價(jià)值。

1. 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析領(lǐng)域的應(yīng)用意義

1.1 網(wǎng)絡(luò)安全分析應(yīng)用大數(shù)據(jù)技術(shù)的重要性

為了改善和提高互聯(lián)網(wǎng)網(wǎng)絡(luò)信息安全的精確度和準(zhǔn)確率，就必須采取更多的方法。網(wǎng)絡(luò)安全分析中，利用大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)上的應(yīng)用主要集中于分析數(shù)據(jù)，傳統(tǒng)的對(duì)于數(shù)據(jù)信息進(jìn)行傳遞的技術(shù)已經(jīng)滿足不了越來(lái)越多人日益擴(kuò)展的需求。而且大數(shù)據(jù)技術(shù)可以在海量、沒(méi)有一定規(guī)律的信息處理中仍舊能夠很好地保證其效率與準(zhǔn)確度，這些都是傳統(tǒng)的信息技術(shù)所做不到的。因此為了有效地保障信息安全，就必須要求大數(shù)據(jù)技術(shù)在企業(yè)中得到廣泛的運(yùn)用。大數(shù)據(jù)技術(shù)可以有效地提升網(wǎng)絡(luò)安全性分析系統(tǒng)的內(nèi)部存儲(chǔ)和管理能力。由于網(wǎng)絡(luò)的信息復(fù)雜、巨大，要把這些海量信息進(jìn)行集中、分析和存儲(chǔ)，這就必然需要互聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)的協(xié)助。并且，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全方面的運(yùn)用，可以有效地降低網(wǎng)絡(luò)維護(hù)和安全管理的成本。大數(shù)據(jù)所采用的結(jié)構(gòu)化數(shù)據(jù)庫(kù)方式較之于傳統(tǒng)結(jié)構(gòu)化的數(shù)據(jù)庫(kù)方式效率更好，對(duì)硬件的要求低，成本更低。

1.2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析領(lǐng)域的應(yīng)用優(yōu)勢(shì)

1.2.1 分析資料更加詳實(shí)

網(wǎng)絡(luò)安全問(wèn)題涉及到諸多影響因素，涉及到與整個(gè)網(wǎng)絡(luò)運(yùn)行密切相關(guān)的各種流程和節(jié)點(diǎn)。它要求我們廣泛收集和分析網(wǎng)絡(luò)世界中可能產(chǎn)生的各種海量信息數(shù)據(jù)。然而，傳統(tǒng)的大數(shù)據(jù)分析技術(shù)不能完全滿足這項(xiàng)技術(shù)的要求。一般只圍繞具體問(wèn)題收集和分析數(shù)據(jù)，這嚴(yán)重制約了網(wǎng)絡(luò)安全分析結(jié)果的準(zhǔn)確性，其工作價(jià)值無(wú)法得到保證。

大數(shù)據(jù)技術(shù)的發(fā)展是為了有效解決網(wǎng)絡(luò)上數(shù)量眾多的、非結(jié)構(gòu)化數(shù)據(jù)的采集和處理問(wèn)題。利用這項(xiàng)技術(shù)，我們可以廣泛收集和處理網(wǎng)絡(luò)世界中人類產(chǎn)生的各種海量信息，這顯然在很大程度上增加了豐富的分析數(shù)據(jù)，我們的研究結(jié)論也變得更加可靠。

1.2.2 提升分析效率

與其他大數(shù)據(jù)技術(shù)方法相比，傳統(tǒng)的數(shù)據(jù)處理方法和手段主要是處理具有結(jié)構(gòu)和形態(tài)多樣性的大規(guī)模復(fù)雜信息，分析和處理這些數(shù)據(jù)的效率相對(duì)較低。我們的網(wǎng)絡(luò)安全分析基于移動(dòng)互聯(lián)網(wǎng)的應(yīng)用領(lǐng)域。網(wǎng)絡(luò)世界的每一個(gè)地方都會(huì)收集到大量與安全密切相關(guān)的信息，這就導(dǎo)致了以往傳統(tǒng)數(shù)據(jù)處理技術(shù)中所存在的不利局面，阻礙了我們工作效率的提高?；诖耍訌?qiáng)大數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)安全分析等新技術(shù)領(lǐng)域的實(shí)際應(yīng)用，特別是加強(qiáng)基于大數(shù)據(jù)技術(shù)的信息分析平臺(tái)的建設(shè)和運(yùn)營(yíng)，通過(guò)分布式數(shù)據(jù)采集獲得的各種海量異構(gòu)數(shù)據(jù)資源進(jìn)行分布式存儲(chǔ)和并行計(jì)算，全面提升大數(shù)據(jù)的綜合處理能力和效率。

1.2.3 降低數(shù)據(jù)處理成本

信息數(shù)據(jù)的采集可以通過(guò)對(duì)現(xiàn)有的網(wǎng)絡(luò)基礎(chǔ)設(shè)施進(jìn)行微小的改動(dòng)直接實(shí)現(xiàn)，信息數(shù)據(jù)的采集可以通過(guò)移動(dòng)終端直接完成。由于大部分?jǐn)?shù)據(jù)處理任務(wù)都安裝在云端，本地人員無(wú)需部署大量計(jì)算機(jī)和計(jì)算機(jī)分析資源，有效降低了系統(tǒng)的運(yùn)營(yíng)成本。

2. 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

2.1 信息的采集

在對(duì)數(shù)據(jù)分析過(guò)程中可以將信息的采集作為基本條件，需要結(jié)合網(wǎng)絡(luò)安全的需求科學(xué)合理的采集數(shù)據(jù)信息，大數(shù)據(jù)技術(shù)在信息采集階段的應(yīng)用十分必要，信息采集作為信息整合與分析的前提基礎(chǔ)，完善采集工作板與后續(xù)工作的順利開展。在大數(shù)據(jù)技術(shù)的采集階段應(yīng)用匯總，其常見(jiàn)的技術(shù)手段有Flume、Kafka、Storm技術(shù)，以便于大數(shù)據(jù)進(jìn)行各種分布式的采集。這種數(shù)據(jù)采集的方式比較高效，其采集的速度可以達(dá)到每秒內(nèi)數(shù)百兆左右，從而使得它們?cè)趯?duì)各種日志數(shù)據(jù)信息等進(jìn)行處理的過(guò)程中得以獲得顯著成效。這幾項(xiàng)信息采集技術(shù)的應(yīng)用會(huì)將所采集信息中有價(jià)值的信息分離出來(lái)，再講分離出來(lái)的價(jià)值信息進(jìn)行重新整合與分析，最終生成數(shù)據(jù)報(bào)告和完成數(shù)據(jù)傳輸工作。需要強(qiáng)調(diào)的是，在最終生成的數(shù)據(jù)傳輸工作前，其數(shù)據(jù)要進(jìn)行檢查和分類，確保數(shù)據(jù)格式的正確性能夠符合消費(fèi)者所需服務(wù)的要求。

2.2 信息的儲(chǔ)存

能否有效地存儲(chǔ)安全的信息和數(shù)據(jù)，是我們衡量網(wǎng)絡(luò)安全分析的一個(gè)重要環(huán)節(jié)，信息的收集和存儲(chǔ)對(duì)于互聯(lián)網(wǎng)網(wǎng)絡(luò)安全的分析來(lái)講很重要，而且在實(shí)際中運(yùn)用到了大數(shù)據(jù)技術(shù)就能夠通過(guò)多種形式采取不同的存儲(chǔ)手段來(lái)處理和應(yīng)對(duì)不同類型的信息和數(shù)據(jù)，從而大幅度地提升了數(shù)據(jù)的查詢與存儲(chǔ)的順利性以及其工作效率。在信息的存儲(chǔ)過(guò)程中，必須要考慮到數(shù)據(jù)信息的類別和數(shù)量，信息的存儲(chǔ)一方面要確保數(shù)據(jù)信息分類的科學(xué)性，另外，在存儲(chǔ)量上一定要確保容量，確保數(shù)據(jù)存儲(chǔ)的安全穩(wěn)定不易丟失，只有明確好這些才能夠選擇最為合適的存儲(chǔ)方法，以便提高數(shù)據(jù)的查詢速度和存儲(chǔ)效率。在網(wǎng)絡(luò)組織架構(gòu)的計(jì)算過(guò)程中，必須要考慮到安全實(shí)施的標(biāo)準(zhǔn)，把分布式作為依據(jù)，在數(shù)據(jù)的設(shè)置和分析過(guò)程中，要注重節(jié)點(diǎn)上的計(jì)算，使用腳本挖掘來(lái)更好地分析網(wǎng)絡(luò)的安全級(jí)別，通過(guò)列式的方式存儲(chǔ)數(shù)據(jù)，把需要分析的數(shù)據(jù)資源放到每一個(gè)計(jì)算的節(jié)點(diǎn)中，系統(tǒng)在此就會(huì)對(duì)其進(jìn)行快速的分析，并且完成信息的統(tǒng)計(jì)工作，最后再通過(guò)流式的方式把分析的結(jié)果放在數(shù)據(jù)庫(kù)當(dāng)中。

2.3 數(shù)據(jù)的檢索

數(shù)據(jù)的檢索是在數(shù)據(jù)分類存儲(chǔ)的基礎(chǔ)上進(jìn)行的，通過(guò)對(duì)數(shù)據(jù)信息進(jìn)行檢索有利于促進(jìn)網(wǎng)絡(luò)安全數(shù)據(jù)分析工作的順利進(jìn)行，科學(xué)合理的檢索信息，從而使得使用者通過(guò)查找關(guān)鍵詞的方式即可查詢到所需數(shù)據(jù)信息，能夠提升網(wǎng)絡(luò)安全分析的性能，同時(shí)在數(shù)據(jù)分析質(zhì)量提升方面起著舉足輕重的作用。在開展網(wǎng)絡(luò)安全分析工作過(guò)程中，有必要檢索數(shù)據(jù)信息，通常使用MapReduce方法對(duì)數(shù)據(jù)進(jìn)行檢索，把提出的查詢請(qǐng)求傳送到各個(gè)處理節(jié)點(diǎn)，然后將查詢請(qǐng)求進(jìn)行有效處理，接著采用分布式計(jì)算，可以加快相關(guān)數(shù)據(jù)信息的檢索。檢索速度的提高有利于促進(jìn)網(wǎng)絡(luò)安全數(shù)據(jù)分析工作的順利進(jìn)行，同時(shí)在網(wǎng)絡(luò)安全性能提升方面發(fā)揮著至關(guān)重要的作用。

2.4 數(shù)據(jù)的分析

數(shù)據(jù)信息的分析是指對(duì)于收集存儲(chǔ)信息的梳理和預(yù)判，數(shù)據(jù)的整理和預(yù)判大致可以劃分為兩類，一種是對(duì)于實(shí)時(shí)數(shù)據(jù)的整理和預(yù)判，另一種則是對(duì)于歷史資料的整理和預(yù)判。結(jié)合考慮到網(wǎng)絡(luò)安全問(wèn)題，對(duì)于網(wǎng)絡(luò)中實(shí)時(shí)信息和數(shù)據(jù)的分析我們可以采取流式進(jìn)行計(jì)算，然后利用關(guān)鍵分析算法、CEP技術(shù)等手段來(lái)輔助進(jìn)行分析，最終分辨出當(dāng)下傳播的信息是否屬于或可能成為網(wǎng)絡(luò)安全問(wèn)題。對(duì)于歷史數(shù)據(jù)的分析，主要使用分布式存儲(chǔ)和計(jì)算方法。為了深入分析網(wǎng)絡(luò)中的歷史數(shù)據(jù)，我們還可以考慮在處理時(shí)使用分布式存儲(chǔ)和計(jì)算方法。這種信息處理方法是為了更好地深入收集數(shù)據(jù)，規(guī)避風(fēng)險(xiǎn)，從而有效判斷當(dāng)前或未來(lái)需要收集的信息，實(shí)現(xiàn)網(wǎng)絡(luò)安全控制。

2.5 構(gòu)建基于大數(shù)據(jù)分析技術(shù)的網(wǎng)絡(luò)安全平臺(tái)

在了解各種網(wǎng)絡(luò)安全設(shè)備、構(gòu)建一套網(wǎng)絡(luò)安全防護(hù)體系的基礎(chǔ)上，我們還需要構(gòu)建基于大數(shù)據(jù)分析技術(shù)的網(wǎng)絡(luò)安全平臺(tái)。網(wǎng)絡(luò)安全平臺(tái)的建設(shè)分為數(shù)據(jù)采集層和數(shù)據(jù)處理層。數(shù)據(jù)信息采集層分為數(shù)據(jù)信息分析采集層和大數(shù)據(jù)技術(shù)信息存儲(chǔ)層，數(shù)據(jù)處理層分為數(shù)據(jù)挖掘?qū)?、分析層和顯示層。在這些層面內(nèi)能夠?qū)λ玫接脩舾魇礁鳂拥臄?shù)據(jù)信息展開逐一分類，以方便對(duì)這海量數(shù)據(jù)的量化存儲(chǔ)。至于展示層就是通過(guò)大數(shù)據(jù)分析技術(shù)對(duì)數(shù)據(jù)進(jìn)行特定的檢索，并將其可視化，最后將安全規(guī)范數(shù)據(jù)多維度的空間模型來(lái)呈現(xiàn)網(wǎng)絡(luò)的安全性?；诖髷?shù)據(jù)分析技術(shù)網(wǎng)絡(luò)安全平臺(tái)的構(gòu)建在運(yùn)行期間通常會(huì)采用Hive的方式來(lái)統(tǒng)計(jì)和分析所得到的海量數(shù)據(jù)，通過(guò)分析、檢索得到的數(shù)據(jù)可存儲(chǔ)在HDFS內(nèi)。對(duì)于數(shù)據(jù)挖掘?qū)佣?，可采取基于Hadoop技術(shù)的機(jī)械化數(shù)據(jù)挖掘技術(shù)（對(duì)于海量的靜態(tài)數(shù)據(jù)而言，Hadoop技術(shù)對(duì)數(shù)據(jù)的處理速度要遠(yuǎn)遠(yuǎn)大于Spack技術(shù)），對(duì)于海量數(shù)據(jù)進(jìn)行深度挖掘與整理，并且能夠按照數(shù)據(jù)分析所引用的事件流來(lái)進(jìn)行特殊化分析工作。在最后可以采用CPE技術(shù)來(lái)對(duì)平臺(tái)內(nèi)的不同類型、不同時(shí)間的數(shù)據(jù)加以分析，并且能夠較好幫助建設(shè)關(guān)系庫(kù)，從而更好實(shí)現(xiàn)平臺(tái)對(duì)數(shù)據(jù)處理的整體性，以保障網(wǎng)絡(luò)環(huán)境的安全與防范。

我們國(guó)家的經(jīng)濟(jì)社會(huì)正在蓬勃發(fā)展，科技也正在飛躍。而這種網(wǎng)絡(luò)安全的問(wèn)題其實(shí)也就是一種網(wǎng)絡(luò)信息安全的問(wèn)題。任何一項(xiàng)個(gè)人信息在互聯(lián)網(wǎng)上的披露對(duì)我們個(gè)人、社會(huì)都有很大的威脅。傳統(tǒng)網(wǎng)絡(luò)安全分析方法采用的技術(shù)已經(jīng)不適合當(dāng)今時(shí)代的技術(shù)水平。大數(shù)據(jù)技術(shù)的深入應(yīng)用已經(jīng)是中國(guó)移動(dòng)互聯(lián)網(wǎng)迅猛發(fā)展的一個(gè)重要象征。大數(shù)據(jù)技術(shù)目前應(yīng)用廣泛，效果明顯，能有效提高工作效率，節(jié)約成本。將先進(jìn)的大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析，可以有效提高網(wǎng)絡(luò)安全性，為用戶提供良好的生活和工作環(huán)境。

參考文獻(xiàn)：

[1]王昱輝，溫志鵬.淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)運(yùn)用[J].大科技，2018，000（024）：316-317.

[2]丁晨.大數(shù)據(jù)和人工智能技術(shù)在銀行網(wǎng)絡(luò)安全風(fēng)險(xiǎn)管理中的實(shí)踐——日志安全審計(jì)分析業(yè)務(wù)[J].中國(guó)信息化，2019（5）：023.

[3]趙川，孫華利，王國(guó)平.基于大數(shù)據(jù)的電力信息系統(tǒng)網(wǎng)絡(luò)安全分析[J].電子設(shè)計(jì)工程，2019，27（23）：148-152.

[4]董超，劉雷.大數(shù)據(jù)背景下安全分析的網(wǎng)絡(luò)安全技術(shù)發(fā)展趨勢(shì)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2019（8）：62-63.

[5]王帥，汪來(lái)富，金華敏，等.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].電信科學(xué)，2020（07）：139-144.

[6]崔玉禮，黃麗君.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].網(wǎng)絡(luò)空間安全，2020（6）：75-77.

[7]毛乾旭.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)運(yùn)用探析[J].計(jì)算機(jī)產(chǎn)品與流通，2020（5）：76.

[8]郭偉登.大數(shù)據(jù)時(shí)代的計(jì)算機(jī)網(wǎng)絡(luò)安全及防范措施[J/OL].電子技術(shù)與軟件工程，2019，（06）：201