大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

鄭州工業(yè)應(yīng)用技術(shù)學(xué)院 徐航 張冬冬

當(dāng)前，隨著互聯(lián)網(wǎng)在各行各業(yè)和人們生活中的日益滲透，在給人們的生產(chǎn)和生活帶來極大便利的同時，也面臨著更加嚴(yán)峻的網(wǎng)絡(luò)安全問題。大數(shù)據(jù)技術(shù)作為先進(jìn)的現(xiàn)代技術(shù)，應(yīng)用于網(wǎng)絡(luò)安全分析中，通過大量數(shù)據(jù)信息支持和云計算分析，為網(wǎng)絡(luò)安全管理和決策提供全面準(zhǔn)確的信息支持，推動網(wǎng)絡(luò)安全分析的進(jìn)一步發(fā)展。本文探討了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中應(yīng)用的優(yōu)勢，分析了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用，研究了數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺建立，以供參考。

網(wǎng)絡(luò)安全問題是互聯(lián)網(wǎng)時代人們所面臨的一項重要問題，隨著網(wǎng)絡(luò)信息技術(shù)在各行業(yè)領(lǐng)域的廣泛滲透以及人們?nèi)粘Ｉ钪械钠毡閼?yīng)用，導(dǎo)致各類網(wǎng)絡(luò)安全攻擊與信息泄露、木馬病毒入侵等不安全問題頻繁發(fā)生，嚴(yán)重威脅了人們的信息安全以及國家安全。在進(jìn)行網(wǎng)絡(luò)安全問題解決中，單純通過各種防范措施并不能徹底解決有關(guān)網(wǎng)絡(luò)安全攻擊，需要通過全面與準(zhǔn)確網(wǎng)絡(luò)安全分析，有效控制和減少各類網(wǎng)絡(luò)安全問題及其危害發(fā)生，提高網(wǎng)絡(luò)信息的安全性[1]。

1 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中應(yīng)用的優(yōu)勢

1.1 具有較高的精準(zhǔn)度

采用大數(shù)據(jù)技術(shù)進(jìn)行網(wǎng)絡(luò)安全分析應(yīng)用，能夠通過對網(wǎng)絡(luò)安全分析的數(shù)據(jù)挖掘能力提升，來實現(xiàn)大量異構(gòu)數(shù)據(jù)存儲的有效支持，同時從多個維度與階段層面，對基礎(chǔ)數(shù)據(jù)進(jìn)行分析和處理，并實現(xiàn)基于更長時間數(shù)據(jù)與數(shù)據(jù)關(guān)聯(lián)關(guān)系的數(shù)據(jù)處理支持，不斷增加網(wǎng)絡(luò)安全分析的數(shù)據(jù)深度和廣度，獲取更好的網(wǎng)絡(luò)安全分析與技術(shù)應(yīng)用效果。

1.2 信息容量較大

大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中應(yīng)用，能夠通過對大量級不同數(shù)據(jù)的存儲、計算等功能支持，促進(jìn)其數(shù)據(jù)存儲的數(shù)量大幅提升；此外，針對非程序化的多變復(fù)雜數(shù)據(jù)，在信息存儲與分析過程中，能夠?qū)ζ鋽?shù)據(jù)的完整性和有效性進(jìn)行保持，從而更好的滿足網(wǎng)絡(luò)安全分析中對原始海量數(shù)據(jù)的有效儲存和分析等要求，提高在網(wǎng)絡(luò)安全分析中的應(yīng)用成效。

1.3 網(wǎng)絡(luò)安全分析的速度快

大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中應(yīng)用，能夠?qū)崿F(xiàn)異構(gòu)數(shù)據(jù)的存儲和處理需求滿足，而且能夠更加快速進(jìn)行查詢與存儲應(yīng)用，對整個系統(tǒng)的數(shù)據(jù)信息處理以及分析速度優(yōu)化提升，都有著十分積極的作用和影響。因此，采用大數(shù)據(jù)技術(shù)進(jìn)行網(wǎng)絡(luò)安全分析應(yīng)用，能夠在更加快速的網(wǎng)絡(luò)安全信息收集基礎(chǔ)上，對其網(wǎng)絡(luò)安全檢測與分析的時機(jī)進(jìn)行快速響應(yīng)，以達(dá)到更好的網(wǎng)絡(luò)安全分析和應(yīng)用效果。

1.4 成本較低

大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中應(yīng)用，是以分布式數(shù)據(jù)庫作為大數(shù)據(jù)技術(shù)的核心，而分布式數(shù)據(jù)庫的價格成本與結(jié)構(gòu)化數(shù)據(jù)庫相比明顯較低，并且其在性能相對較差的硬件系統(tǒng)中優(yōu)化應(yīng)用效果較好，不僅存在穩(wěn)定且良好的運行效果，而且能夠有效降低其數(shù)據(jù)庫設(shè)備的維護(hù)費用。因此，采用大數(shù)據(jù)技術(shù)進(jìn)行網(wǎng)絡(luò)安全分析應(yīng)用的低成本優(yōu)勢突出。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

2.1 數(shù)據(jù)采集應(yīng)用

網(wǎng)絡(luò)安全分析工作開展中，需要對流量與日志等不同數(shù)據(jù)類型展開分析，而大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析工作中應(yīng)用，是采用Chukwa等分析工具對數(shù)據(jù)采集進(jìn)行支持，并根據(jù)不同數(shù)據(jù)的特點和容量，在分布式采集方式支持下以每秒百兆的數(shù)據(jù)采集速度，為數(shù)據(jù)采集的高效與準(zhǔn)確完成進(jìn)行支持[2]。此外，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析工作中應(yīng)用，也能夠促進(jìn)網(wǎng)絡(luò)安全分析工作開展擺脫傳統(tǒng)技術(shù)的束縛，同時實現(xiàn)所采集數(shù)據(jù)的準(zhǔn)確性與全面性保障，進(jìn)而為數(shù)據(jù)分析和處理奠定良好的基礎(chǔ)。

2.2 數(shù)據(jù)查詢應(yīng)用

大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析的數(shù)據(jù)查詢中應(yīng)用，能夠更加高效和快速的完成對網(wǎng)絡(luò)安全數(shù)據(jù)的查詢和支持。其中，大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)檢索與查詢應(yīng)用，是通過對數(shù)據(jù)檢索結(jié)構(gòu)的不斷更新，并將需查詢數(shù)據(jù)發(fā)送至分節(jié)點后，由分節(jié)點根據(jù)數(shù)據(jù)類型與特點進(jìn)行分析計算，以根據(jù)數(shù)據(jù)分析結(jié)果進(jìn)行判斷。在需求數(shù)據(jù)信息存在于分析數(shù)據(jù)時，分節(jié)點則會將查詢的數(shù)據(jù)結(jié)果進(jìn)行顯示，以對網(wǎng)絡(luò)安全用戶的數(shù)據(jù)查詢需求進(jìn)行滿足。大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析的數(shù)據(jù)查詢應(yīng)用時，不僅具有較高的數(shù)據(jù)查詢速度與數(shù)據(jù)查詢?nèi)嫘浴?zhǔn)確性等特征優(yōu)勢，而且能夠為網(wǎng)絡(luò)安全分析工作的開展帶來較大的便利，滿足其數(shù)據(jù)查詢與網(wǎng)絡(luò)安全分析需求。

2.3 數(shù)據(jù)存儲應(yīng)用

網(wǎng)絡(luò)安全分析中，由于數(shù)據(jù)信息的處理面臨著數(shù)據(jù)信息傳輸速度較高并且數(shù)據(jù)類型多樣化等情況，導(dǎo)致對數(shù)據(jù)存儲與處理的難度也比較高，必然會影響網(wǎng)絡(luò)安全分析工作的高效開展。其中，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中引入和應(yīng)用，不僅能夠有效降低數(shù)據(jù)存儲與處理的難度，通過多種不同的存儲方式提供，促進(jìn)網(wǎng)絡(luò)安全分析工作的高效開展；此外，大數(shù)據(jù)技術(shù)在數(shù)據(jù)存儲和處理中應(yīng)用，還能夠通過H Base列式儲存方法及其快速檢索優(yōu)勢應(yīng)用，對網(wǎng)絡(luò)安全分析的數(shù)據(jù)查詢需求進(jìn)行滿足，最終實現(xiàn)對流量和日志等不同數(shù)據(jù)的分類存儲及處理。通常情況下，大數(shù)據(jù)技術(shù)進(jìn)行網(wǎng)絡(luò)安全數(shù)據(jù)的分類存儲與處理時，首先需要根據(jù)數(shù)據(jù)類型和特點進(jìn)行分析處理，然后采用Hadoop分布式計算進(jìn)行數(shù)據(jù)計算，并根據(jù)各數(shù)據(jù)節(jié)點的特征完成分類與分析工作，最終形成相應(yīng)的統(tǒng)計分析報告。

2.4 數(shù)據(jù)分析應(yīng)用

采用大數(shù)據(jù)技術(shù)進(jìn)行網(wǎng)絡(luò)安全分析應(yīng)用中，對數(shù)據(jù)信息的分析，是根據(jù)數(shù)據(jù)信息的具體類型以及特征等，通過合適的分析方法選擇和應(yīng)用，為網(wǎng)絡(luò)安全分析工作的順利和高效開展提供支持。通常情況下，采用大數(shù)據(jù)技術(shù)進(jìn)行實時數(shù)據(jù)分析與處理過程中，是通過流式計算方式與CEP技術(shù)實現(xiàn)的，通過數(shù)據(jù)分析對數(shù)據(jù)信息中存在的問題和安全隱患進(jìn)行及時解決，從而在實現(xiàn)數(shù)據(jù)信息的全面性與準(zhǔn)確性、安全性保障基礎(chǔ)上，促進(jìn)網(wǎng)絡(luò)的安全性提升。此外，大數(shù)據(jù)技術(shù)在進(jìn)行歷史安全數(shù)據(jù)的分析和處理應(yīng)用中，能夠通過離線處理方式，利用分布式存儲與計算方法實現(xiàn)對歷史數(shù)據(jù)的全面和精準(zhǔn)分析[3]。

2.5 對復(fù)雜數(shù)據(jù)處理的應(yīng)用

網(wǎng)絡(luò)安全分析工作開展中，針對日益多樣化與復(fù)雜化的數(shù)據(jù)信息，采用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)采集與處理支持，能夠?qū)崿F(xiàn)更加多樣化與復(fù)雜化數(shù)據(jù)信息的深入處理，其中包含對多源異構(gòu)數(shù)據(jù)的有效處理等。比如，在網(wǎng)絡(luò)安全分析過程中，如果出現(xiàn)僵尸網(wǎng)絡(luò)，就會對網(wǎng)絡(luò)信息安全形成較大的威脅，因此，在進(jìn)行這種網(wǎng)絡(luò)安全情況分析和處理中，就可以采用大數(shù)據(jù)技術(shù)，在對多方面的數(shù)據(jù)信息進(jìn)行綜合基礎(chǔ)上，從流量數(shù)據(jù)的特征出發(fā)，進(jìn)行發(fā)散性關(guān)聯(lián)分析，以實現(xiàn)網(wǎng)絡(luò)安全數(shù)據(jù)的全面分析，從而確保網(wǎng)絡(luò)安全分析工作中的一些復(fù)雜與多樣化數(shù)據(jù)能夠得到正確以及深入的處理，不斷提高網(wǎng)絡(luò)安全分析的工作質(zhì)量和效率。

3 大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺建立研究

為促進(jìn)大數(shù)據(jù)技術(shù)的進(jìn)一步應(yīng)用以及大數(shù)據(jù)技術(shù)優(yōu)勢充分發(fā)揮，就需要進(jìn)行基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺建立，進(jìn)而在大數(shù)據(jù)支持的網(wǎng)絡(luò)安全平臺中開展相應(yīng)的網(wǎng)絡(luò)安全分析工作。大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺具體架構(gòu)如圖1所示。

圖1 大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺架構(gòu)圖Fig.1 Network security platform architecture diagram of big data technology

根據(jù)圖1所示，大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺主要包含數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)分析和數(shù)據(jù)表現(xiàn)等不同結(jié)構(gòu)層。數(shù)據(jù)采集層在整個平臺運行中，主要是進(jìn)行網(wǎng)絡(luò)中用戶行為所產(chǎn)生的交互數(shù)據(jù)與日志數(shù)據(jù)等各數(shù)據(jù)采集支持，而基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺中，其數(shù)據(jù)采集的工作效率也會更高。數(shù)據(jù)存儲層在網(wǎng)絡(luò)安全分析平臺中，是針對網(wǎng)絡(luò)中各數(shù)據(jù)進(jìn)行有效存儲，從而為后續(xù)的數(shù)據(jù)處理和分析應(yīng)用進(jìn)行充分的數(shù)據(jù)源提供和支持，不斷提升網(wǎng)絡(luò)安全分析的質(zhì)量和效率。數(shù)據(jù)分析層在基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析平臺中，是用于進(jìn)行原始數(shù)據(jù)分類分析與關(guān)聯(lián)分析支持，從而通過對網(wǎng)絡(luò)數(shù)據(jù)的特征以及攻擊來源挖掘，為網(wǎng)絡(luò)安全分析及其工作開展提供參考和支持。數(shù)據(jù)表現(xiàn)層在大數(shù)據(jù)技術(shù)支持的網(wǎng)絡(luò)安全分析平臺中，是實現(xiàn)數(shù)據(jù)信息的更加直觀表現(xiàn)，該結(jié)構(gòu)層的建立及其功能實現(xiàn)是以安全度量技術(shù)與可視化引擎、預(yù)警技術(shù)等關(guān)鍵技術(shù)為支持，并且能夠?qū)v史數(shù)據(jù)與實時數(shù)據(jù)的正確分析和處理需求進(jìn)行滿足。

需要注意的是，在上述大數(shù)據(jù)技術(shù)支持的網(wǎng)絡(luò)安全分析平臺建設(shè)中，對網(wǎng)絡(luò)安全分析平臺中的數(shù)據(jù)采集結(jié)構(gòu)層建立及其功能設(shè)計，是以數(shù)據(jù)采集技術(shù)為支持，在對不同數(shù)據(jù)和信息采用不同的采集方法進(jìn)行采集后，滿足該結(jié)構(gòu)層及其在平臺運行中的功能和作用。其中，數(shù)據(jù)采集技術(shù)在進(jìn)行實時數(shù)據(jù)采集中，是通過在線統(tǒng)計方式，利用Storm技術(shù)進(jìn)行數(shù)據(jù)采集；而對原始安全數(shù)據(jù)的采集，則是通過離線分析方式實現(xiàn)，即采用Hive技術(shù)進(jìn)行數(shù)據(jù)采集。此外，F(xiàn)lume技術(shù)在網(wǎng)絡(luò)安全分析平臺中進(jìn)行數(shù)據(jù)采集應(yīng)用，能夠?qū)⒃诰€統(tǒng)計與離線分析方法進(jìn)行有效結(jié)合，從而對數(shù)據(jù)采集的系統(tǒng)化與規(guī)范化實現(xiàn)進(jìn)行支持。通常情況下，F(xiàn)lume技術(shù)主要包含采集和存儲不同結(jié)構(gòu)模塊，其在數(shù)據(jù)采集中應(yīng)用的工作效率與質(zhì)量均比較突出[4]。Flume技術(shù)及其結(jié)構(gòu)組成如圖2所示：

圖2 Flume技術(shù)及其結(jié)構(gòu)組成Fig.2 Flume technology and its structure

上述基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析平臺在具體應(yīng)用中，對其安全性主要是通過DDoS攻擊路徑準(zhǔn)實時監(jiān)測與主機(jī)入侵監(jiān)測進(jìn)行支持。其中，DDoS攻擊路徑準(zhǔn)實時監(jiān)測在平臺運行中，先通過相應(yīng)的隊列建立，并且所建立隊列中的各節(jié)點為空，然后再進(jìn)行一個空白的攻擊路徑鏈表建立，圍繞攻擊點進(jìn)行針對性分析，以對攻擊源的有關(guān)位置信息進(jìn)行提取，開展相應(yīng)的數(shù)據(jù)查詢，實現(xiàn)準(zhǔn)確的攻擊信息獲取，完成后根據(jù)所獲取的攻擊信息進(jìn)行安全分析與處理，在此基礎(chǔ)上再以攻擊對象路由器作為起點進(jìn)行訪問，對各節(jié)點訪問后對其進(jìn)行拓展，以確保與訪問節(jié)點相連的節(jié)點都能夠被訪問，實現(xiàn)網(wǎng)絡(luò)安全分析支持和安全性保持[5]?；诖髷?shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析平臺中，主機(jī)入侵檢測是在對DDoS攻擊歷史數(shù)據(jù)進(jìn)行深入挖掘基礎(chǔ)上，對攻擊源的有關(guān)位置信息進(jìn)行識別，并將其列入疑似入侵主機(jī)信息目錄，同時從日志數(shù)據(jù)庫中對有關(guān)被入侵主機(jī)信息進(jìn)行查詢，將查詢結(jié)果與列入疑似目錄數(shù)據(jù)對比，從而實現(xiàn)主機(jī)入侵信息檢測和判斷，對網(wǎng)絡(luò)數(shù)據(jù)與信息安全進(jìn)行保障。

4 結(jié)語

總之，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用，不僅具有較為突出的高效性、精準(zhǔn)性與低成本優(yōu)勢，而且能夠?qū)Υ笕萘繑?shù)據(jù)的存儲與處理需求進(jìn)行有效滿足，為網(wǎng)絡(luò)安全分析工作開展提供全面、準(zhǔn)確以及科學(xué)的信息支持。因此，對大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用進(jìn)行研究，進(jìn)行大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺建設(shè)，對網(wǎng)絡(luò)運行中的攻擊情況進(jìn)行有效監(jiān)測，確保網(wǎng)絡(luò)數(shù)據(jù)與信息傳輸?shù)陌踩透咝нM(jìn)行。