網(wǎng)絡(luò)安全與大數(shù)據(jù)技術(shù)應(yīng)用

◆董 巍

?

網(wǎng)絡(luò)安全與大數(shù)據(jù)技術(shù)應(yīng)用

◆董 巍

(清華大學(xué)天津電子信息研究院 天津 300467)

隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展與普及，現(xiàn)如今互聯(lián)網(wǎng)技術(shù)已經(jīng)廣泛應(yīng)用于人們工作與生活之中，這給人們帶來了前所未有的便利，但與此同時(shí)各種網(wǎng)絡(luò)安全問題也隨之顯現(xiàn)?；诖耍疚闹饕榻B了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域中的具體應(yīng)用，希望在網(wǎng)絡(luò)系統(tǒng)安全方面進(jìn)行研究的同時(shí)，能夠?yàn)榛ヂ?lián)網(wǎng)事業(yè)的持續(xù)發(fā)展提供可行的理論參考。

網(wǎng)絡(luò)安全；大數(shù)據(jù)技術(shù)；應(yīng)用分析

0 前言

隨著近年來互聯(lián)網(wǎng)技術(shù)的不斷深入，網(wǎng)絡(luò)安全事故也隨之頻頻發(fā)生。出于對(duì)網(wǎng)絡(luò)信息安全的重視，我國(guó)于2014年成立了國(guó)家安全委員會(huì)，正式將網(wǎng)絡(luò)安全提升為國(guó)家戰(zhàn)略部署，這同時(shí)也表示我國(guó)網(wǎng)絡(luò)信息安全形勢(shì)不容樂觀，網(wǎng)絡(luò)攻擊事件處于高發(fā)狀態(tài)。木馬僵尸病毒、惡意勒索軟件、分布式拒絕服務(wù)攻擊、竊取用戶敏感信息等各類網(wǎng)絡(luò)攻擊事件的數(shù)量都處于世界前列。時(shí)有發(fā)生的移動(dòng)惡意程序、APT、DDOS、木馬病毒等網(wǎng)絡(luò)攻擊不僅會(huì)嚴(yán)重阻礙網(wǎng)絡(luò)帶寬、降低網(wǎng)絡(luò)速度、并且對(duì)電信運(yùn)營(yíng)商的企業(yè)聲譽(yù)也會(huì)產(chǎn)生一定影響。根據(jù)大量數(shù)據(jù)表明，僅僅依靠傳統(tǒng)的網(wǎng)絡(luò)防范措施已經(jīng)無法應(yīng)對(duì)新一代的網(wǎng)絡(luò)威脅，而通過精確的檢測(cè)分析從而在早期預(yù)警，已經(jīng)成為現(xiàn)階段網(wǎng)絡(luò)安全能力的關(guān)鍵所在。

1 網(wǎng)絡(luò)安全問題分析

網(wǎng)絡(luò)安全問題不僅涉及公民隱私與信息安全，更關(guān)乎國(guó)事安全，例如雅虎的信息泄露，導(dǎo)致至少五億條用戶信息被竊；美國(guó)棱鏡門與希拉里郵件門等等事件都使得網(wǎng)絡(luò)安全問題進(jìn)一步升級(jí)、擴(kuò)大。隨著互聯(lián)網(wǎng)構(gòu)架日益復(fù)雜，網(wǎng)絡(luò)安全分析的數(shù)據(jù)量也在與日俱增，在由TB級(jí)向PB級(jí)邁進(jìn)的過程，不僅數(shù)據(jù)來源豐富、內(nèi)容更加細(xì)化，數(shù)據(jù)分析所需維度也更為廣泛。伴隨著現(xiàn)階段網(wǎng)絡(luò)性能的增長(zhǎng)，數(shù)據(jù)源發(fā)送速率更快，對(duì)安全信息采集的速度要求也就越高，版本更新延時(shí)等導(dǎo)致的Odav等漏洞日漸增多，網(wǎng)絡(luò)攻擊的影響范圍也就進(jìn)一步擴(kuò)大；例如APT此類有組織、有目標(biāo)且長(zhǎng)期潛伏滲透的多階段組合式攻擊更加難以防范，唯有分析更多種類的安全信息并融合多種手段進(jìn)行檢測(cè)抵御。

在傳統(tǒng)技術(shù)架構(gòu)中，大多使用結(jié)構(gòu)化數(shù)據(jù)庫來進(jìn)行數(shù)據(jù)存儲(chǔ)，但由于數(shù)據(jù)存儲(chǔ)的成本過高，系統(tǒng)往往會(huì)將原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理后再進(jìn)行存儲(chǔ)，如此易導(dǎo)致數(shù)據(jù)的丟失與失真以及歷史數(shù)據(jù)難以保存而造成的追蹤溯源困難；同時(shí)對(duì)于嘈雜的大型、非結(jié)構(gòu)化數(shù)據(jù)集的執(zhí)行分析以及復(fù)雜查詢效率很低，導(dǎo)致數(shù)據(jù)的實(shí)時(shí)性及準(zhǔn)確性難以保證，安全運(yùn)營(yíng)效率不高，因此傳統(tǒng)網(wǎng)絡(luò)安全技術(shù)已經(jīng)難以滿足現(xiàn)階段網(wǎng)絡(luò)安全分析的新要求。

大數(shù)據(jù)技術(shù)這一概念最初由維克托.邁爾.舍恩伯格與肯尼斯.庫克耶在2008年出版的《大數(shù)據(jù)時(shí)代》一書中提出的，大數(shù)據(jù)是指不采用隨機(jī)分析法，而是對(duì)所有的數(shù)據(jù)進(jìn)行綜合分析處理。大數(shù)據(jù)技術(shù)作為現(xiàn)階段信息架構(gòu)發(fā)展的趨勢(shì)之首，其獨(dú)有的高速、多樣、種類繁多以及價(jià)值密度低等特點(diǎn)，近年來被廣泛應(yīng)用于互聯(lián)網(wǎng)的多個(gè)領(lǐng)域中。

大數(shù)據(jù)的戰(zhàn)略意義在于能夠掌握龐大的數(shù)據(jù)信息，使海量的原始安全信息的存儲(chǔ)與分析得以實(shí)現(xiàn)、分布式數(shù)據(jù)庫相比傳統(tǒng)數(shù)據(jù)庫的存儲(chǔ)成本得以降低，并且數(shù)據(jù)易于在低廉硬件上的水平擴(kuò)展，極大地降低了安全投入成本；并且伴隨著數(shù)據(jù)挖掘能力的大幅提高，安全信息的采集與檢測(cè)響應(yīng)速度更加快捷，異構(gòu)及海量數(shù)據(jù)存儲(chǔ)的支持打造了多維度、多階段關(guān)聯(lián)分析的基礎(chǔ)，提升了分析的深度與廣度。對(duì)于網(wǎng)絡(luò)安全防御而言，通過對(duì)不同來源的數(shù)據(jù)進(jìn)行綜合管理、處理、分析、優(yōu)化，可實(shí)現(xiàn)在海量數(shù)據(jù)中極速鎖定目標(biāo)數(shù)據(jù)，并將分析結(jié)果實(shí)時(shí)反饋，對(duì)于現(xiàn)階段網(wǎng)絡(luò)安全防御而言至關(guān)重要。

2 大數(shù)據(jù)在網(wǎng)絡(luò)安全中的應(yīng)用

將大數(shù)據(jù)運(yùn)用到網(wǎng)絡(luò)安全分析中，不僅能夠?qū)崿F(xiàn)數(shù)據(jù)的優(yōu)化與處理，還能夠?qū)θ罩九c訪問行為進(jìn)行綜合處理，從而提高事件處理效率。大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析的效果可從以下幾點(diǎn)具體分析：

2.1 數(shù)據(jù)采集效率

大數(shù)據(jù)技術(shù)可對(duì)數(shù)據(jù)進(jìn)行分布式地采集，能夠?qū)崿F(xiàn)數(shù)百兆/秒的采集速度，使得數(shù)據(jù)采集速率得到了極大的提高，這也為后續(xù)的關(guān)聯(lián)分析奠定了基礎(chǔ)。

2.2 數(shù)據(jù)的存儲(chǔ)

在網(wǎng)絡(luò)安全分析系統(tǒng)中，原始數(shù)據(jù)的存儲(chǔ)是至關(guān)重要的，大數(shù)據(jù)技術(shù)能夠針對(duì)不同數(shù)據(jù)類型進(jìn)行不同的數(shù)據(jù)采集，還能夠主動(dòng)利用不同的方式來提高數(shù)據(jù)查詢的效率，比如在對(duì)日志信息進(jìn)行查詢時(shí)適合采用列式的存儲(chǔ)方式，而對(duì)于分析與處理標(biāo)準(zhǔn)化的數(shù)據(jù)，則適合采用分布式的模式進(jìn)行預(yù)處理，在數(shù)據(jù)處理后可將結(jié)果存放在列式存儲(chǔ)中；或者也可以在系統(tǒng)中建立起MapReduce的查詢模塊，在進(jìn)行查詢的時(shí)候可直接將指令放在指定的節(jié)點(diǎn)，完成處理后再對(duì)各個(gè)節(jié)點(diǎn)進(jìn)行整理，如此能夠確保查詢的速度與反應(yīng)速度。

2.3 實(shí)時(shí)數(shù)據(jù)的分析與后續(xù)數(shù)據(jù)的處理

在對(duì)實(shí)時(shí)數(shù)據(jù)的分析中，可以采用關(guān)聯(lián)分析算法或CEP技術(shù)進(jìn)行分析，如此能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)的采集、分析、處理的綜合過程，實(shí)現(xiàn)了更高速度以及更高效率的處理；而對(duì)于統(tǒng)計(jì)結(jié)果以及數(shù)據(jù)的處理，由于這種處理對(duì)時(shí)效性要求不高，因此可以采用各種數(shù)據(jù)處理技術(shù)或是利用離線處理的方式，從而能夠更好地完成系統(tǒng)風(fēng)險(xiǎn)、攻擊方面的分析。

2.4 關(guān)于復(fù)雜數(shù)據(jù)的分析

在針對(duì)不同來源、不同類型的復(fù)雜數(shù)據(jù)進(jìn)行分析時(shí)，大數(shù)據(jù)技術(shù)都能夠更好的完成數(shù)據(jù)的分析與查詢，并且能夠有效完成復(fù)雜數(shù)據(jù)與安全隱患、惡意攻擊等方面的處理，當(dāng)網(wǎng)絡(luò)系統(tǒng)中出現(xiàn)了惡意破壞、攻擊行為，可采用大數(shù)據(jù)技術(shù)從流量、DNS的角度出發(fā)，通過多方面的數(shù)據(jù)信息分析實(shí)現(xiàn)全方位的防范、抵御。

3 基于大數(shù)據(jù)技術(shù)構(gòu)建網(wǎng)絡(luò)系統(tǒng)安全分析

在網(wǎng)絡(luò)安全系統(tǒng)中引入大數(shù)據(jù)技術(shù)，主要涉及以下三個(gè)模塊：3.1數(shù)據(jù)源模塊網(wǎng)絡(luò)安全系統(tǒng)中的數(shù)據(jù)及數(shù)據(jù)源會(huì)隨著互聯(lián)網(wǎng)技術(shù)的進(jìn)步而倍增技術(shù)能夠通過分布式采集器的形式，對(duì)系統(tǒng)中的軟硬件進(jìn)行信息采集，除了防火墻、檢測(cè)系統(tǒng)等軟件，對(duì)設(shè)備硬件的要求也在提高，比如對(duì)服務(wù)器、存儲(chǔ)器的檢查與維護(hù)工作。

3.1 數(shù)據(jù)采集模塊

大數(shù)據(jù)技術(shù)可將數(shù)據(jù)進(jìn)行對(duì)立分析，從而構(gòu)建起分布式的數(shù)據(jù)基礎(chǔ)，能夠做到原始數(shù)據(jù)從出現(xiàn)到刪除都做出一定說明，真正實(shí)現(xiàn)數(shù)據(jù)的訪問、追溯功能，尤其是對(duì)數(shù)據(jù)量與日俱增的今天而言，分布式數(shù)據(jù)存儲(chǔ)能夠更好地實(shí)現(xiàn)提高數(shù)據(jù)庫的穩(wěn)定性。

3.2 數(shù)據(jù)分析模塊

對(duì)網(wǎng)絡(luò)安全系統(tǒng)的運(yùn)營(yíng)來說，用戶的業(yè)務(wù)系統(tǒng)就是安全的最終保障對(duì)象，大數(shù)據(jù)分析能夠在用戶數(shù)據(jù)產(chǎn)生之初，及時(shí)進(jìn)行分析、反饋，從而能夠讓網(wǎng)絡(luò)用戶得到更加私人化的服務(wù)體驗(yàn)。而對(duì)于用戶而言，得其所想也會(huì)對(duì)網(wǎng)絡(luò)系統(tǒng)以及大數(shù)據(jù)技術(shù)更加的信任，對(duì)于個(gè)人的安全隱私信息在系統(tǒng)上存儲(chǔ)的疑慮也會(huì)大幅降低。

當(dāng)前網(wǎng)絡(luò)與信息安全領(lǐng)域正在面臨著全新的挑戰(zhàn)，企業(yè)、組織、個(gè)人用戶每天都會(huì)產(chǎn)生大量的安全數(shù)據(jù)，現(xiàn)有的安全分析技術(shù)已經(jīng)難以滿足高效率、精確化的安全分析所需。而大數(shù)據(jù)技術(shù)靈活、海量、快速、低成本、高容量等特有的網(wǎng)絡(luò)安全分析能力，已經(jīng)成為現(xiàn)階段業(yè)界趨勢(shì)所向。而對(duì)互聯(lián)網(wǎng)企業(yè)來說，實(shí)現(xiàn)對(duì)數(shù)據(jù)的深度“加工處理”，則是實(shí)現(xiàn)數(shù)據(jù)增值的關(guān)鍵所在，對(duì)商業(yè)運(yùn)營(yíng)而言是至關(guān)重要的。

4 結(jié)語

在當(dāng)下時(shí)代，信息數(shù)據(jù)已經(jīng)滲透到各個(gè)行業(yè)及業(yè)務(wù)領(lǐng)域中，成為重要的社會(huì)生產(chǎn)因素。正因如此，互聯(lián)網(wǎng)數(shù)據(jù)產(chǎn)生的數(shù)量也在與日倍增中，這給網(wǎng)絡(luò)安全分析工作帶來了一定難度與壓力，而大數(shù)據(jù)技術(shù)則能夠很好的完善這一問題。在網(wǎng)絡(luò)系統(tǒng)中應(yīng)用大數(shù)據(jù)技術(shù)不僅能夠滿足人們對(duì)數(shù)據(jù)處理時(shí)所要求的高效性與精準(zhǔn)性，并且能夠在此基礎(chǔ)上構(gòu)建一套相對(duì)完善的防范預(yù)警系統(tǒng)，這對(duì)維護(hù)網(wǎng)絡(luò)系統(tǒng)的安全起著非常關(guān)鍵的作用，相信大數(shù)據(jù)技術(shù)日后能夠得到更加廣泛的應(yīng)用。

[1]魯宛生.淺談網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)的應(yīng)用[J].數(shù)碼世界，2017.

[2]王帥，汪來富，金華敏等.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].電信科學(xué)，2015.

[3]孫玉.淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017.