試論基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報分析

鄒勤 余毅 袁俊

摘要：網(wǎng)絡(luò)安全與情報工作中存在數(shù)據(jù)處理效率低下等問題，影響網(wǎng)絡(luò)安全的保障效果?；诖?，本文從網(wǎng)絡(luò)與安全情報工作的不足入手，對大數(shù)據(jù)技術(shù)中能夠應(yīng)用于網(wǎng)絡(luò)安全與情報工作的技術(shù)進(jìn)行分析，并指出大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全與情報工作中的具體應(yīng)用，以期豐富相關(guān)理論，為我國網(wǎng)絡(luò)安全發(fā)展做出貢獻(xiàn)。

關(guān)鍵詞：大數(shù)據(jù)；網(wǎng)絡(luò)安全；情報

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）12-0008-02

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

互聯(lián)網(wǎng)在為人們生產(chǎn)生活提供便利的同時，也為人們帶來了網(wǎng)絡(luò)威脅，個人信息、企業(yè)數(shù)據(jù)和國家敏感信息很容易被泄漏或篡改，對網(wǎng)絡(luò)安全造成不利影響。因此，技術(shù)人員需要加強(qiáng)對網(wǎng)絡(luò)安全技術(shù)的研發(fā)，從整體提升網(wǎng)絡(luò)安全水平，抵御不法分子的攻擊，保障個人、企業(yè)和國家的網(wǎng)絡(luò)信息安全，促進(jìn)網(wǎng)絡(luò)的可持續(xù)發(fā)展。

1網(wǎng)絡(luò)安全與情報工作的不足

在信息化程度不斷加深的當(dāng)下，網(wǎng)絡(luò)安全與情報工作的不足逐漸凸顯出來。互聯(lián)網(wǎng)的普及是網(wǎng)絡(luò)中產(chǎn)生了大量的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的數(shù)據(jù)信息，傳統(tǒng)的網(wǎng)絡(luò)安全技術(shù)難以在短時間內(nèi)處理海量的數(shù)據(jù)信息，還不能長時間保留數(shù)據(jù)源，并不能全面分析網(wǎng)絡(luò)數(shù)據(jù)信息，很容易使惡意數(shù)據(jù)信息成為“漏網(wǎng)之魚”，對網(wǎng)絡(luò)及網(wǎng)絡(luò)用戶造成不利影響。同時，互聯(lián)網(wǎng)的發(fā)展也增加了威脅情報信息源的數(shù)量，而傳統(tǒng)的網(wǎng)絡(luò)情報分析技術(shù)難以將大量的威脅情報聯(lián)系在一起，在關(guān)聯(lián)分析和數(shù)據(jù)源檢測方面存在不足，不能保障網(wǎng)絡(luò)安全[1]。因此，對網(wǎng)絡(luò)安全與情報工作的創(chuàng)新刻不容緩。

2網(wǎng)絡(luò)安全與情報中應(yīng)用的大數(shù)據(jù)技術(shù)

2.1大數(shù)據(jù)處理技術(shù)

在網(wǎng)絡(luò)安全與情報工作中，需要采集并整合海量的數(shù)據(jù)信息，大數(shù)據(jù)技術(shù)在數(shù)據(jù)采集與處理方面有顯著優(yōu)勢。大數(shù)據(jù)技術(shù)在進(jìn)行數(shù)據(jù)處理與計(jì)算中，主要采用批量計(jì)算以及流式計(jì)算這兩種模式。常用的數(shù)據(jù)處理技術(shù)包括以下三種：

第一，交互式數(shù)據(jù)查詢技術(shù)，該技術(shù)是將HBase、Hive等數(shù)據(jù)庫作為基礎(chǔ)，實(shí)現(xiàn)多個數(shù)據(jù)庫交互的技術(shù)，可以支持多個數(shù)據(jù)庫的交互式查詢，其數(shù)據(jù)查詢時間可以控制在幾分鐘內(nèi)，具有靈活直觀等優(yōu)勢。目前常用的交互式數(shù)據(jù)查詢系統(tǒng)有Dremel系統(tǒng)以及Apache Spark系統(tǒng)。

第二，批量數(shù)據(jù)處理技術(shù)，該技術(shù)能夠批量進(jìn)行數(shù)據(jù)的采集與處理，可以顯著提升數(shù)據(jù)處理效率。在實(shí)際的批量數(shù)據(jù)處理技術(shù)應(yīng)用中，首先將海量數(shù)據(jù)信息進(jìn)行靜態(tài)存儲，再開展處理工作，可以顯著提升數(shù)據(jù)處理的全面性和有效性。一般來說，對于相對復(fù)雜的數(shù)據(jù)信息，批量數(shù)據(jù)處理技術(shù)可以在數(shù)小時內(nèi)完成，效率較高。

第三，流式數(shù)據(jù)處理技術(shù)，該技術(shù)能夠開展實(shí)時數(shù)據(jù)計(jì)算與處理工作，數(shù)據(jù)處理結(jié)構(gòu)的反饋效率也很高。在實(shí)際的流式數(shù)據(jù)處理技術(shù)應(yīng)用中，可以直接在內(nèi)存中開展數(shù)據(jù)信息的處理工作，具有延遲短和效率高等優(yōu)勢。

2.2大數(shù)據(jù)分析技術(shù)

在網(wǎng)絡(luò)安全與情報工作中，需要對海量的數(shù)據(jù)信息進(jìn)行分析，大數(shù)據(jù)技術(shù)在數(shù)據(jù)分析方面有顯著優(yōu)勢。常用的數(shù)據(jù)分析技術(shù)包括以下三種：

第一，用戶行為分析技術(shù)，在企業(yè)經(jīng)營管理中，如果其內(nèi)外網(wǎng)難以分開，企業(yè)難以通過安全技術(shù)抵御黑客的攻擊，這是因?yàn)槠髽I(yè)內(nèi)部存在安全隱患。用戶行為分析技術(shù)可以對企業(yè)內(nèi)部用戶的網(wǎng)絡(luò)行為進(jìn)行分析，通過UBA技術(shù)搜集用戶在網(wǎng)絡(luò)流量及日志記錄等方面的行為痕跡，以此構(gòu)建用戶行為基準(zhǔn)線，將基準(zhǔn)線和用戶行為進(jìn)行對比，以此找出用戶存在的異常行為，從而準(zhǔn)確識別企業(yè)內(nèi)部存在的安全威脅。

第二，安全可視分析技術(shù)，該技術(shù)可以實(shí)現(xiàn)數(shù)據(jù)的可視化，確保管理人員直觀地看到數(shù)據(jù)隱含的信息，可以為安全管理人員提供更為豐富的參考資料，為安全管理人員發(fā)現(xiàn)網(wǎng)絡(luò)安全問題及黑客攻擊提供便利。在實(shí)際的安全可視分析技術(shù)應(yīng)用中，首先要明確網(wǎng)絡(luò)安全管理人員的管理問題，即從哪些數(shù)據(jù)內(nèi)容中分析隱含信息；再進(jìn)行數(shù)據(jù)可視化處理，通過聚焦或者關(guān)聯(lián)等功能，實(shí)現(xiàn)人機(jī)交互，完成數(shù)據(jù)隱含信息的傳遞。

第三，安全事件關(guān)聯(lián)分析技術(shù)，在互聯(lián)網(wǎng)越來越普及的背景下，網(wǎng)絡(luò)安全事件逐漸增多，不同網(wǎng)絡(luò)安全事件中存在密切聯(lián)系。安全事件關(guān)聯(lián)分析技術(shù)可以就網(wǎng)絡(luò)安全事件開展關(guān)聯(lián)分析，從網(wǎng)絡(luò)安全事件的本質(zhì)入手，分析網(wǎng)絡(luò)攻擊行為，位網(wǎng)絡(luò)安全事件的妥善處理提供幫助[2]。常用的安全事件關(guān)聯(lián)分析技術(shù)包括安全設(shè)備報警關(guān)聯(lián)分析技術(shù)、不同領(lǐng)域范圍的安全關(guān)聯(lián)分析技術(shù)以及網(wǎng)絡(luò)主機(jī)關(guān)聯(lián)分析技術(shù)等，可以實(shí)現(xiàn)全面的網(wǎng)絡(luò)威脅分析。

3基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報

通過上述分析可知，大數(shù)據(jù)技術(shù)中的多項(xiàng)技術(shù)可以應(yīng)用于網(wǎng)絡(luò)安全與情報工作中，可以將其用于網(wǎng)絡(luò)信息安全攻擊檢測、網(wǎng)絡(luò)信息風(fēng)險感知、網(wǎng)絡(luò)情報分析及網(wǎng)絡(luò)異常檢測等方面，切實(shí)發(fā)揮出大數(shù)據(jù)技術(shù)的作用，創(chuàng)新網(wǎng)絡(luò)安全與情報工作，提升其工作水平和質(zhì)量。

3.1基于大數(shù)據(jù)的APT攻擊檢測

隨著信息化的發(fā)展，網(wǎng)絡(luò)APT攻擊呈現(xiàn)出顯著的滲透性及隱蔽性特征，對國家和企事業(yè)單位的網(wǎng)絡(luò)安全造成了嚴(yán)重的威脅。比如，2010年出現(xiàn)的震網(wǎng)病毒；2012年出現(xiàn)的火焰病毒；2015年出現(xiàn)的黑暗力量入侵烏克蘭礦業(yè)系統(tǒng)和鐵路系統(tǒng)事件，均屬于APT攻擊的類型。在網(wǎng)絡(luò)攻擊中，APT攻擊具有隱蔽性強(qiáng)、攻擊路徑和渠道難以明確的問題，普通的安全方案難以地域APT攻擊。目前應(yīng)用效果最佳的APT攻擊抵御方案為數(shù)據(jù)關(guān)聯(lián)分析方法，而大數(shù)據(jù)技術(shù)可以提升數(shù)據(jù)關(guān)聯(lián)分析方法的應(yīng)用效果，可以將其用于APT攻擊檢測中。

比如，美國RSA實(shí)驗(yàn)室研發(fā)了一種Beehive系統(tǒng)，該系統(tǒng)利用大數(shù)據(jù)技術(shù)對大量的日志信息進(jìn)行分析，并對組織結(jié)構(gòu)中資源的使用狀況進(jìn)行檢測，發(fā)現(xiàn)該組織結(jié)構(gòu)中存在被惡意軟件感染以及策略違背的內(nèi)容，將看似孤立的事件進(jìn)行關(guān)聯(lián)分析，從而檢測出該組織機(jī)構(gòu)曾被APT攻擊。Giura在2012年發(fā)布一項(xiàng)研究成果，結(jié)合攻擊樹技術(shù)和大數(shù)據(jù)技術(shù)，構(gòu)建概念攻擊模型，以此檢測并抵御APT攻擊。該概念攻擊模型被稱作攻擊金字塔，其具體應(yīng)用流程如下：攻擊金字塔共有三個層次，其頂層為潛在的被攻擊目標(biāo)，涵蓋系統(tǒng)中的敏感數(shù)據(jù)、數(shù)據(jù)服務(wù)器以及高層職員等數(shù)據(jù)信息，并通過橫向平面標(biāo)注和攻擊相關(guān)的事件環(huán)境，將其劃分為多個場景，根據(jù)不同的場景采用相應(yīng)的Map Reduce進(jìn)行并行處理，最后通過不同的算法對處理后的信息進(jìn)行檢測，以此實(shí)現(xiàn)APT攻擊的有效檢測。

3.2基于大數(shù)據(jù)的網(wǎng)絡(luò)風(fēng)險感知

針對網(wǎng)絡(luò)中存在的多樣化網(wǎng)絡(luò)風(fēng)險，企事業(yè)單位需要加強(qiáng)對網(wǎng)絡(luò)風(fēng)險的重視，實(shí)時掌握網(wǎng)絡(luò)狀態(tài)，確保網(wǎng)絡(luò)風(fēng)險可以及時感知，從而保障網(wǎng)絡(luò)安全。在實(shí)際的網(wǎng)絡(luò)風(fēng)險感知工作中，需要全面分析多種安全因素，對其開展理解、評估及分析，實(shí)現(xiàn)網(wǎng)絡(luò)安全狀況的準(zhǔn)確評估。在上述過程中，大數(shù)據(jù)技術(shù)的引進(jìn)可以有效提升工作效率，保障網(wǎng)絡(luò)安全。

針對網(wǎng)絡(luò)風(fēng)險感知問題，有很多企業(yè)單位都通過大數(shù)據(jù)技術(shù)構(gòu)建網(wǎng)絡(luò)安全數(shù)據(jù)感知平臺，保障企業(yè)單位的網(wǎng)絡(luò)安全。比如，阿里巴巴集團(tuán)建設(shè)的阿里云云盾，通過SAAS實(shí)現(xiàn)網(wǎng)絡(luò)風(fēng)險的有效感知；360建設(shè)的NGSOC平臺，可以通過大數(shù)據(jù)技術(shù)進(jìn)行本地所有數(shù)據(jù)的采集和存儲，將情報作為基礎(chǔ)，開展網(wǎng)絡(luò)的實(shí)時監(jiān)控及安全分析工作，還支持威脅溯源功能，切實(shí)保障了網(wǎng)絡(luò)安全；四川大學(xué)師生設(shè)計(jì)了NTCI.NUBA平臺，對校園網(wǎng)進(jìn)行實(shí)時監(jiān)控，主要監(jiān)控內(nèi)容包括網(wǎng)絡(luò)流量、數(shù)據(jù)中心流量以及身份認(rèn)證數(shù)據(jù)等，并通過Hadoop及Spark開展數(shù)據(jù)分析，在很大程度上保障了校園網(wǎng)的安全[3]。

3.3基于大數(shù)據(jù)的網(wǎng)絡(luò)情報分析

在網(wǎng)絡(luò)安全與情報工作中，網(wǎng)絡(luò)威脅情報的分析主要利用大數(shù)據(jù)技術(shù)、分布式系統(tǒng)進(jìn)行網(wǎng)絡(luò)威脅情報的收集。收集的網(wǎng)絡(luò)威脅情報是指涵蓋漏洞、威脅、特征及行為等證據(jù)的知識集合。在網(wǎng)絡(luò)安全與情報工作中，網(wǎng)絡(luò)威脅情報的收集與分析可以有效提升傳統(tǒng)防御技術(shù)的防御效果，避免系統(tǒng)受到攻擊。同時，網(wǎng)絡(luò)威脅情報的收集能夠加深系統(tǒng)用戶對網(wǎng)絡(luò)風(fēng)險和網(wǎng)絡(luò)威脅的認(rèn)識，引導(dǎo)系統(tǒng)用戶采用更為合理的方式抵御網(wǎng)絡(luò)風(fēng)險及網(wǎng)絡(luò)威脅，從而降低網(wǎng)絡(luò)攻擊對系統(tǒng)用戶造成的危害。一般來說，完善的網(wǎng)絡(luò)威脅情報包括情報源、融合與分析以及事件響應(yīng)這三個部分。

在人們網(wǎng)絡(luò)安全意識提升的當(dāng)下，國內(nèi)外出現(xiàn)了大量的網(wǎng)絡(luò)安全威脅情報提供企業(yè)，包括微步在線、Fire Eye、Symantec等企業(yè)，可以為用戶提供多樣化的網(wǎng)絡(luò)威脅情報產(chǎn)品和服務(wù)，涵蓋惡意軟件清理、網(wǎng)絡(luò)犯罪防范以及漏洞檢測等內(nèi)容，為用戶的網(wǎng)絡(luò)安全應(yīng)用提供了保障。同時，我國有很多研究機(jī)構(gòu)和學(xué)者構(gòu)建了網(wǎng)絡(luò)數(shù)據(jù)采集與管理系統(tǒng)，篩選其中的網(wǎng)絡(luò)威脅情報，為系統(tǒng)用戶提供幫助。本文以某研究機(jī)構(gòu)設(shè)計(jì)的網(wǎng)絡(luò)數(shù)據(jù)采集與分析平臺為例，用戶可以根據(jù)工作內(nèi)容特點(diǎn)，設(shè)定不同的平臺主題，平臺會根據(jù)主題內(nèi)容進(jìn)行相應(yīng)數(shù)據(jù)的采集，主要數(shù)據(jù)采集范圍包括網(wǎng)站、微博、微信和論壇等網(wǎng)絡(luò)平臺，保障數(shù)據(jù)采集的全面性。數(shù)據(jù)平臺具備熱點(diǎn)話題追蹤與分析以及溯源擴(kuò)散等功能。

3.4基于大數(shù)據(jù)的網(wǎng)絡(luò)異常檢測

在網(wǎng)絡(luò)信息安全管理中，網(wǎng)絡(luò)異常檢測屬于基本工作內(nèi)容，主要對網(wǎng)絡(luò)中出現(xiàn)的流量異常、設(shè)備失效或者越權(quán)資源訪問等問題進(jìn)行分析。從本質(zhì)角度而言，網(wǎng)絡(luò)異常檢測是根據(jù)表征目標(biāo)對象屬性以及狀態(tài)變化忒單，進(jìn)行相應(yīng)檢測模型的構(gòu)建，從而分析網(wǎng)絡(luò)中存在的策略違背行為或者非正常行為。在網(wǎng)絡(luò)異常檢測中，大數(shù)據(jù)技術(shù)的應(yīng)用主要集中于網(wǎng)絡(luò)用戶行為方面，可以顯著提升網(wǎng)絡(luò)異常檢測的準(zhǔn)確性?；诖髷?shù)據(jù)的網(wǎng)絡(luò)異常檢測是通過行為特征和機(jī)器學(xué)習(xí)，進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)特征的高效獲取，從而開展網(wǎng)絡(luò)異常檢測工作。

以360企業(yè)的工程師王占一為例，他在黑帽大會的演講中提到，在網(wǎng)絡(luò)流量的異常檢測中，采用深度學(xué)習(xí)方法可以有效提升異常檢測的準(zhǔn)確率，使其高達(dá)90%以上。與此同時，基于深度學(xué)習(xí)的異常檢測能夠在不判斷協(xié)議是否加密的情況下，對網(wǎng)絡(luò)中的所有網(wǎng)絡(luò)流進(jìn)行識別。其中，網(wǎng)絡(luò)流的可識別率近55%[4]。

4結(jié)論

綜上所述，數(shù)據(jù)處理分析能力強(qiáng)大的大數(shù)據(jù)技術(shù)非常適用于網(wǎng)絡(luò)安全與情報工作中，需要進(jìn)一步推廣應(yīng)用。通過本文的分析可知，技術(shù)人員可以將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全與情報工作的APT攻擊檢測、網(wǎng)絡(luò)風(fēng)險感知、網(wǎng)絡(luò)威脅情報分析以及網(wǎng)絡(luò)異常檢測等工作中，提升網(wǎng)絡(luò)安全與情報工作水平及質(zhì)量，促進(jìn)網(wǎng)絡(luò)的健康可持續(xù)發(fā)展，使其為人們帶來優(yōu)質(zhì)的網(wǎng)絡(luò)服務(wù)。

參考文獻(xiàn)：

[1] 夏傳勇.大數(shù)據(jù)背景下網(wǎng)絡(luò)恐怖主義犯罪對策研究[D].華東政法大學(xué)，2018.

[2] 吳桐.大數(shù)據(jù)背景下的網(wǎng)絡(luò)安全與情報分析工作研究[J].技術(shù)與市場，2017，24（10）：277-278.

[3] 陳興蜀，曾雪梅，王文賢，邵國林.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報分析[J].工程科學(xué)與技術(shù)，2017，49（03）：1-12.

[4] 琚安康，郭淵博，朱泰銘.基于開源工具集的大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢感知及預(yù)警架構(gòu)[J].計(jì)算機(jī)科學(xué)，2017，44（05）：125-131.

【通聯(lián)編輯：光文玲】