基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報分析

◆楊浩 魏巍

基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報分析

◆楊浩1魏巍2

（1.重慶若可網(wǎng)絡(luò)安全測評技術(shù)有限公司 重慶 404100；2. 78156部隊(duì) 重慶 404100）

隨著通信技術(shù)和信息技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)環(huán)境也隨之越來越復(fù)雜，網(wǎng)絡(luò)攻擊的破壞性、保密性以及持久性特征更為突出。加之，傳統(tǒng)的網(wǎng)絡(luò)安全技術(shù)和情報分析存在諸多問題，根本無法有效應(yīng)對威脅網(wǎng)絡(luò)安全的行為。基于此，本文擬以大數(shù)據(jù)為研究前提與基礎(chǔ)，首先對大數(shù)據(jù)安全進(jìn)行深入分析，其次簡述網(wǎng)絡(luò)安全大數(shù)據(jù)，最后提出大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全與情報分析中的應(yīng)用路徑。

大數(shù)據(jù)；網(wǎng)絡(luò)安全；情報分析；數(shù)據(jù)處理；技術(shù)

互聯(lián)網(wǎng)科技的迅猛進(jìn)步，一方面促使現(xiàn)代人的日常生產(chǎn)生活更為便捷，另一方面也帶來了一定程度的網(wǎng)絡(luò)安全威脅。其中，最為常見的就是國家安全信息、個人安全信息以及企業(yè)保密數(shù)據(jù)等相關(guān)信息的篡改或者泄露，給網(wǎng)絡(luò)安全帶來了嚴(yán)重的消極影響。所以，加大網(wǎng)絡(luò)安全與情報分析的研發(fā)力度，切實(shí)保障網(wǎng)絡(luò)安全，有效抵御不法分子的網(wǎng)絡(luò)攻擊行為等，對營造優(yōu)良的網(wǎng)絡(luò)安全環(huán)境至關(guān)重要。

1 大數(shù)據(jù)安全分析

1.1 大數(shù)據(jù)的基本內(nèi)涵

大數(shù)據(jù)（Big Data，Mega Data）指從網(wǎng)絡(luò)多層次視角對海量數(shù)據(jù)信息進(jìn)行收集與整合的技術(shù)，具有顯著的實(shí)時性特征。從技術(shù)視角去看，大數(shù)據(jù)和云計(jì)算息息相關(guān)，云存儲、數(shù)據(jù)庫與處理技術(shù)是開展數(shù)據(jù)信息搜索的重要依據(jù)。就目前而言，較高的科學(xué)技術(shù)水平與廣泛流通的信息，促使人類進(jìn)入了一個全新的社會形態(tài)。與20世紀(jì)相比，人們相互之間的溝通頻次提高了約20倍，新時代人們平均每周所獲信息量等同于古人畢生所獲信息量之和[1]。

1.2 傳統(tǒng)網(wǎng)絡(luò)安全和情報分析的困境

首先是傳統(tǒng)網(wǎng)絡(luò)安全困境。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，IT體系結(jié)構(gòu)的復(fù)雜性日益增加，各種應(yīng)用層出不窮，促使大數(shù)據(jù)與業(yè)務(wù)的集中性更為突出，也導(dǎo)致傳統(tǒng)網(wǎng)絡(luò)安全設(shè)施難以對互聯(lián)網(wǎng)領(lǐng)域進(jìn)行有效控制。存儲與分析大規(guī)模信息數(shù)據(jù)的成本高昂，且安全日志中存儲的數(shù)據(jù)受時間局限嚴(yán)重，導(dǎo)致難以有效處理網(wǎng)絡(luò)安全問題。

其次是傳統(tǒng)情報分析困境。隨著通信技術(shù)、物聯(lián)網(wǎng)技術(shù)、云計(jì)算技術(shù)、移動互聯(lián)網(wǎng)技術(shù)等技術(shù)推進(jìn)，涌現(xiàn)出的網(wǎng)絡(luò)威脅情報信息也隨之陡增，而傳統(tǒng)的信息分析設(shè)備因內(nèi)容較為單一、數(shù)據(jù)源比較小、信息相互割裂等特征，無法滿足需求。亟待構(gòu)建兼具效率與質(zhì)量的智能化數(shù)據(jù)信息檢索系統(tǒng)，對采集的海量、非系統(tǒng)數(shù)據(jù)予以存儲及處理，實(shí)現(xiàn)高速檢索和實(shí)時信息跟蹤。

2 網(wǎng)絡(luò)安全大數(shù)據(jù)分析關(guān)鍵簡述

2.1 大數(shù)據(jù)處理技術(shù)

網(wǎng)絡(luò)安全與情報分析工作中，收集和整合海量數(shù)據(jù)信息十分重要，通常情況下，批處理模式和流計(jì)算模式是兩種主要的大數(shù)據(jù)技術(shù)模式。常用的數(shù)據(jù)處理技術(shù)包括以下三種：一是基于Hive、HBase等數(shù)據(jù)庫實(shí)現(xiàn)多數(shù)據(jù)庫交互式查詢技術(shù)，能夠支持多數(shù)據(jù)庫交互式查詢，其數(shù)據(jù)查詢時間可控制在幾分鐘內(nèi)，具有靈活直觀的優(yōu)點(diǎn)。Dremel、Apache Spark等屬于交互式數(shù)據(jù)的主要查詢系統(tǒng)[2]。二是批量處理的信息數(shù)據(jù)技術(shù)，即通過對采集數(shù)據(jù)的批量化處理，實(shí)現(xiàn)數(shù)據(jù)處理效率的提升，在實(shí)際使用過程中，通常需要提前進(jìn)行靜態(tài)化的數(shù)據(jù)信息存儲，以提高處理數(shù)據(jù)的整體質(zhì)量和效果（如下圖1所示）。三是流量數(shù)據(jù)的數(shù)據(jù)處理技術(shù)，旨在開展實(shí)時數(shù)據(jù)計(jì)算與處理業(yè)務(wù)，可以直接在存儲器中進(jìn)行，具有延時短、效率高的優(yōu)點(diǎn)，具有良好的反饋效果。

圖1 批量數(shù)據(jù)處理示意圖

2.2 大數(shù)據(jù)安全分析技術(shù)

最為常用的大數(shù)據(jù)分析技術(shù)包括以下三類。一是用戶行為分析技術(shù)。該技術(shù)主要是對企業(yè)用戶的實(shí)際網(wǎng)絡(luò)行徑進(jìn)行分析，通過UBA技術(shù)運(yùn)用對網(wǎng)絡(luò)流中的瀏覽痕跡、歷史記錄等予以搜集，并在此基礎(chǔ)上創(chuàng)設(shè)用戶行徑基線，然后同用戶行徑做比較，從中尋出非正常行為，以此對網(wǎng)絡(luò)安全威脅進(jìn)行有效識別。二是可視化的安全分析技術(shù)。通過對數(shù)據(jù)可視化的實(shí)現(xiàn)，確保管理者能夠?qū)?shù)據(jù)信息予以直接讀取，從而為安全管理者提供豐富的參考依據(jù)，及時發(fā)現(xiàn)網(wǎng)絡(luò)攻擊和其他安全問題。三是安全事件的分析技術(shù)。逐漸攀升的網(wǎng)絡(luò)安全事件之間存在千絲萬縷的聯(lián)系，而常用的網(wǎng)絡(luò)主機(jī)關(guān)聯(lián)、不同領(lǐng)域安全關(guān)聯(lián)、安全設(shè)備報警等關(guān)聯(lián)分析技術(shù)，能夠有效分析出不同網(wǎng)絡(luò)安全事件間的關(guān)系。

3 基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全與情報分析應(yīng)用路徑

3.1 APT攻擊檢測

網(wǎng)絡(luò)攻擊表現(xiàn)出愈來愈強(qiáng)的隱蔽性及滲透性特征，這對網(wǎng)絡(luò)安全構(gòu)成更大威脅。譬如，近些年相繼出現(xiàn)且造成重大損壞的超級工廠病毒、火焰病毒、黑暗勢力等網(wǎng)絡(luò)安全事件，顯示出巨大的網(wǎng)絡(luò)攻擊性和破壞性[4]。其中，APT攻擊最為突出，具有攻擊路徑不確定、攻擊方向不明確、隱蔽性極強(qiáng)的特點(diǎn)，常用的網(wǎng)絡(luò)安全方案根本無法有效抵御。然而，基于大數(shù)據(jù)的數(shù)據(jù)管理分析技術(shù)，卻能夠通過對數(shù)據(jù)信息之間關(guān)聯(lián)性的高效分析，對APT攻擊進(jìn)行高質(zhì)量監(jiān)測。

3.2 網(wǎng)絡(luò)異常檢測

網(wǎng)絡(luò)異常檢測作為網(wǎng)絡(luò)信息安全分析的基本內(nèi)容，通常需要對越權(quán)性的資源訪問、設(shè)備故障或異常網(wǎng)絡(luò)流量等問題進(jìn)行分析。網(wǎng)絡(luò)異常檢測主要依據(jù)檢測對象目標(biāo)的狀態(tài)、屬性等方面的一系列變化予以構(gòu)建，目的在于分析網(wǎng)絡(luò)異常行為或者違規(guī)操作行為（如下圖2所示）。網(wǎng)絡(luò)中的用戶行徑就是大數(shù)據(jù)技術(shù)檢測的目標(biāo)與對象，以大數(shù)據(jù)技術(shù)為基礎(chǔ)進(jìn)行的網(wǎng)絡(luò)異常行徑檢測優(yōu)勢十分突出。比如，360企業(yè)工程師王占義在黑帽會議中曾提到，在對異常網(wǎng)絡(luò)流量進(jìn)行檢測的過程中，實(shí)施深度學(xué)習(xí)方式能夠?qū)z測網(wǎng)絡(luò)異常的精準(zhǔn)性提高到90%以上。基于大數(shù)據(jù)的網(wǎng)絡(luò)異常檢測能夠?qū)W(wǎng)絡(luò)流量進(jìn)行全方位識別，對于協(xié)議的加密與否則無須予以判斷，網(wǎng)絡(luò)流量的最終識別率達(dá)到55%。

圖2 網(wǎng)絡(luò)異常流量監(jiān)測過程

3.3 網(wǎng)絡(luò)安全態(tài)勢感知

針對網(wǎng)絡(luò)中存在的多種安全風(fēng)險，企事業(yè)單位需要實(shí)時掌握網(wǎng)絡(luò)狀態(tài)，確保網(wǎng)絡(luò)風(fēng)險能夠及時被察覺。在網(wǎng)絡(luò)安全態(tài)勢感知的實(shí)際工作中，引入大數(shù)據(jù)技術(shù)，對各種安全因素進(jìn)行分析、了解、評估和分析，可以有效地提高工作效率，保證網(wǎng)絡(luò)安全。因此，許多企業(yè)利用大數(shù)據(jù)技術(shù)等于構(gòu)建網(wǎng)絡(luò)安全數(shù)據(jù)感知平臺。例如，阿里巴巴集團(tuán)建立阿里巴巴云盾，使用 SAAS實(shí)現(xiàn)對網(wǎng)絡(luò)風(fēng)險的有效感知；360建立NGSOC平臺，使用大數(shù)據(jù)技術(shù)收集和存儲本地所有數(shù)據(jù)，以智能為基礎(chǔ)，提供實(shí)時監(jiān)控和網(wǎng)絡(luò)安全分析，并支持威脅追蹤。四川大學(xué)設(shè)計(jì)院研發(fā)NTCI.NUBA平臺對校園網(wǎng)絡(luò)進(jìn)行實(shí)時監(jiān)控，包括網(wǎng)絡(luò)流量、數(shù)據(jù)中心流量和身份認(rèn)證數(shù)據(jù)，并通過 Hadoop和Spark進(jìn)行數(shù)據(jù)分析，在很大程度上保證了校園網(wǎng)絡(luò)的安全。

3.4 網(wǎng)絡(luò)威脅情報分析

對網(wǎng)絡(luò)威脅信息的分析以分布式系統(tǒng)、大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)威脅信息采集為主。大數(shù)據(jù)網(wǎng)絡(luò)安全保障技術(shù)對行為、特征、威脅以及漏洞等證據(jù)信息收集，能夠最大限度地降低網(wǎng)絡(luò)系統(tǒng)遭受攻擊的概率（如下圖3所示）。對網(wǎng)絡(luò)威脅信息的收集還能夠深化系統(tǒng)用戶對網(wǎng)絡(luò)威脅的識別，引導(dǎo)系統(tǒng)用戶采用更為科學(xué)的方法抵御網(wǎng)絡(luò)威脅。通常來講，健全的網(wǎng)絡(luò)威脅情報主要包括事件響應(yīng)、分析融合、情報源這三方面內(nèi)容。目前網(wǎng)絡(luò)安全威脅情報分析的專業(yè)機(jī)構(gòu)，如賽門鐵克、微步在線等，都能為網(wǎng)絡(luò)用戶提供相關(guān)的服務(wù)及產(chǎn)品，包括預(yù)防網(wǎng)絡(luò)犯罪、檢測網(wǎng)絡(luò)漏洞、清理惡意軟件等。另外，研究人員也創(chuàng)建了一系列網(wǎng)絡(luò)數(shù)據(jù)管理及采集系統(tǒng)，對網(wǎng)絡(luò)威脅信息進(jìn)行篩選，并為用戶提供相應(yīng)幫助。由此可見，基于大數(shù)據(jù)的網(wǎng)絡(luò)威脅情報分析，更具技術(shù)性、規(guī)范性與科學(xué)性，在抵御網(wǎng)絡(luò)威脅方面也更具優(yōu)勢。

總之，具有較強(qiáng)數(shù)據(jù)處理和分析能力的大數(shù)據(jù)技術(shù)非常適用于網(wǎng)絡(luò)安全和情報工作，亟待其在此領(lǐng)域中的進(jìn)一步推廣和應(yīng)用。相關(guān)網(wǎng)絡(luò)安全與情報分析工作者可以在網(wǎng)絡(luò)安全與情報工作中運(yùn)用大數(shù)據(jù)技術(shù)來進(jìn)行攻擊檢測、網(wǎng)絡(luò)風(fēng)險感知、網(wǎng)絡(luò)威脅情報分析和網(wǎng)絡(luò)異常檢測，進(jìn)而提高網(wǎng)絡(luò)安全和情報工作的水平和質(zhì)量，促進(jìn)網(wǎng)絡(luò)的健康和可持續(xù)發(fā)展，從而為人們帶來更好更優(yōu)、更高質(zhì)量的網(wǎng)絡(luò)服務(wù)。

圖3 數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)示意圖

[1]鄒勤，余毅，袁俊.試論基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報分析[J].電腦知識與技術(shù)，2019（12）：23-24.

[2]齊愛民.論大數(shù)據(jù)時代數(shù)據(jù)安全法律綜合保護(hù)的完善——以《網(wǎng)絡(luò)安全法》為視角[J].東北師大學(xué)報（哲學(xué)社會科學(xué)版），2017（04）：108-114.

[3]劉斌.大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)信息安全的風(fēng)險與應(yīng)對策略研究[J].科技傳播，2018（03）：166-168.

[4]水利部信息中心組織召開水利大數(shù)據(jù)中心和水利部網(wǎng)絡(luò)安全防護(hù)能力提升工程項(xiàng)目研討會[J].水利信息化，2018（04）：19.