基于大數(shù)據(jù)分析的網(wǎng)絡(luò)威脅主動(dòng)防御

楊曉林++邵康++韋紹毅

摘 要

本文主要闡述了在大數(shù)據(jù)分析平臺(tái)的基礎(chǔ)上，為企業(yè)建立主動(dòng)防御化的網(wǎng)絡(luò)安全監(jiān)控、防御平臺(tái)，做到可以實(shí)時(shí)、動(dòng)態(tài)、主動(dòng)地應(yīng)對(duì)來(lái)自網(wǎng)絡(luò)的安全威脅。本文通過(guò)主動(dòng)防御的背景、平臺(tái)主要架構(gòu)、每個(gè)架構(gòu)的設(shè)計(jì)構(gòu)成以及主動(dòng)架構(gòu)的技術(shù)依據(jù)幾方面介紹主動(dòng)防御平臺(tái)，本文研究的內(nèi)容已經(jīng)有較為成熟的構(gòu)架和方案，可以為企業(yè)搭建初步的主動(dòng)防御安全平臺(tái)模型。

【關(guān)鍵詞】網(wǎng)絡(luò)安全 大數(shù)據(jù) 主動(dòng)防御

信息化已經(jīng)成為當(dāng)前最重要的資源之一，在影響著社會(huì)發(fā)展的同時(shí)也日益成為國(guó)與國(guó)之間相互爭(zhēng)奪的重點(diǎn)，信息系統(tǒng)已經(jīng)成為了各國(guó)企事業(yè)單位發(fā)展國(guó)民經(jīng)濟(jì)必須依賴的支撐力量，網(wǎng)絡(luò)已經(jīng)成為國(guó)家各企事業(yè)單位發(fā)展經(jīng)濟(jì)的重要基礎(chǔ)，這使得網(wǎng)絡(luò)安全越來(lái)越成為國(guó)家安全的關(guān)鍵環(huán)節(jié)。在能源電力領(lǐng)域，美國(guó)曾利用“震網(wǎng)”蠕蟲(chóng)病毒攻擊伊朗的鈾濃縮設(shè)備，已經(jīng)造成伊朗核電站推遲發(fā)電，目前國(guó)內(nèi)已有近500萬(wàn)網(wǎng)民、及多個(gè)行業(yè)的領(lǐng)軍企業(yè)遭此病毒攻擊。這使得大部分能源企業(yè)對(duì)此表示擔(dān)心。而在這種網(wǎng)絡(luò)威脅的防御方面，目前的解決辦法基本上屬于單純的堆積安全設(shè)備，在網(wǎng)絡(luò)安全邊界部署防火墻、入侵防御、流量清洗等設(shè)備，這樣做只能抵御簡(jiǎn)單、常規(guī)的網(wǎng)絡(luò)攻擊，對(duì)于高級(jí)黑客攻擊者發(fā)起的APT攻擊、利用“零日”漏洞發(fā)起的攻擊以及大流量的DDOS攻擊，目前的方案難以解決此類場(chǎng)景。本文將深入研究目前新的網(wǎng)絡(luò)攻擊特點(diǎn)，利用前沿的數(shù)據(jù)處理技術(shù)，搭建基于數(shù)據(jù)的網(wǎng)絡(luò)威脅發(fā)現(xiàn)、分析平臺(tái)，并利用該平臺(tái)對(duì)新的網(wǎng)絡(luò)攻擊進(jìn)行主動(dòng)式的攔截和防御。

1 主動(dòng)防御的主要構(gòu)架

業(yè)務(wù)架構(gòu)從業(yè)務(wù)角度對(duì)集中監(jiān)測(cè)、預(yù)警與審計(jì)平臺(tái)的核心業(yè)務(wù)進(jìn)行細(xì)化、抽象、歸納、總結(jié)，形成整體業(yè)務(wù)能力視圖，為應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)提供關(guān)鍵輸入；應(yīng)用架構(gòu)基于業(yè)務(wù)架構(gòu)，從集中監(jiān)測(cè)、預(yù)警與審計(jì)平臺(tái)應(yīng)用功能的角度定義應(yīng)用功能、應(yīng)用劃分和應(yīng)用分布，形成集中監(jiān)測(cè)、預(yù)警與審計(jì)平臺(tái)應(yīng)用架構(gòu)視圖；數(shù)據(jù)架構(gòu)基于業(yè)務(wù)架構(gòu)和應(yīng)用架構(gòu)，從集中監(jiān)測(cè)、預(yù)警與審計(jì)平臺(tái)數(shù)據(jù)支撐的角度對(duì)數(shù)據(jù)分類、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)流轉(zhuǎn)等方面進(jìn)行規(guī)劃設(shè)計(jì)；技術(shù)架構(gòu)基于應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)，從平臺(tái)技術(shù)實(shí)現(xiàn)的角度定義集中監(jiān)測(cè)、預(yù)警與審計(jì)平臺(tái)組件、集成關(guān)系、部署方式和系統(tǒng)安全防護(hù)體系。

2 業(yè)務(wù)架構(gòu)

實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)攻擊的主動(dòng)防御，須對(duì)企業(yè)所有網(wǎng)絡(luò)設(shè)備、服務(wù)器、現(xiàn)有的安全設(shè)備的各方面狀態(tài)（包括負(fù)載狀態(tài)、性能狀態(tài)、設(shè)備訪問(wèn)日志、安全日志、網(wǎng)絡(luò)流量等）進(jìn)行深度的實(shí)時(shí)監(jiān)控；對(duì)監(jiān)控收集到的數(shù)據(jù)進(jìn)行分析，根據(jù)分析結(jié)果進(jìn)行預(yù)警，最后得到結(jié)果并下發(fā)策略對(duì)網(wǎng)絡(luò)攻擊進(jìn)行主動(dòng)防御。

3 應(yīng)用架構(gòu)

應(yīng)用架構(gòu)設(shè)計(jì)承接業(yè)務(wù)架構(gòu)設(shè)計(jì)內(nèi)容，根據(jù)企業(yè)集中安全監(jiān)測(cè)、預(yù)警與審計(jì)平臺(tái)的核心業(yè)務(wù)的需求，通過(guò)對(duì)業(yè)務(wù)需求點(diǎn)的總結(jié)、分析和歸納，提煉出對(duì)應(yīng)的功能，形成情報(bào)管理、數(shù)據(jù)采集管理、數(shù)據(jù)安全分析、資產(chǎn)管理、整體展示、系統(tǒng)管理、告警管理、主動(dòng)防御的應(yīng)用架構(gòu)視圖，為后續(xù)數(shù)據(jù)架構(gòu)設(shè)計(jì)提供必要的指導(dǎo)和輸入。

4 數(shù)據(jù)架構(gòu)

從數(shù)據(jù)應(yīng)用的不同角度對(duì)數(shù)據(jù)進(jìn)行分類，不同類別的數(shù)據(jù)在存儲(chǔ)、計(jì)算、傳輸時(shí)對(duì)應(yīng)不同的要求和技術(shù)實(shí)現(xiàn)手段。

根據(jù)一般企業(yè)數(shù)據(jù)分類原則，對(duì)數(shù)據(jù)進(jìn)行劃分為環(huán)境數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、流轉(zhuǎn)數(shù)據(jù)、非流轉(zhuǎn)數(shù)據(jù)。

5 技術(shù)架構(gòu)

5.1 平臺(tái)邏輯結(jié)構(gòu)

根據(jù)數(shù)據(jù)的處理過(guò)程，主動(dòng)防御的實(shí)現(xiàn)基礎(chǔ)，統(tǒng)計(jì)監(jiān)測(cè)預(yù)警審計(jì)平臺(tái)在邏輯層面從下到上分為：數(shù)據(jù)處理層、數(shù)據(jù)分析層、展示和業(yè)務(wù)層三部分。如下圖所示。

5.2 數(shù)據(jù)采集分析結(jié)構(gòu)

精確的網(wǎng)絡(luò)攻擊預(yù)測(cè)和主動(dòng)防御依賴于對(duì)海量數(shù)據(jù)進(jìn)行準(zhǔn)確的計(jì)算，如圖，主動(dòng)防御平臺(tái)在數(shù)據(jù)的采集、存儲(chǔ)、分析方面設(shè)計(jì)了嚴(yán)密的邏輯處理流程。

網(wǎng)絡(luò)報(bào)文、日志數(shù)據(jù)分別采用netflow、syslog、webservice收集，收集到的數(shù)據(jù)通過(guò)flume或ftpd進(jìn)行傳輸進(jìn)入到數(shù)據(jù)預(yù)處理隊(duì)列kafka中，對(duì)于收集到的文件直接保存到文件存儲(chǔ)PARQUET中。數(shù)據(jù)隊(duì)列中所保存的為原始數(shù)據(jù)，數(shù)據(jù)隊(duì)列進(jìn)行本地緩存以便進(jìn)行后續(xù)處理。

原始數(shù)據(jù)收集后進(jìn)入到流計(jì)算框架中進(jìn)行數(shù)據(jù)處理。在流計(jì)算框架中，首先進(jìn)行數(shù)據(jù)的解析與轉(zhuǎn)換，之后對(duì)于某些原始數(shù)據(jù)進(jìn)行增強(qiáng)，增加某些關(guān)鍵數(shù)據(jù)使其具備更豐富的價(jià)值。原始數(shù)據(jù)經(jīng)過(guò)以上兩部分處理后一方面創(chuàng)建索引，同時(shí)進(jìn)行數(shù)據(jù)保存，與此同時(shí)流計(jì)算框架進(jìn)行實(shí)時(shí)告警計(jì)算。

增強(qiáng)數(shù)據(jù)的索引保存到Elastic Search中，同時(shí)將數(shù)據(jù)保存到PARQUET中。索引通過(guò)查詢的方式進(jìn)行調(diào)用展現(xiàn)。

增強(qiáng)后的數(shù)據(jù)進(jìn)入消息隊(duì)列中重新返回到流計(jì)算框架，此時(shí)對(duì)該數(shù)據(jù)進(jìn)行一定的過(guò)濾，使其滿足后續(xù)的關(guān)聯(lián)規(guī)則。通過(guò)關(guān)聯(lián)規(guī)則實(shí)現(xiàn)對(duì)數(shù)據(jù)的分析工作，關(guān)聯(lián)規(guī)則來(lái)自于場(chǎng)景模型。關(guān)聯(lián)分析后的數(shù)據(jù)保存到相應(yīng)的數(shù)據(jù)存儲(chǔ)中進(jìn)行數(shù)據(jù)保存，同時(shí)對(duì)于某些情況觸發(fā)相應(yīng)告警。

告警數(shù)據(jù)包含基于規(guī)則的告警信息、關(guān)聯(lián)分析產(chǎn)生的告警信息、機(jī)器學(xué)習(xí)產(chǎn)生的告警、重度匯總產(chǎn)生的告警，所有的告警數(shù)據(jù)統(tǒng)一進(jìn)行緩存，統(tǒng)一進(jìn)行告警處置。

原始數(shù)據(jù)、場(chǎng)景模型、處理數(shù)據(jù)以及告警數(shù)據(jù)都是保存到PARQUET中進(jìn)行長(zhǎng)久保存。關(guān)聯(lián)分析運(yùn)行后產(chǎn)生的結(jié)果數(shù)據(jù)在高速數(shù)據(jù)存儲(chǔ)中進(jìn)行保存。環(huán)境數(shù)據(jù)、情報(bào)數(shù)據(jù)保存在PostgerSQL中。最后實(shí)現(xiàn)多元數(shù)據(jù)融合、分析，實(shí)現(xiàn)重度匯總的計(jì)算過(guò)程。數(shù)據(jù)融合后的結(jié)果主要通過(guò)圖形化控件進(jìn)行展示。

經(jīng)過(guò)預(yù)處理、輕度匯總、中度匯總后得出的攻擊態(tài)勢(shì)分析結(jié)果會(huì)直接作用于安全域邊界設(shè)備，生成響應(yīng)過(guò)濾、限制、阻斷和監(jiān)聽(tīng)規(guī)則，并下發(fā)到指定的設(shè)備。

6 主動(dòng)防御實(shí)現(xiàn)

主動(dòng)防御的實(shí)現(xiàn)分為三個(gè)步驟：

（1）采集各方面安全日志、事件日志、業(yè)務(wù)狀態(tài)等數(shù)據(jù)。

（2）對(duì)海量數(shù)據(jù)進(jìn)行篩選、入庫(kù)處理、建模分析，得出目前網(wǎng)絡(luò)存在的攻擊以及發(fā)展態(tài)勢(shì)。

（3）根據(jù)預(yù)測(cè)結(jié)果下發(fā)防御、阻斷以及監(jiān)聽(tīng)策略，動(dòng)態(tài)地保護(hù)業(yè)務(wù)系統(tǒng)安全、平穩(wěn)運(yùn)行。

7 結(jié)語(yǔ)

主動(dòng)防御是近幾年來(lái)網(wǎng)絡(luò)安全領(lǐng)域新興的一個(gè)概念，受到了人們的廣泛關(guān)注。對(duì)于網(wǎng)絡(luò)威脅演變迅速、新的安全事件層出不窮、網(wǎng)絡(luò)攻擊成本和門(mén)檻日益低下的今日，主動(dòng)防御技術(shù)將成為企業(yè)安全不可缺少的屏障，主動(dòng)防御的技術(shù)也將向著更加智能化、自動(dòng)化和普及化發(fā)展。

作者單位

國(guó)網(wǎng)江蘇電力公司常州供電公司 江蘇省常州市 213000