基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺(tái)應(yīng)用研究

李澤慧 徐沛東 鄔 陽 魏 奇

(自然資源部信息中心 北京 100812)

0 引 言

根據(jù)國務(wù)院《“十三五”國家信息化規(guī)劃》的指示與要求,各企事業(yè)單位應(yīng)加強(qiáng)網(wǎng)絡(luò)安全防治、網(wǎng)絡(luò)威脅監(jiān)測預(yù)警和應(yīng)急處置能力的建設(shè)[1]。作為國家重要政府部門,自然資源部面臨著嚴(yán)峻的網(wǎng)絡(luò)安全形勢。自2008年以來,自然資源部開展了信息系統(tǒng)安全等保建設(shè),在系統(tǒng)、應(yīng)用、網(wǎng)絡(luò)等方面積累了一定的基礎(chǔ)安全防御能力。然而,由于安全資源管理分散、信息系統(tǒng)建設(shè)孤島等問題,使得本部許多的網(wǎng)絡(luò)安全日志數(shù)據(jù)并未得到充分的分析利用。有鑒于此,自然資源部按照國家關(guān)于建設(shè)網(wǎng)絡(luò)安全態(tài)勢感知平臺(tái)的指導(dǎo)思想,結(jié)合自然資源部網(wǎng)絡(luò)安全的內(nèi)外部現(xiàn)狀,整合現(xiàn)有的安全基礎(chǔ)設(shè)施,利用大數(shù)據(jù)、態(tài)勢感知、可視化、機(jī)器學(xué)習(xí)等技術(shù),增加并豐富互聯(lián)網(wǎng)安全事件的監(jiān)測、預(yù)警和應(yīng)急響應(yīng)手段,開展具有自然資源部個(gè)性化特色的態(tài)勢感知平臺(tái)服務(wù)建設(shè),以積極提升網(wǎng)絡(luò)安全的主動(dòng)防御能力,進(jìn)一步強(qiáng)化自然資源部外網(wǎng)安全監(jiān)測常態(tài)化管理,提高自然資源部外網(wǎng)安全運(yùn)維管理效率和水平,不斷提升整體網(wǎng)絡(luò)安全防御能力,最大程度地降低網(wǎng)絡(luò)安全風(fēng)險(xiǎn)。

1 態(tài)勢感知算法

通過態(tài)勢感知,可以發(fā)現(xiàn)潛伏在網(wǎng)絡(luò)中的攻擊威脅和入侵行為,進(jìn)而進(jìn)行預(yù)警和展示,這一過程是通過綜合計(jì)算態(tài)勢感知指標(biāo)體系來實(shí)現(xiàn)的[2-3]。目前基于態(tài)勢感知指標(biāo)體系計(jì)算分析的方法主要有基于特征規(guī)則的主動(dòng)防御態(tài)勢預(yù)警法[4]、基于多源日志的網(wǎng)絡(luò)安全態(tài)勢感知預(yù)警法[5]、基于Apriori算法的網(wǎng)絡(luò)安全日志數(shù)據(jù)分析預(yù)測法[6]等。以上方法只適用于企事業(yè)單位小規(guī)模的局域網(wǎng)絡(luò)安全態(tài)勢預(yù)測和防御,而在面對(duì)海量態(tài)勢整體指數(shù)數(shù)據(jù)集時(shí)顯得無能為力。為破除該技術(shù)壁壘,結(jié)合已在大數(shù)據(jù)領(lǐng)域廣泛應(yīng)用的MapReduce處理優(yōu)勢,本文提出一種基于MapReduce并行處理的Apriori算法,用于分析外網(wǎng)網(wǎng)絡(luò)安全日志數(shù)據(jù),使得在挖掘網(wǎng)絡(luò)安全態(tài)勢指標(biāo)數(shù)據(jù)的過程中獲得更大的剪枝程度以及更加準(zhǔn)確的預(yù)測規(guī)則,以提高態(tài)勢感知平臺(tái)對(duì)海量網(wǎng)絡(luò)安全日志數(shù)據(jù)的處理能力和處理效率,獲得平臺(tái)具有更佳的擴(kuò)展能力[7-10]。算法實(shí)現(xiàn)步驟如圖1所示。

圖1 算法原理

(4) 對(duì)分組后Group ID中的數(shù)據(jù)再進(jìn)行Map處理,篩選高頻項(xiàng)集,得到各子項(xiàng)集的頻繁項(xiàng)集,然后進(jìn)行Reduce運(yùn)算,逐步關(guān)聯(lián)數(shù)據(jù)挖掘規(guī)則。

(5) 統(tǒng)計(jì)各個(gè)子項(xiàng)集節(jié)點(diǎn)最后的運(yùn)算結(jié)果,形成全局頻繁項(xiàng)集,再通過行為畫像和可視化等技術(shù)在態(tài)勢感知大屏上展示網(wǎng)絡(luò)安全威脅指標(biāo)態(tài)勢。

2 平臺(tái)邏輯架構(gòu)設(shè)計(jì)

網(wǎng)絡(luò)安全態(tài)勢感知平臺(tái)的邏輯架構(gòu)如圖2所示。

圖2 網(wǎng)絡(luò)安全態(tài)勢感知平臺(tái)邏輯架構(gòu)

平臺(tái)從邏輯上分為數(shù)據(jù)采集層、數(shù)據(jù)處理與匯聚層、業(yè)務(wù)服務(wù)層和系統(tǒng)展示層[11]。

在數(shù)據(jù)采集層,通過探針設(shè)備采集各類網(wǎng)絡(luò)安全日志數(shù)據(jù),包括原始流量數(shù)據(jù)、漏洞數(shù)據(jù)、IDC基礎(chǔ)資源數(shù)據(jù)、IP/域名備案數(shù)據(jù)、資產(chǎn)數(shù)據(jù)/日志、僵木蠕數(shù)據(jù)、威脅情報(bào)、流量監(jiān)測數(shù)據(jù)、DNS解析數(shù)據(jù)、外網(wǎng)網(wǎng)站數(shù)據(jù)和NETFLOW信息。各類數(shù)據(jù)經(jīng)消息總線和協(xié)調(diào)總線輸入至數(shù)據(jù)處理與匯聚層。

在數(shù)據(jù)處理與匯聚層,數(shù)據(jù)處理組件的ETL模塊負(fù)責(zé)將數(shù)據(jù)采集層匯入的各類數(shù)據(jù)進(jìn)行入庫和存儲(chǔ),同時(shí)也對(duì)上層的業(yè)務(wù)服務(wù)層或其他關(guān)聯(lián)系統(tǒng)提供實(shí)時(shí)的數(shù)據(jù)源和文件源。平臺(tái)為實(shí)現(xiàn)海量網(wǎng)絡(luò)安全日志的精準(zhǔn)檢測和分析,集成了特有的安全組件。其中檢測引擎模塊封裝了脆弱性分析、攻擊行為分析、安全漏洞分析、檢測規(guī)則引擎、關(guān)聯(lián)規(guī)則引擎和算法引擎等組件。本文提出的基于MapReduce并行處理的Apriori算法即封裝在算法引擎中[12]。智能分析模塊則封裝了威脅預(yù)警、攻擊畫像、脆弱性態(tài)勢、惡意操作態(tài)勢、攻擊態(tài)勢和趨勢預(yù)測等組件,對(duì)檢測引擎提供的網(wǎng)絡(luò)安全態(tài)勢指標(biāo)進(jìn)行計(jì)算分析,形成態(tài)勢預(yù)測結(jié)果數(shù)據(jù),進(jìn)而輸送至系統(tǒng)展示層進(jìn)行顯示。為了解決自然資源部先前的安全資源管理分散、信息系統(tǒng)建設(shè)孤島、原有平臺(tái)計(jì)算能力不足等問題,數(shù)據(jù)處理與匯聚層嵌入了分布式數(shù)據(jù)存儲(chǔ)分析模塊,引用大數(shù)據(jù)安全技術(shù)框架,使用HDFS分布式存儲(chǔ)和HBase來壓縮讀寫、存儲(chǔ)及備份數(shù)據(jù)。運(yùn)用Storm實(shí)時(shí)流計(jì)算技術(shù)、MapReduce離線計(jì)算技術(shù)、YARN分布式任務(wù)調(diào)度技術(shù)、Spark內(nèi)存迭代計(jì)算技術(shù),對(duì)數(shù)據(jù)進(jìn)行計(jì)算、索引、挖掘和處理,并通過服務(wù)總線進(jìn)行數(shù)據(jù)的分發(fā)、共享,實(shí)現(xiàn)處理結(jié)果的多系統(tǒng)在線查詢和分析辨認(rèn)。

在業(yè)務(wù)服務(wù)層,可實(shí)現(xiàn)用戶多類業(yè)務(wù)邏輯和算法處理結(jié)果的直接應(yīng)用。根據(jù)自然資源部業(yè)務(wù)類別的差異,該層分為網(wǎng)絡(luò)安全管理、安全管理能力、基礎(chǔ)資源管理、大數(shù)據(jù)應(yīng)用模塊。

(1) 網(wǎng)絡(luò)安全管理模塊。異常流量監(jiān)測功能。通過建立異常流量監(jiān)測模型,用于監(jiān)測、分析自然資源部外網(wǎng)網(wǎng)絡(luò)流量數(shù)據(jù),判斷其是否存在異常流量[13]。

移動(dòng)惡意程序監(jiān)測功能。用于監(jiān)測自然資源部外網(wǎng)中是否有通過移動(dòng)互聯(lián)網(wǎng)來竊取信息系統(tǒng)資產(chǎn)漏洞的惡意事件。

僵木蠕監(jiān)測功能。用于監(jiān)測自然資源部外網(wǎng)中的僵木蠕事件,捕獲、分析疑似僵木蠕樣本。

(2) 安全管理能力模塊。主動(dòng)溯源功能。通過主動(dòng)回溯分析方式,分析網(wǎng)絡(luò)安全攻擊事件的切入點(diǎn),挖掘已知威脅進(jìn)入內(nèi)網(wǎng)的方式,從而加固閉環(huán)、封堵缺口,為安全服務(wù)人員提供快速分析和追溯能力,避免同類事件發(fā)生。

應(yīng)急處置功能。當(dāng)網(wǎng)絡(luò)安全事件發(fā)生時(shí),為避免事態(tài)升級(jí)或影響重要業(yè)務(wù),需要對(duì)事件進(jìn)行快速應(yīng)急處置。通過打造三級(jí)協(xié)同聯(lián)動(dòng)的響應(yīng)機(jī)制,讓平臺(tái)智能化,精準(zhǔn)分析全網(wǎng)未知威脅和針對(duì)性攻擊,利用協(xié)同聯(lián)動(dòng)實(shí)現(xiàn)針對(duì)性加固防御和精準(zhǔn)打擊,讓全網(wǎng)的安全建設(shè)具備主動(dòng)防御的能力。

會(huì)話分析功能?；诓杉牧髁亢蜁?huì)話數(shù)據(jù),可以分析主機(jī)在失陷過程是否存在對(duì)外、對(duì)內(nèi)的異常會(huì)話,分析是否有數(shù)據(jù)外傳、泄漏等風(fēng)險(xiǎn)發(fā)生。便于在溯源處置后,分析已發(fā)生的其他威脅,形成知識(shí)庫。

(3) 實(shí)用工具管理模塊。等保管理功能:專門在等級(jí)保護(hù)建設(shè)整改過程中,將系統(tǒng)定級(jí)、差距評(píng)估、備案、整改、測評(píng)過程中產(chǎn)生的文檔結(jié)論進(jìn)行統(tǒng)計(jì)歸檔,并使用可視化的統(tǒng)一界面進(jìn)行展現(xiàn)與管理,最大程度發(fā)揮安全措施的保護(hù)能力。同時(shí)提供快速的檢索能力,可及時(shí)查找歷史文檔,方便整改。

情報(bào)數(shù)據(jù)共享:針對(duì)多分支管理或多橫向單位場景(如級(jí)聯(lián)或?qū)＞W(wǎng)多平臺(tái)場景),數(shù)據(jù)與情報(bào)的相互共享可有效提升平臺(tái)對(duì)新威脅的應(yīng)對(duì)能力。當(dāng)系統(tǒng)之間采用相同格式的標(biāo)準(zhǔn)對(duì)接時(shí),即可實(shí)現(xiàn)數(shù)據(jù)的快速共享。

綠色查殺工具:平臺(tái)內(nèi)嵌綠色版僵尸網(wǎng)絡(luò)查殺工具集合,可解決平臺(tái)檢測出的失陷主機(jī)(病毒、木馬控制類)的閉環(huán)處置。

(4) 大數(shù)據(jù)應(yīng)用模塊。大數(shù)據(jù)應(yīng)用模塊將各類安全事件數(shù)據(jù)進(jìn)行關(guān)聯(lián),通過機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等手段發(fā)現(xiàn)安全事件之間存在的聯(lián)系,通過攻擊鏈模型分析多維數(shù)據(jù)指標(biāo),將攻擊行為從點(diǎn)到面地串聯(lián)起來,結(jié)合安全事件日志中的威脅情報(bào)數(shù)據(jù),精準(zhǔn)地預(yù)警信息系統(tǒng)資產(chǎn)即將面臨的安全威脅及其趨勢,制定主動(dòng)防御和快速響應(yīng)策略,進(jìn)而實(shí)現(xiàn)攻擊溯源和態(tài)勢畫像。

系統(tǒng)展現(xiàn)層使用ext作為JS框架,基于ECharts作為圖形庫,以vue架構(gòu)作為大屏可視化呈現(xiàn)支撐,實(shí)現(xiàn)網(wǎng)絡(luò)安全態(tài)勢數(shù)據(jù)的可視化展示?；趶臄?shù)據(jù)處理與匯聚層的數(shù)據(jù)接口,讀取展示數(shù)據(jù),提供整體網(wǎng)絡(luò)綜合態(tài)勢、資產(chǎn)管理、網(wǎng)絡(luò)安全事件分布、流量異常監(jiān)測、脆弱性、攻擊溯源、漏洞管理、網(wǎng)絡(luò)安全預(yù)警信息、潛伏威脅的全局展示。展現(xiàn)層保留系統(tǒng)管理功能。

3 系統(tǒng)部署方案

基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺(tái)的部署架構(gòu)如圖3所示。

圖3 系統(tǒng)部署架構(gòu)

網(wǎng)絡(luò)安全態(tài)勢感知平臺(tái)部署在自然資源部網(wǎng)絡(luò)拓?fù)渲蟹?wù)器區(qū)的旁路交換機(jī)邊,以便獲取數(shù)據(jù)進(jìn)行管理和展示。服務(wù)器區(qū)和辦公區(qū)的前端服務(wù)器為網(wǎng)絡(luò)安全態(tài)勢感知平臺(tái)提供前置數(shù)據(jù)來源。

在服務(wù)器區(qū)二層交換機(jī)和核心路由器上均旁路部署了潛伏威脅探針對(duì)鏡像流量進(jìn)行采集、檢測。潛伏威脅探針可檢測IDS,運(yùn)用漏洞利用攻擊檢測規(guī)則和Web應(yīng)用攻擊檢測規(guī)則從交換機(jī)鏡像流量中檢測已知威脅,生成安全日志輸送至平臺(tái)。同時(shí),潛伏威脅探針內(nèi)置了異常行為檢測引擎,可實(shí)時(shí)在采集的流量數(shù)據(jù)中發(fā)現(xiàn)、標(biāo)記流量片段中的異常行為,傳送給平臺(tái),由平臺(tái)進(jìn)行大數(shù)據(jù)關(guān)聯(lián)分析,對(duì)潛在的威脅進(jìn)行追蹤溯源。

若有多單位監(jiān)管需要,也可進(jìn)行多分支場景部署,通過將潛伏威脅探針下放到各個(gè)單位進(jìn)行監(jiān)控,保障潛伏威脅探針采集的流量數(shù)據(jù)能夠通達(dá)平臺(tái)即可實(shí)現(xiàn)多單位全局網(wǎng)絡(luò)安全態(tài)勢感知。

4 實(shí)驗(yàn)及平臺(tái)應(yīng)用分析

4.1 算法實(shí)驗(yàn)仿真分析

為了檢驗(yàn)本文算法性能,設(shè)置一臺(tái)Windows 7操作系統(tǒng)的虛擬機(jī),配置8 GB內(nèi)存和2.6 GHz CPU。JDK版本是1.8,在Eclipse環(huán)境下運(yùn)行算法程序。設(shè)定瞬時(shí)輸入平臺(tái)的安全日志數(shù)據(jù)集的容量為64 MB,預(yù)警規(guī)則矩陣的維度從1×1到100×100按步長1 000進(jìn)行逐漸遞增,選取本文算法與文獻(xiàn)[6]所提Apriori算法進(jìn)行對(duì)比仿真,統(tǒng)計(jì)二者的執(zhí)行時(shí)間,如圖4所示。

圖4 算法仿真對(duì)比

由圖4可知,對(duì)于處理同樣體量的安全日志數(shù)據(jù)集,在相同維度的預(yù)警規(guī)則矩陣下,本文算法執(zhí)行時(shí)間較文獻(xiàn)[6]算法要短。并且,隨著預(yù)警規(guī)則矩陣維度的逐漸遞增,本文算法借助MapReduce的分布式處理機(jī)制,執(zhí)行時(shí)間呈低斜率線性增長,且維持在很小的時(shí)間范圍內(nèi)浮動(dòng),即便是規(guī)則總數(shù)達(dá)到10 000,算法的執(zhí)行時(shí)間仍在5 s內(nèi),可適用于處理海量的網(wǎng)絡(luò)安全日志數(shù)據(jù)集。而文獻(xiàn)[6]的常規(guī)Apriori算法的執(zhí)行時(shí)間卻在規(guī)則總數(shù)超過5 000后呈現(xiàn)出類似幾何級(jí)的增長趨勢,甚至在規(guī)則總數(shù)達(dá)到10 000時(shí),算法執(zhí)行時(shí)間超過了25 s,由此會(huì)大量消耗虛擬機(jī)的計(jì)算資源,并不適用于海量數(shù)據(jù)應(yīng)用場景。

為檢驗(yàn)本文算法對(duì)安全日志數(shù)據(jù)集的處理性能,設(shè)定預(yù)警規(guī)則矩陣的維度為80×80,向仿真平臺(tái)輸入的安全日志數(shù)據(jù)集的瞬時(shí)容量范圍為16 MB至1 024 MB,計(jì)算本文算法的執(zhí)行時(shí)間,如圖5所示。

圖5 安全日志數(shù)據(jù)集處理時(shí)間

從圖5可知,安全日志數(shù)據(jù)集的瞬時(shí)容量在16 MB至256 MB時(shí),本文算法執(zhí)行時(shí)間在10 s以內(nèi),隨著數(shù)據(jù)集瞬時(shí)容量的翻倍增長,算法執(zhí)行時(shí)間也隨之陡然增加,并未在預(yù)期的時(shí)間區(qū)間[0 s,20 s]內(nèi)進(jìn)行收斂。究其主要原因,是算法第一步在計(jì)算次矩陣時(shí)消耗了系統(tǒng)大量的計(jì)算能力,且Map環(huán)節(jié)的分布式項(xiàng)數(shù)若設(shè)置較低,也會(huì)造成計(jì)算線程數(shù)阻塞,影響執(zhí)行時(shí)間。因此,本文算法在安全日志數(shù)據(jù)集瞬時(shí)容量256 MB以內(nèi)時(shí)可取得較好的處理性能。

4.2 平臺(tái)應(yīng)用

平臺(tái)在經(jīng)過性能測試后投產(chǎn)運(yùn)行,截至2020年6月,平臺(tái)已對(duì)外網(wǎng)45個(gè)域名進(jìn)行了長達(dá)978天的持續(xù)監(jiān)測,持續(xù)監(jiān)測數(shù)次數(shù)6 830萬次,監(jiān)測數(shù)據(jù)量達(dá)19.2 TB,瞬時(shí)安全日志數(shù)據(jù)集約14.3 MB/min,累計(jì)通報(bào)預(yù)警了1 460次安全事件。檢測出的威脅數(shù)據(jù)會(huì)以安全事件的方式展示,可作為威脅事件的入口點(diǎn)進(jìn)行分析,從而評(píng)判自然資源部網(wǎng)絡(luò)安全建設(shè)的薄弱環(huán)節(jié)。平臺(tái)綜合安全態(tài)勢展示如圖6所示。

圖6 網(wǎng)絡(luò)安全的綜合安全態(tài)勢展示結(jié)果

從圖6中可以清晰地看到自然資源部信息系統(tǒng)所面臨的安全威脅,主要體現(xiàn)在6個(gè)維度:資產(chǎn)態(tài)勢、脆弱性態(tài)勢、網(wǎng)絡(luò)攻擊態(tài)勢、安全事件態(tài)勢、外連態(tài)勢和橫向威脅態(tài)勢。各類安全威脅依照系統(tǒng)設(shè)定的規(guī)則進(jìn)行等級(jí)和分值劃分。平臺(tái)整合分散在管轄范圍內(nèi)不同區(qū)域的各類網(wǎng)絡(luò)安全數(shù)據(jù),經(jīng)態(tài)勢感知算法和大數(shù)據(jù)分析生成可視化的監(jiān)測指標(biāo),展現(xiàn)在大屏上,并將預(yù)警信息實(shí)時(shí)推送至平臺(tái)管理員或運(yùn)維人員,協(xié)助本單位實(shí)時(shí)掌握全網(wǎng)安全態(tài)勢。當(dāng)鎖定產(chǎn)生安全事件的風(fēng)險(xiǎn)終端時(shí),平臺(tái)會(huì)進(jìn)行相應(yīng)的扣分,綜合評(píng)分會(huì)隨之降低并顯示告警。當(dāng)運(yùn)維人員及時(shí)處理安全事件后,綜合評(píng)分會(huì)相應(yīng)回升。

5 結(jié) 語

本文結(jié)合自然資源部對(duì)網(wǎng)絡(luò)安全態(tài)勢感知平臺(tái)的建設(shè)需求,分析了平臺(tái)建設(shè)所需要使用的關(guān)鍵技術(shù)。面向海量網(wǎng)絡(luò)安全日志數(shù)據(jù)集,提出一種基于MapReduce并行處理的Apriori算法,并通過實(shí)驗(yàn)仿真論證了該算法的適用性。設(shè)計(jì)并闡述了平臺(tái)建設(shè)的邏輯架構(gòu)。通過在外網(wǎng)各個(gè)關(guān)鍵區(qū)域節(jié)點(diǎn)旁路部署潛伏威脅探針的方式實(shí)現(xiàn)了平臺(tái)的安裝集成,形成了一套網(wǎng)絡(luò)安全管控解決方案。平臺(tái)運(yùn)營至今,積極維護(hù)了自然資源部的外網(wǎng)網(wǎng)絡(luò)安全,有效保障了信息系統(tǒng)的穩(wěn)定健康運(yùn)行?？紤]到外網(wǎng)網(wǎng)絡(luò)攻擊事件層出不窮,網(wǎng)絡(luò)安全日志數(shù)據(jù)集的實(shí)際體量會(huì)逐漸龐大,平臺(tái)的數(shù)據(jù)存儲(chǔ)和計(jì)算能力略顯不足,算法引擎的性能會(huì)受制于平臺(tái)服務(wù)器的計(jì)算資源配置,自然資源部在未來的工作中會(huì)加強(qiáng)平臺(tái)的規(guī)劃建設(shè),通過設(shè)備擴(kuò)容和配置升級(jí)來不斷完善平臺(tái)的防護(hù)能力,以更好應(yīng)對(duì)網(wǎng)絡(luò)威脅帶來的考驗(yàn)。