基于大數(shù)據(jù)的攻擊態(tài)勢感知技術(shù)研究與實現(xiàn)

余宏偉 高衛(wèi)華 黃國林

文章基于當(dāng)下網(wǎng)絡(luò)安全形勢及安全需求，從傳統(tǒng)網(wǎng)絡(luò)安全防護(hù)體系的不足和基于大數(shù)據(jù)技術(shù)的攻擊態(tài)勢感知分析優(yōu)勢兩個方面，對全網(wǎng)多源安全事件進(jìn)行關(guān)聯(lián)分析并研究，運(yùn)用數(shù)據(jù)挖掘、態(tài)勢分析等技術(shù)，建立一套集安全信息采集與存儲、集中處置與分析、態(tài)勢監(jiān)測與預(yù)測于一體的態(tài)勢感知平臺。該平臺整合全網(wǎng)環(huán)境內(nèi)管理類、用戶類、資產(chǎn)類等數(shù)據(jù)，經(jīng)統(tǒng)一匯聚存儲，利用智能分析技術(shù)，將多種安全日志、報警數(shù)據(jù)轉(zhuǎn)換成可視化的安全事件信息，解決了目前多個網(wǎng)絡(luò)安全系統(tǒng)之間無法形成有效的整體安全防護(hù)效果的問題。文章從多源安全數(shù)據(jù)的采集與處理、存儲、分析與展示三個層面對平臺的設(shè)計思路、技術(shù)要點和分析方法進(jìn)行闡述，并對平臺的實現(xiàn)情況進(jìn)行了說明。

經(jīng)過多年的信息化與網(wǎng)絡(luò)安全建設(shè)，各單位的信息系統(tǒng)發(fā)展日益復(fù)雜化且功能愈加強(qiáng)大，信息化建設(shè)日益復(fù)雜化且功能強(qiáng)大。但隨著網(wǎng)絡(luò)環(huán)境的不斷變化，面向業(yè)務(wù)和用戶數(shù)據(jù)的攻擊行為也在迅猛增加，并且朝著技術(shù)專業(yè)化、團(tuán)隊組織化、行動隱蔽化、攻擊分散化等特點發(fā)展，網(wǎng)絡(luò)空間安全面愈加嚴(yán)峻的威脅和挑戰(zhàn)。一方面攻擊面不斷增加，攻擊者可能會從一個業(yè)務(wù)系統(tǒng)的各組件進(jìn)行掃描，利用多弱點實施攻擊；另一方面攻擊的步驟逐漸復(fù)雜化，攻擊者進(jìn)行持續(xù)的滲透工作，進(jìn)而最終攻克用戶的核心業(yè)務(wù)系統(tǒng)或竊取核心數(shù)據(jù)。在這種背景下，雖然組織不斷完善安全防護(hù)體系，部署了防火墻、防病毒等各類防護(hù)設(shè)備，但無法掌握全網(wǎng)安全狀況，無法有效整合串聯(lián)所有的安全監(jiān)控資源及安全信息，無法將全網(wǎng)安全信息有效利用起來，形成全網(wǎng)統(tǒng)一監(jiān)測、集中分析、集中展示呈現(xiàn)的態(tài)勢感知機(jī)制。

為提高國家信息安全保障能力，2015年1月，公安部頒布了《關(guān)于加快推進(jìn)網(wǎng)絡(luò)與信息安全通報機(jī)制建設(shè)的通知》（公信安[2015]21號）文件。通知明確要求建立攻擊態(tài)勢感知監(jiān)測通報手段和信息通報預(yù)警及應(yīng)急處置體系，實現(xiàn)對重要網(wǎng)站和網(wǎng)上重要信息系統(tǒng)的安全監(jiān)測、網(wǎng)上計算機(jī)病毒木馬傳播監(jiān)測、通報預(yù)警、應(yīng)急處置、態(tài)勢分析、安全事件（事故）管理等功能，為開展相關(guān)工作提供技術(shù)保障。

《網(wǎng)絡(luò)安全法》明確了監(jiān)測預(yù)警與應(yīng)急處置措施，建立統(tǒng)一的檢測預(yù)警、信息通報和應(yīng)急處置制度和體系。因此加強(qiáng)和完善網(wǎng)絡(luò)安全監(jiān)測預(yù)警與主動防御的能力刻不容緩。

一、傳統(tǒng)網(wǎng)絡(luò)安全防護(hù)存在的問題

隨著互聯(lián)網(wǎng)以及周邊網(wǎng)絡(luò)安全產(chǎn)品的發(fā)展，信息安全越來越受到重視。組織無論是出于對自身利益的考慮，還是對于社會責(zé)任的考慮，都已開始構(gòu)建更為豐富的內(nèi)部安全體系。安全體系涵蓋了包括防火墻，IDS、WAF、抗DDOS等在內(nèi)的安全防護(hù)系統(tǒng)以及安全評估、安全加固等專業(yè)安全服務(wù)。但業(yè)務(wù)信息系統(tǒng)運(yùn)行依然面臨諸多安全威脅，主要安全問題為：

安全設(shè)備在過去幾年里積累了大量的歷史數(shù)據(jù)，但現(xiàn)有技術(shù)手段無法有效分析信息系統(tǒng)各設(shè)備和軟件的運(yùn)行或檢測數(shù)據(jù)，導(dǎo)致安全問題無法及時發(fā)現(xiàn)；無法預(yù)測安全風(fēng)險趨勢，導(dǎo)致無法及時調(diào)整安全策略。

過去的安全設(shè)備往往是針對某種特定威脅的，但隨著信息安全事件的不斷復(fù)雜化，孤立的安全措施很難適應(yīng)綜合的安全事件，無法從根本上解決這些問題。

無法了解當(dāng)前整個IT系統(tǒng)的整體運(yùn)行狀況和安全狀態(tài)。

傳統(tǒng)的安全發(fā)現(xiàn)大多反應(yīng)的是網(wǎng)絡(luò)和系統(tǒng)的可用性問題，無法有效發(fā)現(xiàn)由安全風(fēng)險引發(fā)的網(wǎng)絡(luò)和系統(tǒng)問題，

傳統(tǒng)的網(wǎng)絡(luò)安全防護(hù)機(jī)制是當(dāng)安全問題出現(xiàn)之后，才考慮如何去追溯，無法提前預(yù)測或在發(fā)現(xiàn)問題出現(xiàn)之前發(fā)現(xiàn)。

現(xiàn)有的安全措施很難保障組織對信息安全事件的響應(yīng)速度，無法達(dá)到業(yè)務(wù)連續(xù)性的要求。

二、基于大數(shù)據(jù)的攻擊態(tài)勢感知平臺設(shè)計

（一）基礎(chǔ)架構(gòu)設(shè)計

平臺依托于前沿大數(shù)據(jù)技術(shù)框架，整合E L K、Impala等大數(shù)據(jù)技術(shù)，形成基于大數(shù)據(jù)的攻擊態(tài)勢感知平臺。平臺從數(shù)據(jù)采集、數(shù)據(jù)存儲到態(tài)勢分析與功能呈現(xiàn)都應(yīng)用了大數(shù)據(jù)技術(shù)，以應(yīng)對海量安全信息數(shù)據(jù)的高速處理場景，并通過分析結(jié)果和可視化效果呈現(xiàn)全網(wǎng)的攻擊態(tài)勢感知。

平臺整個技術(shù)架構(gòu)分為3個層次：數(shù)據(jù)采集與處理層、數(shù)據(jù)存儲層、態(tài)勢分析與功能呈現(xiàn)層（如圖1）。下面圍繞系統(tǒng)設(shè)計、技術(shù)要點和實現(xiàn)方案對這三個層次進(jìn)行闡述。

數(shù)據(jù)采集與處理層：實現(xiàn)了對全網(wǎng)IT資源的資產(chǎn)信息、性能信息、日志與安全事件信息、弱點信息等安全信息的統(tǒng)一采集與匯聚功能。

數(shù)據(jù)存儲層：數(shù)據(jù)存儲采用MPP架構(gòu)數(shù)據(jù)倉庫來存儲加工處理后的日志數(shù)據(jù)，并將數(shù)據(jù)積累起來，實現(xiàn)海量安全大數(shù)據(jù)的分布式存儲，為上層態(tài)勢分析提供數(shù)據(jù)支撐。

態(tài)勢分析與功能呈現(xiàn)層：針對各類安全信息，實現(xiàn)失陷主機(jī)實時檢測與告警分析、攻擊鏈實時分析、用戶行為畫像分析、資產(chǎn)異常行為分析、時間軸組件分析等態(tài)勢分析能力，是系統(tǒng)的核心功能層。

（二）數(shù)據(jù)采集與處理

攻擊態(tài)勢感知平臺安全數(shù)據(jù)源主要指用戶環(huán)境內(nèi)各類IT資產(chǎn)信息、設(shè)備性能信息、日志與安全事件信息等各類原始安全數(shù)據(jù)。

采集與處理環(huán)節(jié)的主要原理是利用FileBeat、Logstash等方式收集個日志源的數(shù)據(jù)并發(fā)送到Kafka集群，通過Logstash等方式對日志進(jìn)行格式化處理并經(jīng)初步篩選后，將匯總數(shù)據(jù)寫入Elasticsearch。再利用Impala On Elasticsearch的前沿技術(shù)方案將非結(jié)構(gòu)化數(shù)據(jù)處理并轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)。

平臺通過Impala來讀取存儲在Elasticsearch中的數(shù)據(jù)并進(jìn)行查詢和實時展現(xiàn)。具體實現(xiàn)如圖2：