基于大數(shù)據(jù)對信息安全主動防御體系的探究

葉水勇，葉 菁，張 月，程曉潔，聶立莎，王文林，宋浩杰

（國網(wǎng)黃山供電公司，安徽 黃山 245000）

0 引言

“互聯(lián)網(wǎng)+”和計(jì)算機(jī)通信技術(shù)的迅速發(fā)展，電網(wǎng)系統(tǒng)各類運(yùn)行數(shù)據(jù)量急劇增長，計(jì)算機(jī)網(wǎng)絡(luò)的應(yīng)用越來越廣泛，其規(guī)模越來越龐大，信息網(wǎng)已從原有的小型企業(yè)內(nèi)部局域網(wǎng)逐步發(fā)展成為大型企業(yè)所特有的混合型網(wǎng)絡(luò)［1-2］。如何使用現(xiàn)有的網(wǎng)絡(luò)資源以滿足不同的業(yè)務(wù)系統(tǒng)傳輸，尤其對種類豐富、數(shù)據(jù)量龐大的數(shù)據(jù)實(shí)現(xiàn)統(tǒng)一采集、存儲、計(jì)算、分析成為亟需解決的問題。通過將市、縣廣域網(wǎng)平臺的互聯(lián)將實(shí)現(xiàn)資源的統(tǒng)一管理，建立信息設(shè)備臺賬基線數(shù)據(jù)庫，對交換機(jī)運(yùn)行狀態(tài)實(shí)現(xiàn)7×24 h監(jiān)控，最終實(shí)現(xiàn)信息安全事件事前預(yù)警、事中跟蹤、事后分析的主動防御。

1 主動防御體系的架構(gòu)設(shè)計(jì)

1.1 數(shù)據(jù)分析模型

通過研發(fā)基于大數(shù)據(jù)的網(wǎng)絡(luò)日志信息安全場景式分析工具，結(jié)合大數(shù)據(jù)特性，采用Hadoop架構(gòu)從數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)計(jì)算、數(shù)據(jù)整合與治理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)展示等方面進(jìn)行架構(gòu)設(shè)計(jì)，對終端、交換機(jī)、路由器、防火墻等信息設(shè)備的臺賬信息、日志信息、巡檢日報(bào)、告警信息進(jìn)行統(tǒng)一采集、存儲、分類、計(jì)算、建模。

數(shù)據(jù)采集與分析模型如圖1所示。通過數(shù)據(jù)建模促使信息從結(jié)構(gòu)化數(shù)據(jù)分析向多類型數(shù)據(jù)分析的轉(zhuǎn)變、從抽樣數(shù)據(jù)分析向全量數(shù)據(jù)分析的轉(zhuǎn)變，從小批量數(shù)據(jù)分析向海量數(shù)據(jù)分析的轉(zhuǎn)變，從單一應(yīng)用系統(tǒng)數(shù)據(jù)分析向多應(yīng)用系統(tǒng)數(shù)據(jù)分析的轉(zhuǎn)變，從準(zhǔn)實(shí)時(shí)數(shù)據(jù)分析向?qū)崟r(shí)數(shù)據(jù)分析的轉(zhuǎn)變，最終實(shí)現(xiàn)安全事件預(yù)判越來越及時(shí)、準(zhǔn)確，安全防御由被動防御向主動防御轉(zhuǎn)變［3］。

圖1 數(shù)據(jù)分析模型圖

1.2 基線數(shù)據(jù)庫構(gòu)成

信息設(shè)備臺賬基線數(shù)據(jù)庫構(gòu)成如圖2所示，臺賬是物理對象在業(yè)務(wù)系統(tǒng)中的抽象化表征，對于同一物理對象，不同業(yè)務(wù)系統(tǒng)根據(jù)需要，依據(jù)不同的數(shù)據(jù)模型存儲對象，但各業(yè)務(wù)系統(tǒng)在應(yīng)用過程中均會產(chǎn)生日志信息、運(yùn)行參數(shù)、告警信息等相似記錄［4-5］。依托數(shù)據(jù)分析模型來收集、匯總、整理、分析信息設(shè)備的相關(guān)數(shù)據(jù)，建立信息設(shè)備臺賬基線大數(shù)據(jù)庫，為設(shè)備規(guī)范化、專業(yè)化的管理實(shí)施提供數(shù)據(jù)支持。

圖2 信息設(shè)備臺賬基線數(shù)據(jù)庫構(gòu)成圖

2 主動防御體系的研發(fā)過程

2.1 信息設(shè)備臺賬基線數(shù)據(jù)庫的全生命周期管理

信息設(shè)備臺賬基線數(shù)據(jù)庫基于多個(gè)應(yīng)用系統(tǒng)數(shù)據(jù)庫，在利用數(shù)據(jù)價(jià)值的同時(shí)，充分考慮到信息設(shè)備基礎(chǔ)設(shè)施的脆弱性以及面臨的信息泄露和惡意攻擊等信息安全方面的問題［6-7］。信息設(shè)備全壽命周期閉環(huán)流程如圖3所示。

2.1.1 信息設(shè)備臺賬基線數(shù)據(jù)庫建設(shè)

加快信息設(shè)備臺賬基線數(shù)據(jù)庫建設(shè)，力爭形成完整準(zhǔn)確的信息設(shè)備臺賬基線數(shù)據(jù)庫清單，為信息設(shè)備規(guī)范化、專業(yè)化管理的實(shí)施提供數(shù)據(jù)支持。具體措施如下：

1）通過網(wǎng)絡(luò)地址資源的分配使用情況跟蹤信息設(shè)備臺賬。

2）定期收集、匯總、整理、分析信息設(shè)備的相關(guān)數(shù)據(jù)，建立地市公司網(wǎng)絡(luò)地址資源池。

3）重點(diǎn)依據(jù)一體化運(yùn)行監(jiān)測工具中的IP地址為源頭對I6000、VRV、ERP中的信息設(shè)備進(jìn)行全面清理，補(bǔ)全漏錄的臺賬，糾正錯(cuò)誤的臺賬。

圖3 信息設(shè)備全壽命周期閉環(huán)流程

2.1.2 完善信息設(shè)備臺賬基線數(shù)據(jù)庫內(nèi)容

將設(shè)備名稱、設(shè)備狀態(tài)、運(yùn)行參數(shù)、數(shù)據(jù)包、網(wǎng)絡(luò)流量、漏洞信息、時(shí)間序列數(shù)據(jù)、各種日志文件的數(shù)據(jù)整合到一起，匯總成信息設(shè)備臺賬基線庫，相互搭配進(jìn)行可視化展示能夠從多個(gè)角度來全面準(zhǔn)確地監(jiān)測分析一個(gè)網(wǎng)絡(luò)事件，并且很好地體現(xiàn)當(dāng)前網(wǎng)絡(luò)及設(shè)備的數(shù)據(jù)傳輸、網(wǎng)絡(luò)流量來源及流動方向、受到的攻擊類型等安全情況。

2.2 交換機(jī)在線監(jiān)測與預(yù)警

2.2.1 交換機(jī)運(yùn)行狀態(tài)智能巡檢

1）巡檢日報(bào)。將交換機(jī)關(guān)鍵運(yùn)行參數(shù)、配置文件自動化采集的同時(shí)以巡檢日報(bào)的方式呈現(xiàn)給用戶。根據(jù)業(yè)務(wù)需求，巡檢日報(bào)可以添加或刪除監(jiān)控項(xiàng)目，依據(jù)實(shí)際情況，設(shè)置監(jiān)控項(xiàng)目的限值；按照監(jiān)控項(xiàng)目的緊急程度，設(shè)置項(xiàng)目的監(jiān)控級別。

2）巡檢內(nèi)容。巡檢內(nèi)容包含交換機(jī)的內(nèi)存、CPU、流量等主要關(guān)鍵指標(biāo)。將ARP地址表、端口配置、端口流量、日志配置、VLAN配置等信息采集后上傳至信息設(shè)備臺賬基線數(shù)據(jù)庫。

2.2.2 交換機(jī)監(jiān)控告警

對交換機(jī)運(yùn)行狀態(tài)進(jìn)行監(jiān)控，尤其記錄發(fā)生故障的交換機(jī)告警時(shí)間，IP地址，告警內(nèi)容以及恢復(fù)時(shí)間。

3 主要實(shí)施方法

3.1 海量數(shù)據(jù)的整合與處理

基于市縣一體化的信息本質(zhì)安全主動防御體系建設(shè)與實(shí)施是建立在信息設(shè)備臺賬基線數(shù)據(jù)庫基礎(chǔ)上，而信息設(shè)備臺賬基線庫建立在設(shè)備資產(chǎn)庫、設(shè)備運(yùn)行狀態(tài)庫、設(shè)備存儲庫和設(shè)備三維數(shù)據(jù)庫的數(shù)據(jù)之上。通過將不同數(shù)據(jù)源產(chǎn)生的不同類型的數(shù)據(jù)和日志，進(jìn)行采集、分類、比對、分析，最終數(shù)據(jù)以圖形化的方式進(jìn)行展示［8-9］。

3.1.1 數(shù)據(jù)來源

數(shù)據(jù)的來源決定了數(shù)據(jù)價(jià)值。設(shè)備信息、數(shù)據(jù)包信息、運(yùn)行狀態(tài)信息、漏洞信息等安全數(shù)據(jù)均具有較高分析和可視化價(jià)值，在海量數(shù)據(jù)信息中找到有價(jià)值的信息進(jìn)行可視化分析能夠幫助網(wǎng)絡(luò)安全分析人員發(fā)現(xiàn)網(wǎng)絡(luò)中更多未知的威脅，更好地維護(hù)網(wǎng)絡(luò)及基礎(chǔ)設(shè)施的安全。

如表1所示，針對設(shè)備資產(chǎn)庫、設(shè)備運(yùn)行狀態(tài)庫、設(shè)備存儲庫和設(shè)備三維數(shù)據(jù)庫收集來的不同安全數(shù)據(jù)信息進(jìn)行分類。匯總整理后融入信息設(shè)備臺賬基線數(shù)據(jù)庫中。

表1 來自不同數(shù)據(jù)源的安全數(shù)據(jù)

3.1.2 數(shù)據(jù)特點(diǎn)

信息設(shè)備臺賬基線數(shù)據(jù)庫是基于Hadoop技術(shù)的Hbase數(shù)據(jù)庫，該數(shù)據(jù)庫中的安全數(shù)據(jù)有以下5 V特征：

1）Value，即蘊(yùn)含的價(jià)值高。從數(shù)據(jù)規(guī)模上來看，數(shù)據(jù)總量越大，所蘊(yùn)含的價(jià)值總量也是相當(dāng)可觀的。如分析工具研制與應(yīng)用系統(tǒng)中的數(shù)據(jù)包信息、用戶信息、交換機(jī)信息等安全數(shù)據(jù)。

2）Velocity，即處理速度快。隨著信息設(shè)備臺賬基線數(shù)據(jù)庫規(guī)模的擴(kuò)大，網(wǎng)絡(luò)安全監(jiān)測對時(shí)間的即時(shí)性需求越顯重要，而安全事件的產(chǎn)生以及原因是具有時(shí)間跨度的，因此需要將可視化中帶有時(shí)間序列的動態(tài)數(shù)據(jù)流作為可視化輸入來幫助安全分析人員識別可疑的事件及行為。

3）Volume，即數(shù)據(jù)量大。設(shè)備資產(chǎn)庫、設(shè)備運(yùn)行狀態(tài)庫、設(shè)備存儲庫和設(shè)備三維數(shù)據(jù)庫中所有數(shù)據(jù)信息匯總后將是一個(gè)龐大的數(shù)量級。

4）Vast，即數(shù)據(jù)范圍廣泛。即各類數(shù)據(jù)集合的分類與可視化能夠幫助網(wǎng)絡(luò)分析員從類型上了解數(shù)據(jù)的路徑變化從而識別網(wǎng)絡(luò)中的異常行為。

5）Variety，即數(shù)據(jù)類型眾多。隨著各類安全設(shè)備的使用，會產(chǎn)生防火墻、入侵檢測、主機(jī)安全以及垃圾郵件等各種類型的日志數(shù)據(jù)，而安全事件與攻擊行為產(chǎn)生的痕跡將會以各種日志的形式記錄在不同的安全設(shè)備上，對日志文件關(guān)聯(lián)融合分析以及可視化能夠幫助網(wǎng)絡(luò)安全分析人員找出安全事件間關(guān)聯(lián)，快速識別網(wǎng)絡(luò)異常并發(fā)現(xiàn)不同的網(wǎng)絡(luò)攻擊模式。

3.1.3 數(shù)據(jù)采集

利用大數(shù)據(jù)組件Flume-NG提供的syslog agent、文件agent等多種方式實(shí)現(xiàn)信息設(shè)備運(yùn)行參數(shù)、運(yùn)行狀態(tài)、日志以及各支撐系統(tǒng)告警信息的實(shí)時(shí)采集［10］。如圖4所示，以交換機(jī)和服務(wù)器日志為例，采用syslog和Agent兩種采集方式，將最近一個(gè)月以內(nèi)的日志數(shù)據(jù)發(fā)送到服務(wù)器端，服務(wù)器端的組件flume對日志數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。

圖4 數(shù)據(jù)采集流程圖

原始日志中包含了豐富的安全事件信息，在保證信息真實(shí)可靠、來源廣泛的基礎(chǔ)上，對日志進(jìn)行整理分類、甄別取舍以格式化輸出。

3.1.4 數(shù)據(jù)比對

當(dāng)信息設(shè)備物理對象的部分特征發(fā)生變化時(shí)，臺賬基線數(shù)據(jù)庫內(nèi)的數(shù)據(jù)應(yīng)及時(shí)調(diào)整，否則數(shù)據(jù)庫信息與物理對象實(shí)際參數(shù)會產(chǎn)生偏差，在融合比對多應(yīng)用系統(tǒng)數(shù)據(jù)庫表數(shù)據(jù)、日志的基礎(chǔ)上，定期開展信息設(shè)備臺賬基線數(shù)據(jù)庫無效數(shù)據(jù)的清理和整治工作［11-12］。

運(yùn)用大數(shù)據(jù)技術(shù)，結(jié)合信息設(shè)備臺賬基線數(shù)據(jù)庫，著重比對IP、MAC等信息。現(xiàn)將比對內(nèi)容和流程作如下說明：

1）使用python服務(wù)程序采集信息設(shè)備資產(chǎn)庫中所有信息設(shè)備的IP信息，并以TXT文檔的格式存儲，通過flume采集TXT文檔數(shù)據(jù)，并存儲到基于hadoop的信息設(shè)備臺賬基線數(shù)據(jù)庫中的IpInfoAddress表。

2）服務(wù)程序通過Hive，定期取出表 IpVRV KnowAddress中的VRVIP字段，將單條數(shù)據(jù)與表IpYTHKnowAddress中的TYHIP列數(shù)據(jù)逐條進(jìn)行比較。如果兩者相同則將該數(shù)據(jù)存放于信息設(shè)備臺賬基線數(shù)據(jù)庫中的IpBindedInfo表中。若不相同，則繼續(xù)與IpInfoAddress表中的IP列數(shù)據(jù)逐條比較。若存在，則不做任何處理，若不存在，則添加該數(shù)據(jù)到UnknowIpInfo表（未知信息設(shè)備）中。

3）使用python服務(wù)程序采集信息設(shè)備三維資源庫中信息終端的IP信息，并以TXT文檔的格式存儲，通過flume采集TXT文檔數(shù)據(jù)，并存儲到基于hadoop的信息設(shè)備臺賬基線數(shù)據(jù)庫中的IpYTHKnowAddress表。

4）使用python服務(wù)程序采集信息設(shè)備運(yùn)行狀態(tài)庫中信息終端的IP信息，并以TXT文檔的格式存儲，通過flume采集TXT文檔數(shù)據(jù)，并存儲到基于hadoop的信息設(shè)備臺賬基線數(shù)據(jù)庫中的IpVRVKnowAddress表。

3.1.5 數(shù)據(jù)分析

該主動防御體系支持基于關(guān)系查詢的日志存儲方式以及安全設(shè)備日志的集中存儲，且提供高效的統(tǒng)計(jì)查詢分析功能，具體如下：

1）支持以圖形化的方式展示一段時(shí)間內(nèi)聚合集合的變化趨勢。

2）能夠根據(jù)時(shí)間段、設(shè)備、日志等級及關(guān)鍵字等進(jìn)行過濾查詢及日志導(dǎo)出。

3）能夠根據(jù)時(shí)間段、設(shè)備及關(guān)鍵字等同一類日志進(jìn)行聚合查詢并給出聚合查詢結(jié)果，結(jié)果包含聚合日志的起始時(shí)間、結(jié)束時(shí)間及聚合條數(shù)。

以日志分析為例，對關(guān)鍵字進(jìn)行二次查詢搜索并以列表和圖形化顯示，可以直觀地提醒安全管理人員在第一時(shí)間內(nèi)對暴力登錄、惡意攻擊等事件進(jìn)行響應(yīng)，做到積極主動防御。

3.1.6 數(shù)據(jù)展示

數(shù)據(jù)是可視化的根源，沒有數(shù)據(jù)就沒有可視化界面和分析工具［13-14］。該主動防御體系重點(diǎn)為疑似暴力登錄、惡意攻擊的未知設(shè)備進(jìn)行實(shí)時(shí)監(jiān)控、告警。

1）查看任意時(shí)間段未知設(shè)備的詳細(xì)信息。詳細(xì)信息主要包含交換機(jī)名稱，未知設(shè)備IP和Mac，以及掃描時(shí)間。

2）以日歷的形式展示了每天未知設(shè)備的數(shù)量，黃色表示有未知設(shè)備，反之就沒有。點(diǎn)擊黃色圖標(biāo)，能夠顯示紅色數(shù)字，此數(shù)字表示未知設(shè)備的數(shù)量。

3）按天展示UnknowIpInfo表中未知網(wǎng)絡(luò)設(shè)備的數(shù)量、變化趨勢以及詳情信息。

3.2 暴力登錄分析

利用采集到的交換機(jī)日志信息，通過編寫服務(wù)程序?qū)崟r(shí)分析日志數(shù)據(jù)中存在的可能性的暴力登陸行為。分析日志數(shù)據(jù)中5 min內(nèi)連續(xù)30次網(wǎng)絡(luò)設(shè)備錯(cuò)誤登陸為網(wǎng)絡(luò)設(shè)備暴力登陸事件并由此形成暴力登陸事件趨勢圖，展示在Web界面供用戶分析查看。

3.2.1 事件判斷

日志分析服務(wù)程序定期不間斷地通過輪巡服務(wù)對已采集到的日志數(shù)據(jù)進(jìn)行關(guān)鍵字分析，判斷是否含有符合事件標(biāo)準(zhǔn)的信息設(shè)備暴力登陸事件。并將分析后符合標(biāo)準(zhǔn)的日志事件數(shù)據(jù)及時(shí)存入信息設(shè)備臺賬基線數(shù)據(jù)庫的暴力登陸事件表中［15］。

3.2.2 效果展示

暴力登錄事件趨勢圖展示分為圖形展示和列表數(shù)據(jù)展示，并可以通過拖拽時(shí)間軸的方式實(shí)現(xiàn)按時(shí)間查詢。通過點(diǎn)擊暴力登錄次數(shù)，實(shí)現(xiàn)查看詳細(xì)的暴力登陸信息。

1）對于小于1天按時(shí)查詢數(shù)據(jù)，并且可以通過點(diǎn)擊節(jié)點(diǎn)進(jìn)行更詳細(xì)的信息查詢。

2）超過1個(gè)月，小于6個(gè)月的情況下自動按周統(tǒng)計(jì)暴力登錄趨勢圖。

3）對于時(shí)間跨度較大的情況下，程序自動實(shí)現(xiàn)超過6個(gè)月按月顯示暴力登錄趨勢圖。

4）小于1個(gè)月的情況下，按天分別統(tǒng)計(jì)暴力登錄事件。

4 結(jié)束語

公司通過構(gòu)建信息設(shè)備資產(chǎn)庫、信息設(shè)備運(yùn)行狀態(tài)庫、信息設(shè)備存儲庫、信息設(shè)備三維資源庫等四大信息設(shè)備大數(shù)據(jù)庫，實(shí)現(xiàn)快速定位海量數(shù)據(jù)中核心日志信息和暴力登錄分析的專業(yè)化管理；不斷完善交換機(jī)智能巡檢、突發(fā)事件應(yīng)急處理的規(guī)范化管理，構(gòu)建市縣一體化的主動防御體系，為公司信息化建設(shè)提供安全、可靠、高效的技術(shù)保障。