基于大數(shù)據(jù)和人工智能技術(shù)的信息安全態(tài)勢感知系統(tǒng)研究

◆王海濤

?

基于大數(shù)據(jù)和人工智能技術(shù)的信息安全態(tài)勢感知系統(tǒng)研究

◆王海濤

（中國電力建設(shè)股份有限公司信息化管理部 北京 100048）

企業(yè)面臨的信息安全威脅呈高速增長趨勢，同時(shí)安全攻擊的技術(shù)也呈多樣化并高水平化發(fā)展，企業(yè)必須采用更有效的手段和措施將這些威脅完整并全面的展現(xiàn)出來，為管理層和技術(shù)人員快速處置以及溯源提供技術(shù)支撐。為此，必須研究并建立信息安全態(tài)勢感知系統(tǒng)。本文首先分析了企業(yè)目前在信息安全態(tài)勢感知方面的不足，然后利用大數(shù)據(jù)技術(shù)、人工智能算法、威脅情報(bào)技術(shù)等，研究企業(yè)級信息安全態(tài)勢感知系統(tǒng)的建設(shè)，提出了信息安全態(tài)勢感知系統(tǒng)的模型、架構(gòu)以及具體的實(shí)現(xiàn)方式等。通過該系統(tǒng)的設(shè)計(jì)和部署，能夠在企業(yè)中實(shí)現(xiàn)信息安全威脅的有效發(fā)現(xiàn)、威脅感知、風(fēng)險(xiǎn)判定以及威脅溯源，全面提高企業(yè)應(yīng)對安全威脅和安全攻擊的檢測能力，為安全事件處置提供有效的技術(shù)支撐。

大數(shù)據(jù)；人工智能；態(tài)勢感知；威脅情報(bào)

0 引言

近年來，具備國家和組織背景的網(wǎng)絡(luò)攻擊日益增多，政府、軍隊(duì)、金融、大型企業(yè)等所處的特殊角色，經(jīng)常會面臨更多的來自外部的攻擊威脅。例如：攻擊伊朗布什爾核電站的“震網(wǎng)病毒”，針對Google郵件服務(wù)器的“極光攻擊”，針對烏克蘭電網(wǎng)的“BlackEnergy”攻擊等。雖然企業(yè)的信息安全人員已經(jīng)在網(wǎng)絡(luò)中部署了大量的安全設(shè)備，但仍然會有部分攻擊繞過所有的防護(hù)措施直達(dá)企業(yè)內(nèi)部，導(dǎo)致重要數(shù)據(jù)資產(chǎn)的泄露、損壞或篡改。因此，需要通過技術(shù)手段及時(shí)發(fā)現(xiàn)潛藏在網(wǎng)絡(luò)中的安全威脅，盡早的快速發(fā)現(xiàn)威脅中的惡意行為，并對受害目標(biāo)以及攻擊源頭進(jìn)行精準(zhǔn)定位，對入侵途徑以及攻擊者背景進(jìn)行研判與溯源，從而從源頭上解決企業(yè)網(wǎng)絡(luò)中的安全威脅，盡可能地減少安全威脅給企業(yè)帶來的損失。

1 企業(yè)在信息安全態(tài)勢感知方面面臨的挑戰(zhàn)

多年以來，企業(yè)的信息安全一直處于“防御－發(fā)現(xiàn)－修復(fù)”的被動循環(huán)中，通常的做法是通過滲透測試或者風(fēng)險(xiǎn)評估盡可能早地發(fā)現(xiàn)網(wǎng)絡(luò)和信息系統(tǒng)中存在的漏洞或者風(fēng)險(xiǎn)，及時(shí)進(jìn)行修復(fù)，同時(shí)當(dāng)發(fā)現(xiàn)攻擊行為時(shí)，通過分析相關(guān)的安全設(shè)備日志、網(wǎng)絡(luò)流量確定攻擊行為并盡快阻斷攻擊。在這種被動防御的infosec生命周期中(圖1)，絕大多數(shù)企業(yè)都將95％的精力放在防御上，5％的精力放在了發(fā)現(xiàn)攻擊上，而修復(fù)基本上一是依托于產(chǎn)品/設(shè)備的原廠商發(fā)布補(bǔ)丁進(jìn)行被動的修復(fù)，二是不斷優(yōu)化完善防御策略，提高防御的能力。

圖1 Infosec生命周期

隨著企業(yè)信息安全建設(shè)的不斷深入，信息安全的防御手段也在逐步增強(qiáng)，大部分企業(yè)都建設(shè)了終端管理、網(wǎng)絡(luò)殺毒、訪問控制、安全審計(jì)、漏洞發(fā)現(xiàn)等安全系統(tǒng)，在一定程度上保障了業(yè)務(wù)的安全運(yùn)行，但各系統(tǒng)各自為政、互相獨(dú)立，無法做到統(tǒng)一管理、統(tǒng)一預(yù)警、統(tǒng)一追查并溯源。另一方面，由于大型企業(yè)的網(wǎng)絡(luò)規(guī)模龐大，存在大量不同格式的日志，如Syslog日志、Web服務(wù)日志、防火墻日志、Netflow日志等，這些日志來源于各個(gè)業(yè)務(wù)系統(tǒng)服務(wù)器以及眾多的安全設(shè)備、網(wǎng)絡(luò)設(shè)備，分布甚廣、數(shù)量巨大，這些日志數(shù)據(jù)往往沒有進(jìn)行有效管理和充分利用，不能夠充分發(fā)揮日志的分析作用，尤其是沒有對所有日志進(jìn)行高速采集、歸一化存儲、關(guān)聯(lián)性分析。近年來，技術(shù)越進(jìn)步、越先進(jìn)，企業(yè)網(wǎng)絡(luò)面臨的攻擊就越多。而且新技術(shù)的不斷應(yīng)用，導(dǎo)致攻擊的手段和方式也越來越隱蔽、越來越不易發(fā)現(xiàn)。高級持續(xù)性威脅（Advanced Persistent Threat，APT）便是一種可以繞過各種傳統(tǒng)安全檢測防護(hù)措施，通過精心偽裝、長期潛伏、持續(xù)滲透，從而實(shí)現(xiàn)定點(diǎn)攻擊的復(fù)雜、隱蔽的攻擊手段。

圖2的上半部分是Verizo數(shù)據(jù)泄露報(bào)告中有關(guān)企業(yè)網(wǎng)絡(luò)遭受惡意攻擊導(dǎo)致數(shù)據(jù)丟失甚至系統(tǒng)癱瘓的時(shí)間分布表，下半部分是企業(yè)發(fā)現(xiàn)攻擊并修復(fù)漏洞、恢復(fù)系統(tǒng)運(yùn)行所需要的時(shí)間對比表，從圖中可以看出，目前攻擊能夠在幾分鐘、幾個(gè)小時(shí)內(nèi)就導(dǎo)致企業(yè)數(shù)據(jù)的外泄甚至系統(tǒng)癱瘓，而企業(yè)要發(fā)現(xiàn)這些攻擊并有效阻止這些攻擊則需要數(shù)周、甚至數(shù)月的時(shí)間。這就讓企業(yè)的網(wǎng)絡(luò)、系統(tǒng)、數(shù)據(jù)長時(shí)間處于危險(xiǎn)狀態(tài)，而且舊的漏洞被修復(fù)后，攻擊者又會發(fā)現(xiàn)并利用新的漏洞，導(dǎo)致信息安全人員疲于應(yīng)付。

圖2 Verizo數(shù)據(jù)泄露報(bào)告

2 系統(tǒng)總體設(shè)計(jì)

為應(yīng)對企業(yè)面臨的各種信息安全威脅，中國電建啟動了信息安全態(tài)勢感知系統(tǒng)的研究，經(jīng)過大量的調(diào)研與論證，最終確定下來系統(tǒng)的總體模型如圖3所示。其核心思想是結(jié)合企業(yè)內(nèi)網(wǎng)安全數(shù)據(jù)以及互聯(lián)網(wǎng)安全數(shù)據(jù)，對企業(yè)內(nèi)部的信息安全威脅進(jìn)行綜合的威脅評估和風(fēng)險(xiǎn)分析，從而全面感知企業(yè)所面臨的威脅，最大限度的掌握企業(yè)的整體安全態(tài)勢。企業(yè)內(nèi)網(wǎng)的安全數(shù)據(jù)源主要包括安全設(shè)備告警、設(shè)備日志（網(wǎng)絡(luò)設(shè)備、服務(wù)器、應(yīng)用等）、內(nèi)網(wǎng)安全評估數(shù)據(jù)、網(wǎng)絡(luò)重要區(qū)域邊界的網(wǎng)絡(luò)流量數(shù)據(jù)等。外網(wǎng)安全數(shù)據(jù)源主要包括來自互聯(lián)網(wǎng)的商業(yè)及開源威脅情報(bào)數(shù)據(jù)、互聯(lián)網(wǎng)安全輿情和漏洞監(jiān)測數(shù)據(jù)等。安全態(tài)勢感知系統(tǒng)將內(nèi)、外部安全數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，判定安全攻擊并進(jìn)行驗(yàn)證，同時(shí)結(jié)合資產(chǎn)脆弱性等維度，利用風(fēng)險(xiǎn)評估模型進(jìn)行綜合風(fēng)險(xiǎn)評估，最后將風(fēng)險(xiǎn)評估結(jié)果送至威脅態(tài)勢展現(xiàn)模塊進(jìn)行展現(xiàn)。針對高級持續(xù)性攻擊（APT），主要依靠大數(shù)據(jù)的威脅情報(bào)，通過對企業(yè)內(nèi)網(wǎng)中存儲的歷史數(shù)據(jù)進(jìn)行檢索，從而發(fā)現(xiàn)內(nèi)網(wǎng)中可能存在的未知威脅，并將發(fā)現(xiàn)的APT攻擊事件直觀展現(xiàn)在態(tài)勢展現(xiàn)模塊。

圖3信息安全態(tài)勢感知系統(tǒng)模型圖

要實(shí)現(xiàn)以上功能，我們設(shè)計(jì)出信息安全態(tài)勢感知系統(tǒng)的結(jié)構(gòu)框架如圖4所示。系統(tǒng)整體設(shè)計(jì)成五層分布式體系架構(gòu)，分為數(shù)據(jù)采集層、預(yù)處理層、存儲層、大數(shù)據(jù)分析層和態(tài)勢展現(xiàn)層。從系統(tǒng)架構(gòu)上說，主要分為兩大部分，一部分通過采集各種安全設(shè)備、監(jiān)控系統(tǒng)的報(bào)警信號，及時(shí)發(fā)現(xiàn)系統(tǒng)中的信息安全事件，被動對威脅進(jìn)行感知；另一部分對采集的環(huán)境數(shù)據(jù)、配置數(shù)據(jù)、行為數(shù)據(jù)、協(xié)議解析數(shù)據(jù)等進(jìn)行智能的關(guān)聯(lián)分析，發(fā)現(xiàn)、預(yù)警潛在的信息安全事件，甚至對事件背后的組織背景、影響范圍、破壞能力等進(jìn)行評估，主動對威脅進(jìn)行感知。系統(tǒng)核心組件包括大數(shù)據(jù)采集探針（日志、流量）、云端數(shù)據(jù)采集、分布式實(shí)時(shí)計(jì)算系統(tǒng)、復(fù)雜事件處理引擎、分布式全文搜索引擎等。

圖4信息安全態(tài)勢感知系統(tǒng)結(jié)構(gòu)框架圖

3 系統(tǒng)核心平臺設(shè)計(jì)

信息安全態(tài)勢感知系統(tǒng)的工作原理就是要通過大數(shù)據(jù)對相關(guān)的信息安全態(tài)勢進(jìn)行分析、感知，因此必須對海量的大數(shù)據(jù)進(jìn)行高效的存儲、計(jì)算、關(guān)聯(lián)分析、檢索等。為此我們構(gòu)建了一個(gè)以分布式存儲為基礎(chǔ)，采用大數(shù)據(jù)處理技術(shù)，能夠進(jìn)行分布式計(jì)算的核心平臺，該平臺的核心技術(shù)主要包括：

（1）Hadoop Distributed File System（HDFS），我們采用Hadoop分布式文件系統(tǒng)作為系統(tǒng)的文件系統(tǒng)，HDFS文件系統(tǒng)具備高容錯性的特點(diǎn)，并且可以部署在價(jià)格低廉的PC服務(wù)器上，HDFS放寬了對POSIX的要求，這樣便可以實(shí)現(xiàn)以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)，另一方面，HDFS還支持大規(guī)模集群部署，這樣便可以通過無限擴(kuò)容節(jié)點(diǎn)解決高吞吐量并發(fā)訪問數(shù)據(jù)的需求。

圖5 HDFS分布式文件系統(tǒng)

（2）HBase--Hadoop Database，我們采用運(yùn)行在HDFS上的NoSQL數(shù)據(jù)庫——HBase作為系統(tǒng)的數(shù)據(jù)庫，HBase具有高可靠性、高性能、面向列、可伸縮的特點(diǎn)。HBase是一個(gè)非關(guān)系型數(shù)據(jù)庫，它通過一個(gè)四維數(shù)據(jù)模型來定義數(shù)據(jù)：

①行鍵：每行都有唯一的行鍵，行鍵沒有數(shù)據(jù)類型，行鍵是一個(gè)字節(jié)數(shù)組。

②列簇：數(shù)據(jù)在行中被組織成列簇，每行有相同的列簇，但是在行之間，相同的列簇不需要有相同的列修飾符，在數(shù)據(jù)庫引擎中，HBase將列簇存儲在它自己的數(shù)據(jù)文件中，它們事先被定義好。

③列修飾符：列簇定義真實(shí)的列，被稱之為列修飾符，列修飾符就是列本身。

④版本：每列都可以有多個(gè)可配置的版本，HBase通過列修飾符指定的版本來獲取數(shù)據(jù)。

圖6 HBase分布式數(shù)據(jù)庫

HBase這種基于列、而不是基于行的數(shù)據(jù)定義、存儲、使用模式，非常適合動態(tài)增加數(shù)據(jù)的屬性，通過HBase，可以創(chuàng)建一張很大的表，而這個(gè)表的屬性可以根據(jù)需求去動態(tài)增加，特別適合非結(jié)構(gòu)化數(shù)據(jù)的處理。

（3）MapReduce分布式計(jì)算平臺，我們構(gòu)建了一個(gè)基于MapReduce計(jì)算模型的、適用于大規(guī)模數(shù)據(jù)集并行運(yùn)算的分布式計(jì)算平臺MapReduce。MapReduce的核心思想就是利用“Map（映射）”以及“Reduce（化簡）”的思想，對現(xiàn)有的軟件系統(tǒng)進(jìn)行改造，通過將現(xiàn)有軟件系統(tǒng)中的計(jì)算功能指定給一個(gè)Map函數(shù)，用來把一組“鍵值對”映射成一組新的“鍵值對”，并指定并發(fā)的Reduce函數(shù)，從而保證所有映射的“鍵值對”中，每一個(gè)共享相同“鍵值對”的函數(shù)能夠進(jìn)行協(xié)調(diào)的并行計(jì)算，這樣便極大地方便了不會分布式并行編程的程序員，能夠以最小化修改代碼的方式將傳統(tǒng)的程序重新運(yùn)行在分布式系統(tǒng)上。

圖7 MapReduce計(jì)算模型

4 系統(tǒng)關(guān)鍵技術(shù)研究

4.1數(shù)據(jù)采集

系統(tǒng)需要采集的數(shù)據(jù)源包括：網(wǎng)絡(luò)流量鏡像數(shù)據(jù)、日志數(shù)據(jù)、安全情報(bào)及支持?jǐn)?shù)據(jù)等。其中，日志數(shù)據(jù)相對比較規(guī)范，只需對相關(guān)設(shè)備、服務(wù)器的日志進(jìn)行配置，便可以導(dǎo)出Syslog日志、Web服務(wù)日志、防火墻日志、Netflow日志等。安全情報(bào)及支持?jǐn)?shù)據(jù)目前還沒有統(tǒng)一的標(biāo)準(zhǔn)，我們將安全情報(bào)數(shù)據(jù)歸一化為系統(tǒng)能夠識別、利用的情報(bào)數(shù)據(jù)，同時(shí)通過同步云服務(wù)器或升級包的方式對情報(bào)庫進(jìn)行定期更新，將各類情報(bào)及支持?jǐn)?shù)據(jù)存儲在系統(tǒng)中，供系統(tǒng)處理及分析時(shí)使用。

系統(tǒng)平臺數(shù)據(jù)采集的難點(diǎn)是網(wǎng)絡(luò)流量鏡像數(shù)據(jù)的采集和處理，由于大型企業(yè)、尤其是大型數(shù)據(jù)中心的網(wǎng)絡(luò)流量巨大、采集點(diǎn)多，因此采集探針必須具有良好的容錯和擴(kuò)展性，并且必須具有大數(shù)據(jù)量采集的能力。系統(tǒng)對原始鏡像流量進(jìn)行預(yù)處理，使用多核并行化處理手段對大流量的網(wǎng)絡(luò)原始數(shù)據(jù)進(jìn)行解析、還原、分析等工作，然后形成統(tǒng)一的流量日志格式上傳到大數(shù)據(jù)平臺進(jìn)行保存。流量采集探針的架構(gòu)圖如下圖8所示：

圖8流量采集架構(gòu)圖

流量采集探針主要分為兩個(gè)模塊，基礎(chǔ)流量處理模塊負(fù)責(zé)對原始流量進(jìn)行預(yù)處理，包含基本的包重組和流量重組，并且能夠解析流量的傳輸層及網(wǎng)絡(luò)層信息；高層協(xié)議處理模塊又分為異常行為發(fā)現(xiàn)、協(xié)議解析和消息傳輸?shù)饶K，其中協(xié)議解析模塊負(fù)責(zé)對應(yīng)用層協(xié)議進(jìn)行深度解析，分析HTTP、DNS、SMTP等應(yīng)用層協(xié)議的信息，并提取關(guān)鍵信息輸送到消息傳輸模塊，同時(shí)對HTTP、SMTP等協(xié)議中包含的文件進(jìn)行還原，并將還原后的信息發(fā)送到大數(shù)據(jù)平臺進(jìn)行保存；異常行為發(fā)現(xiàn)模塊對流量中可能存在的蠕蟲、端口掃描、木馬等行為進(jìn)行發(fā)現(xiàn)，所有信息都通過消息傳輸模塊進(jìn)行標(biāo)準(zhǔn)化處理，然后發(fā)送到大數(shù)據(jù)平臺進(jìn)行存儲。

經(jīng)過不斷的測試和優(yōu)化，我們通過萬兆網(wǎng)絡(luò)以及IPv4/IPv6網(wǎng)絡(luò)環(huán)境下數(shù)據(jù)還原技術(shù)最終實(shí)現(xiàn)了網(wǎng)絡(luò)全流量的實(shí)時(shí)采集和處理，該技術(shù)主要采用分光器鏡像或者網(wǎng)絡(luò)端口鏡像技術(shù)，將網(wǎng)絡(luò)中的流量導(dǎo)出，然后輸入到分析平臺進(jìn)行相關(guān)分析。流量還原和數(shù)據(jù)分析可以在IPv4/IPv6網(wǎng)絡(luò)環(huán)境下，對HTTP、SMTP/POP3等主流協(xié)議進(jìn)行高性能分析，并通過碎片文件偵測和P2SP重組，還原主流P2SP軟件傳輸?shù)奈募?/p>

（1）端口匹配：在網(wǎng)絡(luò)協(xié)議發(fā)展過程中，已經(jīng)形成一系列的標(biāo)準(zhǔn)協(xié)議規(guī)范，規(guī)定了不同協(xié)議使用的端口，其它一些廣泛使用的應(yīng)用程序雖然沒有標(biāo)準(zhǔn)化端口，但已經(jīng)形成了事實(shí)上的標(biāo)準(zhǔn)端口。端口匹配就是根據(jù)標(biāo)準(zhǔn)或事實(shí)標(biāo)準(zhǔn)的對應(yīng)關(guān)系，利用TCP/UDP的端口來識別行為，這種方式具備檢測效率高的優(yōu)點(diǎn)，但容易被偽造，因此在端口檢測基礎(chǔ)上，需要增加特征檢測的判斷和分析來進(jìn)一步深度分析數(shù)據(jù)。

圖9流量采集分析模型

（2）流量特征檢測：流量特征檢測分為兩種，一種是標(biāo)準(zhǔn)協(xié)議流量的識別，標(biāo)準(zhǔn)協(xié)議規(guī)定了特有的消息、命令和狀態(tài)遷移機(jī)制，通過分析流量數(shù)據(jù)包中應(yīng)用層的專有字段和狀態(tài)，就可以精確可靠地識別這些流量；另一種是未公開協(xié)議流量的識別，一般需要通過逆向工程分析協(xié)議機(jī)制，直接或解密后通過報(bào)文流的特征字段來識別該通信流量。

（3）自動連接關(guān)聯(lián)：隨著互聯(lián)網(wǎng)應(yīng)用的發(fā)展，在互聯(lián)網(wǎng)上傳輸?shù)臄?shù)據(jù)越來越多，單個(gè)連接完成所有任務(wù)的模式也逐漸開始出現(xiàn)瓶頸，因此很多協(xié)議采用動態(tài)協(xié)商端口的方式進(jìn)行數(shù)據(jù)傳輸，為了識別這些數(shù)據(jù)，需要根據(jù)控制鏈接上面的報(bào)文信息，自動關(guān)聯(lián)到數(shù)據(jù)傳輸?shù)逆溄硬ζ溥M(jìn)行還原。

（4）行為特征分析：針對一些不便于還原的數(shù)據(jù)流量，我們采用了行為特征的方法進(jìn)行分析，也就是說系統(tǒng)不試圖分析鏈接上的數(shù)據(jù)，而使用鏈接的統(tǒng)計(jì)特征，如連接數(shù)、單個(gè)IP的連接模式、上下行流量的比例、數(shù)據(jù)包發(fā)送頻率等指標(biāo)來區(qū)分?jǐn)?shù)據(jù)流。

4.2數(shù)據(jù)預(yù)處理

由于我們的核心平臺采用了基于大數(shù)據(jù)技術(shù)的Stream框架，因此可以對各類數(shù)據(jù)按照預(yù)定的流程進(jìn)行流式處理，以保證各種數(shù)據(jù)處理的準(zhǔn)確性。Stream框架是一個(gè)分布式的結(jié)構(gòu)，支持水平擴(kuò)展，通過增加集群節(jié)點(diǎn)便可提高集群的并發(fā)處理能力。Stream框架還具有自動容錯機(jī)制，可自動處理進(jìn)程、機(jī)器以及網(wǎng)絡(luò)異常，保證事件處理流程的穩(wěn)定運(yùn)行。在處理數(shù)據(jù)時(shí)，數(shù)據(jù)不寫入磁盤，緩存在各個(gè)節(jié)點(diǎn)的內(nèi)存中。我們的核心能力平臺具有延遲低，實(shí)時(shí)性強(qiáng)的特點(diǎn)，通過預(yù)先設(shè)定事件處理拓?fù)洌梢钥焖俚膶κ录幚砹鞒踢M(jìn)行搭建，可根據(jù)不同的處理要求構(gòu)建相應(yīng)的事件處理拓?fù)淠Ｐ停瑵M足業(yè)務(wù)要求。

我們的大數(shù)據(jù)平臺采用如下圖10的事件處理拓?fù)?，對日志信息以及網(wǎng)絡(luò)流數(shù)據(jù)進(jìn)行處理，該拓?fù)浣Y(jié)構(gòu)可以靈活的配置及開發(fā)。

圖 10數(shù)據(jù)預(yù)處理拓?fù)鋱D

（1）數(shù)據(jù)歸一。在Stream流中，系統(tǒng)將各種廠商以及設(shè)備的日志信息、流量數(shù)據(jù)按照正則表達(dá)式、協(xié)議還原等方式進(jìn)行歸一化處理，統(tǒng)一轉(zhuǎn)化為系統(tǒng)平臺通用的數(shù)據(jù)對象，并將這些數(shù)據(jù)對象作為整個(gè)系統(tǒng)平臺分析、存儲的數(shù)據(jù)元。

（2）情報(bào)知識庫的關(guān)聯(lián)。數(shù)據(jù)元經(jīng)過情報(bào)庫與知識庫關(guān)聯(lián)，并關(guān)聯(lián)到企業(yè)自己的支持信息及情報(bào)信息，為后續(xù)的檢測分析提供數(shù)據(jù)基礎(chǔ)。情報(bào)庫與知識庫均存儲在系統(tǒng)平臺的分布式搜索引擎中，可為系統(tǒng)平臺數(shù)據(jù)關(guān)聯(lián)提供快速的檢索功能。

（3）數(shù)據(jù)歸并。系統(tǒng)通過計(jì)算分析引擎按照預(yù)置的事件流程框架將數(shù)據(jù)進(jìn)行歸并。計(jì)算分析引擎的重點(diǎn)一方面是要以時(shí)間為紐帶分析相關(guān)事件之間復(fù)雜的關(guān)聯(lián)數(shù)據(jù)并作出相應(yīng)反應(yīng)，另一方面還必須具備吞吐量高、響應(yīng)時(shí)間低以及能夠快速處理復(fù)雜邏輯的功能。計(jì)算分析引擎通過事件過濾、時(shí)間滑動窗口聚集、事件分組窗口輸出率限制、事件內(nèi)外連接等邏輯對事件進(jìn)行分析。系統(tǒng)平臺使用計(jì)算分析引擎作為實(shí)時(shí)關(guān)聯(lián)規(guī)則引擎，作為事件處理流程中的一個(gè)Bolt節(jié)點(diǎn)，所有事件處理完成后匯總進(jìn)入計(jì)算分析引擎的規(guī)則引擎入口，規(guī)則引擎結(jié)合日志數(shù)據(jù)、流量數(shù)據(jù)等數(shù)據(jù)元分析數(shù)據(jù)流中的異常，從而觸發(fā)告警。

4.3數(shù)據(jù)存儲與海量數(shù)據(jù)檢索

為從海量數(shù)據(jù)中有效地快速查詢所需的信息，我們采用了大數(shù)據(jù)搜索引擎Elastic Search。ElasticSearch是一個(gè)基于Lucene的搜索服務(wù)器，它提供了一個(gè)分布式多用戶能力的全文搜索引擎，是目前Java開源社區(qū)最流行的企業(yè)搜索引擎之一，尤其適合部署在企業(yè)的云計(jì)算環(huán)境中。系統(tǒng)平臺經(jīng)過數(shù)據(jù)處理與計(jì)算層之后，將數(shù)據(jù)分別保存在分布式搜索引擎的索引文件中，分布式搜索引擎可以為各種存儲類型按字段建立索引，從而提供快速的檢索功能。分布式搜索引擎中的索引字段可以按照事件分類、事件名稱、事件原始內(nèi)容等字段進(jìn)行分詞檢索。為了提高檢索性能，同時(shí)保證數(shù)據(jù)的可靠性，我們將索引以多個(gè)分片以及多個(gè)副本的形式存儲于分布式文件系統(tǒng)中，通過分布式計(jì)算和搜索技術(shù)，實(shí)現(xiàn)了對近期錄入的數(shù)據(jù)可以達(dá)到近似實(shí)時(shí)的查詢，對于存儲于分布式存儲中的TB級數(shù)據(jù)也能夠做到秒級查詢。

4.4檢測分析與處理

各種日志數(shù)據(jù)、網(wǎng)絡(luò)流量數(shù)據(jù)經(jīng)過歸一化預(yù)處理后，存儲于分布式HBase和HDFS中，下一步就是要對這些大數(shù)據(jù)進(jìn)行深度挖掘和關(guān)聯(lián)分析，主動發(fā)現(xiàn)潛在的風(fēng)險(xiǎn)和威脅，防患于未然。

（1）惡意代碼智能檢測技術(shù)

為了檢測惡意代碼，我們構(gòu)建了一個(gè)人工智能引擎，該引擎能夠根據(jù)已知的正常軟件和惡意軟件的大量樣本，通過數(shù)據(jù)挖掘找出兩類軟件最具區(qū)分度的特征，然后建立機(jī)器學(xué)習(xí)模型，使用機(jī)器學(xué)習(xí)算法，得到惡意軟件的識別模型（如圖11），最后通過模型對未知程序進(jìn)行分析判斷，計(jì)算軟件的惡意概率，從而在可控的誤報(bào)率之下盡可能多的發(fā)現(xiàn)惡意程序。

其中，惡意代碼機(jī)器學(xué)習(xí)算法是人工智能引擎的核心模塊，其模型如圖12所示，海量可執(zhí)行程序文件（包括惡意程序和非惡意程序）作為PE文件輸入引擎，引擎根據(jù)行為類特征的不同，包含了k個(gè)決策機(jī)，以及對應(yīng)k個(gè)決策機(jī)的k個(gè)訓(xùn)練模型；引擎分析可執(zhí)行程序文件后，抽取相應(yīng)的類行為特征，將所抽取的類行為特征放入一個(gè)相應(yīng)的特征向量之內(nèi)，根據(jù)已經(jīng)抽取到的特征，進(jìn)行特征分類；最后根據(jù)分類的結(jié)果，將不同類別程序文件的特征向量和黑白屬性使用不同的決策機(jī)進(jìn)行訓(xùn)練，得到相應(yīng)的訓(xùn)練模型。

圖11惡意代碼智能檢測模型圖

（2）廣譜反病毒查殺技術(shù)

我們在傳統(tǒng)的Windows可執(zhí)行文件反病毒特征碼查殺技術(shù)的基礎(chǔ)上，優(yōu)化了改進(jìn)型特征碼查殺技術(shù)。近年來，變形病毒和感染型病毒越來越多，而且越來越復(fù)雜、偽裝越來越隱蔽。在定位病毒特征碼方面，采用傳統(tǒng)的基于“文件偏移”、“入口偏移”、“節(jié)偏移”的特征引擎已經(jīng)很難發(fā)現(xiàn)病毒，因此，必須研究采用“輸出函數(shù)偏移”、“資源偏移”、“導(dǎo)入函數(shù)調(diào)用偏移”等多種定位方法，才能夠在多個(gè)層次對目標(biāo)文件進(jìn)行定位；同時(shí)，合理利用“普通匹配”和“模糊匹配”方法，在不影響效率的情況下，提高病毒特征碼匹配的能力與速度。另一方面，為了提高查殺的準(zhǔn)確性，還引入了“導(dǎo)入函數(shù)匹配”、“指令分析匹配”、“資源匹配”等多種基于樣本解析的抽象匹配方法。

（3）機(jī)器學(xué)習(xí)、重沙箱技術(shù)

系統(tǒng)具有數(shù)據(jù)的采集和處理能力后，還需要依賴機(jī)器學(xué)習(xí)、重沙箱和關(guān)聯(lián)分析等技術(shù)對大量數(shù)據(jù)進(jìn)行篩選，提取重要信息輸送到人工運(yùn)營團(tuán)隊(duì)進(jìn)行分析。其中，機(jī)器學(xué)習(xí)部分我們采用了Euler平臺，基于Euler平臺提供的各種算法，可以對DNS、文件等信息進(jìn)行聚類和相似度分析，以便從海量的低價(jià)值信息中篩選出可能和已知的攻擊行為或攻擊特征相關(guān)的新生威脅。另一方面，通過可視化關(guān)聯(lián)分析平臺，可以將任意兩個(gè)互聯(lián)網(wǎng)信息間的關(guān)聯(lián)性直觀的展現(xiàn)出來，比如兩個(gè)毫不相干的域名可能擁有相同的注冊人，為安全運(yùn)營團(tuán)隊(duì)進(jìn)一步分析攻擊行為和攻擊背景提供有效的工具。而重沙箱則從文件角度將大量惡意文件或未知文件的網(wǎng)絡(luò)行為和進(jìn)程行為輸出到機(jī)器學(xué)習(xí)平臺和人工運(yùn)營團(tuán)隊(duì)，既為分析提供數(shù)據(jù)支撐，也直接輸出部分攻擊線索。

（4）自動化數(shù)據(jù)處理技術(shù)

態(tài)勢感知系統(tǒng)作為智能化的工具平臺，最終還是要靠人來運(yùn)用，為了盡可能地為專業(yè)人員提供可靠、可信、綜合的數(shù)據(jù)，我們構(gòu)建了一個(gè)基于人工智能自學(xué)習(xí)的自動化數(shù)據(jù)處理平臺，通過該平臺可以將系統(tǒng)中大數(shù)據(jù)分析出的未知威脅通過專業(yè)人員進(jìn)行人工干預(yù)，做到精細(xì)分析，確認(rèn)攻擊手段、攻擊對象以及攻擊目的，通過人工智能結(jié)合大數(shù)據(jù)知識以及攻擊者的多個(gè)維度特征還原出攻擊者的全貌，包括程序形態(tài)、不同編碼風(fēng)格和不同攻擊原理的同源木馬程序、惡意服務(wù)器等，通過全貌特征“跟蹤”攻擊者，持續(xù)的發(fā)現(xiàn)未知威脅，最終確保發(fā)現(xiàn)未知威脅的準(zhǔn)確性，生成可供本地分析平臺使用的威脅情報(bào)。

5 總結(jié)

企業(yè)面臨的安全威脅數(shù)量呈高速增長趨勢，同時(shí)安全威脅技術(shù)也呈現(xiàn)多樣化和高水平化發(fā)展，企業(yè)必須采用更有效的手段和措施將這些威脅完整并全面的展現(xiàn)出來，為管理層和技術(shù)人員后續(xù)處置和溯源提供技術(shù)支撐。本文闡述了一種基于大數(shù)據(jù)存儲分析以及人工智能技術(shù)的態(tài)勢感知系統(tǒng)的設(shè)計(jì)思路，采用大數(shù)據(jù)存儲技術(shù)、威脅情報(bào)技術(shù)、機(jī)器學(xué)習(xí)算法、關(guān)聯(lián)分析技術(shù)等，全面的發(fā)現(xiàn)和展現(xiàn)企業(yè)信息系統(tǒng)所面臨的安全威脅，并對威脅進(jìn)行風(fēng)險(xiǎn)評估，全面評估信息系統(tǒng)安全風(fēng)險(xiǎn)狀態(tài)。企業(yè)可以參考本文完成系統(tǒng)的研發(fā)和部署，全面提升企業(yè)的威脅發(fā)現(xiàn)和感知能力。

[1]陶翔.大數(shù)據(jù)技術(shù)的發(fā)展歷程及其演化趨勢[N].科技日報(bào)，2014.

[2]席榮榮，云曉春，金舒原，張永錚.網(wǎng)絡(luò)安全態(tài)勢感知研究綜述[J].計(jì)算機(jī)應(yīng)用，2012.

[3]劉鵬，孟炎，吳艷艷.大規(guī)模網(wǎng)絡(luò)安全態(tài)勢感知及預(yù)測[J].計(jì)算機(jī)安全，2013.