基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺架構(gòu)研究

向劍峰

（中國電信湖北公司，湖北 武漢430024）

1 概述

習(xí)總書記在網(wǎng)信工作座談會上的講話（419 講話）中明確提出了關(guān)于在信息系統(tǒng)中建立態(tài)勢感知機(jī)制的重要性，包括提到了“全天候全方位感知網(wǎng)絡(luò)安全態(tài)勢”、“加強(qiáng)大數(shù)據(jù)挖掘分析，更好感知網(wǎng)絡(luò)安全態(tài)勢，做好風(fēng)險防范”等一些重要觀點(diǎn)，從信息安全戰(zhàn)略層面明確了態(tài)勢感知能力的重要性。同時網(wǎng)絡(luò)等級保護(hù)2.0 要求網(wǎng)絡(luò)空間的安全防護(hù)應(yīng)當(dāng)立足于更加積極的合規(guī)驅(qū)動工作模式，針對關(guān)鍵信息技術(shù)等重要領(lǐng)域?qū)崿F(xiàn)主動有效的全方位體系化防護(hù)，網(wǎng)絡(luò)安全態(tài)勢感知體系建設(shè)也成為新形勢下安全防御之必須。

1.1 網(wǎng)絡(luò)安全態(tài)勢感知定義

在大規(guī)模網(wǎng)絡(luò)環(huán)境中，對能夠引起網(wǎng)絡(luò)態(tài)勢發(fā)生變化的安全要素進(jìn)行獲取、理解、顯示以及對未來短期的發(fā)展趨勢的預(yù)測。網(wǎng)絡(luò)態(tài)勢感知(Cyberspace Situation Awareness)包含有兩層含義：實(shí)時地根據(jù)網(wǎng)絡(luò)安全設(shè)備的告警信息及其他信息，進(jìn)行關(guān)聯(lián)歸并、數(shù)據(jù)融合等操作，實(shí)時反映網(wǎng)絡(luò)實(shí)際的運(yùn)行狀況；根據(jù)歷史數(shù)據(jù)進(jìn)行一定的離線分析，采用一定手段對潛在可能的威脅進(jìn)行預(yù)測。

1.2 大數(shù)據(jù)的特性

大數(shù)據(jù)的“實(shí)時”性并不意味著真正的實(shí)時，而往往是近似的“實(shí)時”：在一個相對短、相對新的時間里產(chǎn)生并可資利用；在一個與場景有關(guān)的短時期里，即能容許作出響應(yīng)，并判定效果的一個時間段里產(chǎn)生并可資利用。新的數(shù)字?jǐn)?shù)據(jù)源包括從人們使用數(shù)字服務(wù)被動收集到的交易數(shù)據(jù)聯(lián)機(jī)數(shù)據(jù)，新聞媒體和社會媒體的交互數(shù)據(jù)，物理傳感器數(shù)據(jù)，居民報告或群體源的主動數(shù)據(jù)等。

1.3 網(wǎng)絡(luò)空間安全亟需態(tài)勢感知

網(wǎng)絡(luò)空間威脅朝泛化和復(fù)雜化的趨勢在發(fā)展，各類網(wǎng)絡(luò)攻擊也更加具有持續(xù)性和隱蔽性。傳統(tǒng)的安全防護(hù)僅僅依靠部署于邊界的防火墻、IDS、IPS 等安全設(shè)備進(jìn)行的靜態(tài)控制，被動式防御已不再適用于APT、0day 攻擊等新型網(wǎng)絡(luò)安全威脅的防護(hù)，亟需對傳統(tǒng)的安全防御方式進(jìn)行優(yōu)化和改進(jìn)，形成全方位、多層次的態(tài)勢感知體系。

2 全方位態(tài)勢感知

基于大數(shù)據(jù)的態(tài)勢感知平臺通過對接網(wǎng)絡(luò)中現(xiàn)有或未來可能擴(kuò)容的各類安全防護(hù)系統(tǒng)引擎，實(shí)現(xiàn)了全面且靈活開放的態(tài)勢感知系統(tǒng)架構(gòu)。在這種體系下，任何類型任何廠商的安全設(shè)備或系統(tǒng)都可以作為用戶網(wǎng)絡(luò)或業(yè)務(wù)上各環(huán)節(jié)的安全監(jiān)測傳感器，這些傳感器所產(chǎn)生的安全監(jiān)測信息都將作為數(shù)據(jù)源由態(tài)勢感知平臺統(tǒng)一獲取。

2.1 態(tài)勢感知實(shí)現(xiàn)流程

現(xiàn)有安全資源的引擎化整合是全面獲取安全要素信息的基礎(chǔ)，在此基礎(chǔ)上，平臺通過資產(chǎn)感知、攻擊感知、脆弱性感知、風(fēng)險感知、威脅感知和態(tài)勢總攬這些維度來覆蓋安全態(tài)勢各個方面并用來實(shí)現(xiàn)全方位的態(tài)勢感知。實(shí)現(xiàn)流程大致包括4 個步驟，分別是各類安全要素信息的獲取、面向態(tài)勢感知的集中數(shù)據(jù)分析、多維度態(tài)勢感知的呈現(xiàn)、預(yù)警通告及處置。

2.2 信息源獲取

上述態(tài)勢感知系統(tǒng)為開放型的平臺架構(gòu)，任何安全設(shè)備或系統(tǒng)都可作為安全監(jiān)視的數(shù)據(jù)源或引擎，通過平臺豐富和高兼容度的信息采集接口實(shí)現(xiàn)安全數(shù)據(jù)的廣泛采集，最終將整合到平臺的統(tǒng)一安全要素信息分析展現(xiàn)體系中，形成完整全面的一站式態(tài)勢感知能力。如上節(jié)所描述，系統(tǒng)安全要素采集層的下方是組織網(wǎng)絡(luò)中各類各廠商的安全設(shè)備和系統(tǒng)，以及大量要被防護(hù)監(jiān)控的IT 資產(chǎn)。這些設(shè)備和資產(chǎn)所能產(chǎn)生的海量安全監(jiān)控?cái)?shù)據(jù)和運(yùn)行日志，包括外部的威脅情報信息都將通過泰合態(tài)勢感知系統(tǒng)開放的各類信息采集接口進(jìn)行采集匯總，這實(shí)現(xiàn)了態(tài)勢感知中對可能影響安全態(tài)勢要素信息獲取的重要環(huán)節(jié)。

2.3 基于大數(shù)據(jù)的安全事件關(guān)聯(lián)分析

大數(shù)據(jù)安全事件分析主要透過智能化的安全事件關(guān)聯(lián)分析來體現(xiàn)。事件關(guān)聯(lián)是指找出大量事件中存在的關(guān)系，并從這些大量事件中抽取出真正重要的少量事件。借助先進(jìn)的智能事件關(guān)聯(lián)分析引擎和算法，系統(tǒng)能夠?qū)崟r不間斷地對所有范式化后的日志流進(jìn)行安全事件關(guān)聯(lián)分析。系統(tǒng)為安全責(zé)任人提供了三種事件關(guān)聯(lián)分析技術(shù)，分別是基于規(guī)則的關(guān)聯(lián)分析、基于情境的關(guān)聯(lián)分析和基于行為的關(guān)聯(lián)分析。

3 融合大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢分析架構(gòu)

為了應(yīng)對海量事件管理帶來的挑戰(zhàn)，本文探討了高性能日志采集范式化技術(shù)、大數(shù)據(jù)分布式存儲與索引技術(shù)和流式分析技術(shù)等，對系統(tǒng)核心的安全分析技術(shù)架構(gòu)進(jìn)行了改進(jìn)，真正使得本系統(tǒng)能夠支撐持續(xù)海量安全數(shù)據(jù)處理的安全管理平臺。系統(tǒng)的安全分析技術(shù)架構(gòu)從總體上劃分為五個部分，分別是：信息采集（Collection）、大數(shù)據(jù)存儲（Big Data）、信息分析（Analysis）、功能層（Function）、呈現(xiàn)層（Presentation）。

3.1 信息采集

信息采集包括事件/流/性能采集和情境數(shù)據(jù)采集。事件/流/性能采集層面使用了異步通訊、高速緩存、日志/流范式化流水線技術(shù)，對海量流、性能和異構(gòu)日志進(jìn)行持續(xù)不斷地高速采集，使用戶能夠采集并預(yù)處理網(wǎng)絡(luò)中大規(guī)模IT 資源的日志、流和性能數(shù)據(jù)。情境數(shù)據(jù)采集實(shí)現(xiàn)了對客戶IT 資源的資產(chǎn)信息、性能信息、流信息、安全配置信息、弱點(diǎn)信息、漏洞情報和威脅情報信息等安全要素信息的采集。

3.2 大數(shù)據(jù)存儲

大數(shù)據(jù)存儲方面，針對大數(shù)據(jù)安全事件（日志）包括針對海量非事務(wù)數(shù)據(jù)的存儲、索引、搜索和備份的不足之處，使安全管理平臺基于大數(shù)據(jù)技術(shù)處理。在數(shù)據(jù)存儲過程中，系統(tǒng)對數(shù)據(jù)進(jìn)行了分片并針對分片創(chuàng)建副本，為了保證數(shù)據(jù)的可靠性，系統(tǒng)將分片和副本分別保存在不同的分布式節(jié)點(diǎn)上，同時系統(tǒng)對原始事件進(jìn)行了全文索引，方便后續(xù)全文檢索。

3.3 信息分析

信息分析層面針對采集上來的各類安全要素信息，系統(tǒng)實(shí)現(xiàn)了性能與可用性分析、配置符合性分析、安全事件分析、流行為安全與合規(guī)分析、脆弱性分析、風(fēng)險分析和宏觀態(tài)勢分析。信息分析的方法包括實(shí)時流式分析、交互式分析、歷史數(shù)據(jù)批量分析和數(shù)據(jù)回放等多種先進(jìn)技術(shù)。

3.4 功能層

功能層實(shí)現(xiàn)日常安全管理的功能，對發(fā)現(xiàn)的安全問題進(jìn)行處置，包括例行處置和應(yīng)急處置。例行處置主要以計(jì)劃任務(wù)的形式體現(xiàn)；應(yīng)急處置主要通過響應(yīng)管理和告警工單處理的形式體現(xiàn)。

3.5 呈現(xiàn)層

系統(tǒng)為不同層級、不同角色的用戶提供了層次化的用戶視圖，從監(jiān)控、審計(jì)、風(fēng)險和運(yùn)維四個管理維度進(jìn)行展示。用戶亦能依據(jù)自身的工作需求自定義展現(xiàn)視圖。呈現(xiàn)層為安全分析師提供交互式分析的視圖，幫助安全分析師快速獲取安全數(shù)據(jù)，進(jìn)行威脅發(fā)現(xiàn)；同時，也為管理層和決策者提供整體安全態(tài)勢視圖，幫助他們了解網(wǎng)絡(luò)整體的資產(chǎn)安全態(tài)勢、漏洞安全態(tài)勢和攻擊安全態(tài)勢，及時掌握安全態(tài)勢，以求做出清晰、有效的決策。

4 結(jié)論

本文在介紹網(wǎng)絡(luò)安全態(tài)勢和大數(shù)據(jù)相關(guān)概念和技術(shù)的基礎(chǔ)上，從網(wǎng)絡(luò)攻擊形勢及當(dāng)前安全防御的需求出發(fā)，分析了大數(shù)據(jù)技術(shù)進(jìn)行網(wǎng)絡(luò)安全分祈的優(yōu)勢，并結(jié)合大數(shù)據(jù)技術(shù)提出了網(wǎng)絡(luò)安全態(tài)勢感知平臺，從多個層面闡述了構(gòu)建集安全數(shù)據(jù)采集、析和安全風(fēng)險態(tài)勢感知于一體的系統(tǒng)平臺所需的技術(shù)和思路。目前國內(nèi)眾多態(tài)勢感知平臺主要基于應(yīng)用創(chuàng)新，在算法層面所有的安全研究機(jī)構(gòu)和企業(yè)都在同一起跑線上，誰能夠首先找到解決現(xiàn)實(shí)問題的算法模型將處于領(lǐng)先位置。