大數(shù)據(jù)技術(shù)支持下的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)探究

◆盧 慶 文衛(wèi)疆 陳 新

大數(shù)據(jù)技術(shù)支持下的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)探究

◆盧 慶1文衛(wèi)疆2陳 新3

(1.湖南警察學(xué)院 湖南 410100；2.岳陽市公安局 湖南 414000； 3.岳陽市住房公積金管理中心 湖南 414000)

隨著計(jì)算機(jī)、智能手機(jī)逐漸成為我國民眾標(biāo)配，信息安全問題的受關(guān)注程度日漸提升，如何應(yīng)用大數(shù)據(jù)開展網(wǎng)絡(luò)安全分析也開始成為業(yè)界關(guān)注的焦點(diǎn)，相關(guān)研究也因此大量涌現(xiàn)，基于此，本文簡單分析了網(wǎng)絡(luò)安全防護(hù)存在的傳統(tǒng)問題，并詳細(xì)論述了在大數(shù)據(jù)技術(shù)支持下網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)的構(gòu)成與應(yīng)用，希望由此能夠?yàn)橄嚓P(guān)業(yè)內(nèi)人士帶來一定啟發(fā)。

大數(shù)據(jù)技術(shù)；網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)；安全模型

0 前言

近年來我國網(wǎng)絡(luò)空間面臨的國內(nèi)外威脅日漸嚴(yán)峻化，國外有組織黑客的攻擊破壞、國內(nèi)不法分子的網(wǎng)絡(luò)犯罪活動均屬于其中典型，我國網(wǎng)絡(luò)安全重大事件監(jiān)測預(yù)警與主動防御手段的不足也因此暴露，而為了盡可能彌補(bǔ)這種不足，正是本文圍繞大數(shù)據(jù)技術(shù)支持下的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)開展具體研究的原因所在。

1 網(wǎng)絡(luò)安全防護(hù)存在的傳統(tǒng)問題分析

1.1 主要問題

網(wǎng)絡(luò)安全領(lǐng)域存在三種基本的業(yè)態(tài)模型，分別為P2DR安全運(yùn)維模型、線式防御模型、立體防御模型，我國網(wǎng)絡(luò)安全產(chǎn)業(yè)的構(gòu)建便基本上圍繞三種模型實(shí)現(xiàn)，安全產(chǎn)品體系也因此形成，但深入分析現(xiàn)階段國內(nèi)外網(wǎng)絡(luò)安全產(chǎn)品發(fā)展現(xiàn)狀不難發(fā)現(xiàn)，目前并不存在可以防御所有攻擊的安全產(chǎn)品，這就使得我國長期以來奉行的傳統(tǒng)網(wǎng)絡(luò)安全防護(hù)理念、網(wǎng)絡(luò)安全防護(hù)產(chǎn)品存在一些根本性問題。傳統(tǒng)網(wǎng)絡(luò)安全防護(hù)處于一個后知后防的體系中，并通過通用、具體的特征規(guī)則進(jìn)行威脅防御，這種后知后防體系與網(wǎng)絡(luò)安全保護(hù)的實(shí)時性、前瞻性需求存在一定矛盾，過時的網(wǎng)絡(luò)安全產(chǎn)品自然無法完全滿足現(xiàn)階段各領(lǐng)域網(wǎng)絡(luò)安全防護(hù)需要?？偟膩碚f，筆者認(rèn)為網(wǎng)絡(luò)安全防護(hù)存在的傳統(tǒng)問題可概括為以本地規(guī)則庫為核心、沒有數(shù)據(jù)智能、無法實(shí)現(xiàn)未知威脅感知、無法有效檢測已知威脅、無法對網(wǎng)絡(luò)進(jìn)行協(xié)同防御、無法通過數(shù)據(jù)支持實(shí)現(xiàn)已知攻擊溯源分析，而深入分析這類問題不難發(fā)現(xiàn)，傳統(tǒng)的安全監(jiān)測與防護(hù)局限于私有、單機(jī)的思路屬于引發(fā)問題的根本原因[1]。

1.2 解決思路

為真正解決網(wǎng)絡(luò)安全防護(hù)存在的傳統(tǒng)問題，近年來學(xué)界開展的大量相關(guān)探索，現(xiàn)有安全技術(shù)無法滿足信息安全領(lǐng)域數(shù)據(jù)規(guī)模日益增長環(huán)境下的精細(xì)化高效安全分析需求也已經(jīng)成為業(yè)界共識，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全防護(hù)領(lǐng)域具備的較高應(yīng)用價值也開始得到重點(diǎn)關(guān)注。大數(shù)據(jù)技術(shù)本身具備靈活、海量、高速等特點(diǎn)，這些都使得該技術(shù)可較好滿足快速、精確、低成本、大容量的數(shù)據(jù)智能分析和網(wǎng)絡(luò)安全分析需要，基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢感知也由此成為業(yè)界關(guān)注的焦點(diǎn)，本文研究也是圍繞這一焦點(diǎn)展開[2]。

2 大數(shù)據(jù)技術(shù)支持下網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)的構(gòu)成與應(yīng)用

2.1 平臺構(gòu)建

2.1.1整體思路

網(wǎng)絡(luò)安全態(tài)勢指的是網(wǎng)絡(luò)當(dāng)前狀態(tài)和變化趨勢，主要由用戶行為、網(wǎng)絡(luò)行為、網(wǎng)絡(luò)設(shè)備運(yùn)行狀況等因素構(gòu)成，而網(wǎng)絡(luò)安全態(tài)勢感知則是一種圍繞大規(guī)模網(wǎng)絡(luò)環(huán)境開展的網(wǎng)絡(luò)態(tài)勢變化安全要素獲取、理解、顯示及未來趨勢預(yù)測。由此可見，大數(shù)據(jù)技術(shù)可較好服務(wù)于網(wǎng)絡(luò)安全態(tài)勢感知，但這種服務(wù)需要得到專業(yè)化平臺的支持，這一支持指的是各類感知數(shù)據(jù)源的整合、各類安全數(shù)據(jù)的可視化信息轉(zhuǎn)化，由此即可在平臺支持下實(shí)現(xiàn)威脅發(fā)現(xiàn)、精準(zhǔn)預(yù)警、態(tài)勢感知。

2.1.2技術(shù)架構(gòu)

為實(shí)現(xiàn)基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺構(gòu)建，安全數(shù)據(jù)采集、海量安全數(shù)據(jù)深度挖掘分析、分析結(jié)果應(yīng)用必須得到重點(diǎn)關(guān)注，其中安全數(shù)據(jù)采集需涉及整個防御鏈條，以此實(shí)現(xiàn)相關(guān)邊界、終端、服務(wù)、應(yīng)用相關(guān)安全數(shù)據(jù)的采集，海量安全數(shù)據(jù)深度挖掘分析則需要利用安全模型、分析算法，以此分析潛在威脅、發(fā)生安全事件、預(yù)判未知風(fēng)險，分析結(jié)果應(yīng)用需要關(guān)注網(wǎng)絡(luò)安全威脅報警、網(wǎng)絡(luò)風(fēng)險預(yù)警與感知、重要安全系統(tǒng)實(shí)時監(jiān)測、可視化態(tài)勢展示，圖1為基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺整體技術(shù)架構(gòu)[3]。

圖 1 網(wǎng)絡(luò)安全態(tài)勢感知平臺整體技術(shù)架構(gòu)

2.1.3安全數(shù)據(jù)采集與存儲

在應(yīng)用大數(shù)據(jù)技術(shù)完成安全數(shù)據(jù)采集后，還需要進(jìn)行數(shù)據(jù)的存儲，由此即可形成原始安全數(shù)據(jù)倉庫滿足安全態(tài)勢感知需要。其中，安全數(shù)據(jù)采集需關(guān)注完整的網(wǎng)絡(luò)攻擊追蹤，以此圍繞身份認(rèn)證、應(yīng)用方位授權(quán)、網(wǎng)絡(luò)流量特征檢測、風(fēng)險報警、應(yīng)用安全審計(jì)等環(huán)節(jié)涉及的網(wǎng)絡(luò)攻擊細(xì)節(jié)與潛藏的非法行為特征搜集，流量、日志、審計(jì)、監(jiān)測、病毒、資產(chǎn)、情報等各類數(shù)據(jù)的采集均需要得到重點(diǎn)關(guān)注；而在安全數(shù)據(jù)的存儲中，需要整合關(guān)系數(shù)據(jù)庫系統(tǒng)、分布式文件系統(tǒng)、數(shù)據(jù)庫集群以此構(gòu)建混合式數(shù)據(jù)倉庫，海量安全數(shù)據(jù)存儲管理則需要得到基于Hadoop分布式文件存儲系統(tǒng)（HDFS）的支持。HDFS具備高吞吐量、容錯性高等特點(diǎn)，在HDFS上的分布式非結(jié)構(gòu)化數(shù)據(jù)庫HBase則能夠進(jìn)行大量非結(jié)構(gòu)化數(shù)據(jù)的存儲，Sqoop則負(fù)責(zé)關(guān)系型數(shù)據(jù)庫與非關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)入與導(dǎo)出。

2.1.4海量安全數(shù)據(jù)深度挖掘分析

海量安全數(shù)據(jù)深度挖掘分析可分為三個步驟，即數(shù)據(jù)預(yù)處理、模型設(shè)計(jì)、數(shù)據(jù)分析，其中數(shù)據(jù)預(yù)處理主要由數(shù)據(jù)清洗、數(shù)據(jù)融合、數(shù)據(jù)關(guān)聯(lián)三部分內(nèi)容組成，模型設(shè)計(jì)則需要關(guān)注數(shù)值統(tǒng)計(jì)模型、算法挖掘模型、攻擊樹推理模型的構(gòu)建，而數(shù)據(jù)分析則需要圍繞在線實(shí)時挖掘分析、離線挖掘分析實(shí)現(xiàn)，以其中的算法挖掘模型為例，構(gòu)建該模型需得到基于統(tǒng)計(jì)學(xué)方法的度分布計(jì)算算法、基于Page Rank的頂點(diǎn)分析算法、基于聚類的相似度分析算法、社區(qū)發(fā)現(xiàn)分析算法支持，而在線實(shí)時挖掘分析的實(shí)現(xiàn)則需要得到Spark框架的支持，在采用內(nèi)存計(jì)算方式的批量數(shù)據(jù)流處理支持下，在線實(shí)時挖掘的需求可得到較好滿足。

2.1.5功能組成

在安全數(shù)據(jù)采集與存儲、海量安全數(shù)據(jù)深度挖掘分析的支持下，基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺將實(shí)現(xiàn)網(wǎng)絡(luò)安全威脅報警、網(wǎng)絡(luò)風(fēng)險預(yù)警與感知、重要安全系統(tǒng)實(shí)時監(jiān)測、可視化態(tài)勢展示，其中網(wǎng)絡(luò)安全威脅報警可利用大數(shù)據(jù)分析結(jié)果實(shí)現(xiàn)信息盜取、權(quán)限獲取、木馬傳播、仿冒釣魚等網(wǎng)絡(luò)攻擊活動的即時報警；重要安全系統(tǒng)實(shí)時監(jiān)測可實(shí)時關(guān)注網(wǎng)頁篡改、信息盜取、APT攻擊、拒絕服務(wù)攻擊等惡意破壞事件的監(jiān)測；網(wǎng)絡(luò)風(fēng)險預(yù)警與感知可實(shí)現(xiàn)網(wǎng)絡(luò)安全態(tài)勢的展示與輸出，如網(wǎng)絡(luò)攻擊活動、安全漏洞等；可視化態(tài)勢展示則能夠使用可視化腳本庫進(jìn)行安全態(tài)勢的全景展示。

2.2 技術(shù)應(yīng)用

近年來業(yè)內(nèi)圍繞基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺開展了大量理論研究與實(shí)踐探索，我國很多行業(yè)的專網(wǎng)也已經(jīng)實(shí)現(xiàn)了該類平臺的部署與運(yùn)行，筆者曾參與的基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺建設(shè)便使用了10臺高性能服務(wù)與100TB光存儲陣列，而在Spark、ETL、Kafka、Hbase、HDFS、Zookeeper、Map Reduce等工具和框架結(jié)構(gòu)支持下，完整的大數(shù)據(jù)存儲和分析集群構(gòu)建也得以實(shí)現(xiàn)，該集群能夠滿足彈性部署的需要，根據(jù)數(shù)據(jù)容量、計(jì)算需求的動態(tài)節(jié)點(diǎn)擴(kuò)容也能夠由此實(shí)現(xiàn)。筆者參與的基于大數(shù)據(jù)技術(shù)網(wǎng)絡(luò)安全態(tài)勢感知平臺已經(jīng)上線近兩年，可平臺每天可分析并處理2億條安全數(shù)據(jù)，并能夠同時開展30個安全規(guī)則庫的在線匹配分析、100個安全模型離線分析計(jì)算、30億條數(shù)據(jù)的IP關(guān)系圖譜分析，平臺的態(tài)勢可視化展示、網(wǎng)絡(luò)風(fēng)險預(yù)警與感知等功能也長期處于良好運(yùn)行狀態(tài)。

3 結(jié)論

綜上所述，大數(shù)據(jù)技術(shù)支持下的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)具備較高實(shí)踐應(yīng)用價值，在此基礎(chǔ)上，本文涉及的安全數(shù)據(jù)采集與存儲、海量安全數(shù)據(jù)深度挖掘分析等內(nèi)容，則提供了可行性較高的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)應(yīng)用路徑，而為了更好保證網(wǎng)絡(luò)安全，多源數(shù)據(jù)運(yùn)用、復(fù)雜網(wǎng)絡(luò)攻擊遏制也需要得到業(yè)內(nèi)人士的高度關(guān)注。

[1]鄧曉東，何慶，許敬偉，周樂坤.大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢感知中數(shù)據(jù)融合技術(shù)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017.

[2]陳興蜀，曾雪梅，王文賢.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全與情報分析[J].工程科學(xué)與技術(shù)，2017.

[3]琚安康，郭淵博，朱泰銘.基于開源工具集的大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢感知及預(yù)警架構(gòu)[J].計(jì)算機(jī)科學(xué)，2017.