大數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)架構(gòu)與性能評(píng)估

摘要：本文設(shè)計(jì)了一個(gè)包含四個(gè)核心層次的安全態(tài)勢(shì)感知平臺(tái)架構(gòu)，其中，數(shù)據(jù)采集層自動(dòng)收集多種來源的數(shù)據(jù)，存儲(chǔ)與處理層實(shí)現(xiàn)海量數(shù)據(jù)的高效管理，數(shù)據(jù)分析層應(yīng)用機(jī)器學(xué)習(xí)算法挖掘有價(jià)值信息，態(tài)勢(shì)感知與可視化層通過綜合評(píng)估模型實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)安全態(tài)勢(shì)，以直觀方式展示結(jié)果，加快升級(jí)硬件軟件配置，提升平臺(tái)性能。

關(guān)鍵詞：大數(shù)據(jù)；網(wǎng)絡(luò)安全；態(tài)勢(shì)感知平臺(tái)

引言

網(wǎng)絡(luò)已成為現(xiàn)代社會(huì)不可或缺的基礎(chǔ)設(shè)施，但是，網(wǎng)絡(luò)安全問題也日漸凸顯，網(wǎng)絡(luò)攻擊手段不斷翻新，傳統(tǒng)安全防護(hù)手段難以應(yīng)對(duì)。大數(shù)據(jù)技術(shù)以其強(qiáng)大的數(shù)據(jù)處理能力為網(wǎng)絡(luò)安全態(tài)勢(shì)感知提供了新的可能。本文設(shè)計(jì)了一個(gè)包含四個(gè)核心層次的安全態(tài)勢(shì)感知平臺(tái)，該平臺(tái)能夠?qū)崿F(xiàn)對(duì)網(wǎng)絡(luò)安全態(tài)勢(shì)的實(shí)時(shí)感知，并在檢測(cè)到異?；蛲{時(shí)，及時(shí)發(fā)出預(yù)警，有助于用戶更好地理解當(dāng)前的安全狀況，從而作出科學(xué)的決策。

1. 大數(shù)據(jù)技術(shù)與網(wǎng)絡(luò)安全態(tài)勢(shì)感知

1.1 大數(shù)據(jù)技術(shù)概述

1.1.1 數(shù)據(jù)采集、存儲(chǔ)與處理技術(shù)

數(shù)據(jù)采集技術(shù)從各種來源（如傳感器、日志文件、社交媒體等）自動(dòng)或半自動(dòng)收集數(shù)據(jù)，通過網(wǎng)絡(luò)爬蟲技術(shù)可以從互聯(lián)網(wǎng)上抓取大量信息，傳感器技術(shù)則可以從物理世界中實(shí)時(shí)捕獲數(shù)據(jù)[1]。分布式存儲(chǔ)技術(shù)如Hadoop Distributed File System（HDFS）成為主流，能夠?qū)?shù)據(jù)分散存儲(chǔ)在多個(gè)節(jié)點(diǎn)上，提高存儲(chǔ)效率。

1.1.2 大數(shù)據(jù)分析與挖掘技術(shù)

大數(shù)據(jù)分析與挖掘技術(shù)從海量數(shù)據(jù)中提取有價(jià)值的信息，通過聚類分析，可以將相似的數(shù)據(jù)點(diǎn)分組，發(fā)現(xiàn)隱藏的模式或關(guān)聯(lián)。數(shù)據(jù)分析常使用統(tǒng)計(jì)方法和機(jī)器學(xué)習(xí)算法。機(jī)器學(xué)習(xí)算法如決策樹、支持向量機(jī)（SVM）和神經(jīng)網(wǎng)絡(luò)等，能夠從數(shù)據(jù)中學(xué)習(xí)并作出預(yù)測(cè)。機(jī)器學(xué)習(xí)中的線性回歸模型可以用公式表示為

（1）

式中，y為因變量，x1為自變量，βi為回歸系數(shù)，為誤差項(xiàng)。在聚類分析中，K-means算法是一種常用的方法，其目標(biāo)是最小化每個(gè)數(shù)據(jù)點(diǎn)與其所屬類別中心點(diǎn)之間的距離平方和，即

（2）

式中，J為聚類的目標(biāo)函數(shù)，表示所有數(shù)據(jù)點(diǎn)到其所屬類別中心點(diǎn)的距離平方和；K為聚類的數(shù)量；Ck為第k個(gè)聚類；xi是屬于第k個(gè)聚類的數(shù)據(jù)點(diǎn)；μk為第一個(gè)聚類的中心點(diǎn)。在數(shù)據(jù)分類問題中，邏輯回歸模型也常被使用，其公式可以表示為

（3）

式中，為在給定自變量x的條件下，因變量Y取值為1的概率；為邏輯回歸模型的系數(shù)。通過多樣化的數(shù)據(jù)采集技術(shù)，網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)能夠?qū)崟r(shí)地從不同來源（如網(wǎng)絡(luò)流量、系統(tǒng)日志、用戶行為等）抓取與網(wǎng)絡(luò)安全相關(guān)的數(shù)據(jù)。數(shù)據(jù)收集為后續(xù)的態(tài)勢(shì)分析和預(yù)警提供了信息基礎(chǔ)。

1.2 網(wǎng)絡(luò)安全態(tài)勢(shì)感知原理

1.2.1 態(tài)勢(shì)感知模型與算法

在網(wǎng)絡(luò)安全態(tài)勢(shì)感知中，態(tài)勢(shì)感知模型是核心組成部分，通?；跀?shù)據(jù)融合、威脅評(píng)估、網(wǎng)絡(luò)行為分析等技術(shù)構(gòu)建[2]。為全面評(píng)估網(wǎng)絡(luò)安全狀況，采用基于權(quán)重和的綜合評(píng)估模型。該模型可以表示為

（4）

式中，S為網(wǎng)絡(luò)安全態(tài)勢(shì)的綜合評(píng)估值；wi為第一個(gè)安全指標(biāo)的權(quán)重，反映了該指標(biāo)在整體安全評(píng)估中的重要性；si為第i個(gè)安全指標(biāo)的得分或評(píng)估值；n為安全指標(biāo)的總數(shù)。模型綜合考慮多個(gè)安全指標(biāo)，能夠給出一個(gè)全面的網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估。每個(gè)指標(biāo)的權(quán)重可以根據(jù)實(shí)際情況進(jìn)行動(dòng)態(tài)調(diào)整，以適應(yīng)不同的安全需求。算法可以準(zhǔn)確地識(shí)別網(wǎng)絡(luò)中的異常行為和潛在威脅。

1.2.2 實(shí)時(shí)態(tài)勢(shì)監(jiān)測(cè)與評(píng)估

實(shí)時(shí)態(tài)勢(shì)監(jiān)測(cè)要求系統(tǒng)能實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)流量、系統(tǒng)日志、用戶行為等關(guān)鍵信息，及時(shí)發(fā)現(xiàn)并應(yīng)對(duì)安全威脅。在實(shí)時(shí)監(jiān)測(cè)過程中，采用機(jī)器學(xué)習(xí)技術(shù)來建立正常的行為基線，并據(jù)此檢測(cè)異常行為，使用基于滑動(dòng)窗口的異常檢測(cè)算法來實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)流量。該算法可以計(jì)算每個(gè)時(shí)間窗口內(nèi)的流量統(tǒng)計(jì)特征，并與歷史數(shù)據(jù)進(jìn)行比較，檢測(cè)出異常流量。具體公式可以表示為

（5）

式中，為在時(shí)間t的異常得分；為在時(shí)間觀測(cè)到的流量統(tǒng)計(jì)特征值；和分別是到時(shí)間t為止觀測(cè)到的流量統(tǒng)計(jì)特征的均值和標(biāo)準(zhǔn)差。當(dāng)超過某個(gè)預(yù)設(shè)的閾值時(shí)，就認(rèn)為發(fā)生了異常流量。

2. 基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)設(shè)計(jì)

2.1 平臺(tái)架構(gòu)設(shè)計(jì)

基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)設(shè)計(jì)包括四個(gè)核心層次：數(shù)據(jù)采集層負(fù)責(zé)從各種來源自動(dòng)收集數(shù)據(jù)；數(shù)據(jù)存儲(chǔ)與處理層利用分布式存儲(chǔ)技術(shù)高效管理海量數(shù)據(jù)，并進(jìn)行實(shí)時(shí)處理；數(shù)據(jù)分析層運(yùn)用大數(shù)據(jù)分析與挖掘技術(shù)提取有價(jià)值信息；態(tài)勢(shì)感知與可視化層通過綜合評(píng)估模型及實(shí)時(shí)監(jiān)測(cè)算法，實(shí)現(xiàn)網(wǎng)絡(luò)安全的全面態(tài)勢(shì)感知，并將結(jié)果以直觀方式展示，以便快速響應(yīng)決策[3]。基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)如圖1所示。

2.2 關(guān)鍵技術(shù)分析

2.2.1 分布式數(shù)據(jù)采集技術(shù)

分布式數(shù)據(jù)采集技術(shù)是構(gòu)建基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)的基礎(chǔ)。該技術(shù)通過在網(wǎng)絡(luò)環(huán)境中部署多個(gè)數(shù)據(jù)采集節(jié)點(diǎn)，實(shí)現(xiàn)對(duì)多種數(shù)據(jù)源的數(shù)據(jù)監(jiān)控，不僅提高了數(shù)據(jù)采集的效率，還保證了數(shù)據(jù)的完整性。該技術(shù)采用了負(fù)載均衡、數(shù)據(jù)壓縮和加密傳輸?shù)炔呗?，有效解決了大規(guī)模數(shù)據(jù)采集過程中可能出現(xiàn)的網(wǎng)絡(luò)擁塞、數(shù)據(jù)丟失等問題。

2.2.2 大數(shù)據(jù)存儲(chǔ)與計(jì)算框架（如Hadoop、Spark）

Hadoop和Spark是當(dāng)前最流行的大數(shù)據(jù)框架。Hadoop通過分布式文件系統(tǒng)（HDFS）實(shí)現(xiàn)海量數(shù)據(jù)的可靠存儲(chǔ)，并通過MapReduce編程模型支持大規(guī)模數(shù)據(jù)的并行處理；Spark則提供了更加高效的數(shù)據(jù)處理引擎，支持內(nèi)存計(jì)算實(shí)時(shí)分析網(wǎng)絡(luò)數(shù)據(jù)并快速響應(yīng)安全威脅。

2.2.3 數(shù)據(jù)流處理與實(shí)時(shí)分析技術(shù)（如Storm、Flink）

框架采用分布式計(jì)算架構(gòu)，能夠并行處理大量數(shù)據(jù)流，同時(shí)提供低延遲和高吞吐量的數(shù)據(jù)處理能力。通過應(yīng)用這些技術(shù)，網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)能夠在短時(shí)間內(nèi)對(duì)網(wǎng)絡(luò)環(huán)境進(jìn)行全面監(jiān)控，及時(shí)發(fā)現(xiàn)并響應(yīng)安全事件[4]。

2.2.4 機(jī)器學(xué)習(xí)算法在態(tài)勢(shì)感知中的應(yīng)用

機(jī)器學(xué)習(xí)算法通過應(yīng)用機(jī)器學(xué)習(xí)算法，讓網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)自動(dòng)學(xué)習(xí)和識(shí)別網(wǎng)絡(luò)環(huán)境中的正常和異常行為模式。使用無監(jiān)督學(xué)習(xí)算法對(duì)大量網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行聚類分析，發(fā)現(xiàn)異常流量和行為模式；使用監(jiān)督學(xué)習(xí)算法對(duì)已知的安全威脅進(jìn)行分類和識(shí)別；使用強(qiáng)化學(xué)習(xí)算法不斷優(yōu)化態(tài)勢(shì)感知模型，提高威脅檢測(cè)的準(zhǔn)確性。

3. 平臺(tái)應(yīng)用與效果評(píng)估

3.1 平臺(tái)部署與運(yùn)行環(huán)境

基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)的部署需要考慮服務(wù)器硬件、操作系統(tǒng)、大數(shù)據(jù)框架和網(wǎng)絡(luò)環(huán)境等多個(gè)方面。服務(wù)器硬件CPU核心數(shù)，≥32核；內(nèi)存，≥256GB；存儲(chǔ)，≥10TBSSD用于HDFS，≥2TBRAM用于Spark緩存。選擇Linux發(fā)行版，如CentOS 7或Ubuntu 18.04 LTS。大數(shù)據(jù)框架基于Hadoop 3.x，選擇可高速互聯(lián)網(wǎng)連接的內(nèi)部網(wǎng)絡(luò)帶寬足夠支持?jǐn)?shù)據(jù)實(shí)時(shí)傳輸。部署完成后，需要配置相應(yīng)的服務(wù)，如HDFS、YARN、ZooKeeper等，并安裝和配置所需的大數(shù)據(jù)框架和工具。

3.2 應(yīng)用案例分析

以中國(guó)移動(dòng)四川公司網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)為例，該平臺(tái)采用上述技術(shù)架構(gòu)進(jìn)行部署。網(wǎng)絡(luò)流量需要確定采集范圍，以及采集的具體數(shù)據(jù)內(nèi)容。安全事件要定義類型和來源，數(shù)據(jù)采集環(huán)境需要部署數(shù)據(jù)采集代理或傳感器在網(wǎng)絡(luò)中的關(guān)鍵位置，以便捕獲所需的流量、日志和事件[5]。讓數(shù)據(jù)采集設(shè)備具有足夠的處理能力來實(shí)時(shí)捕獲數(shù)據(jù)，并且配置正確，以避免數(shù)據(jù)丟失。設(shè)置大數(shù)據(jù)處理集群（如Hadoop、Spark），配置數(shù)據(jù)流處理框架（如Storm、Flink），以便實(shí)時(shí)分析網(wǎng)絡(luò)流量和日志數(shù)據(jù)。

測(cè)試數(shù)據(jù)集準(zhǔn)備包含正常和異常流量的測(cè)試數(shù)據(jù)集，準(zhǔn)備已知的安全事件數(shù)據(jù)集，用于驗(yàn)證安全事件處理的準(zhǔn)確性。然后，確定實(shí)驗(yàn)的時(shí)間周期，如連續(xù)幾天或幾周，以收集足夠的數(shù)據(jù)進(jìn)行評(píng)估。將捕獲的數(shù)據(jù)導(dǎo)入大數(shù)據(jù)處理集群，并使用MapReduce、Spark等框架進(jìn)行處理分析，使用Storm或Flink處理數(shù)據(jù)流，并計(jì)算處理延遲。應(yīng)用案例數(shù)據(jù)如表1所示。

3.3 效果評(píng)估與優(yōu)化建議

網(wǎng)絡(luò)流量的數(shù)據(jù)采集量達(dá)到每天500GB，且采集延遲不超過1秒，數(shù)據(jù)處理延遲方面，網(wǎng)絡(luò)流量的處理延遲在5秒以內(nèi)，系統(tǒng)日志的處理延遲在3秒以內(nèi)，安全事件的處理延遲更是低于1秒。從表中數(shù)據(jù)可見，網(wǎng)絡(luò)流量的異常檢測(cè)率高達(dá)98%，系統(tǒng)日志的異常檢測(cè)率為95%，安全事件的異常檢測(cè)率更是達(dá)到了100%，平臺(tái)異常檢測(cè)較為準(zhǔn)確。中國(guó)移動(dòng)四川公司網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)在數(shù)據(jù)采集效率、數(shù)據(jù)處理能力和異常檢測(cè)準(zhǔn)確性方面均表現(xiàn)出色。

隨著數(shù)據(jù)量的不斷增長(zhǎng)，平臺(tái)的數(shù)據(jù)處理能力也將面臨更大的挑戰(zhàn)。建議進(jìn)一步升級(jí)大數(shù)據(jù)處理集群的硬件和軟件配置，提升用戶對(duì)平臺(tái)功能和操作的熟練程度，及時(shí)解決用戶在使用過程中遇到的困難。

結(jié)語

本文通過構(gòu)建核心層次平臺(tái)架構(gòu)，實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)安全的全面實(shí)時(shí)監(jiān)控，平臺(tái)采用分布式數(shù)據(jù)采集技術(shù)，有效提高了數(shù)據(jù)采集效率與數(shù)據(jù)完整性。借助Hadoop、Spark等大數(shù)據(jù)框架，實(shí)現(xiàn)了海量數(shù)據(jù)的高效存儲(chǔ)與實(shí)時(shí)處理。通過應(yīng)用機(jī)器學(xué)習(xí)算法，平臺(tái)能夠自動(dòng)學(xué)習(xí)和識(shí)別網(wǎng)絡(luò)環(huán)境中的異常行為模式，從而大幅提高異常檢測(cè)的準(zhǔn)確性。

參考文獻(xiàn)：

[1]王帥.大數(shù)據(jù)背景下網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)技術(shù)分析[J].軟件，2023，44（4）： 172-174.

[2]李昶.基于大數(shù)據(jù)的安全態(tài)勢(shì)感知系統(tǒng)研究[J].移動(dòng)信息，2023，45（9）：132-134.

[3]李澤慧，徐沛東，鄔陽，等.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)應(yīng)用研究[J].計(jì)算機(jī)應(yīng)用與軟件，2023，40（7）：337-341.

[4]謝志奇.基于大數(shù)據(jù)分析的網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)設(shè)計(jì)與應(yīng)用[J].網(wǎng)絡(luò)安全和信息化，2023（10）：115-118.

[5]王可陽.基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知研究[J].科學(xué)與信息化，2023（11）：46-48.

作者簡(jiǎn)介：李靜，碩士研究生，助教，研究方向：網(wǎng)絡(luò)安全；通信作者：楊斌，博士研究生，教授，研究方向：醫(yī)學(xué)大數(shù)據(jù)。