大數(shù)據(jù)下的網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)研究

摘要：該研究旨在構(gòu)建和完善大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)。通過分析系統(tǒng)平臺(tái)架構(gòu)和技術(shù)架構(gòu)，研究了系統(tǒng)在安全防御、威脅情報(bào)獲取與共享、資產(chǎn)狀態(tài)持續(xù)監(jiān)測等方面的設(shè)計(jì)與實(shí)現(xiàn)。研究結(jié)果表明，系統(tǒng)通過集成多種安全技術(shù)和大數(shù)據(jù)分析方法，顯著提升了異常檢測和攻擊鏈分析的準(zhǔn)確性和響應(yīng)速度。研究成果對于提升企業(yè)網(wǎng)絡(luò)安全防護(hù)能力，及時(shí)應(yīng)對和處理潛在威脅具有重要意義，未來將繼續(xù)優(yōu)化系統(tǒng)功能，深化大數(shù)據(jù)與人工智能技術(shù)的融合。

關(guān)鍵詞：大數(shù)據(jù)；網(wǎng)絡(luò)安全；態(tài)勢感知；系統(tǒng)平臺(tái)

中圖分類號(hào)：TN915.08" 文獻(xiàn)標(biāo)志碼：A

作者簡介：盧毅（2003— ），男，本科；研究方向：大數(shù)據(jù)。

0" 引言

在當(dāng)前網(wǎng)絡(luò)安全環(huán)境下，隨著網(wǎng)絡(luò)攻擊的復(fù)雜性和頻率不斷增加，傳統(tǒng)的安全防護(hù)措施已經(jīng)難以應(yīng)對新型威脅。大數(shù)據(jù)技術(shù)的迅猛發(fā)展為網(wǎng)絡(luò)安全態(tài)勢感知提供了新的解決方案。本研究旨在探索和構(gòu)建基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)，通過整合多種數(shù)據(jù)源和先進(jìn)的分析技術(shù)，實(shí)現(xiàn)對網(wǎng)絡(luò)安全態(tài)勢的全面監(jiān)控和及時(shí)響應(yīng)。研究的主要目標(biāo)是提高安全事件的檢測準(zhǔn)確率和響應(yīng)速度，提供全面的安全態(tài)勢分析，幫助企業(yè)有效防御各種網(wǎng)絡(luò)威脅，為提升整體網(wǎng)絡(luò)安全水平提供理論和實(shí)踐支持。

1" 網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)技術(shù)架構(gòu)

1.1" 系統(tǒng)平臺(tái)架構(gòu)

在大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)平臺(tái)架構(gòu)如圖1所示，該平臺(tái)架構(gòu)分為安全管理層、智能分析層、安全數(shù)據(jù)中心層、數(shù)據(jù)提取層和全網(wǎng)安全信息來源5個(gè)層次。安全管理層負(fù)責(zé)用戶指揮、動(dòng)態(tài)感知、安全洞察、態(tài)勢分析、決策管理和系統(tǒng)運(yùn)維管理等功能。智能分析層包括宏觀態(tài)勢分析、脆弱性分析、風(fēng)險(xiǎn)感知、入侵檢測、行為分析、威脅情報(bào)分析、情境分析和數(shù)據(jù)挖掘。安全數(shù)據(jù)中心層提供日志存儲(chǔ)計(jì)算、數(shù)據(jù)流處理、全量數(shù)據(jù)分析、離線計(jì)算、模型訓(xùn)練、標(biāo)簽挖掘、知識(shí)圖譜等功能［1］。數(shù)據(jù)提取層負(fù)責(zé)日志與流量解析、數(shù)據(jù)清洗、日志存儲(chǔ)、流量數(shù)據(jù)存儲(chǔ)、脫敏和特征提取等工作。全網(wǎng)安全信息來源包括防火墻、入侵檢測和防御系統(tǒng)（IDS/IPS）、Web應(yīng)用防火墻（WAF）、郵件網(wǎng)關(guān)、終端防護(hù)平臺(tái)（EPP）、數(shù)據(jù)泄露防護(hù)（DLP）、統(tǒng)一威脅管理（UTM）、安全信息與事件管理（SIEM）、威脅情報(bào)平臺(tái)（TIP）等［2］。以上設(shè)備和系統(tǒng)提供網(wǎng)絡(luò)流量、日志、行為數(shù)據(jù)等多種安全數(shù)據(jù)來源。

1.2" DBSCAN聚類算法研究

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一種基于密度的聚類算法，適用于處理含噪聲和形狀不規(guī)則的數(shù)據(jù)集［3］。DBSCAN通過定義高密度區(qū)域中的數(shù)據(jù)點(diǎn)為簇，低密度區(qū)域中的數(shù)據(jù)點(diǎn)為噪聲點(diǎn)，從而進(jìn)行有效的聚類分析。DBSCAN通過ε（epsilon）和MinPts這2個(gè)關(guān)鍵參數(shù)來定義數(shù)據(jù)點(diǎn)的鄰域。具體而言，DBSCAN聚類算法首先定義每個(gè)數(shù)據(jù)點(diǎn)的ε-鄰域，然后識(shí)別核心點(diǎn)，即在其ε-鄰域內(nèi)至少包含MinPts個(gè)點(diǎn)；接著，從核心點(diǎn)開始，將在其ε-鄰域內(nèi)的所有點(diǎn)標(biāo)記為同一個(gè)簇并遞歸處理這些鄰域點(diǎn)，直至所有點(diǎn)被處理。其中，在某個(gè)核心點(diǎn)ε-鄰域內(nèi)的非核心點(diǎn)被標(biāo)記為邊界點(diǎn)，而不屬于任何簇的點(diǎn)被標(biāo)記為噪聲點(diǎn)。

DBSCAN的核心計(jì)算公式包括距離計(jì)算公式，如式（1）所示。

dist（di，dj）=∑nk=1（dik-djk）2（1）

其中，dik和djk分別為數(shù)據(jù)點(diǎn)di和dj在第k維的坐標(biāo)。

ε-鄰域定義為：

N（di）={dj∈D｜dist（di，dj）≤}（2）

核心點(diǎn)條件為：

|N（di）|≥MinPts（3）

在網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)中，DBSCAN被廣泛應(yīng)用于異常檢測和入侵檢測，通過對網(wǎng)絡(luò)流量數(shù)據(jù)和日志數(shù)據(jù)進(jìn)行聚類分析，識(shí)別異常行為和潛在威脅［4］。在應(yīng)用過程中，首先采集網(wǎng)絡(luò)數(shù)據(jù)包并提取相關(guān)屬性，然后對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，應(yīng)用DBSCAN進(jìn)行聚類分析，識(shí)別出異常數(shù)據(jù)點(diǎn)，最后生成預(yù)警信息和安全報(bào)告，輔助安全管理人員決策。通過應(yīng)用DBSCAN算法，網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)能夠更精準(zhǔn)地檢測異常行為和潛在威脅，為企業(yè)提供更全面的安全防護(hù)能力。DBSCAN算法在處理帶有噪聲和形狀不規(guī)則的數(shù)據(jù)集方面表現(xiàn)出色，能夠自動(dòng)識(shí)別簇的數(shù)量，適用于復(fù)雜多變的網(wǎng)絡(luò)環(huán)境。在網(wǎng)絡(luò)流量分析中，DBSCAN算法可以發(fā)現(xiàn)異常流量模式；在日志分析中，DBSCAN算法可以識(shí)別出異常登錄行為和可疑活動(dòng)軌跡，從而顯著提升網(wǎng)絡(luò)安全防護(hù)水平［5］。

2" 系統(tǒng)功能設(shè)計(jì)及實(shí)現(xiàn)

2.1" 威脅情報(bào)獲取與共享功能設(shè)計(jì)及實(shí)現(xiàn)

通過整合系統(tǒng)多種數(shù)據(jù)源，包括外部威脅情報(bào)源（如開源情報(bào)、商業(yè)情報(bào)服務(wù)、社區(qū)共享情報(bào)等）和內(nèi)部威脅情報(bào)源（如企業(yè)內(nèi)部安全設(shè)備、應(yīng)用系統(tǒng)、用戶行為等），本文采取主動(dòng)采集和被動(dòng)接收2種方式，從各類數(shù)據(jù)源獲取威脅情報(bào)并對其進(jìn)行預(yù)處理，包括數(shù)據(jù)清洗、格式轉(zhuǎn)換和去重等，以確保數(shù)據(jù)質(zhì)量和一致性。系統(tǒng)利用大數(shù)據(jù)分析技術(shù)和機(jī)器學(xué)習(xí)算法，對采集的威脅情報(bào)進(jìn)行深度分析，通過協(xié)議還原、沙箱行為分析、用戶行為分析、動(dòng)態(tài)域名分析和惡意程序特征匹配等技術(shù)，及時(shí)發(fā)現(xiàn)和識(shí)別安全威脅。威脅情報(bào)融合與共享平臺(tái)支持不同安全設(shè)備和系統(tǒng)之間的情報(bào)共享，通過融合與關(guān)聯(lián)分析，生成綜合性的安全態(tài)勢報(bào)告，幫助企業(yè)安全管理人員快速了解當(dāng)前的安全狀況［6］。威脅情報(bào)獲取共享如圖2所示。

2.2" 持續(xù)監(jiān)測資產(chǎn)狀態(tài)功能設(shè)計(jì)及實(shí)現(xiàn)

系統(tǒng)通過被動(dòng)探測（如NetFlow、流量分析）和主動(dòng)探測（如端口掃描、服務(wù)掃描）結(jié)合代理深度探測和第三方數(shù)據(jù)（如CMDB、日志等），實(shí)現(xiàn)對網(wǎng)絡(luò)中所有資產(chǎn)的全面發(fā)現(xiàn)與識(shí)別。通過對采集的資產(chǎn)數(shù)據(jù)進(jìn)行合并、去重、補(bǔ)全，生成完整的資產(chǎn)視圖。系統(tǒng)將各類數(shù)據(jù)源的信息進(jìn)行融合，分析資產(chǎn)組成、分類和標(biāo)記化，確保資產(chǎn)信息的準(zhǔn)確性和完整性。資產(chǎn)管理模塊提供資產(chǎn)預(yù)備案管理、資產(chǎn)維護(hù)、安全配置管理、資產(chǎn)地圖和資產(chǎn)報(bào)表等功能，能夠?qū)Y產(chǎn)進(jìn)行分組、分類和分域管理，支持多維度和多標(biāo)準(zhǔn)的資產(chǎn)視圖展示。系統(tǒng)提供7×24h的實(shí)時(shí)監(jiān)測，通過周期性掃描和實(shí)時(shí)感知技術(shù)，及時(shí)發(fā)現(xiàn)新增資產(chǎn)、變化資產(chǎn)和資產(chǎn)脆弱性，結(jié)合多種協(xié)議探測技術(shù)和豐富的資產(chǎn)指紋庫，精確識(shí)別資產(chǎn)類型、版本和開放服務(wù)。

系統(tǒng)通過分布式數(shù)據(jù)采集引擎，實(shí)時(shí)收集來自不同探測手段和數(shù)據(jù)源的資產(chǎn)信息，采用Kafka和Flume等技術(shù)進(jìn)行數(shù)據(jù)流處理，確保數(shù)據(jù)的高效傳輸和處理。利用Hadoop、NoSQL數(shù)據(jù)庫和關(guān)系型數(shù)據(jù)庫對海量資產(chǎn)數(shù)據(jù)進(jìn)行存儲(chǔ)和管理，確保數(shù)據(jù)的高可用性和安全性。系統(tǒng)集成多種智能分析模塊，通過實(shí)時(shí)分析和批量分析，能夠識(shí)別異常行為和潛在威脅并生成相應(yīng)的預(yù)警信息。系統(tǒng)的持續(xù)監(jiān)測資產(chǎn)狀態(tài)功能實(shí)現(xiàn)的整體流程如圖3所示。

3" 系統(tǒng)測試

3.1" 惡意域名及DNS隱蔽信道檢測

DNS隱蔽信道是一種利用DNS協(xié)議進(jìn)行數(shù)據(jù)傳輸?shù)募夹g(shù)，攻擊者將敏感數(shù)據(jù)編碼到DNS查詢請求中并將其傳輸?shù)酵獠糠?wù)器，從而繞過傳統(tǒng)的安全防護(hù)措施。為應(yīng)對這種威脅，本系統(tǒng)采用了多種先進(jìn)技術(shù)進(jìn)行檢測，包括短文本分類和特異度評分算法，同時(shí)還利用Hadoop和NoSQL數(shù)據(jù)庫，對海量DNS日志數(shù)據(jù)進(jìn)行存儲(chǔ)和管理，確保數(shù)據(jù)的高可用性和安全性。智能分析模塊通過機(jī)器學(xué)習(xí)算法和行為分析技術(shù)，對異常域名請求進(jìn)行深度分析，識(shí)別潛在的惡意行為。UI與可視化層將檢測結(jié)果轉(zhuǎn)化為易于理解的圖表和報(bào)告，幫助安全管理人員實(shí)時(shí)監(jiān)控和分析DNS隱蔽信道活動(dòng)。系統(tǒng)設(shè)計(jì)了自動(dòng)化響應(yīng)機(jī)制，一旦檢測到惡意域名或DNS隱蔽信道，立即生成告警并通知相關(guān)安全人員，采取相應(yīng)的阻斷和防護(hù)措施。

在系統(tǒng)測試完成后，研究人員發(fā)現(xiàn)對惡意域名的檢測率提升了35%，利用特異度評分算法，系統(tǒng)對DNS隱蔽信道的識(shí)別準(zhǔn)確率達(dá)到90%以上，自動(dòng)化響應(yīng)機(jī)制將平均響應(yīng)時(shí)間從10min縮短至3min，有效提升了安全事件的處理效率。系統(tǒng)檢測惡意域名及DNS隱蔽信道的可視化如圖4所示。

3.2" 攻擊鏈分析檢測

攻擊鏈分析檢測方法包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、攻擊階段劃分、線索日志篩選和攻擊鏈構(gòu)建。在系統(tǒng)實(shí)施測試中，數(shù)據(jù)表明系統(tǒng)在攻擊鏈分析檢測方面表現(xiàn)優(yōu)異。通過多種分析技術(shù)結(jié)合，系統(tǒng)對攻擊鏈的識(shí)別率提升了40%，對復(fù)雜攻擊行為的檢測精度達(dá)到85%以上，自動(dòng)化響應(yīng)機(jī)制將平均響應(yīng)時(shí)間從15min縮短至5min，有效提升了安全事件的處理效率。

4" 結(jié)語

本研究通過構(gòu)建大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)，詳細(xì)分析了其技術(shù)架構(gòu)、功能設(shè)計(jì)及實(shí)際應(yīng)用情況。系統(tǒng)技術(shù)架構(gòu)包括數(shù)據(jù)攝取、存儲(chǔ)、治理、監(jiān)測分析、指揮調(diào)度以及可視化層，綜合利用大數(shù)據(jù)分析和機(jī)器學(xué)習(xí)算法，實(shí)現(xiàn)了對網(wǎng)絡(luò)安全態(tài)勢的實(shí)時(shí)監(jiān)測與深度分析。在功能設(shè)計(jì)方面，系統(tǒng)集成了安全防御、威脅

參考文獻(xiàn)

［1］李澤慧，徐沛東，鄔陽，等.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知平臺(tái)應(yīng)用研究［J］.計(jì)算機(jī)應(yīng)用與軟件，2023（7）：337-341.

［2］謝志奇.基于大數(shù)據(jù)分析的網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)設(shè)計(jì)與應(yīng)用［J］.網(wǎng)絡(luò)安全和信息化，2023（10）：115-118.

［3］方一程.大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)安全態(tài)勢感知與技術(shù)研究［J］.網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2023（8）：21-23.

［4］張人杰.大數(shù)據(jù)態(tài)勢感知系統(tǒng)在網(wǎng)絡(luò)安全管理中的應(yīng)用［J］.電子技術(shù)，2023（5）：198-199.

［5］謝東剛，呂連.基于大數(shù)據(jù)的高職院校網(wǎng)絡(luò)安全態(tài)勢感知系統(tǒng)探析［J］.電腦知識(shí)與技術(shù)，2023（27）：77-79.

［6］王可陽.基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全態(tài)勢感知研究［J］.科學(xué)與信息化，2023（11）：46-48.

（編輯" 王雪芬）

Research on network security situation awareness system under big data

LU" Yi

（College of Computer Science and Technology，Hubei University of Science and Technology，

Xianning 437100， China）

Abstract： This study aims to construct and improve a network security situation awareness system in the big data environment. By analyzing the system platform architecture and technical architecture， the design and implementation of the system in security defense， threat intelligence acquisition and sharing， and continuous monitoring of asset status are studied. The research results indicate that the system significantly improves the accuracy and response speed of anomaly detection and attack chain analysis by integrating multiple security technologies and big data analysis methods. The research results are of great significance for enhancing the network security protection capabilities of enterprises， timely responding to and dealing with potential threats. The optimization of the system functions will be continued， and the integration of big data and artificial intelligence technology will be deepened in the future.

Key words： big data; network security; situation awareness; system platform