基于機(jī)器學(xué)習(xí)的電網(wǎng)威脅檢測(cè)算法模型和大數(shù)據(jù)平臺(tái)設(shè)計(jì)

陳益芳，宣羿，樊立波，孫智卿，屠永偉，張亦涵，蔡乾晨

(1.國(guó)網(wǎng)浙江省電力有限公司杭州供電公司，浙江 杭州 310016) (2.國(guó)網(wǎng)浙江省電力有限公司，浙江 杭州 310063) (3.深信服科技股份有限公司，廣東 深圳 518000)

電力企業(yè)網(wǎng)絡(luò)安全關(guān)系國(guó)家安全、經(jīng)濟(jì)命脈，網(wǎng)絡(luò)安全事件給國(guó)計(jì)民生帶來重大損失。而當(dāng)今世界正處于信息時(shí)代，信息技術(shù)飛速發(fā)展，給社會(huì)、政治、經(jīng)濟(jì)、文化帶來重大影響。生產(chǎn)生活信息化和經(jīng)濟(jì)全球化相互促進(jìn)，互聯(lián)網(wǎng)已經(jīng)融入社會(huì)生活的方方面面， 深刻地改變了人們的生產(chǎn)和生活方式[1-5]。2015年12月，烏克蘭電網(wǎng)遭到黑客的網(wǎng)絡(luò)攻擊，造成烏克蘭境內(nèi)多個(gè)區(qū)域停電數(shù)小時(shí)。2019年3月，委內(nèi)瑞拉發(fā)生大規(guī)模停電，嚴(yán)重影響到了委內(nèi)瑞拉整個(gè)國(guó)家的生產(chǎn)、交通、通訊系統(tǒng)。2019年7月，伊朗信息戰(zhàn)隊(duì)入侵美國(guó)紐約市電網(wǎng)控制中心，造成紐約市大規(guī)模停電數(shù)小時(shí)，引發(fā)了極大地混亂[6-10]。隨著網(wǎng)絡(luò)信息技術(shù)的發(fā)展和信息化與工業(yè)化的融合，網(wǎng)絡(luò)安全的重要性愈發(fā)凸顯。

基于某供電公司現(xiàn)有的網(wǎng)絡(luò)安全系統(tǒng)以及安全日志數(shù)據(jù)，為提升公司整體安全能力建設(shè)，圍繞“打造行業(yè)級(jí)網(wǎng)絡(luò)安全平臺(tái)和基礎(chǔ)設(shè)施、提升網(wǎng)絡(luò)安全技術(shù)防護(hù)能力、強(qiáng)化數(shù)據(jù)安全保障”三項(xiàng)重點(diǎn)目標(biāo)，構(gòu)建網(wǎng)絡(luò)安全數(shù)據(jù)大平臺(tái)，具備可視化、可預(yù)警、可建模、可擴(kuò)展的能力，極大提升電力公司內(nèi)部特定場(chǎng)景的安全檢測(cè)威脅發(fā)現(xiàn)能力。提高電網(wǎng)系統(tǒng)安全管理水平，降低電網(wǎng)系統(tǒng)所面臨的安全風(fēng)險(xiǎn)威脅，保證電網(wǎng)系統(tǒng)安全、穩(wěn)定地運(yùn)行。

1 研究思路

本文研究網(wǎng)絡(luò)安全大數(shù)據(jù)運(yùn)營(yíng)技術(shù)，運(yùn)用大數(shù)據(jù)建立AI檢測(cè)模型，通過持續(xù)安全運(yùn)營(yíng)迭代檢測(cè)模型算法，構(gòu)建自進(jìn)化AI威脅檢測(cè)引擎；推進(jìn)自進(jìn)化AI態(tài)勢(shì)感知平臺(tái)的試點(diǎn)部署及功能升級(jí)。研發(fā)屬于電力行業(yè)的網(wǎng)絡(luò)安全場(chǎng)景模型，搭建網(wǎng)絡(luò)安全仿真驗(yàn)證環(huán)境基礎(chǔ)結(jié)構(gòu)，針對(duì)電力內(nèi)網(wǎng)環(huán)境的因子變化，以及日志分析做到安全問題定位與分析[11-12]。全面采集杭州電網(wǎng)安全風(fēng)險(xiǎn)和接收來自各設(shè)備的安全信息，實(shí)現(xiàn)全網(wǎng)安全風(fēng)險(xiǎn)分析和整體安全運(yùn)營(yíng)。安全大數(shù)據(jù)平臺(tái)打通安全運(yùn)營(yíng)人員和流程，并通過大數(shù)據(jù)、威脅情報(bào)、運(yùn)營(yíng)流程的交互界面，提升本地已部署的各類安全組件的聯(lián)動(dòng)能力，實(shí)現(xiàn)對(duì)各類安全威脅深度檢測(cè)，安全風(fēng)險(xiǎn)全面分析。

2 安全分析模型設(shè)計(jì)

網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)構(gòu)建包括平臺(tái)以及各類流程、日志采集探針，通過深度挖掘數(shù)據(jù)中存在的關(guān)聯(lián)價(jià)值與AI建模，其中計(jì)劃構(gòu)建的模型如圖1所示：

圖1 網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)模型Fig.1 Cyber security big data platform model

2.1 賬號(hào)越權(quán)模型

根據(jù)業(yè)務(wù)系統(tǒng)賬號(hào)的安全訪問需求，建立一套賬號(hào)越權(quán)訪問管理的規(guī)范和預(yù)警規(guī)則。通過對(duì)匯集的自助設(shè)備日志、柜臺(tái)終端日志、業(yè)務(wù)系統(tǒng)日志、流量數(shù)據(jù)等進(jìn)行深度分析，以業(yè)務(wù)系統(tǒng)接入活動(dòng)軌跡為主線，對(duì)業(yè)務(wù)系統(tǒng)連接訪問情況、終端訪問情況、客戶端活躍程度等多位信息進(jìn)行深度挖掘和分析判別，并結(jié)合用戶實(shí)體行為分析(user and entity behavior analytics, UEBA)[13-16]技術(shù)進(jìn)行持續(xù)的特征向量計(jì)算。對(duì)賬號(hào)的關(guān)系進(jìn)行分析如常用的登錄設(shè)備、常用的登錄IP、常用的登錄地點(diǎn)，保障賬號(hào)安全維護(hù)賬號(hào)管控體系的安全，為賬號(hào)越權(quán)行為涉及的需審查終端進(jìn)行分析判別時(shí)提供依據(jù)。

2.1.1 模型構(gòu)建思路

基于業(yè)務(wù)系統(tǒng)日志、流量訪問日志[17-21]進(jìn)行分析，可通過對(duì)業(yè)務(wù)系統(tǒng)的連接訪問情況、對(duì)終端查詢?cè)?、賬號(hào)發(fā)起人、獲取訪問頻次進(jìn)行綜合分析判別，建立賬號(hào)越權(quán)訪問的分析模型。具體可從以下維度進(jìn)行分析：

(1)重點(diǎn)檢測(cè)目標(biāo)端口為22或3389的流量日志，防范異常的遠(yuǎn)程主機(jī)登錄行為。

(2)對(duì)于賬戶信息、網(wǎng)絡(luò)信息等信息搜集行為和其他憑證獲取行為，結(jié)合終端日志進(jìn)行檢測(cè)與告警。

(3)分析關(guān)鍵賬號(hào)或IP的登錄次數(shù)、操作次數(shù)、訪問次數(shù)，進(jìn)行登錄趨勢(shì)的記錄，當(dāng)?shù)卿浕€異常進(jìn)行告警。

(4)分析關(guān)鍵賬號(hào)的操作關(guān)系行為、登錄關(guān)系行為，根據(jù)歷史數(shù)據(jù)分析賬號(hào)常用的關(guān)系，比如登錄IP或地點(diǎn)，常用操作、常用登錄時(shí)間段。當(dāng)業(yè)務(wù)系統(tǒng)出現(xiàn)新的登錄IP、多主機(jī)登陸同一賬號(hào)、同一主機(jī)登陸多個(gè)賬號(hào)、新的登錄地點(diǎn)或舊IP下出現(xiàn)新的高權(quán)限賬號(hào)，訪問新的敏感數(shù)據(jù)、出現(xiàn)新的數(shù)據(jù)操作等行為判斷為賬號(hào)越權(quán)訪問。

2.1.2 算法分析

賬號(hào)越權(quán)模型中采用的UEBA技術(shù)通過建立用戶風(fēng)險(xiǎn)評(píng)分模型，體現(xiàn)用戶風(fēng)險(xiǎn)程度。通過公式從失陷賬戶、內(nèi)部合規(guī)、數(shù)據(jù)泄露等多個(gè)維度計(jì)算風(fēng)險(xiǎn)分值，異常行為越多則風(fēng)險(xiǎn)分值越高。進(jìn)行用戶行為建模、行為關(guān)聯(lián)分析、行為異常分析實(shí)現(xiàn)更加精確的電網(wǎng)系統(tǒng)安全威脅檢測(cè)。

采用異常點(diǎn)監(jiān)測(cè)算法[22-24]通過構(gòu)建賬號(hào)與IP的對(duì)應(yīng)關(guān)系進(jìn)行異常點(diǎn)建模如：N1、N2區(qū)域代表正常點(diǎn)的數(shù)據(jù)集合，區(qū)域中的點(diǎn)代表了時(shí)間T之內(nèi)與賬號(hào)Z之間的對(duì)應(yīng)關(guān)系。而O1作為一個(gè)數(shù)據(jù)對(duì)象在建模的坐標(biāo)系統(tǒng)明顯遠(yuǎn)離其他的正常的N1、N2區(qū)域，因此標(biāo)記為異常點(diǎn)(outlier)。如下圖2所示，假定N1、N2為兩個(gè)正常數(shù)據(jù)點(diǎn)集合。而距離集合N1、N2較遠(yuǎn)的O1、O2、O3集合則標(biāo)記為異常點(diǎn)集合。

圖2 異常點(diǎn)建模Fig.2 Anomaly modeling

移動(dòng)平均(moving average)[25-28]常被用于時(shí)間序列分析，其本質(zhì)上是低頻濾波器，可以過濾時(shí)間序列中的高頻擾動(dòng)和檢測(cè)序列數(shù)據(jù)中的異常點(diǎn)。本文通過利用移動(dòng)平均原理計(jì)算某時(shí)間段內(nèi)的用戶行為風(fēng)險(xiǎn)分值的移動(dòng)均值，并與該時(shí)刻T的風(fēng)險(xiǎn)分值進(jìn)行對(duì)比，若兩者相差超過一定閾值則可檢測(cè)出該時(shí)刻T的用戶行為異常。

針對(duì)本次賬號(hào)越權(quán)的行為，經(jīng)過多次實(shí)驗(yàn)從支持向量機(jī)、樸素貝葉斯、邏輯回歸算法中選擇最優(yōu)的算法進(jìn)行建模，實(shí)驗(yàn)結(jié)果是使用支持向量機(jī)的模型檢測(cè)準(zhǔn)確率最高。支持向量機(jī)(support vector machines, SVM)[29]有如下優(yōu)點(diǎn)：

(1)適合解決小樣本的機(jī)器學(xué)習(xí)問題；

(2)SVM 模型可以有效地避免維數(shù)災(zāi)難；

(3)沒有局部極小值問題；

(4)能夠有效處理高維數(shù)據(jù)，具有較強(qiáng)的泛化能力。

鑒于上述分析，本節(jié)提出以SVM模型為核心的賬號(hào)越權(quán)模型。因此針對(duì)如何選擇有代表性，更好的特征提高SVM分類準(zhǔn)確率的問題， 利用RFE算法[30]先選出部分優(yōu)秀的特征子集作為遺傳算法解空間的先驗(yàn)知識(shí)，幫助遺傳算法更合理的初始化種群，引導(dǎo)算法進(jìn)化，更快地選出優(yōu)秀的特征子集。通過改進(jìn)后的特征選擇算法選出更好的特征子集來表達(dá)樣本，從而提高SVM分類的準(zhǔn)確率。

SVM算法是一種二分類模型。其算法思想是將特征空間正確劃分為兩部分，并最大化被劃分的兩部分之間的間隔，SVM學(xué)習(xí)算法就是對(duì)特征空間超平面分類的凸二次規(guī)劃求解。建設(shè)一個(gè)基于所有基本賬號(hào)的特征權(quán)限，一旦有發(fā)生特征偏離的情況即會(huì)進(jìn)行偏離的業(yè)務(wù)判定。

圖3 異常點(diǎn)排列圖Fig.3 Anomaly alignment chart

采用兩類平面的構(gòu)造式為：

(1)

同時(shí)為了解決離散點(diǎn)數(shù)據(jù)優(yōu)化問題，進(jìn)來，引入拉格朗日公式：

(2)

當(dāng)滿足w，b的偏導(dǎo)為0的時(shí)候，即可得到算法的最優(yōu)解。

aj≥0j=1,2,…,l

(3)

因此得到最優(yōu)分類超平面：

f(x)=sgn{(w*·x)+b*}=

(4)

根據(jù)上述離散點(diǎn)SVM向量的優(yōu)化特征不難得出整個(gè)基于最優(yōu)化的平面線，并可對(duì)出現(xiàn)的賬號(hào)業(yè)務(wù)偏差做相關(guān)的判定?？梢葬槍?duì)同一賬號(hào)在不同時(shí)間點(diǎn)的登陸判定，事件只要有偏離f(x)的關(guān)聯(lián)性后就會(huì)產(chǎn)生相關(guān)告警。

2.2 設(shè)備仿冒模型

通過對(duì)設(shè)備以主機(jī)名、MAC地址、IP進(jìn)行唯一標(biāo)識(shí)結(jié)合流量識(shí)別建立設(shè)備資產(chǎn)指紋庫(kù)。對(duì)設(shè)備行為進(jìn)行基線建立，如流量的基線、操作的基線、訪問頻次的基線，實(shí)現(xiàn)對(duì)設(shè)備活動(dòng)異常行為的檢測(cè)和預(yù)警。當(dāng)仿冒設(shè)備的攻擊者進(jìn)行橫向移動(dòng)，獲取信息或發(fā)起暴力破解、漏洞等攻擊手法展開惡意活動(dòng)時(shí)，及時(shí)發(fā)現(xiàn)攻擊者的惡意程序、后門的活動(dòng)軌跡。

2.2.1 設(shè)備仿冒模型構(gòu)建思路

(1)通過流量資產(chǎn)識(shí)別，識(shí)別新增的設(shè)備，如果識(shí)別到新違規(guī)設(shè)備則告警(搜集常見廠商攝像頭打印機(jī)的MAC地址。

(2)檢測(cè)同IP下的MAC地址變動(dòng)活動(dòng)，通過維護(hù)IP、MAC關(guān)系表，識(shí)別設(shè)備替換行為并調(diào)用資產(chǎn)識(shí)別系統(tǒng)對(duì)該設(shè)備進(jìn)行指紋掃描和上報(bào)處理。

(3)通過流量監(jiān)測(cè)新增設(shè)備的活動(dòng)軌跡(包括活動(dòng)時(shí)間和流量路徑等)，根據(jù)常用業(yè)務(wù)場(chǎng)景或者結(jié)合UEBA技術(shù)建立白名單范圍并設(shè)置相應(yīng)告警規(guī)則，防止?jié)撛诘膬?nèi)網(wǎng)滲透攻擊。

(4)監(jiān)測(cè)攝像頭、打印機(jī)等設(shè)備的訪問源和訪問目的的流量，針對(duì)內(nèi)網(wǎng)資產(chǎn)建立白名單，對(duì)名單范圍之外的可疑流量進(jìn)行告警。

(5)結(jié)合威脅情報(bào)對(duì)設(shè)備訪問流量進(jìn)行審計(jì)，對(duì)出現(xiàn)過的風(fēng)險(xiǎn)IP進(jìn)行告警。

2.2.2 設(shè)備仿冒模型算法分析

設(shè)備仿冒模型的構(gòu)建亦可以根據(jù)UEBA的聚類場(chǎng)景進(jìn)行分析。如可以采用異常角度點(diǎn)進(jìn)行檢測(cè)。

圖4 基于角度異常點(diǎn)的時(shí)間檢測(cè)Fig.4 Time detection based on angular anomalies

(5)

假設(shè)D是點(diǎn)集，則對(duì)于任意不同的點(diǎn)Y,Z∈D，點(diǎn)X的所有角度的方差為：

(6)

理論上異常點(diǎn)所求出的所有角度的方差較小，通過這個(gè)算法可以求出序列中的異常點(diǎn)，而該算法的時(shí)間復(fù)雜度是O(N3)，非常適合數(shù)據(jù)量比較小的訓(xùn)練樣本進(jìn)行使用。

2.3 自建小系統(tǒng)檢測(cè)模型

通過收集常用業(yè)務(wù)系統(tǒng)清單，根據(jù)常用業(yè)務(wù)系統(tǒng)關(guān)鍵屬性建立業(yè)務(wù)系統(tǒng)白名單；結(jié)合對(duì)主機(jī)的訪問日志、終端管理設(shè)備日志、傳輸文件樣本分析等數(shù)據(jù)構(gòu)建自建小系統(tǒng)分析模型，追蹤自建小系統(tǒng)上的操作執(zhí)行情況，并通過網(wǎng)絡(luò)流量數(shù)據(jù)分析網(wǎng)絡(luò)中敏感數(shù)據(jù)的訪問和外發(fā)情況從而進(jìn)一步追溯對(duì)自建小系統(tǒng)的異常訪問行為。

2.3.1 自建小系統(tǒng)檢測(cè)模型構(gòu)建思路

(1)利用實(shí)時(shí)流式分析框架，構(gòu)建時(shí)間窗口內(nèi)的群體用戶訪問行為的特征向量，分析群體用戶外的個(gè)體用戶對(duì)業(yè)務(wù)系統(tǒng)的訪問行為特征向量，尋找差異。

(2)對(duì)網(wǎng)絡(luò)流量中識(shí)別的網(wǎng)站用戶訪問行為進(jìn)行日志字段特征構(gòu)建，特征采集http flow和ftp flow匹配開放的端口，形成自建小系統(tǒng)URL模型。

(3)排除遠(yuǎn)程登陸RPC的訪問，以及排除掉71000端口，13389端口,還有登記備案的URL以及域名。

基于自建系統(tǒng)的模型主要是實(shí)現(xiàn)數(shù)據(jù)的去噪與去重，對(duì)匹配上的數(shù)據(jù)進(jìn)行集中統(tǒng)計(jì)，降低監(jiān)測(cè)的誤報(bào)。針對(duì)該場(chǎng)景，利用UEBA內(nèi)置模型，通過對(duì)篩選服務(wù)器的地址、端口、時(shí)間段、地點(diǎn)的異常監(jiān)控，判斷是否存在訪問異常，發(fā)現(xiàn)非常用地址和非常用時(shí)間通過高風(fēng)險(xiǎn)協(xié)議如rdp/ftp/smtp/telnet等協(xié)議訪問業(yè)務(wù)服務(wù)器(黑客非法遠(yuǎn)程控制或自建業(yè)務(wù)系統(tǒng))。

3 網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)

“網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)”整體架構(gòu)如上圖所示，從數(shù)據(jù)源層采集數(shù)據(jù)，通過對(duì)數(shù)據(jù)進(jìn)行解析和關(guān)聯(lián)分析形成主題數(shù)據(jù)。安全大網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)提供檢索引擎分析主題數(shù)據(jù)，支持利用數(shù)據(jù)開發(fā)工廠自定義數(shù)據(jù)解析和關(guān)聯(lián)分析規(guī)則。其中大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)的存儲(chǔ)、處理和分析的基礎(chǔ)能力。本次平臺(tái)設(shè)計(jì)分成三個(gè)架構(gòu)層：數(shù)據(jù)源層、平臺(tái)層、應(yīng)用層。

圖5 網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)架構(gòu)Fig.5 Cybersecurity big data platform architecture

3.1 數(shù)據(jù)源層

安全大網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)支持接入流量探針采集的數(shù)據(jù)，基礎(chǔ)設(shè)施的日志數(shù)據(jù)和安全設(shè)備的日志數(shù)據(jù)。流量探針可以采集提取流量中的HTTP、UDP、TCP、DNS、POP3、FTP、HTTP文件傳輸、SSL、SSH、MySQL、Oracle等協(xié)議會(huì)話的關(guān)鍵數(shù)據(jù)以及PCAP包。基礎(chǔ)設(shè)施可以采集電網(wǎng)服務(wù)器、電網(wǎng)終端、電網(wǎng)網(wǎng)絡(luò)設(shè)備、電網(wǎng)應(yīng)用系統(tǒng)和電網(wǎng)業(yè)務(wù)日志數(shù)據(jù)，應(yīng)用系統(tǒng)日志主要包括用戶管理、認(rèn)證系統(tǒng)、業(yè)務(wù)系統(tǒng)的操作日志、用戶信息、訪問信息等數(shù)據(jù)。網(wǎng)絡(luò)安全設(shè)備主要包括東軟防火墻、東軟WAF、路由器、交換機(jī)、APT檢測(cè)、IPS等網(wǎng)內(nèi)關(guān)鍵網(wǎng)絡(luò)安全設(shè)備。

3.2 平臺(tái)層

網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)由電網(wǎng)數(shù)據(jù)采集子系統(tǒng)、電網(wǎng)行為邏輯關(guān)聯(lián)分析子系統(tǒng)、機(jī)器學(xué)習(xí)子系統(tǒng)、大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)軟件層、主題數(shù)據(jù)層、可視化開發(fā)子系統(tǒng)組成。

電網(wǎng)數(shù)據(jù)采集子系統(tǒng)包括數(shù)據(jù)提取、數(shù)據(jù)解析和數(shù)據(jù)映射三個(gè)主要功能。數(shù)據(jù)提取支持從多種異構(gòu)數(shù)據(jù)源(FTP服務(wù)器、本地目錄文件、syslog、外發(fā)數(shù)據(jù)等)采集數(shù)據(jù)到大數(shù)據(jù)體系中。

電網(wǎng)行為邏輯關(guān)聯(lián)分析子系統(tǒng)的核心是提供針對(duì)流式數(shù)據(jù)的復(fù)雜事件處理能力，同時(shí)支持多類型源數(shù)據(jù)融合處理分析。關(guān)聯(lián)規(guī)則分析[31]引擎預(yù)置多種安全事件定義模板和安全事件分析模型，同時(shí)支持可視化拖拽和參數(shù)配置的方式對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，進(jìn)而提高實(shí)施和二次開發(fā)的效率。

機(jī)器學(xué)習(xí)子系統(tǒng)利用機(jī)器學(xué)習(xí)的方法構(gòu)建安全分析模型，并支持自定義機(jī)器學(xué)習(xí)模型，通過輸入任意指標(biāo)類數(shù)據(jù)進(jìn)行模型訓(xùn)練，發(fā)現(xiàn)異常行為并生成安全事件與告警，降低建模的難度，提高效率。

主題數(shù)據(jù)是通過對(duì)數(shù)據(jù)進(jìn)行解析和泛化、多維關(guān)聯(lián)分析，數(shù)據(jù)建模分析后最終形成的主題數(shù)據(jù)庫(kù)，如流量元數(shù)據(jù)、日志數(shù)據(jù)、安全告警數(shù)據(jù)、安全事件數(shù)據(jù)、PCAP包和其他資產(chǎn)數(shù)據(jù)庫(kù)等。

可視化安全開發(fā)子系統(tǒng)[32-34]基于批流一體的數(shù)據(jù)融合分析引擎向上提供包括數(shù)據(jù)開發(fā)工廠(批流畫布)和搜索工具。批流畫布提供可視化開發(fā)方式對(duì)流數(shù)據(jù)流進(jìn)行實(shí)時(shí)處理和分析，支持結(jié)合流數(shù)據(jù)和外部數(shù)據(jù)庫(kù)進(jìn)行聯(lián)合分析。搜索工具提供類SQL的分析語(yǔ)法，同時(shí)批流一體數(shù)據(jù)融合分析引擎提供開放接口支持上層應(yīng)用利用其數(shù)據(jù)融合分析能力構(gòu)建安全應(yīng)用。

安全大網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)提供基礎(chǔ)的數(shù)據(jù)存儲(chǔ)和計(jì)算資源，主要包括HDFS、ES、SPARK和FLINK。HDFS能夠靈活存儲(chǔ)大小不一的數(shù)據(jù)文件，用來儲(chǔ)存例如電網(wǎng)網(wǎng)絡(luò)設(shè)備的日志文檔、監(jiān)控圖片。ES可以用來存儲(chǔ)電網(wǎng)信息系統(tǒng)的操作日志、告警信息、安全事件等，并支持快速檢索和分析功能?；贖DFS分布式文件系統(tǒng)和SPARK內(nèi)存計(jì)算引擎可以提供分布式離線分析能力。FLINK提供流式數(shù)據(jù)分析、統(tǒng)計(jì)和處理能力，向上支持批流一體的數(shù)據(jù)融合分析引擎。同時(shí)大數(shù)據(jù)基礎(chǔ)平臺(tái)通過安全多租戶子系統(tǒng)提供統(tǒng)一、可視化的多租戶資源管理服務(wù)。

3.3 應(yīng)用層

應(yīng)用層主要包括安全事件中心。安全事件中心主要提供安全事件的展示，查詢和溯源分析的功能。同時(shí)安全中臺(tái)提供標(biāo)準(zhǔn)的開放接口支持第三方構(gòu)建網(wǎng)絡(luò)安全應(yīng)用、信息安全應(yīng)用和業(yè)務(wù)安全應(yīng)用。開放接口主要包括大數(shù)據(jù)平臺(tái)存儲(chǔ)和計(jì)算引擎的訪問接口，SPL(搜索處理語(yǔ)言)和批流一體的數(shù)據(jù)融合分析引擎接口。

4 平臺(tái)資源部署設(shè)計(jì)

本次網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)共采用4臺(tái)一體機(jī)來構(gòu)建大數(shù)據(jù)平臺(tái)底座以及高性能的future X引擎，同時(shí)部署兩套臺(tái)流量探針(東湖供電所+杭州局)，針對(duì)管理平臺(tái)的縱向流量進(jìn)行抓取。

圖6 網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)建設(shè)架構(gòu)Fig.6 Cybersecurity big data platform construction architecture

網(wǎng)絡(luò)安全大網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)部署在杭州局，用于歸集各探針的分析結(jié)果，網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)將從總部現(xiàn)有的各類已建其他安全系統(tǒng)(如IPS、WAF、日志審計(jì)、防火墻等)獲取數(shù)據(jù)，對(duì)各類重要信息系統(tǒng)的安全情況進(jìn)行網(wǎng)絡(luò)安全監(jiān)控、風(fēng)險(xiǎn)預(yù)警、事件通報(bào)。同時(shí)，網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)根據(jù)業(yè)務(wù)需要，實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)模型的建設(shè)與業(yè)務(wù)風(fēng)險(xiǎn)的匹配。整個(gè)集群部署配置如下。

按探針采集0.98Gbps×2和日志審計(jì)，IPS、WAF等syslog計(jì)算，平臺(tái)的規(guī)模與數(shù)據(jù)存量增量以及使用情況直接相關(guān)，根據(jù)統(tǒng)計(jì)，平均每秒產(chǎn)生3750條日志，每日產(chǎn)生3.24億條日志。每日所需存儲(chǔ)298GB,預(yù)留CPU比率30%。

整體方案設(shè)計(jì)需要約100顆物理核，1024 GB內(nèi)存。

需配置服務(wù)器4臺(tái),單臺(tái)硬件配置為：存儲(chǔ)(SATA/SAS)8盤位×4 TB,CPU(>2.4GHz)20物理核，內(nèi)存256 GB，系統(tǒng)存儲(chǔ)(SSD)2 盤位×480GB,千兆網(wǎng)口>=2個(gè),萬(wàn)兆網(wǎng)口>=2個(gè),其中：

分布式數(shù)據(jù)湖：存儲(chǔ)每天新增的元數(shù)據(jù)，根據(jù)數(shù)據(jù)的使用需求與方式，平臺(tái)依賴于不同的大數(shù)據(jù)組件對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)，數(shù)據(jù)湖等存儲(chǔ)包括分布式文件系統(tǒng)HDFS、HIVE等。

從存儲(chǔ)角度出發(fā)：數(shù)據(jù)湖每節(jié)點(diǎn)存儲(chǔ)空間按照2×480GSSD系統(tǒng)盤，8×4TBSATA/SAS數(shù)據(jù)盤共8盤位設(shè)計(jì)。單節(jié)點(diǎn)數(shù)據(jù)磁盤空間32TB，考慮到多副本(按照兩副本加壓縮后數(shù)據(jù)冗余度大約1.5計(jì)算)及大數(shù)據(jù)組件自身占用(按照不高于10%計(jì)算)，單節(jié)點(diǎn)有效存儲(chǔ)不低于32TB×(1-0.1)/1.5=19.2TB空間。結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)周期是180天，故需要298×180/19.2×1024=3節(jié)點(diǎn)。

MPPDB分布式數(shù)據(jù)庫(kù)：存儲(chǔ)關(guān)鍵安全數(shù)據(jù)和配置數(shù)據(jù)，存儲(chǔ)周期三年，由于數(shù)據(jù)規(guī)模較小，建議使用3節(jié)點(diǎn)作為集群。

NOSQL存儲(chǔ)：主要存儲(chǔ)情報(bào)數(shù)據(jù)，配合實(shí)時(shí)流處理進(jìn)行打標(biāo)簽，數(shù)據(jù)規(guī)模不大，建議使用3節(jié)點(diǎn)作為存儲(chǔ)。

圖數(shù)據(jù)庫(kù)：主要是用來存儲(chǔ)畫像數(shù)據(jù)，包括黑客畫像、攻擊畫像等數(shù)據(jù)，數(shù)據(jù)規(guī)模不大，建議使用3節(jié)點(diǎn)作為存儲(chǔ)。

非結(jié)構(gòu)化存儲(chǔ)：目前并未有內(nèi)容解析的非結(jié)構(gòu)化數(shù)據(jù)需要存儲(chǔ)，暫不考慮。

5 結(jié)論

烏克蘭電網(wǎng)遭受網(wǎng)絡(luò)攻擊事件以及美國(guó)紐約遭伊朗信息戰(zhàn)隊(duì)攻擊事件等專門針對(duì)電網(wǎng)以及工控網(wǎng)絡(luò)系統(tǒng)的安全事件層出不窮，意味著工控網(wǎng)絡(luò)系統(tǒng)的網(wǎng)絡(luò)安全形勢(shì)越發(fā)嚴(yán)峻，電網(wǎng)網(wǎng)絡(luò)系統(tǒng)安全事關(guān)國(guó)家安全、經(jīng)濟(jì)命脈，一旦遭受攻擊，將會(huì)是一場(chǎng)不可估量的災(zāi)難。

本文網(wǎng)絡(luò)安全大數(shù)據(jù)平臺(tái)建設(shè)規(guī)劃旨在利用云計(jì)算、大數(shù)據(jù)、AI建模、態(tài)勢(shì)感知等技術(shù)，建設(shè)集中統(tǒng)一的安全數(shù)據(jù)分析平臺(tái)，實(shí)現(xiàn)電網(wǎng)系統(tǒng)的實(shí)時(shí)監(jiān)測(cè)、威脅告警、入侵溯源、安全審計(jì)、閉環(huán)管控等能力，全面監(jiān)控電網(wǎng)系統(tǒng)各類設(shè)備的運(yùn)行情況以及安全情況。通過大數(shù)據(jù)平臺(tái)建設(shè)，打破傳統(tǒng)電網(wǎng)數(shù)據(jù)孤島，推進(jìn)“智慧電網(wǎng)”建設(shè)，加快杭州電網(wǎng)朝“三融三化”和“三條主線”數(shù)字化目標(biāo)轉(zhuǎn)型，本平臺(tái)建設(shè)還對(duì)杭州電網(wǎng)網(wǎng)絡(luò)安全能力發(fā)展具有以下創(chuàng)新意義。

(1)聚焦挖掘沉睡數(shù)據(jù)，提升沉睡數(shù)據(jù)價(jià)值。運(yùn)用大數(shù)據(jù)建立AI檢測(cè)模型，通過持續(xù)安全運(yùn)營(yíng)迭代檢測(cè)模型算法，構(gòu)建自進(jìn)化AI威脅檢測(cè)引擎。

(2)研究電網(wǎng)業(yè)務(wù)模型，打造業(yè)務(wù)安全運(yùn)行基準(zhǔn)。以大數(shù)據(jù)、云計(jì)算技術(shù)為依托，結(jié)合終端安全日志和網(wǎng)絡(luò)UEBA行為分析技術(shù)，研發(fā)屬于電力行業(yè)網(wǎng)絡(luò)安全場(chǎng)景模型，搭建網(wǎng)絡(luò)安全仿真驗(yàn)證環(huán)境基礎(chǔ)結(jié)構(gòu)，針對(duì)內(nèi)網(wǎng)環(huán)境的因子變化，以及日志分析做到安全問題定位與分析。建立監(jiān)控內(nèi)部違規(guī)行為(如試圖使用他人賬號(hào)登錄、越權(quán)訪問、異常行為等)和存在外部安全風(fēng)險(xiǎn)(如自建小系統(tǒng)、設(shè)備仿冒等)的智能化風(fēng)險(xiǎn)控制安全體系，防范違規(guī)行為、預(yù)警違規(guī)風(fēng)險(xiǎn)。

(3)聯(lián)防聯(lián)控，打造電網(wǎng)內(nèi)部一體化安全中臺(tái)。采取“平臺(tái)統(tǒng)一、小步快跑、持續(xù)迭代”的演進(jìn)策略，建立安全模型可視化展示，實(shí)時(shí)推送高風(fēng)險(xiǎn)用戶告警信息、定期形成分析報(bào)告，打造電網(wǎng)行業(yè)級(jí)網(wǎng)絡(luò)安全展示中心。