基于聚類算法的電網(wǎng)告警數(shù)據(jù)分析與處理模型*

劉 波，萬維威，鄒大均，李 立

（中國電子科技集團(tuán)公司第三十研究所，四川 成都 610041）

0 引言

目前，全球網(wǎng)絡(luò)安全形勢(shì)日益嚴(yán)峻，針對(duì)關(guān)鍵信息基礎(chǔ)設(shè)施的惡意網(wǎng)絡(luò)攻擊頻發(fā)。隨著負(fù)荷側(cè)資源不斷擴(kuò)充，電力監(jiān)控系統(tǒng)的安全防護(hù)范圍不斷擴(kuò)大，接入安全顯得尤為重要。隨著安全防護(hù)范圍的不斷拓展，產(chǎn)生的安全數(shù)據(jù)日益倍增，告警數(shù)量不斷增大，如何確保告警及時(shí)有效，提升告警的精準(zhǔn)度和實(shí)效性，成為安全防護(hù)監(jiān)管的一大難題[1]。

大量學(xué)者對(duì)智能告警技術(shù)開展了深入研究。其中，有研究利用K-近鄰算法（K-Nearest Neighbors algorithm，KNN）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）等機(jī)器學(xué)習(xí)或人工智能算法對(duì)電網(wǎng)大數(shù)據(jù)進(jìn)行清洗，并采用典型建模方法分析安全事件，實(shí)現(xiàn)對(duì)電網(wǎng)數(shù)據(jù)的智能處理[2-5]，但是這些算法需要占用一定的計(jì)算空間。此外，還有研究基于規(guī)則、模型等基本數(shù)據(jù)，采用層次分析法等方法得到當(dāng)前告警信息特征并進(jìn)行分層分類，為更具價(jià)值的數(shù)據(jù)分配更高權(quán)重[6]，但此類方法需要多名專家對(duì)數(shù)據(jù)的重要性進(jìn)行評(píng)價(jià)，使用起來較為 煩瑣。

針對(duì)上述問題，本文使用K-Means[7]和DBSCAN[8]算法，以電力監(jiān)控系統(tǒng)網(wǎng)絡(luò)安全管理平臺(tái)的歷史告警數(shù)據(jù)為處理數(shù)據(jù)，提取告警數(shù)據(jù)特征信息，進(jìn)行多維度的特征聚類，最終建立電力監(jiān)控系統(tǒng)網(wǎng)絡(luò)安全事件告警數(shù)據(jù)綜合分析模型，提高已有分析系統(tǒng)的效率。

1 算法描述

1.1 K-Means 聚類算法

作為經(jīng)典且應(yīng)用廣泛的聚類算法之一，K-Means 聚類算法具有的優(yōu)點(diǎn)有理論可靠、算法簡(jiǎn)單、收斂速度快、能有效處理大數(shù)據(jù)集等。K-Means算法中的K 代表類簇個(gè)數(shù)，Means 代表類簇內(nèi)數(shù)據(jù)對(duì)象的均值。K-Means 算法是一種基于劃分的聚類算法，以距離作為數(shù)據(jù)對(duì)象間相似性度量的標(biāo)準(zhǔn)，即數(shù)據(jù)對(duì)象間的距離越小，它們的相似性越高，則它們?cè)接锌赡茉谕粋€(gè)類簇。

具體的聚類過程如下：

算法1：K-Means 算法

1.2 DBSCAN 聚類算法

DBSCAN 基于一組鄰域來描述樣本集的緊密程度，參數(shù)(ε,MinPts)用來描述鄰域的樣本分布緊密程度。其中，ε描述了某一樣本的鄰域距離閾值，MinPts描述了某一樣本的距離為ε的鄰域中樣本個(gè)數(shù)的閾值。

DBSCAN 算法的具體聚類過程如下：

算法2：DBSCAN 算法

2 電網(wǎng)告警數(shù)據(jù)分析與處理模型

本文提出的電網(wǎng)告警數(shù)據(jù)分析與處理模型，分為基于時(shí)間的K-Means 聚類和基于特征關(guān)鍵詞的DBSCAN 聚類。第1 步主要使用K-Means 對(duì)輸入的原始告警日志數(shù)據(jù)進(jìn)行壓縮，依據(jù)的條件為日志數(shù)據(jù)中的時(shí)間信息，包括告警數(shù)據(jù)最新發(fā)生時(shí)間和告警開始時(shí)間。第2 步則提取前一步壓縮后數(shù)據(jù)的特征，根據(jù)特征關(guān)鍵字使用DBSCAN 算法進(jìn)行進(jìn)一步壓縮。最終實(shí)現(xiàn)對(duì)電網(wǎng)原始告警日志數(shù)據(jù)的壓縮與聚類，建立電力監(jiān)控系統(tǒng)網(wǎng)絡(luò)安全事件告警數(shù)據(jù)綜合分析模型，并根據(jù)聚類的結(jié)果對(duì)告警數(shù)據(jù)進(jìn)行分析和研判，給出每一類告警信息的具體描述，提高現(xiàn)有電網(wǎng)告警數(shù)據(jù)分析系統(tǒng)的效率。模型的具體流程如圖1 所示。

2.1 基于時(shí)間的K-Means 聚類

分析原始告警日志數(shù)據(jù)可以發(fā)現(xiàn)，現(xiàn)有的電網(wǎng)告警系統(tǒng)根據(jù)告警數(shù)據(jù)的各項(xiàng)屬性對(duì)原始數(shù)據(jù)進(jìn)行了具象化描述。對(duì)于任意一條告警數(shù)據(jù)s，根據(jù)屬性可以將其劃分為告警級(jí)別、告警內(nèi)容、告警設(shè)備、上報(bào)設(shè)備、告警開始時(shí)間、最新發(fā)生時(shí)間、告警次數(shù)、上報(bào)狀態(tài)、日志類型、日志子類型和告警狀態(tài)，具體可以描述為s（level,content,dev_ale,dev_up,time_beg,time_new,count,status_up,type_main,type_sub,status_ale）。使用K-Means 算法可以根據(jù)任一屬性對(duì)原始數(shù)據(jù)集進(jìn)行聚類，但實(shí)際聚類效果有所不同，最終進(jìn)行描述時(shí)所依據(jù)的屬性也會(huì)存在差異。本模型主要從告警數(shù)據(jù)的時(shí)間維度出發(fā)，考慮原始告警數(shù)據(jù)集中的告警最新發(fā)生時(shí)間S.time_new 和告警開始時(shí)間S.time_beg，最終聚類完成后將時(shí)間維度作為信息描述的一個(gè)重點(diǎn)?；诟婢瘮?shù)據(jù)中時(shí)間屬性的K-Means 聚類如圖2 所示。

圖2 基于時(shí)間屬性的K-Means 聚類

此外，在進(jìn)行兩次K-Means 聚類時(shí)，還需考慮初始的K值選取。K值的不同會(huì)極大地影響聚類的效果，具體K值的選取需要考慮聚類后時(shí)間維度的準(zhǔn)確率。此處進(jìn)行K值選取的規(guī)則定義：在對(duì)原始數(shù)據(jù)集的時(shí)間維度進(jìn)行分析的基礎(chǔ)上，給出聚類后各類別的預(yù)期時(shí)間跨度Tk，即當(dāng)按照某個(gè)K值對(duì)原始數(shù)據(jù)的時(shí)間維度進(jìn)行K-Means 聚類后，每個(gè)類中的時(shí)間跨度都滿足tk≤Tk，此時(shí)稱時(shí)間維度的K-Means 聚類達(dá)到最優(yōu)效果。同理，對(duì)K值選取時(shí)對(duì)應(yīng)的準(zhǔn)確率Acck定義如下：對(duì)于時(shí)間維度的K-Means 聚類，準(zhǔn)確率Acck指聚類后滿足tk≤Tk的類別數(shù)量與所有類別數(shù)量的比值，即滿足預(yù)期時(shí)間跨度要求的類別與總類別的比值。原始數(shù)據(jù)集的時(shí)間跨度、聚類后各類別的預(yù)期時(shí)間跨度Tk、不同的初始K值都會(huì)影響聚類后時(shí)間維度的準(zhǔn)確率，因此需要通過具體實(shí)驗(yàn)來確定最優(yōu)的參數(shù)進(jìn)行K-Means 聚類，使聚類的壓縮率和準(zhǔn)確率達(dá)到相對(duì)最優(yōu)的結(jié)果。

2.2 基于特征關(guān)鍵詞的DBSCAN 聚類

在進(jìn)行DBSCAN 聚類之前，需要將3.1 節(jié)中聚類后的結(jié)果進(jìn)行基于關(guān)鍵詞的向量化操作，因此需要對(duì)S.level、S.content 等告警數(shù)據(jù)的屬性進(jìn)行分析，給出關(guān)鍵詞向量化的基本規(guī)則。由于告警設(shè)備以及上報(bào)設(shè)備差異性較小，并且并非最終關(guān)聯(lián)性描述時(shí)的元素，因此直接用固定的數(shù)值代替S.dev_ale 和S.dev_up 兩個(gè)屬性原始字符串內(nèi)容，其他7 列屬性的關(guān)鍵詞向量化規(guī)則如表1 所示。

表1 關(guān)鍵詞向量化規(guī)則

使用正則化表達(dá)式對(duì)原始數(shù)據(jù)集中每條日志數(shù)據(jù)進(jìn)行關(guān)鍵字搜索與匹配，接著根據(jù)上述規(guī)則將關(guān)鍵詞所在列轉(zhuǎn)換為數(shù)學(xué)向量，同時(shí)將S.dev_ale、S.dev_up、S.time_beg 和S.time_new 這4 列直接轉(zhuǎn)換為固定的數(shù)字，用于保證整體數(shù)據(jù)的規(guī)格統(tǒng)一。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集與參數(shù)設(shè)置

選取電力監(jiān)控系統(tǒng)近一個(gè)季度的歷史告警數(shù)據(jù)，分為30 個(gè)地市，每個(gè)地市的數(shù)據(jù)單獨(dú)存儲(chǔ)，總條目數(shù)為4 739 條。實(shí)驗(yàn)先基于最新發(fā)生時(shí)間，使用K-Means 對(duì)原始數(shù)據(jù)集進(jìn)行聚類。以其中某地市的告警數(shù)據(jù)為例，該地市近一季度的告警數(shù)據(jù)總條目數(shù)numb為108 條，最新發(fā)生時(shí)間的時(shí)間跨度為2021.08.29 05:28:48—2021.11.27 18:39:04，則初始K值的選取方法為：獲取最新發(fā)生時(shí)間的時(shí)間跨度時(shí)間戳形式為1 630 186 128～1 638 009 544，因此時(shí)間跨度T=1 638 009 544-1 630 186 128=7 823 416。根據(jù)要求設(shè)定聚類后各類別的預(yù)期時(shí)間跨度Tk為（2.5,3）天，時(shí)間戳形式下Tk為(216 000,259 200)，同時(shí)規(guī)定K的范圍為[10%×numb,30%×numb]。對(duì)于該地市，即K屬于[10.8,32.4]，并且K為正整數(shù)。同理獲取告警開始時(shí)間的時(shí)間跨度，給出對(duì)應(yīng)的K值 范圍。

通過多次實(shí)驗(yàn)驗(yàn)證K的取值與準(zhǔn)確率Acck之間的關(guān)系，具體實(shí)驗(yàn)結(jié)果如圖3 所示。

圖3 最新發(fā)生時(shí)間和告警開始時(shí)間的K 值與準(zhǔn)確率的關(guān)系

由圖3（a）可知，當(dāng)K值選取20 時(shí)，針對(duì)該地市的最新發(fā)生時(shí)間進(jìn)行K-Means 聚類，可以達(dá)到最高的準(zhǔn)確率，使得聚類后準(zhǔn)確率達(dá)到97%。由 圖3（b）可知，當(dāng)K值選取19 時(shí)，針對(duì)該地市的告警開始時(shí)間進(jìn)行K-Means 聚類，可以達(dá)到最高的準(zhǔn)確率，使得聚類后時(shí)間跨度滿足要求的類別數(shù)與總類別數(shù)的比例達(dá)到97%。

使用Calinski-Harabaz 指標(biāo)（簡(jiǎn)稱CH 指標(biāo)）對(duì)K的取值進(jìn)行驗(yàn)證，CH 指標(biāo)通過類間方差和類內(nèi)方差之比計(jì)算得分，得分越大表示效果越好。對(duì)最新發(fā)生事件的K值進(jìn)行CH 指標(biāo)計(jì)算，由圖4（a）可知，K值選取20 或30 左右時(shí)，CH 指標(biāo)值相較于其他K值數(shù)值較大。綜合圖3（a）和圖4（a）的結(jié)果，選取K=20 作為針對(duì)該地市的第1 次K-Means 聚類。

圖4 最新發(fā)生時(shí)間和告警開始時(shí)間的K 值與CH 指標(biāo)的關(guān)系

由圖4（b）可知，第2 次基于告警開始時(shí)間的聚類，K大于或等于19 時(shí)可以達(dá)到最高的準(zhǔn)確率和較好的聚類結(jié)果。綜合圖3（b）和圖4（b）的結(jié)果，選取K=19 作為針對(duì)該地市的第2 次K-Means 聚類。

實(shí)驗(yàn)第2 階段采用DBSCAN 算法。對(duì)于該地市的數(shù)據(jù)，考慮鄰域半徑ε與噪聲率之間的關(guān)系，進(jìn)行多次實(shí)驗(yàn)，最終得到的關(guān)系如圖5 所示。

圖5 鄰域半徑與噪聲率的關(guān)系

由圖5 可知，DBSCAN 聚類選取0.1 作為最優(yōu)的鄰域半徑ε，而鄰域中數(shù)據(jù)對(duì)象數(shù)目閾值MinPts則為每個(gè)地市單獨(dú)文件下日志子類型的種類數(shù)量，此時(shí)進(jìn)行DBSCAN 聚類可以達(dá)到最優(yōu)效果。

3.2 評(píng)估指標(biāo)

實(shí)驗(yàn)對(duì)于聚類結(jié)果的評(píng)價(jià)，主要采用以下3 個(gè)指標(biāo)。

（1）壓縮率（Compression rate）。壓縮率指聚類后數(shù)據(jù)形成的類數(shù)量與聚類前所有條目數(shù)量的 比值。

（2）噪聲率（Noise rate）。噪聲點(diǎn)指未成功完成聚類的條目，噪聲率指聚類后出現(xiàn)的噪聲點(diǎn)數(shù)量與聚類前所有條目數(shù)量的比值。

（3）準(zhǔn)確率（Accuracy）。準(zhǔn)確率指聚類后滿足tk≤Tk的類別數(shù)量與所有類別數(shù)量的比值，即滿足預(yù)期時(shí)間跨度要求的類別與總類別的比值。

由上面的定義可知，壓縮率越高、噪聲率越低、準(zhǔn)確率越高的聚類結(jié)果是最優(yōu)結(jié)果。

3.3 實(shí)驗(yàn)與結(jié)果分析

按照上述方法，首先對(duì)輸入的某地市近半年告警數(shù)據(jù)進(jìn)行聚類，采用K-Means 聚類算法，統(tǒng)計(jì)該地市告警數(shù)據(jù)文件中數(shù)據(jù)條目數(shù)numb為108 條，計(jì)算初始K值為20。接著基于告警數(shù)據(jù)的最新發(fā)生時(shí)間進(jìn)行K-Means 聚類，具體過程為：提取每條數(shù)據(jù)的最新發(fā)生時(shí)間并轉(zhuǎn)化成標(biāo)準(zhǔn)時(shí)間形式，再生成對(duì)應(yīng)的時(shí)間戳，接著選取20 個(gè)不同的時(shí)間戳作為初始聚類中心，對(duì)任意一條數(shù)據(jù)，求其時(shí)間戳到20 個(gè)聚類中心的距離，將其歸類到距離最小的中心的聚類。不斷迭代并在每次迭代過程中利用均值法更新各聚類的中心點(diǎn)，最終將所有108 條數(shù)據(jù)進(jìn)行聚類，分為20 大類，作為K-Means 第一次聚類的結(jié)果。聚類結(jié)果如圖6 所示。

圖6 基于告警數(shù)據(jù)最新發(fā)生與開始時(shí)間進(jìn)行聚類的結(jié)果

圖6（a）為基于告警數(shù)據(jù)最新發(fā)生的聚類分布，分析發(fā)現(xiàn)，依據(jù)最新發(fā)生時(shí)間進(jìn)行聚類時(shí)，存在部分?jǐn)?shù)據(jù)告警開始時(shí)間相同但未處于同一類的情況，主要原因是第一次聚類只考慮了最新發(fā)生時(shí)間這一屬性，而未考慮告警開始時(shí)間，因此在時(shí)間維度上還有優(yōu)化空間?；诟婢瘮?shù)據(jù)的開始時(shí)間進(jìn)行K-Means 二次聚類，此時(shí)輸入數(shù)據(jù)集依舊為該地市對(duì)應(yīng)的告警數(shù)據(jù)原始文件，K值選取19。聚類結(jié)果如圖6（b）所示，可以發(fā)現(xiàn)二次聚類能夠修正第一次聚類后出現(xiàn)的異常情況，并且壓縮率更高。最終匯總K-Means 兩次聚類的結(jié)果，作為第一階段K-Means 的輸出。

模型第二階段利用DBSCAN 算法對(duì)告警數(shù)據(jù)的關(guān)鍵字維度進(jìn)行再次聚類，首先按照3.2 節(jié)的關(guān)鍵詞向量化規(guī)則，對(duì)該地市所有數(shù)據(jù)進(jìn)行向量化操作，其次設(shè)置鄰域半徑ε為0.1，鄰域中數(shù)據(jù)對(duì)象數(shù)目閾值MinPts為該地市告警文件中日志子類型的種類數(shù)量4。在對(duì)輸入維度進(jìn)行降維操作之后，對(duì)聚類結(jié)果進(jìn)行可視化，結(jié)果如圖7 所示。從聚類結(jié)果可以看出，在所有的108 條數(shù)據(jù)中只存在7 個(gè)噪聲點(diǎn)，意味著只有7 條數(shù)據(jù)沒有完成 聚類。

圖7 DBSCAN 聚類結(jié)果

采用同樣的方法對(duì)該省其他29 個(gè)地市的告警數(shù)據(jù)進(jìn)行聚類分析，最終得到所有地市的聚類情況如圖8 所示。30 個(gè)地市中，有19 個(gè)地市的壓縮率達(dá)到20%以下，30個(gè)地市的壓縮率都達(dá)到30%以下，平均壓縮率為23.62%。準(zhǔn)確率方面，27 個(gè)地市都達(dá)到80%以上，平均準(zhǔn)確率為88.34%。噪聲率方面，25 個(gè)地市都低于20%，平均噪聲率為15.06%。

圖8 30 個(gè)地市的聚類結(jié)果

最后基于聚類后的結(jié)果，采用關(guān)聯(lián)性結(jié)果描述，具體描述的信息為：某地市的第××條至××條日志在yyyy-mm-dd hh:mm:ss 至yyyy-mm-dd hh:mm:ss 期間內(nèi)發(fā)生了××事件，即根據(jù)日志最新發(fā)生時(shí)間和日志子類型的聚類結(jié)果，分段描述告警數(shù)據(jù)的具體信息，具體實(shí)例如下文所示。

（1）第1 條日志在2021-08-29 05:28:48 時(shí)刻發(fā)生了主機(jī)開放危險(xiǎn)端口事件；

（2）第2 到6 條日志在2021-09-01 18:39:04至2021-09-01 21:18:10 期間內(nèi)，發(fā)生了USB 存儲(chǔ)設(shè)備接入；

（3）第7 到12 條日志在2021-09-04 21:26:10至2021-09-04 21:31:42 期間內(nèi)，發(fā)生了數(shù)據(jù)網(wǎng)危險(xiǎn)端口訪問；

（4）第13 到18 條日志在2021-09-16 20:47:55 至2021-09-18 12:11:15 期間內(nèi)，發(fā)生了USB 存儲(chǔ)設(shè) 備接入、數(shù)據(jù)網(wǎng)危險(xiǎn)端口訪問；

（5）第19 到26 條日志在2021-09-23 09:28:47 至2021-09-24 10:31:09 期間內(nèi)，發(fā)生了數(shù)據(jù)網(wǎng)危險(xiǎn)端口訪問、串口訪問。

后續(xù)結(jié)果與上述描述類型一致，具體內(nèi)容不再列出。

從結(jié)果可以看出，綜合K-Means 和DBSCAN算法的結(jié)果，能夠?qū)υ几婢瘮?shù)據(jù)進(jìn)行高效壓縮，并給出每個(gè)時(shí)間段內(nèi)具體發(fā)生的告警事件類型，大大降低了原始數(shù)據(jù)的復(fù)雜度以及閱讀難度，提高了對(duì)于告警數(shù)據(jù)關(guān)鍵信息的抽取能力。

3.4 算法對(duì)比試驗(yàn)

為了展示本模型對(duì)電網(wǎng)告警數(shù)據(jù)分析處理的優(yōu)勢(shì)，本文進(jìn)行了K-Means 時(shí)間聚類配合DBSCAN關(guān)鍵字聚類與經(jīng)典DBSCAN 聚類的對(duì)比試驗(yàn)。從數(shù)據(jù)集中隨機(jī)抽取了一個(gè)電站的告警數(shù)據(jù)，共32 條。首先在選取合適的參數(shù)后，對(duì)告警數(shù)據(jù)按照本模型進(jìn)行K-Means 時(shí)間聚類配合DBSCAN 關(guān)鍵字聚類，輸出第一次聚類結(jié)果；其次將兩個(gè)時(shí)間維度加入DBSCAN 聚類的輸入當(dāng)中，選取與第1 次聚類相同的參數(shù)，得到第2 次的聚類結(jié)果，兩次聚類結(jié)果的噪聲率結(jié)果如表2 所示。

表2 兩種算法噪聲率對(duì)比

4 結(jié)語

本文首先建立了電力監(jiān)控系統(tǒng)網(wǎng)絡(luò)安全事件告警數(shù)據(jù)綜合分析模型；其次選取了真實(shí)的電網(wǎng)告警數(shù)據(jù)進(jìn)行實(shí)驗(yàn)；最后通過對(duì)不同類別的告警數(shù)據(jù)進(jìn)行多維度聚類降維，尋找到多維數(shù)據(jù)間的統(tǒng)計(jì)特征，最終通過壓縮率、噪聲率及準(zhǔn)確率等指標(biāo)對(duì)模型的聚類效果進(jìn)行評(píng)價(jià)。實(shí)驗(yàn)結(jié)果表明，本文所建立的模型可以快速準(zhǔn)確地抽取出大量告警數(shù)據(jù)的統(tǒng)計(jì)特征，并對(duì)數(shù)據(jù)進(jìn)行降維壓縮，在K-Means 的壓縮率、DBSCAN 的噪聲率及兩者結(jié)合的準(zhǔn)確率上都有較好的表現(xiàn)，解決了現(xiàn)有告警系統(tǒng)數(shù)據(jù)雜亂、關(guān)鍵信息難以提取等問題，極大地提高了電網(wǎng)告警系統(tǒng)分析和處理數(shù)據(jù)的能力。