基于FP-Growth算法的計量主站告警分析研究

余飛婭， 葉文波

(貴州電網(wǎng)有限責任公司，貴州 貴陽 550000)

0 引 言

隨著大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)等新一代信息技術(shù)的快速發(fā)展，南網(wǎng)加快公司各類業(yè)務(wù)與新一代信息技術(shù)的融合，挖掘數(shù)據(jù)價值，實現(xiàn)從業(yè)務(wù)驅(qū)動到數(shù)據(jù)驅(qū)動，對于促進“數(shù)字南網(wǎng)”建設(shè)具有重要意義[1]。當前，計量主站告警數(shù)量日益激增，并且存在大量無效告警，加重了運維人員的工作壓力[2]。面對計量運行過程中存在的海量告警數(shù)據(jù)，如何對監(jiān)控告警進行分類篩選，發(fā)掘有業(yè)務(wù)價值的告警，并直接分析出告警根源仍是亟待解決的問題。近年來，關(guān)于關(guān)聯(lián)規(guī)則挖掘的研究一直受到國內(nèi)外學(xué)者的重視，并展開了大量的研究[3-6]。文獻[7]通過改進FP-growth算法，無需生成FP-tree，解決了云平臺數(shù)據(jù)量過大導(dǎo)致處理效率低的問題。文獻[8]針對入侵檢測系統(tǒng)產(chǎn)生的相互孤立的告警數(shù)據(jù)，通過改進FP-growth算法，挖掘稀疏數(shù)據(jù)的關(guān)聯(lián)關(guān)系，提高了數(shù)據(jù)處理效率。在電力系統(tǒng)中，文獻[9]采用灰色關(guān)聯(lián)規(guī)則分析方法對變壓器故障信息數(shù)據(jù)進行挖掘，揭示了變壓器故障與特征量的相關(guān)程度。文獻[10]采用FP-growth算法挖掘變電站二次設(shè)備存在的缺陷及其原因的關(guān)聯(lián)規(guī)則，為智能變電站二次設(shè)備運維提供支持。當前，針對單個計量無效告警事件，已經(jīng)有相當規(guī)范的處理方法。但是計量系統(tǒng)運行情況繁雜，單一告警事件的處理方式難以滿足實際業(yè)務(wù)應(yīng)用需求，缺少多個告警之間的關(guān)聯(lián)，經(jīng)常造成誤報、漏報等問題。因此，本文基于計量系統(tǒng)中的歷史告警數(shù)據(jù)，通過引入庫爾欽斯基(Kulczynski, kulc)度量及不平衡比，改進FP-Growth算法，排除關(guān)聯(lián)規(guī)則挖掘過程中無意義關(guān)聯(lián)規(guī)則的影響，確定計量主站告警的識別方法。

1 計量主站告警規(guī)則分析建模

1.1 計量主站告警規(guī)則分析建模流程

為解決電網(wǎng)運行過程中存在的大量無效告警，提高異常問題處理的準確性和及時性，本文采用FP-Growth算法對計量主站出現(xiàn)的歷史告警數(shù)據(jù)進行關(guān)聯(lián)規(guī)則挖掘，分析計量主站告警產(chǎn)生的原因。計量主站告警關(guān)聯(lián)規(guī)則分析模型構(gòu)建過程如圖1所示。

圖1 計量主站告警規(guī)則分析建模流程圖

1.2 FP-Growth算法挖掘關(guān)聯(lián)規(guī)則判定條件

由于傳統(tǒng)關(guān)聯(lián)規(guī)則挖掘Apriori算法需要通過構(gòu)造候選集，多次掃描原始數(shù)據(jù)才能挖掘出頻繁項集，導(dǎo)致系統(tǒng)運轉(zhuǎn)速度較慢，降低了工作效率。因此，選取不產(chǎn)生候選集，僅掃描兩次數(shù)據(jù)庫的FP-Growth算法，對計量主站告警數(shù)據(jù)的關(guān)聯(lián)規(guī)則進行挖掘。關(guān)聯(lián)規(guī)則判定主要包括支持度、置信度、Kulc度量以及不平衡比(imbalance ratio，IR)等指標，以項目集N為例，分析事物X與事物Y之間的關(guān)聯(lián)規(guī)則。

(1) 支持度(support)作為關(guān)聯(lián)規(guī)則的約束條件之一，是衡量關(guān)聯(lián)規(guī)則出現(xiàn)頻繁程度的重要指標，即在全部事務(wù)中，{X,Y}出現(xiàn)的可能性，其表達式如式(1)所示。

(1)

式中：N為事務(wù)的數(shù)量；σ(X∪Y)為事務(wù)X與事務(wù)Y的交集。支持度主要目的是通過設(shè)定最小支持度閾值(minsup)，剔除出現(xiàn)較少的無效規(guī)則，保留出現(xiàn)頻繁的關(guān)聯(lián)規(guī)則，進而篩選得到頻繁項集Z，其表達式如式(2)所示。

s(Z)≥minsup

(2)

(2) 置信度(confidence)表示在事務(wù)X發(fā)生的前提下，事務(wù)Y發(fā)生的概率，即確定事務(wù)Y在包含X的事務(wù)中出現(xiàn)的頻繁程度，其表達式如式(3)所示。

(3)

(3) Kulc度量為將事務(wù)X和事務(wù)Y作為置信度的均值，不用計算支持度，進而不會受到不含任何項集的事務(wù)影響，其表達式如式(4)所示。

(4)

(4) 不平衡比(IR)：揭示事務(wù)X和事務(wù)Y之間真實的關(guān)聯(lián)規(guī)則，其表達式如式(5)所示。

(5)

式中：若IR接近于0，表明事務(wù)X和事務(wù)Y的關(guān)聯(lián)規(guī)則十分平衡，即事務(wù)X發(fā)生后事務(wù)Y很有可能會發(fā)生，反之亦然；若IR接近于1，表明事務(wù)X和事務(wù)Y的關(guān)聯(lián)規(guī)則十分不平衡，即事務(wù)X發(fā)生后事務(wù)Y有可能發(fā)生，但反之卻不成立。

1.3 FP-Growth算法挖掘關(guān)聯(lián)規(guī)則流程

FP-Growth算法挖掘關(guān)聯(lián)規(guī)則的核心步驟是構(gòu)建FP-tree樹節(jié)點，減少所需項集的數(shù)量。令I(lǐng)={i1，i2，…，id}為數(shù)據(jù)中所有項的集合，而T={t1，t2，…，tN}是所有事務(wù)的集合。每個事務(wù)ti包含的項集都是I的子集。其具體挖掘流程如下：

(1) 事務(wù)獲取。假設(shè)告警序列為I1、I2、I5、I2、I4、I2、I3、I1、I2、I4、I1、I3、I4、I5、I2、I3、I6、I1、I3、I1、I2、I3、I5、……。將告警序列劃分為事務(wù)級，設(shè)置窗口初始大小為1，最大長度為4，得到事務(wù)集合列表，如表1所示。

(2) 構(gòu)建FP-tree。掃描原始數(shù)據(jù)庫，統(tǒng)計每個項目出現(xiàn)的次數(shù)，設(shè)定最小支持度為2，以降序排列方式重新排列項目集，得到整理后的事務(wù)集合列表,如表2所示。

根據(jù)整理后的數(shù)據(jù)列表，按照表2給出的序號依次將8條項目集加入FP-tree中，得到如圖2所示的樹狀圖。

(3) 頻繁項集挖掘。從FP-tree中挖掘頻繁模式，對于每一個項目，梳理得到基礎(chǔ)模式項，即以所查找項目為結(jié)尾的路徑集合。以I5為例，其基礎(chǔ)模式項為{(I2I1：2)，(I2：2)，(I1：2)}，進而遞歸調(diào)用FP-Growth算法，得到模式后綴為I5的所有模式，遞歸調(diào)用結(jié)束。最終模式后綴I5支持度大于2的所有頻繁模式為：{I2、I5：2，I1、I5：2，I2、I1、I5：2}，同理可以得到其他項目的頻繁相集模式，如表3所示。

表3 挖掘出的頻繁模式

由表3可知，在I2事件發(fā)生的情況下，I1和I3都出現(xiàn)的頻率較高，說明它們之間存在強關(guān)聯(lián)關(guān)系。

2 實例分析

以南網(wǎng)某電網(wǎng)公司的計量主站2020年6月2日至2020年6月30日統(tǒng)計的告警數(shù)據(jù)為例，主要包括：序列號、設(shè)備類型、設(shè)備編號、告警詳情、告警級別、告警時間、告警標志、告警類型、告警設(shè)備地址和告警區(qū)域等字段信息，對計量主站運行過程中的告警信息進行分析。通過原始告警數(shù)據(jù)中的重復(fù)告警或閃斷/自愈告警對數(shù)據(jù)進行刪除，篩選出322.98萬條告警數(shù)據(jù)用于數(shù)據(jù)挖掘，分析計量主站告警及相應(yīng)的電流不平衡、斷相、失壓、表蓋開啟和電能表飛走告警之間的關(guān)聯(lián)規(guī)則。以2020年6月2日至2020年6月24日的248.52萬條數(shù)據(jù)作為訓(xùn)練樣本集，建立計量主站告警關(guān)聯(lián)規(guī)則分析數(shù)據(jù)庫，采用FP-Growth算法對179.52條訓(xùn)練樣本數(shù)據(jù)進行挖掘，設(shè)置最小支持度為40%，最小置信度為70%。部分強關(guān)聯(lián)規(guī)則如表4所示。

表4 部分強關(guān)聯(lián)規(guī)則

由表4可知，挖掘出的部分頻繁項集在滿足最小支持度、最小置信度以及Kulc度量的同時，IR均小于0.1，表明該事務(wù)具有強關(guān)聯(lián)關(guān)系，且屬于有意義的關(guān)聯(lián)規(guī)則。如10 kV水盤高速Ⅰ回線002受到電能表飛走的影響，導(dǎo)致出現(xiàn)告警，從而能夠指導(dǎo)供電局對此條線路加強維護力度，降低告警事件的發(fā)生，提高供電的可靠性。

為驗證計量主站告警關(guān)聯(lián)規(guī)則分析的準確性：以2020年6月24日至2020年6月30日的74.46萬條數(shù)據(jù)作為測試選擇集，即從中每天隨機選取100條告警數(shù)據(jù)進行計量主站告警關(guān)聯(lián)規(guī)則的匹配與驗證。告警準確率等于通過模型測算出的關(guān)聯(lián)告警與實際發(fā)生告警數(shù)量之比。驗證流程如圖3所示。

圖3 驗證流程圖

對比沒有引入Kulc度量和不平衡比的傳統(tǒng)FP-Growth算法，本文提出的算法可以有效地排除無意義關(guān)聯(lián)規(guī)則的影響，提高計量主站告警關(guān)聯(lián)識別的準確性。采用前文所述的測試集進行測算，對比傳統(tǒng)算法與本文算法的準確率差異，如表5所示。

表5 傳統(tǒng)算法與本文算法的準確率對比表 %

經(jīng)過實際查找驗證，本文提出的算法準確率較高，總體準確率達到了91.2%，明顯高于傳統(tǒng)算法，驗證了本文提出的FP-Growth算法挖掘關(guān)聯(lián)規(guī)則的準確性和有效性。

3 結(jié)束語

本文采用FP-Growth算法挖掘計量主站告警的關(guān)聯(lián)規(guī)則，為排除關(guān)聯(lián)規(guī)則挖掘過程中無意義關(guān)聯(lián)規(guī)則的影響，引入Kulc度量以及不平衡比來確定強關(guān)聯(lián)規(guī)則及重要程度，確定計量主站告警的識別方法。結(jié)果表明：FP-Growth算法挖掘計量主站告警的關(guān)聯(lián)規(guī)則準確率達到了91.2%，算法準確度較高；構(gòu)建的FP-Growth算法挖掘計量主站告警關(guān)聯(lián)規(guī)則具有較高的實際應(yīng)用價值，剔除外部干擾因素的影響，協(xié)助電網(wǎng)公司更加精準定位計量主站告警源，高效排查并解決計量主站告警，保障電網(wǎng)穩(wěn)定運行。但是計量主站告警誘因較多，僅基于本文提到的告警誘因無法進行完整描述。因此，下一步將在完善指標體系等角度入手，提高告警原因挖掘能力和告警識別的準確性。