基于BERT-DSA-CNN和知識(shí)庫(kù)的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別

晏 鵬，黃曉旭，黃玉輝，晏 瑾，汪 適，羅 磊

基于BERT-DSA-CNN和知識(shí)庫(kù)的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別

晏 鵬1，黃曉旭1，黃玉輝2，晏 瑾1，汪 適1，羅 磊1

(1.貴州電網(wǎng)有限責(zé)任公司銅仁供電局，貴州 銅仁 554300；2.上海交通大學(xué)電子信息與電氣工程學(xué)院，上海 200240)

電網(wǎng)調(diào)控告警識(shí)別是實(shí)現(xiàn)智能電網(wǎng)調(diào)度的重要環(huán)節(jié)。為提高電網(wǎng)調(diào)控告警識(shí)別的準(zhǔn)確率，針對(duì)電網(wǎng)數(shù)據(jù)量龐大、有效信息提取困難、傳統(tǒng)知識(shí)庫(kù)知識(shí)遷移能力較差等問(wèn)題，提出一種基于BERT-DSA-CNN和知識(shí)庫(kù)的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別方法。首先在自然語(yǔ)言處理-深度學(xué)習(xí)的文本數(shù)據(jù)挖掘架構(gòu)基礎(chǔ)上，經(jīng)過(guò)分詞、去停用詞等步驟，利用BERT模型獲取電網(wǎng)調(diào)控告警信息詞向量。然后將詞向量輸入CNN深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，并根據(jù)電網(wǎng)告警信息的特點(diǎn)引入DSA機(jī)制對(duì)CNN模型進(jìn)行改進(jìn)。最后提出了融合深度學(xué)習(xí)模型和傳統(tǒng)知識(shí)庫(kù)的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別方案。通過(guò)大量的算例結(jié)果分析得出，該方法相比Word2vec、傳統(tǒng)CNN、傳統(tǒng)知識(shí)庫(kù)、離線(xiàn)學(xué)習(xí)等方法，具有更高的準(zhǔn)確性和有效性，對(duì)不同的故障類(lèi)型均具有較好的識(shí)別能力，為工程應(yīng)用提供了一種思路。

告警識(shí)別；BERT；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；DSA；知識(shí)庫(kù)

0 引言

隨著智能電網(wǎng)的快速發(fā)展，大量的新能源發(fā)電、變電站、智能電表、傳感器、電動(dòng)汽車(chē)等接入電網(wǎng)，電力系統(tǒng)的數(shù)據(jù)規(guī)?？焖僭鲩L(zhǎng)[1-7]。這為電網(wǎng)調(diào)控帶來(lái)了嚴(yán)峻的挑戰(zhàn)，特別是出現(xiàn)異常和故障時(shí)，大量SCADA(Supervisory Control And DataAcquisition)系統(tǒng)的報(bào)警信息涌入調(diào)度控制中心，調(diào)控人員很難快速篩選出關(guān)鍵信息以供決策[8-9]。另一方面，海量的文本蘊(yùn)含著豐富的數(shù)據(jù)信息，如果能有效地挖掘電力大數(shù)據(jù)，提取重要信息，就能夠?qū)崿F(xiàn)電網(wǎng)調(diào)控告警信息高效識(shí)別，進(jìn)一步提升智能電網(wǎng)的管理水平[10]。

電網(wǎng)調(diào)控告警識(shí)別技術(shù)是提高調(diào)控智能化水平、解決大數(shù)據(jù)信息挖掘的有效手段之一，已受到國(guó)內(nèi)外學(xué)者的普遍重視。目前其主要的研究方向有：(1) 在調(diào)度端告警信息的基礎(chǔ)上，基于專(zhuān)家系統(tǒng)或人工智能算法建立電網(wǎng)的智能故障診斷模型，通過(guò)分析多個(gè)保護(hù)裝置的告警信息和上下游電氣量，推斷故障位置及類(lèi)型[11-15]。如文獻(xiàn)[11]利用Petri網(wǎng)圖論工具對(duì)電網(wǎng)系統(tǒng)建模，引入補(bǔ)充弧元組和動(dòng)態(tài)自適應(yīng)策略，適配專(zhuān)家系統(tǒng)的模糊知識(shí)更新，并利用BP神經(jīng)網(wǎng)絡(luò)算法訓(xùn)練模型參數(shù)。文獻(xiàn)[12]利用故障與保護(hù)動(dòng)作、保護(hù)動(dòng)作和繼電器跳閘等的時(shí)序信息，建立了基于時(shí)序貝葉斯知識(shí)庫(kù)的電網(wǎng)故障診斷模型，以此判斷故障元件和正確動(dòng)作/誤動(dòng)/拒動(dòng)的保護(hù)裝置與斷路器。(2) 采用人工智能或深度學(xué)習(xí)算法進(jìn)行告警文本信息的深入挖掘，提取重要信息，實(shí)現(xiàn)在線(xiàn)告警識(shí)別[16-20]。如文獻(xiàn)[16]采用語(yǔ)義分析技術(shù)解析電網(wǎng)遙信信息，在人工預(yù)設(shè)模板的基礎(chǔ)上，通過(guò)字符串分段匹配語(yǔ)義分析模塊，實(shí)現(xiàn)單條遙信告警信息的解析，在此基礎(chǔ)上進(jìn)一步建立遙信信息間的關(guān)聯(lián)關(guān)系，將關(guān)聯(lián)結(jié)果提供給診斷程序使用。但是，隨著告警文本數(shù)量和種類(lèi)的增多，單純依靠人工預(yù)設(shè)模板將面臨規(guī)則難以提煉和維護(hù)的難題，模型也不具備自學(xué)習(xí)功能。文獻(xiàn)[17]采用Word2vec和深度學(xué)習(xí)算法解決電網(wǎng)監(jiān)控告警事件的智能識(shí)別問(wèn)題，并提出了融合知識(shí)庫(kù)和深度學(xué)習(xí)模型的電網(wǎng)監(jiān)控智能告警的思路和框架。Word2vec是谷歌公司在2013年提出的一種無(wú)監(jiān)督的自然語(yǔ)言處理(Natural Language Processing, NLP)模型，具有生成詞向量速度快、通用性強(qiáng)的優(yōu)點(diǎn)。該文通過(guò)Word2vec模型將告警信息向量化，在其基礎(chǔ)上建立卷積神經(jīng)網(wǎng)絡(luò)告警事件識(shí)別模型，通過(guò)仿真驗(yàn)證了模型的有效性。

計(jì)算機(jī)技術(shù)的發(fā)展日新月異，2018年底谷歌公司又提出了一種新的NLP模型——基于Transformer的雙向解碼器表示(Bidirectional Encoder Rep-resentation from Transformers, BERT)模型[21]。該模型作為Word2vec的替代者，在一詞多義和上下文聯(lián)系兩個(gè)方面取得重大突破，并在Machine Trans-lation的最高水平測(cè)試的11個(gè)方向中均創(chuàng)出了最佳成績(jī)。本文將BERT模型引入到電網(wǎng)調(diào)控智能告警系統(tǒng)中，實(shí)現(xiàn)電網(wǎng)調(diào)控告警信息的向量化，然后將向量化的信息輸入卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，并根據(jù)電網(wǎng)告警信息的特點(diǎn)引入雙重自注意力機(jī)制(Double Self Attention, DSA)對(duì)CNN模型進(jìn)行改進(jìn)。算例驗(yàn)證了模型的準(zhǔn)確性和有效性。提出了融合BERT-DSA-CNN模型和傳統(tǒng)知識(shí)庫(kù)的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別方案，為工程應(yīng)用提供了一種思路。

1 自然語(yǔ)言處理-深度學(xué)習(xí)的文本數(shù)據(jù)挖掘架構(gòu)

文本數(shù)據(jù)挖掘是一種從文本數(shù)據(jù)流中提取和挖掘有效信息的計(jì)算機(jī)處理技術(shù)，廣泛應(yīng)用于搜索引擎檢索、智能電子商務(wù)等領(lǐng)域中。電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別是從海量調(diào)控告警數(shù)據(jù)中提取故障相關(guān)信息，診斷故障事件的類(lèi)型，符合文本數(shù)據(jù)挖掘的定義。因此本文將文本數(shù)據(jù)挖掘技術(shù)應(yīng)用于電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別中，其基本架構(gòu)如下所述。

1) 文本屬于自然語(yǔ)言，需要使用自然語(yǔ)言處理技術(shù)將文本信息轉(zhuǎn)換為數(shù)字信息，通常需要經(jīng)過(guò)分詞、去除停用詞、建立向量三個(gè)步驟。

分詞：基于標(biāo)準(zhǔn)語(yǔ)料庫(kù)的樣本統(tǒng)計(jì)，將句信息分解為詞信息。例如“xx變2號(hào)主變3號(hào)電容器保護(hù)動(dòng)作”可分詞為“xx變 2號(hào)主變 3號(hào)電容器保護(hù)動(dòng)作”。

去除停用詞：去除出現(xiàn)頻率較高、對(duì)文本分析無(wú)幫助的詞語(yǔ)，以增加模型的泛化能力，例如“中”、“和”、“或”、“.”等字詞和符號(hào)。

建立向量：將非結(jié)構(gòu)的文本信息轉(zhuǎn)變?yōu)榻Y(jié)構(gòu)化的向量信息，為深度學(xué)習(xí)模型提供輸入變量。

2) 構(gòu)建深度學(xué)習(xí)模型，設(shè)置超參數(shù)和目標(biāo)函數(shù)訓(xùn)練模型，在測(cè)試集中檢驗(yàn)?zāi)Ｐ托Ч?/p>

2 基于BERT模型的電網(wǎng)調(diào)控告警信息向量化

BERT是一種用于對(duì)自然語(yǔ)言進(jìn)行編碼的模型，它提供了一種動(dòng)態(tài)的預(yù)訓(xùn)練技術(shù)方案，堪稱(chēng)自然語(yǔ)言處理領(lǐng)域的重要里程碑，在多個(gè)下游任務(wù)上的表現(xiàn)相比Word2vec、Glove等靜態(tài)技術(shù)有很大的進(jìn)步。其主要優(yōu)點(diǎn)有：

1) 采用MLM(masked LM)預(yù)訓(xùn)練方法，該方法隨機(jī)屏蔽(masking)部分詞，然后只預(yù)測(cè)那些被屏蔽的詞，引入噪聲機(jī)制增強(qiáng)了模型的魯棒性。

2)借鑒ULMFiT(Universal Language Model Fine-tuning)的訓(xùn)練策略，一共分為3個(gè)階段，一是語(yǔ)言模型的預(yù)訓(xùn)練，二是語(yǔ)言模型的調(diào)整，三是分類(lèi)任務(wù)的調(diào)整，模型易于訓(xùn)練。

3) 模型遷移能力強(qiáng)，能有效處理一詞多義問(wèn)題，帶給下游任務(wù)的提升更多。

BERT的源碼和模型均已在Github網(wǎng)站上開(kāi)源，本文使用其開(kāi)源代碼建模。

圖1 BERT模型

3 DSA-CNN深度學(xué)習(xí)模型

卷積神經(jīng)網(wǎng)絡(luò)CNN是一種擅長(zhǎng)提取局部特征的深度學(xué)習(xí)模型，相比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)具有訓(xùn)練參數(shù)少、抑制模型過(guò)擬合等優(yōu)點(diǎn)，適用于挖掘具有上下文聯(lián)系的相鄰調(diào)控告警信息之間的關(guān)聯(lián)性特征，從而識(shí)別告警事件的類(lèi)別。

傳統(tǒng)CNN模型包含輸入層、卷積層、池化層、全連接層四層結(jié)構(gòu)。在文本數(shù)據(jù)挖掘問(wèn)題中，輸入層為輸入詞向量矩陣，卷積層提取不同層面的特征，池化層在保留主要特征的同時(shí)減少參數(shù)和計(jì)算量，防止模型過(guò)擬合，全連接層起到“分類(lèi)器”的作用，輸出分類(lèi)結(jié)果。在輸入層向卷積層過(guò)渡的過(guò)程中，所有輸入詞向量被視為同等重要，其權(quán)重相同，并未考慮到關(guān)鍵告警信息對(duì)告警事件判別的重要程度，例如帶有“動(dòng)作”“開(kāi)關(guān)”“斷路器”等的告警信息比一般告警信息更重要。因此本文引入雙重自注意力機(jī)制DSA[22]，在輸入層和池化層對(duì)重要詞向量賦予更高的權(quán)重，以提升CNN的語(yǔ)義捕捉能力，提高模型正確率。注意力機(jī)制在計(jì)算機(jī)領(lǐng)域被廣泛應(yīng)用于深度學(xué)習(xí)中，其本質(zhì)是一系列鍵值對(duì)()組成的數(shù)據(jù)源，通過(guò)計(jì)算元素Query和各個(gè)Key之間的相關(guān)性得到Key-Value的權(quán)重系數(shù)，經(jīng)過(guò)加權(quán)求和計(jì)算出反映重要程度的注意力數(shù)值A(chǔ)ttention[23-25]。DSA-CNN模型如圖2所示。

圖2 DSA-CNN模型

式中，為輸入中第個(gè)詞的維詞向量。輸入層的作用是將向量化的文本數(shù)據(jù)傳入DSA-CNN模型，并和注意力層連接。

第2層(注意力層)：注意力層為每一個(gè)告警詞向量引入自注意力評(píng)分機(jī)制，生成變換上下文向量，并與原詞向量拼接后輸入卷積層。詞向量對(duì)應(yīng)的變換上下文向量可表示為

最后將變換上下文向量和原詞向量串聯(lián)拼接，作為新的輸入傳送至卷積層。

式中：為激活函數(shù)；b為偏置項(xiàng)。

第4層(池化層)：池化層的作用是特征降維，壓縮數(shù)據(jù)和參數(shù)，抑制過(guò)擬合現(xiàn)象。本文在池化層引入了第2層自注意力機(jī)制，對(duì)卷積層輸入矩陣分配注意力權(quán)重系數(shù)，經(jīng)過(guò)變換、拼接后再進(jìn)行池化操作。池化方法選用最大池化法，形成全連接層輸入向量。

第5層(全連接層)：全連接層起到分類(lèi)器的作用，輸入向量經(jīng)全連接層后使用Softmax分類(lèi)，其結(jié)果可表示為

式中：為事件的類(lèi)別概率；0為全連接層輸入向量的權(quán)重；0為偏置項(xiàng)。

4 基于BERT-DSA-CNN的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別

本文提出了一種基于BERT-DSA-CNN的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別模型，如圖3所示，其主要步驟如下：

1) 建立電力詞典。收集資料形成專(zhuān)業(yè)電力詞庫(kù)，并導(dǎo)入調(diào)控告警信息中的線(xiàn)路名稱(chēng)，形成電力詞典。

2) 告警信息分詞。利用分詞工具進(jìn)行分詞操作。

3) 告警信息去停用詞。去除出現(xiàn)頻率較高、對(duì)文本分析無(wú)幫助的詞語(yǔ)，增加模型的泛化能力。

4) BERT生成告警信息詞向量。采用BERT方法生成涵蓋告警信息特征的高位詞向量，作為深度學(xué)習(xí)模型的輸入。

5) DSA-CNN深度學(xué)習(xí)模型訓(xùn)練。模型以告警信息詞向量為輸入，以從歷史告警和調(diào)度日志中提取出的故障信息事件樣本類(lèi)別為輸出，搭建DSA-CNN模型，選取算法訓(xùn)練優(yōu)化模型參數(shù)。

6) 電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別測(cè)試。在測(cè)試集中對(duì)DSA-CNN的識(shí)別效果進(jìn)行測(cè)試。

7) 模型評(píng)價(jià)。采用多項(xiàng)分類(lèi)評(píng)估指標(biāo)對(duì)模型的識(shí)別效果進(jìn)行評(píng)價(jià)，驗(yàn)證模型的準(zhǔn)確性。

圖3 BERT-DSA-CNN流程圖

5 算例分析

5.1 算例描述

為確保與實(shí)際電力調(diào)度的運(yùn)行情況相符，本文選取某市電力調(diào)控中心2019年全年約800萬(wàn)條歷史監(jiān)控告警信息作為算例的數(shù)據(jù)來(lái)源，按照?qǐng)D3的流程對(duì)模型進(jìn)行訓(xùn)練和識(shí)別。其中，從歷史告警和調(diào)度日志中提取出4類(lèi)事故跳閘事件，其故障分類(lèi)統(tǒng)計(jì)如表1所示。

表1 故障分類(lèi)統(tǒng)計(jì)

為驗(yàn)證本文模型的有效性，本文選取未引入雙重自注意力機(jī)制的BERT-CNN模型、HMM-VSM-SVM模型、Word2vec-CNN模型、Word2vec-DSA-CNN模型作為對(duì)照組，對(duì)比各模型的識(shí)別效果。模型評(píng)價(jià)采用準(zhǔn)確率、精確率、召回率和1值四項(xiàng)指標(biāo)，取值范圍均為[0,1]，值越大代表模型識(shí)別效果越好。指標(biāo)計(jì)算公式如下。

式中：為每類(lèi)事件的數(shù)量；、、、服從表2的混淆矩陣。

表2 分類(lèi)混淆矩陣

5.2 算例結(jié)果對(duì)比

各模型的識(shí)別準(zhǔn)確率結(jié)果如表3所示。由表3可以得出以下結(jié)論：

1) 本文BERT-DSA-CNN模型在各類(lèi)故障識(shí)別場(chǎng)景下，準(zhǔn)確率均優(yōu)于BERT-CNN模型，且Word2vec-DSA-CNN模型在各類(lèi)故障識(shí)別場(chǎng)景下，準(zhǔn)確率均優(yōu)于Word2vec-CNN，這說(shuō)明引入DSA機(jī)制可以提升CNN的識(shí)別精度。

2) 本文BERT-DSA-CNN模型在各類(lèi)故障識(shí)別場(chǎng)景下，準(zhǔn)確率均優(yōu)于Word2vec-DSA-CNN模型，且BERT-CNN模型在各類(lèi)故障識(shí)別場(chǎng)景下，準(zhǔn)確率均優(yōu)于Word2vec-CNN，驗(yàn)證了BERT模型相比Word2vec具有更高的詞向量精度。

3) 本文BERT-DSA-CNN模型在各類(lèi)故障識(shí)別場(chǎng)景下，準(zhǔn)確率優(yōu)于其他四類(lèi)對(duì)比模型，驗(yàn)證了模型在準(zhǔn)確率指標(biāo)上的有效性和優(yōu)越性。

表3 各模型準(zhǔn)確率對(duì)比

同理，對(duì)比各模型的精確率、召回率和1值，其結(jié)果分別如表4、表5、表6所示。

表4 各模型精確率對(duì)比

表5 各模型召回率對(duì)比

表6 各模型F1值對(duì)比

觀察表4、表5、表6可知，除了直流換流站故障場(chǎng)景下各模型均未發(fā)生誤判，精確率均為100%以外，其他場(chǎng)景下本文BERT-DSA-CNN模型均優(yōu)于其他四種對(duì)比模型，驗(yàn)證了本文模型在精確率、召回率和1值三類(lèi)指標(biāo)上的有效性和優(yōu)越性。同時(shí)，BERT-DSA-CNN模型的三類(lèi)指標(biāo)大多優(yōu)于BERT-CNN模型，Word2vec-DSA-CNN模型大多優(yōu)于Word2vec-CNN模型，進(jìn)一步說(shuō)明了引入DSA機(jī)制可以提升CNN的識(shí)別精度。此外，BERT-DSA- CNN模型大多優(yōu)于Word2vec-DSA-CNN模型，BERT-CNN模型大多優(yōu)于Word2vec-CNN模型，進(jìn)一步說(shuō)明了BERT模型相比Word2vec具有更高的詞向量精度，這一現(xiàn)象與BERT模型在Machine Translation的最高水平測(cè)試的11個(gè)方向中均創(chuàng)出了最佳成績(jī)的事實(shí)是吻合的。

6 融合深度學(xué)習(xí)和傳統(tǒng)知識(shí)庫(kù)的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別方案

6.1 組合電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別方案

傳統(tǒng)知識(shí)庫(kù)具有業(yè)務(wù)數(shù)據(jù)豐富、系統(tǒng)知識(shí)完備的優(yōu)點(diǎn)，但缺乏自學(xué)習(xí)能力，知識(shí)遷移能力較差。深度學(xué)習(xí)方法具有較好的學(xué)習(xí)能力和魯棒性，但模型訓(xùn)練時(shí)間較長(zhǎng)，并且在不重新訓(xùn)練的情況下無(wú)法修正學(xué)習(xí)結(jié)果。兩者的優(yōu)缺點(diǎn)在一定程度上可以互補(bǔ)，因此本文提出一種融合深度學(xué)習(xí)和傳統(tǒng)知識(shí)庫(kù)的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別方案，旨在通過(guò)這種組合方法進(jìn)一步提升告警識(shí)別的正確率。方案流程圖如圖4所示。

圖4 融合深度學(xué)習(xí)和傳統(tǒng)知識(shí)庫(kù)的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別方案流程圖

融合本文BERT-DSA-CNN模型和傳統(tǒng)知識(shí)庫(kù)的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別方案步驟如下：

1) 利用歷史監(jiān)控告警信息作為訓(xùn)練數(shù)據(jù)，訓(xùn)練本文BERT-DSA-CNN模型，在訓(xùn)練過(guò)程中仍采用傳統(tǒng)知識(shí)庫(kù)模型進(jìn)行在線(xiàn)監(jiān)控告警。

2) 本文模型訓(xùn)練完畢后，采用雙告警識(shí)別聯(lián)合判別機(jī)制，首先由傳統(tǒng)知識(shí)庫(kù)判別是否發(fā)生故障，無(wú)論判別結(jié)果如何，均由BERT-DSA-CNN模型進(jìn)行二次判別。若兩者判別結(jié)果一致，則推送告警結(jié)果或不告警；若判別結(jié)果不一致，直接由調(diào)度員進(jìn)行人工干預(yù)判斷，并將結(jié)果更新至知識(shí)庫(kù)和BERT- DSA-CNN模型的故障信息事件樣本集中。

3) 系統(tǒng)運(yùn)行一定時(shí)間后，積累了較多的故障信息事件樣本集，此時(shí)由程序?qū)崿F(xiàn)定期在線(xiàn)重新訓(xùn)練BERT-DSA-CNN模型，達(dá)到修正學(xué)習(xí)結(jié)果的目的。

按照這種方案，隨著在線(xiàn)告警識(shí)別系統(tǒng)的運(yùn)行時(shí)間不斷增加，模型的有效樣本數(shù)量也會(huì)增加，模型在自學(xué)習(xí)機(jī)制下其準(zhǔn)確率將不斷地得到提升。

6.2 算例結(jié)果對(duì)比

為驗(yàn)證該組合告警識(shí)別方案，以某市電力調(diào)控中心2020年全年約1 000萬(wàn)條歷史監(jiān)控告警信息作為算例的數(shù)據(jù)來(lái)源，分別采取如下四種模型進(jìn)行電網(wǎng)調(diào)控告警識(shí)別：

1) 本文提出的單BERT-DSA-CNN深度學(xué)習(xí)模型，記為模型A。

2) 單傳統(tǒng)知識(shí)庫(kù)模型，記為模型B。

3) 融合BERT-DSA-CNN和傳統(tǒng)知識(shí)庫(kù)的組合模型，但不引入在線(xiàn)學(xué)習(xí)機(jī)制，記為模型C。

4) 融合BERT-DSA-CNN和傳統(tǒng)知識(shí)庫(kù)的組合模型，且引入在線(xiàn)學(xué)習(xí)機(jī)制，記為模型D。

各模型針對(duì)故障告警的識(shí)別結(jié)果如表7所示。

表7 各模型F1值對(duì)比

由表7可以得出以下結(jié)論：

1) 模型A的準(zhǔn)確率、精確率、召回率、1值優(yōu)于模型B，說(shuō)明本文提出的深度學(xué)習(xí)模型比傳統(tǒng)知識(shí)庫(kù)的告警識(shí)別準(zhǔn)確性和有效性更高。

2) 模型C的準(zhǔn)確率、精確率、召回率、1值優(yōu)于模型A和模型B，說(shuō)明本文提出的融合深度學(xué)習(xí)模型和傳統(tǒng)知識(shí)庫(kù)的組合告警識(shí)別方法可以有效提升單一識(shí)別方法的準(zhǔn)確性和有效性。

3) 模型D的準(zhǔn)確率、精確率、召回率、1值優(yōu)于模型C，說(shuō)明引入在線(xiàn)學(xué)習(xí)機(jī)制，定期在線(xiàn)重新訓(xùn)練BERT-DSA-CNN模型，可以有效修正學(xué)習(xí)結(jié)果，提升識(shí)別精度。本文提出的融合深度學(xué)習(xí)和傳統(tǒng)知識(shí)庫(kù)的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別方案具有較好的準(zhǔn)確性和有效性。

7 結(jié)論

本文提出了一種基于BERT-DSA-CNN和知識(shí)庫(kù)的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別方法，旨在結(jié)合傳統(tǒng)知識(shí)庫(kù)業(yè)務(wù)數(shù)據(jù)豐富、系統(tǒng)知識(shí)完備的優(yōu)點(diǎn)和深度學(xué)習(xí)模型較好的學(xué)習(xí)能力和魯棒性的優(yōu)點(diǎn)，為解決電網(wǎng)調(diào)控告警識(shí)別問(wèn)題提供一種新的思路。首先借鑒計(jì)算機(jī)科學(xué)領(lǐng)域的文本數(shù)據(jù)挖掘流程，利用BERT模型實(shí)現(xiàn)電網(wǎng)調(diào)控告警信息向量化；然后將向量信息作為CNN深度學(xué)習(xí)模型的輸入，并且引入DSA機(jī)制對(duì)CNN模型進(jìn)行改進(jìn)。仿真結(jié)果表明，本文所提BERT-DSA-CNN方法具有更優(yōu)的準(zhǔn)確性和有效性，具有良好的應(yīng)用價(jià)值。

本文最后提出了一種融合BERT-DSA-CNN模型和傳統(tǒng)知識(shí)庫(kù)的電網(wǎng)調(diào)控在線(xiàn)告警識(shí)別方案。該方案可以實(shí)現(xiàn)定期在線(xiàn)重新訓(xùn)練，修正學(xué)習(xí)結(jié)果，從而使系統(tǒng)的準(zhǔn)確率不斷地得到提升。關(guān)于該方案如何在工程實(shí)踐中落地，以及解決實(shí)踐中遇到的具體問(wèn)題，將是后續(xù)研究的方向。

[1] 白浩, 袁智勇, 梁朔, 等.基于大數(shù)據(jù)處理的配網(wǎng)運(yùn)行效率關(guān)聯(lián)性分析[J].電力系統(tǒng)保護(hù)與控制, 2020, 48(6): 61-67.

BAI Hao, YUAN Zhiyong, LIANG Shuo, et al.Correlation analysis of distribution network operation efficiency based on big data processing[J].Power System Protection and Control, 2020, 48(6): 61-67.

[2] 方靜, 彭小圣, 劉泰蔚, 等.電力設(shè)備狀態(tài)監(jiān)測(cè)大數(shù)據(jù)發(fā)展綜述[J].電力系統(tǒng)保護(hù)與控制, 2020, 48(23): 176-186.

FANG Jing, PENG Xiaosheng, LIU Taiwei, et al.Development trend and application prospects of big data-based condition monitoring of power apparatus[J].Power System Protection and Control, 2020, 48(23): 176-186.

[3] 呂夢(mèng)平, 段斌, 蔣海輝, 等.基于知識(shí)圖譜技術(shù)的風(fēng)電數(shù)據(jù)管理與應(yīng)用研究[J].電力系統(tǒng)保護(hù)與控制, 2021, 49(6): 167-173.

Lü Mengping, DUAN Bin, JIANG Haihui, et al.Research on management and application of wind power data based on knowledge graph technology[J].Power System Protection and Control, 2021, 49(6): 167-173.

[4] 華志剛, 范佳卿, 郭榮, 等.人工智能技術(shù)在火電行業(yè)的應(yīng)用探討[J].中國(guó)電力, 2021, 54(7): 198-207.

HUA Zhigang, FAN Jiaqing, GUO Rong, et al.Discussionon application of artificial intelligence technology in thermal power industry[J].Electric Power, 2021, 54(7): 198-207.

[5] 孫立明, 楊博.蓄電池/超導(dǎo)混合儲(chǔ)能系統(tǒng)非線(xiàn)性魯棒分?jǐn)?shù)階控制[J].電力系統(tǒng)保護(hù)與控制, 2020, 48(22): 76-83.

SUN Liming, YANG Bo.Nonlinear robust fractional-order control of battery/SMES hybrid energy storage systems[J].Power System Protection and Control, 2020, 48(22): 76-83.

[6] BAKEER A, HOSSAM S, SALAMA, et al.Integration of PV system with SMES based on model predictive control for utility grid reliability improvement.[J].Protection and Control of Modern Power Systems, 2021, 6(2): 191-213.

[7] 楊家然, 王興成, 蔣程, 等.計(jì)及風(fēng)力發(fā)電風(fēng)險(xiǎn)的電力系統(tǒng)多目標(biāo)動(dòng)態(tài)優(yōu)化調(diào)度[J].電力系統(tǒng)保護(hù)與控制, 2016, 44(7): 25-31.

YANG Jiaran, WANG Xingcheng, JIANG Cheng, et al.Multi-objective dynamic optimal scheduling of power system considering wind power risk[J].Power System Protection and Control, 2016, 44(7): 25-31.

[8] 林佳, 劉涌, 陳冰斌, 等.基于隨機(jī)機(jī)會(huì)約束規(guī)劃的冷熱電聯(lián)供微電網(wǎng)能量?jī)?yōu)化調(diào)度[J].電測(cè)與儀表, 2019, 56(19): 85-90.

LIN Jia, LIU Yong, CHEN Bingbin, et al.Micro-grid energy optimization dispatch of combined cold and heat power supply based on stochastic chance-constrained programming[J].Electrical Measurement & Instrumentation, 2019, 56(19): 85-90.

[9] 張心潔, 王建.基于語(yǔ)義分析的D5000遙信信息生成與校核方法[J].中國(guó)電力, 2019, 52(5): 134-141.

ZHANG Xinjie, WANG Jian.A method for generating and checking D5000 alarm information based on semantic analysis[J].Electric Power, 2019, 52(5): 134-141.

[10] 葉康, 冷喜武, 肖飛, 等.基于大數(shù)據(jù)標(biāo)簽技術(shù)的電網(wǎng)監(jiān)控智能分析方法[J].電測(cè)與儀表, 2019, 56(4): 75-79.

YE Kang, LENG Xiwu, XIAO Fei, et al.Intelligent analysis method of power grid monitoring based on big data label technology[J].Electrical Measurement & Instrumentation, 2019, 56(4): 75-79.

[11] 謝敏, 吳亞雄, 閆圓圓, 等.基于改進(jìn)動(dòng)態(tài)自適應(yīng)模糊Petri網(wǎng)與BP算法的電網(wǎng)故障診斷[J].中國(guó)電機(jī)工程學(xué)報(bào), 2015, 35(12): 3008-3017.

XIE Min, WU Yaxiong, YAN Yuanyuan, et al.Power system fault diagnosis based on improved dynamic adaptive fuzzy Petri nets and back propagation algorithm[J].Proceedings of the CSEE, 2015, 35(12): 3008-3017.

[12] 孫明蔚, 童曉陽(yáng), 劉新宇, 等.運(yùn)用時(shí)序貝葉斯知識(shí)庫(kù)的電網(wǎng)故障診斷方法[J].電網(wǎng)技術(shù), 2014, 38(3): 715-722.

SUN Mingwei, TONG Xiaoyang, LIU Xinyu, et al.A power system fault diagnosis method using temporal Bayesian knowledge bases[J].Power System Technology, 2014, 38(3): 715-722.

[13] 胡玨, 韋鋼, 謝素娟, 等.基于人工魚(yú)群算法的主動(dòng)配電網(wǎng)故障定位[J].智慧電力, 2020, 48(6): 112-118, 124.

HU Jue, WEI Gang, XIE Sujuan, et al.Active distribution network fault location method based on artificial fish swarm algorithm[J].Smart Power, 2020, 48(6): 112-118, 124.

[14] 戴彥, 王劉旺, 李媛, 等.新一代人工智能在智能電網(wǎng)中的應(yīng)用研究綜述[J].電力建設(shè), 2018, 39(10): 1-11.

DAI Yan, WANG Liuwang, LI Yuan, et al.A brief survey on applications of new generation artificial intelligence in smart grids[J].Electric Power Construction, 2018, 39(10): 1-11.

[15] 甘錫淞, 李云, 傅成華, 等.基于信息融合和CS-SVM的變壓器繞組變形故障診斷方法研究[J].電力系統(tǒng)保護(hù)與控制, 2018, 46(1): 156-161.

GAN Xisong, LI Yun, FU Chenghua, et al.Information fusion and CS-SVM based research on diagnosis method for transformer winding deformation fault[J].Power System Protection and Control, 2018, 46(1): 156-161.

[16] 張旭, 魏娟, 趙冬梅, 等.一種用于電網(wǎng)故障診斷的遙信信息解析方法[J].中國(guó)電機(jī)工程學(xué)報(bào), 2014, 34(22): 3824-3833.

ZHANG Xu, WEI Juan, ZHAO Dongmei, et al.An analytic alarm information method for power grid fault diagnosis[J].Proceedings of the CSEE, 2014, 34(22): 3824-3833.

[17] 劉振華, 蘇立偉, 蘇華權(quán).自然語(yǔ)言處理技術(shù)下電網(wǎng)敏感客戶(hù)畫(huà)像多特征提取方法[J].電網(wǎng)與清潔能源, 2021, 37(6): 60-67.

LIU Zhenhua, SU Liwei, SU Huaquan.Multi feature extraction method of power grid sensitive customer portrait based on natural language processing technology[J].Power System and Clean Energy, 2021, 37(6): 60-67.

[18] 魯華永, 袁越, 郭泓佐, 等.基于正則表達(dá)式的變電站集中監(jiān)控信息解析方法[J].電力系統(tǒng)自動(dòng)化, 2017, 41(5): 78-83.

LU Huayong, YUAN Yue, GUO Hongzuo, et al.Feature selection strategy for electricity consumption behavior analysis in smart grid[J].Automation of Electric Power Systems, 2017, 41(5): 78-83.

[19] 閃鑫, 戴則梅, 張哲, 等.智能電網(wǎng)調(diào)度控制系統(tǒng)綜合智能告警研究及應(yīng)用[J].電力系統(tǒng)自動(dòng)化, 2015, 39(1): 65-72.

SHAN Xin, DAI Zemei, ZHANG Zhe, et al.Research on and application of integrated smart alarm based on smart grid dispatching and control systems[J].Automation of Electric Power Systems, 2015, 39(1): 65-72.

[20] 陳文實(shí), 劉心惠, 魯明羽.面向多標(biāo)簽文本分類(lèi)的深度主題特征提取[J].模式識(shí)別與人工智能, 2019, 32(9): 785-792.

CHEN Wenshi, LIU Xinhui, LU Mingyu.Feature extraction of deep topic model for multi- label text classification[J].Pattern Recognition and Artificial Intelligence, 2019, 32(9): 785-792.

[21] DEVLIN J, CHANG M, LEE K, et al.BERT: pre-training of deep bidirectional transformers for language understanding[C] // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics.Stroudsburg, PA: Association for Computational Linguistics, 2019: 4171-4186.

[22] 熊寬.基于深度學(xué)習(xí)和注意力機(jī)制的文本分類(lèi)方法研究[D].南昌: 江西師范大學(xué), 2020.

XIONG Kuan.Research on text classification method based on deep learning and attention mechanism[D].Nanchang: Jiangxi Normal University, 2020.

[23] 鄭偉, 姚遠(yuǎn), 代邦武, 等.基于數(shù)據(jù)挖掘的燃煤機(jī)組廠(chǎng)級(jí)負(fù)荷經(jīng)濟(jì)調(diào)度[J].熱力發(fā)電, 2021, 50(7): 78-83.

ZHENG Wei, YAO Yuan, DAI Bangwu, et al.Economic load dispatch of coal-fired power plant based on data mining technology[J].Thermal Power Generation, 2021, 50(7): 78-83.

[24] 楊秀, 曹澤棋, 張美霞, 等.基于Attention-LSTM的商業(yè)建筑負(fù)荷分解研究[J].智慧電力, 2020, 48(9): 89-95.

YANG Xiu, CAO Zeqi, ZHANG Meixia, et al.Energy disaggregation of commercial buildings based on attention-LSTM[J].Smart Power, 2020, 48(9): 89-95.

[25] 章昊, 田宏強(qiáng), 王磊, 等.基于Seq2Seq技術(shù)的電力系統(tǒng)暫態(tài)穩(wěn)定評(píng)估方法[J].電網(wǎng)與清潔能源, 2021, 37(4): 23-31.

ZHANG Hao, TIAN Hongqiang, WANG Lei, et al.A power system transient stability assessment method based on Seq2Seq technology[J].Power System and Clean Energy, 2021, 37(4): 23-31.

[26] 莊家懿, 楊國(guó)華, 鄭豪豐, 等.基于多模型融合的 CNN-LSTM-XGBoost 短期電力負(fù)荷預(yù)測(cè)方法[J].中國(guó)電力, 2021, 54(5): 46-55.

ZHUANG Jiayi, YANG Guohua, ZHENG Haofeng, et al.Short-term load forecasting method based on multi-model fusion using CNN-LSTM-XGBoost framework[J].Electric Power, 2021, 54(5): 46-55.

Online alarm recognition of power grid dispatching based on BERT-DSA-CNN and a knowledge base

YAN Peng1, HUANG Xiaoxu1, HUANG Yuhui2,YAN Jin1, WANG Shi1, LUO Lei1

(1.Tongren Power Supply Bureau, Guizhou Power Grid Co., Ltd., Tongren 554300, China; 2.School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China)

Power grid control alarm recognition is an important aspect of realizing smart grid dispatching.In order to improve the accuracy of power grid control alarm recognition, in view of the huge amount of grid data, the difficulty of extracting effective information, and the poor ability of traditional knowledge base knowledge migration, a power grid control online alarm recognition method based on BERT-DSA-CNN and knowledge base is proposed.First, using natural language processing-deep learning text data mining architecture, after the steps of word segmentation and removal of stop words, the BERT model is used to obtain the word vector of the power grid control warning information.Then the word vector is input into the CNN deep learning model for training, and the DSA mechanism is introduced according to the characteristics of the power grid warning information.Finally, an online warning recognition scheme for power grid regulation is proposed, one which combines the deep learning model and the traditional knowledge base.Through the analysis of a large number of calculation examples, it is concluded that this method has higher accuracy and effectiveness than Word2vec, traditional CNN, traditional knowledge base, offline learning and other methods, and has better recognition ability for different types of faults, providing a basis for engineering application.This work is supported by the National Key Research and Development Program of China (No.2018YFB2100103).

alarm recognition; BERT; deep learning; convolutional neural network; DSA; knowledge base

10.19783/j.cnki.pspc.210705

2021-06-15；

2021-08-26

晏 鵬(1993—)，男，本科，工程師，從事電網(wǎng)自動(dòng)化運(yùn)行和繼電保護(hù)管理方面的工作。E-mail: 1655494259@ qq.com

國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目資助(2018YFB2100103)；貴州電網(wǎng)公司科技項(xiàng)目資助(060500KK52190006)

(編輯 張愛(ài)琴)