基于Q-Learning算法的電氣故障檢測(cè)模型

摘要：針對(duì)電氣故障檢測(cè)過程中，時(shí)效性和準(zhǔn)確性低的特點(diǎn)，提出了一種基于Q-Leaming算法的電氣故障檢測(cè)模型（QLEFDM）。該模型將Q-Learning算法運(yùn)用到電氣故障檢測(cè)技術(shù)當(dāng)中，可以對(duì)熔斷器故障進(jìn)行有效的檢測(cè)。該模型可以有效地判斷熔斷器的故障，提高故障檢測(cè)的時(shí)效性和準(zhǔn)確性。經(jīng)過實(shí)驗(yàn)證明了該模型的有效性。

關(guān)鍵詞：熔斷器;故障診斷;強(qiáng)化學(xué)習(xí);Q-Learning算法

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）05-0258-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 概述

隨著經(jīng)濟(jì)的發(fā)展，城市化進(jìn)程日益加快，電力負(fù)荷對(duì)供電的可靠性要求越來越高，這時(shí)候就必須保障供配電系統(tǒng)的安全可靠。熔斷器是指一種當(dāng)電流超過規(guī)定的值時(shí)，由其本身產(chǎn)生的熱量使熔體熔斷，從而斷開電路的一種電流保護(hù)電器…。熔斷器被廣泛地應(yīng)用于高低壓配電系統(tǒng)，控制系統(tǒng)以及用電設(shè)備中，通常被作為短路和過電流的保護(hù)器[2]。在電力系統(tǒng)當(dāng)中，熔斷器可以保護(hù)電力設(shè)備的安全運(yùn)行，但是由于電力網(wǎng)絡(luò)中的各種故障，以及熔斷器本身的缺陷，會(huì)造成熔斷器的熔斷故障，造成不可挽回的損失，因此熔斷器故障檢測(cè)技術(shù)的研究日益重要起來。

隨著電氣設(shè)備使用數(shù)目的增多，熔斷器故障發(fā)生越來越頻繁，由于大部分熔斷器故障無法及時(shí)預(yù)知，造成的損失越來越多，因此熔斷器的故障檢測(cè)技術(shù)研究尤為重要。當(dāng)熔斷器的端電壓超過額定范圍，電流超過額定范圍，端電壓差超過額定范圍，這些都有可能引起熔斷器的故障。而目前的熔斷器故障檢測(cè)技術(shù)主要是對(duì)熔斷器進(jìn)行巡視檢查，檢查熔斷器的額定電流與實(shí)際是否相匹配。檢查熔斷器外觀有無損傷，變形，開裂現(xiàn)象，絕緣部分有無損傷或閃絡(luò)放電痕[3]。而當(dāng)熔斷器發(fā)生故障，端電壓，電流超出額定范圍的時(shí)候，熔斷器可能暫時(shí)會(huì)處于正常運(yùn)行狀態(tài)，不會(huì)立即損壞，因此熔斷器無法及時(shí)維修更換，故障檢測(cè)準(zhǔn)確性低。

隨著人工智能技術(shù)的興起，越來越多的人工智能技術(shù)開始運(yùn)用到實(shí)際領(lǐng)域當(dāng)中，強(qiáng)化學(xué)習(xí)是目前機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)重要的分支，它能夠完成從環(huán)境到動(dòng)作映射的自我學(xué)習(xí)的過程，實(shí)現(xiàn)與環(huán)境的交互，強(qiáng)化學(xué)習(xí)通過尋找智能體在環(huán)境中獲得的最大累積獎(jiǎng)賞值，從而獲得最優(yōu)策略[4]。而強(qiáng)化學(xué)習(xí)技術(shù)目前也被很好的運(yùn)用到了現(xiàn)實(shí)生活當(dāng)中，已經(jīng)在優(yōu)化調(diào)度，游戲博弈等領(lǐng)域得到了很好的應(yīng)用[5]。針對(duì)現(xiàn)有的熔斷器故障檢測(cè)技術(shù)時(shí)效性和準(zhǔn)確性低的缺點(diǎn)，該模型將強(qiáng)化學(xué)習(xí)中的經(jīng)典算法Q-Learning[6]算法運(yùn)用到熔斷器故障檢測(cè)當(dāng)中，利用Q-Learn-ing算法的優(yōu)勢(shì)，收集熔斷器運(yùn)行過程中的實(shí)時(shí)數(shù)據(jù)，運(yùn)用該模型對(duì)這些數(shù)據(jù)進(jìn)行分析計(jì)算，以達(dá)到對(duì)熔斷器故障的準(zhǔn)確檢測(cè)，降低熔斷器故障的發(fā)生率。

2 相關(guān)工作

在通過強(qiáng)化學(xué)習(xí)算法解決問題的時(shí)候，我們通常可以將問題建模成一個(gè)馬爾可夫決策過程（MDP，Markov decision pro-cess）。一個(gè)馬爾可夫決策過程可以用一個(gè)四元組來表示，在熔斷器故障檢測(cè)模型中，包含一個(gè)環(huán)境狀態(tài)集合S;熔斷器故障動(dòng)作集合A;狀態(tài)轉(zhuǎn)移概率P（s，a，s'），表示在狀態(tài)s下采取動(dòng)作a轉(zhuǎn)移到狀態(tài)s的概率;獎(jiǎng)賞函數(shù)R（s，a，s），表示Agent在狀態(tài)s下采取動(dòng)作a轉(zhuǎn)移到狀態(tài)s所獲得的瞬時(shí)獎(jiǎng)賞值。而對(duì)Agent在給定一個(gè)狀態(tài)或者一個(gè)狀態(tài)動(dòng)作對(duì)時(shí)，為了要對(duì)狀態(tài)或者狀態(tài)動(dòng)作對(duì)的好壞程度做出評(píng)估的時(shí)候，在強(qiáng)化學(xué)習(xí)中，通常會(huì)引入值函數(shù)的定義，通過值函數(shù)對(duì)策略的好壞程度做出評(píng)價(jià)，而值函數(shù)有狀態(tài)值函數(shù)Vπs）和動(dòng)作值函數(shù)Qπ（s，a）兩種，其中Qπ（s，a）表示在狀態(tài)動(dòng)作對(duì)fs，a）在采取策略π的情況下所得到的累積期望獎(jiǎng)賞。Vπfs）表示在狀態(tài)s下由策略π所得到的累積期望獎(jiǎng)賞。他們的所對(duì)應(yīng)的Bellman方程如公式（1）和公式（2）所示：

3 檢測(cè)模型

該熔斷器故障檢測(cè)模型主要包括：數(shù)據(jù)采集單元，數(shù)據(jù)處理終端和故障處理終端。以上單元通過協(xié)同合作完成對(duì)熔斷器故障的檢測(cè)。

3.1 模型的創(chuàng)建

模型框架由三部分組成，其體系結(jié)構(gòu)如圖1所示。

數(shù)據(jù)采集單元，主要用于采集熔斷器的狀態(tài)數(shù)據(jù)，所述狀態(tài)數(shù)據(jù)包括端電壓以及熔斷器兩端的電極溫度，本次模型主要采集端電壓數(shù)據(jù)。數(shù)據(jù)處理終端，所述數(shù)據(jù)處理終端與所述數(shù)據(jù)采集單元相連，所述數(shù)據(jù)處理終端用于獲取所述數(shù)據(jù)采集單元的狀態(tài)數(shù)據(jù)，所述數(shù)據(jù)處理單元包括數(shù)據(jù)存儲(chǔ)庫和o-學(xué)習(xí)算法模型，所述Q-學(xué)習(xí)算法模型用于利用獲取的狀態(tài)數(shù)據(jù)對(duì)熔斷器的狀態(tài)數(shù)據(jù)進(jìn)行預(yù)測(cè)，然后通過這個(gè)模型輸出預(yù)測(cè)的狀態(tài)數(shù)據(jù)。

從以往所收集的熔斷器端電壓歷史數(shù)據(jù)可知，它的每個(gè)時(shí)刻測(cè)量的電壓值在區(qū)間[0.1，0.3]之間，將連續(xù)的三個(gè)時(shí)刻的熔斷器端電壓數(shù)據(jù)作為一個(gè)狀態(tài)集，將該狀態(tài)集作為Q-Iearning算法的輸入，在強(qiáng)化學(xué)習(xí)算法中動(dòng)作A和狀態(tài)S是對(duì)應(yīng)的，當(dāng)SE[O.1，0.3]，通過，在該區(qū)間上選擇最優(yōu)的動(dòng)作，達(dá)到預(yù)測(cè)下一時(shí)刻熔斷器狀態(tài)目的。

假設(shè)下一狀態(tài)的所預(yù)測(cè)到的端電壓值為U'+l，實(shí)際的端電壓值為vt+l，那么他們兩者之間誤差為E=|Ut+1-Vt+1|，那么設(shè)模型中的獎(jiǎng)賞為一個(gè)負(fù)值的變量，相當(dāng)于預(yù)測(cè)結(jié)果的懲罰值。如公式6所示：

r=-E

（6）

當(dāng)預(yù)測(cè)值與真實(shí)值越靠近的時(shí)候，獲得的獎(jiǎng)賞值越大，反之所獲得的越小。

故障處理終端，所述故障處理終端分別與數(shù)據(jù)采集單元和數(shù)據(jù)處理終端相連，所述故障處理終端用于獲取數(shù)據(jù)采集單元的熔斷器的真實(shí)狀態(tài)數(shù)據(jù)，以及獲取數(shù)據(jù)處理終端的熔斷器的預(yù)測(cè)狀態(tài)數(shù)據(jù)。所述故障處理終端包括比較單元、判斷單元和報(bào)警單元，所述比較單元用于將熔斷器的預(yù)測(cè)狀態(tài)數(shù)據(jù)與對(duì)應(yīng)的真實(shí)狀態(tài)數(shù)據(jù)進(jìn)行比較，所述判斷單元用于判斷比較單元輸出的比較結(jié)果是否大于閾值，如果比較單元輸出的比較結(jié)果大于閾值則啟動(dòng)報(bào)警單元。

在該熔斷器故障檢測(cè)模型中，將持續(xù)獲得的熔斷器的正常工作下的狀態(tài)數(shù)據(jù)，Q一學(xué)習(xí)算法模型，通過該模型可輸出熔斷器的預(yù)測(cè)狀態(tài)數(shù)據(jù)，預(yù)測(cè)狀態(tài)數(shù)據(jù)為預(yù)測(cè)正常工作下的狀態(tài)數(shù)據(jù)。然后，故障處理終端將真實(shí)狀態(tài)數(shù)據(jù)與預(yù)測(cè)的狀態(tài)數(shù)據(jù)比較，如果實(shí)測(cè)獲得真實(shí)數(shù)據(jù)與預(yù)測(cè)的狀態(tài)數(shù)據(jù)偏差比較大，說明熔斷器發(fā)生故障，此時(shí)就需要報(bào)警。其邏輯框圖如圖2所示。

3.2 模型分析

該模型將Q-learning算法運(yùn)用到熔斷器的故障檢測(cè)模型當(dāng)中，直接利用熔斷器的真實(shí)數(shù)據(jù)構(gòu)造檢測(cè)模型，利用Q-學(xué)習(xí)算法對(duì)熔斷器的下一狀態(tài)進(jìn)行預(yù)測(cè)，所以具有很好的目的性，能夠大大提高檢測(cè)的準(zhǔn)確度。同時(shí)模型具有很強(qiáng)的適應(yīng)性。

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)數(shù)據(jù)及設(shè)置

為了驗(yàn)證該模型的有效性，將本文所提出的方法運(yùn)用到熔斷器的故障檢測(cè)當(dāng)中，數(shù)據(jù)采集來自實(shí)驗(yàn)室某一熔斷器的真實(shí)數(shù)據(jù)，實(shí)驗(yàn)中的熔斷器數(shù)據(jù)來自2019年1月1日下午1點(diǎn)到2019年1月1日下午2點(diǎn)。部分實(shí)驗(yàn)數(shù)據(jù)如表1所示：

如圖表中所示，數(shù)據(jù)集中包括電流值，端電壓值，電極溫度，電極溫度差等信息。 在實(shí)驗(yàn)中，數(shù)據(jù)集可以分為兩個(gè)部分，一部分用于該模型的訓(xùn)練，一部分?jǐn)?shù)據(jù)用來測(cè)試該方法的性能。算法程序基于python編程，仿真環(huán)境為python3，模型中的學(xué)習(xí)速率α=0.4，折扣率因子γ=0.99。

4.2 實(shí)驗(yàn)結(jié)果分析

（1）預(yù)測(cè)結(jié)果

圖3中主要展示了運(yùn)用Q-Iearning算法對(duì)熔斷器的端電壓預(yù)測(cè)值與實(shí)際值得對(duì)比圖，橫坐標(biāo)表示時(shí)間步，縱坐標(biāo)表示熔斷器端電壓，在本次實(shí)驗(yàn)中，算法被執(zhí)行了25次，圖中數(shù)據(jù)為25次實(shí)驗(yàn)的平均值，從圖3中可以看出，該算法可以較為準(zhǔn)確的預(yù)測(cè)熔斷器的端電壓數(shù)據(jù)。

（2）誤報(bào)率對(duì)比

圖4將該模型對(duì)熔斷器的故障誤報(bào)率與NINES模型做出對(duì)比，可以看出隨著熔斷器故障發(fā)生次數(shù)的增多，系統(tǒng)對(duì)故障的誤報(bào)率都呈逐漸增加的趨勢(shì)，但是整個(gè)測(cè)試過程中，該模型的誤報(bào)率都要低于對(duì)比模型。

5 結(jié)論

本文提出了一種基于Q-Iearning算法的熔斷器故障檢測(cè)模型，吸收了Q-learning算法的優(yōu)點(diǎn)，克服傳統(tǒng)熔斷器故障檢測(cè)的缺點(diǎn)，能夠及時(shí)準(zhǔn)確的檢測(cè)出熔斷器的故障，具有很好的準(zhǔn)確性。能夠很好地降低熔斷器的故障發(fā)生率。在該模型中我們運(yùn)用強(qiáng)化學(xué)習(xí)的思想來解決問題，是一個(gè)很好的嘗試，但是模型中的預(yù)設(shè)判斷故障閥值是與檢測(cè)結(jié)果密切相關(guān)的，以及該模型是基于單一的端電壓基礎(chǔ)之上，而熔斷器的正常運(yùn)行與端電流值和電極溫度也有一定的相關(guān)性，因此該模型還需要繼續(xù)改進(jìn)，以提高對(duì)熔斷器故障檢測(cè)的準(zhǔn)確性。

參考文獻(xiàn)：

[1]吳江華.基于用電安全性的輸配電工程建設(shè)[J].中國(guó)科技信息，2013（24）：75-76.

[2]呂俊霞.低壓熔斷器的運(yùn)行維護(hù)與故障診斷技術(shù)[Jl.燈與照明，2012，36（1）：55-57.

[3]孫路陽.10KV跌落式熔斷器故障分析及防范[J].中國(guó)新技術(shù)新產(chǎn)品，2010（4）：156-157.

[4] SUTTON R S，BARTO G A.Reinforcement learning： an intro-duction[M]. Cambridge： MIT PRESS，1998.

[5]馬騁乾，謝偉，孫偉杰.強(qiáng)化學(xué)習(xí)研究綜述[J].指揮控制與仿真，2018，40（6）：68-72.

[6]褚建華.Q-learning強(qiáng)化學(xué)習(xí)算法改進(jìn)及其應(yīng)用研究[D].北京化工大學(xué)，2009.

【通聯(lián)編輯：梁書】

收稿日期：2019-11-24

作者簡(jiǎn)介：楊薛鈺（1995-），男，江蘇南通如皋人，碩士研究生，主要研究方向?yàn)閺?qiáng)化學(xué)習(xí)，深度學(xué)習(xí)。