基于Logistic 回歸深層神經(jīng)網(wǎng)絡(luò)的電力系統(tǒng)故障概率診斷

林濟(jì)鏗，任怡睿，閃 鑫 ，李 俊 ，翟明玉 ，王 波

(1. 同濟(jì)大學(xué)電子與信息工程學(xué)院，上海201804；2. 南瑞集團(tuán)(國網(wǎng)電力科學(xué)研究院)有限公司，南京211106；3. 國電南瑞科技股份有限公司，南京211106；4. 智能電網(wǎng)保護(hù)和運(yùn)行控制國家重點(diǎn)實(shí)驗(yàn)室，南京 211106)

當(dāng)電力設(shè)備發(fā)生故障時(shí)，調(diào)度中心會同時(shí)收到大量的信號，如何從大量信號中快速辨識出發(fā)生故障的設(shè)備，即所謂的“故障診斷”，對于保證和提升系統(tǒng)運(yùn)行安全性具有重要意義，并成為電力調(diào)度中心的標(biāo)配軟件．

迄今為止，電力系統(tǒng)故障診斷的主要方法包括專家系統(tǒng)、解析模型、Petri 網(wǎng)、人工神經(jīng)網(wǎng)絡(luò)等．

專家系統(tǒng)通過構(gòu)建專家知識庫及推理機(jī)制實(shí)現(xiàn)根據(jù)專家經(jīng)驗(yàn)獲得設(shè)備故障與否的判斷．該類方法因原理相對簡單、運(yùn)行穩(wěn)定而成為實(shí)際電力系統(tǒng)故障診斷中應(yīng)用最廣泛的方法[1]．周明等[2]、趙偉等[3]分別將專家系統(tǒng)與模糊系統(tǒng)和多智能體技術(shù)相結(jié)合應(yīng)用于故障診斷問題．史家燕等[4]采用多種數(shù)據(jù)源對變壓器各種可能發(fā)生的故障進(jìn)行綜合診斷．如何有效地獲取專家經(jīng)驗(yàn)知識，如何使得推理機(jī)制具有擴(kuò)展性，是該類方法尚需克服的問題．

解析模型方法構(gòu)建可疑故障區(qū)域內(nèi)的各種候選故障設(shè)備及相應(yīng)的信息狀態(tài)的理想與實(shí)際間差異最小化優(yōu)化模型，通過優(yōu)化的方法求得其最有可能的故障元件．Wen 等[5]和He 等[6]分別采用tabu 算法和粒子群算法對解析模型進(jìn)行了求解．董明等[7]和劉道兵等[8]進(jìn)一步利用了PMU 量測單元信息與不確定時(shí)間發(fā)生概率等先驗(yàn)知識．該類方法具有較好的理論支撐，但其往往會得到多解，尚有待進(jìn)一步克服和提升.

Petri 網(wǎng)以圖形的方式表示被保護(hù)元件、開關(guān)、保護(hù)等所組成系統(tǒng)的邏輯關(guān)系，從設(shè)備的相互邏輯關(guān)系角度分析設(shè)備故障發(fā)生過程．孫靜等[9]將Petri 網(wǎng)與模糊信息相結(jié)合．賈學(xué)涵等[10]基于Petri 網(wǎng)考慮保護(hù)和斷路器可能發(fā)生的拒動誤動情況建立多因素分級模型．白展等[11]通過計(jì)及時(shí)間約束增強(qiáng)模型的容錯(cuò)性．該類方法需要較充分的設(shè)備故障的先驗(yàn)概率數(shù)據(jù)，而這些數(shù)據(jù)往往又較難獲得，相應(yīng)地限制了其應(yīng)用．

神經(jīng)網(wǎng)絡(luò)方法把開關(guān)及故障信息作為網(wǎng)絡(luò)的輸入，而相應(yīng)設(shè)備的故障與否信息作為網(wǎng)絡(luò)的輸出，具有在線運(yùn)行簡單快速及強(qiáng)容錯(cuò)的特點(diǎn)[12]．2000 年左右及之前的神經(jīng)網(wǎng)絡(luò)故障診斷方法受限于計(jì)算機(jī)的計(jì)算能力及神經(jīng)網(wǎng)絡(luò)理論的發(fā)展，通常采用淺層神經(jīng)網(wǎng)絡(luò)模型，當(dāng)輸入層的維數(shù)不高(往往采用單隱層)、樣本數(shù)量不大的情況下，取得不錯(cuò)的效果．Bi 等[13]、孫雅明等[14]、廖志偉等[15]分別建立了基于數(shù)據(jù)挖掘的淺層神經(jīng)網(wǎng)絡(luò)、徑向基神經(jīng)網(wǎng)絡(luò)、廣義回歸神經(jīng)網(wǎng)絡(luò)的診斷模型．此時(shí)的神經(jīng)網(wǎng)絡(luò)方法因訓(xùn)練樣本量往往較少，而使得其外推的能力有所欠缺，且訓(xùn)練的時(shí)間較長．

隨著近年來計(jì)算機(jī)硬件和深度學(xué)習(xí)理論與算法的飛速發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)的故障診斷方法成為了最有希望改善故障診斷現(xiàn)有問題并把故障診斷水平提升到一個(gè)新高度的方法．王麗華等[16]、趙洪山等[17]將深度自編碼網(wǎng)絡(luò)應(yīng)用于電機(jī)故障診斷．黃良等[18]以過去近10 年某一具體電網(wǎng)的故障數(shù)據(jù)作為訓(xùn)練集，實(shí)現(xiàn)對于所構(gòu)建循環(huán)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和學(xué)習(xí)．實(shí)際上，樣本數(shù)量上的不足與質(zhì)量上的參差不齊是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)類方法應(yīng)用于工程問題普遍存在的一大阻礙，有學(xué)者采用無監(jiān)督預(yù)訓(xùn)練的方式對這一問題進(jìn)行改善[19-20]，但現(xiàn)有方法仍未從根本上解決問題．

根據(jù)筆者對多個(gè)電力公司調(diào)度中心的調(diào)研，上述各類方法在實(shí)際工程中應(yīng)用較多的是基于專家系統(tǒng)的故障診斷方法，具有很高的實(shí)際故障辨識率和很低的漏報(bào)率．目前困擾電力公司的主要問題是該方法的誤報(bào)率偏高．

基于以上綜述及當(dāng)前電力公司故障診斷系統(tǒng)面臨的問題，本文提出了基于Logistic 回歸和深度學(xué)習(xí)的故障診斷新模型及算法，以實(shí)現(xiàn)故障診斷準(zhǔn)確率的提升．該模型對于每一元件建立相應(yīng)的回歸型深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，輸入為包含事故總信號、開關(guān)和保護(hù)信號在內(nèi)的SCADA 數(shù)據(jù)，輸出為相應(yīng)元件的故障概率，并基于RMSprop 方法對于神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和學(xué)習(xí)；進(jìn)而，針對深度學(xué)習(xí)所需樣本數(shù)較大而實(shí)際電力系統(tǒng)故障歷史記錄較少這一現(xiàn)實(shí)困難問題，本文進(jìn)一步提出了一種記錄擴(kuò)充提取及樣本模擬生成方法以實(shí)現(xiàn)模型的順利訓(xùn)練．通過算例證明了本文所建立故障診斷模型及樣本擴(kuò)充方法的正確性與可行性．

1 深度學(xué)習(xí)Logistic 回歸神經(jīng)網(wǎng)絡(luò)故障診斷模型的構(gòu)建

目前深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型非常多，但其大多基于卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)與全連接神經(jīng)網(wǎng)絡(luò)等根據(jù)特定問題的需要進(jìn)行相應(yīng)的變化而得到，其中卷積神經(jīng)網(wǎng)絡(luò)關(guān)注輸入特征向量或特征矩陣中的相鄰特征間的關(guān)系，因此適用于圖像處理領(lǐng)域；循環(huán)神經(jīng)網(wǎng)絡(luò)的輸出由當(dāng)前輸入與之前時(shí)刻的輸出共同決定，因此適用于時(shí)序相關(guān)問題如本文和語音處理等領(lǐng)域；全連接神經(jīng)網(wǎng)絡(luò)是一種經(jīng)典前饋神經(jīng)網(wǎng)絡(luò)，且被證明能以任意精度擬合任意復(fù)雜度的函數(shù)[21]．而Logistic回歸模型是研究觀察結(jié)果與其影響因素之間關(guān)系的一種多變量分析方法，近年來在醫(yī)學(xué)、金融等類似二分類問題上得到了廣泛應(yīng)用[22]，具有較強(qiáng)的回歸能力．因此本文選擇構(gòu)造基于回歸模型的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)全連接神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)電力系統(tǒng)的故障診斷，以提升其故障診斷的正確率．

1.1 Logistic回歸模型

電力系統(tǒng)設(shè)備的故障診斷問題為二分類問題，用y 表示樣本觀測值，則正類 y =1表示設(shè)備故障，負(fù)類y= 0表示設(shè)備無故障．Logistic 回歸為概率型非線性回歸模型，若用x 表示相應(yīng)設(shè)備的輸入樣本特征，設(shè)備故障概率 hθ( x )用Logistic 回歸模型可表示為

式中：θ 為模型參數(shù)；g (θ, x)為分類邊界，其具體計(jì)算式由待擬合的函數(shù)形式?jīng)Q定．則設(shè)備無故障的概率為

假定有N 個(gè)樣本，其觀測值分別為1y ，y2，…，iy ，…， yN，對應(yīng)樣本特征為向量X1， X2，…，Xi，…，XN，綜合式(1)、式(2)可以得到觀測值 yi的概率為

若樣本之間互相獨(dú)立，用極大似然估計(jì)調(diào)整模型參數(shù)θ，則由式(3)可以得到似然函數(shù)為

采用優(yōu)化方法即可求得參數(shù)θ 使得對數(shù)似然函數(shù)ln L ( θ) 取得最大值．

1.2 用于故障診斷的全連接Logistic 回歸深度神經(jīng)網(wǎng)絡(luò)構(gòu)建及訓(xùn)練學(xué)習(xí)方法

1.2.1 用于故障診斷的全連接Logistic 回歸深度神經(jīng)網(wǎng)絡(luò)構(gòu)建

本文選擇構(gòu)造全連接神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)式(5)對于參數(shù)θ 的優(yōu)化，即構(gòu)建基于回歸模型的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)對于電力系統(tǒng)設(shè)備包括遙信信號等的信息向量與元件故障概率間的函數(shù)關(guān)系的準(zhǔn)確擬合．其中，神經(jīng)網(wǎng)絡(luò)的輸入即回歸模型的輸入x，輸出即回歸模型的輸出 hθ( x )，連接神經(jīng)元之間的權(quán)重與偏置即為回歸模型的待調(diào)整參數(shù)θ，式(5)中的對數(shù)似然函數(shù)ln L ( θ )的相反數(shù)為網(wǎng)絡(luò)損失函數(shù)E；以最小化損失函數(shù)為目標(biāo)通過對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)，即對于參數(shù)θ 的優(yōu)化調(diào)整，相應(yīng)實(shí)現(xiàn)對Logistic 回歸模型的建立．進(jìn)而即可依此訓(xùn)練好的網(wǎng)絡(luò)對相應(yīng)的元件進(jìn)行故障的概率診斷．

圖1 所示為任一神經(jīng)元結(jié)構(gòu)[23]，其中x 為輸入，w 為權(quán)重，b 為偏置，f 為激活函數(shù)為激活函數(shù)的輸入，a=f ( z)為激活函數(shù)應(yīng)變量，即神經(jīng)元輸出值．

圖1 神經(jīng)元結(jié)構(gòu)Fig.1 Structure of a neuron

由如圖1 所示的神經(jīng)元經(jīng)鏈接而構(gòu)成的含三隱層的全連接Logistic 回歸神經(jīng)網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖2所示．

圖2 中，l0為輸入層，該層神經(jīng)元個(gè)數(shù) n0等于所構(gòu)建的樣本特征向量位數(shù)；l1～l3為隱含層，l4為輸出層，li( i=1,2,3,4)層的每個(gè)神經(jīng)元xi,j( j∈[1, ni])均與li-1中的每一神經(jīng)元xi－1,k( k∈[1, ni－1])相連，其連接權(quán)值為wi,k,j．隱含層 l1～ l3神經(jīng)元的激活函數(shù)為Relu函數(shù)，如式(6)所示；輸出層神經(jīng)元 x4,1的激活函數(shù)為Logistic 函數(shù)如式(1)所示的 hθ( x )，其輸出a 即為網(wǎng)絡(luò)輸出，表示樣本對應(yīng)的事件概率．而 x4,1的輸入即x3,1,… ,x3,n3的加權(quán)和，亦即式(1)中的 g ( θ , x )．

網(wǎng)絡(luò)最小化目標(biāo)-損失函數(shù)E 的計(jì)算式為

式中：n 為樣本數(shù)量；ai和 yi分別表示第i 個(gè)樣本對應(yīng)的網(wǎng)絡(luò)輸出和樣本標(biāo)簽．

1.2.2 訓(xùn)練學(xué)習(xí)方法

神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程即網(wǎng)絡(luò)中的所有權(quán)重與偏置的更新優(yōu)化過程，本文的參數(shù)優(yōu)化方法為RMSprop方法[24]．若目標(biāo)E 關(guān)于所有參數(shù)θ (wi,k,j，bi,j，i=1,2,3,4，k∈[1, ni－1]， j∈[1, ni])的參數(shù)梯度用表示，對于第t 次參數(shù)修正，其更新過程如下．

步驟1根據(jù)微分的鏈?zhǔn)椒▌t，計(jì)算當(dāng)前的所有參數(shù)梯度

步驟2計(jì)算當(dāng)前參數(shù)梯度與上一次參數(shù)梯度的平方加權(quán)和 ΔS ．

式中β為可調(diào)參數(shù)，本文取0.9．

步驟3更新參數(shù)．

式中：α為可調(diào)參數(shù)，本文取0.001；ε為平滑項(xiàng)，用于避免分母為0，本文設(shè)為10－6．

2 深度學(xué)習(xí)Logistic 回歸神經(jīng)網(wǎng)絡(luò)的故障診斷樣本結(jié)構(gòu)及樣本擴(kuò)充方法

對于第1 節(jié)所構(gòu)建的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)需要大量樣本來訓(xùn)練，而實(shí)際上因設(shè)備的可靠性高，以及電網(wǎng)中的設(shè)備隱患排查制度執(zhí)行比較徹底，使得設(shè)備故障發(fā)生的次數(shù)很少，相應(yīng)歷史記錄也較少而使得能用于訓(xùn)練的樣本不足．故本文進(jìn)一步提出了一種基于電力系統(tǒng)近似故障記錄提取及模擬樣本生成的樣本擴(kuò)充方法，從而能夠產(chǎn)生足夠樣本，以實(shí)現(xiàn)對第1 節(jié)所構(gòu)建的故障診斷深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的成功訓(xùn)練．

2.1 樣本結(jié)構(gòu)

每一訓(xùn)練樣本由樣本標(biāo)簽和樣本特征向量兩部分組成．樣本標(biāo)簽為0-1 變量，表征設(shè)備真實(shí)故障情況(1 表示故障，0 表示無故障)．若診斷對象為某一線路，配備一套主保護(hù)且其首末端分別連接一個(gè)斷路器，則該線路故障診斷的模型輸入特征向量如表1 所示．若診斷對象為發(fā)電機(jī)變壓機(jī)組中的變壓器，只有一端連接斷路器，則該變壓器的故障診斷模型輸入特征向量如表2 所示．其他元件故障診斷模型的輸入特征向量構(gòu)造方法與此類似．

表1 線路故障特征向量Tab.1 Feature vectors of faults on a transmission line

表2 變壓器故障特征向量Tab.2 Feature vectors of faults on a transformer

對于表1 和表2 中的屬性，值為1 表明調(diào)控中心收到相應(yīng)信號，-1 表示未收到信號．線路功率和變壓器功率等模擬信息來自SCADA 遙測數(shù)據(jù)，選擇收到第1 個(gè)相關(guān)的遙信信號時(shí)刻前4 個(gè)與后6 個(gè)SCADA功率采樣數(shù)據(jù)，若這10 個(gè)功率采樣數(shù)據(jù)中存在任意相鄰兩個(gè)數(shù)據(jù)差超過額定值的50%，則“功率變化”屬性值為1，否則為-1；第1 個(gè)遙測數(shù)據(jù)為0 則“最初功率為0”屬性值為1，否則為-1；最后一個(gè)遙測數(shù)據(jù)為0 則“最終功率為0”屬性值為1，否則為-1．

構(gòu)建樣本時(shí)，保護(hù)和開關(guān)動作信號需要進(jìn)行初步檢測以判定動作信號是否有效．當(dāng)出現(xiàn)任意以下情況之一時(shí)，認(rèn)為相應(yīng)動作信號無效，當(dāng)作未收到信號處理，屬性值為-1：

(1) 開關(guān)或保護(hù)信號被SCADA 系統(tǒng)打上“全數(shù)據(jù)判定標(biāo)記”，此類信號為主站對子站某一時(shí)間段內(nèi)信號的再次喚起，并非故障時(shí)刻真實(shí)變位信息；

(2) 保護(hù)、開關(guān)或所屬廠站被掛上特定類型標(biāo)志牌，包括“檢修”、 “停運(yùn)”、“備用”等，在此情況下相應(yīng)設(shè)備所發(fā)信號均為非故障信息；

(3) 若信號動作次數(shù)超過最大設(shè)定次數(shù)，即調(diào)控中心監(jiān)控系統(tǒng)短時(shí)間內(nèi)頻繁收到同一開關(guān)的多次分合閘動作信號，則該信號為無效變位信號，并非故障信息．

根據(jù)上述原則，從SCADA 數(shù)據(jù)庫中獲取相應(yīng)信息構(gòu)成輸入輸出樣本．

2.2 樣本擴(kuò)充方法

實(shí)際電力系統(tǒng)故障診斷中，若歷史數(shù)據(jù)充足，直接將其作為本文第1 節(jié)所提出的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本對其進(jìn)行訓(xùn)練．若歷史數(shù)據(jù)不夠多，本文采用樣本擴(kuò)充策略獲得可用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的足夠多的樣本，從而實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練．

由于電力系統(tǒng)嚴(yán)格的設(shè)備入網(wǎng)檢測制度、定期檢修制度以及嚴(yán)格的人員運(yùn)行操作及培訓(xùn)制度，同類型的設(shè)備只要通過了入網(wǎng)檢測，均可認(rèn)為其質(zhì)量及性能是滿足要求的，其差異在工程上可忽略，同一地區(qū)的廠站其地理位置相距都很近，相應(yīng)其微環(huán)境也是相似的，而嚴(yán)格的人員運(yùn)行操作及培訓(xùn)制度使得所有廠站的人為因素導(dǎo)致的故障也類似，上述這些因素是影響設(shè)備動作正確性的主要因素，因此可以將某一設(shè)備的歷史記錄根據(jù)需要逐漸擴(kuò)充至同廠站、臨近廠站及地區(qū)同類型的設(shè)備歷史記錄，相應(yīng)所獲得的樣本足可以反映特定設(shè)備的運(yùn)行特性．

基于上述考慮，本文提出了樣本擴(kuò)充的新方法，其基本思路是：先擴(kuò)展統(tǒng)計(jì)與被診斷元件相同或相近的其他元件的歷史記錄，若所得記錄仍然不足，則進(jìn)一步擴(kuò)展區(qū)域范圍，直至同類型設(shè)備的歷史記錄足夠；然后基于歷史記錄統(tǒng)計(jì)各信號出錯(cuò)概率，再通過隨機(jī)抽樣得到需要診斷設(shè)備的完整樣本．以某變壓器為例，具體樣本擴(kuò)充方法如下．

步驟1提取該變壓器的故障歷史記錄．

步驟2若記錄不足，繼續(xù)提取同廠站內(nèi)相同型號、相同配置、裝設(shè)時(shí)間相近的其他變壓器的歷史故障記錄；否則，樣本擴(kuò)充結(jié)束．

步驟3若其樣本數(shù)量仍不足，將搜索范圍進(jìn)一步擴(kuò)大至相鄰廠站、同地區(qū)同電壓等級其他廠站直至獲取足夠歷史記錄，或盡可能多地獲得樣本；否則，樣本擴(kuò)充結(jié)束．

步驟4若依然無法獲得足夠記錄作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)，則采用基于概率經(jīng)抽樣擴(kuò)充策略，以獲取足夠多的訓(xùn)練樣本．具體如下：根據(jù)已獲取的樣本量，對于遙信信號，分別計(jì)算出輸入向量中每個(gè)屬性在相應(yīng)設(shè)備故障與無故障情況下取1 的概率；否則，樣本擴(kuò)充結(jié)束．計(jì)算方法為

式中：N(y=1)、N (y=0)分別表示獲取的樣本中設(shè)備故障、無故障樣本的數(shù)量；P (xi=1|y= 1)表示故障時(shí)接收到相應(yīng)有效遙信信號的概率；P (xi=1|y= 0)表示未發(fā)生故障時(shí)接收到相應(yīng)有效遙信信號的概率．

類似地，對于遙測數(shù)據(jù)，“功率變化”及“變化前功率為0”兩屬性的處理與上述方法相同；“最終功率為0”則分別統(tǒng)計(jì)故障與無故障情況下潮流發(fā)生變化時(shí)該屬性為1 的概率．

步驟5根據(jù)獲得的每一位輸入的取值概率，采用隨機(jī)抽樣的方法確定樣本中的每一位輸入xi(i ∈[1, n0])的取值，其具體取值確定方法如下．

(1) 對于元件故障情況，樣本標(biāo)簽y=1 ，樣本中第i 個(gè)輸入ix 為

式中ri∈(0,1)為抽樣產(chǎn)生的隨機(jī)數(shù)．

(2) 類似地，對于設(shè)備無故障情況，樣本標(biāo)簽y= 0，樣本特征 xi為

類似地，對于“最終功率為0”屬性分兩種情況討論：①潮流未發(fā)生變化時(shí)，該屬性與變化前潮流為0 相等；②潮流發(fā)生變化時(shí)，用隨機(jī)抽樣的方法確定屬性取值．

步驟6將樣本標(biāo)簽與得到的特征值拼接組成長向量作為一條完整樣本．

步驟7重復(fù)步驟5，直至獲得故障與無故障樣本至少各2 000 條，并與SCADA 數(shù)據(jù)庫中的樣本共同構(gòu)成樣本集用于網(wǎng)絡(luò)訓(xùn)練．

對于其他類型的被診斷元件，均可采用類似方法獲得足夠數(shù)據(jù)對第1 節(jié)所述網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練．

3 算例分析

考慮輸電線路故障為電力系統(tǒng)故障中的典型故障之一，且輸電線路故障發(fā)生次數(shù)較多，相應(yīng)保護(hù)、斷路器等配置較復(fù)雜，故本文以輸電線路為例進(jìn)行了兩方面的驗(yàn)證，首先進(jìn)行樣本生成及基于此樣本對于網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)正確性的驗(yàn)證；進(jìn)而把本文所構(gòu)建的故障診斷模型用于某一實(shí)際系統(tǒng)的故障診斷，進(jìn)一步驗(yàn)證本文診斷模型工程應(yīng)用的可行性和有效性．用于實(shí)驗(yàn)的計(jì)算機(jī)配置為：Inter?core?i3-4160 CPU @3.60 GHz；已安裝內(nèi)存(RAM)4.0 GB．

3.1 概率診斷模型正確性驗(yàn)證

用第2.2 節(jié)步驟5 和步驟6 所述方法生成設(shè)備故障與無故障時(shí)的樣本，然后用模擬樣本對本文所構(gòu)建的故障診斷全連接Logistic 回歸深度神經(jīng)網(wǎng)絡(luò)(Logistic regression deep neural network，L-R-DNN)進(jìn)行訓(xùn)練，以驗(yàn)證其概率學(xué)習(xí)能力．

3.1.1 模擬樣本生成

樣本設(shè)置同表1，樣本生成相關(guān)概率如表3 所示．訓(xùn)練集、測試集、驗(yàn)證集的故障和無故障樣本數(shù)量如表4 所示．

表3 中故障情況及無故障情況分別表示被診斷元件實(shí)際上發(fā)生或未發(fā)生故障，對應(yīng)概率表示該情況下調(diào)度中心收到相應(yīng)信號的概率．

表3 樣本生成相關(guān)概率Tab.3 Correlation probabilities of sample generation

表4 各樣本集樣本數(shù)量(模擬)Tab.4 Number of samples in each sample set(simulated)

3.1.2 網(wǎng)絡(luò)模型結(jié)構(gòu)參數(shù)選擇

實(shí)驗(yàn)用網(wǎng)絡(luò)結(jié)構(gòu)由網(wǎng)格搜索法確定．對于網(wǎng)絡(luò)待確定參數(shù)——網(wǎng)絡(luò)隱含層數(shù)及各層神經(jīng)元個(gè)數(shù)，在一定的取值范圍內(nèi)取多組參數(shù)值建立L-R-DNN 網(wǎng)絡(luò)，并用第3.1.1 節(jié)中產(chǎn)生的模擬樣本分別進(jìn)行訓(xùn)練至收斂，其參數(shù)設(shè)置與測試結(jié)果如表5 所示，其中m表示隱含層數(shù)，神經(jīng)元個(gè)數(shù)表示各隱層神經(jīng)元個(gè)數(shù)，如(80，40，20)表示3 層隱層神經(jīng)元個(gè)數(shù)分別為80、40 和20 個(gè)，損失值表示測試集上損失函數(shù)的取值，準(zhǔn)確率表示相應(yīng)測試準(zhǔn)確率，標(biāo)星數(shù)值表示隱含層數(shù)相同時(shí)的最低損失及最高準(zhǔn)確率．

由上述測試結(jié)果可以看出，當(dāng)網(wǎng)絡(luò)隱含層數(shù)為3，且各隱層神經(jīng)元個(gè)數(shù)分別為(60，30，15)時(shí)擁有最小損失值，神經(jīng)元個(gè)數(shù)為(40，20，10)時(shí)擁有最大準(zhǔn)確率，說明對于本問題，適當(dāng)加深網(wǎng)絡(luò)結(jié)構(gòu)可比單隱層的淺層網(wǎng)絡(luò)獲得更好的診斷性能．

選用準(zhǔn)確率最大時(shí)的網(wǎng)絡(luò)(即神經(jīng)元個(gè)數(shù)為(40，20，10))作為模型進(jìn)行后續(xù)診斷測試實(shí)驗(yàn)，其訓(xùn)練過程中的測試集與驗(yàn)證集損失函數(shù)值如圖3 所示．

3.1.3 概率診斷測試

測試樣本的理論故障概率由以下過程算得：設(shè)輸入向量為x，根據(jù)貝葉斯公式，可以獲得元件故障概率為

式中P（y=1)、P（y=0)分別表示樣本集中相應(yīng)設(shè)備故障與無故障的先驗(yàn)概率，樣本集中故障樣本與無故障樣本數(shù)N1、N0均為4 100，則有

P( x|y=0)與 P( x|y=1)分別表示在故障/無故障情況下樣本中輸入x 的概率，即

式中ix 表示信號特征向量x 中的第i 個(gè)特征位．

用200 條訓(xùn)練樣本對模型獲取概率特征的能力進(jìn)行測試．將x 與表3 中設(shè)定的概率共同代入式(13)～式(15)可以得到特征向量為x 時(shí)被診斷元件發(fā)生故障的理論概率P（ y= 1| x)．其他測試樣本的選擇與計(jì)算類似．定義模型輸出概率與理論概率間的誤差為模型輸出概率與計(jì)算所得概率之差的絕對值，則模型在測試樣本上的平均誤差為2.16%．隨機(jī)選擇其中6 條測試樣本，其測試樣本的輸入特征如表6 所示，理論故障概率及網(wǎng)絡(luò)輸出結(jié)果如表7 所示.

表6 測試樣本的輸入特征Tab.6 Input features of the test samples

表7 理論故障概率及網(wǎng)絡(luò)輸出結(jié)果Tab.7 Theoretical fault probabilities and outputs of the network

表7 中輸入特征即信號特征向量x；理論概率即由公式計(jì)算所得到的該輸入信號所對應(yīng)的元件發(fā)生故障的概率；把信號特征作為L-R-DNN 的輸入，相應(yīng)其輸出即為該信號特征的故障診斷概率；誤差為理論概率與網(wǎng)絡(luò)輸出之差的絕對值．

由測試結(jié)果可看出，網(wǎng)絡(luò)模型對于測試樣本的故障概率預(yù)測較為準(zhǔn)確，誤差均值僅為2.16%，且表7顯示抽取的6 條樣本的概率誤差均小于6%．因此，本文所構(gòu)建的L-R-DNN 具備較強(qiáng)的數(shù)據(jù)特征提取與診斷能力，能快速準(zhǔn)確地獲得元件故障概率．

3.2 基于樣本擴(kuò)充方法的診斷準(zhǔn)確率驗(yàn)證

算例采用實(shí)際電力系統(tǒng)線路故障數(shù)據(jù)以驗(yàn)證本文提出的樣本擴(kuò)充方法及故障診斷模型及算法的可行性和有效性．驗(yàn)證思路為：先提取歷史記錄，然后選擇部分記錄用于樣本擴(kuò)充和網(wǎng)絡(luò)模型訓(xùn)練，其余作為待診斷案例用以測試基于本文樣本擴(kuò)充方法及網(wǎng)絡(luò)訓(xùn)練的L-R-DNN 網(wǎng)絡(luò)的故障診斷能力；最后將其與淺層神經(jīng)網(wǎng)絡(luò)和專家系統(tǒng)方法進(jìn)行比較以證明本文方法的優(yōu)越性．

針對線路的診斷以江蘇電網(wǎng)的泰州.陵鼓789 線為例，具體過程如下．

步驟 1先提取該線路自身歷史記錄共1 條．

步驟2將范圍擴(kuò)大至江蘇.園東854 線、江蘇.鮑嚴(yán)線、泰州.黃錢729 線、江蘇.建古922 線等泰州110 kV 線路，共獲得歷史記錄138 條，包括無故障記錄76 條和故障記錄62 條，并轉(zhuǎn)化成如表1 所示結(jié)構(gòu)的樣本．

步驟3抽取故障記錄11 條、無故障記錄16條，加上目標(biāo)線路——泰州.陵鼓789 線樣本(故障)共28 條樣本作為待診斷案例用于測試網(wǎng)絡(luò)診斷能力，其余樣本作為真實(shí)歷史記錄，由樣本擴(kuò)充方法步驟4 統(tǒng)計(jì)獲得各特征位的相關(guān)概率，具體統(tǒng)計(jì)結(jié)果如表8 所示．

步驟4最后，根據(jù)以上概率由樣本擴(kuò)充方法步驟5～7 生成故障、無故障樣本各2 000 條，與除去測試樣本外的110 條真實(shí)記錄一同構(gòu)成訓(xùn)練樣本集用于對L-R-DNN 進(jìn)行訓(xùn)練．訓(xùn)練收斂之后，對于28 條未參與訓(xùn)練的實(shí)際樣本進(jìn)行測試，測試、訓(xùn)練樣本集中的樣本數(shù)量如表9 所示，以輸出故障概率0.5 作為分界，結(jié)果如表10 所示．

表10 中實(shí)際故障情況表示樣本對應(yīng)的被診斷元件記錄是否真實(shí)地發(fā)生故障，診斷情況按網(wǎng)絡(luò)輸出大于0.5 為故障，否則為無故障．

表10 采用訓(xùn)練好的L-R-DNN 對線路測試樣本進(jìn)行診斷的結(jié)果Tab.10 Diagnostic results of the test samples on a transmission line obtained using the trained L-R-DNN

同樣地，參考表5 的結(jié)論，建立隱層神經(jīng)元為80時(shí)的淺層神經(jīng)網(wǎng)絡(luò)作為診斷模型，采用與深度神經(jīng)網(wǎng)絡(luò)完全相同數(shù)據(jù)集進(jìn)行訓(xùn)練和測試，二者在訓(xùn)練輪次、訓(xùn)練時(shí)長、診斷時(shí)長、測試準(zhǔn)確率、測試誤差方面對比如表11 所示．其中測試時(shí)長表示網(wǎng)絡(luò)訓(xùn)練收斂后診斷單個(gè)樣本所需時(shí)間；測試誤差表示網(wǎng)絡(luò)在28個(gè)測試樣本上輸出值與標(biāo)簽的平均差，診斷正確時(shí)，測試誤差越小表示給出的診斷結(jié)果越肯定．

表11 L-R-DNN與淺層神經(jīng)網(wǎng)絡(luò)模型結(jié)果對比Tab.11 Comparison of the results of the L-R-DNN and shallow neural network models

由表11 可以看出，由于淺層神經(jīng)網(wǎng)絡(luò)的神經(jīng)元較多，訓(xùn)練至收斂所需輪次更多，時(shí)間也更長，而在進(jìn)行診斷時(shí)，兩者所需時(shí)間相同且均非常短，在測試集上的測試準(zhǔn)確率都達(dá)到100%，但L-R-DNN 的測試誤差更?。虼?，無論從訓(xùn)練所需時(shí)間還是診斷誤差上來看，本文方法均比淺層神經(jīng)網(wǎng)絡(luò)具備更好的性能．需要指出的是，本文輸入層信息只是SCADA 信息，并沒有考慮其他如PMU 信息及巨大的樣本數(shù)量(隨著樣本的累積，其數(shù)量將會越來越大)，可以預(yù)期，若進(jìn)一步增加其他信息及樣本數(shù)量，本文模型相對于淺層模型的優(yōu)勢將越發(fā)明顯．

相對于神經(jīng)網(wǎng)絡(luò)方法，當(dāng)前多家電力公司采用的專家系統(tǒng)方法診斷流程為：先根據(jù)專家經(jīng)驗(yàn)建立規(guī)則庫，再根據(jù)故障特征，對照規(guī)則進(jìn)行診斷．具體地，其對于線路的故障認(rèn)定邏輯大致可總結(jié)為“本側(cè)保護(hù)動作與本側(cè)開關(guān)變位”或 “線路本側(cè)開關(guān)變位與線路對側(cè)開關(guān)變位”，基于此規(guī)則對上述測試樣本進(jìn)行診斷，得到診斷結(jié)果如表12 所示．

表12 采用專家系統(tǒng)對線路測試樣本的診斷結(jié)果Tab.12 Diagnostic results of the test samples on a transmission line obtained using the expert system

從表10 可以看出，本文構(gòu)建的L-R-DNN 模型在測試樣本上的測試準(zhǔn)確率為100%，而表12 為當(dāng)前電力公司應(yīng)用的專家系統(tǒng)診斷方法對上述測試樣本的診斷結(jié)果，有5 個(gè)無故障樣本被錯(cuò)誤地診斷為故障樣本，誤辨率高達(dá)31.25%．此結(jié)果證明了本文方法相對于目前廣泛采用的專家系統(tǒng)而言明顯地降低了誤辨率，相應(yīng)地，也同時(shí)證明了本文所構(gòu)建的L-RDNN 及相應(yīng)的樣本擴(kuò)展方法的有效性及正確性．

4 結(jié) 論

(1) 該模型對于每一元件建立相應(yīng)的回歸型深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，輸入為包含事故總信號、開關(guān)和保護(hù)信號在內(nèi)的SCADA 遙信數(shù)據(jù)，輸出為相應(yīng)元件的故障概率，并基于RMSprop 方法對于神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和學(xué)習(xí)．

(2) 針對深度學(xué)習(xí)所需樣本數(shù)較大而實(shí)際電力系統(tǒng)故障歷史記錄較少這一現(xiàn)實(shí)困難問題，本文提出了一種記錄擴(kuò)充提取及樣本模擬生成方法以實(shí)現(xiàn)模型的順利訓(xùn)練．

(3) 算例證明了本文所建立故障診斷模型及樣本擴(kuò)充方法的正確性與可行性．因目前各電力公司基于專家系統(tǒng)的故障診斷系統(tǒng)普遍存在誤辨率較高的問題，本文方法的工程應(yīng)用有望明顯提升辨識的正確率，而相應(yīng)降低誤辨率．