基于深度強化學習的孤島微電網故障區(qū)域判定

朱愉田，李華強

(四川大學電氣工程學院，四川 成都 610065)

1 引言

隨著電力負荷的急速增長，能源短缺和環(huán)境污染等問題的越來越嚴重，越來越多的國家和地區(qū)開始關注微電網的發(fā)展，微電網已成為電力系統(tǒng)發(fā)展的主流趨勢。孤島運行模式就是微電網與大電網斷開連接，微電網中的分布式電源單獨完成給負荷提供穩(wěn)定可靠電力的工作。當孤島微電網中某一條線路發(fā)生故障時，會給下級使用設備或單位，帶來極大的安全隱患。孤島運行模式時產生的孤島效應會給微電網的運行和管理帶來的一些不利影響，沒有計劃的孤島模式不但會對用電用戶的生產生活帶來嚴重的危害，也會對電網運行的工作人員的人身安全帶來威脅。

常見的微電網故障包括內部故障和外部故障，分別發(fā)生在微電網內部和連接大電網與微電網的聯(lián)絡線上[1]。因此傳統(tǒng)方法以文獻[2]的研究內容為依據(jù)，利用特征余弦差分診斷微電網故障大致范圍。此次研究在傳統(tǒng)方法基礎上，引入深度強化學習方法，根據(jù)約束條件，預先提取孤島微電網的故障特征；基于深度強化學習方法，深度跟蹤電網故障信息；通過三端行波測距法，判定孤島微電網故障區(qū)域，通過該方法的跟蹤性能，優(yōu)化傳統(tǒng)方法，為微電網的使用安全，提供可靠的技術支持。

2 基于深度強化學習的孤島微電網故障區(qū)域判定

2.1 提取孤島微電網的故障特征

傳統(tǒng)方法根據(jù)單個逆變型分布式電源的輸出特性，研究孤島微電網中，只含有一個逆變型分布式電源時的故障問題。此次研究在傳統(tǒng)方法的基礎上，對于含有PQ控制模式、VF控制模式的逆變型分布式電源，進行穩(wěn)態(tài)響應特征提取。已知當孤島微電網發(fā)生故障時，微電網的序網絡圖結構，與PQ和VF控制模式的逆變型分布式電源的接入位置有關。當PQ和VF控制模式下的電源接于同一母線時，電網可能出現(xiàn)三相對稱故障，此時正序網絡中的故障點正序電壓相量Gk1=0，因為VF電源對輸出端電壓有支持作用，因此VF電源工作在恒壓區(qū)，PQ電源工作在恒功率區(qū)，此時存在約束條件：

(1)

式中：G1表示故障點的正序電壓相量；Gref表示電壓設定值；IPQ表示PQ電源的輸出正序電流；IoPQ表示PQ電源的極限輸出電流值；IVF表示VF電源的輸出正序電流；IoVF表示VF電源的極限輸出電流值；SPQ表示PQ電源的輸出復功率；Sref表示電源設定值[3]。當VF電源工作在恒電流區(qū)，PQ電源工作在恒功率區(qū)時，此時的約束條件為

(2)

式中：Smax表示電源極限容量。當兩種控制模式下的電源，均進入到恒流區(qū)內時，電源輸出同時達到最大電流限制，此時的約束條件為

(3)

式中：S2表示兩個電源的容量。求解上述三組約束條件，得到得到孤島微電網三相對稱故障響應特征[4]。

2.2 基于深度強化學習跟蹤故障信息

根據(jù)故障響應特征，利用深度強化學習跟蹤故障信息。深度強化學習將特征目標跟蹤任務，轉換為一個序列決策的問題，因此離線訓練卷積神經網絡，然后將目標的最終位置，作為當前追蹤目標的初始位置，利用卷積神經網絡預測一系列故障響應，通過移動代表目標狀態(tài)的矩形框，追蹤不斷變化的故障響應特征。但目標跟蹤具有特殊性，因此利用馬爾科夫決策過程，對跟蹤過程進行建模。假設一個馬爾科夫決策過程中，包括變化形式z∈Z、變化狀態(tài)q∈Q以及狀態(tài)轉移函數(shù)q′。在目標跟蹤過程中，狀態(tài)qt通過向量ut代表的區(qū)域塊pt跟蹤故障信息。當下一個分析數(shù)據(jù)出現(xiàn)時，根據(jù)目標的最終位置，得到一個適合網絡尺寸的判定區(qū)域塊pt，將pt為當前目標的初始狀態(tài)，輸入到卷積神經網絡中[5]。在第n個孤島微電網區(qū)域中，第t次迭代的區(qū)域塊被定義為如下形式

pt=φ(ut，n)

(4)

式中：φ表示預處理函數(shù)。通過上述公式實現(xiàn)對微電網數(shù)據(jù)狀態(tài)的跟蹤。然后跟蹤數(shù)據(jù)變化形式。在該過程中，數(shù)據(jù)變化形式包括四個方向的平移以及停止。因此以其變化形式為依據(jù)，當卷積神經網絡根據(jù)輸入的狀態(tài)qt預測變化形式zt時，產生一個新的狀態(tài)qt+1，而該狀態(tài)利用轉移函數(shù)獲得。因此重新定義狀態(tài)轉移函數(shù)，此時存在qt+1=hp(ut，zt)，表示當前數(shù)據(jù)狀態(tài)ut，通過相應變化形式zt，產生了新的故障位置區(qū)域，也就是qt+1。則這些故障響應特征的增量被定義為

(5)

式中：Δx(t)與Δy(t)表示新故障數(shù)據(jù)的位置坐標增量；w表示水平活動距離；h表示垂直活動距離；γ表示深度強化學習跟蹤參數(shù)。當zt停止動作時，結束對當前故障數(shù)據(jù)的跟蹤[6]。

2.3 三端行波測距法判定故障區(qū)域

當孤島微電網內部線路發(fā)生故障時，故障點F處的電壓發(fā)生突變，因此故障點向線路兩端傳輸暫態(tài)電流、電壓行波。因此依據(jù)電流行波原理，根據(jù)故障數(shù)據(jù)跟蹤結果，對微電網內部故障區(qū)域進行判斷。圖1為初始行波在母線處的折反射示意圖。

圖1 初始行波在母線處的折反射

圖中iin、ia、ib分別表示入射波、折射波及反射波；R1、R2分別表示入射波和折射波的阻抗值[7]。其中電流折射系數(shù)和反射系數(shù)，可以通過下列公式計算獲得

(6)

公式中：a與b分別表示所求的兩個系數(shù)。當孤島微電網發(fā)生內部故障時，故障處的電流行波可通過下列公式進行描述

(7)

根據(jù)上述兩組公式可知，母線處的接線方式，影響行波在母線處的折射和反射。因此行波測距根據(jù)波速恒定、折射、反射數(shù)據(jù)為依據(jù)，根據(jù)故障跟蹤結果判定電網故障區(qū)域。

圖2為三端行波測距法的判定示意圖[8]。

圖2 三端行波測距法故障區(qū)域判定

同樣利用F表示跟蹤得到的故障位置；L1和L2分別表示故障線路、非故障線路的直線距離。在L1母線端設置行波檢測裝置，設置該裝置為測量端A；在L1對端設置測量端B；同時L2母線端設置行波檢測裝置，為測量端C；r1、r2則表示故障點F到測量端A和B的直線距離[9]。假設行波傳輸速度σ恒定，則存在下列條件：

(8)

式中：t0表示故障發(fā)生好刻；t1、t2、t3分別表示故障電流行波，到達測量端A、B和C的初始時間；L′1、L′2分別表示故障線路和非故障線路的實際長度；r′1、r′2分別表示故障點到測量端A、B的實際距離。假設追蹤過程中，每條線路的參數(shù)均一致，因此假設線路的弧垂系數(shù)為μ，則根據(jù)式(8)得到

(9)

因此整合上述計算結果，得到故障點F到故障線路母線端的距離，計算結果為

(10)

利用上述計算過程，得到故障點到故障線路母線端的距離，根據(jù)該距離，確定孤島微電網故障節(jié)點所在的區(qū)域[10]。至此在深度強化學習的輔助下，實現(xiàn)孤島微電網故障區(qū)域判定。

3 仿真研究

3.1 深度強化學習效果分析

利用IEEE 39節(jié)點系統(tǒng)和BPA仿真數(shù)據(jù)，搭建一個仿真測試環(huán)境。在樣本數(shù)據(jù)仿真過程中，令34條支路發(fā)生三相短路故障，最終得到650個測試樣本。此次提出的故障區(qū)域判定方法，利用深度強化學習方法跟蹤電網故障響應特征，下圖3是深度強化學習應用下，對某一支路三相短路故障的網絡訓練結果。

圖3 深度強化學習網絡訓練效果

此次測試分別存儲200、400、600、800以及1000次的網絡訓練參數(shù)，然后將信息輸入到Q-Learning網絡環(huán)境中，計算Q值。根據(jù)圖中的測試結果可知，隨著訓練次數(shù)的不斷增加，Q值不斷趨近回報值曲線，所得的網絡訓練結果，與回報值曲線的變化趨勢保持一致。然后測試此次研究方法在故障區(qū)域判定過程中，獲得的端A、B、C的暫態(tài)電流行波信號，如下圖4所示。

圖4 測量端暫態(tài)電流行波信號瞬時頻率譜分析

根據(jù)圖4(a)可知，頻率突變發(fā)生在第14個采樣點處，因此第14個采樣點對應的時間，就是暫態(tài)電流行波初次到達測量端A的時間。根據(jù)圖4(b)可知，測量端B的頻率首次突變，發(fā)生在第33個采樣點處；根據(jù)圖4(c)可知，測量端C的頻率首次突變，發(fā)生在第69個采樣點處。因此第33個采樣點處、第69個采樣點處的時間，就是暫態(tài)電流行波初次到達測量端B、測量端C的時間。

3.2 故障區(qū)域判定效果測試

假設此次提出的故障區(qū)域判定方法為實驗組，兩種傳統(tǒng)判定方法為對照組，將精確度一次評估準則OPE作為衡量標準，評價不同方法下的故障區(qū)間判定精度，結果如下圖5所示。

圖5 基于整體性能的精確度曲線

根據(jù)圖中的曲線變化趨勢可知，文中方法的精確度曲線，無論在何種條件下，均處于領先位置。而兩個傳統(tǒng)方法的精確度曲線，面對整體性能時，其判定精確度雖然低于文中方法，但總體上均超過了0.7。

假設故障發(fā)生時間為0.2s，在 0.21s 時 SS 斷開，在此過程中對流過保護的電流變化情況和故障位置判定情況分析如圖6所示。

圖6 基于屬性的精確度曲線

根據(jù)圖6中的曲線走勢可知，當故障發(fā)生在 f1處時，隨著SS的動作，流過故障點所在線路保護的電流會出現(xiàn)兩次明顯的變化過程，且電流突變量絕對值達到定值。根據(jù)以上提出的判斷方法很容易確定故障發(fā)生在該線路上。

孤島檢測仿真時逆變器輸出電壓與電流波形關系圖和頻率變化圖如圖7所示。

圖7 孤島檢測仿真結果

由上圖可以看出，孤島現(xiàn)象在0.6秒時發(fā)生，2.4秒時逆變器停止為系統(tǒng)供電，反應時間少于標準規(guī)定的2 秒限值，孤島現(xiàn)象檢測成功；發(fā)生故障大電網掉電以后公共連接點的頻率變化明顯，在9 個周期時超出預先設定的閾值，過頻繼電器被觸發(fā)，孤島現(xiàn)象被檢出。

統(tǒng)計三種方法的總體故障區(qū)域判定精度，結果如表1所示。

表1 不同方法的故障區(qū)域判定精度統(tǒng)計

為了保證測試結果可知，共進行了10次測試。計算三個測試組的綜合判定精度，其中文中方法的判定精度為0.8026，傳統(tǒng)方法1和傳統(tǒng)方法2的綜合判定精度分別為0.4999和0.5065。統(tǒng)計文中方法與傳統(tǒng)方法之間的判定差異，其中文中方法比傳統(tǒng)方法1的判定精度高出了0.3027，比傳統(tǒng)方法2的判定精度高出了0.2961。根據(jù)上述測試可知，此次研究的故障區(qū)域判定方法，其判定結果更加準確。因此分析三個測試組，對故障區(qū)域的判定，結果如下表2所示。

表2 孤島微電網故障區(qū)域判定結果

隨機挑選5個測試組，分析三組方法的孤島微電網故障區(qū)域判定結果，其中文中方法的判定結果與故障區(qū)域一致；而傳統(tǒng)方法1和傳統(tǒng)方法2的5組測試中，分別有2組和3組判定結果，沒有定位到故障區(qū)域內。由此可見，在深度強化學習幫助下，此次研究的故障區(qū)域判定效果更佳。

4 結束語

此次研究在傳統(tǒng)故障區(qū)域判定方法的基礎上，新添加了深度強化學習方法，根據(jù)約束條件，預先提取孤島微電網的故障特征，基于深度強化學習深度跟蹤電網故障信息，通過三端行波測距法，判定孤島微電網故障區(qū)域，為孤島微電網故障區(qū)域判定，提供更加精準的數(shù)據(jù)。但此次提出的方法還存在不足之處，今后的研究工作中，可以利用一個定位算法預先定位故障節(jié)點，利用該節(jié)點預測故障范圍，為孤島微電網的使用，提供更加可靠的故障管理技術。