基于深度強化學習的直流配電線路短路故障測距方法

摘 要：針對現(xiàn)行方法在直流配電線路短路故障測距中應用存在測距誤差較大和置信度較低的問題，本文提出基于深度強化學習的直流配電線路短路故障測距方法。采用過濾法對短路故障距離特征進行推導，利用深度強化學習算法對直流配電線路短路故障距離進行分析，實現(xiàn)基于深度強化學習的直流配電線路短路故障測距。經(jīng)試驗證明，設(shè)計方法測距誤差不超過0.1m，置信度在0.9以上，在直流配電線路短路故障測距方面具有良好的應用前景。

關(guān)鍵詞：深度強化學習；直流配電線路；短路故障測距；過濾法；置信度

中圖分類號：TM 773" " 文獻標志碼：A

直流配電線路的短路故障問題一直是制約其進一步發(fā)展的關(guān)鍵因素之一。短路故障不僅會導致線路中斷，還可能對電力設(shè)備造成損害，甚至引發(fā)連鎖故障，對整個電力系統(tǒng)造成嚴重影響。因此，研究有效的直流配電線路短路故障測距方法具有重要的理論意義和實際應用價值。文獻[1]提出了基于主動探測原理的故障測距方法，主動探測故障電流信息，確定故障距離；文獻[2]提出了基于雙端同步響應的故障測距方法，根據(jù)故障后的線路雙端響應特性，確定故障位置和距離。但這些方法存在測距精度不穩(wěn)定、難以應對多重故障或隱蔽性故障的問題，為此提出基于深度強化學習的直流配電線路短路故障測距方法。

1 短路故障距離特征選擇推導

本文采用深度強化學習技術(shù)對故障進行測距，通過計算每個特征的可變指數(shù)，剔除那些指數(shù)較低的特征，僅保留那些滿足設(shè)定閾值的特征，以提高學習網(wǎng)絡(luò)模型的預測性能和可解釋性。假設(shè)2個配電線路短路故障距離特征集分別為X、Y，通過計算特征集X、Y的協(xié)方差和標準差，了解特征之間的離散程度以及線性關(guān)系。根據(jù)特征集的波動性，可得短路故障距離特征集X、Y的可變指數(shù)，如公式（1）所示。

R=cov（X，Y）/（εX*εY） （1）

式中：R為特征集X、Y的可變指數(shù)；cov（X，Y）為2個短路故障距離特征協(xié)方差；（εX*εY）為2個短路故障距離特征標準差。

一般來說，可變指數(shù)取值范圍為-1～1[3]。當Rgt;0時，表示2個特征成正相關(guān)；當Rlt;0時，表示2個特征成負相關(guān)；當R=0時，表示2個特征無相關(guān)關(guān)系[4]。本文根據(jù)實際情況設(shè)定一個閾值，當R值大于閾值時，僅保留一個特征，自動去除另一個特征，按照該方法對收集的故障距離特征集中所有特征進行推導。通過該特征數(shù)據(jù)，建立深度強化學習網(wǎng)絡(luò)模型，以完成后續(xù)的線路故障測距任務(wù)。

2 深度強化學習網(wǎng)絡(luò)模型建立

深度強化學習算法是一種將深度學習的感知能力與強化學習的決策能力相結(jié)合的人工智能方法，可以直接根據(jù)輸入數(shù)據(jù)特征進行控制。具體建立步驟如下。1）收集推導后的直流配電線路故障距離特征樣本數(shù)據(jù)，將其作為深度強化學習網(wǎng)絡(luò)模型的輸入。2）對短路故障線路的環(huán)境進行建模，定義智能體的狀態(tài)空間。在短路故障檢測中，狀態(tài)空間參數(shù)包括電流、電壓、溫度等物理量以及故障線路的運行狀態(tài)、歷史數(shù)據(jù)等。3）通過定義獎勵函數(shù)，準確反映智能體行為是否滿足短路故障特征學習的要求。根據(jù)深度強化學習網(wǎng)絡(luò)模型的實時反饋，得到實現(xiàn)環(huán)境狀態(tài)轉(zhuǎn)移，以確定識別故障線路特征的最佳環(huán)境狀態(tài)。4）設(shè)計環(huán)境接口，提供網(wǎng)絡(luò)模型學習過程中獲取的當前狀態(tài)、執(zhí)行情況、接收獎勵和觀察狀態(tài)轉(zhuǎn)移等功能，使智能體能夠與環(huán)境進行交互。5）通過多次特征數(shù)據(jù)的迭代，得出獎勵值最高的短路故障距離特征，并以此調(diào)整模型的超參數(shù)、學習率、批次大小、最大迭代次數(shù)、強化系數(shù)等，從而優(yōu)化學習網(wǎng)絡(luò)模型的性能。

通過上述步驟，完成深度強化學習網(wǎng)絡(luò)模型的建立任務(wù)。該模型的建立主要通過加強環(huán)境建模的質(zhì)量和準確性，提高智能體的學習效果和性能，從而精準反映實際短路故障問題的動態(tài)和復雜性，為進一步實現(xiàn)直流配電線路短路故障測距提供技術(shù)支持。

3 基于深度強化學習的故障測距

在上述基礎(chǔ)上，利用深度強化學習算法對推導的短路故障距離特征集進行學習，首先由智能體、環(huán)境和記憶池組建深度強化學習網(wǎng)絡(luò)模型，將推導得到的故障距離特征數(shù)據(jù)樣本作為模型的輸入，智能體通過與環(huán)境持續(xù)交互，不斷學習和適應，以尋找最優(yōu)的決策策略[5]，具體如圖1所示。

將短路故障距離特征作為深度強化學習網(wǎng)絡(luò)模型決策參照，將當前直流配電線路運行數(shù)據(jù)輸入智能體中，參照特征對故障測距進行決策，在不斷決策中獲得報酬。根據(jù)公式（1）選擇推導出的短路故障距離特征，計算深度強化學習的獎勵，如公式（2）所示。

s=（xR-x）[（1-α）×δ+α×μ] （2）

式中：s為智能體強化學習中得到的獎勵；xR為環(huán)境中存在的故障距離特征；x為智能體輸入線路短路故障樣本；α為學習率；δ為估計獎勵；μ為現(xiàn)實獎勵[6]。

利用公式（2）對深度強化學習智能體進行訓練，將輸入故障樣本與環(huán)境中的故障距離特征進行比對，當滿足迭代要求后，輸出獎勵值最高的短路故障距離特征，該特征意味在故障測距中具有最高的重要性，可以提高測距的準確性和效率。因此，將該特征對應的故障距離作為當前直流配電線路短路故障距離，以此實現(xiàn)基于深度強化學習的直流配電線路短路故障測距。

4 試驗論證

4.1 試驗設(shè)計與參數(shù)

出于對本文所提基于深度強化學習的直流配電線路短路故障測距方法性能進行檢驗的目的，設(shè)計對比試驗，選擇2種傳統(tǒng)方法與本文方法進行對比，以某直流配電網(wǎng)為試驗環(huán)境，該配電系統(tǒng)線路長度為4500m，試驗收集直流配電線路短路故障數(shù)據(jù)2.62GB，將其作為深度強化學習網(wǎng)絡(luò)訓練樣本，采集該配電線路信號樣本1000個，將其作為試驗樣本。同時，使用萬用表、數(shù)字電表來測量直流配電線路故障附近的電流值和電壓值，其測量范圍為±1000kA和±50kV，測量精度為±1%。利用本文方法對該直流配電線路短路故障進行測距，試驗中深度強化學習網(wǎng)絡(luò)參數(shù)設(shè)定見表1。

該設(shè)定為試驗測試中的最優(yōu)參數(shù)設(shè)定。因此，根據(jù)本文設(shè)定的深度強化學習網(wǎng)絡(luò)的最優(yōu)參數(shù)完成試驗，利用本文設(shè)計方法來反映短路故障線路中電流和電壓的變化情況，并通過與文獻[1]方法和文獻[2]方法進行對比，測試直流配電線路短路故障測距結(jié)果以及響應時間，從而驗證本文設(shè)計方法在故障測距的精準度以及實時性。

4.2 試驗結(jié)果與討論

為驗證本文設(shè)計方法在識別故障電流和故障電壓特征的有效性，測試設(shè)計方法反應故障直流配電線路中電流和電壓的變化情況，具體結(jié)果如圖2所示。

由圖2可知，本文設(shè)計方法能夠準確反應直流配電短路故障線路中電流和電壓的變化特征，這是由于設(shè)計方法在試驗初期通過多次迭代，得到了獎勵值最高的短路故障距離特征，它能夠準確反應故障電流和電壓變化，證明了設(shè)計方法能夠?qū)崿F(xiàn)對故障電流和故障電壓的精準描述，為進一步測量短路故障距離提供可靠保障。

試驗統(tǒng)計本文設(shè)計方法、文獻[1]方法和文獻[2]方法對直流配電線路短路故障測距預測結(jié)果和實際故障距離進行對比，從而證明故障測距效果，具體數(shù)據(jù)見表2。為了更直觀地體現(xiàn)3種方法故障測距精度，本次試驗設(shè)置10條故障線路，對3種方法測距結(jié)果的置信度進行測評，置信度可以衡量故障測距結(jié)果的可靠程度和可信程度，其取值范圍為0～1，數(shù)值越接近1，說明測距精度越高，3種方法測距置信度見表3。

其中，表3中3種方法測距結(jié)果的置信度數(shù)值為每100個配電線路信號樣本取得的平均數(shù)值。根據(jù)表2可以看出，設(shè)計方法故障距離預測值與實際值基本一致，測距誤差不超過1m，而2種傳統(tǒng)方法的誤差值約為15m～45m，可以明顯看出其測距誤差遠遠高于設(shè)計方法。這是由于本文方法在設(shè)計過程中能夠選擇推導出的短路故障距離特征，篩選出設(shè)定閾值內(nèi)相似度較高的有效數(shù)據(jù)，并通過深度強化學習的不斷迭代，輸出獎勵值最高的短路故障距離特征，提高了設(shè)計方法在實際故障測距應用中的準確性和效率。

根據(jù)表3可以看出，設(shè)計方法故障測距置信度在0.9以上，且波動幅度為0.91～0.95；傳統(tǒng)方法1最高置信度為0.85，并在0.75～0.85波動；傳統(tǒng)方法2置信度最高為0.75，波動范圍高于傳統(tǒng)方法1。可以明顯看出，2種傳統(tǒng)方法得到的置信度結(jié)果比設(shè)計方法低且波動幅度較大，這是由于深度強化學習需要大量的訓練數(shù)據(jù)來學習和優(yōu)化模型性能，以覆蓋更廣泛的故障場景和條件。通過獎勵機制來優(yōu)化決策過程，本文的強化學習模型可以通過反復嘗試不同的測距策略，并根據(jù)實際測距結(jié)果的準確性進行實時調(diào)整。因此試驗證明在精度方面設(shè)計方法具有絕對的優(yōu)勢，可以實現(xiàn)對直流配電線路短路故障精準測距的目的。

在此基礎(chǔ)上，本文對比3種方法在檢測故障直流配電線路的響應時間，具體結(jié)果如圖3所示。

由圖3可知，在檢測故障直流配電線路中，設(shè)計方法的響應時間為1.5ms左右，且時間波動幅度不大。而文獻[1]方法和文獻[2]方法的響應時間明顯比設(shè)計方法長，說明上述2種方法在線路故障檢測中，不能及時應對短路電線中電流和電壓的突發(fā)變化，導致響應時間變長且波動幅度較大，進而影響故障測距的精度，側(cè)面證明了本文設(shè)計方法能夠及時記錄線路中電流和電壓數(shù)據(jù)，并能夠迅速反應，縮短直流配電線路短路故障的測距時間。

5 結(jié)語

對基于深度強化學習的直流配電線路短路故障測距方法進行深入研究發(fā)現(xiàn)，這一方法不僅拓寬了傳統(tǒng)故障測距技術(shù)的邊界，而且為直流配電系統(tǒng)的安全穩(wěn)定運行提供了一種全新的技術(shù)支撐。在當前電力系統(tǒng)智能化、網(wǎng)絡(luò)化的大趨勢下，該方法的應用前景十分廣闊。然而，基于深度強化學習的直流配電線路短路故障測距方法仍然面臨許多挑戰(zhàn)和問題。例如，故障數(shù)據(jù)的獲取和標注是一個重要且困難的環(huán)節(jié)；同時，深度強化學習算法的計算復雜度較高，對計算資源的需求較大。此外，如何將該方法與實際的電力系統(tǒng)相結(jié)合，實現(xiàn)其在實際場景中的有效應用，也是一個需要深入研究的問題。

參考文獻

[1]湯耀景，陳水耀，裘愉濤，等.基于主動探測原理的直流配電線路短路故障測距[J].電工電能新技術(shù)，2024，43（1）：53-60.

[2]劉沐辰，安景革，程定一，等.基于雙端同步響應的高壓輸電線路故障定位方法[J].智慧電力，2023，51（12）：15-22.

[3]陳曉龍，孫麗蓉，李永麗，等.基于人工神經(jīng)網(wǎng)絡(luò)和網(wǎng)絡(luò)遷移的雙端輸電線路非同步故障測距算法[J].電網(wǎng)技術(shù)，2023，47（12）：5169-5181.

[4]任俊諭，李本瑜，趙明，等.基于計算電阻指標和雙端測量信息的高壓直流輸電線路故障測距方法[J].電氣應用，2021，40（6）：24-31.

[5]陳新崗，朱瑩月，馬志鵬，等.考慮瞬時功率特性的直流配電網(wǎng)線路故障定位及保護[J].重慶理工大學學報（自然科學），2022，36（1）：179-186.

[6]王振浩，董人銘，成龍，等.基于迭代軟閾值壓縮感知理論的直流輸電雙極短路故障測距方法[J].現(xiàn)代電力，2021，38（6）：645-655.