基于深度強(qiáng)化學(xué)習(xí)的直流配電線路短路故障測(cè)距方法

摘 要：針對(duì)現(xiàn)行方法在直流配電線路短路故障測(cè)距中應(yīng)用存在測(cè)距誤差較大和置信度較低的問(wèn)題，本文提出基于深度強(qiáng)化學(xué)習(xí)的直流配電線路短路故障測(cè)距方法。采用過(guò)濾法對(duì)短路故障距離特征進(jìn)行推導(dǎo)，利用深度強(qiáng)化學(xué)習(xí)算法對(duì)直流配電線路短路故障距離進(jìn)行分析，實(shí)現(xiàn)基于深度強(qiáng)化學(xué)習(xí)的直流配電線路短路故障測(cè)距。經(jīng)試驗(yàn)證明，設(shè)計(jì)方法測(cè)距誤差不超過(guò)0.1m，置信度在0.9以上，在直流配電線路短路故障測(cè)距方面具有良好的應(yīng)用前景。

關(guān)鍵詞：深度強(qiáng)化學(xué)習(xí)；直流配電線路；短路故障測(cè)距；過(guò)濾法；置信度

中圖分類號(hào)：TM 773" " 文獻(xiàn)標(biāo)志碼：A

直流配電線路的短路故障問(wèn)題一直是制約其進(jìn)一步發(fā)展的關(guān)鍵因素之一。短路故障不僅會(huì)導(dǎo)致線路中斷，還可能對(duì)電力設(shè)備造成損害，甚至引發(fā)連鎖故障，對(duì)整個(gè)電力系統(tǒng)造成嚴(yán)重影響。因此，研究有效的直流配電線路短路故障測(cè)距方法具有重要的理論意義和實(shí)際應(yīng)用價(jià)值。文獻(xiàn)[1]提出了基于主動(dòng)探測(cè)原理的故障測(cè)距方法，主動(dòng)探測(cè)故障電流信息，確定故障距離；文獻(xiàn)[2]提出了基于雙端同步響應(yīng)的故障測(cè)距方法，根據(jù)故障后的線路雙端響應(yīng)特性，確定故障位置和距離。但這些方法存在測(cè)距精度不穩(wěn)定、難以應(yīng)對(duì)多重故障或隱蔽性故障的問(wèn)題，為此提出基于深度強(qiáng)化學(xué)習(xí)的直流配電線路短路故障測(cè)距方法。

1 短路故障距離特征選擇推導(dǎo)

本文采用深度強(qiáng)化學(xué)習(xí)技術(shù)對(duì)故障進(jìn)行測(cè)距，通過(guò)計(jì)算每個(gè)特征的可變指數(shù)，剔除那些指數(shù)較低的特征，僅保留那些滿足設(shè)定閾值的特征，以提高學(xué)習(xí)網(wǎng)絡(luò)模型的預(yù)測(cè)性能和可解釋性。假設(shè)2個(gè)配電線路短路故障距離特征集分別為X、Y，通過(guò)計(jì)算特征集X、Y的協(xié)方差和標(biāo)準(zhǔn)差，了解特征之間的離散程度以及線性關(guān)系。根據(jù)特征集的波動(dòng)性，可得短路故障距離特征集X、Y的可變指數(shù)，如公式（1）所示。

R=cov（X，Y）/（εX*εY） （1）

式中：R為特征集X、Y的可變指數(shù)；cov（X，Y）為2個(gè)短路故障距離特征協(xié)方差；（εX*εY）為2個(gè)短路故障距離特征標(biāo)準(zhǔn)差。

一般來(lái)說(shuō)，可變指數(shù)取值范圍為-1～1[3]。當(dāng)Rgt;0時(shí)，表示2個(gè)特征成正相關(guān)；當(dāng)Rlt;0時(shí)，表示2個(gè)特征成負(fù)相關(guān)；當(dāng)R=0時(shí)，表示2個(gè)特征無(wú)相關(guān)關(guān)系[4]。本文根據(jù)實(shí)際情況設(shè)定一個(gè)閾值，當(dāng)R值大于閾值時(shí)，僅保留一個(gè)特征，自動(dòng)去除另一個(gè)特征，按照該方法對(duì)收集的故障距離特征集中所有特征進(jìn)行推導(dǎo)。通過(guò)該特征數(shù)據(jù)，建立深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型，以完成后續(xù)的線路故障測(cè)距任務(wù)。

2 深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型建立

深度強(qiáng)化學(xué)習(xí)算法是一種將深度學(xué)習(xí)的感知能力與強(qiáng)化學(xué)習(xí)的決策能力相結(jié)合的人工智能方法，可以直接根據(jù)輸入數(shù)據(jù)特征進(jìn)行控制。具體建立步驟如下。1）收集推導(dǎo)后的直流配電線路故障距離特征樣本數(shù)據(jù)，將其作為深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型的輸入。2）對(duì)短路故障線路的環(huán)境進(jìn)行建模，定義智能體的狀態(tài)空間。在短路故障檢測(cè)中，狀態(tài)空間參數(shù)包括電流、電壓、溫度等物理量以及故障線路的運(yùn)行狀態(tài)、歷史數(shù)據(jù)等。3）通過(guò)定義獎(jiǎng)勵(lì)函數(shù)，準(zhǔn)確反映智能體行為是否滿足短路故障特征學(xué)習(xí)的要求。根據(jù)深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型的實(shí)時(shí)反饋，得到實(shí)現(xiàn)環(huán)境狀態(tài)轉(zhuǎn)移，以確定識(shí)別故障線路特征的最佳環(huán)境狀態(tài)。4）設(shè)計(jì)環(huán)境接口，提供網(wǎng)絡(luò)模型學(xué)習(xí)過(guò)程中獲取的當(dāng)前狀態(tài)、執(zhí)行情況、接收獎(jiǎng)勵(lì)和觀察狀態(tài)轉(zhuǎn)移等功能，使智能體能夠與環(huán)境進(jìn)行交互。5）通過(guò)多次特征數(shù)據(jù)的迭代，得出獎(jiǎng)勵(lì)值最高的短路故障距離特征，并以此調(diào)整模型的超參數(shù)、學(xué)習(xí)率、批次大小、最大迭代次數(shù)、強(qiáng)化系數(shù)等，從而優(yōu)化學(xué)習(xí)網(wǎng)絡(luò)模型的性能。

通過(guò)上述步驟，完成深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型的建立任務(wù)。該模型的建立主要通過(guò)加強(qiáng)環(huán)境建模的質(zhì)量和準(zhǔn)確性，提高智能體的學(xué)習(xí)效果和性能，從而精準(zhǔn)反映實(shí)際短路故障問(wèn)題的動(dòng)態(tài)和復(fù)雜性，為進(jìn)一步實(shí)現(xiàn)直流配電線路短路故障測(cè)距提供技術(shù)支持。

3 基于深度強(qiáng)化學(xué)習(xí)的故障測(cè)距

在上述基礎(chǔ)上，利用深度強(qiáng)化學(xué)習(xí)算法對(duì)推導(dǎo)的短路故障距離特征集進(jìn)行學(xué)習(xí)，首先由智能體、環(huán)境和記憶池組建深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型，將推導(dǎo)得到的故障距離特征數(shù)據(jù)樣本作為模型的輸入，智能體通過(guò)與環(huán)境持續(xù)交互，不斷學(xué)習(xí)和適應(yīng)，以尋找最優(yōu)的決策策略[5]，具體如圖1所示。

將短路故障距離特征作為深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型決策參照，將當(dāng)前直流配電線路運(yùn)行數(shù)據(jù)輸入智能體中，參照特征對(duì)故障測(cè)距進(jìn)行決策，在不斷決策中獲得報(bào)酬。根據(jù)公式（1）選擇推導(dǎo)出的短路故障距離特征，計(jì)算深度強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)，如公式（2）所示。

s=（xR-x）[（1-α）×δ+α×μ] （2）

式中：s為智能體強(qiáng)化學(xué)習(xí)中得到的獎(jiǎng)勵(lì)；xR為環(huán)境中存在的故障距離特征；x為智能體輸入線路短路故障樣本；α為學(xué)習(xí)率；δ為估計(jì)獎(jiǎng)勵(lì)；μ為現(xiàn)實(shí)獎(jiǎng)勵(lì)[6]。

利用公式（2）對(duì)深度強(qiáng)化學(xué)習(xí)智能體進(jìn)行訓(xùn)練，將輸入故障樣本與環(huán)境中的故障距離特征進(jìn)行比對(duì)，當(dāng)滿足迭代要求后，輸出獎(jiǎng)勵(lì)值最高的短路故障距離特征，該特征意味在故障測(cè)距中具有最高的重要性，可以提高測(cè)距的準(zhǔn)確性和效率。因此，將該特征對(duì)應(yīng)的故障距離作為當(dāng)前直流配電線路短路故障距離，以此實(shí)現(xiàn)基于深度強(qiáng)化學(xué)習(xí)的直流配電線路短路故障測(cè)距。

4 試驗(yàn)論證

4.1 試驗(yàn)設(shè)計(jì)與參數(shù)

出于對(duì)本文所提基于深度強(qiáng)化學(xué)習(xí)的直流配電線路短路故障測(cè)距方法性能進(jìn)行檢驗(yàn)的目的，設(shè)計(jì)對(duì)比試驗(yàn)，選擇2種傳統(tǒng)方法與本文方法進(jìn)行對(duì)比，以某直流配電網(wǎng)為試驗(yàn)環(huán)境，該配電系統(tǒng)線路長(zhǎng)度為4500m，試驗(yàn)收集直流配電線路短路故障數(shù)據(jù)2.62GB，將其作為深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練樣本，采集該配電線路信號(hào)樣本1000個(gè)，將其作為試驗(yàn)樣本。同時(shí)，使用萬(wàn)用表、數(shù)字電表來(lái)測(cè)量直流配電線路故障附近的電流值和電壓值，其測(cè)量范圍為±1000kA和±50kV，測(cè)量精度為±1%。利用本文方法對(duì)該直流配電線路短路故障進(jìn)行測(cè)距，試驗(yàn)中深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)參數(shù)設(shè)定見表1。

該設(shè)定為試驗(yàn)測(cè)試中的最優(yōu)參數(shù)設(shè)定。因此，根據(jù)本文設(shè)定的深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的最優(yōu)參數(shù)完成試驗(yàn)，利用本文設(shè)計(jì)方法來(lái)反映短路故障線路中電流和電壓的變化情況，并通過(guò)與文獻(xiàn)[1]方法和文獻(xiàn)[2]方法進(jìn)行對(duì)比，測(cè)試直流配電線路短路故障測(cè)距結(jié)果以及響應(yīng)時(shí)間，從而驗(yàn)證本文設(shè)計(jì)方法在故障測(cè)距的精準(zhǔn)度以及實(shí)時(shí)性。

4.2 試驗(yàn)結(jié)果與討論

為驗(yàn)證本文設(shè)計(jì)方法在識(shí)別故障電流和故障電壓特征的有效性，測(cè)試設(shè)計(jì)方法反應(yīng)故障直流配電線路中電流和電壓的變化情況，具體結(jié)果如圖2所示。

由圖2可知，本文設(shè)計(jì)方法能夠準(zhǔn)確反應(yīng)直流配電短路故障線路中電流和電壓的變化特征，這是由于設(shè)計(jì)方法在試驗(yàn)初期通過(guò)多次迭代，得到了獎(jiǎng)勵(lì)值最高的短路故障距離特征，它能夠準(zhǔn)確反應(yīng)故障電流和電壓變化，證明了設(shè)計(jì)方法能夠?qū)崿F(xiàn)對(duì)故障電流和故障電壓的精準(zhǔn)描述，為進(jìn)一步測(cè)量短路故障距離提供可靠保障。

試驗(yàn)統(tǒng)計(jì)本文設(shè)計(jì)方法、文獻(xiàn)[1]方法和文獻(xiàn)[2]方法對(duì)直流配電線路短路故障測(cè)距預(yù)測(cè)結(jié)果和實(shí)際故障距離進(jìn)行對(duì)比，從而證明故障測(cè)距效果，具體數(shù)據(jù)見表2。為了更直觀地體現(xiàn)3種方法故障測(cè)距精度，本次試驗(yàn)設(shè)置10條故障線路，對(duì)3種方法測(cè)距結(jié)果的置信度進(jìn)行測(cè)評(píng)，置信度可以衡量故障測(cè)距結(jié)果的可靠程度和可信程度，其取值范圍為0～1，數(shù)值越接近1，說(shuō)明測(cè)距精度越高，3種方法測(cè)距置信度見表3。

其中，表3中3種方法測(cè)距結(jié)果的置信度數(shù)值為每100個(gè)配電線路信號(hào)樣本取得的平均數(shù)值。根據(jù)表2可以看出，設(shè)計(jì)方法故障距離預(yù)測(cè)值與實(shí)際值基本一致，測(cè)距誤差不超過(guò)1m，而2種傳統(tǒng)方法的誤差值約為15m～45m，可以明顯看出其測(cè)距誤差遠(yuǎn)遠(yuǎn)高于設(shè)計(jì)方法。這是由于本文方法在設(shè)計(jì)過(guò)程中能夠選擇推導(dǎo)出的短路故障距離特征，篩選出設(shè)定閾值內(nèi)相似度較高的有效數(shù)據(jù)，并通過(guò)深度強(qiáng)化學(xué)習(xí)的不斷迭代，輸出獎(jiǎng)勵(lì)值最高的短路故障距離特征，提高了設(shè)計(jì)方法在實(shí)際故障測(cè)距應(yīng)用中的準(zhǔn)確性和效率。

根據(jù)表3可以看出，設(shè)計(jì)方法故障測(cè)距置信度在0.9以上，且波動(dòng)幅度為0.91～0.95；傳統(tǒng)方法1最高置信度為0.85，并在0.75～0.85波動(dòng)；傳統(tǒng)方法2置信度最高為0.75，波動(dòng)范圍高于傳統(tǒng)方法1?？梢悦黠@看出，2種傳統(tǒng)方法得到的置信度結(jié)果比設(shè)計(jì)方法低且波動(dòng)幅度較大，這是由于深度強(qiáng)化學(xué)習(xí)需要大量的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)和優(yōu)化模型性能，以覆蓋更廣泛的故障場(chǎng)景和條件。通過(guò)獎(jiǎng)勵(lì)機(jī)制來(lái)優(yōu)化決策過(guò)程，本文的強(qiáng)化學(xué)習(xí)模型可以通過(guò)反復(fù)嘗試不同的測(cè)距策略，并根據(jù)實(shí)際測(cè)距結(jié)果的準(zhǔn)確性進(jìn)行實(shí)時(shí)調(diào)整。因此試驗(yàn)證明在精度方面設(shè)計(jì)方法具有絕對(duì)的優(yōu)勢(shì)，可以實(shí)現(xiàn)對(duì)直流配電線路短路故障精準(zhǔn)測(cè)距的目的。

在此基礎(chǔ)上，本文對(duì)比3種方法在檢測(cè)故障直流配電線路的響應(yīng)時(shí)間，具體結(jié)果如圖3所示。

由圖3可知，在檢測(cè)故障直流配電線路中，設(shè)計(jì)方法的響應(yīng)時(shí)間為1.5ms左右，且時(shí)間波動(dòng)幅度不大。而文獻(xiàn)[1]方法和文獻(xiàn)[2]方法的響應(yīng)時(shí)間明顯比設(shè)計(jì)方法長(zhǎng)，說(shuō)明上述2種方法在線路故障檢測(cè)中，不能及時(shí)應(yīng)對(duì)短路電線中電流和電壓的突發(fā)變化，導(dǎo)致響應(yīng)時(shí)間變長(zhǎng)且波動(dòng)幅度較大，進(jìn)而影響故障測(cè)距的精度，側(cè)面證明了本文設(shè)計(jì)方法能夠及時(shí)記錄線路中電流和電壓數(shù)據(jù)，并能夠迅速反應(yīng)，縮短直流配電線路短路故障的測(cè)距時(shí)間。

5 結(jié)語(yǔ)

對(duì)基于深度強(qiáng)化學(xué)習(xí)的直流配電線路短路故障測(cè)距方法進(jìn)行深入研究發(fā)現(xiàn)，這一方法不僅拓寬了傳統(tǒng)故障測(cè)距技術(shù)的邊界，而且為直流配電系統(tǒng)的安全穩(wěn)定運(yùn)行提供了一種全新的技術(shù)支撐。在當(dāng)前電力系統(tǒng)智能化、網(wǎng)絡(luò)化的大趨勢(shì)下，該方法的應(yīng)用前景十分廣闊。然而，基于深度強(qiáng)化學(xué)習(xí)的直流配電線路短路故障測(cè)距方法仍然面臨許多挑戰(zhàn)和問(wèn)題。例如，故障數(shù)據(jù)的獲取和標(biāo)注是一個(gè)重要且困難的環(huán)節(jié)；同時(shí)，深度強(qiáng)化學(xué)習(xí)算法的計(jì)算復(fù)雜度較高，對(duì)計(jì)算資源的需求較大。此外，如何將該方法與實(shí)際的電力系統(tǒng)相結(jié)合，實(shí)現(xiàn)其在實(shí)際場(chǎng)景中的有效應(yīng)用，也是一個(gè)需要深入研究的問(wèn)題。

參考文獻(xiàn)

[1]湯耀景，陳水耀，裘愉濤，等.基于主動(dòng)探測(cè)原理的直流配電線路短路故障測(cè)距[J].電工電能新技術(shù)，2024，43（1）：53-60.

[2]劉沐辰，安景革，程定一，等.基于雙端同步響應(yīng)的高壓輸電線路故障定位方法[J].智慧電力，2023，51（12）：15-22.

[3]陳曉龍，孫麗蓉，李永麗，等.基于人工神經(jīng)網(wǎng)絡(luò)和網(wǎng)絡(luò)遷移的雙端輸電線路非同步故障測(cè)距算法[J].電網(wǎng)技術(shù)，2023，47（12）：5169-5181.

[4]任俊諭，李本瑜，趙明，等.基于計(jì)算電阻指標(biāo)和雙端測(cè)量信息的高壓直流輸電線路故障測(cè)距方法[J].電氣應(yīng)用，2021，40（6）：24-31.

[5]陳新崗，朱瑩月，馬志鵬，等.考慮瞬時(shí)功率特性的直流配電網(wǎng)線路故障定位及保護(hù)[J].重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)），2022，36（1）：179-186.

[6]王振浩，董人銘，成龍，等.基于迭代軟閾值壓縮感知理論的直流輸電雙極短路故障測(cè)距方法[J].現(xiàn)代電力，2021，38（6）：645-655.