基于多智能體強(qiáng)化學(xué)習(xí)的分布式停電檢修管控系統(tǒng)設(shè)計(jì)

齊蓬勃，李 凡，高 雯

（國(guó)網(wǎng)固原供電公司，寧夏固原 756000）

電力系統(tǒng)需要兼顧發(fā)電、輸電、變電、配電與用電等實(shí)施平衡的問(wèn)題，這要求電力部門(mén)對(duì)電網(wǎng)內(nèi)部的所有設(shè)備狀態(tài)非常了解。我國(guó)的電網(wǎng)規(guī)模龐大，設(shè)備衰老與缺陷問(wèn)題嚴(yán)重。而傳統(tǒng)的電網(wǎng)停電檢修管控系統(tǒng)較為粗曠，存在停電時(shí)間長(zhǎng)、計(jì)劃完成率低的問(wèn)題。

當(dāng)前電網(wǎng)故障智能診斷的研究方向主要是設(shè)計(jì)新的故障診斷模型，提高工程應(yīng)用中的適應(yīng)性和容錯(cuò)性，以及通過(guò)完善信息來(lái)源提高模型的診斷精準(zhǔn)性。但電網(wǎng)故障診斷技術(shù)在工程應(yīng)用中，仍存在一些問(wèn)題：

1）診斷算法的適應(yīng)性能力弱。由于現(xiàn)有處理技術(shù)中的信息采集方法不夠完善，造成了信息具有較強(qiáng)的單一性。所以當(dāng)操作方式發(fā)生改變或面對(duì)多種因素造成的復(fù)雜故障時(shí)，故障診斷算法的正確性就會(huì)急劇下降。

2）故障信息的獲取與分析不完善。傳統(tǒng)技術(shù)方案在檢測(cè)到電源故障時(shí)，會(huì)將信息自動(dòng)上傳到控制中心而不進(jìn)行任何處理，這可能導(dǎo)致控制中心服務(wù)器超負(fù)荷、數(shù)據(jù)包丟失或框架變形。

3）模型的容錯(cuò)性難以滿(mǎn)足需求。例如，當(dāng)一個(gè)或多個(gè)保護(hù)繼電器（PR）和斷路器（CB）不能正常工作時(shí)，故障判斷模型未能正確判斷出故障元素的數(shù)量和類(lèi)型，模型需要妥善處理錯(cuò)誤數(shù)據(jù)維持整體綜合性能。

因此文中設(shè)計(jì)了一種基于多智能體強(qiáng)化學(xué)習(xí)的電網(wǎng)故障診斷模型，電網(wǎng)可以通過(guò)互聯(lián)網(wǎng)將眾多位于不同地理位置的計(jì)算機(jī)組成一臺(tái)超級(jí)計(jì)算機(jī)，從而解決難以診斷的電力系統(tǒng)故障。

1 基于多智能體的系統(tǒng)構(gòu)建

停電檢修管理系統(tǒng)本質(zhì)上是不穩(wěn)定的，用數(shù)學(xué)可表達(dá)為環(huán)境生成函數(shù)f隨時(shí)間的變化[1]。為了簡(jiǎn)化問(wèn)題，文中基于近期觀(guān)察的行為對(duì)環(huán)境生成函數(shù)f的結(jié)果進(jìn)行建模。在每個(gè)時(shí)間步長(zhǎng)t，有XH=(X1,…,Xt)?？紤]到歷史數(shù)據(jù)觀(guān)測(cè)，嘗試預(yù)測(cè)未知的Xt+1[2]。

優(yōu)化求解漂移問(wèn)題，有以下兩種方案：

1）被動(dòng)的解決方案，基于近期觀(guān)察的樣本持續(xù)更新模型[3]。

2）有效的解決方案，一旦模式改變，檢測(cè)機(jī)制發(fā)現(xiàn)模型的預(yù)期行為發(fā)生了意外變化，就會(huì)觸發(fā)新模型的生成[4]。

第二種方案能自適應(yīng)地調(diào)整數(shù)據(jù)模型，對(duì)于實(shí)際模型有更優(yōu)的預(yù)測(cè)能力。因此基于第二種方案建立多智能體強(qiáng)化學(xué)習(xí)的停電檢修管控系統(tǒng)[5]，如圖1所示。

圖1 MARL算法架構(gòu)

MARL 體系結(jié)構(gòu)包含3 個(gè)關(guān)鍵模塊：

1）預(yù)測(cè)模塊[6]，該模塊考慮了最近的有效歷史值和其他可能影響環(huán)境的關(guān)鍵變量，以對(duì)未來(lái)行為進(jìn)行估計(jì)[7]。

2）模式改變檢測(cè)與匹配模塊[8]，用于檢測(cè)預(yù)測(cè)模塊未能提供對(duì)環(huán)境未來(lái)狀態(tài)的合理估計(jì)的時(shí)間。這將觸發(fā)一個(gè)新模型，該模型將以數(shù)據(jù)庫(kù)中的最新觀(guān)測(cè)結(jié)果為基礎(chǔ)[9]。

3）基于強(qiáng)化學(xué)習(xí)的多智能體系統(tǒng)，其采用先前的數(shù)據(jù)作為輸入以改善其在動(dòng)態(tài)環(huán)境中的性能[10]。

從預(yù)測(cè)模塊和模式改變檢測(cè)與匹配模塊中可以估算出環(huán)境未來(lái)的預(yù)期行為[11]。多智能體系統(tǒng)用于評(píng)估未來(lái)的行為，并依靠當(dāng)前約束以最佳方式實(shí)現(xiàn)其目標(biāo)。

在智能電網(wǎng)環(huán)境中，該模型可以為檢修機(jī)構(gòu)對(duì)未來(lái)需求提供良好的估算[12]。在該場(chǎng)景下，多智能體系統(tǒng)是檢修機(jī)構(gòu)，可以評(píng)估未來(lái)需求并嘗試達(dá)到合理的供電需求，以達(dá)到合理的期望。同時(shí)多智能體系統(tǒng)追求將檢修成本降至最低，根據(jù)實(shí)際經(jīng)驗(yàn)可知，檢修成本與實(shí)時(shí)定價(jià)機(jī)制中的電力需求成正比[13]。MARL 優(yōu)化決策過(guò)程如圖2 所示[14]。

圖2 MARL優(yōu)化決策過(guò)程

通過(guò)遵循強(qiáng)化學(xué)習(xí)方案將Q-Learning 與WLearning相結(jié)合，分別開(kāi)發(fā)每個(gè)智能體，具體步驟如下：

①需要設(shè)計(jì)每個(gè)智能體的單一目標(biāo)問(wèn)題，要確保達(dá)到所需的收益，需要在優(yōu)化結(jié)算時(shí)對(duì)智能體進(jìn)行獎(jiǎng)勵(lì)。這可能會(huì)導(dǎo)致模型出現(xiàn)貪婪行為，解決方案如下：調(diào)整智能體在每個(gè)時(shí)間周期的行為直到可接受為止[15]。

②避免在高需求時(shí)期對(duì)不重要的智能體進(jìn)行檢修，將問(wèn)題轉(zhuǎn)變?yōu)橐粋€(gè)多目標(biāo)問(wèn)題。系統(tǒng)優(yōu)化的第二個(gè)目標(biāo)是懲罰智能體的不當(dāng)行為，若智能體決定在需求量高時(shí)被維修，則對(duì)智能體模型輸入懲罰[16]，這可以通過(guò)采用預(yù)測(cè)組件提供的有關(guān)環(huán)境的未來(lái)狀態(tài)信息來(lái)實(shí)現(xiàn)。

本質(zhì)上，預(yù)測(cè)組件通過(guò)額外的目標(biāo)為智能體提供了一種賞罰機(jī)制。但這只是一個(gè)估計(jì)，不能保證任何確定性。若估計(jì)優(yōu)，則智能體優(yōu)化決策的結(jié)果較好；若估算結(jié)果不正確，則智能體優(yōu)化決策的性能欠佳。通過(guò)實(shí)驗(yàn)可發(fā)現(xiàn)，良好的估計(jì)值比未估計(jì)值的優(yōu)化結(jié)果好。

2 檢修系統(tǒng)模塊化軟件設(shè)計(jì)

諸如Petri 網(wǎng)絡(luò)和專(zhuān)家系統(tǒng)等檢修系統(tǒng)均具有相同的前提，既獲取了電網(wǎng)的拓?fù)浣Y(jié)構(gòu)，又可通過(guò)警報(bào)確定故障范圍。因此該文使用相似的拓?fù)浣Y(jié)構(gòu)來(lái)設(shè)計(jì)模塊化的檢修系統(tǒng)軟件架構(gòu)，軟件拓?fù)淞鞒倘鐖D3所示。

圖3 軟件拓?fù)淞鞒虉D

在第一部分中，RDF 策略編輯器將CIM-RDF 數(shù)據(jù)文件制成RDF 文件；軟件在第二部分中使用CIMRDF 數(shù)據(jù)集成SVG 圖形；軟件在第三部分通過(guò)LINQ to XML 查詢(xún)對(duì)電網(wǎng)的接線(xiàn)圖進(jìn)行格式化的元素，最終將該數(shù)據(jù)以矩陣形式進(jìn)行儲(chǔ)存。

此次選擇的電網(wǎng)表格集成方式為網(wǎng)格計(jì)算法，網(wǎng)格計(jì)算法可視為最終還原模型與資源模型之間的中間件。具體實(shí)現(xiàn)方式如圖4 所示。

圖4 模型實(shí)現(xiàn)方式

此次選取網(wǎng)格計(jì)算技術(shù)的主流方法即基于OGSA 的Globus Toolkit 工具包，此次的網(wǎng)格系統(tǒng)利用Globus Toolkit 的優(yōu)勢(shì)來(lái)構(gòu)建特定的中間件基礎(chǔ)架構(gòu)。在網(wǎng)格計(jì)算的基礎(chǔ)上，使用多種故障診斷方法判斷故障要素。此次建立的軟件服務(wù)結(jié)構(gòu)與常用的故障診斷方法如圖5 所示。

圖5 軟件服務(wù)結(jié)構(gòu)與常用的故障診斷方法關(guān)系圖

網(wǎng)絡(luò)內(nèi)部的每個(gè)變電站均提供準(zhǔn)確的資源信息，因此所有的拓?fù)浣Y(jié)構(gòu)均較為準(zhǔn)確。若變電站的部分結(jié)構(gòu)發(fā)生更改，則整個(gè)拓?fù)鋵磿r(shí)進(jìn)行轉(zhuǎn)換，診斷系統(tǒng)可以在最短時(shí)間內(nèi)接收到相關(guān)信息。

在該文中，并行計(jì)算是軟件服務(wù)的核心。不同的應(yīng)用軟件通過(guò)引擎驅(qū)動(dòng)程序壓縮到程序市場(chǎng)中，使用引擎驅(qū)動(dòng)程序索引所有應(yīng)用程序軟件以實(shí)現(xiàn)尋找合適的解決方案。該軟件通常包括MPICH2、LAPACK 等。

基于如下原因，選用消息傳遞接口（MPI）標(biāo)準(zhǔn)的MPICH2 驅(qū)動(dòng)引擎：

1）MPICH2 提供多種MPI 實(shí)現(xiàn)，以有效支持不同的計(jì)算和通信平臺(tái)，包括商業(yè)軟件群、快速傳輸網(wǎng)絡(luò)和定制高端計(jì)算系統(tǒng)。

2）MPICH2 引擎使用擴(kuò)展度高的模塊化設(shè)計(jì)，在MPI 中進(jìn)行前沿研究。文中使用的LAPACK 軟件包是用于數(shù)字線(xiàn)性代數(shù)的軟件庫(kù)，其提供了求解線(xiàn)性方程組和進(jìn)行線(xiàn)性最小二乘法運(yùn)算的計(jì)算工具。奇異值分解的計(jì)算也支持相關(guān)矩陣分解的計(jì)算，可以在經(jīng)過(guò)調(diào)整的BLAS 架構(gòu)中高精度、高速率運(yùn)行。

由于現(xiàn)代計(jì)算機(jī)可以并行執(zhí)行多個(gè)線(xiàn)程，因此對(duì)于眾多計(jì)算機(jī)系統(tǒng)上的整體程序性能，此方法尤為有效。計(jì)算池庫(kù)可以高效地分配異步任務(wù)，并可自定義動(dòng)態(tài)的管理池，從而輕松將其集成到軟件中。

該軟件模型中，計(jì)算機(jī)集群是實(shí)現(xiàn)硬件集成的主要方法，其主要區(qū)別是緊密耦合各個(gè)節(jié)點(diǎn)。在設(shè)計(jì)系統(tǒng)中，考慮到可能存在網(wǎng)絡(luò)中特定計(jì)算機(jī)需要在特定節(jié)點(diǎn)之間高頻通信，因此針對(duì)特定計(jì)算機(jī)設(shè)計(jì)一個(gè)專(zhuān)用的同質(zhì)節(jié)點(diǎn)共享網(wǎng)絡(luò)。諸如MPI（消息傳遞接口）或PVM（并行虛擬機(jī)）之類(lèi)的中間件，允許將計(jì)算群集程序移植到各種群集中。

3 實(shí)驗(yàn)驗(yàn)證

使用訓(xùn)練集大小為300 的電力數(shù)據(jù)庫(kù)，對(duì)該停電檢修管控軟件進(jìn)行驗(yàn)證。該模型實(shí)際上代表著一個(gè)規(guī)則庫(kù)，該規(guī)則庫(kù)由64 個(gè)規(guī)則組成（3 個(gè)輸入變量分為4 個(gè)模糊子集）。假定所有模糊集（高斯激活函數(shù)）具有相同的擴(kuò)展功能。從有功功率變壓器和負(fù)載電流數(shù)據(jù)中提取的模糊模型最初由64 條規(guī)則組成，其中包含64 個(gè)線(xiàn)性參數(shù)（權(quán)重）和12 個(gè)非線(xiàn)性參數(shù)（模糊集的中心）。在省略這些規(guī)則后，模型的大小減小到27 條規(guī)則。

通過(guò)實(shí)驗(yàn)可以發(fā)現(xiàn)，若未假定電力變壓器出現(xiàn)故障，則多次實(shí)驗(yàn)可發(fā)現(xiàn)系統(tǒng)模型的w1測(cè)試平均值等于38.713。而一個(gè)小的故障（與標(biāo)稱(chēng)參數(shù)值的偏差）足以生成w1測(cè)試的輸出，系統(tǒng)檢測(cè)輸出超過(guò)故障閾值的數(shù)倍，如圖6 所示。

圖6 故障x(chóng)2 測(cè)試

就故障檢測(cè)而言，數(shù)值結(jié)果表明，故障隔離的靈敏度方法在區(qū)分電力變壓器參數(shù)集中所有39 個(gè)參數(shù)的故障參數(shù)方面較為有效。從圖7 中可以看出，上述故障檢測(cè)的成功率達(dá)到了99%以上。

圖7 故障檢測(cè)成功率實(shí)驗(yàn)

通過(guò)使用最大-最小故障隔離方法進(jìn)行故障部件分離測(cè)試，以檢測(cè)電力變壓器模型的線(xiàn)性參數(shù)w1和非線(xiàn)性參數(shù)的變化。相關(guān)的結(jié)果在圖8 中進(jìn)行了描述，可以看出使用最大-最小故障隔離方法尋找變壓器模型中的故障參數(shù)成功率也較高。

圖8 最大-最小故障隔離法實(shí)驗(yàn)

該次在故障診斷方法的開(kāi)發(fā)和測(cè)試中已考慮了測(cè)量噪聲。在無(wú)故障的情況下，電力變壓器的輸出及其無(wú)故障模型的輸出應(yīng)僅與電力系統(tǒng)的傳感器測(cè)量有關(guān)。輸出差（殘差）的序列遵循以0 為中心的高斯分布，而其加權(quán)平方遵循χ2分布。在電力系統(tǒng)參數(shù)變化的情況下，對(duì)殘差信號(hào)的平均值和針對(duì)修改后的殘差信號(hào)將向非零值偏移。這種偏移是由于變壓器的結(jié)構(gòu)（參數(shù)）變化，而不是存在測(cè)量噪聲。

值得注意的是，該次系統(tǒng)使用的故障診斷方法（局部統(tǒng)計(jì)方法）適用于檢測(cè)早期故障，即小的參數(shù)變化和電力變壓器組件與其標(biāo)稱(chēng)值的最小偏差。這是因?yàn)樵摯螜z測(cè)方法基于似然比的泰勒級(jí)數(shù)展開(kāi)，該似然比是從被監(jiān)視系統(tǒng)中獲得的測(cè)量序列來(lái)計(jì)算的。在大多數(shù)實(shí)際系統(tǒng)中，變化是逐步漂移而不是直線(xiàn)漂移。這意味著其會(huì)緩慢前進(jìn)，直至達(dá)到不可逆轉(zhuǎn)的損壞程度。因此該系統(tǒng)能夠檢測(cè)到較小的參數(shù)變化（初期故障），可以在故障仍可管理或可逆的階段作出控制動(dòng)作，挽救系統(tǒng)。

4 結(jié)束語(yǔ)

文中使用多智能體強(qiáng)化學(xué)習(xí)技術(shù)，建立了一套分布式的停電檢修管控系統(tǒng)。通過(guò)使用標(biāo)準(zhǔn)的電力系統(tǒng)模型，建立了智能的故障分離方法，可以在早期發(fā)現(xiàn)有關(guān)電力變壓器故障的跡象，并在出現(xiàn)關(guān)鍵情況之前采取維修措施。所提出的故障檢測(cè)方法可應(yīng)用于電網(wǎng)的更關(guān)鍵部件的狀態(tài)監(jiān)視，且可幫助維持電力傳輸與分配系統(tǒng)的可靠運(yùn)行。