基于人工智能的變電站倒閘智能防誤技術(shù)研究與應(yīng)用

摘 要：針對當(dāng)前變電站倒閘操作票缺乏有效的防誤校核手段、智能化程度較低等問題，結(jié)合深度強(qiáng)化學(xué)習(xí)算法，提出了一種基于知識(shí)圖譜的變電站倒閘智能防誤技術(shù)。首先，利用電網(wǎng)設(shè)備拓?fù)?、調(diào)度防誤規(guī)程等數(shù)據(jù)分別構(gòu)建設(shè)備物理實(shí)體圖譜和防誤語義圖譜，并自動(dòng)融合形成調(diào)度知識(shí)圖譜;然后，基于防誤算法構(gòu)建智能防誤圖譜，自動(dòng)生成符合防誤規(guī)程的最優(yōu)倒閘操作序列，實(shí)現(xiàn)智能防誤校核;最后，通過算例對知識(shí)圖譜智能防誤的實(shí)用性、深度強(qiáng)化學(xué)習(xí)的性能、智能防誤效率等進(jìn)行分析。結(jié)果表明，提出的智能防誤方法在提升倒閘智能防誤效率和準(zhǔn)確性方面具有一定的優(yōu)勢。

關(guān)鍵詞：倒閘操作; 智能防誤; 深度強(qiáng)化學(xué)習(xí); 知識(shí)圖譜

中圖分類號(hào)：TM74 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-8188（2024）06-0070-10

DOI：10.16628/j.cnki.2095-8188.2024.06.011

Research and Application of" Intelligent Anti-Misoperation Technolgy for Substation Switching Operation Based on Artificial Intelligence

HU Xinyu¹， YU Haipeng¹， HE Zhi¹， ZHAO Miaomin¹， XING Songyao¹， ZHANG Jinwei²

（1.Nantong Power Supply Branch，State Grid Jiangsu Electric Power Co.，Ltd.， Nantong 260001， China;

2. Beijing Powerchain Technology Co.，Ltd.， Beijing 100020， China）

Abstract：In response to the current lack of effective error prevention verification methods and low level of intelligence in operation tickets， a knowledge graph based intelligent error prevention technology for substation switching is proposed by combining deep reinforcement learning algorithms. Firstly， the data such as power grid equipment topology and scheduling error prevention regulations is utilized to constructe a physical entity graph and an error prevention semantic graph of the equipment， and a scheduling knowledge graph is automatically fused to form. Then， based on intelligent error prevention algorithms， a graph of error prevention regulations is constructed to automatically generate the optimal switching operation sequence that complies with the error prevention regulations， and the intelligent error prevention verification is achieved. Finally， the practicality of knowledge graph intelligent error prevention， the performance of deep reinforcement learning， and the efficiency of intelligent error prevention are analyzed through examples. The results show that the proposed method has certain advantages in improving the efficiency and accuracy of intelligent error prevention for switching.

Key words：switching operation; intelligent error prevention; deep reinforcement learning; knowledge graph

0 引 言

隨著電力信息物理融合的不斷深入，電力系統(tǒng)呈現(xiàn)出結(jié)構(gòu)化、復(fù)雜化的特點(diǎn)，電網(wǎng)物理接線方式也日益復(fù)雜，導(dǎo)致倒閘操作涉及的相關(guān)主體設(shè)備逐漸增多、操作方式復(fù)雜多變，變電站倒閘操作需要考慮的不確定性因素也逐漸增多^［1］。當(dāng)前變電站倒閘操作主要利用圖形拓?fù)淇梢暬缑孑o助和專家知識(shí)庫系統(tǒng)進(jìn)行智能成票，再通過“五防”演練實(shí)現(xiàn)。圖形化界面輔助方式很大程度上依賴于現(xiàn)場操作人員的知識(shí)和認(rèn)知水平，具有主觀性，自動(dòng)化及智能化程度較低，可能會(huì)出現(xiàn)因知識(shí)儲(chǔ)備不夠、運(yùn)行經(jīng)驗(yàn)不足而導(dǎo)致誤操作，引起電網(wǎng)安全事故。專家知識(shí)庫系統(tǒng)需要及時(shí)更新專家知識(shí)庫，知識(shí)庫的建立及維護(hù)耗時(shí)費(fèi)力。因此，當(dāng)前的倒閘防誤模式時(shí)間成本高、執(zhí)行效率低^［2］。為應(yīng)對復(fù)雜多變的電網(wǎng)形態(tài)，突破依賴經(jīng)驗(yàn)的倒閘決策與操作瓶頸，電力系統(tǒng)亟需借助人工智能等先進(jìn)的信息技術(shù)（IT）來提高變電站倒閘操作的智能化防誤水平，自動(dòng)智能獲取防誤任務(wù)，準(zhǔn)確推理出符合倒閘規(guī)程的防誤序列，進(jìn)行防誤校核，提高防誤效率及準(zhǔn)確率，降低倒閘失誤率，從而輔助現(xiàn)場人員進(jìn)行倒閘決策^［3］。

電力系統(tǒng)是一個(gè)典型的數(shù)據(jù)密集型、信息密集型、知識(shí)密集型樞紐調(diào)控中心。對經(jīng)驗(yàn)知識(shí)、管理規(guī)范、防誤規(guī)程等進(jìn)行知識(shí)重構(gòu)、強(qiáng)化學(xué)習(xí)，是實(shí)現(xiàn)數(shù)字驅(qū)動(dòng)智能優(yōu)化調(diào)度的關(guān)鍵技術(shù)。知識(shí)圖譜是人工智能領(lǐng)域最近興起的新技術(shù)，是一種語義網(wǎng)絡(luò)，具備強(qiáng)大的海量數(shù)據(jù)管理能力，用于揭示萬物之間的血緣關(guān)系。其能夠厘清煩瑣復(fù)雜的數(shù)據(jù)血緣關(guān)系，使得數(shù)據(jù)之間的血緣關(guān)系更清晰，有助于更好地理解和推理知識(shí)^［4］。構(gòu)建變電站倒閘智能防誤知識(shí)圖譜，可以打破數(shù)據(jù)孤島，促進(jìn)數(shù)據(jù)的共享交互，挖掘變電站倒閘過程中多源數(shù)據(jù)的交互價(jià)值，在一定程度上有效解決操作人員知識(shí)認(rèn)知、知識(shí)儲(chǔ)備的差異性導(dǎo)致的倒閘防誤故障率高、時(shí)效性差等難題^［5］。

近年來，關(guān)于變電站防誤及知識(shí)圖譜在電網(wǎng)領(lǐng)域的應(yīng)用已經(jīng)有了大量的研究成果。文獻(xiàn)［6］利用配電網(wǎng)豐富的多源異構(gòu)文本數(shù)據(jù)，構(gòu)建各種知識(shí)圖譜，實(shí)現(xiàn)了故障處置知識(shí)的高準(zhǔn)確性識(shí)別抽取，有效提高了調(diào)控人員面對配網(wǎng)故障的快速應(yīng)急處置能力。文獻(xiàn)［7］利用云邊協(xié)調(diào)的方式設(shè)計(jì)了倒閘防誤操作平臺(tái)并引入信譽(yù)評估機(jī)制，一定程度上提高了倒閘操作的效率和準(zhǔn)確性。但該研究不夠深入，其準(zhǔn)確性提高有限。文獻(xiàn)［8］將定位系統(tǒng)引入變電站倒閘在線防誤系統(tǒng)中，實(shí)現(xiàn)了實(shí)時(shí)對防誤主機(jī)邏輯規(guī)則校驗(yàn)，一定程度上降低了倒閘防誤操作的安全風(fēng)險(xiǎn)。

目前，關(guān)于知識(shí)圖譜在電網(wǎng)變電站倒閘操作領(lǐng)域的應(yīng)用研究較少，對輔助決策和校驗(yàn)的應(yīng)用研究相對缺乏。目前對變電站倒閘防誤的研究僅限于操作票層面，防誤效果有限，考慮到變電站倒閘現(xiàn)有數(shù)據(jù)量還無法滿足強(qiáng)化學(xué)習(xí)模型的有效訓(xùn)練^［9-10］，本文以調(diào)控云電網(wǎng)設(shè)備模型數(shù)據(jù)、倒閘防誤規(guī)程數(shù)據(jù)及防誤設(shè)備模型拓?fù)鋽?shù)據(jù)等為研究對象，按照業(yè)務(wù)邏輯設(shè)計(jì)了變電站倒閘智能防誤知識(shí)圖譜的構(gòu)建框架;然后利用深度強(qiáng)化學(xué)習(xí)算法實(shí)現(xiàn)倒閘防誤序列的生成并進(jìn)行智能防誤校核，有效提高了現(xiàn)場倒閘操作人員防誤效率及準(zhǔn)確率。

1 基于知識(shí)圖譜的智能防誤架構(gòu)設(shè)計(jì)

首先，按照圖譜融合算法將設(shè)備物理實(shí)體圖譜與防誤規(guī)程語義圖譜自動(dòng)融合，形成調(diào)度知識(shí)圖譜模塊。然后調(diào)用融合后的調(diào)度知識(shí)圖譜，再結(jié)合防誤算法引擎進(jìn)行語義解析、設(shè)備拓?fù)浞治觥D形模擬、規(guī)則推理等操作后生成設(shè)備智能防誤圖譜，進(jìn)而對輸入的操作票進(jìn)行智能解析，輸出可視化的防誤校核結(jié)果，實(shí)現(xiàn)操作票的智能防誤。基于知識(shí)圖譜的智能防誤架構(gòu)設(shè)計(jì)如圖1所示。

2 變電站倒閘智能防誤知識(shí)圖譜構(gòu)建

2.1 智能防誤知識(shí)圖譜的構(gòu)建框架

智能防誤知識(shí)圖譜，需要通過分析電網(wǎng)各類一次、二次設(shè)備，從防誤規(guī)程中抽取出制約關(guān)系來構(gòu)建。將設(shè)備、規(guī)程和歷史經(jīng)驗(yàn)關(guān)聯(lián)在一起，為變電站防誤提供防誤輔助校驗(yàn)功能^［11-13］。本文采用自底向上的方式，從電網(wǎng)數(shù)據(jù)中抽取信息構(gòu)建知識(shí)圖譜，并基于深度強(qiáng)化學(xué)習(xí)模型推理倒閘防誤序列并研發(fā)防誤校驗(yàn)功能。防誤知識(shí)圖譜架構(gòu)如圖2所示。

數(shù)據(jù)層主要包含變電站倒閘防誤校核全流程所涉及的相關(guān)主體設(shè)備的各類結(jié)構(gòu)化數(shù)據(jù)和非（半）結(jié)構(gòu)化數(shù)據(jù)，作為構(gòu)建智能防誤知識(shí)圖譜的專業(yè)語料庫;圖譜層從專業(yè)語料庫中獲取所需的相關(guān)知識(shí)，形成結(jié)構(gòu)化的知識(shí)體系;解析層對倒閘防誤操作過程中實(shí)時(shí)獲取設(shè)備的投切及運(yùn)行狀態(tài)信號(hào)進(jìn)行物理和邏輯解析;推理層基于長期以來各種倒閘操作積累的豐富經(jīng)驗(yàn)知識(shí)和防誤規(guī)則、調(diào)度規(guī)程等，通過邏輯推理方法對形成的結(jié)構(gòu)化知識(shí)進(jìn)行合理化的分析決策;交互層以知識(shí)圖譜為核心，進(jìn)行更高層次的數(shù)據(jù)價(jià)值挖掘、可視化防誤校核等。

2.2 智能防誤知識(shí)圖譜的構(gòu)建

2.2.1 數(shù)據(jù)層

智能防誤知識(shí)圖譜的數(shù)據(jù)源包含2個(gè)部分，具體如下。

（1） 電網(wǎng)設(shè)備臺(tái)賬模型數(shù)據(jù)：電網(wǎng)設(shè)備臺(tái)賬模型數(shù)據(jù)具體包括變電站、變壓器、線路、母線、斷路器、隔離開關(guān)、刀閘等設(shè)備模型屬性及其拓?fù)溥B接關(guān)系，存儲(chǔ)于關(guān)系數(shù)據(jù)庫中。調(diào)控業(yè)務(wù)覆蓋電力生產(chǎn)各環(huán)節(jié)，通過對電網(wǎng)調(diào)控設(shè)備模型數(shù)據(jù)特征進(jìn)行分析，形成圖譜的本體。

（2） 防誤規(guī)程數(shù)據(jù)：防誤規(guī)程是電網(wǎng)倒閘操作中必須遵循的基本原則，在電網(wǎng)倒閘防誤操作中起指導(dǎo)和輔助決策的作用。防誤規(guī)程數(shù)據(jù)主要是非結(jié)構(gòu)化的文本數(shù)據(jù)，無固定統(tǒng)一的格式，無法直接提取信息，需要利用實(shí)體識(shí)別技術(shù)從文本中提取出實(shí)體，構(gòu)建防誤規(guī)程知識(shí)圖譜。

2.2.2 圖譜層

智能防誤原子圖譜的圖譜層主要由知識(shí)抽取、知識(shí)融合、知識(shí)更新等核心部分組成。其中，知識(shí)抽取是指根據(jù)預(yù)定義的模式，在非（半）結(jié)構(gòu)化數(shù)據(jù)中使用實(shí)體識(shí)別模型來提取命名實(shí)體，并將其轉(zhuǎn)化成基于圖數(shù)據(jù)庫特點(diǎn)的結(jié)構(gòu)化數(shù)據(jù);知識(shí)融合是指對同一實(shí)體的不同數(shù)據(jù)源的描述信息按照一定的規(guī)則，進(jìn)行知識(shí)重組、整合;知識(shí)更新則是指新領(lǐng)域知識(shí)對舊知識(shí)的替換，新種類知識(shí)的引進(jìn)和實(shí)時(shí)增加。

（1） 知識(shí)抽取：本文研究的變電站倒閘相關(guān)設(shè)備的模型數(shù)據(jù)為結(jié)構(gòu)化數(shù)據(jù)，直接從關(guān)系型數(shù)據(jù)庫中提取，通過Cypher語句將設(shè)備模型數(shù)據(jù)存儲(chǔ)至圖數(shù)據(jù)庫中。防誤規(guī)程等數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)，采用基于BERT-BiLSTM-CRF的實(shí)體識(shí)別算法進(jìn)行實(shí)體抽取，然后通過知識(shí)融合，對模糊或冗余信息進(jìn)行清理和整合，以提高其準(zhǔn)確性和一致性。

（2） 知識(shí)融合：橫向（專業(yè)間）信息的冗余、不一致，縱向（調(diào)度機(jī)構(gòu)間）信息同步性差，對象名稱不唯一等，導(dǎo)致部分實(shí)體數(shù)據(jù)記錄方式不同，因此從非結(jié)構(gòu)化的防誤規(guī)程文本中抽取的知識(shí)可能包含大量的模糊或冗余的信息，如小營1號(hào)變、小營#1變、小營1#變等都代表同一實(shí)體。為了確保知識(shí)的質(zhì)量，需通過知識(shí)融合進(jìn)行數(shù)據(jù)清洗與治理，即異構(gòu)數(shù)據(jù)的整合與消歧處理，以提高其準(zhǔn)確性和一致性。本文以調(diào)控云設(shè)備模型數(shù)據(jù)中的設(shè)備名稱為基準(zhǔn)構(gòu)建設(shè)備詞典，利用余弦相似度法計(jì)算相似度進(jìn)行實(shí)體匹配，獲取與目標(biāo)實(shí)體相似度最高的抽取實(shí)體，并將其鏈接至圖譜的對應(yīng)實(shí)體上。知識(shí)抽取及融合流程如圖3所示。

（3） 知識(shí)更新：模式層的更新和實(shí)體層的更新。模式層更新需要手動(dòng)將新增實(shí)體類型或新概念添加到模式層中，以適應(yīng)新數(shù)據(jù)類型的出現(xiàn)。實(shí)體層更新指按照模式層中預(yù)先設(shè)定的知識(shí)抽取邏輯，將新增數(shù)據(jù)存儲(chǔ)至知識(shí)圖譜的實(shí)體層中。知識(shí)更新流程如圖4所示。

2.2.3 解析層

解析層可實(shí)現(xiàn)對倒閘防誤操作過程中實(shí)時(shí)獲取設(shè)備的投切及運(yùn)行狀態(tài)信號(hào)的物理和邏輯解析。當(dāng)變電站防誤過程出現(xiàn)異常時(shí)，可利用多模態(tài)知識(shí)圖譜和自然語言處理技術(shù)，對錯(cuò)誤倒閘防誤序列進(jìn)行智能解析，并以機(jī)器可理解的形式存儲(chǔ)。防誤信息智能解析技術(shù)框架如圖5所示。

（1） 防誤信息捕捉：當(dāng)?shù)归l防誤態(tài)勢出現(xiàn)異常情況時(shí)，利用防誤信息捕捉技術(shù)保障異常情況發(fā)生時(shí)設(shè)備拓?fù)浼斑b信遙測數(shù)據(jù)的完整獲取，同時(shí)排除無關(guān)的告警信號(hào)，縮小故障范圍。

（2） 防誤信息解析：利用深度強(qiáng)化學(xué)習(xí)技術(shù)對異常故障信息逐一解析，得到倒閘防誤校核時(shí)的參數(shù)變量，對異常情況進(jìn)行實(shí)體識(shí)別等操作。

（3） 防誤信息可視化展示：為便于強(qiáng)化學(xué)習(xí)訓(xùn)練和計(jì)算，從防誤知識(shí)圖譜中快速精確匹配，獲取倒閘防誤故障區(qū)域?qū)?yīng)的設(shè)備連接拓?fù)浣Y(jié)構(gòu)，實(shí)現(xiàn)倒閘防誤動(dòng)作邏輯分析。

2.2.4 推理層

推理層基于長期以來各種倒閘操作積累的豐富經(jīng)驗(yàn)知識(shí)和防誤規(guī)則、調(diào)度規(guī)程等，通過邏輯推理方法對形成的結(jié)構(gòu)化知識(shí)進(jìn)行合理化的分析決策。利用產(chǎn)生式規(guī)則的推理技術(shù)，通過多模態(tài)數(shù)據(jù)特征提取與交互融合，掌握故障信息多層次特征，推理出防誤故障發(fā)送的部位、原因以及處置預(yù)案，實(shí)現(xiàn)故障溯源與輔助決策推理。

2.2.5 交互層

依據(jù)變電站設(shè)備數(shù)據(jù)的多源異構(gòu)性，利用知識(shí)圖譜對多模態(tài)的數(shù)據(jù)進(jìn)行融合加工，實(shí)現(xiàn)不同模態(tài)數(shù)據(jù)的互補(bǔ)增強(qiáng)。倒閘防誤智能交互技術(shù)框架如圖6所示。

（1） 防誤異常信息同源性展示：多模態(tài)知識(shí)圖譜通過分析異常情況建立防誤異常信息的本體，并獲取其共同屬性進(jìn)行同源性展示;對關(guān)鍵信息進(jìn)行提示，同時(shí)將知識(shí)圖譜中涉及的節(jié)點(diǎn)與本次防誤異常的實(shí)體關(guān)聯(lián)，提高防誤異常態(tài)勢信息的交互效率。

（2） 防誤異常擴(kuò)散路徑分析：防誤異常擴(kuò)散是威脅變電站運(yùn)行安全的關(guān)鍵因素。為減小防誤異常造成的影響，深入分析防誤異常擴(kuò)散的血緣路徑，知識(shí)圖譜具備友好表達(dá)這種血緣路徑的結(jié)構(gòu)，通過獲取相關(guān)屬性信息，利用知識(shí)圖譜技術(shù)挖掘防誤邏輯間的血緣關(guān)系，進(jìn)行有效的故障溯源和異常分析。

（3） 人機(jī)交互反饋：知識(shí)圖譜具備查詢意圖理解能力，通過豐富的語義內(nèi)容進(jìn)行知識(shí)結(jié)構(gòu)化展示，快速提升對倒閘防誤的全面感知與掌控。

3 基于強(qiáng)化學(xué)習(xí)模型的倒閘防誤校核設(shè)計(jì)與實(shí)現(xiàn)

變電站倒閘智能防誤過程的實(shí)質(zhì)是通過防誤算法引擎引導(dǎo)智能體強(qiáng)化學(xué)習(xí)、自適應(yīng)動(dòng)態(tài)調(diào)整動(dòng)作策略進(jìn)行決策分析，推理出符合防誤邏輯的倒閘操作序列，進(jìn)而進(jìn)行智能防誤校核^［14-15］。

3.1 倒閘操作序列的強(qiáng)化學(xué)習(xí)模型建立

倒閘操作的目標(biāo)是通過分合開關(guān)設(shè)備投切狀態(tài)，實(shí)現(xiàn)設(shè)備檢修、事故處理、系統(tǒng)運(yùn)行方式的調(diào)整。整個(gè)倒閘操作過程中涉及的開關(guān)設(shè)備、接地刀閘等共同組成倒閘決策的操作空間。

本文將自動(dòng)融合后的調(diào)度知識(shí)圖譜模塊視為強(qiáng)化學(xué)習(xí)的訓(xùn)練環(huán)境，智能體以不斷探索試錯(cuò)的方式進(jìn)行訓(xùn)練，用取得的獎(jiǎng)勵(lì)或懲罰指導(dǎo)倒閘決策，根據(jù)動(dòng)作行為效果來不斷調(diào)整、優(yōu)化動(dòng)作策略，從而適應(yīng)環(huán)境，以獲得最優(yōu)解。在t時(shí)刻，倒閘操作任務(wù)下發(fā)后，通過調(diào)用融合后的調(diào)度知識(shí)圖譜模塊，獲取當(dāng)前任務(wù)設(shè)備的投運(yùn)狀態(tài)S_t，然后進(jìn)行倒閘決策選擇并執(zhí)行相應(yīng)動(dòng)作a_t，智能體通過對學(xué)習(xí)環(huán)境的改變，不斷試錯(cuò)直到獲得最大的獎(jiǎng)勵(lì)值，尋找到最優(yōu)動(dòng)作策略。倒閘操作的強(qiáng)化學(xué)習(xí)模型如圖7所示。

3.1.1 狀態(tài)空間

在倒閘操作中，強(qiáng)化學(xué)習(xí)模型的狀態(tài)空間由包含任務(wù)設(shè)備在內(nèi)的動(dòng)作空間中開關(guān)設(shè)備的投運(yùn)狀態(tài)表征，其狀態(tài)空間S_t表示為

S

_t=［T_t，V_t］（1）

式中：T_t——t時(shí)刻倒閘設(shè)備的運(yùn)行狀態(tài);

V_t——t時(shí)刻該操作空間內(nèi)各設(shè)備的投切狀態(tài)。

3.1.2 動(dòng)作空間

動(dòng)作空間即操作空間，其可表示為

A={（1，a₁），（2，a₂），…，（n，a_n）}（2）

式中：a_n——?jiǎng)幼骺臻g中第n個(gè)設(shè)備的投切變位動(dòng)作值。

3.1.3 獎(jiǎng)勵(lì)函數(shù)

強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)是對倒閘操作動(dòng)作決策的一種評價(jià)，由獎(jiǎng)勵(lì)和懲罰2個(gè)部分組成，通過判斷倒閘操作的動(dòng)作是否違背倒閘操作防誤規(guī)程，來引導(dǎo)智能體選擇更優(yōu)的動(dòng)作策略，提高強(qiáng)化學(xué)習(xí)效率。

（1） 獎(jiǎng)勵(lì)部分：正確的倒閘操作是在盡可能少的操作次數(shù)下，按照一定的規(guī)則將任務(wù)設(shè)備執(zhí)行投切變位動(dòng)作切換至目標(biāo)態(tài)。切換過程中，無任何違規(guī)操作，倒閘決策完成后，倒閘開關(guān)設(shè)備運(yùn)行狀態(tài)離目標(biāo)態(tài)一致程度越高，則對應(yīng)獲得的獎(jiǎng)勵(lì)值就越大。倒閘決策時(shí)跨間隔操作次數(shù)、動(dòng)作次數(shù)越少，防誤率就越高，獲得的獎(jiǎng)勵(lì)值就越大，因此其與獎(jiǎng)勵(lì)值函數(shù)成反比。獎(jiǎng)勵(lì)部分計(jì)算公式為

式中： K——常量;

N_k——跨間隔操作次數(shù);

N_d——?jiǎng)幼鞔螖?shù);

T_st、T_en、T_i+1——任務(wù)設(shè)備初始態(tài)、目標(biāo)態(tài)、第i次動(dòng)作后的運(yùn)行態(tài)對應(yīng)的值，其中設(shè)備運(yùn)行態(tài)（運(yùn)行、熱備用、冷備用、檢修）對應(yīng)的值依次為1～4。

（2） 懲罰部分：若執(zhí)行操作發(fā)生誤動(dòng)作，則給予動(dòng)作懲罰，并開始新回合。誤動(dòng)作包括：① 帶負(fù)荷拉合隔離開關(guān);② 多電壓等級下，停送電過程斷路器動(dòng)作順序不符合停電過程順序?yàn)榈椭懈?、送電過程則與之相反的要求;③ 斷路器的分合閘順序不滿足分閘先拉負(fù)荷側(cè)開關(guān)再拉電源側(cè)開關(guān)、合閘則與之相反的要求。

懲罰部分計(jì)算公式為

最終模型的目標(biāo)獎(jiǎng)勵(lì)函數(shù)R由2個(gè)部分獎(jiǎng)勵(lì)R_j和懲罰R_k組成，表示為

R=R_j+R_k（5）

3.1.4 動(dòng)作選擇策略

本文將ε-greedy策略用于智能體選擇下一個(gè)動(dòng)作。通過平衡探索和利用的權(quán)衡，智能體在學(xué)習(xí)和決策過程中不斷優(yōu)化和改進(jìn)。強(qiáng)化學(xué)習(xí)訓(xùn)練過程中逐漸減少ε值以便智能體能夠利用已掌握的知識(shí)做出決策，即

式中：ε——智能體隨機(jī)選擇動(dòng)作的概率;

ε_st——探索階段隨機(jī)選擇動(dòng)作的概率;

ε_min——探索階段隨機(jī)動(dòng)作的最小概率值;

n——?jiǎng)幼骺臻g大小;

i——?jiǎng)幼鬟x擇次數(shù)。

3.2 倒閘操作序列求解

本文利用深度強(qiáng)化學(xué)習(xí)（DDQN）算法，通過主網(wǎng)絡(luò)選擇Q_max值對應(yīng)的動(dòng)作。計(jì)算目標(biāo)網(wǎng)絡(luò)下一時(shí)刻的Q值，目標(biāo)網(wǎng)絡(luò)Q值的計(jì)算公式為

Y^DDQN_t=r_t+1+γQ［S_t+1，argmaxaQ（S_t+1，a;θ_t）;θ′_t］（7）

式中：γ——折扣系數(shù);

r_t+1——狀態(tài)S_t+1下智能體選擇下一時(shí)刻動(dòng)作獲得的獎(jiǎng)勵(lì)。

計(jì)算目標(biāo)網(wǎng)絡(luò)Q值與主網(wǎng)絡(luò)Q之間的誤差值并更新主網(wǎng)絡(luò)參數(shù)，誤差計(jì)算公式為

ΔL（θ）=E（（Y^DDQN_t-Q（s，a;θ））²）（8）

式中：Q（s，a;θ）——深度神經(jīng)網(wǎng)絡(luò);

θ——網(wǎng)絡(luò)參數(shù)。

DDQN算法流程如圖8所示。

4 算例分析

4.1 智能防誤知識(shí)圖譜構(gòu)建實(shí)例

以電網(wǎng)物理實(shí)體設(shè)備圖譜為基礎(chǔ)，連接防誤規(guī)程語義圖譜，2個(gè)圖譜自動(dòng)融合組成調(diào)度知識(shí)圖譜。其中，電網(wǎng)物理實(shí)體設(shè)備圖譜是基礎(chǔ)，操作票的防誤校核均圍繞相關(guān)防誤設(shè)備進(jìn)行;防誤規(guī)程語義圖譜是核心和重要依據(jù)，通過深度強(qiáng)化學(xué)習(xí)算法生成的倒閘操作序列必須符合防誤規(guī)程。

將所收集的智能防誤分析語料（包括5 068條防誤規(guī)程相關(guān)文本數(shù)據(jù)、500 000條設(shè)備模型數(shù)據(jù)）經(jīng)本文的實(shí)體識(shí)別模型抽取后，整理形成了15 661個(gè)節(jié)點(diǎn)與31 820個(gè)實(shí)體間關(guān)系，將產(chǎn)生的知識(shí)三元組數(shù)據(jù)以節(jié)點(diǎn)和關(guān)系的方式存儲(chǔ)至Neo4j圖數(shù)據(jù)庫，實(shí)現(xiàn)智能防誤知識(shí)圖譜的構(gòu)建。部分防誤知識(shí)圖譜如圖9所示。各類節(jié)點(diǎn)均包含各自的屬性信息，不同屬性在知識(shí)圖譜可視化展現(xiàn)時(shí)以不同顏色區(qū)分。圖譜中各實(shí)體間的屬性關(guān)系用有向線段表示，每條有向線段由起始實(shí)體節(jié)點(diǎn)通過關(guān)系屬性指向結(jié)束實(shí)體節(jié)點(diǎn)。

倒閘智能防誤輔助校驗(yàn)示例如圖10所示。當(dāng)?shù)归l操作發(fā)生時(shí)，首先將倒閘調(diào)令信息解析后自動(dòng)識(shí)別倒閘任務(wù)，然后通過調(diào)用智能防誤知識(shí)圖譜，獲取設(shè)備倒閘操作空間，利用深度強(qiáng)化學(xué)習(xí)算法進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練并獲取倒閘防誤操作序列，生成智能防誤規(guī)程圖譜，同時(shí)輸入對應(yīng)的操作票后通過信息解析與防誤規(guī)程圖譜比較分析進(jìn)行防誤校核，輸出可視化的校核結(jié)果及建議。

4.2 深度強(qiáng)化學(xué)習(xí)性能分析

從構(gòu)建的防誤知識(shí)圖譜中選擇某個(gè)500 kV變電站為例對深度強(qiáng)化學(xué)習(xí)方法的性能進(jìn)行驗(yàn)證分析。某電網(wǎng)500 kV變電站局部接線圖如圖11所示;變電站知識(shí)圖譜的局部簡化示意圖如圖12所示。

首先獲取操作任務(wù)：2號(hào)主變由運(yùn)行轉(zhuǎn)檢修。利用防誤知識(shí)圖譜獲取2號(hào)主變的動(dòng)作空間。2號(hào)主變動(dòng)作空間如圖13所示;2號(hào)主變倒閘操作空間如表1所示;DDQN算法相關(guān)參數(shù)如表2所示。

DDQN訓(xùn)練期間獎(jiǎng)勵(lì)變化如圖14所示。在強(qiáng)化學(xué)習(xí)初期，獎(jiǎng)勵(lì)值波動(dòng)較大，在-2～8區(qū)間振蕩波動(dòng)。隨著訓(xùn)練回合次數(shù)逐漸增多，最優(yōu)動(dòng)作的選擇概率增大，獎(jiǎng)勵(lì)值不斷提高，訓(xùn)練回合次數(shù)達(dá)到750次后，獎(jiǎng)勵(lì)波動(dòng)幅度趨近平穩(wěn)。

訓(xùn)練完成后，2號(hào)主變由運(yùn)行轉(zhuǎn)檢修倒閘序列如表3所示。本文算法得到的結(jié)果與基于操作票的“五防”預(yù)演結(jié)果基本一致，無誤操作發(fā)生，防誤操作序列符合倒閘操作邏輯，2號(hào)主變成功倒閘至目標(biāo)態(tài)（即檢修狀態(tài)）。

4.3 智能防誤效率分析

通過設(shè)置7組倒閘操作任務(wù)，比較同一倒閘操作任務(wù)下本文提出的防誤校核方法與傳統(tǒng)的“五防”演練模擬預(yù)演方法的防誤耗時(shí)。防誤耗時(shí)比較如圖15所示。

由圖15可知，本文基于知識(shí)圖譜的深度強(qiáng)化學(xué)習(xí)模型的防誤校核效率高于傳統(tǒng)的五防演練模擬預(yù)演。本文方法能夠自動(dòng)獲取倒閘任務(wù)，快速準(zhǔn)確確定任務(wù)操作空間，建立強(qiáng)化學(xué)習(xí)模型，推理出最優(yōu)的防誤倒閘操作序列，因此防誤耗時(shí)較傳統(tǒng)方法的較少。

4.4 智能防誤準(zhǔn)確性分析

本文從防誤圖譜中隨機(jī)選取若干變電站節(jié)點(diǎn)，分別對其進(jìn)行基于傳統(tǒng)方式、本文方式的倒閘防誤預(yù)演操作，累計(jì)實(shí)驗(yàn)500次。變電站防誤操作準(zhǔn)確率如表4所示。由表4可知，對于傳統(tǒng)基于“五防”演練模擬預(yù)演方式，在實(shí)驗(yàn)次數(shù)較少時(shí)，其準(zhǔn)確率較本文方法稍高，隨著實(shí)驗(yàn)次數(shù)的增加，本文算法訓(xùn)練快速收斂，防誤準(zhǔn)確性大幅提高，出錯(cuò)率幾乎為零，防誤效果較傳統(tǒng)方式的更好。

5 結(jié) 語

本文利用深度學(xué)習(xí)算法提出一種基于知識(shí)圖譜的變電站倒閘防誤校核技術(shù)。首先以變電站防誤的多源數(shù)據(jù)為對象，構(gòu)建電網(wǎng)物理實(shí)體知識(shí)圖譜以獲取設(shè)備拓?fù)溥B接關(guān)系及模型信息，再結(jié)合防誤規(guī)程語義圖譜自動(dòng)融合推理生成調(diào)度知識(shí)圖譜。然后調(diào)用調(diào)度知識(shí)圖譜，利用防誤引擎算法生成倒閘防誤操作序列并構(gòu)建智能防誤知識(shí)圖譜以實(shí)現(xiàn)操作票的智能防誤校核，從而有效輔助調(diào)控運(yùn)行人員進(jìn)行設(shè)備智能防誤決策，提升現(xiàn)場倒閘操作人員對防誤故障的應(yīng)急處置能力及智能化水平。

【參 考 文 獻(xiàn)】

［1］李鵬，衛(wèi)星，郭利軍，等.智能變電站繼電保護(hù)運(yùn)維防誤技術(shù)研究及應(yīng)用［J］.電力系統(tǒng)保護(hù)與控制，2017，45（19）：123-129.

［2］唐成虹，宋斌，胡國，等.基于IEC 61850標(biāo)準(zhǔn)的新型變電站防誤系統(tǒng)［J］.電力系統(tǒng)自動(dòng)化，2009，33（5）：96-99.

［3］官賽萍，靳小龍，賈巖濤，等.面向知識(shí)圖譜的知識(shí)推理研究進(jìn)展［J］.軟件學(xué)報(bào)，2018，29（10）：2966-2994.

［4］徐立.基于加權(quán)TextRank的文本關(guān)鍵詞提取方法［J］.計(jì)算機(jī)科學(xué)，2019，46（S1）：142-145.

［5］喬驥，王新迎，閔睿，等.面向電網(wǎng)調(diào)度故障處理的知識(shí)圖譜框架與關(guān)鍵技術(shù)初探［J］.中國電機(jī)工程學(xué)報(bào)，2020，40（18）：5837-5849.

［6］葉欣智，尚磊，董旭柱，等.面向配電網(wǎng)故障處置的知識(shí)圖譜研究與應(yīng)用［J］.電網(wǎng)技術(shù)，2022，46（10）：3739-3749.

［7］陳建洪，黃運(yùn)豪，林靜懷，等.基于云邊協(xié)同的變電站倒閘操作平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)［J］.電網(wǎng)技術(shù)，2023，47（2）：833-841.

［8］李少飛，王召斌，張文行.基于深度學(xué)習(xí)的繼電器剩余使用壽命預(yù)測研究綜述［J］.電器與能效管理技術(shù)，2023（10）：1-7.

［9］盧恒光，林碧琳，溫步瀛.基于深度強(qiáng)化學(xué)習(xí)的切機(jī)控制策略研究［J］.電器與能效管理技術(shù)，2023（3）：11-15，68.

［10］張曉華，劉道偉，呂先進(jìn)，等.基于時(shí)變圖的大電網(wǎng)穩(wěn)定態(tài)勢知識(shí)圖譜建模及管理技術(shù)［J］.電力信息與通信技術(shù)，2023，21（3）：1-9.

［11］彭軍林，石勇，于哲，等.基于FTU的配電網(wǎng)單相接地故障定位與恢復(fù)方法［J］.電器與能效管理技術(shù)，2024（2）：72-78.

［12］周凱，曹林，胡志堅(jiān)，等.基于決策樹和支持向量機(jī)的智能變電站二次系統(tǒng)防誤方法［J］.電氣工程學(xué)報(bào)，2023，18（1）：118-125.

［13］苑菲，楊紅英，劉道偉，等.基于知識(shí)圖譜的電網(wǎng)調(diào)度運(yùn)行優(yōu)化管理系統(tǒng)［J］.電力信息與通信技術(shù)，2023，21（3）：17-25.

［14］孫洪亮，蘇丹.城市軌道車輛繼電器檢修間隔優(yōu)化研究［J］.電器與能效管理技術(shù)，2024（2）：50-55.

［15］沙浩源，劉佩，王之赫，等.基于卷積原型網(wǎng)絡(luò)的斷路器故障診斷方法研究［J］.電器與能效管理技術(shù)，2024（2）：56-65.

收稿日期：20240401