基于模糊規(guī)則和神經(jīng)網(wǎng)絡(luò)的新能源消納數(shù)據(jù)清洗研究與應(yīng)用

摘要：

為了充分挖掘和高效利用新能源的消納空間，需要在調(diào)度控制時考慮廣域量測、環(huán)境、氣象以及社會等多源信息。數(shù)據(jù)清洗是使用這些數(shù)據(jù)的前提，提出了一種數(shù)據(jù)清洗技術(shù)，分析了新能源消納能力計算的數(shù)據(jù)來源以及數(shù)據(jù)間的隱含關(guān)聯(lián)，將其轉(zhuǎn)換為PSL形式的模糊規(guī)則，構(gòu)建了面向新能源消納數(shù)據(jù)清洗的神經(jīng)網(wǎng)絡(luò)。以張家口市張北縣2020年風(fēng)電數(shù)據(jù)為例進(jìn)行數(shù)據(jù)清洗。結(jié)果表明：數(shù)據(jù)清洗并修復(fù)后的數(shù)據(jù)正確率達(dá)到98.3%，該技術(shù)能夠有效地利用多源信息的關(guān)聯(lián)映射關(guān)系，實現(xiàn)對不良數(shù)據(jù)的有效甄別。研究結(jié)果可為各方參與新能源建設(shè)和開展新能源價值挖掘提供可靠的數(shù)據(jù)支撐。

關(guān)鍵詞：

新能源消納； 數(shù)據(jù)清洗； 模糊規(guī)則； 概率軟邏輯

中圖法分類號：TP751

文獻(xiàn)標(biāo)志碼：A

DOI：10.15974/j.cnki.slsdkb.2024.07.020

文章編號：1006-0081（2024）07-0116-06

0 引 言

隨著棄風(fēng)、棄光問題的日益突出，新能源消納的泛社會化屬性逐漸凸顯。大氣污染防治限產(chǎn)、光伏扶貧政策、新能源補貼政策調(diào)整以及發(fā)電設(shè)備成本降低等非電力生產(chǎn)要素嚴(yán)重影響著新能源的消納情況。目前，對新能源的調(diào)度控制主要基于風(fēng)光資源的供給端和電力生產(chǎn)的需求端信息進(jìn)行優(yōu)化。然而，隨著廣域量測、環(huán)境、氣象、社會等大量信息的接入，電力系統(tǒng)已經(jīng)發(fā)展成為一個具有多源信息交互的復(fù)雜高維異構(gòu)的電力信息物理系統(tǒng)，傳統(tǒng)新能源調(diào)度控制手段僅使用了電網(wǎng)公司內(nèi)部的相關(guān)數(shù)據(jù)，未能充分考慮影響新能源消納的社會因素，并未全面考慮新能源生產(chǎn)過程中的信息流動，導(dǎo)致難以從全社會的角度充分挖掘和高效利用新能源的消納空間。因此，將與新能源消納密切相關(guān)的多維數(shù)據(jù)融合起來十分必要。在整合來自不同來源的異構(gòu)數(shù)據(jù)時，需要采用數(shù)據(jù)清洗技術(shù)來提高數(shù)據(jù)的質(zhì)量，以確保所得到的數(shù)據(jù)分析結(jié)果準(zhǔn)確且有價值。數(shù)據(jù)清洗主要包括關(guān)聯(lián)規(guī)則挖掘、異常數(shù)據(jù)檢測和異常數(shù)據(jù)修復(fù)，以修正異常數(shù)據(jù)并確保數(shù)據(jù)的有效性、一致性和完整性。

典型的數(shù)據(jù)清洗算法包括異常值檢測［1］、噪聲去除［2］、實體解析［3］和貝葉斯清洗［4］等方法。隨著數(shù)據(jù)模式的變化，數(shù)據(jù)間的聯(lián)系也變得錯綜復(fù)雜，出現(xiàn)了大規(guī)模的數(shù)據(jù)關(guān)聯(lián)、交叉和融合現(xiàn)象。針對這種情況，需要采用適當(dāng)?shù)臄?shù)據(jù)清洗方法，以確保融合后的數(shù)據(jù)與規(guī)則保持一致。

與電力系統(tǒng)分析的不同之處在于，新能源消納業(yè)務(wù)涉及的數(shù)據(jù)復(fù)雜且關(guān)聯(lián)程度復(fù)雜。無法像電力系統(tǒng)一樣提出明確的計算公式，例如電壓降落與有功功率、無功功率、電阻、電抗之間存在明確的計算公式；而新能源消納數(shù)據(jù)只能提出模糊的規(guī)則，例如當(dāng)某幾個量取得較高值時，另外幾個量取得較高值的概率較高。因此，需要一種結(jié)合規(guī)則和機器學(xué)習(xí)的數(shù)據(jù)清洗方法，將新能源消納業(yè)務(wù)中的規(guī)則與神經(jīng)網(wǎng)絡(luò)［5］等機器學(xué)習(xí)技術(shù)相結(jié)合，實現(xiàn)異常數(shù)據(jù)處理。

神經(jīng)符號系統(tǒng)是將神經(jīng)網(wǎng)絡(luò)與邏輯規(guī)則相結(jié)合的一種系統(tǒng)［6］，基于該系統(tǒng)可以利用給定的邏輯域推理規(guī)則來對數(shù)據(jù)之間的依賴性進(jìn)行建模，常用于數(shù)據(jù)清洗中［7］。文獻(xiàn)［8］利用給定的邏輯規(guī)則構(gòu)建了多層后向傳播專家系統(tǒng)，以電力系統(tǒng)診斷業(yè)務(wù)為切入點實現(xiàn)了數(shù)據(jù)清洗，上述直接構(gòu)建神經(jīng)網(wǎng)絡(luò)的方法會導(dǎo)致模型缺乏可解釋性。因此，相關(guān)研究在進(jìn)行數(shù)據(jù)清洗時考慮了模型的可解釋性：文獻(xiàn)［9］通過后驗正則化，使用一階邏輯（FOL）表示約束，引入師生網(wǎng)絡(luò)，將預(yù)測概率映射到規(guī)則正則化子空間，將邏輯規(guī)則的信息轉(zhuǎn)化為模型的權(quán)重，從而將邏輯知識融入神經(jīng)網(wǎng)絡(luò)模型中并運用于自然語言處理（NLP）任務(wù)中；文獻(xiàn)［10］將邏輯規(guī)則用作證據(jù)來構(gòu)建對抗集合；文獻(xiàn)［11］將邏輯規(guī)則作為間接監(jiān)督形式來改進(jìn)模型訓(xùn)練。此外，部分研究考慮了神經(jīng)網(wǎng)絡(luò)的深度：文獻(xiàn)［12］引入邏輯神經(jīng)元，加強了深度學(xué)習(xí)模型；文獻(xiàn)［13］將深度神經(jīng)網(wǎng)絡(luò)（DNN）與邏輯平滑結(jié)合的方法，采用概率邏輯代替0/1硬賦值，以便于整個框架的反向傳播，與在DNN架構(gòu)中插入邏輯不同，該方法使用差異損失逐步彌合了深度學(xué)習(xí)和邏輯規(guī)則之間的差距。

上述研究涉及到的規(guī)則為明確規(guī)則，而非模糊規(guī)則。因此，有必要研究一種能夠挖掘和應(yīng)用模糊規(guī)則的數(shù)據(jù)清洗技術(shù)，并將其應(yīng)用于新能源消納業(yè)務(wù)?；谝陨戏治觯疚闹荚诮Y(jié)合模糊規(guī)則和神經(jīng)網(wǎng)絡(luò)來對新能源消納的多源數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。首先，分析了計算新能源消納能力所需的數(shù)據(jù)要求，確定需要研究的數(shù)據(jù)，然后提出了一種數(shù)據(jù)清洗技術(shù)，通過挖掘數(shù)據(jù)之間的潛在關(guān)聯(lián)并將其轉(zhuǎn)化為概率軟邏輯（probabilistic soft logic，PSL）形式的模糊規(guī)則。在此基礎(chǔ)上，構(gòu)建了神經(jīng)網(wǎng)絡(luò)來實現(xiàn)數(shù)據(jù)清洗，并對張家口市張北縣2020年風(fēng)電數(shù)據(jù)進(jìn)行了清洗實驗。

1 新能源消納數(shù)據(jù)分析

根據(jù)新能源消納能力計算導(dǎo)則［14-15］，在進(jìn)行新能源消納計算時，需要考慮發(fā)電數(shù)據(jù)、用電數(shù)據(jù)、電網(wǎng)數(shù)據(jù)和新能源數(shù)據(jù)，這些數(shù)據(jù)的來源包括電網(wǎng)調(diào)度技術(shù)支持系統(tǒng)（OMS）、智能電網(wǎng)調(diào)度技術(shù)支持系統(tǒng)基礎(chǔ)平臺（D5000）、自動發(fā)電量控制系統(tǒng)（AGC）以及統(tǒng)計值。發(fā)電數(shù)據(jù)的采集信息如表1所示，用電數(shù)據(jù)的采集信息如表2所示，電網(wǎng)數(shù)據(jù)的采集信息如表3所示，新能源數(shù)據(jù)的采集信息如表4所示。

由于通信錯誤、傳感器故障等原因，這些數(shù)據(jù)可能會丟失或異常。采用同一信息系統(tǒng)中的數(shù)據(jù)修復(fù)這些數(shù)據(jù)的方法并不適用，因為這些錯誤可能同時發(fā)生。此外，氣象、政策、經(jīng)濟數(shù)據(jù)等社會數(shù)據(jù)也可能影響電力系統(tǒng)容納可再生能源能力的結(jié)果。

因此，為了修復(fù)異常數(shù)據(jù)，獲取并利用與之高度相關(guān)的社會數(shù)據(jù)（例如氣象、政策、經(jīng)濟數(shù)據(jù)）是一種可行的數(shù)據(jù)清理方法。

2 數(shù)據(jù)清洗邏輯流程

數(shù)據(jù)清洗的邏輯流程主要包括3個部分。

（1） 模糊規(guī)則提?。褐笍陌l(fā)電、用電、電網(wǎng)、新能源等高度相關(guān)的信息系統(tǒng)中提取數(shù)據(jù)之間的模糊規(guī)則。

模糊規(guī)則通常不能用精確的語言進(jìn)行描述，只能描述為諸如“當(dāng)指標(biāo)A處于高水平，指標(biāo)B處于較高水平時，指標(biāo)C處于中等水平”的模糊規(guī)則，其中高水平、較高水平、中等水平之間的區(qū)分值往往并不清楚。例如，“當(dāng)指標(biāo)A處于高水平且指標(biāo)B處于高水平時，指標(biāo)C處于高水平”“當(dāng)指標(biāo)A處于高水平時，指標(biāo)C處于中水平”“當(dāng)指標(biāo)A處于高水平或指標(biāo)B處于高水平時，指標(biāo)C處于高水平”“當(dāng)指標(biāo)A處于高水平時，指標(biāo)C不處于高水平”等模糊規(guī)則用一階邏輯形式可以表達(dá)為下述形式：

A（High）∧B（High）C（High）（1）

A（High）C（Medium）（2）

A（High）∨B（High）C（High）（3）

A（High）C（High）（4）

（2） 利用模糊規(guī)則構(gòu)建具有概率軟邏輯的神經(jīng)網(wǎng)絡(luò)，從提取的模糊規(guī)則和確定規(guī)則中學(xué)習(xí)和推理概率軟邏輯（PSL）。例如，一個模糊規(guī)則的示例是：“供暖期”與“溫度”呈負(fù)相關(guān)，其系數(shù)為-0.5。一個確定規(guī)則的示例是：“供熱設(shè)備容量”應(yīng)低于“供熱期間的最大技術(shù)輸出”，且高于“供熱期間的最小技術(shù)輸出”。利用PSL可以表示這些規(guī)則，并構(gòu)建成神經(jīng)網(wǎng)絡(luò)。

（3） 通過神經(jīng)網(wǎng)絡(luò)對異常數(shù)據(jù)進(jìn)行修復(fù)。由于第二步構(gòu)建的神經(jīng)網(wǎng)絡(luò)反映了我們所得到的規(guī)律，因此通過神經(jīng)網(wǎng)絡(luò)修復(fù)的數(shù)據(jù)不容易違反規(guī)則（給定的規(guī)則和提取的模糊規(guī)則）。同時，也能夠解釋異常數(shù)據(jù)的修復(fù)過程。 整體邏輯流程如圖1所示。

3 數(shù)據(jù)清洗關(guān)鍵技術(shù)研究

3.1 概率軟邏輯PSL

“規(guī)則”表示能明確描述數(shù)據(jù)分布中所蘊含的客觀規(guī)律或領(lǐng)域概念的語義，能以“若……，則……”的邏輯形式表達(dá)?！耙?guī)則學(xué)習(xí)”是指從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)出一組可用于對未知實例進(jìn)行判別的規(guī)則。

PSL不使用布爾邏輯來解釋子句，而是采用Lukasiewicz邏輯來解釋子句。它將布爾邏輯擴展到連續(xù)區(qū)間［0，1］，從而將真值擴展到連續(xù)領(lǐng)域，使其能夠表示模糊的概念。也就是說，這些概念通常既不完全正確，也不完全錯誤。

PSL的邏輯運算符包括∧（求交）、∨（求并）以及（取反），其邏輯運算如式（5）～（7）所示。

x1∧x2=max{x1+x2－1，0}（5）

x1∨x2=max{x1+x2，1}（6）

x=1－x（7）

3.2 神經(jīng)網(wǎng)絡(luò)構(gòu)建

本文構(gòu)建了兩個神經(jīng)網(wǎng)絡(luò)。其中，擬合神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練正常數(shù)據(jù)來擬合特定數(shù)據(jù)與其他數(shù)據(jù)之間的關(guān)系，常見形式是小波神經(jīng)網(wǎng)絡(luò)［15-16］；而規(guī)則神經(jīng)網(wǎng)絡(luò)試圖反映規(guī)則，其構(gòu)建細(xì)節(jié)如下。

3.2.1 構(gòu)造方法

將邏輯規(guī)則轉(zhuǎn)化為神經(jīng)網(wǎng)絡(luò)［7］，需要考慮3種常見操作：在進(jìn)行求交運算時，初始系數(shù)為1，初始偏差為所連接元素的個數(shù)，見圖2。

在進(jìn)行求并運算時，初始系數(shù)為1，初始偏差為0，見圖3。

在進(jìn)行求反運算時，初始系數(shù)為-1，初始偏差為0，見圖4。

3.2.2 輸出部分

規(guī)則神經(jīng)網(wǎng)絡(luò)的輸出部分為每條模糊規(guī)則的違背程度，從指標(biāo)部分到輸出部分的神經(jīng)網(wǎng)絡(luò)設(shè)計按照每條模糊規(guī)則的一階邏輯表示進(jìn)行，輸出部分神經(jīng)元個數(shù)為業(yè)務(wù)規(guī)則的數(shù)量。

舉例如下，對于式（3）所示的模糊規(guī)則，當(dāng)A處于高水平或者B處于高水平時，C也會處于高水平。

假設(shè)指標(biāo)部分中“A為高水平”值為10，“B為高水平”值為5，“C為高水平”值為1。此時將指標(biāo)部分中“A為高水平”、“B為高水平”兩個神經(jīng)元按照并運算的方式進(jìn)行連接，即將這兩個神經(jīng)元與新神經(jīng)元連接，連接系數(shù)為1，偏置為0，新神經(jīng)元輸出為

Sigmoid（1*（Sigmoid（10）+Sigmoid（5））+0）=0.88（8）

再將新神經(jīng)元與“C為高水平”神經(jīng)元進(jìn)行減運算得到輸出神經(jīng)元，即將這兩個神經(jīng)元與輸出神經(jīng)元進(jìn)行連接，連接系數(shù)分別為1和-1，偏置為0，新神經(jīng)元輸出為

0.88- Sigmoid（1）=0.15（9）

輸出越小，代表分類結(jié)果對規(guī)則的違背程度越低。

3.2.3 損失函數(shù)

規(guī)則神經(jīng)網(wǎng)絡(luò)訓(xùn)練器損失函數(shù)為預(yù)測結(jié)果的平方和，通過梯度下降法進(jìn)行訓(xùn)練。由于上述損失函數(shù)及神經(jīng)元的計算均由Sigmoid函數(shù)以及基本運算符號組成，故可以進(jìn)行求導(dǎo)，采用梯度下降法對規(guī)則神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練是可行的。規(guī)則神經(jīng)網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)和推理與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相同。

當(dāng)檢測到異常數(shù)據(jù)時：① 將其輸入“擬合神經(jīng)網(wǎng)絡(luò)”，從中獲取異常數(shù)據(jù)的期望值。② 將期望值作為規(guī)則神經(jīng)網(wǎng)絡(luò)的輸入。如果輸出的絕對值小于閾值，則使用期望值來修復(fù)異常數(shù)據(jù)。否則會認(rèn)為系統(tǒng)的某些部件（如傳感器、通信模塊）出現(xiàn)故障。在這種情況下，維護(hù)人員將會檢查系統(tǒng)的運行狀態(tài)。

4 數(shù)據(jù)清洗實驗

4.1 待清洗數(shù)據(jù)說明

張家口作為省內(nèi)棄風(fēng)電和棄光電資源集中的地區(qū)，應(yīng)大力發(fā)展電能供暖。該地區(qū)具有豐富的風(fēng)能資源，并且供熱需求大、地點相對分散，非常適合利用風(fēng)電進(jìn)行分布式供暖。這對于調(diào)整京津冀地區(qū)的能源結(jié)構(gòu)、減少散煤燃燒的污染物排放以及加快推動張家口可再生能源示范區(qū)建設(shè)具有重要意義。

根據(jù)新能源消納能力計算導(dǎo)則［13-14］，有如下新能源消納重要指標(biāo)。

（1） 供熱機組供熱期最小技術(shù)出力。供暖期內(nèi)，部分火電機組轉(zhuǎn)變?yōu)闊犭娐?lián)產(chǎn)模式，機組電功率主要由熱功率決定，因此受供熱負(fù)荷影響，其實際最低發(fā)電功率將遠(yuǎn)超非供熱狀態(tài)下的最小出力。與之相關(guān)的數(shù)據(jù)有供電范圍內(nèi)集中供熱面積、燃?xì)馄占奥室约捌骄鶜鉁亍?/p>

（2） 火電機組最大技術(shù)出力。火電機組的最大出力會受到環(huán)境基本狀態(tài)的影響，當(dāng)環(huán)境狀態(tài)變化時，火電機組的出力不可避免地會受到影響，相關(guān)的數(shù)據(jù)有供電范圍內(nèi)森林面積、濕地面積、森林火災(zāi)受害面積以及平均風(fēng)速。

（3） 有調(diào)節(jié)能力水電機組出力上下限。抽水蓄能電站出力上限與汛期、供水期、防凌期等有關(guān)。

（4） 短期負(fù)荷預(yù)測數(shù)據(jù)。在進(jìn)行日前調(diào)度時需要進(jìn)行短期負(fù)荷預(yù)測，以歷史負(fù)荷為基準(zhǔn)，結(jié)合負(fù)荷增長情況和經(jīng)濟發(fā)展情況可以得到。與之相關(guān)的數(shù)據(jù)有供電范圍內(nèi)旅游人數(shù)、防疫政策信息等。

（5） 中長期負(fù)荷預(yù)測數(shù)據(jù)。與之相關(guān)的數(shù)據(jù)：供電范圍內(nèi)人口數(shù)及變動情況、建筑業(yè)房屋竣工面積、主要工業(yè)產(chǎn)品產(chǎn)量、農(nóng)村水電建設(shè)和物資消耗以及居民家庭主要耐用消費品每百戶年末擁有量。

（6） 新能源發(fā)電補貼電價。與之相關(guān)的數(shù)據(jù)有居民消費價格分類指數(shù)。

基于上述分析，結(jié)合冀北地區(qū)實際情形，本節(jié)首先需要提取出可獲取的數(shù)據(jù)，包括內(nèi)容有：冀北地區(qū)的負(fù)荷、風(fēng)電、光伏和母線數(shù)據(jù)（365×1440）；供暖期的時間、建筑面積（熱負(fù)荷）和清潔供熱面積（年度）；電廠的輔助服務(wù)補償費用和考核費用（月度）；氣象數(shù)據(jù)（根據(jù)需要爬取）；AQI數(shù)據(jù)（根據(jù)需要爬?。?；經(jīng)濟類數(shù)據(jù)（由統(tǒng)計局按月統(tǒng)計）。

根據(jù)圖5所示，可以分析并提取出以下數(shù)據(jù)之間的規(guī)則：① 在供暖期（11月1日至次年3月31日）內(nèi)，溫度越低，供暖負(fù)荷越大。② 在供暖期內(nèi)，風(fēng)電供暖試點（清潔供熱面積）首先消納風(fēng)電供暖配套裝機容量。 ③ 如果風(fēng)電場有功功率在10 min內(nèi)變化值超過限制次數(shù)越多（忽略風(fēng)速變化因素），則風(fēng)電場的考核金額也越多。 AQI值越大，火電機組的出力越低。 日平均負(fù)荷水平與建筑面積呈正相關(guān)。 火電機組輔助服務(wù)補償越大（即其深度調(diào)峰量越大），新能源消納量也越多。

4.2 數(shù)據(jù)清洗流程

通過數(shù)據(jù)插值和軟邏輯化規(guī)則，利用溫度、有功變化、AQI和考核金額等數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。本節(jié)以2020年張家口市張北縣為實驗區(qū)，具體流程見圖6。

根據(jù)圖6可知，供暖數(shù)據(jù)與清潔供暖負(fù)荷信息存在負(fù)相關(guān)，AQI值與火電出力存在負(fù)相關(guān)，將上述2條規(guī)則按照第3節(jié)所述方法形成規(guī)則神經(jīng)網(wǎng)絡(luò)，如圖7所示（該圖僅展現(xiàn)了部分規(guī)則）。

4.3 實驗結(jié)果

對張家口市張北縣的15個風(fēng)電場站進(jìn)行數(shù)據(jù)清洗，使用了6項社會類數(shù)據(jù)。在這個過程中，發(fā)現(xiàn)了曹碾溝等4個風(fēng)電場站的數(shù)據(jù)異常，并進(jìn)行了修復(fù)。為了檢驗修復(fù)后的數(shù)據(jù)準(zhǔn)確性，以《冀北電網(wǎng)新能源運行情況》統(tǒng)計的場站發(fā)電量為基準(zhǔn)值進(jìn)行對比。修復(fù)后的4個場站數(shù)據(jù)的正確率平均值為98.3%。

正確率的定義是1減去修復(fù)后的統(tǒng)計結(jié)果與發(fā)電總量之差的絕對值與發(fā)電總量與基準(zhǔn)統(tǒng)計結(jié)果之差的絕對值之比，再乘以100%。

單晶河站檢測結(jié)果如圖8所示，張北地區(qū)整體檢測結(jié)果如表5所示。

5 結(jié) 語

本文將模糊規(guī)則轉(zhuǎn)換為一階邏輯，并將其融入神經(jīng)網(wǎng)絡(luò)，為判斷數(shù)據(jù)是否符合模糊規(guī)則提供了依據(jù)，降低了與規(guī)則之間的沖突程度，為可解釋人工智能提供了可行方法。本文提出的數(shù)據(jù)清洗技術(shù)不僅適用于以模糊規(guī)則為主的系統(tǒng)，如新能源消納和綜合能源系統(tǒng)，還可應(yīng)用于設(shè)備狀態(tài)監(jiān)測和系統(tǒng)狀態(tài)預(yù)警等領(lǐng)域。

該技術(shù)利用多源信息的關(guān)聯(lián)映射關(guān)系，有效地甄別了不良數(shù)據(jù)，并充分挖掘了社會類數(shù)據(jù)對新能源消納的影響，為雙碳背景下適應(yīng)復(fù)雜社會環(huán)境的新能源消納優(yōu)化調(diào)控策略的設(shè)計提供了數(shù)據(jù)基礎(chǔ)。

參考文獻(xiàn)：

［1］ 杜岳峰，申德榮，聶鐵錚，等.基于關(guān)聯(lián)數(shù)據(jù)的一致性和時效性清洗方法［J］.計算機學(xué)報，2017，40（1）：92-106.

［2］ ZHANG N，GUO A，SUN T，et al.Research on data cleaning method based on SNM algorithm［C］∥IEEE 2nd Advanced Information Technology，Electronic and Automation Control Conference.Chongqing：IEEE，2017：2639-2643.

［3］ BLOODGOOD M，STRAUSS B.Data cleaning for XML electronic dictionaries via statistical anomaly detection［C］∥IEEE Tenth International Conference Semantic Computing.Laguna Hills：IEEE，2016：79-86.

［4］ AMIRKHANI H，RAHMATI M，LUCAS P，et al.Exploiting experts′ knowledge for structure learning of Bayesian networks［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（11）：2154-2170.

［5］ 劉瑞寧，羅征文.基于BP算法的小型水庫應(yīng)急管理風(fēng)險評估方法研究［J］.水利水電快報，2023，44（10）：77-81.

［6］ GARCEZ A，BRODA K，GABBAY D.Neural-symbolic learning system：foundations and applications［M］.Berlin：Springer Science amp; Business Media，2012.

［7］ 張嘉，張暉，趙旭劍，等.規(guī)則半自動學(xué)習(xí)的概率軟邏輯推理模型［J］.計算機應(yīng)用，2018，38（11）：3144-3149，3155.

［8］ MA D，LIANG Y，ZHAO X，et al.Multi-BP expert system for fault diagnosis of power system［J］.Engineering Applications of Artificial Intelligence，2013，26（3）：937-944.

［9］ HU Z，MA X，LIU Z，et al. Harnessing deep neural networks with logic rules［C］∥54th Annual Meeting of the Association for Computational Linguistics. Berlin：Association for Computational Linguistics，2016：2410-2420.

［10］ MINERVINI P，RIEDEL S.Adversarially regularising neuralNLI models to integrate logical background knowledge［C］∥22nd Conference on Computational Natural Language Learning.Brussels：Association for Computational Linguistics，2018：65-74.

［11］ WANG H，POON H.Deep Probabilistic Logic：A unifying framework for indirect supervision［C］∥2018 Conference on Empirical Methods in Natural Language Processing.Brussels：Association for Computational Linguistics，2018：1891-1902.

［12］ LI T，SRIKUMAR V.Augmenting neural networks with first-order Logic［C］∥ 57th Annual Meeting of the Association for Computational Linguistics.Florence：Association for Computational Linguistics，2019：292-302.

［13］ YE Y，F(xiàn)ENG Y，LUO B，et al.Integrating relation constraints with neural relation extractors［C］∥AAAI.34th AAAI Conference on Artificial Intelligence.New York：AAAI，2019：9442-9449.

［14］ 國家電網(wǎng)公司.新能源消納能力計算導(dǎo)則：Q/GDW 11628—2016［S］.北京：中國電力出版社，2017.

［15］ 徐箭，吳煜暉，廖思陽，等.面向新能源消納的信息-物理-社會標(biāo)準(zhǔn)化信息模型及其應(yīng)用［J］.電力系統(tǒng)自動化，2023，47（3）：104-113.

［16］ 魯曉軍，肖軍，熊為軍，等.綠電園區(qū)自主調(diào)峰能力評估方法研究［J］.水利水電快報，2023，44（12）：63-71.

（編輯：唐湘茜，張 爽）

Research and practice of data cleaning for new energy consumption based on fuzzy rules and neural networks

XIONG Weijun，XIAO Hua，CHEN Weipeng

（Changjiang Survey，Planning，Design and Research Co.，Ltd.，Wuhan 430010，China）

Abstract：

To fully exploit and efficiently utilize the integration capacity of new energy，it is essential to consider a range of information sources，including extensive measurements，environmental factors，weather conditions，and societal aspects in the scheduling and control processes and data cleaning serves as a prerequisite for utilizing this information. Therefore，we proposed a data cleaning technique that analyzed the data sources and hidden correlations in the calculation of new energy integration capacity，transforming them into fuzzy rules represented in the form of Probabilistic Soft Logic. We constructed a neural network，specifically designed for data cleaning in new energy integration. We applied it to the wind power data from Zhangbei County，Zhangjiakou City in 2020，achieving a data cleaning accuracy rate of 98.3%. The results showed that the technique was able to effectively utilize the associative mapping relationship among multiple sources of information，thereby enabled the identification of faulty data. The research results can provide a data support for various stakeholders involved in the development and exploration of new energy solutions.

Key words：

new energy consumption； data cleaning； fuzzy rules； probabilistic soft logic