基于kNN算法的智能電網(wǎng)5G海量接入數(shù)據(jù)異常檢測(cè)

doi：10.3969/j.issn.1001-5922.2024.02.041

摘 要：為了更好適應(yīng)智能電網(wǎng)高維數(shù)據(jù)異常識(shí)別，提出了一種加權(quán)kNN數(shù)據(jù)異常值檢測(cè)識(shí)別方法，該方法使用Z階曲線來(lái)識(shí)別kNN。利用Z階曲線，提出了一種加權(quán)kNN異常數(shù)據(jù)檢測(cè)方法。用信息熵衡量所有屬性的重要性，用Z階曲線對(duì)高維數(shù)據(jù)進(jìn)行編碼并映射為Z值。實(shí)驗(yàn)結(jié)果表明，智能電網(wǎng)集群計(jì)算節(jié)點(diǎn)的數(shù)量越多，算法的運(yùn)行速度就越短。發(fā)電數(shù)據(jù)異常檢測(cè)準(zhǔn)確率達(dá)到最高99.2%，較隨機(jī)森林算法提高8.165%。且kNN算法的運(yùn)行時(shí)間均優(yōu)于隨機(jī)森林算法運(yùn)行時(shí)間，最小算法運(yùn)行時(shí)間為4 s，進(jìn)一步表明kNN算法可有效檢測(cè)智能電網(wǎng)5G海量接入數(shù)據(jù)。

關(guān)鍵詞：kNN算法；智能電網(wǎng)；5G；數(shù)據(jù)異常；檢測(cè)

中圖分類(lèi)號(hào)：TP18" " " "文獻(xiàn)標(biāo)志碼：A" " " "文章編號(hào)：1001-5922（2024）02-0155-04

Abnormality detection of 5G massive access data of smart grid based on kNN algorithm

LIN Shuyuan1，LIN Xiaomin1，OU Ya2，KAN Shuangxing3，MO Yuquan3

（1.Fujian Power Trading Center Co.，Ltd.，F(xiàn)uzhou，350001，China；

2.Fujian Power Supply Service Co.，Ltd.，F(xiàn)uzhou，350001，China；

3.Shanghai Hill Management Consulting Co.，Ltd.，Shanghai，201210，China）

Abstract：In order to better adapt to the identification of high-dimensional data anomalies in smart grids，a weighted kNN data anomaly detection and recognition method was proposed，which used Z-order curves to identify kNN.A weighted kNN anomaly data detection method was proposed using Z-order curves.The importance of all attributes was measured with information entropy，and high-dimensional data was encoded and mapped to Z-values with Z-order curves.The experimental results showed that the more computing nodes there were in the smart grid cluster，the shorter the running speed of the algorithm.The accuracy of anomaly detection in power generation data reached a maximum of 99.2%，which was 8.165% higher than the random forest algorithm.Moreover，the running time of the kNN algorithm was better than that of the random forest algorithm，with a minimum algorithm running time of 4 seconds，further indicating that the kNN algorithm can effectively detect massive 5G access data in the smart grid.

Key words：KNN algorithm;smart grid;5G;data anomalies;detection

隨著智能電網(wǎng)快速的發(fā)展，5G海量接入數(shù)據(jù)量呈爆發(fā)性增長(zhǎng)。在5G海量數(shù)據(jù)中，部分異常數(shù)據(jù)會(huì)誘發(fā)智能電網(wǎng)異常行為或模式，包括硬件故障或惡意數(shù)據(jù)侵入[1-2]。從數(shù)據(jù)中識(shí)別異常值對(duì)于智能電網(wǎng)安全運(yùn)行至關(guān)重要。

k最近鄰（kNN）是一種最簡(jiǎn)便的機(jī)器學(xué)習(xí)方法[3]，是一種可以在多維空間中查詢(xún)與識(shí)別最近 k個(gè)對(duì)象的方法，廣泛用于數(shù)據(jù)庫(kù)異常值檢測(cè)[4]。研究表明kNN算法難以適應(yīng)多維數(shù)據(jù)集，無(wú)法從多維數(shù)據(jù)集識(shí)別數(shù)據(jù)異常值[5]。提出了一種非參數(shù)自適應(yīng)檢測(cè)算法，該算法通過(guò)k最近鄰估計(jì)異常數(shù)據(jù)[6]。然而，k最近鄰（kNN）在全空間中計(jì)算仍在高維數(shù)據(jù)中存在無(wú)法識(shí)別異常值等情況[7]。而在實(shí)際應(yīng)用中，每個(gè)屬性的重要性是不同的[8]。忽略屬性的重要性將嚴(yán)重影響kNN算法的智能電網(wǎng)5G海量接入數(shù)據(jù)異常檢測(cè)?；诖?，研究利用Z階曲線，提出了一種加權(quán)kNN異常數(shù)據(jù)檢測(cè)方法。用信息熵衡量所有屬性的重要性，用Z階曲線對(duì)高維數(shù)據(jù)進(jìn)行編碼并映射為Z值。每個(gè)對(duì)象的加權(quán)kNN算法根據(jù)Z值進(jìn)行數(shù)據(jù)識(shí)別，可以進(jìn)一步提高kNN算法在高維空間中的異常數(shù)據(jù)檢測(cè)效率。并利用實(shí)驗(yàn)結(jié)果驗(yàn)證加權(quán)kNN算法在智能電網(wǎng)5G海量接入數(shù)據(jù)異常檢測(cè)的有效性。

1"kNN分類(lèi)算法概述

在采用加權(quán) k近鄰算法求出各物體的 k近鄰時(shí)，要充分考慮各物體的屬性重要性（權(quán)重）＼[9＼]。在5G智能電網(wǎng)中，由于缺少對(duì)智能電網(wǎng)5G海量接入數(shù)據(jù)的理解，因此，屬性的重要程度不能被直觀地反映出來(lái)。因此可以用信息熵的平均值來(lái)表示各個(gè)離散信息的不確定性，從而更好地解決了各個(gè)指標(biāo)權(quán)重的不確定性問(wèn)題。

1.1"k 最近鄰 （kNN）異常值識(shí)別算法

kNN算法是模式識(shí)別領(lǐng)域的一種非參數(shù)分類(lèi)或回歸算法＼[10＼]。假設(shè)有一些訓(xùn)練數(shù)據(jù)具有多個(gè)屬性和一個(gè)標(biāo)簽。kNN分類(lèi)算法的目的是獲取測(cè)試數(shù)據(jù)的標(biāo)簽。具體流程如下。

（1）準(zhǔn)備訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)。有m組訓(xùn)練數(shù)據(jù)，每組有n個(gè)屬性{σ_i1，σ_i1，…σ_in}，同時(shí)包含一個(gè)標(biāo)簽t_i，其中i∈［1，m］。假設(shè)測(cè)試數(shù)據(jù)為{q₁，q₂，…，q_n，}。

（2）計(jì)算每個(gè)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)之間的歐幾里德距離d_i。即

d_i=（q₁-σ_i1）²+…+（q_n-σ_in）²，i∈［1，m］（1）

（3）所有的距離di和它相應(yīng)的標(biāo)簽ti生成一個(gè)有序的集合，即

C={（d₁，t₁），（d₂，t₂），…（d_m，t_m）}（2）

（4）根據(jù)距離d_i和標(biāo)簽t_i的有序集合C進(jìn)行排序。

（5）從排序的集合C中選擇第一個(gè)標(biāo)簽K。

（6）計(jì)算標(biāo)簽K的頻率，將頻率最高的標(biāo)簽設(shè)為測(cè)試數(shù)據(jù)的最終結(jié)果。

1.2"信息熵

信息熵是指一個(gè)不連續(xù)的隨機(jī)事件出現(xiàn)的平均概率＼[11＼]。平均信息用于反映數(shù)據(jù)源的每個(gè)離散信息的不確定性，可以有效地表征數(shù)據(jù)信息定量測(cè)量問(wèn)題，并被應(yīng)用于屬性權(quán)重的測(cè)量。數(shù)據(jù)源的信息熵是描述源的平均不確定性，即源的平均信息可以用所有單個(gè)符號(hào)信息的平均值來(lái)衡量，即可以用式（3）表示：

1.3"5G海量數(shù)據(jù)異常值檢測(cè)原理

在確定數(shù)據(jù)集中的所有樣本點(diǎn)位后，應(yīng)繪制智能電網(wǎng)5G海量接入數(shù)據(jù)決策圖[12]。從決策圖中找出5G海量接入數(shù)據(jù)點(diǎn)，該點(diǎn)被作為數(shù)據(jù)集的聚類(lèi)中心。從離群點(diǎn)檢測(cè)的角度來(lái)看，在決策圖中也可以直觀地看到接入數(shù)據(jù)點(diǎn)，這些點(diǎn)被確定為離群點(diǎn)。

考慮到智能電網(wǎng)電力數(shù)據(jù)的特點(diǎn)，可以假設(shè)離群值應(yīng)滿(mǎn)足以下條件：（1）局部密度小于局部密度的閾值，即p_ilt;p_f；（2）相對(duì)距離小于相對(duì)距離的閾值，即δ_ilt;δ_f。局部密度的閾值p_f可以通過(guò)以下方式計(jì)算：

相對(duì)距離的閾值δf可以通過(guò)以下方式計(jì)算：

式中：N表示權(quán)重?cái)?shù)據(jù)集中的樣本總數(shù)，δ_i和ε_δ表示經(jīng)驗(yàn)參數(shù)。

1.4"加權(quán)kNN算法

加權(quán)kNN算法的數(shù)據(jù)識(shí)別方法有LSH、Voronoi圖和Z階曲線等。其中Z階曲線是一條空間填充曲線，它在高維空間中每個(gè)離散的網(wǎng)格都會(huì)經(jīng)過(guò)并只經(jīng)過(guò)一次。原來(lái)的高維空間查詢(xún)被轉(zhuǎn)化為線性空間范圍查詢(xún)[13]。因此，Z階曲線可以很好地保護(hù)高維數(shù)據(jù)之間的接近性，并且可以應(yīng)用于不同密度的數(shù)據(jù)集。

因此提出基于Z階曲線加權(quán)kNN的方法，該方法可以有效地解決多個(gè)問(wèn)題。將每一數(shù)據(jù)目標(biāo)與Z階的一條直線上的某一點(diǎn)相對(duì)應(yīng)，此點(diǎn)被稱(chēng)作 Z值，可以將加權(quán)kNN算法的樣本辨識(shí)問(wèn)題轉(zhuǎn)換成一維的Z值檢測(cè)值＼[14-16＼]。當(dāng)一個(gè)數(shù)據(jù)目標(biāo)的全部性質(zhì)被賦權(quán)并且被映射成一個(gè) Z階曲線時(shí)，對(duì)象的加權(quán)kNN數(shù)據(jù)識(shí)別就轉(zhuǎn)化為與識(shí)別對(duì)象Z值最接近的k個(gè)對(duì)象的查詢(xún)。

2"試驗(yàn)結(jié)果與討論

2.1"kNN算法可擴(kuò)展性

使用電網(wǎng)數(shù)據(jù)集S1、S2和S3，對(duì)kNN算法的可擴(kuò)展性進(jìn)行研究分析，其S1、S2和S3數(shù)據(jù)集分別包含200 000、550 000和800 000個(gè)對(duì)象。

圖1 （a）為5G大規(guī)模訪問(wèn)數(shù)據(jù)處理節(jié)點(diǎn)數(shù)量對(duì)于智能電網(wǎng)5G網(wǎng)絡(luò)中異常信息辨識(shí)的有效性。隨著節(jié)點(diǎn)數(shù)量的減少，算法所需的計(jì)算時(shí)間也隨之增加。而 kNN算法中各數(shù)據(jù)目標(biāo)的離群系數(shù)的運(yùn)算是平行的，與節(jié)點(diǎn)數(shù)量無(wú)關(guān)。因此，kNN算法的運(yùn)行時(shí)間與數(shù)據(jù)對(duì)象的數(shù)量呈線性關(guān)系。

圖1（b）為數(shù)據(jù)節(jié)點(diǎn)數(shù)量變化時(shí)，智能電網(wǎng)數(shù)據(jù)集的運(yùn)算速度變化趨勢(shì)。由圖1（b）可知，智能電網(wǎng)5G海量數(shù)據(jù)節(jié)點(diǎn)的數(shù)量越多，運(yùn)算速度越快。且當(dāng)智能電網(wǎng)5G數(shù)據(jù)量較小時(shí)，智能電網(wǎng)HDFS文件系統(tǒng)中的數(shù)據(jù)塊數(shù)量將減少，這將導(dǎo)致kNN算法的運(yùn)算速度減少。同時(shí)，隨著智能電網(wǎng)5G海量接入數(shù)據(jù)節(jié)點(diǎn)增加，所需時(shí)間也相應(yīng)縮短。從理論上講，該算法的運(yùn)算速率應(yīng)與計(jì)算節(jié)點(diǎn)數(shù)目成正比，然而，在實(shí)際應(yīng)用中，由于計(jì)算節(jié)點(diǎn)數(shù)目的增多，會(huì)導(dǎo)致網(wǎng)絡(luò)的傳輸速率增大。因此，并行性的影響將會(huì)越來(lái)越小。

2.2"異常數(shù)據(jù)識(shí)別準(zhǔn)確性

利用智能電網(wǎng)5G海量接入數(shù)據(jù)集，測(cè)試kNN算法和唐賡[17]學(xué)者提出的隨機(jī)森林算法的異常數(shù)據(jù)識(shí)別精度。假設(shè)m、n、t、q分別為數(shù)據(jù)記錄的數(shù)量、屬性、訓(xùn)練數(shù)據(jù)記錄和查詢(xún)數(shù)據(jù)。查詢(xún)數(shù)據(jù)從數(shù)據(jù)集中隨機(jī)選擇。因此，每個(gè)智能電網(wǎng)查詢(xún)數(shù)據(jù)都有自己的標(biāo)簽，可以判斷kNN算法的分類(lèi)結(jié)果是真是假。智能電網(wǎng)數(shù)據(jù)集參數(shù)設(shè)置如表1所示。

由表1可知，共使用了3個(gè)不同的數(shù)據(jù)集。第2個(gè)數(shù)據(jù)集為電網(wǎng)施工現(xiàn)場(chǎng)異常數(shù)據(jù)集，共有1 728個(gè)數(shù)據(jù)記錄和4個(gè)不同的標(biāo)簽，包括施工現(xiàn)場(chǎng)電線短路、電線電壓超載、電流超載和電網(wǎng)設(shè)備故障，且每個(gè)數(shù)據(jù)記錄都有6個(gè)屬性。將前1 400條記錄設(shè)置為訓(xùn)練數(shù)據(jù)，將其他328條記錄設(shè)為測(cè)試數(shù)據(jù)。第3個(gè)數(shù)據(jù)集是系統(tǒng)異常數(shù)據(jù)集，共有830個(gè)數(shù)據(jù)記錄，具有5個(gè)屬性和2個(gè)不同的標(biāo)簽，包括系統(tǒng)硬件故障和系統(tǒng)軟件故障。在該數(shù)據(jù)集中，前600個(gè)數(shù)據(jù)記錄為訓(xùn)練數(shù)據(jù)，而其他230個(gè)數(shù)據(jù)記錄則為測(cè)試數(shù)據(jù)。第三個(gè)數(shù)據(jù)集為發(fā)電異常數(shù)據(jù)集，該數(shù)據(jù)集在智能電網(wǎng)中具有重要的應(yīng)用，包括發(fā)電耗電量、發(fā)電電壓異常數(shù)據(jù)等?？偣灿?0 000個(gè)數(shù)據(jù)記錄，11個(gè)屬性和2個(gè)不同的標(biāo)簽。在該數(shù)據(jù)集中，前8 000個(gè)數(shù)據(jù)記錄為訓(xùn)練數(shù)據(jù)，后2 000個(gè)數(shù)據(jù)記錄為測(cè)試數(shù)據(jù)。

kNN和隨機(jī)森林算法性能對(duì)比如表2所示。

由表2可知，發(fā)電數(shù)據(jù)異常準(zhǔn)確率達(dá)到最高為99.2%，較隨機(jī)森林算法提高8.165%。而電網(wǎng)現(xiàn)場(chǎng)異常數(shù)據(jù)與系統(tǒng)異常數(shù)據(jù)最大準(zhǔn)確率為98.5%，最小準(zhǔn)確率為87.5%。kNN算法可以有效識(shí)別電網(wǎng)現(xiàn)場(chǎng)異常數(shù)據(jù)及系統(tǒng)與發(fā)電異常數(shù)據(jù)。且所提出的kNN算法可以有效識(shí)別智能電網(wǎng)5G海量接入數(shù)據(jù)異常，從而保證智能電網(wǎng)正常運(yùn)行。kNN算法和隨機(jī)森林算法對(duì)異常數(shù)據(jù)的識(shí)別精度均大于95.1%，其中電網(wǎng)現(xiàn)場(chǎng)異常數(shù)據(jù)精度達(dá)到最高99.1%，同時(shí)kNN算法的運(yùn)行時(shí)間優(yōu)于隨機(jī)森林算法運(yùn)行時(shí)間，最小算法運(yùn)行時(shí)間為4 s。

3"結(jié)語(yǔ)

研究提出了基于kNN算法的智能電網(wǎng)5G海量接入數(shù)據(jù)異常檢測(cè)。利用加權(quán)kNN算法，以適應(yīng)智能電網(wǎng)高維數(shù)據(jù)異常識(shí)別。所提出的kNN算法準(zhǔn)確率、精度、算法時(shí)間均優(yōu)于隨機(jī)森林算法，且kNN算法的運(yùn)行時(shí)間與數(shù)據(jù)對(duì)象的數(shù)量呈線性關(guān)系，kNN算法可以有效識(shí)別電網(wǎng)現(xiàn)場(chǎng)異常數(shù)據(jù)及系統(tǒng)與發(fā)電異常數(shù)據(jù)。且所提出的kNN算法可以有效識(shí)別智能電網(wǎng)5G海量接入數(shù)據(jù)異常，從而保證智能電網(wǎng)正常運(yùn)行，結(jié)果表明kNN算法可有效識(shí)別智能電網(wǎng)5G海量數(shù)據(jù)異常值檢測(cè)。

【參考文獻(xiàn)】

[1]齊波，冀茂，鄭玉平，等.電力物聯(lián)網(wǎng)技術(shù)在輸變電設(shè)備狀態(tài)評(píng)估中的應(yīng)用現(xiàn)狀與發(fā)展展望[J].高電壓技術(shù)，2022，48（8）：3012-3031.

[2]王定發(fā).基于線纜狀態(tài)數(shù)據(jù)的特征集成及異常信息自動(dòng)檢測(cè)技術(shù)[J].粘接，2023，50（5）：188-192.

[3]王九思，王日南.5G與能源互聯(lián)網(wǎng)深度融合在智能電網(wǎng)中的應(yīng)用[J].電站系統(tǒng)工程，2021，37（5）：76-78.

[4]錢(qián)浩，羅少杰，郭強(qiáng)，等.基于5G通信的有源配電網(wǎng)多方向故障恢復(fù)策略[J].供用電，2022，39（12）：1-10.

[5]劉震宇.基于支持向量機(jī)的電力系統(tǒng)調(diào)度數(shù)據(jù)異常檢測(cè)方法[J].自動(dòng)化技術(shù)與應(yīng)用，2023，42（6）：24-27.

[6]張?jiān)品澹盒?，諸駿豪，等.基于電力通信動(dòng)靜態(tài)資源的光纜數(shù)據(jù)監(jiān)測(cè)系統(tǒng)設(shè)計(jì)[J].粘接，2022，49（2）：92-96.

[7]李春生，田夢(mèng)晴，張可佳.基于Bi-LSTM網(wǎng)絡(luò)的管道異常數(shù)據(jù)檢測(cè)方法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2023，33（6）：215-220.

[8]張仁斌，左藝聰，周澤林，等.基于多模態(tài)生成對(duì)抗網(wǎng)絡(luò)的多元時(shí)序數(shù)據(jù)異常檢測(cè)[J].計(jì)算機(jī)科學(xué)，2023，50（5）：355-362.

[9]徐飛陽(yáng)，薛安成，常乃超，等.電力系統(tǒng)同步相量異常數(shù)據(jù)檢測(cè)與修復(fù)研究現(xiàn)狀與展望[J].中國(guó)電機(jī)工程學(xué)報(bào)，2021，41（20）：6869-6886.

[10]黃文杰，秦芳麗，鄧舒遲，等.基于負(fù)載均衡聚合技術(shù)的配電網(wǎng)數(shù)據(jù)信息智能化提升研究[J].粘接，2023，50（5）：193-196.

[11]王鋒，高欣，賈欣，等.一種基于對(duì)數(shù)區(qū)間隔離森林的電力調(diào)度數(shù)據(jù)異常檢測(cè)集成算法[J].電網(wǎng)技術(shù)，2021，45（12）：4818-4827.

[12]金鵬，夏曉峰，喬焰，等.基于深度信念網(wǎng)絡(luò)的高維傳感器數(shù)據(jù)異常檢測(cè)算法[J].傳感技術(shù)學(xué)報(bào)，2019，32（6）：892-901.

[13]黃欣，趙敏彤，郇嘉嘉，等.基于BWO-DBSCAN和CSA-OCRKELM的變電站數(shù)據(jù)流異常檢測(cè)方法[J].廣東電力，2023，36（5）：39-48.

[14]拓廣忠，葛樹(shù)峰，李榮讓?zhuān)?基于熵值法和DEA的電力監(jiān)測(cè)異常數(shù)據(jù)自動(dòng)識(shí)別算法研究[J].微型電腦應(yīng)用，2023，39（4）：160-163.

[15]王建元，劉柯辰.基于經(jīng)驗(yàn)?zāi)B(tài)分解與多視角聚類(lèi)的異常用電模式檢測(cè)[J].電器與能效管理技術(shù)，2023（3）：73-80.

[16]李強(qiáng)，張立梅，白牧可.基于多元數(shù)據(jù)特征和改進(jìn)隨機(jī)森林的智能配電網(wǎng)異常數(shù)據(jù)辨識(shí)[J].科學(xué)技術(shù)與工程，2023，23（5）：2007-2015.

[17]唐賡.電網(wǎng)同期線損檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)路徑[J].粘接，2022，49（5）：170-173.

收稿日期：2023-09-05；修回日期：2023-12-02

作者簡(jiǎn)介：林舒嫄（1988-），女，碩士，高級(jí)經(jīng)濟(jì)師，研究方向：智能電網(wǎng)等；E-mail：linshuyqnn801@126.com。

引文格式：林舒嫄，林曉敏，歐"亞，等.基于kNN算法的智能電網(wǎng)5G海量接入數(shù)據(jù)異常檢測(cè)[J].粘接，2024，51（2）：155-158.