基于遷移學(xué)習(xí)和AlexNet的復(fù)合電能質(zhì)量擾動識別

胡雪峰,張 亮

(南京工程學(xué)院電力工程學(xué)院,江蘇 南京 210000)

0 引言

隨著“碳達峰”“碳中和”戰(zhàn)略的不斷深入推進,接入電網(wǎng)的電源類型和規(guī)模發(fā)生較大的變化,以風(fēng)電、光伏等為代表的新能源接入電網(wǎng)的比例不斷提高,電網(wǎng)的安全性和穩(wěn)定性受到挑戰(zhàn)。近年來,高速牽引類機車、海量電動汽車以及大量的電力電子型非線性類負荷增大了電壓波動、諧波、振蕩等多種電能質(zhì)量問題的發(fā)生概率。與此同時,各種精密儀器、智能電子設(shè)備也對供電質(zhì)量提出了更高的要求,使得供電部門和電力用戶對電能質(zhì)量擾動的識別和治理更加關(guān)注[1]。

在電能質(zhì)量擾動識別問題研究中,目前較為流行的方法是將識別分為兩步。第一步是進行擾動信號的特征提取,即通過信號處理算法獲得電能質(zhì)量擾動信號的特征信息。信號處理算法有快速傅里葉變換(fast Fourier transform,FFT)[2]、小波變換(wavelet transform,WT)[3]、S變換(S-transform,ST)[4]、希爾伯特-黃變換(Hilbert-Huang transform,HHT)[4]等。第二步是確定電能質(zhì)量擾動的類型,可利用人工智能技術(shù),如支持向量機(support vector machines,SVM)[5]、決策樹(decision tree,DT)[5]、人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)[6]等進行確定。上述方法在對電能質(zhì)量擾動信號進行時頻域特征提取過程中,存在特征提取困難、特征量之間冗余度高的問題。這不僅有可能增加分類器的計算量,還可能會降低分類準(zhǔn)確率。同時,伴隨著電力系統(tǒng)的復(fù)雜化,電網(wǎng)中增加了新的擾動和多種擾動相互疊加的復(fù)合擾動[7]。上述方法對新環(huán)境下的復(fù)合擾動識別往往難以滿足其分類需求。

目前,基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為深度學(xué)習(xí)中新興且流行的技術(shù)。該技術(shù)是從原始輸入數(shù)據(jù)中自動提取數(shù)據(jù)特征,并實現(xiàn)不同數(shù)據(jù)的分類。尤其是在圖像、音頻和文本分類領(lǐng)域,該技術(shù)顯示出了優(yōu)異的特征提取能力。一些學(xué)者使用該技術(shù)在電能質(zhì)量擾動識別領(lǐng)域取得了先進的研究成果。文獻[8]利用深度學(xué)習(xí)提取電壓波動特征,從而實現(xiàn)電壓波動特征的識別。文獻[9]提出了基于格拉姆角場和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的電能質(zhì)量擾動識別方法,將擾動信號變換成二維圖像,輸入構(gòu)建好的卷積神經(jīng)網(wǎng)絡(luò)模型中進行擾動識別。

為了解決上述方法中存在的特征提取困難問題,本文提出了基于遷移學(xué)習(xí)和AlexNet的復(fù)合電能質(zhì)量擾動識別方法。該方法的思想是閉環(huán)反饋,即將信號特征提取過程和擾動分類過程放到同一閉環(huán)中訓(xùn)練,從而實現(xiàn)從擾動信號到擾動類型的識別。

本文利用相空間重構(gòu)法,首先將多種復(fù)合電能質(zhì)量擾動信號轉(zhuǎn)化為對應(yīng)的軌跡圖像;然后利用構(gòu)建的基于遷移學(xué)習(xí)的AlexNet復(fù)合電能質(zhì)量擾動模型自主有監(jiān)督地對二維重構(gòu)軌跡圖像進行學(xué)習(xí),從而實現(xiàn)復(fù)合電能質(zhì)量擾動類型的準(zhǔn)確識別;最后開展仿真研究,利用仿真數(shù)據(jù)進行不同類型的電能質(zhì)量擾動識別,以驗證本文方法的正確性。仿真結(jié)果表明,本文方法能夠準(zhǔn)確且快速地識別出復(fù)合擾動類型。

1 電能質(zhì)量擾動信號的相空間軌跡重構(gòu)

1.1 電能質(zhì)量擾動信號的相空間重構(gòu)原理

由于電力系統(tǒng)本身是1個相當(dāng)龐大、復(fù)雜的網(wǎng)絡(luò),其產(chǎn)生的電能質(zhì)量擾動信號通常是1個非線性、非平穩(wěn)的時間序列信號。而相空間重構(gòu)技術(shù)可將一維時間序列信號重構(gòu)到高維相空間,再將其映射到二維平面以得到對應(yīng)的軌跡圖像。其不僅包含了電能質(zhì)量擾動信號時間序列特征,還包含了隱藏在電能質(zhì)量擾動信號中的擾動特征[10]。

對于一維非線性且時間間隔為Δt的電能質(zhì)量擾動信號時間序列x(ti),其中包含的數(shù)據(jù)信息有限。x(ti)∈R,i=1,2,...,n。通過相空間重構(gòu)將其映射到高維相空間,不僅可以有效挖掘歷史數(shù)據(jù)信息,還可以避免人為隨機選擇帶來的主觀性和隨機性。對于1個復(fù)雜的非線性系統(tǒng),其重構(gòu)的相空間可以表示為:

Y(tfile:///C:/Users/HHYY/Desktop/07708/1-78/IMG_2207.JPGi)={x(ti),x(ti+2τ),…,x[ti+(m-1)τ]}

(1)

式中:x(ti)為電能質(zhì)量擾動信號時間序列;m為嵌入維數(shù);τ為時間延遲參數(shù);Y(ti)為重構(gòu)的相空間矩陣。

嵌入維數(shù)滿足以下關(guān)系:

m≥2d+1

(2)

式中:d為動力學(xué)中的系統(tǒng)維數(shù)。

由于d是動力系統(tǒng)的維數(shù),在重構(gòu)的Rm相空間軌跡線上,吸引子的幾何特征與原系統(tǒng)拓撲等價,即任何不變量的原始系統(tǒng)經(jīng)過重構(gòu)后的相空間狀態(tài)變量均可以計算。根據(jù)相空間重構(gòu)理論,一維時序信號經(jīng)相空間重構(gòu)后的軌跡矩陣形式如下:

(3)

式中:k為相空間中相位點的個數(shù)。

1.2 多種擾動信號的相空間重構(gòu)軌跡

本文根據(jù)IEEE Std.1159-2019建立電能質(zhì)量擾動數(shù)學(xué)模型,以構(gòu)建不同類型的電能質(zhì)量擾動信號。這些信號分別為暫降(C1)、暫升(C2)、中斷(C3)、閃變(C4)、諧波(C5)、暫態(tài)振蕩(C6)、暫態(tài)脈沖(C7)、電壓缺口(C8)和電壓尖峰(C9)這9類單一擾動,以及由單一擾動組合成的暫降+中斷(C10)、暫降+電壓缺口(C11)、振蕩+電壓缺口(C12)、諧波+振蕩(C13)、暫降+尖峰(C14)、暫降+暫態(tài)脈沖(C15)、暫降+振蕩+電壓缺口(C16)、暫降+中斷+諧波(C17)、暫降+電壓尖峰+電壓缺口(C18)這9類復(fù)合擾動。擾動信號的振幅標(biāo)準(zhǔn)化為1 p.u.,基頻為50 Hz,采樣頻率為12.8 kHz,采樣周期為10個。1個周期包含256個采樣點。通過對上述電能質(zhì)量擾動信號作相空間重構(gòu),可批量得到擾動信號的重構(gòu)軌跡圖,并將其作為深度學(xué)習(xí)模型的輸入進行自主有監(jiān)督學(xué)習(xí),以實現(xiàn)擾動類型的識別。

部分電能質(zhì)量擾動信號波形如圖1所示。

圖1 部分電能質(zhì)量擾動信號波形圖

通過對電能質(zhì)量擾動信號波形進行相空間變換,得到的部分電能質(zhì)量擾動信號重構(gòu)軌跡如圖2所示。

圖2 部分電能質(zhì)量擾動信號重構(gòu)軌跡圖

由圖2可知,不同類型擾動信號的重構(gòu)軌跡有明顯的區(qū)別,因此可以將其作為基于遷移學(xué)習(xí)和AlexNet模型的輸入數(shù)據(jù)進行電能質(zhì)量擾動類型識別。

2 基于遷移學(xué)習(xí)的擾動識別模型

2.1 遷移學(xué)習(xí)

隨著深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)的增加,深度學(xué)習(xí)網(wǎng)絡(luò)需要大量的訓(xùn)練數(shù)據(jù)作為支撐。為了減少電能質(zhì)量擾動數(shù)據(jù)的需求量,本文提出了1種基于遷移學(xué)習(xí)與網(wǎng)絡(luò)模型相結(jié)合的方法,對電能質(zhì)量擾動信號重構(gòu)軌跡圖像進行識別。遷移學(xué)習(xí)是將經(jīng)過大量數(shù)據(jù)集訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型在新的任務(wù)目標(biāo)數(shù)據(jù)集中進行二次訓(xùn)練,即利用訓(xùn)練好的網(wǎng)絡(luò)模型,通過調(diào)整模型的結(jié)構(gòu)和細微參數(shù)來解決新目標(biāo)任務(wù)的方法[11]。與原網(wǎng)絡(luò)模型相比,遷移學(xué)習(xí)的優(yōu)勢是利用已有的最佳網(wǎng)絡(luò)模型,通過微調(diào)其參數(shù)來快速構(gòu)建和研究所需的模型。

由于原始最佳網(wǎng)絡(luò)模型已經(jīng)經(jīng)過大量數(shù)據(jù)訓(xùn)練,故在訓(xùn)練過程中不但可以提高訓(xùn)練模型的識別精度,而且可以大大降低訓(xùn)練時間。本文主要以AlexNet作為預(yù)訓(xùn)練模型,利用網(wǎng)絡(luò)模型結(jié)構(gòu)和參數(shù)微調(diào)的遷移學(xué)習(xí)方法,實現(xiàn)對電能質(zhì)量擾動類型的識別。

2.2 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

AlexNet網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)圖

AlexNet網(wǎng)絡(luò)主要由5個模塊化結(jié)構(gòu)組成。模塊1結(jié)構(gòu)為卷積層1和卷積層2,主要包含2個卷積層、2個激活層、2個批量歸一化層和2個最大池化層。模塊2結(jié)構(gòu)為卷積層3和卷積層4,主要包含2個卷積層和2個激活層。模塊3結(jié)構(gòu)為卷積層5,主要包含1個卷積層、1個激活層和1個最大池化層。模塊4結(jié)構(gòu)為全連接層6和全連接層7,主要包含2個全連接層、2個激活層和2個Dropout層。模塊5結(jié)構(gòu)為全連接層8,主要包含1個全連接層和1個Softmax層。

基于遷移學(xué)習(xí)的AlexNet擾動識別模型主要是將AlexNet網(wǎng)絡(luò)結(jié)構(gòu)中的模塊5替換為遷移模塊。

遷移模塊結(jié)構(gòu)如圖4所示。

圖4 遷移模塊結(jié)構(gòu)圖

基于遷移學(xué)習(xí)的AlexNet擾動識別模型如圖5所示。

圖5 基于遷移學(xué)習(xí)的AlexNet擾動識別模型

遷移模塊采用2個全連接層,以進一步增加網(wǎng)絡(luò)對擾動軌跡特征的自動提取能力。激活層采用ReLU函數(shù),解決了模型隨網(wǎng)絡(luò)層數(shù)增加而逐漸退化的問題;同時,將遷移模塊中的最后1個全連接層的輸出大小調(diào)整為擾動信號類型的總數(shù)目。

圖4遷移模塊中的Softmax層用于判定擾動所屬的類型,并作為預(yù)測結(jié)果進行輸出。輸出的計算誤差通過交叉熵損失函數(shù)得出,并用于評估實際輸出與期望輸出的相近程度。其中,交叉熵損失函數(shù)為:

(4)

式中:W為權(quán)重矩陣;b為偏置向量;N為樣本數(shù);K為擾動類型數(shù)目;tij為第i個樣本屬于類別j的概率;yij為類別j中樣本i的輸出概率。

2.3 超參數(shù)設(shè)置

在AlexNet網(wǎng)絡(luò)模型訓(xùn)練時,超參數(shù)的調(diào)整屬于隨機優(yōu)化問題。因為其最優(yōu)組合既取決于網(wǎng)絡(luò)模型本身,又取決于軟件和硬件環(huán)境?；谶w移學(xué)習(xí)的AlexNet擾動識別模型的超參數(shù)是在多次調(diào)整后確定的。在利用AlexNet模型訓(xùn)練時,本文選用批量訓(xùn)練的方法,將數(shù)據(jù)集隨機分為訓(xùn)練集和測試集。本文優(yōu)化函數(shù)選取隨機梯度下降法,并設(shè)置動量為0.9、每次迭代使用的數(shù)據(jù)量為25、最大訓(xùn)練回合數(shù)為10、初始學(xué)習(xí)率為0.000 1、數(shù)據(jù)打亂策略為每個訓(xùn)練周期打亂1次。同時,為了抑制過擬合,本文設(shè)置Dropout層丟棄概率值為0.35,即隨機丟棄35%的節(jié)點。AlexNet模型的其他相關(guān)參數(shù)初始權(quán)重使用經(jīng)ImageNet訓(xùn)練得到的權(quán)重值。

3 算例研究

根據(jù)1.2節(jié)中所提到的數(shù)學(xué)模型,本文利用Matlab生成不同類型的電能質(zhì)量擾動信號對應(yīng)的重構(gòu)軌跡圖。每類擾動信號的重構(gòu)軌跡隨機生成500個樣本。本文隨機選取其中400個作為訓(xùn)練集、100個作為測試集進行仿真驗證?；谶w移學(xué)習(xí)的AlexNet擾動識別模型訓(xùn)練環(huán)境如下:操作系統(tǒng)為Windows10(64bit);CPU為Inter Cores A10-9600P@2.40 GHz;GPU為R8 M445DX;Matlab為2019b。

3.1 模型訓(xùn)練結(jié)果及對比研究

為了驗證所提方法的有效性,本文利用仿真數(shù)據(jù)對遷移學(xué)習(xí)的AlexNet網(wǎng)絡(luò)模型進行訓(xùn)練,同時在相同的訓(xùn)練環(huán)境和參數(shù)下使用VGG16、GoogLeNet網(wǎng)絡(luò)模型的訓(xùn)練結(jié)果與之對比。各網(wǎng)絡(luò)訓(xùn)練模型曲線如圖6所示。

圖6 各網(wǎng)絡(luò)訓(xùn)練模型曲線圖

訓(xùn)練精度曲線用于表示模型識別精度隨迭代次數(shù)增加的波動的情況。由圖6(a)可知,在識別精度方面,AlexNet網(wǎng)絡(luò)模型和GoogLeNet網(wǎng)絡(luò)模型的識別精度均達到96%以上。在迭代到100次時,AlexNet網(wǎng)絡(luò)模型的識別精度收斂于99%。在迭代到240時,GoogLeNet網(wǎng)絡(luò)模型的識別精度收斂于96%并趨于穩(wěn)定。在收斂速度方面,AlexNet網(wǎng)絡(luò)模型具有較高收斂速度。

訓(xùn)練損失曲線用于表示模型識別結(jié)果與實際結(jié)果之間的偏差隨迭代次數(shù)增加而變化的情況。通常情況下,當(dāng)損失值隨著迭代次數(shù)趨于穩(wěn)定時,損失值越小,模型識別精度越高,即對應(yīng)擾動識別準(zhǔn)確率也越高。由圖6(b)可知,隨著迭代次數(shù)的增加,AlexNet和GoogLeNet網(wǎng)絡(luò)模型先趨于穩(wěn)定,且AlexNet較GoogLeNet網(wǎng)絡(luò)模型的訓(xùn)練損失值小,而VGG16網(wǎng)絡(luò)模型損失值最大。

3.2 識別結(jié)果分析

為了模擬實際電力系統(tǒng)中的真實擾動,本文在擾動信號中加入不同程度的噪聲,再獲取其對應(yīng)的重構(gòu)軌跡,從而進一步驗證基于遷移學(xué)習(xí)的AlexNet網(wǎng)絡(luò)模型的性能。不同網(wǎng)絡(luò)對復(fù)合電能質(zhì)量擾動類型的識別率如表1所示。由于還未建立足夠大的電能質(zhì)量擾動數(shù)據(jù)集,難以把上述各類網(wǎng)絡(luò)模型訓(xùn)練到理想的分類效果。但就本文仿真所提供的相同樣本來看,在幾種模型中,基于遷移學(xué)習(xí)的AlexNet網(wǎng)絡(luò)模型對電能質(zhì)量擾動識別效果最好。這表明采用AlexNet網(wǎng)絡(luò)作為預(yù)訓(xùn)練模型,利用遷移學(xué)習(xí)的方法實現(xiàn)電能質(zhì)量擾動的小樣本高精度分類具有優(yōu)勢。同時,根據(jù)加入噪聲后的識別結(jié)果,可以發(fā)現(xiàn)經(jīng)遷移學(xué)習(xí)后的AlexNet網(wǎng)絡(luò)模型具有較強的抗噪性。

表1 不同網(wǎng)絡(luò)對復(fù)合電能質(zhì)量擾動類型的識別率

4 結(jié)論

本文提出了1種基于遷移學(xué)習(xí)與深度卷積網(wǎng)絡(luò)相結(jié)合的復(fù)合電能質(zhì)量擾動識別方法。該方法首先運用相空間重構(gòu)法將原始擾動信號轉(zhuǎn)化為二維軌跡圖像;其次通過構(gòu)建基于遷移學(xué)習(xí)的AlexNet網(wǎng)絡(luò)模型進行擾動特征自動提取,進而實現(xiàn)對二維軌跡圖像的識別;最后基于仿真數(shù)據(jù)驗證了所提方法的正確性和有效性。驗證結(jié)果表明,所提方法在不同程度噪聲干擾下均具有較高識別精度。