基于Jerk流形正則化深度極限學(xué)習(xí)機(jī)的電能質(zhì)量復(fù)合擾動識別

趙 晨， 李開成， 林壽英， 曾子瑩， 林煒鑫

(1. 福建農(nóng)林大學(xué)機(jī)電工程學(xué)院， 福州 350100； 2. 華中科技大學(xué)電氣與電子工程學(xué)院， 武漢 430074)

電能是當(dāng)今人類使用最為廣泛的能源，其質(zhì)量的好壞關(guān)系到電氣設(shè)備的安全經(jīng)濟(jì)運(yùn)行及節(jié)能降耗和產(chǎn)品質(zhì)量等. 隨著新能源發(fā)電和各種非線性負(fù)載的廣泛使用，電力系統(tǒng)中的電能質(zhì)量復(fù)合擾動事件日益增多，為了改善電能質(zhì)量，電力部門需要快速判斷出電能質(zhì)量事件所包含的擾動類別，并采取相應(yīng)措施迅速消除擾動影響[1].

電能質(zhì)量擾動檢測識別常采用特征提取和分類識別相結(jié)合的方法. 擾動信號的特征提取常用短時(shí)傅里葉變換[2]、S變換[3]、小波變換[4]和變分模態(tài)分解(VMD)[5]等現(xiàn)代信號處理方法. 多個單一擾動的共存使得傳統(tǒng)特征提取方法越發(fā)困難，隨著近幾年深度學(xué)習(xí)在圖像識別領(lǐng)域自動提取特征的廣泛應(yīng)用[6]，深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)和長短期記憶網(wǎng)絡(luò)(LSTM)等多層網(wǎng)絡(luò)結(jié)構(gòu)也開始被用于電能質(zhì)量擾動的自動提取和分類識別[7-9]. 現(xiàn)有大部分研究將電能質(zhì)量復(fù)合擾動分類看成多分類學(xué)習(xí)問題，采用諸如決策樹[10]、隨機(jī)森林[3]、極限學(xué)習(xí)機(jī)(Extreme Learning Machine，ELM)[11]等機(jī)器學(xué)習(xí)模型進(jìn)行分類識別. 而復(fù)合擾動分類本質(zhì)上是一個多標(biāo)簽學(xué)習(xí)問題，部分學(xué)者提出了多標(biāo)簽排位小波支持向量機(jī)[12]、k近鄰貝葉斯多標(biāo)簽分類法[13]等多標(biāo)簽學(xué)習(xí)模型進(jìn)行識別的方案.

擾動識別研究往往采用監(jiān)督學(xué)習(xí)的方法，識別結(jié)果嚴(yán)重依賴于訓(xùn)練樣本擾動類別標(biāo)注的準(zhǔn)確性. 隨著電力系統(tǒng)監(jiān)測器的廣泛分布，大量多樣化的未標(biāo)注復(fù)合擾動信號樣本較容易獲取. 然而要使這部分樣本數(shù)據(jù)參與監(jiān)督學(xué)習(xí)模型的訓(xùn)練則需要具有電氣知識的專業(yè)人士進(jìn)行費(fèi)時(shí)繁瑣的人工標(biāo)注. 由少量仿真產(chǎn)生的已標(biāo)注樣本訓(xùn)練的監(jiān)督學(xué)習(xí)模型泛化性較差. 目前尚未有學(xué)者從半監(jiān)督學(xué)習(xí)的角度對復(fù)合擾動識別進(jìn)行研究.

針對電能質(zhì)量復(fù)合擾動識別過程中現(xiàn)有的監(jiān)督學(xué)習(xí)方法未利用大量未標(biāo)記數(shù)據(jù)蘊(yùn)含擾動信息的問題，本文提出一種基于DJRELM的電能質(zhì)量復(fù)合擾動識別的半監(jiān)督學(xué)習(xí)方法. 算法首先利用Jerk流形正則化挖掘未標(biāo)注擾動數(shù)據(jù)的內(nèi)部結(jié)構(gòu)，并通過堆疊JRELM-AE自動提取復(fù)合擾動特征，最終構(gòu)建半監(jiān)督多標(biāo)簽深度極限學(xué)習(xí)機(jī)模型實(shí)現(xiàn)復(fù)合擾動的分類識別.

1 Jerk正則化極限學(xué)習(xí)機(jī)自編碼器

1.1 極限學(xué)習(xí)機(jī)自編碼器

ELM是一種簡單高效的單隱層前向神經(jīng)網(wǎng)絡(luò)[14]，因其僅需隨機(jī)初始化輸入權(quán)重和隱層偏置，無需反向傳播迭代調(diào)整，唯一需要求解的輸出權(quán)重具有解析解，所以比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的速度更快. 極限學(xué)習(xí)機(jī)自編碼器(Extreme Learning Machine based Autoencoder，ELM-AE)是由Kasun提出的一種能夠像自編碼器一樣重構(gòu)輸入的無監(jiān)督網(wǎng)絡(luò)結(jié)構(gòu)[15]. 給定一個包含了n個訓(xùn)練樣本的數(shù)據(jù)集{X,Y}，其中已標(biāo)注的樣本集為{Xl,Yl}={xi,yi}(i=1,…,l)，未標(biāo)注的樣本集表示為Xu={xu}(u=l+1,…,n-l),包含d個輸入節(jié)點(diǎn)、d個輸出節(jié)點(diǎn)以及L個隱層節(jié)點(diǎn)的ELM-AE結(jié)構(gòu)(圖1). 該模型的隱層輸出h(xn)=g(axn+b)，a和b分別為正交隨機(jī)權(quán)重向量和正交隨機(jī)偏置，g為激活函數(shù). 輸出權(quán)重β可以通過最小化目標(biāo)函數(shù)獲得，公式如下：

圖1 極限學(xué)習(xí)機(jī)自編碼器的模型結(jié)構(gòu)

(1)

其中，C是正則化系數(shù)，通過對目標(biāo)函數(shù)LELM-AE求關(guān)于β的偏導(dǎo)并將其設(shè)為0，可獲得β在壓縮、擴(kuò)展和等維情況下的解：

(2)

1.2 Jerk流形正則化

流形正則化是半監(jiān)督學(xué)習(xí)中一種方法，它使數(shù)據(jù)在新的投影空間中能夠保持?jǐn)?shù)據(jù)在原特征空間中的局部幾何結(jié)構(gòu)，其中圖拉普拉斯與海森正則化的使用最為廣泛. 然而當(dāng)數(shù)據(jù)流形上存在拐點(diǎn)或者快速變化時(shí)，基于二階導(dǎo)數(shù)的圖拉普拉斯和海森正則化難以準(zhǔn)確估計(jì)邊緣分布參數(shù). Jerk正則化使用分類函數(shù)的三階導(dǎo)數(shù)來克服快速變化的流形結(jié)構(gòu)中的問題，即內(nèi)在幾何信息在低階正則化方法中取值消失的問題. 基于Jerk的能量作為嘈雜高振蕩的子流形中數(shù)據(jù)分布的約束條件，從而更準(zhǔn)確地描述數(shù)據(jù)的內(nèi)在局部幾何特征[16].

(3)

其中，?a?b?cf是f的三階協(xié)變導(dǎo)數(shù)，dV(x)是體積元素.

在流形M的獨(dú)立坐標(biāo)系統(tǒng)為正交坐標(biāo)系，該坐標(biāo)系可以由k點(diǎn)鄰域Nk(xi)進(jìn)行主成分分析求得，所求m個最大特征值對應(yīng)特征向量的特征空間近似. 點(diǎn)x三階協(xié)變導(dǎo)數(shù)的范數(shù)收斂于f的Frobenius范數(shù)：

(4)

(5)

(6)

其中，xp(xj)、xq(xj)和xr(xj)表示定義在xi獨(dú)立坐標(biāo)系統(tǒng)的xj坐標(biāo)系；Ap、Bpq和Cpqr分別表示函數(shù)f在xi點(diǎn)的一階、二階和三階導(dǎo)數(shù)：

(7)

通過標(biāo)準(zhǔn)最小二乘法修正該多項(xiàng)式得：

(8)

(9)

(10)

1.3 Jerk正則化極限學(xué)習(xí)機(jī)的自編碼器

為了在最小化重構(gòu)誤差的同時(shí)保持?jǐn)?shù)據(jù)局部幾何特性，將基于Jerk正則化的極限學(xué)習(xí)機(jī)自編碼器(JRELM-AE)引入Jerk流形正則化到ELM-AE的目標(biāo)函數(shù)中，重寫后的目標(biāo)函數(shù)表示如下：

s.t.fi=h(xi)β(i=1,2,…,l+u)，

(11)

(12)

其中,IL和In是維度分別為L和n的單位矩陣.

2 Jerk流形正則化深度極限學(xué)習(xí)機(jī)

Xk=g((βk)TXk-1).

(13)

與監(jiān)督學(xué)習(xí)的深度極限學(xué)習(xí)機(jī)在分類層采用傳統(tǒng)ELM作為分類器不同，DJRELM將經(jīng)過多層JRELM-AE提取后的抽象特征送入一個引入Jerk正則化約束的半監(jiān)督ELM中. 該半監(jiān)督ELM的目標(biāo)函數(shù)定義為：

(14)

其中，W是一個對角矩陣，其中前l(fā)個對角元素為Wii=1/Nti(Nti為類別ti包含的訓(xùn)練樣本個數(shù))，其余等于0.Lh為分類層半監(jiān)督ELM隱層節(jié)點(diǎn)數(shù). 輸出權(quán)重矩陣β可以通過如下公式獲得：

(15)

電能質(zhì)量復(fù)合擾動分類屬于典型的多標(biāo)簽學(xué)習(xí)問題，現(xiàn)有方法將多分類模型擴(kuò)展到多標(biāo)簽學(xué)習(xí)應(yīng)用多采用固定閾值進(jìn)行標(biāo)簽和非標(biāo)簽的二分區(qū). 本文提出的DJRELM在分類輸出層增加了基于RBF核極限學(xué)習(xí)機(jī)的閾值學(xué)習(xí)模塊，使閾值不再固定，而是隨著樣本的不同而產(chǎn)生變化.

(16)

樣本xi的閾值A(chǔ)定義：

(17)

閾值預(yù)測模塊通過(x1,A(x1)),…,(xl,A(xl))構(gòu)建徑向基核極限學(xué)習(xí)機(jī)的訓(xùn)練集，最終閾值學(xué)習(xí)函數(shù)A′表達(dá)式為：

(18)

其中，ζ為正則化系數(shù)，KX=K(X,X1)…K(X,Xl)和K(u,v)=exp(-γ‖u-v‖2)是徑向基核函數(shù)，ΩKELM=K(Xi,Xj)(i,j=1,…,l).

DJRELM模型結(jié)構(gòu)如圖2所示，DJRELM算法的具體流程如下：

圖2 DJRELM模型結(jié)構(gòu)圖

輸入：已標(biāo)注的樣本集{Xl,Yl}={xi,yi}(i=1,…,l)，未標(biāo)注樣本集Xu={xj}(j=l+1,…,n-l)；隱層層數(shù)K、每層節(jié)點(diǎn)個數(shù)、平衡參數(shù)和核參數(shù)等.

輸出：DJRELM的映射函數(shù)f，d→q.

階段一：提取原始數(shù)據(jù)集的特征；

步驟一：通過{Xl,Xu}計(jì)算Jerk算子J；

步驟二：根據(jù)式(12)計(jì)算每層輸出權(quán)重矩陣βi(i=1,…,K)；

步驟三：根據(jù)式(13)計(jì)算輸入數(shù)據(jù)的特征Xk；

階段二：半監(jiān)督輸出；

步驟一：根據(jù)式(15)計(jì)算輸出權(quán)重矩陣β；

階段三：閾值學(xué)習(xí)，多標(biāo)簽分類；

步驟二：計(jì)算RBF核矩陣；

步驟三：給定一個未知樣本x, 預(yù)測標(biāo)簽集f(x)={yj∣fj(x)≥A(x) (j=1,…,m)}，其中A(x)根據(jù)式(18)計(jì)算.

3 結(jié)果與討論

3.1 數(shù)據(jù)集及實(shí)驗(yàn)

本文數(shù)據(jù)集由軟件仿真數(shù)據(jù)和硬件采集的標(biāo)準(zhǔn)功率源數(shù)據(jù)共同構(gòu)成. 一方面，軟件仿真數(shù)據(jù)由Matlab依據(jù)IEEE1159-2019以及文獻(xiàn)[12]生成，共生成47種復(fù)合擾動；另一方面，以STM32為核心的硬件模塊對標(biāo)準(zhǔn)功率源Fluke 6105A進(jìn)行采樣，受功率源自身限制只能采樣到47種仿真復(fù)合擾動類型中的15種，具體采樣平臺如圖3所示.

圖3 Fluke 6105A硬件采集平臺

實(shí)驗(yàn)擾動數(shù)據(jù)集共包含9 400個樣本，其中每個類型復(fù)合擾動各200個. 實(shí)驗(yàn)數(shù)據(jù)集劃分參照文獻(xiàn)[18]將所有樣本進(jìn)行四等分，輪流將其中的1份用于測試，其余3份用于訓(xùn)練. 訓(xùn)練集進(jìn)一步劃分為：已標(biāo)注集，驗(yàn)證集和未標(biāo)注集，3個集合各有2 350個擾動樣本. 為防過擬合，進(jìn)行四折交叉校驗(yàn).

本文首次從半監(jiān)督多標(biāo)簽學(xué)習(xí)的角度對復(fù)合擾動分類進(jìn)行研究，為了驗(yàn)證算法的有效性，在不同噪聲(20～50 dB)環(huán)境中，采用3種監(jiān)督學(xué)習(xí)算法(多層極限學(xué)習(xí)機(jī)(ML-ELM)[15]、隨機(jī)映射多標(biāo)簽極限學(xué)習(xí)機(jī)(RDPEML)[17]、深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN))和2種半監(jiān)督學(xué)習(xí)算法(半監(jiān)督極限學(xué)習(xí)機(jī)(SS-ELM)[18]和半監(jiān)督深度極限學(xué)習(xí)機(jī)(SDELM)[19])與DJRELM進(jìn)行對比. 5種算法中ML-ELM、SS-ELM、SDELM和DCNN屬于多分類學(xué)習(xí)模型，為了公平比較，基于ELM的多分類模型均采用和DJRELM相同的閾值學(xué)習(xí)模塊將模型擴(kuò)展到多標(biāo)簽學(xué)習(xí)，DCNN則采用二分類交叉熵作為損失函數(shù)實(shí)現(xiàn)多標(biāo)簽學(xué)習(xí)，其中，淺層網(wǎng)絡(luò)算法SS-ELM與RDPEML的輸入為VMD算法提取的復(fù)合擾動特征.

所有基于ELM的模型隱層節(jié)點(diǎn)數(shù)尋優(yōu)范圍為100至1 000，每次遞增10個節(jié)點(diǎn). 經(jīng)過交叉校驗(yàn)后RDPEML和SSELM隱層節(jié)點(diǎn)分別取900和1 000. DJRELM、ML-ELM和SDELM均采用3層隱層結(jié)構(gòu)，隱層節(jié)點(diǎn)數(shù)分別為{700,780,1 000}、{740,560,970}和{940,730,1 000}. 所有模型正則化系數(shù)C和平衡參數(shù)λ取值范圍均為{10-10,10-9,…,109,1010}，經(jīng)過尋優(yōu)后3種方法正則化系數(shù)分別為{10-1,101,10-1，104}、{103,102,105，102}和{10-1,101,10-1，104}. DJREML、SDELM和SS-ELM中的平衡參數(shù)分別為{10-2,10-2,10-7，10-1}、{10-2}和{10-4}. 閾值預(yù)測模塊正則化系數(shù)和核參數(shù)取值范圍均為{10-5,10-4,…,104,105}，DJRELM、ML-ELM、SDELM、RDPEML和SS-ELM尋優(yōu)后2個參數(shù)分別為{10-3,100}、{101,101}、{100,101}、{10-1,100}和{101,102}. 計(jì)算流形正則化時(shí)運(yùn)行的KNN算法的K取值范圍為{10,20,…,90,100}，尋優(yōu)后DJRELM和SDELM的K均取60，SS-ELM中K取80. DCNN由3個1維卷積層、3最大池化層、3個批量歸一化層、1個全連接層和1個分類層組成. 每個卷積層后面依序連接一個池化層和歸一化層. 3個卷積層的卷積核大小分別為1×8、1×8和1×16；每層卷積層的卷積核數(shù)目分別為512、480和256；3個池化層的核大小均為2×2. 全連接層包含38 400個神經(jīng)元，最后的分類層輸出節(jié)點(diǎn)數(shù)則與標(biāo)簽數(shù)目(7個)一致.

復(fù)合擾動屬于多標(biāo)簽分類問題，因此采用多標(biāo)簽學(xué)習(xí)領(lǐng)域常用的5個指標(biāo)：漢明損失、排位損失、一類錯誤、覆蓋率、平均精度進(jìn)行評價(jià). 給定輸入空間X=d、有限集合L={1,2,…,q}以及多標(biāo)簽測試數(shù)據(jù)集Z={(zi,Zi)∣1≤i≤n}，對于多標(biāo)簽分類器f(·)存在一個實(shí)值函數(shù)h:X×L→，當(dāng)l1Yil2?Yi時(shí)，存在h(xi,l1)>h(xi,l2).

(1)漢明損失(Hamming loss,LH)

(19)

其中,Δ表示2個集合的對稱差.

(2)排位損失(Ranking loss,LR)

(20)

(3)一類錯誤(One error,LO)

(21)

其中,對于任意表達(dá)式{·}，當(dāng)括號內(nèi)的待判別內(nèi)容{·}為真時(shí)，{·}值為1，否則值為0.

(4)覆蓋率(Coverage,LC)

(22)

其中Nh(zi,l)輸出所有標(biāo)簽函數(shù)h(zi,l)中標(biāo)簽l對應(yīng)函數(shù)的排序.

(5)平均精度(Average precision,PA)

(23)

3.2 算法對比結(jié)果與分析

3.2.1 與相關(guān)算法的性能對比 表1給出不同噪聲條件下，幾種算法在復(fù)合擾動數(shù)據(jù)集上的多標(biāo)簽性能結(jié)果，本文提出的DJRELM在各項(xiàng)指標(biāo)上均優(yōu)于其他幾種方法. 對比前期研究工作(RDPEML)[17]以及另外2個深層網(wǎng)絡(luò)方法(ML-ELM和DCNN)，本文算法的精度更高. 這一結(jié)果表明：流形正則化用于挖掘未標(biāo)注數(shù)據(jù)信息從而提升分類性能. 引入圖拉普拉斯正則化的SDELM和DJRELM較人工選取特征(結(jié)合半監(jiān)督學(xué)習(xí)的SS-ELM識別方案)的性能明顯提升，這一結(jié)果得益于流形正則化和深度網(wǎng)絡(luò)結(jié)構(gòu). 與SDELM只是將圖拉普拉斯正則化引入在分類層不同，DJRELM在每個ELM-AE中加入Jerk正則化的結(jié)構(gòu)使其表現(xiàn)出更好的性能. 算法的運(yùn)行時(shí)間上，因?yàn)槊總€隱層輸出權(quán)重都需要帶入Jerk算子，本文的方法訓(xùn)練時(shí)間較淺層ELM和普通多層ELM的更長，但相比DCNN的訓(xùn)練時(shí)間大大縮短. 這得益于多層ELM中每層參數(shù)無需進(jìn)行反向傳播調(diào)整.

表1 不同噪聲條件下算法的評價(jià)結(jié)果Table 1 The results of evaluating algorithms under different SNR values

3.2.2 不同流形正則化深度ELM的性能對比 為了進(jìn)一步驗(yàn)證本文提出的Jerk流形正則化在多層ELM半監(jiān)督學(xué)習(xí)中的有效性，實(shí)驗(yàn)采用基于另外兩種常用的流形正則化(圖拉普拉斯Laplacian、海森Hessian)的深度極限學(xué)習(xí)機(jī)在復(fù)合擾動數(shù)據(jù)集上進(jìn)行性能比較. 表2給出了不同噪聲環(huán)境下不同流形正則化深度ELM的評價(jià)結(jié)果，基于Jerk流形正則化的深度結(jié)構(gòu)分類效果均優(yōu)于另外2種方法. 結(jié)果表明：Jerk流形正則化比Laplacian和Hessian流形在多層無監(jiān)督學(xué)習(xí)中能更好地表征數(shù)據(jù)流形的內(nèi)在局部幾何信息，使半監(jiān)督深度極限學(xué)習(xí)機(jī)具有更好的泛化性能.

表2 不同流形正則化深度ELM評價(jià)結(jié)果

3.2.3 初始已標(biāo)注樣本和未標(biāo)注樣本比例對識別的影響 圖4給出初始條件為不同數(shù)量已標(biāo)注樣本情況下，DJRELM、ML-ELM和多層拉普拉斯正則化ELM-AE構(gòu)成的ML-GELM[20]在復(fù)合擾動數(shù)據(jù)集上的性能對比. 初始已標(biāo)注樣本數(shù)目為470，每次遞增940個，該過程保持校驗(yàn)集數(shù)目與已標(biāo)注集一致，最終添加至3 525個已標(biāo)注樣本. 由圖4可見，3種方法的性能均隨著已標(biāo)注樣本所占比例的增加而逐步提升，其中DJRELM在5項(xiàng)指標(biāo)中優(yōu)于ML-ELM和ML-GELM，而當(dāng)樣本比例增長到一定值后，3種方法性能提升都有所放緩.

圖4 不同數(shù)量初始已標(biāo)注樣本下的評價(jià)結(jié)果

在固定已標(biāo)注樣本數(shù)目的情況下，以未標(biāo)注樣本總數(shù)10%的數(shù)量向訓(xùn)練集添加未標(biāo)注樣本時(shí)，3種算法在復(fù)合擾動數(shù)據(jù)集上的性能變化曲線如圖5所示，隨著未標(biāo)注樣本數(shù)量的增加，DJRELM的5個性能指標(biāo)越來越優(yōu)，即使在初始階段訓(xùn)練集在沒有任何標(biāo)注樣本的情況下，DJRELM也是3種方法中性能最佳的. 主要原因是流形正則化在純監(jiān)督學(xué)習(xí)的情況下也有效.

圖5 不同數(shù)量未標(biāo)注樣本下的評價(jià)結(jié)果

4 結(jié)論

針對電網(wǎng)實(shí)測復(fù)合擾動樣本多數(shù)未標(biāo)注類別而無法加入監(jiān)督學(xué)習(xí)模型訓(xùn)練的情況，提出一種新型的基于Jerk流形正則化的DJRELM-ML半監(jiān)督擾動識別模型. 算法在仿真和硬件采集數(shù)據(jù)實(shí)驗(yàn)結(jié)果表明，Jerk正則化有效利用未標(biāo)注樣本的內(nèi)含信息，提升了復(fù)合擾動半監(jiān)督學(xué)習(xí)精度，較圖拉普拉斯和海森正則化具有更好的局部幾何結(jié)構(gòu)保持能力和外推能力. DJRELM較單層ELM和傳統(tǒng)半監(jiān)督深層ELM的識別精度更高，能更有效地分類識別復(fù)合擾動. 盡管如此本文提出的DJRELM模型還有一些不足之處，如模型超參數(shù)尋優(yōu)較耗時(shí)，下一步研究將努力減少需要調(diào)整的超參數(shù)數(shù)目. 另外，Jerk算子計(jì)算時(shí)間較長使得訓(xùn)練難以實(shí)時(shí)，在線訓(xùn)練的研究也是未來的一個工作方向.