CNCP：一種新型仿生的輕量級電能質(zhì)量擾動信號分類模型

簡獻忠，賴左略

(上海理工大學 光電信息與計算機工程學院，上海 200090)

1 引 言

隨著越來越多的電子設(shè)備在日常生活中的廣泛應(yīng)用，公共電網(wǎng)中產(chǎn)生了大量的電能質(zhì)量擾動信號[1]，包括暫升、中斷、閃爍和尖峰等.這些大量的信號不僅影響到工業(yè)生產(chǎn)和生活中正常用電，甚至對電網(wǎng)的安全運行產(chǎn)生了威脅.因此，為了提高電能質(zhì)量，對電能質(zhì)量擾動信號進行準確識別至關(guān)重要[2].

電能質(zhì)量擾動信號分類方法分為特征提取和分類決策兩部分.針對特征提取的問題，深度學習中常使用的卷積操作已被證明具有優(yōu)越性[3]，并且在圖像分割[4]，圖像分類[5]，信號分類[6]中被廣泛使用，有效的避免了維數(shù)災(zāi)難并且提高了分類的準確度.文獻[7]提出了一種利用維格納-維爾分布將一維信號轉(zhuǎn)換為二維圖像再通過卷積神經(jīng)網(wǎng)絡(luò)(CNN)實現(xiàn)信號分類的模型.文獻[8]，與文獻[7]相似，提出了一種利用相空間重構(gòu)將一維信號轉(zhuǎn)換為二維圖像再通過CNN實現(xiàn)信號分類的模型.文獻[7，8]將一維信號轉(zhuǎn)換為二維圖像的過程中人為添加了冗余信息，給CNN提取信號特征增加了難度同時增添了不必要的網(wǎng)絡(luò)參數(shù).針對分類決策問題，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)可以挖掘信號中的時序信息作為分類策略實現(xiàn)信號分類[9，10]，但是在長序列訓練的過程中容易出現(xiàn)梯度消失和梯度爆炸的問題.長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)通過引入細胞狀態(tài)并且更新細胞隱藏層的輸出[11，12]，有效的解決了RNN在訓練過程中可能出現(xiàn)的問題并且具有更強的泛化能力但也使得網(wǎng)絡(luò)模型更加復(fù)雜，參數(shù)更多.總的來說，文獻[7-12]對以往方法都有改進，提高了電能質(zhì)量擾動信號分類的準確率，但為了提取到更加深層次的信號特征以及設(shè)計更合理的分類策略，整個電能質(zhì)量擾動信號分類網(wǎng)絡(luò)模型變得越來越復(fù)雜，所需要的參數(shù)越來越多.因此，在網(wǎng)絡(luò)模型設(shè)計上還有提高的空間.

為了減少神經(jīng)網(wǎng)絡(luò)模型的冗余參數(shù)并且有效的提取樣本中的時序特征，Mathias Lechner和Thomas A.Henziger等人受到線蟲等小型生物大腦神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的啟發(fā)，設(shè)計了一種輕量級神經(jīng)回路決策(NCP)[13]神經(jīng)網(wǎng)絡(luò)模型.目前，NCP已經(jīng)在自動駕駛領(lǐng)域?qū)ΧS圖像的實時處理能力取得了不錯的結(jié)果[13].但是，在一維信號分類上沒有相應(yīng)的研究.為了減少電能質(zhì)量擾動信號分類模型的復(fù)雜性，本文提出了一種基于NCP的信號分類模型(CNCP)，實現(xiàn)了NCP在電能質(zhì)量擾動信號分類問題上的首次探索.該模型由特征提取，預(yù)分類和分類優(yōu)化3個模塊構(gòu)成.特征提取模塊引入一維卷積代替二維卷積來更有效的提取信號的時序特征.預(yù)分類模塊中優(yōu)化了NCP中各層的神經(jīng)元數(shù)量，優(yōu)化后的NCP網(wǎng)絡(luò)具有參數(shù)少，分類決策能力更強等優(yōu)勢，減少了在特征處理過程中信息的損失，更加直觀的反應(yīng)分類結(jié)果.分類優(yōu)化模塊，由全連接層組成，防止訓練過擬合，提高模型的泛化能力.通過使用IEEE-1159電能質(zhì)量擾動信號數(shù)據(jù)集進行驗證，CNCP的準確率為98.6%，模型參數(shù)為14188個，表明本文提出的模型具有較高的分類準確性及輕量化，更適合在嵌入式設(shè)備上實現(xiàn)部署.

2 NCP算法原理

NCP的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，圖中的神經(jīng)元之間的粗線表示處于激活狀態(tài)的突觸，細線表示處于抑制狀態(tài)的突觸.感知層的作用是接受信息，對輸入進行預(yù)處理，實現(xiàn)數(shù)據(jù)標準化，加快網(wǎng)絡(luò)的收斂速度.連接層位于決策層和感知層之間，它的作用是對輸入信息進行過濾，提取有效特征，避免無效特征對結(jié)果進行干擾，同時減少模型參數(shù).決策層被設(shè)計成一種特殊的RNN網(wǎng)絡(luò)模型，特別的是，這一層中各個神經(jīng)元之間具有突觸連接.它的作用是將表層特征提取成有利于最終決策的深層特征.執(zhí)行層將深層特征進行整合，轉(zhuǎn)化為最終任務(wù)的結(jié)果.同時神經(jīng)元之間的連接突觸采用激活機制，處于抑制狀態(tài)的突觸將會失效，不會傳遞任何數(shù)據(jù).為了構(gòu)建NCP網(wǎng)絡(luò)結(jié)構(gòu)，總結(jié)出4項基本原則：

圖1 NCP網(wǎng)絡(luò)架構(gòu)

1)NCP的網(wǎng)絡(luò)結(jié)構(gòu)可以分為感知層，連接層，決策層和執(zhí)行層.

2)前一層的神經(jīng)元與后一層的神經(jīng)元之間以二項分布Bin～(n，p1)的方式隨機連接，形成突觸.突觸的極性隨機分為興奮和抑制，其分布滿足伯努利分布Ber～(p2).

4)決策層的每一個神經(jīng)元，以二項分布Bin～(n，p4)的方式隨機連接，形成的突觸極性滿足伯努利分布Ber～(p2).

p1，p2，p3，p4是對應(yīng)分布的概率，n是后一層神經(jīng)元的數(shù)量.

3 CNCP模型

CNCP整個網(wǎng)絡(luò)架構(gòu)分為特征提取，預(yù)分類，分類優(yōu)化3個部分，如圖2所示.

圖2 CNCP模型整體架構(gòu)

1)特征提取，由卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成.其作用是從原始電能質(zhì)量擾動信號中提取出最具有代表性的局部特征，從而實現(xiàn)特征降維和避免維數(shù)災(zāi)難.由于電能質(zhì)量擾動信號是一維的，針對這類具有時序特征的樣本數(shù)據(jù)，常采用一維卷積網(wǎng)絡(luò)代替二維卷積網(wǎng)絡(luò)來更好的提取潛在的時序特征，提高分類準確率.并且信號處理以及自然語言處理中得到了廣泛的應(yīng)用[14].在一維卷積網(wǎng)絡(luò)模型如圖3所示.一維卷積與二維卷積的大小一樣也可以是二維的，但是只能向一個方向移動，然后對該行或者列計算點乘求和.

2)預(yù)分類模塊，由改進后的NCP組成.其作用是可以根據(jù)改進后的NCP的分類策略對提取到的信號特征實現(xiàn)預(yù)分類.改進后的NCP網(wǎng)絡(luò)如圖3所示.圖中的神經(jīng)元之間的粗線表示處于激活狀態(tài)的突觸，細線表示處于抑制狀態(tài)的突觸.感知層，連接層，決策層，執(zhí)行層分別用圓形，正方形，菱形，三角形.實現(xiàn)表示處于抑制狀態(tài)的突觸，虛線表示處于興奮狀態(tài)的突觸.為了使改進后的NCP能夠針對電能質(zhì)量擾動信號實現(xiàn)多分類任務(wù)，將執(zhí)行層的神經(jīng)元優(yōu)化為信號的總類別數(shù)，使得預(yù)分類結(jié)果能夠初步反映各種信號分類可能性，而不是一個簡單的標量直接來直接反應(yīng)樣本類別，增加了信息維度有利于提高分類準確率.同時為了防止中間層和決策層特征處理過程中的信息損失，將中間層和決策層的神經(jīng)元都優(yōu)化為執(zhí)行層神經(jīng)元數(shù)量.

圖3 改進后的NCP網(wǎng)絡(luò)架構(gòu)

3)分類優(yōu)化模塊，由一層全連接層組成，其作用是將預(yù)分類結(jié)果進行優(yōu)化，同時提升模型的泛化能力和魯棒性.優(yōu)化分類結(jié)果通過softmax激活函數(shù)輸出模型預(yù)測到各類別的概率softmax計算方式如公式(1)所示：

(1)

xi表示未經(jīng)過softmax前得到的該類的預(yù)測值，outi表示進過softmax激活函數(shù)后的輸出概率，softmax的作用就是將網(wǎng)絡(luò)的預(yù)測值轉(zhuǎn)化為該類別預(yù)測值的指數(shù)與所有類別預(yù)測值的指數(shù)和的比值，得到每個分類被取到的概率.保證了每一個類別的預(yù)測概率處于0-1之間，所有類別的的預(yù)測概率和為1. 在多分類問題中，softmax常與交叉熵損失函數(shù)搭配，交叉熵能夠衡量同一個隨機變量中的兩個不同概率分布的差異程度，在深度學習中就表示為真實概率分布與預(yù)測概率分布之間的差異.交叉熵的值越小，模型預(yù)測效果就越好.具有求導更快，加速網(wǎng)絡(luò)收斂的優(yōu)勢.因此選用交叉熵作為模型訓練損失函數(shù)，計算如公式(2)所示：

(2)

m代表樣本數(shù)，k代表類別數(shù)，p(xij)代表第m個樣本的第k類的真實分類標簽，q(xij)代表第m個樣本的第k類的預(yù)測分類結(jié)果.通過交叉熵損失函數(shù)訓練CNCP后，本文輸入驗證集并通過softmax獲得每個類別的概率，將概率的最大值作為最終分類結(jié)果.

4 實驗結(jié)果分析

4.1 數(shù)據(jù)集

根據(jù)IEEE-1159[15]制作暫升(S0)，尖峰(S1)，暫降(S2)，周期缺口(S3)，振蕩(S4)，中斷(S5)，中斷與諧波(S6)，正弦波(S7)，諧波(S8)和閃變(S9)共10類電能質(zhì)量擾動信號.表1中詳細的注明了不同信號的制作方法.然后對信號進行采樣，頻率為6.4KHz，每個樣本總共采集到1280個采樣點作為樣本特征，結(jié)果如圖6所示.每一種類型信號取1000個訓練集，200個測試集，200個驗證集，共14000個樣本，同時為了驗證CNCP的抗噪性，制作了信噪比由30dB至50dB的電能質(zhì)量擾動信號，制作好的數(shù)據(jù)集如表2所示.

表1 電能質(zhì)量擾動信號的數(shù)學模型

表2 數(shù)據(jù)集

4.2 訓練網(wǎng)絡(luò)以及評價指標

CNCP的網(wǎng)絡(luò)結(jié)構(gòu)如表3所示，包含了每一層的名稱，輸出的形狀和參數(shù).第1-7層是卷積神經(jīng)網(wǎng)絡(luò)，用于特征提取，由一維卷積層和最大池化層組成.第8層是改進后的NCP，用于預(yù)分類.第9層是全連接層，用于分類優(yōu)化.參數(shù)共計14188個.

表3 CNCP網(wǎng)絡(luò)模型

為了評估CNCP在電能質(zhì)量擾動信號分類問題上的性能，本文根據(jù)表2中的數(shù)據(jù)對網(wǎng)絡(luò)進行訓練，圖4顯示了網(wǎng)絡(luò)訓練過程中損失和性能的變化.

圖4 訓練過程圖

如圖4(a)所示，在訓練輪次進行到50次時，CNCP基本達到收斂，訓練損失約為0.327.而此時的準確率如圖4(b)所示達到了97%，同時訓練集與測試集的準確率曲線基本吻合，說明不存在過擬合現(xiàn)象.證明了CNCP具有較強的泛化能力.網(wǎng)絡(luò)模型訓練達到收斂之后，需要對模型進行評價，因此利用訓練好的模型對驗證集里的2000個樣本進行分類，根據(jù)分類結(jié)果和真實標簽計算召回率和準確率，計算公式如式(3)和式(4)所示，TP表示樣本真實標簽和預(yù)測標簽都是正例的情況，F(xiàn)P表示真實標簽是反例，預(yù)測結(jié)果是正例的情況，F(xiàn)N表示真實標簽是正例，預(yù)測結(jié)果是反例的情況.

(3)

(4)

4.3 分類正確率比較

為了驗證CNCP在電能質(zhì)量擾動信號分類的可行性，我們以召回率和準確率作為評價指標，將CNCP與其他電能質(zhì)量擾動信號分類算法進行統(tǒng)一比較.結(jié)果如表4所示.小波變換和k最鄰相結(jié)合的傳統(tǒng)分類算法的準確率最低，只有93.1%，低于所有的深度學習分類模型.這是因為深度學習對信號的特征提取以及分類策略都要優(yōu)于傳統(tǒng)方法.CNN的特征提取能力比傳統(tǒng)算法更強，因此準確率更高.RNN和LSTM都針對分類策略進行了改進，因此準確率都高于CNN.CNCP進一步優(yōu)化了RNN網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)果顯示其分類準確率要略微高于其他深度學習分類模型.證明了CNCP相較于其他電能質(zhì)量擾動信號分類方法在分類準確率上優(yōu)越性.

表4 電能質(zhì)量擾動信號分類方法的正確率比較(單位：%)

4.4 模型大小及參數(shù)對比

為了驗證CNCP的模型輕量化程度，我們比較了所用到的網(wǎng)絡(luò)模型的存儲空間，參數(shù)，RNN神經(jīng)元的數(shù)量和RNN參數(shù).結(jié)果如表5所示.CNN所需的參數(shù)數(shù)量和模型存儲空間較多.這是因為CNN的結(jié)構(gòu)相對簡單，為了實現(xiàn)電能質(zhì)量擾動信號的精確分類，必須要加深網(wǎng)絡(luò)深度，同時CNN中不存在循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，因此不統(tǒng)計其RNN核數(shù)和RNN參數(shù).CNCP與LSTM都是特殊的RNN網(wǎng)絡(luò)模型，CNCP模型所需總參數(shù)相比RNN減少了大約70%，相比LSTM減少了大約90%.CNCP主要在改進后的NCP網(wǎng)絡(luò)進行參數(shù)優(yōu)化，因此我們在RNN核數(shù)進行比較發(fā)現(xiàn)了CNCP相比RNN和LSTM減少了85%.在RNN參數(shù)上進行比較發(fā)現(xiàn)了CNCP與RNN相比減少了約82%，與LSTM相比減少了95%.由此證明CNCP是一種輕量級電能質(zhì)量擾動信號分類網(wǎng)絡(luò).

表5 不同網(wǎng)絡(luò)之間模型大小比較

4.5 抗噪性測試

在實際工作中電能質(zhì)量擾動信號多數(shù)是包含噪聲的，這將會影響分類方法的準確性，因此對信號分類方法設(shè)計了的抗噪性實驗.首先根據(jù)表2得到信噪比分別為30dB，35dB，40dB，45dB，50dB的電能質(zhì)量擾動信號各2000個，信噪比為30dB的電能質(zhì)量擾動信號如圖8所示.然后通過不同的分類方法進行分類準確性比較.得到的抗噪性實驗比較結(jié)果如表6所示.從表中可以看出CNN和RNN受到噪聲影響較大，對信噪比為30dB的信號進行分類時準確率都低于90%.小波變換和k最鄰相結(jié)合的傳統(tǒng)分類算法基本不受噪聲影響，但是算法本身的分類準確率低.深度學習方法中LSTM和CNCP在信噪比降至30dB時，準確率都能夠保持在96%以上，呈現(xiàn)出極強的抗噪性，但是LSTM網(wǎng)絡(luò)模型所需參數(shù)遠多于CNCP.由此可見CNCP相較于其他電能質(zhì)量擾動信號分類方法具有較強的抗噪性.

表6 PQD分類方法的抗噪性比較

4.6 特征分析

波形偏離對稱正弦形成的，因此第1個主成分(PC0)反應(yīng)了信號的整體結(jié)構(gòu)，其余的主成分(PC1-PC9)反應(yīng)了由于擾動因素而產(chǎn)生的各類電能質(zhì)量擾動信號在細微處的差異.不同網(wǎng)絡(luò)模型最高主成分貢獻度比較如表7所示.從表中可以看出，通過CNN得到的信號特征的最高主成分重要度最高，CNCP最低.這表明CNN提取到的信號特征更多的表示信號整體結(jié)構(gòu)，而CNCP更多的表示在信號細微處的差異.因此CNCP比CNN，RNN和LSTM在電能質(zhì)量擾動信號上分類準確率高.

表7 不同網(wǎng)絡(luò)之間最高主成分貢獻度比較

[16]

圖5 不同網(wǎng)絡(luò)之間各個主成分貢獻度比較

5 總 結(jié)

本文設(shè)計了一種基于NCP的輕量級電能質(zhì)量擾動信號分類模型CNCP，實現(xiàn)了NCP在分類問題上的首次探索.實驗結(jié)果表明：1)CNCP比wavelet+knn算法分類準確率要高大約5%，比CNN，RNN，LSTM準確率要高大約1%；2)CNCP相比CNN，RNN，LSTM所需要的模型參數(shù)和存儲空間要少大約65%-90%；3)CNCP在電能質(zhì)量擾動信號信噪比不低于30dB時，分類準確率能夠一直維持了96%以上；4)CNCP提取到的信號特征最高貢獻度要低于CNN，RNN，LSTM，表明了CNCP更多的關(guān)注在信號細微處的差異，解釋了CNCP分類準確性高于其他分類方法的原因.

與其他常用的電能質(zhì)量擾動信號分類模型相比，本文提出的CNCP模型能夠在模型參數(shù)較少的情況下具有較高的分類準確度，更加適合在嵌入式設(shè)備上部署，為公共電網(wǎng)中電能質(zhì)量擾動信號的識別問題提供了一種思路.下一步工作將以CNCP為基礎(chǔ)，嘗試使用ResNet殘差網(wǎng)絡(luò)作為特征提取模塊加速模型擬合，從而使用更少的網(wǎng)絡(luò)層和訓練參數(shù)，使得模型更加輕量化.