改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)在互感器故障診斷中的應(yīng)用

唐登平，蔡文嘉，鄒 立，胡 翔，丁 黎，王 雪

1.國(guó)網(wǎng)湖北省電力公司 計(jì)量中心，武漢430075 2.武漢理工大學(xué) 機(jī)電工程學(xué)院，武漢430070 3.湖北省計(jì)量測(cè)試技術(shù)研究院，武漢430080 4.中國(guó)電力科學(xué)研究院 武漢分院，武漢430074

低壓電流互感器是電網(wǎng)中的關(guān)鍵設(shè)備，并廣泛應(yīng)用于電力系統(tǒng)中，通過(guò)電磁感應(yīng)原理從而對(duì)電力系統(tǒng)中的電流進(jìn)行測(cè)量。隨著特高壓輸電技術(shù)的快速發(fā)展，電網(wǎng)中對(duì)電壓等級(jí)的要求也更高了，導(dǎo)致低壓電流互感器的工作環(huán)境也變得更加惡劣，給電網(wǎng)的正常運(yùn)行帶來(lái)更多的隱患。在低壓電流互感器的在線檢定過(guò)程中，快速有效地識(shí)別出故障的互感器，對(duì)于電力系統(tǒng)的安全和建設(shè)成本具有至關(guān)重要的作用。因此，研究一種高效的故障診斷方法對(duì)于低壓電流互感器故障診斷的在線檢定顯得十分必要。

目前，關(guān)于互感器方面的研究還較少，大多數(shù)的研究主要集中在互感器的穩(wěn)定性影響因素、信號(hào)處理方案的研究與改進(jìn)等方面，互感器故障診斷方面的研究非常少。針對(duì)電能計(jì)量互感器故障診斷，將電路信號(hào)作為一種結(jié)合算法的輸入進(jìn)行樣本訓(xùn)練并加以測(cè)試[1]。提出了一種基于小波變換的故障診斷方法，有效解決了互感器的突變型故障和系統(tǒng)信號(hào)干擾問(wèn)題[2]。通過(guò)獲取互感器信號(hào)的頻域特征，并使用小波神經(jīng)網(wǎng)絡(luò)對(duì)電子式互感器進(jìn)行故障診斷[3]。因此，本文分析了低壓電流互感器穩(wěn)定性的影響因素，對(duì)低壓電流互感器的幾種常見(jiàn)的故障模式進(jìn)行了分析，獲得了相應(yīng)的模擬數(shù)據(jù)。本文提出了一種M1DCNN-SVM模型，并與傳統(tǒng)的1DCNN模型進(jìn)行實(shí)驗(yàn)對(duì)比，同時(shí)通過(guò)t-SNE流形學(xué)習(xí)方法對(duì)網(wǎng)絡(luò)進(jìn)行可視化分析，實(shí)驗(yàn)結(jié)果均表明本文方法具有更簡(jiǎn)單的結(jié)構(gòu)、更高的效率和更優(yōu)的效果。

圖1 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

1 二維卷積神經(jīng)網(wǎng)絡(luò)

CNN作為一種典型的前饋神經(jīng)網(wǎng)絡(luò)，通過(guò)多個(gè)濾波器來(lái)提取信號(hào)的抽象特征。卷積和池化過(guò)程可以提取輸入數(shù)據(jù)中包含的拓?fù)浣Y(jié)構(gòu)特征。CNN的結(jié)構(gòu)模型包括輸入層、隱藏層（卷積層和池化層）和全連接層。典型的CNN結(jié)構(gòu)如圖1所示。隱藏層由卷積層C1、池化層S1、卷積層C2和池化層S2組成。在對(duì)輸入數(shù)據(jù)提取特征的過(guò)程中，CNN網(wǎng)絡(luò)通過(guò)交替連接的卷積層和池化層提取數(shù)據(jù)的抽象特征。采用全連接層逼近最終結(jié)果。在卷積層中，每一層的卷積運(yùn)算都是對(duì)前一層卷積層的輸出特征向量進(jìn)行卷積運(yùn)算，然后通過(guò)非線性激活函數(shù)獲得輸出特征向量。每個(gè)卷積層的輸出特征是多個(gè)輸入特征卷積的結(jié)果。對(duì)最后一個(gè)池化層的輸出進(jìn)行首尾連接得到的向量特征作為CNN的全連接層的輸入，使用Softmax分類器實(shí)現(xiàn)故障分類。

CNN具有稀疏連接和權(quán)值共享的特點(diǎn)。其中稀疏連接利用空間拓?fù)浣Y(jié)構(gòu)建立相鄰層之間不完全連接的空間關(guān)系，可以減少模型中需要訓(xùn)練的參數(shù)數(shù)量。權(quán)值共享則是用來(lái)避免過(guò)度擬合。隨著網(wǎng)絡(luò)層數(shù)的增加，高層網(wǎng)絡(luò)提取的特征也變得更加抽象。最后，原始輸入數(shù)據(jù)通過(guò)CNN進(jìn)行特征提取后獲得具有平移不變性和旋轉(zhuǎn)不變性的魯棒特性。此外，池化操作利用了數(shù)據(jù)本身的局部特性，減小了數(shù)據(jù)維數(shù)，優(yōu)化了網(wǎng)絡(luò)結(jié)構(gòu)，提高了特征的魯棒性。

2 一維卷積神經(jīng)網(wǎng)絡(luò)

傳統(tǒng)的CNN主要用于二維圖像的識(shí)別?；ジ衅鬏敵鲭娏餍盘?hào)作為一維時(shí)間序列信號(hào)，每次都與數(shù)據(jù)點(diǎn)相關(guān)。如果直接轉(zhuǎn)換成二維形式，會(huì)破壞原始序列的空間相關(guān)性，可能會(huì)丟失故障相關(guān)信息。一維卷積神經(jīng)網(wǎng)絡(luò)（1DCNN）是CNN的衍生形式，能夠直接對(duì)一維信號(hào)進(jìn)行處理。1DCNN的輸入數(shù)據(jù)形狀為一維數(shù)據(jù)，因此其卷積核對(duì)應(yīng)采用一維結(jié)構(gòu)，每個(gè)卷積層和池化層的輸出對(duì)應(yīng)為一維特征向量。

一個(gè)最簡(jiǎn)單的卷積模型包括一個(gè)可訓(xùn)練的特征提取階段和一個(gè)分類階段[4]。每個(gè)階段有線性和非線性運(yùn)算，都具有不同的作用。特征提取階段包含三個(gè)層：卷積層、激活層和池化層[5]。一個(gè)深度CNN網(wǎng)絡(luò)取消了原來(lái)的結(jié)構(gòu)，取而代之的是由多個(gè)特征交替疊加構(gòu)成的網(wǎng)絡(luò)。特征提取階段主要是從輸入數(shù)據(jù)中提取內(nèi)在的抽象特征。分類階段由多層感知器組成[6]，輸入和輸出都被設(shè)為矩陣形式的特征圖[7]。前饋計(jì)算過(guò)程[8]可以被寫為：

其中，X=[x1,x2,…,xm]∈R1×m為原始數(shù)據(jù)的輸入特征圖，主要為二維圖像數(shù)據(jù)或者一維時(shí)間序列數(shù)據(jù)，如互感器在線檢定系統(tǒng)中的電流信號(hào)[9]；θ(1),θ(2),…,θ(N)為訓(xùn)練參數(shù)，包括權(quán)重和偏置；f1,f2,…,fN為每一階段的線性運(yùn)算或非線性運(yùn)算；f(X)為原始數(shù)據(jù)X經(jīng)過(guò)多層卷積、激活和池化等運(yùn)算之后的最終輸出。

2.1 卷積層

卷積層是CNN中最重要的核心模塊之一，它包含多個(gè)卷積核（也稱為濾波器）。濾波器通常是一個(gè)矩陣，矩陣的每個(gè)值都是一個(gè)從輸入數(shù)據(jù)中學(xué)習(xí)到的權(quán)值（也成為特征值）[10]。每個(gè)過(guò)濾器都有不同的權(quán)值，權(quán)值由誤差反向傳播算法自動(dòng)計(jì)算[11]。在卷積層過(guò)程中，不同卷積核與輸入特征圖進(jìn)行卷積運(yùn)算生成許多新的特征圖作為下一卷積層的輸入[8]。卷積運(yùn)算的計(jì)算方法原理示意圖如圖2所示，上邊是輸入特征圖，中間是一個(gè)卷積核，下邊是一個(gè)輸出特征圖。

圖2 卷積運(yùn)算計(jì)算方法

表1 卷積神經(jīng)網(wǎng)絡(luò)中常用的激活函數(shù)

在圖2中，卷積核可以根據(jù)步幅在輸入特征圖上移動(dòng)[10]，通常步長(zhǎng)大于1。將卷積核與輸入特征圖重合區(qū)域?qū)?yīng)元素相乘，再加上偏移量，得到輸出特征圖的值。多通道的輸入特征圖的卷積運(yùn)算可以描述為[8]：

其中，?表示卷積算子；i為網(wǎng)絡(luò)層的索引；k表示第k組卷積核，也表示卷積層第k個(gè)輸出特征圖；C表示輸入特征圖的通道數(shù)；k=1,2,…,K；c=1,2,…,C。是通道c的輸入特征圖；是輸入特征圖與第k個(gè)卷積核進(jìn)行卷積運(yùn)算后的輸出特征圖；是第i個(gè)卷積層第c通道第k個(gè)卷積核的權(quán)值。為第i個(gè)卷積層層的第k個(gè)卷積核的偏置。如果C=3，它代表一個(gè)3通道數(shù)組的特征圖，例如一張由紅綠藍(lán)三通道組成的彩色圖片。

2.2 激活層

在卷積運(yùn)算之后，通過(guò)非線性的激活函數(shù)激活作為卷積層的輸出[4]。激活層的作用是為了增強(qiáng)模型的擬合能力。不同的激活函數(shù)使用不同的非線性變換得到不同的輸出結(jié)果。在加入激活函數(shù)之后，式（2）可以被表示為：

其中，f(?)為激活函數(shù)，是第k個(gè)輸出特征圖在激活函數(shù)非線性變換后的輸出結(jié)果。

在卷積神經(jīng)網(wǎng)絡(luò)中，常用的激活函數(shù)主要有三種：Sigmoid、Rectified Linear Unit（ReLU）和hyperbolic tangent，表1給出了它們的表達(dá)式和圖形。在文獻(xiàn)[12]中介紹了更多的激活函數(shù)。tanh和Sigmoid兩種激活函數(shù)的輸入值定義域?yàn)?∞～+∞，tanh和Sigmoid函數(shù)的值域f(x)分別是0～1和-1～1。但是它們會(huì)出現(xiàn)梯度消失和梯度爆炸的問(wèn)題[13]。當(dāng)輸入x絕對(duì)大時(shí)，兩個(gè)激活函數(shù)對(duì)應(yīng)的輸出值f(x)幾乎不會(huì)發(fā)生變化。為了解決這個(gè)問(wèn)題，激活函數(shù)ReLU可以只考慮前面的信號(hào)而忽略了消極信號(hào)的影響，并且它具有很好的擬合能力和稀疏性，可以大大提高計(jì)算效率[4]。在很多研究中ReLU激活函數(shù)憑借有效的防止過(guò)擬合和梯度消失的表現(xiàn)而被廣泛地應(yīng)用[10]。

2.3 池化層

池化層位于卷積運(yùn)算之后，也稱為降采樣層。池化主要作用為減少CNN可訓(xùn)練參數(shù)的數(shù)據(jù)維度和的數(shù)量，并且能夠從激活層的輸出特征圖中選擇最有代表性的特征[4，8，11]。通常，卷積層主要依賴增加卷積核的數(shù)量來(lái)提高網(wǎng)絡(luò)的特征提取能力。每一個(gè)輸出通道對(duì)應(yīng)一個(gè)過(guò)濾器，因?yàn)閰?shù)共享使得每個(gè)過(guò)濾器只能提取一種特征[10]。因此，在卷積神經(jīng)網(wǎng)絡(luò)中通過(guò)增加卷積核的個(gè)數(shù)可以提取輸入數(shù)據(jù)中的不同抽象特征。由于卷積運(yùn)算會(huì)增加輸出特征圖的數(shù)量，特征維度便會(huì)急劇增加，因此很容易造成維度災(zāi)難[14]。池化運(yùn)算主要使用池化窗，用于特征掃描[11]。池化運(yùn)算與卷積相似，池化窗可以被設(shè)置為不同的尺寸，并且池化核可以根據(jù)設(shè)定的步幅在特征圖上進(jìn)行移動(dòng)[10]。并且要求步幅大于或等于1，池化運(yùn)算的計(jì)算原理圖如圖3所示。

圖3 池化運(yùn)算原理圖

與卷積運(yùn)算不同，從圖3可以看出，池化運(yùn)算會(huì)產(chǎn)生一個(gè)代表性的值替代池化窗中的所有元素。常用的池化運(yùn)算包括最大池化和平均池化[6，10]。在圖3中，中間為原始特征圖，左邊為平均池化，右邊為最大池化。最大池化能夠快速地手動(dòng)計(jì)算特征，而平均池化對(duì)于背景信息更加敏感[10]。在CNN中，最大池化被廣泛用于池化層中[10]。最大池化的數(shù)學(xué)表達(dá)式可以描述為[6]：

2.4 全連接層

全連接層用于傳統(tǒng)卷積結(jié)構(gòu)的分類階段，主要的作用是進(jìn)一步提取卷積網(wǎng)絡(luò)輸出數(shù)據(jù)的特征，并且實(shí)現(xiàn)把特征提取階段連接到Softmax分類器[8，15]。傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的全連接層由2～3層前饋神經(jīng)網(wǎng)絡(luò)組成。卷積神經(jīng)網(wǎng)絡(luò)最后一個(gè)卷積層的輸出特征圖通過(guò)展平變換被轉(zhuǎn)換為一維數(shù)組。這個(gè)一維數(shù)組就是全連接層的輸入。而全連接層的輸出為一維向量。一維向量的每一個(gè)值就是n個(gè)類的一個(gè)分類值。在全連接層中，各相鄰層之間的所有神經(jīng)元之間都交替連接，可以用下面的式子表示：

其中，X為全連接層的輸入數(shù)據(jù)，O(X)為全連接層的輸出數(shù)據(jù)，W和B分別為全連接層中神經(jīng)元的權(quán)重和偏置矩陣，f(?)為激活函數(shù)。

在圖1所展示的CNN中，輸出層通常包括一個(gè)全連接層和一個(gè)Softmax分類器[6，8，14]。但是全連接層一個(gè)致命的缺點(diǎn)就是有太多的訓(xùn)練參數(shù)。在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中，全連接層的參數(shù)數(shù)量占整個(gè)卷積網(wǎng)絡(luò)總參數(shù)數(shù)量的80%～90%。這個(gè)缺點(diǎn)則會(huì)抵消池化運(yùn)算過(guò)程減少的維度和參數(shù)數(shù)量[15-16]。而且隨著全連接層層數(shù)的增加，網(wǎng)絡(luò)模型的參數(shù)數(shù)量也會(huì)增加。所以，卷積神經(jīng)網(wǎng)絡(luò)中的全連接層的結(jié)構(gòu)不緊會(huì)占太多的計(jì)算資源，而且還會(huì)導(dǎo)致模型過(guò)擬合[15]。更糟糕的是，當(dāng)使用訓(xùn)練的卷積模型進(jìn)行在線診斷的時(shí)候，測(cè)試時(shí)間太長(zhǎng)就會(huì)導(dǎo)致它不適合用于快速故障診斷和實(shí)時(shí)在線監(jiān)測(cè)。另外傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)使用Softmax函數(shù)作為分類器是其第二個(gè)缺點(diǎn)[17]。Softmax分類器主要用來(lái)獲得服從概率分布的歸一化輸出結(jié)果[8]。他在多分類效果上并不如支持向量機(jī)（SVM）。支持向量機(jī)在實(shí)際應(yīng)用中具有多分類的能力，然而它的缺點(diǎn)是在深度特征提取和數(shù)據(jù)降維上的能力是不夠的，并且支持向量機(jī)更適合處理小樣本數(shù)據(jù)[18-19]。

3 M1DCNN-SVM智能診斷方法

3.1 M1DCNN-SVM算法結(jié)構(gòu)

本文分析了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的缺點(diǎn)，并對(duì)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)。首先，采用全局平均池化技術(shù)替代全連接網(wǎng)絡(luò)結(jié)構(gòu)，可以有效減少卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)量和計(jì)算時(shí)間。其次，在測(cè)試階段，使用支持向量機(jī)（SVM）而不是Softmax函數(shù)對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分類測(cè)試，可以有效改進(jìn)分類結(jié)果的精度。M1DCNNSVM的模型結(jié)構(gòu)如圖4所示。

圖4 M1DCNN-SVM網(wǎng)絡(luò)結(jié)構(gòu)

從圖4可以看出，M1DCNN-SVM結(jié)構(gòu)包括輸入層、特征提取層和輸出層三個(gè)部分。其中特征提取層是1DCNN-SVM算法的核心部分，它由多個(gè)卷積層、激活層和池化層順次堆疊而成。與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)不同的是，本文提出的方法是用一個(gè)卷積核為1×1的轉(zhuǎn)換卷積層[20]和一個(gè)全局平均池化層[15]來(lái)代替全連接層。全局平均池化層可以很好地解決全連接層參數(shù)過(guò)多的問(wèn)題。數(shù)學(xué)表示可以表示為：

圖4為一個(gè)四分類問(wèn)題，卷積神經(jīng)網(wǎng)絡(luò)的全連接層的輸出格式應(yīng)該是1×4的向量。如果最后一層卷積層的輸出特征圖尺寸為1×99×16，其中1×99指的是輸出特征向量的尺寸，16為該層輸出特征圖的通道數(shù)。在卷積神經(jīng)網(wǎng)絡(luò)中，F(xiàn)latten函數(shù)可以將1×99×16的三維數(shù)組轉(zhuǎn)換為一維數(shù)組，作為全連接層的輸入。全連接層的隱藏層通常包含2～3層[8]。最后一層的節(jié)點(diǎn)數(shù)與所需分類的類別數(shù)相等。在本文案例中，最后的輸出維度為4，假設(shè)兩個(gè)隱藏層節(jié)點(diǎn)數(shù)目分別為256和4，則全連接層總共可訓(xùn)練的參數(shù)為452 220。詳細(xì)的計(jì)算過(guò)程為（1×99×16+1）×256+（256+1）×4=452 220。以上是一個(gè)簡(jiǎn)單的例子，但在實(shí)際工程應(yīng)用領(lǐng)域，網(wǎng)絡(luò)模型可訓(xùn)練的參數(shù)數(shù)量要多得多。由于網(wǎng)絡(luò)可訓(xùn)練參數(shù)大部分在全連接層，會(huì)消耗大量的計(jì)算資源，極大限制了卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率。為了解決這個(gè)問(wèn)題，本文使用全局平均池化層取代全連接層部分。全連接層的輸出形狀為1×4，因此全局平均池化的輸出特征圖形狀必須為1×1×4，輸入數(shù)據(jù)的形狀為1×99×16。為了將1×99×16的輸入數(shù)組轉(zhuǎn)換成1×1×4的池化層輸出數(shù)組，詳細(xì)的改進(jìn)步驟可以被描述為：

首先，形狀為1×99×16的輸入數(shù)據(jù)被轉(zhuǎn)換成1×1×4的輸出特征圖。要實(shí)現(xiàn)這一過(guò)程，需要設(shè)計(jì)一個(gè)輸出為1×1×16×4的轉(zhuǎn)換卷積層，卷積核的尺寸為1×1。轉(zhuǎn)換卷積層的作用是僅僅改變輸入特征圖的通道數(shù)，而不改變它的大小[15]。輸入數(shù)據(jù)通過(guò)轉(zhuǎn)換卷積層后，得到1×99×4的輸出特征圖。

然后，形狀為1×99×4的卷積輸出被轉(zhuǎn)換成1×1×4的池化輸出。為了實(shí)現(xiàn)這一過(guò)程，4個(gè)1×99的特征圖對(duì)應(yīng)4個(gè)全局平均池化核。全局平均池化層的池化核尺寸均為1×99。全局平局池化層主要用于轉(zhuǎn)換特征圖的尺寸，而特征圖的通道數(shù)并不發(fā)生變化。

改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)使用全局平均池化層代替?zhèn)鹘y(tǒng)的全連接層具有更好的效果。一方面，全局平均池化能使卷積模型的訓(xùn)練參數(shù)大大減少，并可以有效防止模型的過(guò)擬合。本文全局平均池化層的參數(shù)總量只有68個(gè)，而全連接層的參數(shù)總量為452 220。另一方面，改進(jìn)的卷積模型能有效減少網(wǎng)絡(luò)層數(shù)，并且能夠避免因?yàn)槿B接層造成的梯度消失問(wèn)題。因此改進(jìn)的卷積模型的訓(xùn)練效率和計(jì)算速度都比原始的卷積模型更有效。改進(jìn)的卷積模型中Softmax層和SVM分類器并行連接，最后構(gòu)成1DCNN-SVM模型，卷積神經(jīng)網(wǎng)絡(luò)各層卷積核的數(shù)量按后一層為前一層的兩倍選取。改進(jìn)卷積模型的參數(shù)如表2所示。

表2 CNN-SVM參數(shù)分布

3.2 SVM分類器

SVM是一個(gè)典型的二分類模型[21]。它在解決多類別、少樣本和非線性等問(wèn)題時(shí)具有獨(dú)特的優(yōu)勢(shì)[18]。SVM分類算法可以用來(lái)解決非線性分類問(wèn)題。假設(shè)Z=，其中xi∈χ=Rn,yi∈ψ=，i=1,2,…,n，xi是第i個(gè)輸入特征向量，yi是xi的類別標(biāo)簽；通過(guò)引入消除變量ξi，可以將SVM的學(xué)習(xí)問(wèn)題描述為軟間隔最大化問(wèn)題：

其中，w和b為需要優(yōu)化的參數(shù)；為消除變量；C為懲罰因子。通過(guò)不斷地調(diào)節(jié)w和b，使目標(biāo)函數(shù)最小，從而獲得最大的分割超平面。在解決了式（7）的對(duì)偶問(wèn)題，選擇了合適的核函數(shù)K(xi?xj)和懲罰因子C(C>0)后，分割超平面解決非線性問(wèn)題可以被描述為：

式（9）中的函數(shù)K(x?xi)為核函數(shù)是SVM的核心算法。本文改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型的SVM的核函數(shù)為高斯-伊恩徑向基函數(shù)（RBF）。它的數(shù)學(xué)表達(dá)式可以被定義為：

最后，結(jié)合式（8）和（9），使用RBF核函數(shù)后，分類決策函數(shù)可以被表示為：

SVM最初是用于解決二分類問(wèn)題，當(dāng)用于解決多分類問(wèn)題時(shí)，需要構(gòu)建一個(gè)合適的分類器。SVM的模型結(jié)構(gòu)如圖5所示。多分類器的模型可以參考文獻(xiàn)[22]。

圖5 SVM的模型結(jié)構(gòu)

3.3 基于M1DCNN-SVM智能故障診斷方法

一種改進(jìn)的1DCNN-SVM方法被提出來(lái)對(duì)低壓電流互感器進(jìn)行故障診斷。這種方法可以被分為三步實(shí)現(xiàn)：首先，將獲取的原始數(shù)據(jù)直接輸入到改進(jìn)的1DCNNSoftmax模型中，通過(guò)反向傳播算法對(duì)改進(jìn)的1DCNN模型進(jìn)行訓(xùn)練。然后，用訓(xùn)練好的卷積模型對(duì)輸入的數(shù)據(jù)進(jìn)行特征提取。最后，將提取的具有抽象特征的向量作為SVM的輸入從而實(shí)現(xiàn)故障分類。M1DCNN-SVM模型框架結(jié)構(gòu)如圖6所示。

圖6 M1DCNN-SVM模型框架結(jié)構(gòu)

提出的方法比傳統(tǒng)的卷積模型效果更好，效率更高。在整個(gè)故障診斷流程中，不需要對(duì)原始數(shù)據(jù)使用繁瑣的手動(dòng)特征提取和信號(hào)處理操作。原始數(shù)據(jù)直接輸入到所提模型中，并且能夠自動(dòng)地輸出故障分類結(jié)果。在圖6中，提出的M1DCNN-SVM故障診斷框架包含三個(gè)模塊，最底層為原始數(shù)據(jù)獲取模塊。最頂層為故障診斷結(jié)果輸出模塊。中間層為M1DCNN-SVM智能算法模塊。所提的方法可以擺脫對(duì)手動(dòng)提取特征的依賴，同時(shí)可以克服傳統(tǒng)方法對(duì)專家經(jīng)驗(yàn)的依賴。智能故障診斷方法1DCNN-SVM的基本流程圖如圖7所示。

圖7 M1DCNN-SVM模型流程圖

4 基于1DCNN-SVM的故障診斷方法

4.1 實(shí)驗(yàn)設(shè)計(jì)

隨著輸電技術(shù)的快速發(fā)展，電力系統(tǒng)運(yùn)行等級(jí)越來(lái)越高，低壓電流互感器是作為電網(wǎng)系統(tǒng)中的關(guān)鍵設(shè)備，逐漸呈現(xiàn)出越來(lái)越多的問(wèn)題。在實(shí)際工程應(yīng)用中，互感器運(yùn)行環(huán)境惡劣，其本身也存在通信控制誤差，容易導(dǎo)致互感器失效。因此，對(duì)低壓電流互感器進(jìn)行故障診斷，并能發(fā)現(xiàn)故障互感器，可以有效避免防止經(jīng)濟(jì)資源損失，所以對(duì)互感器的檢定工作具有十分重要意義。圖8為低壓電流互感器的檢定流水線。文中對(duì)低壓電流互感器穩(wěn)定性的因素進(jìn)行了分析，模擬故障模式并提取各種故障信號(hào)的數(shù)據(jù)特征，得到了相應(yīng)的數(shù)學(xué)模型，詳見(jiàn)表3。對(duì)于每種故障模式的詳細(xì)描述以及相關(guān)的參數(shù)選擇可以參考文獻(xiàn)[23]。通過(guò)matlab對(duì)低壓電流互感器每種健康狀況進(jìn)行了模擬仿真，并獲得對(duì)應(yīng)的每種健康狀況的樣本數(shù)據(jù)。

圖8 低壓電流互感器檢定流水線

表3 低壓電流互感器的故障模式和數(shù)學(xué)模型

圖9 互感器各種狀態(tài)的輸出數(shù)據(jù)

使用matlab軟件對(duì)低壓電流互感器的每種故障模式進(jìn)行了仿真模擬。獲得了正常狀態(tài)下的互感器輸出數(shù)據(jù)和四種故障下的輸出數(shù)據(jù)，如圖9所示，工作電流頻率為50 Hz，每種工況下的輸出數(shù)據(jù)各采集300個(gè)樣本，每個(gè)樣本包含400個(gè)采樣點(diǎn)?；谝陨系墓ぷ?，建立了低壓電流互感器在多種工況下的數(shù)據(jù)集，由圖9可以直觀地判斷出故障數(shù)據(jù)和正常數(shù)據(jù)，因此在制作用于網(wǎng)絡(luò)診斷的數(shù)據(jù)集只采用四種故障下的數(shù)據(jù)，關(guān)于數(shù)據(jù)集更詳細(xì)的描述可以參考表4。

表4 故障數(shù)據(jù)集的描述

4.2 診斷結(jié)果與分析

4.2.1 M1DCNN-SVM故障診斷結(jié)果

根據(jù)以上研究的結(jié)果與結(jié)論，最后建立了M1DCNNSVM診斷模型。本文為了驗(yàn)證M1DCNN-SVM對(duì)于智能故障診斷的效率和精度，首先分析了網(wǎng)絡(luò)訓(xùn)練參數(shù)的數(shù)量，并與傳統(tǒng)的智能診斷方法進(jìn)行比較，如表5所示。

表5 傳統(tǒng)1DCNN與本文M1DCNN-SVM可訓(xùn)練參數(shù)總量的比較

由表5可知，使用全連接層的傳統(tǒng)網(wǎng)絡(luò)參數(shù)總量為452 220，而使用M1DCNN-SVM的參數(shù)總量?jī)H為520。因此，M1DCNN-SVM能極大地減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)總量。

在本文實(shí)驗(yàn)中，自適應(yīng)學(xué)習(xí)率Adam優(yōu)化算法用于M1DCNN-SVM的訓(xùn)練過(guò)程，三層卷積層的激活函數(shù)均使用ReLU函數(shù)，最小批次數(shù)設(shè)為20，模型訓(xùn)練的迭代次數(shù)設(shè)為100。支持向量機(jī)分類器的懲罰系數(shù)C=16，使用高斯徑向基函數(shù)（RBF）作為核函數(shù)，消除變量為ξ=0.1，最后，M1CNN-SVM的測(cè)試集最高精度為99.375%。診斷結(jié)果如表6所示。

表6 M1DCNN-SVM故障診斷結(jié)果

從表6可知，實(shí)驗(yàn)過(guò)程有兩個(gè)計(jì)算結(jié)果，因?yàn)镸1DCNN-SVM包含兩個(gè)計(jì)算階段，即訓(xùn)練模型階段和測(cè)試模型階段。傳統(tǒng)的1DCNN-Softmax的測(cè)試精度為99.38%，M1DCNN-Softmax測(cè)試精度為94.38%，而M1DCNN-SVM的測(cè)試精度為100%。就訓(xùn)練時(shí)間而言，傳統(tǒng)的1DCNN-Softmax模型的訓(xùn)練時(shí)間為35.26 s，M1DCNN-Softmax訓(xùn)練時(shí)間為16.280 3 s，SVM的訓(xùn)練時(shí)間為0.000 98 s，因此M1DCNN-SVN的訓(xùn)練總時(shí)間為16.280 3+0.000 98=16.281 3 s。比較分析結(jié)果可知，M1DCNN使用全局平均池化層代替?zhèn)鹘y(tǒng)的全連接層，使網(wǎng)絡(luò)訓(xùn)練參數(shù)數(shù)量極大地減少，降低了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和測(cè)試時(shí)間，同時(shí)也降低了網(wǎng)絡(luò)的診斷準(zhǔn)確度，而SVM替代Softmax用于實(shí)現(xiàn)分類克服了因?yàn)槿∠B接層而帶來(lái)的精度不足的問(wèn)題。

為了進(jìn)一步驗(yàn)證所提方法的優(yōu)越性，本文將所提方法與傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行對(duì)比，所有方法均進(jìn)行了十次實(shí)驗(yàn)，分別比較了平均精度和平均訓(xùn)練時(shí)間，比較結(jié)果展示在表7中。

表7 M1DCNN-SVM與其他方法對(duì)比結(jié)果

表7展示了傳統(tǒng)的故障診斷方法（支持向量機(jī)SVM，深度信念網(wǎng)絡(luò)DBN）與本文方法的實(shí)驗(yàn)結(jié)果，分別比較了測(cè)試集的平均精度和的訓(xùn)練時(shí)間。由表7可知，SVM的訓(xùn)練時(shí)間最少僅為11.34 s，而DBN和本文方法的訓(xùn)練時(shí)間分別為15.45 s和16.281 3 s，但測(cè)試集精度也是最低為90%。相比而言，本文方法測(cè)試集精度為100%，而DBN為97%，低于本文方法。綜合分析比較后可知，本文方法具有最高的測(cè)試集精度，同時(shí)在訓(xùn)練時(shí)間上比傳統(tǒng)的方法略微增加，模型性能比傳統(tǒng)方法更優(yōu)。

圖10 M1DCNN-SVM迭代準(zhǔn)確率變化和損失變化

圖10顯示了M1DCNN訓(xùn)練過(guò)程中的訓(xùn)練集與驗(yàn)證集的準(zhǔn)確率和損失隨迭代次數(shù)變化的曲線圖。從圖中可以看出，在迭代周期僅為100次時(shí)，曲線均區(qū)域水平說(shuō)明模型能夠?qū)崿F(xiàn)穩(wěn)定的擬合能力。而在第20個(gè)迭代周期時(shí)，模型的準(zhǔn)確率已經(jīng)接近峰值，說(shuō)明模型具有快速的學(xué)習(xí)能力。因此，本文提出的M1DCNN-SVM的方法，極大地改善了傳統(tǒng)網(wǎng)絡(luò)訓(xùn)練參數(shù)過(guò)多的缺點(diǎn)，并使網(wǎng)絡(luò)的測(cè)試精度得到了提高，具有快速學(xué)習(xí)且穩(wěn)定性好的性能。分析表明該方法有助于實(shí)現(xiàn)低壓電流互感器在線實(shí)時(shí)監(jiān)測(cè)。

4.2.2 網(wǎng)絡(luò)可視化

為了進(jìn)一步分析M1DCNN-SVM在每一類型故障的誤判率，引入了混淆矩陣。混淆矩陣可以詳細(xì)地記錄每一種故障類型的診斷結(jié)果和對(duì)應(yīng)的誤分類率。如圖11所示，左圖為傳統(tǒng)1DCNN模型診斷的混淆矩陣，右圖為本文提出的改進(jìn)1DCNN的混淆矩陣。圖中橫軸代表模型對(duì)測(cè)試集的預(yù)測(cè)標(biāo)簽，縱軸代表測(cè)試集的真實(shí)標(biāo)簽。混淆矩陣對(duì)角線代表模型的分類準(zhǔn)確率，對(duì)角線以外則為誤分類率。從圖中可以看出，傳統(tǒng)的1DCNN模型在標(biāo)簽為3的故障即精度失真上的識(shí)別率相對(duì)最低為97.5%，對(duì)應(yīng)的誤判率為2.5%，其他類型的故障均全部正確識(shí)別。而M1DCNN模型在每一種故障的識(shí)別率上均為100%?？梢?jiàn)本文提出的改進(jìn)1DCNN模型不但有更高的綜合識(shí)別精度，同時(shí)在每一類型故障的識(shí)別率上也更高。

通常，CNN被看成一個(gè)黑箱，其內(nèi)部的運(yùn)行機(jī)制很難被理解。本文嘗試用可視化的方法解釋提出的M1DCNN-SVM的內(nèi)部運(yùn)行機(jī)制。為了更深地解釋本文模型每層網(wǎng)絡(luò)的特征提取能力，引入了常用的流行學(xué)習(xí)方法t-SNE，對(duì)每層網(wǎng)絡(luò)在測(cè)試集數(shù)據(jù)下的輸出進(jìn)行降維和可視化操作。通過(guò)將高維的特征向量映射到二維空間，繪制出了每一層的特征分布，如圖12所示。

圖12 通過(guò)t-SNE實(shí)現(xiàn)特征可視化

圖12為原始輸入數(shù)據(jù)可視化，從圖中可以清晰地看到網(wǎng)絡(luò)每層的特征提取能力逐漸增加。在原始數(shù)據(jù)中，低壓電流互感器的四種故障狀態(tài)是雜亂無(wú)章的排布，隨著網(wǎng)絡(luò)層次的增加，每層網(wǎng)絡(luò)的特征提取能力逐步加強(qiáng)，四種故障狀態(tài)的特征被明顯地分開(kāi)。以上分析表明訓(xùn)練好的模型具有優(yōu)異的特征提取能力。

5 結(jié)束語(yǔ)

深度學(xué)習(xí)作為一種新興的機(jī)器學(xué)習(xí)技術(shù)，越來(lái)越多應(yīng)用于故障診斷領(lǐng)域。本文提出了一種改進(jìn)的全局平均池化的1DCNN-SVM故障診斷模型應(yīng)用于低壓電流互感器在線檢定中。所提方法改進(jìn)了傳統(tǒng)CNN模型的結(jié)構(gòu)，引入全局平均池化來(lái)替代全連接網(wǎng)絡(luò)結(jié)構(gòu)，并在測(cè)試階段使用SVM替代Softmax函數(shù)。通過(guò)進(jìn)行實(shí)驗(yàn)，將所提的方法與傳統(tǒng)的CNN進(jìn)行實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)結(jié)果表明所提方法在訓(xùn)練時(shí)間、測(cè)試時(shí)間以及模型的測(cè)試精度等方面都更優(yōu)于傳統(tǒng)的CNN結(jié)構(gòu)模型。