粒子群優(yōu)化核極限學(xué)習(xí)機(jī)的變壓器故障診斷

裴 飛，陳雪振，朱永利，遇炳杰

（華北電力大學(xué) 控制與計(jì)算機(jī)工程學(xué)院，河北 保定071003）

0 引 言

油中溶解氣體分析法 （dissolved gas analysis，DGA）是目前進(jìn)行變壓器故障診斷中使用較多的手段之一［1－3］。已經(jīng)在此基礎(chǔ)上形成了IEC 推薦的三比值法、Rogers 法、Dornerburg法等傳統(tǒng)方法，但傳統(tǒng)的閾值檢測手段存在著編碼邊界過于絕對、編碼需要人為劃定和缺編碼等缺陷［4，5］，導(dǎo)致在實(shí)際檢測過程中準(zhǔn)確率較低。新興的智能方法如BP神經(jīng)網(wǎng)絡(luò)存在需要調(diào)整參數(shù)多、訓(xùn)練速度慢、過擬合和容易陷入局部極值的缺點(diǎn)，限制了其精度［6，7］；貝葉斯網(wǎng)絡(luò)方法需要大量訓(xùn)練樣本，而現(xiàn)有DGA 數(shù)據(jù)集無法滿足其訓(xùn)練需求［8］；SVM 可解決過度擬合和非線性高維識(shí)別問題，但是其核函數(shù)需要受到梅西條件的限制，算法分類性能受到參數(shù)影響大，且診斷輸出為硬分割邊界，訓(xùn)練速度較慢等情況［9］。

核極限學(xué)習(xí)機(jī) （kernel－based extreme learning machine）是Guang－Bin Huang在其所提出的ELM 算法之上結(jié)合核函數(shù)所提出的改進(jìn)算法。ELM 在保證網(wǎng)絡(luò)具有良好泛化性能同時(shí)，極大提高了前向神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度，并避免了以BP神經(jīng)網(wǎng)絡(luò)為代表的梯度下降訓(xùn)練方法的許多問題，如容易陷入局部值、迭代量大等。KELM 不僅有ELM 算法的諸多優(yōu)勢，并且結(jié)合了核函數(shù)，對線性不可分的模式進(jìn)行非線性映射到高維特征空間從而實(shí)現(xiàn)線性可分，進(jìn)一步提高了判斷的準(zhǔn)確率。然而，由于核函數(shù)的存在，導(dǎo)致了這種算法對參數(shù)設(shè)置具有敏感性，所以本文擬采用粒子群優(yōu)化算法和交叉驗(yàn)證方法對KELM 參數(shù)進(jìn)行優(yōu)化，并將其應(yīng)用于變壓器故障診斷中，以提高診斷準(zhǔn)確率，降低調(diào)試參數(shù)的工作量。

1 KELM 介紹

1.1 KELM 分類

ELM 是一種單隱藏層前向神經(jīng)網(wǎng)絡(luò) （SLFNs）的訓(xùn)練算法，SLFN 模型可表示為［10］

式中：x——樣本輸入，f（x） ——神經(jīng)網(wǎng)絡(luò)的輸出，在分類過程中其為類別向量， h（ x） 、H——隱藏層特征映射矩陣，β——隱藏層輸出層鏈接權(quán)重。在ELM 算法中有

式中：T——訓(xùn)練樣本的類標(biāo)志向量組成的矩陣，C——正規(guī)化系數(shù)。

在隱藏層特征映射 h（x） 未知的情況下，可將KELM的核矩陣定義如下所示［11］

則可將式 （1）變換為

使用徑向基函數(shù) （RBF）為核函數(shù)，即

因此，正規(guī)化系數(shù)C 和核函數(shù)參數(shù)s 是需要設(shè)定的參數(shù)，C 和s的設(shè)定是影響KELM 分類器性能的重要因素。

1.2 KELM 的性能分析

本節(jié)使用KELM 與SVM 在UCI 的Segment、Iris、Diabetes數(shù)據(jù)集上進(jìn)行分類對比實(shí)驗(yàn)。

對于KELM 和SVM，均采用RBF 核函數(shù)；使用網(wǎng)格搜索對KELM 和SVM 的規(guī)則化系數(shù)C ∈ ［2－40，240］ 和核函數(shù)參數(shù)s∈ ［2－40，240］進(jìn)行優(yōu)化。表1為KELM 和SVM 方法在各數(shù)據(jù)集上的訓(xùn)練時(shí)間、測試時(shí)間和分類準(zhǔn)確率的對比。

表1 KELM 與SVM 在不同數(shù)據(jù)集的分類性能比較

從表1可看出，KELM 的分類精度在所測試的數(shù)據(jù)集上不低于SVM 分類器，并且訓(xùn)練時(shí)間明顯小于SVM。

為了說明KELM 分類器的分類性能對參數(shù)的敏感性，表2列出了在不同參數(shù)的KELM 分類器在Diabetes數(shù)據(jù)集上的分類準(zhǔn)確率。并通過圖1直觀的體現(xiàn)了分類準(zhǔn)確率與參數(shù)的關(guān)系。

表2 參數(shù)C、s的選取對分類準(zhǔn)確率的影響

圖1 KELM 在Diabetes數(shù)據(jù)集上分類準(zhǔn)確率－參數(shù)曲面

通過表2可看出KELM 分類器的參數(shù)設(shè)置對其分類準(zhǔn)確率有著較大的影響，且通對過表2 和圖1 的觀察可知KELM 的分類準(zhǔn)確率隨著參數(shù)的變化存在著一些局部極值。所以，分類器參數(shù)選擇很大程度上影響著其分類性能。

2 基于PSO 的KELM 參數(shù)優(yōu)化方法

選擇KELM 最優(yōu)參數(shù)是對正規(guī)化系數(shù)C 和核函數(shù)參s數(shù)的優(yōu)化，將KELM 分類準(zhǔn)確率記為acc（C，s），參數(shù)C 和s的上界分別為a 和b，下界均為0，則KELM 參數(shù)優(yōu)化模型為

也就是在給定區(qū)間內(nèi)尋找一組C 和s 使得KELM 分類器在某個(gè)數(shù)據(jù)及上獲得最大的分類準(zhǔn)確率。

目前對參數(shù)進(jìn)行優(yōu)化的主要方式有，試驗(yàn)法、經(jīng)驗(yàn)選擇法、網(wǎng)格搜索法等傳統(tǒng)方法以及粒子群算法［12］、遺傳算法等基于群體演化的優(yōu)化算法。而對于任何優(yōu)化算法，分類準(zhǔn)確率評(píng)價(jià)準(zhǔn)則是影響優(yōu)化效果的重要因素。本文使用5－CV［13，14］的方式生成隨機(jī)的訓(xùn)練集、驗(yàn)證集和測試集，將這些數(shù)據(jù)訓(xùn)練所得的5個(gè)分類模型的平均準(zhǔn)確率作為分類器的評(píng)價(jià)標(biāo)準(zhǔn)。這種方式避免了目前較常使用的Holdout驗(yàn)證帶來的泛化性能差的缺點(diǎn)，并且更充分的利用了有限的DGA 數(shù)據(jù)。交叉驗(yàn)證準(zhǔn)確率可用下式表達(dá)

由1.2節(jié)可知，KELM 分類器的分類準(zhǔn)確率隨著參數(shù)的變化存在著大量的局部極值，對于梯度搜索法會(huì)導(dǎo)致搜索效果不佳，且網(wǎng)格搜索法過于耗時(shí)，所以使用PSO 算法對參數(shù)進(jìn)行尋優(yōu)。

將5－CV 與PSO 結(jié)合用于KELM 分類器參數(shù)優(yōu)化可分為以下步驟，流程如圖2所示。

步驟1 根據(jù)種群數(shù)生成粒子群，并為每個(gè)粒子賦予隨機(jī)的位置和速度；

步驟2 使用5－CV 方式，按照式 （7）計(jì)算交叉驗(yàn)證準(zhǔn)確率acc作為個(gè)體適應(yīng)度，對KELM 分類器參數(shù)進(jìn)行評(píng)價(jià)；

步驟3 判斷是否滿足終止步驟4；

步驟4 更新每個(gè)粒子的速度和位置，轉(zhuǎn)向步驟2；

步驟5 輸出最優(yōu)參數(shù)與最優(yōu)模型。

3 基于PSO－KELM 的變壓器故障診斷

3.1 特征量的選擇

圖2 結(jié)合5－CV 與PSO 的參數(shù)優(yōu)化

本文選取IEC推薦的DGA數(shù)據(jù)中的H2、CH4、C2H6、C2H4和C2H2這5種氣體溶解量作為KELM 的輸入量。DGA 數(shù)據(jù)值分布區(qū)間很大，即使屬于同類型的數(shù)據(jù)之間也可能存在這較大的差異，為降低其相互之間由于量值差異造成的影響，在將特征量輸入分類器前首先要對數(shù)據(jù)按照式 （8）做歸一化處理

式中：xnormalized——?dú)w一化后的氣體濃度數(shù)值；xmin——?dú)怏w含量最小值；xmax——?dú)怏w含量最大值；Up 和Lo——?dú)w一化上界與下屆，分別取值1和－1。

3.2 樣本的選擇

樣本數(shù)據(jù)選取時(shí)，應(yīng)盡量使各類樣本數(shù)量相近，以免造成數(shù)據(jù)集不均衡的問題。由于變壓器故障為罕見狀態(tài)，所以原始數(shù)據(jù)中的故障樣本全部采用；正常類數(shù)據(jù)的篩選方式為選取與DL/T722－2000 《導(dǎo)則》中給出的氣體注意值相近的樣本。各類樣本數(shù)量見表3。

表3 各類樣本數(shù)量

3.3 變壓器狀態(tài)編碼

變壓器故障診斷是一個(gè)多分類任務(wù)，KELM 算法具有多分類能力，可采用一個(gè)分類器對正常、低能放電、高能放電、中低溫過熱和高溫過熱5 種狀態(tài)進(jìn)行辨識(shí)。KELM的輸出為一個(gè)類標(biāo)志向量，類標(biāo)志向量的維數(shù)為樣本中狀態(tài)類別的數(shù)量，在應(yīng)用中需要為每一類狀態(tài)進(jìn)行編碼，見表4。

表4 各類編碼

3.4 PSO－KELM 的參數(shù)選擇

本文采用5－CV［15］與PSO 結(jié)合用于KELM 分類器的參數(shù)優(yōu)化，粒子群大小為25，進(jìn)化代數(shù)為1000，慣性權(quán)重1.49445，加速因子c1，c2均為2［16］。適應(yīng)度函數(shù)使用式（7）計(jì)算。具體流程為第2節(jié)所述。

3.5 基于PSO－KELM 的變壓器故障診斷實(shí)現(xiàn)

基于PSO－KELM 算法的變壓器故障診斷實(shí)現(xiàn)過程如下：

（1）訓(xùn)練過程

1）選取特征量與樣本集合，按照式 （8）將樣本數(shù)據(jù)進(jìn)行歸一化；

2）按照1∶4的比例將樣本集合分割為測試集和訓(xùn)練驗(yàn)證集；

3）在訓(xùn)練驗(yàn)證集上進(jìn)行KELM 分類模型的訓(xùn)練，選取RBF核函數(shù)與5－CV 方法，通過上文中所述方法對算法參數(shù)C，s進(jìn)行選擇；

4）使用測試集對KELM 算法進(jìn)行測試。

（2）測試過程

1）使用式 （9）對待分類的數(shù)據(jù)x 進(jìn)行歸一化處理，公式中的參數(shù)xmin和xmax均使用訓(xùn)練集中的對應(yīng)值；

2）使用式 （1）獲得x 對應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出向量o（x） ＝ ｛on｝，n＝1，…，5；

3）通過式 （9）獲得對應(yīng)神經(jīng)網(wǎng)絡(luò)輸出向量的編碼向量T ＝ ｛tn｝，n＝1，…，5

4）對照表4獲得最終診斷結(jié)果。

4 實(shí)驗(yàn)分析

本文實(shí)驗(yàn)在Core i5－2410M CPU 2.30 GHz、4.00 GB系統(tǒng)內(nèi)存的硬件環(huán)境下，操作系統(tǒng)為Windows7 64bit，通過Eclipse編寫KELM 算法java版本在Weka數(shù)據(jù)挖掘平臺(tái)中運(yùn)行。數(shù)據(jù)采用河北省衡水市和上海市電力局提供以及相關(guān)文獻(xiàn)收集的數(shù)據(jù)142組。

實(shí)驗(yàn)中，為了驗(yàn)證文中方法有效性，首先采用5－CV 與網(wǎng)格搜索結(jié)合、5－CV 與PSO 結(jié)合的方法使用訓(xùn)練驗(yàn)證集選取KELM 核函數(shù)參數(shù)。再將訓(xùn)練集按照1：4 的比例分為驗(yàn)證集和訓(xùn)練集分別使用Grid搜索和PSO 搜索方法選取KELM 分類器參數(shù)。

圖3給出不同參數(shù)組合下KELM 分類器在DGA 數(shù)據(jù)集的分類準(zhǔn)確率曲線圖，從圖中可以發(fā)現(xiàn)參數(shù)選擇對KELM 算法分類準(zhǔn)確率有較大的影響。

圖3 參數(shù)變化對分類準(zhǔn)確率的影響

表5為Grid－KELM （Holdout）、Grid－KELM （5－CV）、PSO－KELM （Holdout）和PSO－KELM （5－CV）方法選取的KELM 分類器參數(shù)和他們在測試機(jī)上的測試結(jié)果。由表5可以看出本文中所提出的方法有較好的診斷效果。

表5 參數(shù)優(yōu)化結(jié)果和各種方法的正判率

5 結(jié)束語

本文首先將KELM 與SVM 在不同數(shù)據(jù)集上的分類性能作比較，得出KELM 的分類精度在所測試的數(shù)據(jù)集上不低于SVM 分類器，并且訓(xùn)練時(shí)間明顯小于SVM。然后分析出KELM 分類器的參數(shù)設(shè)置對其分類準(zhǔn)確率有著較大的影響。并針對這一問題，提出了采用5－CV 與PSO 結(jié)合的方法對KELM 分類器參數(shù)進(jìn)行選擇，并將其應(yīng)用于油浸式變壓器故障診斷中。通過5－CV 方法作為分類器評(píng)價(jià)標(biāo)準(zhǔn)，對不同參數(shù)確定的KELM 分類器模型進(jìn)行性能評(píng)估，并使用PSO 算法對KELM 參數(shù)進(jìn)行優(yōu)化。實(shí)驗(yàn)結(jié)果表明KELM 分類器參數(shù)對其分類性能有較大的影響，與其它Grid優(yōu)化方法、PSO 優(yōu)化方法、Grid與CV 結(jié)合方法相比，將PSO 與CV 結(jié)合的方法來優(yōu)化KELM 分類器參數(shù)，具有更高的診斷準(zhǔn)確率。

［1］ZHENG Hanbo.Study on condition assessment and fault diagnosis approaches for power transformers ［D］.Chongqing：Chongqing University，2012 （in Chinese）. ［鄭含博.電力變壓器狀態(tài)評(píng)估及故障診斷方法研究 ［D］.重慶：重慶大學(xué)，2012.］

［2］LIANG Liuming.Research of characteristics of partial discharge of typical defects and relationship between partial discharge and dissolved gases in oil of transformer ［D］.Chongqing：Chongqing University，2009 （in Chinese）.［梁流銘.變壓器典型缺陷局部放電特性及與油中溶解氣體對應(yīng)關(guān)系研究 ［D］.重慶：重慶大學(xué)，2009.］.

［3］GUO Chuangxin，GAO Zhenxing，ZHANG Jian，et al.On model and approach of condition assessment of oil－immersed transformer［J］.Control Engineering of China，2011，18（6）：881－885 （in Chinese）.［郭創(chuàng)新，高振興，張健，等.油浸式電力變壓器狀態(tài)評(píng)估模型及方法 ［J］.控制工程，2011，18 （6）：881－885.］

［4］Mirowski P，LeCun Y.Statistical machine learning and dissolved gas analysis：A review ［J］.IEEE Transactions on Power Delivery，2010，27 （4）：1－6.

［5］Ronaldo R.B.de Aquino，Milde M.S.Lira.A fuzzy system for detection of incipient fault in power transformers based on gas－in－oil analysis［C］//IEEE International Conference on Fuzzy Systems，2010：1－6.

［6］DU Wenxia，LV Feng，JU Xiyuan，et al.Fault diagnosis of power transformer based on BP neural network ［J］.Transformer，2007，44 （3）：45－47 （in Chinese）.［杜文霞，呂鋒，句希源，等.基于BP 神經(jīng)網(wǎng)絡(luò)的電力變壓器故障診斷 ［J］.變壓器，2007，44 （3）：45－47.］

［7］LI Shuang，WANG Langzhu，ZHANG Wei，et al.Fault diagnosis method of transformer based on improved BP neural network of DGA ［J］.Transformer，2010，47 （12）：61－65 （in Chinese）.［李霜，王朗珠，張為，等.基于DGA的改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的變壓器故障診斷方法［J］.變壓器，2010，47 （12）：61－65.］

［8］ZHAO Wenqing，ZHU Yongli，WANG Xiaohui.Fault diagnosis of power transformer based on combination of Bayesian networks［J］.Electric Power Automation Equipment，2009，29 （11）：6－9 （in Chinese）.［趙文清，朱永利，王曉輝.基于組合貝葉斯網(wǎng)絡(luò)的電力變壓器故障診斷 ［J］.電力自動(dòng)化設(shè)備，2009，29 （11）：6－9.］

［9］LI Chunxiang，ZHANG Weimin，ZHONG Biliang，et al.Reserach on parameter optimization algorithm of least squares support vector machine［J］.Journal of Hangzhou Dianzi University，2010，30 （4）：213－216 （in Chinese）.［李春香，張為民，鐘碧良，等.最小二乘支持向量機(jī)的參數(shù)優(yōu)化算法研究 ［J］.杭州電子科技大學(xué)學(xué)報(bào)，2010，30 （4）：213－216.］

［10］Huang Guangbin，Zhou Hongming，Ding Xiaojian.Extreme learning machine for regression and multiclass classification［J］.IEEE Transaction on Systems Manand Cybemetics，2012，42 （2）：513－529.

［11］Huang Guangbin，Wang Dianhui，Lan Yuan，et al.Extreme learning machines：A survey ［J］.International Journal of Machine Learning and Cybernetics，2011，2 （2）：107－1228.

［12］Kuo RJ，Kartika Akbaria，Budiarto Subroto.Application of particle swarm optimization and perceptual map to tourist market segmentation ［J］.Expert Systems With Applications，2012，39 （10）：8726－8735.

［13］Alippi C，Roveri M.Virtual k－fold cross validation：An effective method for accuracy assessment ［C］//The International Joint Conference on Neural Networks，2010：1－6.

［14］Chalimourda A，Scholkopf B，Smola A.Experimental optimal V in support vector regression for different noise models and parameter settings ［J］.Neural Networks，2004，17（1）：127－141.

［15］TANG Baoping，LIU Wenyi，JIANG Yonghua，et al.Parameter optimized Morlet wavelet de－noising method based on cross validation method ［J］.Journal of Chongqing University，2010，33 （1）：1－6 （in Chinese）.［湯寶平，劉文藝，蔣永華，等.基于交叉驗(yàn)證法優(yōu)化參數(shù)的Morlet小波消噪方法［J］.重慶大學(xué)學(xué)報(bào)，2010，33 （1）：1－6.］

［16］LIU Yi.Improvements and application of particle swarm optimization algorithm ［D］.Xi’an：Xidian University，2012 （in Chinese）.［劉逸.粒子群優(yōu)化算法的改進(jìn)及應(yīng)用研究 ［D］.西安：西安電子科技大學(xué)，2012.］