基于糾錯(cuò)能力的SVM在變壓器故障診斷的應(yīng)用

祖文超，李紅君，苑津莎，張衛(wèi)華

(1.華北電力大學(xué) 電氣與電子工程學(xué)院，河北 保定 071003;2.大唐七臺(tái)河發(fā)電有限責(zé)任公司，黑龍江 七臺(tái)河 154600)

0 引言

電力變壓器是電力系統(tǒng)中最重要的電氣設(shè)備之一，及早發(fā)現(xiàn)變壓器潛伏性故障，是電力部門關(guān)注的一個(gè)重要問題。檢測(cè)變壓器狀態(tài)的方法有很多，其中油中溶解氣體分析法 (DGA)是檢測(cè)變壓器內(nèi)部故障的重要方法，如IEC標(biāo)準(zhǔn)中的三比值法則以特征氣體的3個(gè)相對(duì)比值CH4/H2、C2H4/C2H6和C2H2/C2H4來(lái)進(jìn)行故障診斷，實(shí)際應(yīng)用中存在編碼不全，編碼邊界過于絕對(duì)等弊端。由于對(duì)樣本數(shù)據(jù)缺乏準(zhǔn)確的科學(xué)分析，很難確切反映故障與表現(xiàn)特征之間的客觀規(guī)律，因此在溶解氣體含量較小的情況下，難以對(duì)變壓器狀態(tài)進(jìn)行有效分析[1，2]。傳統(tǒng)方法的這些缺點(diǎn)無(wú)疑對(duì)變壓器潛伏性故障的發(fā)現(xiàn)和分析非常不利。因此，由于支持向量機(jī)具有小樣本學(xué)習(xí)、全局最優(yōu)、結(jié)構(gòu)風(fēng)險(xiǎn)最小化及訓(xùn)練診斷時(shí)間短等優(yōu)點(diǎn)，提出了將支持向量機(jī)用于變壓器油中溶解氣體分析的故障診斷。

SVM是針對(duì)兩分類問題設(shè)計(jì)的，不能直接用于多類分類問題。而變壓器的故障診斷實(shí)際是多類分類問題，所以目前SVM難以用來(lái)解決變壓器的故障多分類問題。為了克服這個(gè)缺陷，人們對(duì)SVM多分類算法進(jìn)行了大量的研究，提出了一些有效的SVM多類分類算法[3～5]，但這些算法中大部分都沒有得到有效分析，使得人們無(wú)法使用這些算法獲取更好的分類結(jié)果。然而對(duì)于任一分類問題而言，由于采集的訓(xùn)練樣本不足、特征提取不完整以及訓(xùn)練算法本身的缺陷，都會(huì)對(duì)分類的正確性造成影響，產(chǎn)生分類誤差，而糾錯(cuò)編碼(ECOC)最大的優(yōu)點(diǎn)就在于能夠有效地對(duì)這些誤差進(jìn)行修正，對(duì)于一組最小漢明距離為d的糾錯(cuò)編碼來(lái)說(shuō)，至少能修正(d－1)/2」位誤差，即便有(d－1)/2」個(gè)分類出錯(cuò)，系統(tǒng)還是能給出正確的判別結(jié)果。而且如果錯(cuò)誤量很少，還可能恢復(fù)原始信息。因此本文提出了一種基于糾錯(cuò)編碼[6]的SVM多類分類算法并應(yīng)用于變壓器故障診斷中。

1 SVM的分類原理

支持向量機(jī)算法是一個(gè)凸二次優(yōu)化問題，能夠保證找到的極值解就是全局最優(yōu)解。這些特點(diǎn)使支持向量機(jī)成為一種優(yōu)秀的學(xué)習(xí)算法。設(shè)xi，i=1，2，…N是訓(xùn)練集X中的特征向量，這些向量來(lái)自于類yi，i=1，2，…N中。Xi為輸入矢量，yi為對(duì)應(yīng)的目標(biāo)輸出矢量，N為對(duì)應(yīng)的樣本數(shù)。當(dāng)樣本集在原空間是不可分的，需要用非線性變換φ(x)(核函數(shù))，把樣本向量集從原空間映射到高維特征空間F中，并在F中構(gòu)造最優(yōu)的線性決策函數(shù):

式中:w為超平面的權(quán)值向量;b為偏置常數(shù)。非線性SVM的學(xué)習(xí)任務(wù)可以轉(zhuǎn)化為以下優(yōu)化問題:

Cortes和Vapnik在1995年引入了“軟邊緣”(soft margin)最優(yōu)超平面的概念，可以通過引入非負(fù)松弛因子ξ來(lái)允許錯(cuò)分樣本的存在，這種方法又被稱為C-SVM。C-SVM的一個(gè)基本原理就是:如果某個(gè)樣例不能被分類面正確區(qū)分，則通過給定的系數(shù)C，控制對(duì)錯(cuò)分樣本懲罰度的作用，實(shí)現(xiàn)在錯(cuò)分樣本比例和算法復(fù)雜度之間的折衷。

最后得到判別函數(shù)為:

2 糾錯(cuò)編碼算法

糾錯(cuò)編碼 (ECOC)是Bose和Ray Chaudhuri在1960年提出的一種分布式輸出碼，1963年，Duda，Machanik和Singlleton將其應(yīng)用于機(jī)器領(lǐng)域中[7]，1995年，Dietterich和 Bakiri提出了利用糾錯(cuò)編碼來(lái)將二元分類器擴(kuò)展到多分類問題中:若類別數(shù)為K，則為每一個(gè)類別分配一個(gè)長(zhǎng)度為L(zhǎng)的二元糾錯(cuò)編碼序列Wi，形成一個(gè)K行L列的碼本，在訓(xùn)練網(wǎng)絡(luò)模型時(shí)，對(duì)于第j列，將該列中碼“1”對(duì)應(yīng)的所有類別的數(shù)據(jù)歸為一類，碼“0”對(duì)應(yīng)的所有類別的數(shù)據(jù)歸為另一類，以此來(lái)構(gòu)造一個(gè)二元分類器，這樣K類的分類問題就轉(zhuǎn)化成了L個(gè)兩類的分類問題。在測(cè)試時(shí)，L個(gè)分類器都對(duì)新樣本進(jìn)行判別，得到各分類器輸出一個(gè)二元序列B={b1，b2，，…bL}，然后計(jì)算此序列和各類別的碼字 {Wi}間的漢明距離，最小距離對(duì)應(yīng)的那個(gè)碼字所代表的類就是最終的判別結(jié)果，即:

對(duì)糾錯(cuò)編碼的選擇應(yīng)基于以下兩點(diǎn):

(1)行與行之間互不相關(guān)，也即是各行之間漢明距離最大，以便有更強(qiáng)的糾錯(cuò)能力。

(2)列與列之間即不相關(guān)也不互補(bǔ)，即某列與其他各列的補(bǔ)集的漢明距離最大，增加列之間的獨(dú)立性以便進(jìn)行糾錯(cuò)處理。對(duì)于K類分類問題，編碼長(zhǎng)度L必須滿足log2K＜L≤2k-1-1。

3 變壓器故障診斷

3.1 糾錯(cuò)編碼與支持向量

變壓器故障類型:低溫過熱、中溫過熱、高溫過熱、局部放電、低能放電、電弧放電。結(jié)合變壓器常見故障，構(gòu)造一種編碼應(yīng)用于變壓器故障診段中，如表1所示。

表1 編碼長(zhǎng)度為10bit的ECC－SVM編碼Tab.1 Encoding length of 10bit ECC －SVM codes

表1中各行之間的最小漢明距離是4，表中C1代表正常，{C2，…C7}以次代表上述6種變壓器故障類型，表中構(gòu)造的糾錯(cuò)編碼碼本中每一列對(duì)應(yīng)一個(gè)支持向量機(jī)，訓(xùn)練時(shí)把碼字“1”對(duì)應(yīng)類別的訓(xùn)練樣本作為一類，“0”對(duì)應(yīng)類別的訓(xùn)練樣本作為另一類，以此構(gòu)造出一個(gè)SVM模型，按照上述方法總共構(gòu)造出10個(gè)SVM。

3.2 ECC－SVM的推廣性理論分析

ECC編碼的糾錯(cuò)能力是衡量ECC編碼性能的主要指標(biāo)之一。T.GDietterich 等[6，7]指出，碼間最小漢明距離決定ECC編碼的糾錯(cuò)能力。對(duì)于碼間最小漢明距離為d的ECC編碼，最少可以糾正(d－1)/2」個(gè)碼位上的分類錯(cuò)誤，或者可以檢測(cè)到d－1」個(gè)錯(cuò)誤。文獻(xiàn)[8]通過分析ECC-SVM的推廣性，發(fā)現(xiàn)ECC-SVM的推廣能力與編碼長(zhǎng)度、碼間漢明距離、編碼順序以及每個(gè)SVM的分類間隙等之間的關(guān)系，這將從理論上指導(dǎo)人們更合理地使用ECC-SVM來(lái)獲取更好的分類結(jié)果。對(duì)于ECC-SVM的推廣性，有如下面的結(jié)論:對(duì)于K個(gè)類別的分類問題，碼間最小漢明距離為d，ECC的碼長(zhǎng)為L(zhǎng)，.依據(jù)未知概率分布產(chǎn)生的m個(gè)樣本的最小包容球半徑為R。如果ECC-SVM能夠把m個(gè)樣本完全正確分類，L個(gè)SVM的分類間隙由大到小排列，分別記為r1，r2，…rL，令ki=fat(ri/8)，i=1，2…L。那么對(duì)于由p產(chǎn)生的m個(gè)樣本記為Y，有ECC-SVM的分類錯(cuò)誤風(fēng)險(xiǎn)至少以概率1-δ不大于下式:2N是碼長(zhǎng)為L(zhǎng)，碼間漢明距離為d的編碼組數(shù)，每一組中有K個(gè)碼字，依據(jù)上述公式，我們計(jì)算所有可能的編碼，假如一共可以找到N組這樣的編碼。根據(jù)排列組合原理，每一組編碼有K!個(gè)不同的編碼順序。根據(jù)文獻(xiàn)[6]中定理5.1，我們只需要保證分類間隙較大的M個(gè)SVM的分類精度就夠了。每一個(gè)碼位SVM分類器的1≤ki=fat(ri/8)≤m所有可能情況一共N·K!·mM種設(shè)δθ=δ/M，i=1，2，…M。采用文獻(xiàn)[9]中定理3.8可得ECC-SVM的分類誤差至少以1-δ概率不大于從上式可以看出，ECC-SVM的推廣能力不是由推廣性最差的SVM的分類精度決定，而是由前M個(gè)推廣性較好的SVM的分類精度決定。

3.3 Iris數(shù)據(jù)集對(duì)ECC－SVM算法的測(cè)試

該文在UCI標(biāo)準(zhǔn)的數(shù)據(jù)上進(jìn)行試驗(yàn)，下面的試驗(yàn)說(shuō)明本文算法的有效性和優(yōu)越性。

Iris數(shù)據(jù)集是應(yīng)用于模式識(shí)別分析的標(biāo)準(zhǔn)數(shù)據(jù)集之一，該數(shù)據(jù)集里有150條數(shù)據(jù)記錄，分別取自三種不同的鳶尾屬植物 Setosa、Versicolor和Virginica的花朵樣本。每一類鳶尾屬植物有50條記錄，其中每條記錄有四個(gè)屬性值。

為了便于比較選用1-v-1、BT-SVM和ECC-SVM三種不同的支持向量機(jī)多值分類算法，隨機(jī)選取每一種花朵樣本的40個(gè)數(shù)據(jù)作為訓(xùn)練樣本，其余的10條數(shù)據(jù)作為測(cè)試樣本，測(cè)試結(jié)果如表2所示。

表2 支持向量機(jī)分類器測(cè)試分類結(jié)果Tab.2 Test classfication result of Support Vector Machine classifier

從表2中的實(shí)驗(yàn)結(jié)果看到，算法測(cè)試分類精度最高，說(shuō)明ECC-SVM多分類算法的分類器具有更好的推廣性。對(duì)于測(cè)試時(shí)間，算法計(jì)算時(shí)間介于1-v-1和二叉樹多分類算法之間，但明顯優(yōu)于傳統(tǒng)的1-v-1算法，說(shuō)明本文算法有良好的時(shí)效性。

3.4 故障診斷驗(yàn)證與分析

為了驗(yàn)證糾錯(cuò)編碼的支持向量機(jī)在變壓器故障診斷中的效果，首先選取的訓(xùn)練數(shù)據(jù)是基于色譜分析得到的油中溶解氣體的數(shù)據(jù)。目前國(guó)內(nèi)外所分析的氣體對(duì)象不統(tǒng)一。在不妨礙判斷準(zhǔn)確率且分析對(duì)象盡可能少的前提下選取這5種:氫 氣 (H2)、甲 烷 (CH4)、乙 烷(C2H6)、乙烯 (C2H4)、乙炔 (C2H2)，作為原始特征向量。

從相關(guān)文獻(xiàn)資料收集了大量的具有明確結(jié)論的變壓器故障數(shù)據(jù)，整理了340條數(shù)據(jù)，其中240條作為訓(xùn)練樣本，其余100條作為測(cè)試樣本。同時(shí)把這些數(shù)據(jù)存入SQLSever2005數(shù)據(jù)庫(kù)的10個(gè)訓(xùn)練樣本集中。在VS2008語(yǔ)言環(huán)境下結(jié)合LIBSvm實(shí)現(xiàn)變壓器故障診斷 (SVM)模型，結(jié)合表2構(gòu)造的糾錯(cuò)編碼來(lái)訓(xùn)練網(wǎng)絡(luò)模型，變壓器的DGA數(shù)據(jù)屬于非線性可分?jǐn)?shù)據(jù)，目前對(duì)于采用何種方法處理并沒有明確的理論指導(dǎo)，因此采用C-SVM、基于徑向基形式作為核函數(shù)來(lái)訓(xùn)練模型。

為了對(duì)糾錯(cuò)編碼多分類性能進(jìn)行較為全面的研究，構(gòu)造了2個(gè)碼組和上表1碼組作對(duì)比，來(lái)探討類間碼字不同分配情況對(duì)識(shí)別性能的影響。另外，為了更好地評(píng)價(jià)文中提出的ECC-SVM變壓器故障診斷方法的有效性，用相同的數(shù)據(jù)集在二叉樹多分類算法進(jìn)行識(shí)別比較，比較結(jié)果如表3所示。

表3 ECC－SVM編碼長(zhǎng)度、海明距離和分類精度之間的關(guān)系Tab.3 Relationship between code length，Hamming distance and classification accuracy

從表3中可看出:

(1)在三種不同碼組情況下，其中碼組Code1和Code2編碼長(zhǎng)度相同，所訓(xùn)練的SVM模型個(gè)數(shù)相同，但碼組中Code2的最小漢明距離比Code1的大，結(jié)果Code2編碼情況下分類精確明顯偏高。根據(jù)糾錯(cuò)編碼性質(zhì)可知Code2碼組可以糾錯(cuò)1個(gè)錯(cuò)誤或者檢測(cè)2個(gè)錯(cuò)誤，而Code1沒有糾錯(cuò)能力，故識(shí)別性能強(qiáng)于Code1。Code3的編碼長(zhǎng)度為10，而Code2為7，該兩碼組最小漢明距離相同情況下，編碼長(zhǎng)度較長(zhǎng)的Code3的分類精確度優(yōu)越于Code2。

(2)本文提出的多分類算法在分類精度上明顯優(yōu)于傳統(tǒng)的二叉樹多分類算法。這是因?yàn)楸疚乃惴ㄓ屑m錯(cuò)能力即可以允許一定的差錯(cuò)，而二叉樹多分類算法，一旦一個(gè)節(jié)點(diǎn)出錯(cuò)，就會(huì)造成判別誤差累積。

(3)本文所用糾錯(cuò)編碼的多分類算法故障準(zhǔn)確率與編碼長(zhǎng)度、最小海明距離有關(guān)。編碼長(zhǎng)度越長(zhǎng)，SVM的推廣能力越強(qiáng)，分類精度越高，漢明距離越大，SVM模型的診斷精確度越高。

為了進(jìn)一步驗(yàn)證本文方法的優(yōu)越性，分別采用了單隱層BP神經(jīng)網(wǎng)絡(luò) (包含5個(gè)輸入節(jié)點(diǎn)、40個(gè)隱含節(jié)點(diǎn)、7個(gè)輸出節(jié)點(diǎn))和三比值法對(duì)變壓器故障識(shí)別問題進(jìn)行研究對(duì)比，采用了與前面方法完全相同的訓(xùn)練樣本和測(cè)試樣本，對(duì)BP網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)訓(xùn)練和測(cè)試，訓(xùn)練采用了動(dòng)量法改進(jìn)的快速學(xué)習(xí)算法 (學(xué)習(xí)率v=0.04，動(dòng)量常數(shù)取0.8)目標(biāo)誤差g=0.01，訓(xùn)練次數(shù)n為5000。SVM模型的訓(xùn)練采用網(wǎng)格尋優(yōu)得到最優(yōu)參數(shù)懲罰參數(shù)C=1.25，核函數(shù)系數(shù)g=0.02，對(duì)于糾錯(cuò)編碼碼組之間的最小距離d為6。三種方法的測(cè)試結(jié)果如表4所示。

表4 故障診斷結(jié)果對(duì)比Tab.4 Contrast of fault diagnosis results

表4與BP神經(jīng)網(wǎng)絡(luò)識(shí)別方法相比，ECCSVM分類器的電力變壓器故障識(shí)別方法識(shí)別錯(cuò)誤率更低，測(cè)試時(shí)間小于BP神經(jīng)網(wǎng)絡(luò)的測(cè)試時(shí)間。本文方法遠(yuǎn)大于三比值測(cè)試率，主要因?yàn)槿戎涤袝r(shí)會(huì)出現(xiàn)分類錯(cuò)誤和診斷結(jié)果沒有對(duì)應(yīng)的編碼。可見，通過和 BP神經(jīng)網(wǎng)絡(luò)以及三比值比較，ECC-SVM由于其漢明距離d為6，在進(jìn)行故障診斷時(shí)可以檢測(cè)到5個(gè)SVM模型出錯(cuò)，可以糾出2個(gè)錯(cuò)誤模型，即有2個(gè)模型出現(xiàn)識(shí)別錯(cuò)誤，也能正確進(jìn)行故障診斷。由此可見，利用ECCSVM可以減少在實(shí)際應(yīng)用中基于油氣數(shù)據(jù)訓(xùn)練樣本不足以及特征提取不完整帶來(lái)的分類誤差，以便提高故障識(shí)別精度。

4 結(jié)論

針對(duì)SVM多分類算法的不足，文中提出糾錯(cuò)編碼和支持向量機(jī)相結(jié)合的多分類算法，從理論上分析了該算法的推廣性。與BP神經(jīng)網(wǎng)絡(luò)以及三比值方法作對(duì)比，通過變壓器故障診斷驗(yàn)證了該方法的可行性?；诩m錯(cuò)編碼的支持向量機(jī)的最大優(yōu)點(diǎn)是能對(duì)一定誤差進(jìn)行修正以及檢測(cè)出錯(cuò)誤的信息，解決了由于搜集樣本的不足，以及算法本身的缺陷帶來(lái)的分類誤差問題。

為不同的類設(shè)計(jì)合適的代碼字集合是一個(gè)重要的問題。多類學(xué)習(xí)要求將代碼字列向量和行向量的距離很好地分開，較大的列距離可以確保二元分類器是相互獨(dú)立的，所以如何更好地用二元分類器解決多分類問題需要進(jìn)一步研究。