基于誤判損失最小化支持向量機(jī)的故障診斷

易 輝 宋曉峰 姜 斌 冒澤慧

(南京航空航天大學(xué)自動化學(xué)院，南京210016)

基于誤判損失最小化支持向量機(jī)的故障診斷

易 輝 宋曉峰 姜 斌 冒澤慧

(南京航空航天大學(xué)自動化學(xué)院，南京210016)

為了解決決策導(dǎo)向無環(huán)圖支持向量機(jī)(DAG-SVM)故障診斷的劃分偏好問題，采用誤判損失最小化支持向量機(jī)(MLM-SVM)對多分類決策結(jié)構(gòu)進(jìn)行尋優(yōu).傳統(tǒng)方法以最大化診斷正確率為目標(biāo)，該方法則考慮了各類誤判引發(fā)損失的差異性，以最小化誤判帶來的損失為優(yōu)化目標(biāo).針對k類故障進(jìn)行診斷時，MLM-SVM首先給出各誤判情況的懲罰因子，并生成k!種決策結(jié)構(gòu)的誤判損失混淆矩陣;然后，結(jié)合總體損失風(fēng)險函數(shù)，求解出各結(jié)構(gòu)對應(yīng)的誤判損失風(fēng)險，進(jìn)而獲取具有最小誤判損失風(fēng)險的決策結(jié)構(gòu)用以故障診斷.將該方法用于變壓器故障診斷中，尋找得到最佳結(jié)構(gòu);然后采用k!種決策結(jié)構(gòu)進(jìn)行故障診斷，統(tǒng)計其誤判損失，得出最佳結(jié)構(gòu).兩者所選結(jié)構(gòu)吻合，從而驗證了該方法的有效性.

故障診斷;誤判損失最小化支持向量機(jī);結(jié)構(gòu)選擇

支持向量機(jī)(support vector machine，SVM)［1］是目前常用的一種基于數(shù)據(jù)驅(qū)動的故障診斷方法.相比神經(jīng)網(wǎng)絡(luò)方法，SVM具有需要樣本量少、無維數(shù)災(zāi)難、不存在局部最小解等優(yōu)點，因而得到了廣泛的運用.但是，傳統(tǒng)SVM是針對二分類問題設(shè)計的，而故障診斷所需解決的多為多分類問題.因此，采用支持向量機(jī)方法進(jìn)行故障診斷，首先需進(jìn)行多分類擴(kuò)展，如 1-against-rest法［2］、1-v-1 法［3］、決策樹法［4］等，其中Plantt等［5］提出的決策導(dǎo)向無環(huán)圖支持向量機(jī)(DAG-SVM)引起了廣泛的注意.這種方法借鑒圖論中的決策導(dǎo)向無環(huán)圖思想(decision directed acyclic graph，DDAG)，有效避免了傳統(tǒng)多分類擴(kuò)展策略存在的決策冗余、樣本不對稱、存在劃分盲區(qū)等問題，是目前最高效的擴(kuò)展策略之一［6］.然而，對于一個k分類問題(k＞2，k∈R)，DAG-SVM方法一共可提供k!種不同的DDAG決策結(jié)構(gòu)，且不同的DDAG結(jié)構(gòu)存在不同的誤判偏好，可能會導(dǎo)致不同的劃分結(jié)果［7-9］.如何選擇合適的DDAG結(jié)構(gòu)，是DAG-SVM運用時必須首先考慮的問題.目前，通常通過重復(fù)試驗比較正確率或者最小化決策結(jié)構(gòu)誤判概率來選取DDAG結(jié)構(gòu)［10-13］.這些方法只考慮了診斷的正確率，而未考慮到實際工程應(yīng)用中不同誤判帶來的損失差異性.針對這一問題，本文采用誤判損失最小化支持向量機(jī)對DAG-SVM結(jié)構(gòu)進(jìn)行選擇，該方法將誤判損失作為結(jié)構(gòu)選取的重要標(biāo)準(zhǔn)，并將該方法應(yīng)用至故障診斷中.

1 DAG-SVM及其劃分偏好

1.1 DAG-SVM結(jié)構(gòu)

對于k類問題，DAG-SVM方法共有k(k－1)/2個結(jié)點分布于k層結(jié)構(gòu)中，每個結(jié)點對應(yīng)劃分特定類別的SVM分類器.其中，頂層只含1個根結(jié)點，第2層含有2個葉結(jié)點，依此類推，第i層含有i個結(jié)點.對于任意樣本，只需經(jīng)過k－1個結(jié)點即可劃分其類別(除去最底層外，每層選用1個結(jié)點).第i+1層的選用結(jié)點由第i層中選用結(jié)點的決策結(jié)果所導(dǎo)向.采用DAG-SVM 法對一組4類樣本a，b，c，d進(jìn)行決策，流程見圖1.圖中，結(jié)點a-d為針對類別a和d設(shè)計的SVM二分類器，該分類器能夠有效地對a和d兩類數(shù)據(jù)進(jìn)行識別.采用圖1所示的流程，對于任意類別樣本，該系統(tǒng)只需要經(jīng)過3次識別即可對其進(jìn)行類別定位.

圖1 四分類決策結(jié)構(gòu)

這種決策方法能在不增加決策計算量的情況下，為不同類別樣本選取不同的決策路徑，從而提高了劃分精度.同時，采用類似遞推式推理方式，可以避免傳統(tǒng)算法的劃分盲區(qū)問題.由于每個分類器都只包含2類樣本，因此不易出現(xiàn)因正、負(fù)樣本不對稱而引起的過擬合現(xiàn)象.

1.2 決策偏好

DDAG結(jié)構(gòu)不是唯一的.對于k分類問題，DAG-SVM共有k!種可行的DDAG結(jié)構(gòu)，而不同的DDAG結(jié)構(gòu)都有不同的決策偏好［7］.通常，根結(jié)點處對應(yīng)類別的劃分正確率低于葉結(jié)點處對應(yīng)類別.以圖1為例，假設(shè)每層劃分正確率為p，類別劃分正確率為r，則類別a，b，c，d的劃分正確率為

DAG-SVM任一分類節(jié)點，通常都可認(rèn)為由弱分類器構(gòu)成，即滿足

結(jié)合式(1)、(5)和(6)，可得

即對于四分類問題，DAG-SVM決策有利于類別b和c.

2 誤判損失最小化支持向量機(jī)

在實際應(yīng)用中，決策系統(tǒng)的誤判往往會帶來相應(yīng)損失，而不同的誤判帶來的損失也不一樣［7］.在故障診斷中，如果把正常狀態(tài)誤判為故障狀態(tài)，就會帶來不必要的停工或維修;如果把故障狀態(tài)誤判為正常狀態(tài)，則會導(dǎo)致設(shè)備損壞甚至更進(jìn)一步的破壞.通常而言，后者帶來的損失比前者大.

設(shè)X∈{A，B}，誤判A→B的懲罰因子為P(A)，誤判B→A的懲罰因子為P(B).分類器SVM1和SVM2對X具有相同的劃分正確率p.在SVM1中，誤判狀況為A→B;在SVM2中，誤判狀況為B→A.則這2組分類器對應(yīng)誤判損失為m(A)=P(A)(1－p)和m(B)=P(B)(1－p).

不同于傳統(tǒng)方法以最大化劃分正確率p為目標(biāo)，誤判損失最小化支持向量機(jī)同時考慮了劃分正確率p及決策結(jié)構(gòu)對應(yīng)的誤判懲罰因子，使得多分類結(jié)構(gòu)具有最小的損失風(fēng)險，因此更具現(xiàn)實意義.誤判損失最小化支持向量機(jī)的算法流程如下:

①定義誤判損失矩陣.針對k類診斷問題，生成k×k大小的誤判損失矩陣，即

式中，lij為第i類樣本被誤判為第j類所帶來的損失，由專家根據(jù)經(jīng)驗給出.

②生成損失混淆矩陣.DAG-SVM具有k!種不同的決策結(jié)構(gòu)，而每種結(jié)構(gòu)都對應(yīng)不同的誤判懲罰因子分布.根據(jù)給定的誤判損失矩陣，針對不同決策結(jié)構(gòu)生成不同的損失混淆矩陣P，以對懲罰因子的分布進(jìn)行描述.以四分類問題為例，設(shè)其第4層分布順序為a，b，c，d，則損失混淆矩陣為

式中，{a，b，c，d}∈{1，2，3，4}.

③構(gòu)建總體損失風(fēng)險函數(shù).假設(shè)每個SVM二分類器劃分正確率為p，且p∈［0.6，1］.樣本進(jìn)入無關(guān)分類器時，其類別劃分隨機(jī)，即概率為1/2.分別統(tǒng)計各類別樣本誤判會導(dǎo)致的損失風(fēng)險mi，以四分類問題為例，各類別損失風(fēng)險如表1所示，表中Pij為損失混淆矩陣的第i行第j列元素.

表1 四分類誤判的損失風(fēng)險

為誤判損失最小化支持向量機(jī)所用決策結(jié)構(gòu).

3 基于MLM-SVM的變壓器故障診斷

實驗采用的變壓器故障數(shù)據(jù)來源于文獻(xiàn)［10］.采用油中溶解氣體分析法，對變壓器運行狀況進(jìn)行測量.充油電器設(shè)備內(nèi)的絕緣油和有機(jī)絕緣材料在電和熱的作用下會產(chǎn)生各種低分子烴類氣體，溶解在油內(nèi)的各種氣體含量與變壓器的運行狀況密切相關(guān).選擇H2，CH4，C2H6，C2H4，C2H2五種氣體作為測量對象，針對變壓器正常工作情況、過熱、低能放電、高能放電這4種運行狀況進(jìn)行故障數(shù)據(jù)選取(見表2).

表2 變壓器故障樣本

根據(jù)誤判所帶來的實際經(jīng)濟(jì)損失，由專家知識可得如下的誤判損失矩陣:

則四分類問題的總體損失風(fēng)險函數(shù)為

采用誤判損失最小化支持向量選擇的結(jié)構(gòu)為 S［1342］，S［2431］，S［1432］和 S［2341］.采用3 重交叉驗證，各結(jié)構(gòu)所對應(yīng)誤判損失值如圖2所示.本文算法所選的DAG-SVM決策結(jié)構(gòu)具有明顯優(yōu)勢，驗證了該算法的有效性.

圖2 各結(jié)構(gòu)對應(yīng)誤判損失

4 結(jié)語

采用支持向量機(jī)方法解決故障診斷問題面臨的一個重要問題是如何選擇合理的決策結(jié)構(gòu).本文將誤判損失最小化支持向量機(jī)(MLM-SVM)應(yīng)用至故障診斷，與傳統(tǒng)方法以最大化劃分正確率為目標(biāo)不同，該方法以最小化誤判帶來的經(jīng)濟(jì)損失為目標(biāo)，對決策結(jié)構(gòu)進(jìn)行有效選擇.經(jīng)變壓器故障實驗驗證，該算法具有工程實用性.

References)

［1］Vapnik V.Statistical learning theory［M］.New York，USA:John Wiley＆Sons，1998.

［2］Knerr S，Personnaz L，Dreyfus G.Single-layer learning revisited:a stepwise procedure for building and training a neural network［M］.New York，USA:Springer-Veerlag，1990.

［3］Takahashi F，Abe S.Decision-tree-based multiclass support vector machines［C］//Proceedings of the 9th International Conference on Neural Information Proceeding.Singapore，2002(3):1418-1422.

［4］Platt J C，Cristianini N，Shawe-Taylor J.Large margin DAG's for multiclass classification［M］.Cambridge，UK:MIT Press，2000:547-553.

［5］Hsu C W，Lin C J.A comparison of methods for multiclass support vector machines［J］.IEEE Transactions on Neural Networks，2002，13(2):415-425.

［6］Ussivakual N，Kijsirikul B.Multiclass support vector machines using adaptive directed acyclic graph［C］//Proceedings of the IEEE/INNS'International Joint Conference On Neural Networks(IJCNN-2002).Honolulu，Hawaii，USA，2002:980-985.

［7］Ma Ruowei，Tang Chunyang.Building up default predicting model based on logistic model and misclassification loss［J］.Systems Engineering:Theory ＆Practice，2007，27(8):33-38.

［8］Parag Pendharkar，Sudhir Nanda.A misclassification cost-minimizing evolutionary-neural classification approach［J］.Naval Research Logistics，2006，53(5):432-447.

［9］Ganyun L，Cheng H Z，Zhai H B，et al.Fault diagnosis of power transformer based on multi-layer SVM classifier［J］.Electric Power Systems Research，2005，74(1):1-7.

［10］易輝，宋曉峰，姜斌，等.基于節(jié)點優(yōu)化的決策導(dǎo)向無環(huán)圖支持向量機(jī)及其在故障診斷中的應(yīng)用［J］.自動化學(xué)報，2010，36(3):427-432.Yi Hui，Song Xiaofeng，Jiang Bin，et al.Support vector machine based on nodes refined decision directed acyclic graph and its application to fault diagnosis［J］.Acta Automatica Sinica，2010，36(3):427-432.(in Chinese)

［11］王定成，姜斌.在線稀疏最小二乘支持向量機(jī)回歸的研究［J］.控制與決策，2007，22(2):132-137.Wang Dingcheng，Jiang Bin.Online sparse least square support vector machines regression［J］.Control and Decision，2007，22(2):132-137.(in Chinese)

［12］王定成，姜斌.支持向量機(jī)控制與在線學(xué)習(xí)方法研究的進(jìn)展［J］.系統(tǒng)仿真學(xué)報，2007，19(6):1177-1181.Wang Dingcheng，Jiang Bin.Review of SVM-based control and online training algorithms［J］.Journal of System Simulation，2007，19(6):1177-1181.(in Chinese)

［13］宋曉峰，陳德釗，胡上序.結(jié)構(gòu)可調(diào)的支持向量回歸估計［J］.控制與決策，2003，18(6):698-702.Song Xiaofeng，Chen Dezhao，Hu Shangxu.Adjustable structure support vector regression estimation［J］.Control and Decision，2003，18(6):698-702.(in Chinese)

Fault diagnosis based on misclassification loss minimized SVM

Yi Hui Song Xiaofeng Jiang Bin Mao Zehui
(College of Automation Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China)

In order to solve the classification bias problem in fault diagnosis based on the decision directed acyclic graph support vector machine(DAG-SVM)，a misclassification loss minimized SVM(MLM-SVM)is proposed to optimize the multi-type decision structures.Compared with conventional methods which are aimed to maximize the diagnosing accuracy，this approach takes the different losses brought by different misclassifications into consideration and sets the minimization of misclassification losses as the goal for optimization.Dealing with the k-type fault diagnosis，the MLMSVM first gives the penalty factors for all misclassification cases，and generalizes the misclassification loss confusion matrixes for all k!decision structures.Then，the misclassification loss confusion matrixes and the risk function for total losses are combined，and the misclassification losses for all corresponding decision structures are obtained.Furthermore the decision structure with the smallest misclassification loss for fault diagnosis is obtained.The approach is applied to the transformer fault diagnosis and the best structure is obtained.Then，all the k!decision structures are made for diagnosis and the corresponding misclassification losses are calculated to obtain the best structure.The two results are consistent，indicating the effectiveness of the proposed approach.

fault diagnosis;misclassification loss minimized support vector machine;selection for structure

TP183

A

1001－0505(2010)增刊(I)-0116-05

2010-05-18. 作者簡介:易輝(1984—)，男，博士生;姜斌(聯(lián)系人)，男，博士，教授，博士生導(dǎo)師，binjiang@nuaa.edu.cn.

江蘇省自然科學(xué)基金重點資助項目(BK2010072)、南京航空航天大學(xué)基本科研業(yè)務(wù)費專項科研資助項目(NS2010071).