多分類SVDD混疊域識別的模擬電路故障診斷

仝　奇，胡雙演，葉　霞，張仲敏，李俊山

(1.第二炮兵工程大學 信息工程系，西安　710025；2.西安通信學院，西安　710106)

?

多分類SVDD混疊域識別的模擬電路故障診斷

仝奇1，胡雙演1，葉霞1，張仲敏2，李俊山1

(1.第二炮兵工程大學 信息工程系，西安710025；2.西安通信學院，西安710106)

針對多分類支持向量域數(shù)據(jù)描述(SVDD)方法中混疊樣本診斷精度差的問題，提出了一種帶異類樣本的多分類SVDD算法；該方法在普通SVDD超球模型基礎(chǔ)上，對于存在混疊區(qū)域的類別，以該類所有樣本為目標類，其他類與之混疊的樣本為異類，利用帶異類樣本的SVDD算法重新訓練，直至所有超球優(yōu)化完畢；仿真實驗驗證了文章算法消除混疊和提高精度的能力，并將該算法應用于模擬電路故障診斷中；相較與SVDD多分類算法、一對一和一對多SVM算法，文章方法在模擬電路故障診斷中具有更高的診斷精度。

支持向量域數(shù)據(jù)描述；混疊；異類樣本；故障診斷；模擬電路

0　引言

隨著電子技術(shù)的飛速發(fā)展，導彈電子防護裝備中的電路板集成度越來越高，結(jié)構(gòu)和功能也日趨復雜，而模擬電路的故障診斷和維修能力相對較弱。模擬電路的測試由于受條件和人員水平的限制，往往無法獲得完備信息，再加上當前電路中器件的緊密性，單故障可能引發(fā)多故障，導致故障診斷難度加大，采用傳統(tǒng)的故障診斷方法已不能滿足現(xiàn)有裝備的故障維修要求。因此，研究合適的模擬電路混疊故障診斷方法對確保裝備的有效性能及戰(zhàn)爭的勝利具有重要意義。

支持向量數(shù)據(jù)域描述(support vector data description，SVDD)[1]是一種常用的典型單分類器，不少研究者[2-4]將其擴展到多分類應用，即多分類SVDD(Muti-SVDD，MSVDD)。理想的MSVDD模型是各個超球之間彼此相互獨立，但在實際應用中很有可能出現(xiàn)兩個或者多個超球相互混疊的情況，如何對混疊區(qū)域樣本進行正確分類，并將改進算法應用到實際問題中，是MSVDD算法研究的熱點和難點之一。目前有許多研究學者提出各自的解決方案并應用到故障診斷問題中，例如，文獻[5]從SVDD算法本身進行改進，以消除混疊。文獻[6]提出一種基于圖譜空間映射SVDD的模擬電路故障診斷新方法，改進了標準SVDD松弛的球體描述邊界，降低了因交叉區(qū)域而產(chǎn)生的誤診率。文獻[7-8]采用了相對距離的判決方法，提出一種基于隸屬度函數(shù)的判決準則，通過考慮兩個混疊超球的大小，來改善混疊問題。文獻[9]利用絕對距離測度與相對距離測度實現(xiàn)了狀態(tài)監(jiān)測與故障分類的識別。文獻[10]在SVDD算法基礎(chǔ)上，引入超球體核距離度量，將多參數(shù)轉(zhuǎn)化為單參數(shù)，解決了參數(shù)過多相互矛盾的問題。

通過分析混疊產(chǎn)生的原因，結(jié)合前期仿真實驗結(jié)果，證實如果在SVDD訓練時加入少量異類樣本，則可以適當增強數(shù)據(jù)描述能力，使得超球體更為緊致，從而提高模型分類準確率。因此，本文在MSVDD模型訓練過程中加入異類樣本，提出一種帶異類樣本的MSVDD算法，解決多分類混疊問題，先利用仿真數(shù)據(jù)集驗證算法消除混疊和提高精度的能力，而后將該算法應用于模擬電路的故障診斷中，獲得了較理想的試驗結(jié)果。

1　MSVDD算法及其不足

相比于-支持向量機“一對一[11]”、“一對多[12]”等多分類算法，多分類SVDD算法具有模型簡單、擴展性強、計算量少等優(yōu)點。MSVDD算法的基本思想是：針對每類樣本分別進行SVDD訓練，得到各自的超球模型，然后利用各模型對測試樣本進行分類。

(1)

(2)

其中：

φ為映射函數(shù)；

(3)

其中：

σ為高斯核參數(shù)。

任一測試樣本x與超球Sk球心之間的距離可表示為：

(4)

1)樣本自身原因，比如各類樣本數(shù)量不平衡、樣本之間的模糊性等。目前，已有不少研究者針對樣本自身原因提出相關(guān)的改進算法，如文獻[13]。

2)超球體緊致性不足。通過增大拒識率fracrej或減小高斯參數(shù)σ的方法可以提高超球緊致性，但同時也使得模型的推廣能力下降；因此，在模型訓練前需要先對參數(shù)對( fracrej,σ)進行優(yōu)化。

2　帶異類樣本的MSVDD算法

通過分析多分類SVDD混疊原因，本文從另一角度出發(fā)，在最佳參數(shù)對的前提下，通過提高超球體緊致性，從而改善多分類模型的樣本混疊問題。為了提高超球的緊致性，引入了帶異類樣本的SVDD算法(SVDD with Negative Samples，NSVDD)，NSVDD算法是在SVDD訓練時加入少量異類樣本，研究發(fā)現(xiàn)這樣可以適當提高數(shù)據(jù)描述能力和模型分類準確率。當多分類存在混疊區(qū)域時，通過NSVDD算法重新訓練混疊超球，可以消除混疊，鑒于此，構(gòu)建了NMSVDD算法訓練模型，提出了帶異類樣本的多分類SVDD算法(NMSVDD)。

2.1NSVDD算法

帶異類樣本的SVDD算法的目標是建立一個包圍所有正常樣本，而將故障樣本排除在外的最小超球體。用i,j表示正常樣本的下標，p,q表示故障樣本的下標，將正常樣本標記為yi=1，故障樣本標記為yp=-1，兩類樣本的數(shù)目分別為m和n。超球體半徑為R，球心為a，則求解優(yōu)化問題可以表示為：

(5)

(6)

其中：

ξi,ξp為松弛變量；

Ci,Cp為懲罰因子。

式(5)對應的Lagrange函數(shù)如下：

(7)

其中：

αi≥0,αp≥0,βi≥0,βp≥0為Lagrange乘子。

由極值條件并化簡可得：

(8)

2.2NMSVDD算法流程

NMSVDD的基本思路是：如果某類超球與其他類超球存在混疊區(qū)域，則以該類所有樣本為目標類，其他類與之混疊的樣本為異類重新訓練超球，以增強超球體的緊致性，削減甚至消除混疊區(qū)域，同時提高模型精度。其算法的流程圖如圖1所示，其詳細步驟如下。

Step1：對待測電路信號進行提取及預處理，形成模擬電路所需的故障樣本，建立樣本集并將其分為訓練樣本和測試樣本；

Step2：利用SVDD訓練L類樣本得到L個初始超球體S1,S2,...,SL；

Step3：用式(4)依次判斷各類超球與其余超球之間是否存在混疊樣本，若不存在，則該類樣本初始模型優(yōu)化完畢，否則轉(zhuǎn)下一步；

Step4：對于存在混疊區(qū)域的類別，以該類所有樣本為目標類，其他類與之混疊的樣本為異類按NSVDD算法重新訓練超球；

Step5：判斷各類超球與其余超球之間是否存在混疊樣本，直至所有超球優(yōu)化完畢，否則返回執(zhí)行Step4。

通過前期仿真實驗，一般經(jīng)過2～3次循環(huán)，基本上可以完全消除混疊情況，因此設(shè)置算法循環(huán)次數(shù)上限為5次。

圖1　NMSVDD算法流程

3　仿真與實例分析

3.1仿真驗證與結(jié)果分析

選用鳶尾屬植物數(shù)據(jù)集(Iris dataset)進行仿真分析，Iris是標準多分類數(shù)據(jù)集，含setosa、versicolor、virginica三類樣本，每類50個，共150個樣本點，每個樣本各有四維特征，分別是：萼片長度、萼片寬度、花瓣長度和花瓣寬度。為方便直觀顯示，僅考慮花瓣長度與寬度兩個屬性，各類前25個樣本用于訓練，后25個樣本用于測試。首先使用標準MSVDD算法訓練各類超球，應用交叉驗證法確定參數(shù)對(fracrej,σ)=(0.05,0.35)，結(jié)果如圖2(a)所示。發(fā)現(xiàn)versicolor類與virginica類超球存在部分混疊，然后利用NMSVDD算法對這兩類樣本重新訓練，參數(shù)對保持不變，異類樣本拒絕因子fracrej取0.99，versicolor類訓練時，將混疊域內(nèi)的virginica類樣本作為異類樣本；類似地，virginica類訓練時，將混疊域內(nèi)的versicolor類樣本作為異類樣本，結(jié)果如圖2(b)所示。

圖2　MSVDD和NMSVDD算法分類

由圖2可以看出，本文算法能夠消除versicolor類與virginica類的混疊區(qū)域，為進一步說明NMSVDD算法的效果，分別對兩種算法訓練的versicolor和virginica超球的分類性能進行測試，利用操作者工作曲線(ROC)進行對比，ROC曲線越靠左上方，曲線下的面積(AUC值)越大，表示分類器的分類性能越好，圖3上半部分是versicolor類的ROC曲線，下半部分是virginica的ROC曲線。

圖3　MSVDD和NMSVDD算法的ROC曲線

圖3直觀顯示了本文算法較傳統(tǒng)MSVDD的優(yōu)勢，特別是virginica類的ROC曲線，兩種算法的AUC值分別0.960和0.996，本文算法的分類性能有較大的提升。測試樣本的分類結(jié)果如表1所示。

表1　MSVDD與NMSVDD分類結(jié)果

通過仿真結(jié)果可知，NMSVDD平均診斷結(jié)果為96%，較MSVDD具有更好的分類診斷效果，驗證了NMSVDD算法消除混疊和提高精度的能力。

3.2實例分析

為了驗證帶異類樣本多分類SVDD算法應用于模擬電路故障診斷的效果，以Sallen-Key帶通濾波器電路為對象，如圖4所示。

圖4　Sallen-Key帶通濾波電路

1)激勵信號和測試點的選擇：

輸入節(jié)點為5的激勵信號是幅度為5 V，基頻為10 KHz的電壓信號，節(jié)點3為輸出測試點。

2)故障元件及故障模式選擇：

采用Multisim軟件以較難判斷的軟故障為主仿真待測電路。各元件的標稱值已在圖中標出，其中電阻的容差范圍為5%，電容的容差范圍為10%。通過對電路進行靈敏度分析，發(fā)現(xiàn)R1、R2、R3和C1、C2的靈敏度較高，對電路的輸出影響較大，因此電路故障模式設(shè)定如表2所示，包括五類故障模式和電路正常模式。

表2　電路故障模式設(shè)定表

3)故障樣本的獲取：

采集輸出節(jié)點3的信號，利用Multisim對每種故障模式進行30次的Monte Carlo分析，共得到180個故障樣本集，90個樣本用來訓練，另外90個用來測試。

4)故障診斷及結(jié)果分析：

首先使用MSVDD算法進行訓練，參數(shù)對(fracrej,σ)=(0.03,5)，分析后發(fā)現(xiàn)存在4種混疊故障，對電路存在的混疊故障利用新算法重新訓練，異類樣本拒絕因子取0.99，并在相同條件下將NMSVDD算法與基于MSVDD算法、一對一、一對多SVM診斷方法的測試結(jié)果進行對比，診斷結(jié)果如表3所示。

表3　算法分類器故障診斷結(jié)果比較

由表3可以看出，將NMSVDD算法應用于模擬電路的混疊故障診斷中，其準確率比基于MSVDD算法、一對一和一對多SVM多分類算法的診斷準確率都要高許多，說明當電路出現(xiàn)模糊故障即混疊故障，模糊故障會陷入標準SVDD多個超球體的交叉區(qū)域以及SVM分類面的交叉區(qū)域，因此利用傳統(tǒng)的故障診斷方法將很難正確判斷。本文方法針對此問題，將混疊的樣本作為異類重新訓練超球，以消除混疊，實驗結(jié)果也證明了采用本文方法能夠?qū)δM電路的混疊故障診斷實現(xiàn)快速故障檢測和定位，較傳統(tǒng)的故障診斷算法有更好的診斷效果。

4　結(jié)論

本文研究了一種新的模擬電路故障診斷方法，針對經(jīng)典診斷方法在模擬電路混疊故障診斷中的不足，提出了一種帶異類樣本的多分類SVDD算法。通過仿真實驗驗證了NMSVDD算法能夠較好地消除混疊，增強數(shù)據(jù)的描述能力，使超球體更為緊致，提高了模型分類準確率。另外，在模擬電路的故障診斷實例中將本文算法與經(jīng)典的故障診斷算法作對比，從實驗結(jié)果可以看出，NMSVDD算法應用在模擬電路故障診斷中取得了較好的效果，具有很大的應用潛力。

[1]David M J T , Robert P W D.Support vector data description[J]. Machine Learning,2004,54:45-66.

[2]Kang W S, Im K H, Choi J Y. SVDD-Based Method for Fast Training of Multi-class Support Vector Classifier[A].Third International Symposium on Neural Networks[C]. Chengdu, China: Springer, 2006:991-996.

[3]Lee D, Lee J. Domain Described Support Vector Classifier for Multi-classification Problems[J]． Pattern Recognition, 2007,40(1):41-51.

[4]Luo H, Wang Y R, Cui J. A SVDD Approach of Fuzzy Classification for Analog Circuit Fault Diagnosis with FWT as Preprocessor[J]. Expert Systems with Applications,2011,38(8):10554-10561.

[5]Mu T T, Nandi A K. Multi class Classification Based on Extended Support Vector Data Description[J]. IEEE Transactions on Systems,Man,and Cybernetics—part B: Cybernetics,2009,39(5):1206-1216.

[6]羅慧, 王友仁. 基于GSM-SVDD的模擬電路故障診斷方法[J]. 電機與控制學報, 2013,17(1):108-113.

[7]Chiang J H,Hao P Y.A New Kernel-based Fuzzy Clus-tering Approach: Support Vector Clustering with Cell Growing[J]. IEEE Transation on Fuzzy System 2003,11(4):518-527.

[8]Liu S,Liu Y K,Wang B,et al. An Improved Hyper-sphere Support Vector Machine[A]Third International Conference on Natural Computation[C]. Haikou, China: IEEE,2007:497-500.

[9]王濤, 李艾華, 王旭平, 等. 基于SVDD與距離測度的齒輪泵故障診斷方法研究[J]. 振動與沖擊, 2013,32(11):62-65.

[10]李冬, 李本威, 王永華, 等. 基于聚類和多尺度優(yōu)化的超球體核距離評估的航空發(fā)動機性能衰退[J]. 推進技術(shù), 2013,34(7):977-983.

[11]Debnath R, Takahide N, Takahashi H.A decision based on one-against-one method for multi-class support vector machine[J]. Pattern Anal Applic 2004, 27(5):164-175.

[12]R. Rifkin, A Klautau. In defense of One-vs-all classification[J].J Mach. Learning Res,2004(5):101-141.

[13]李傳亮, 王友仁, 羅慧,等. 全樣本支持矢量數(shù)據(jù)描述模擬電路故障分類[J]. 電工技術(shù)學報, 2012,27(8):215-221.

An Approach to Discriminate Overlap Region of Multi-class Classification SVDD for Analog Circuits Fault Diagnosis

Tong Qi1, Hu Shuangyan1, Ye Xia1, Zhang Zhongmin2, Li Junshan1

(1.Department of Information Engineering, Second Artillery Engineering University, Xi’an710025, China;2. Xi’an Communications Institute, Xi’an710106, China)

To improve the discrimination accuracy of conventional multi-class classification support vector data description (SVDD) methods, a multiple classification Support vector data description algorithm with Negative Samples is proposed. Based on the general model of SVDD, the proposed algorithm treats the samples in the class as the target class, while the other classes of overlap and sample is heterogeneous for the overlap region. By using SVDD algorithm with Negative samples, the hypersphere model is trained again until all hypersphere models optimized. Simulated experimental results show that the proposed algorithm can eliminate overlap and improve the discrimination accuracy. The algorithm is applied in the implemention of analog circuits fault diagnosis, comparing with SVDD classification algorithm, one-to-one and one-to-many SVM algorithm, results show that the algorithm is more effective and higher accuracy in fault diagnosis.

support vector data description; overlap region; heterogeneous samples; fault diagnosis; analog circuit

2015-07-09；

2015-09-06。

仝奇(1988-)，男，河南開封人，碩士研究生，主要從事裝備故障診斷方向的研究。

葉霞(1977-)，女，,江蘇南京人，副教授，碩士生導師，主要從數(shù)據(jù)庫、指揮信息系統(tǒng)方向的研究。

1671-4598(2016)01-0050-04

10.16526/j.cnki.11-4762/tp.2016.01.013

TP391

A

李俊山(1956-)，男，陜西白水人，教授，博士生導師，主要從事圖像處理與目標識別、網(wǎng)絡(luò)信息安全、電子對抗模擬與仿真方向的研究。