基于核極限學(xué)習(xí)機(jī)的模擬電路故障診斷研究

?

基于核極限學(xué)習(xí)機(jī)的模擬電路故障診斷研究

陳紹煒，柳光峰，冶帥

(西北工業(yè)大學(xué)電子信息學(xué)院，陜西西安710072)

摘要:核函數(shù)極限學(xué)習(xí)機(jī)有效地避免了極限學(xué)習(xí)機(jī)(ELM)模型固有的隨機(jī)性和支持向量機(jī)(SVM)模型求解的復(fù)雜性，而且具有更快的學(xué)習(xí)速度和更好的泛化性能。因此，提出了基于核極限學(xué)習(xí)機(jī)的模擬電路故障診斷新方法，描述了電路故障特征的選取過程，建立了以核極限學(xué)習(xí)機(jī)為基礎(chǔ)的模擬電路故障診斷模型。實(shí)驗(yàn)結(jié)果表明，該方法故障診斷準(zhǔn)確率大于99%，性能優(yōu)于支持向量機(jī)和極限學(xué)習(xí)機(jī)。

關(guān)鍵詞:模擬電路;故障診斷;支持向量機(jī);核函數(shù);核極限學(xué)習(xí)機(jī)

隨著電子工業(yè)的發(fā)展，電子設(shè)備的復(fù)雜性越來越高，其中的模擬器件和電路不可缺少。理論分析和實(shí)際應(yīng)用表明，這些設(shè)備中的模擬電路較數(shù)字電路更容易發(fā)生故障。另外，隨著超大規(guī)模模擬電路的發(fā)展和電子器件復(fù)雜性的提高，對模擬電路運(yùn)行可靠性的要求更為嚴(yán)格。因此，模擬電路故障診斷技術(shù)越來越重要。

隨著人工智能技術(shù)的發(fā)展，特別是神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)能力、高超的分類能力和良好的魯棒性等優(yōu)點(diǎn)，吸引了大量的學(xué)者研究基于神經(jīng)網(wǎng)路的模擬電路故障診斷方法，并取得了較好的研究成果。迭代算法已經(jīng)在前饋神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中應(yīng)用了多年Huang等研究發(fā)現(xiàn)前饋神經(jīng)網(wǎng)絡(luò)的輸入層連接權(quán)值無需迭代調(diào)整根據(jù)這一思路，提出了一種新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練框架［1］，并稱之為極限學(xué)習(xí)機(jī)(extreme learning machine，ELM)。該方法隨機(jī)設(shè)置隱含層輸入權(quán)值，一次性求解出輸出權(quán)值的最小二乘解來完成網(wǎng)絡(luò)的訓(xùn)練。極限學(xué)習(xí)機(jī)具有速度極快、泛化性好的特點(diǎn)，已經(jīng)在分類問題中廣泛應(yīng)用。由于ELM算法隨機(jī)初始化的特點(diǎn)，難以建立基于小樣本的非線性模型。核ELM (KELM)解決了ELM算法隨機(jī)初始化的問題，并且對模型學(xué)習(xí)參數(shù)具有較好的魯棒性［2］。

本文將核極限學(xué)習(xí)機(jī)應(yīng)用于模擬電路故障診斷，以雙二次濾波器電路為診斷實(shí)例，實(shí)驗(yàn)結(jié)果表明:該方法分類準(zhǔn)確率高、推廣能力好，具有很高的魯棒性。

1　核函數(shù)極限學(xué)習(xí)機(jī)

1. 1核函數(shù)

核函數(shù)使用的基本原理是通過非線性函數(shù)Φ把輸入空間樣本數(shù)據(jù)映射到高維特征空間，然后在高維特征空間進(jìn)行數(shù)據(jù)的處理。核函數(shù)技術(shù)關(guān)鍵點(diǎn)在于通過引入核函數(shù)，就可以把非線性變換后的高維空間的內(nèi)積運(yùn)算轉(zhuǎn)變?yōu)樵驾斎肟臻g中的核函數(shù)的計(jì)算。

設(shè)xi和xj為數(shù)據(jù)空間中的樣本點(diǎn)，原始數(shù)據(jù)空間到高維特征空間的映射函數(shù)為Φ，因此，核函數(shù)方法就可以表示為實(shí)現(xiàn)向量內(nèi)積的變換:

式中:〈Φ(xi)，Φ(xj)〉為內(nèi)積，K(xi，xj)為核函數(shù)。

采用核函數(shù)映射是為了提高數(shù)據(jù)的線性可分程度，但是只有選擇了合適的核函數(shù)才能做到這一點(diǎn)。并非所有的函數(shù)都可以作為核函數(shù)，對于核函數(shù)的構(gòu)造，有如下嚴(yán)格的限制條件:

Mercer定理:對于任意的對稱函數(shù)，它是某一特征空間中的內(nèi)積運(yùn)算的充分必要條件是，對于任何不恒為零的Φ(x)，并且

在核函數(shù)方法的應(yīng)用中，核函數(shù)的選擇及相關(guān)參數(shù)的設(shè)定是核函數(shù)問題的關(guān)鍵和難點(diǎn)所在，到目前為止沒有太多的理論作為指導(dǎo)。對于核函數(shù)的選擇只要滿足Mercer核理論即可作為核函數(shù)。但現(xiàn)實(shí)工程應(yīng)用中，其實(shí)沒必要去設(shè)計(jì)出其他的核函數(shù)，使用比較常見的核函數(shù)就可以滿足一般應(yīng)用的需求，核參數(shù)的選擇則根據(jù)具體的核函數(shù)具體分析。下面為幾種比較常用的核函數(shù):

1)高斯核函數(shù):

2)線性核函數(shù):

K(x，xi) = x·xi

3) p階多項(xiàng)式核函數(shù):

K(x，xi) =［(x·xi) + 1］p

4)感知機(jī)核函數(shù):

K(x，xi) = tanh［a(x·xi) + b］

1. 2核函數(shù)極限學(xué)習(xí)機(jī)

傳統(tǒng)的基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法多采用基于最小化訓(xùn)練誤差的經(jīng)驗(yàn)風(fēng)險最小化原則的方法采用輸人輸出數(shù)據(jù)近似一個非線性函數(shù)，但這種方法通常需要較多的訓(xùn)練樣本、較長的學(xué)習(xí)時間，而且會導(dǎo)致學(xué)習(xí)模型的過擬合。Vapnik提出基于統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險最小化原則的SVM建模方法［3］通過引人核特征空間映射和訓(xùn)練誤差懲罰參數(shù)有效的避免了這一問題，但求解過車復(fù)雜、模型參數(shù)敏感度高。ELM算法是2006年由Huang等提出了一種新型單隱層前饋神經(jīng)網(wǎng)絡(luò)模型，由于其無需反復(fù)調(diào)整隱層參數(shù)，并且將傳統(tǒng)單隱層前饋神經(jīng)網(wǎng)絡(luò)參數(shù)訓(xùn)練問題轉(zhuǎn)化為求解線性方程組，利用求得的最小范數(shù)最小二乘解作為網(wǎng)絡(luò)輸出權(quán)值，整個訓(xùn)練過程一次完成。因此，訓(xùn)練速度得到極大的提高，且泛化性能更好。

與傳統(tǒng)的學(xué)習(xí)算法不同，針對輸入輸出數(shù)據(jù)，ELM的目標(biāo)是同時最小化訓(xùn)練誤差和輸出權(quán)重的范數(shù)，可表示為:

式中，β是連接隱含節(jié)點(diǎn)的權(quán)重向量，h(xi)稱為隱層核映射。

從標(biāo)準(zhǔn)優(yōu)化理論的觀點(diǎn)看，上述的優(yōu)化問題可采用簡化的約束優(yōu)化問題求解，則上述目標(biāo)可重新改寫為:

式中，ξi為訓(xùn)練誤差，C為懲罰參數(shù)。

基于KKT理論，ELM的訓(xùn)練等價于解決如下的對偶優(yōu)化問題:

式中，每個拉格朗日算子αi均對應(yīng)于第i樣本?？傻玫饺缦碌腒KT優(yōu)化條件:

式中，α=［αi，…，αN］T。

ELM的輸出表達(dá)式可直接表示為:

因此，ELM算法可歸納如下:

對于訓(xùn)練樣本(xi，ti)，其中xi=［xi1，xi2，…，xin］T∈Rn，ti=［ti1，ti2，…，tim］T∈Rm，激勵函數(shù)g(x)和L個隱含層節(jié)點(diǎn)，L≤N:

1)隨機(jī)產(chǎn)生輸入到隱含層權(quán)值向量ai和隱節(jié)點(diǎn)偏置值bi;

2)計(jì)算網(wǎng)絡(luò)的隱含層輸出矩陣H;

3)計(jì)算輸出權(quán)值β=HT(+ HHT)－1T或β=(+ HTH )－1HTT。

采用Mercer條件，ELM算法中的公式用核矩陣形式表示出來［4-5］:

②錨桿布置：錨桿排距1.0 m，每排13根。拱基線位置每側(cè)各打設(shè)一根，拱基線往下各布置5根錨桿，間距0.9 m。

因此，ELM輸出函數(shù)可以表示為:

核函數(shù)ELM算法中，隱含層節(jié)點(diǎn)的特征映射函數(shù)g(x)的具體形式可以不用給出，而只需要知道核函數(shù)K(x，xi)的具體形式就可以求出輸出函數(shù)的值。同時，因?yàn)楹撕瘮?shù)直接采用內(nèi)積的形式，在求解輸出函數(shù)值時不必去求解隱含層節(jié)點(diǎn)的個數(shù)。

因此，核函數(shù)ELM(KELM)算法可概括為［6］:

給定一個含有N個樣本的訓(xùn)練樣本集{ (xi，ti) | xi∈Rn，ti∈Rm，i = 1，2，…，N}，及核函數(shù)K(x，xi)，計(jì)算輸出方程:

可以看出，基于核函數(shù)的極限學(xué)習(xí)機(jī)可以通過單步實(shí)現(xiàn)。如果隱含層特征映射函數(shù)h(x)已知，ELM核函數(shù)的計(jì)算方法:

2　模擬電路故障診斷的KELM方法

模擬電路的故障可分為軟故障和硬故障，元件的實(shí)際值超出了容差范圍，則電路發(fā)生了軟故障，如發(fā)生了開路或短路，則電路發(fā)生了硬故障。集成度增加使得模擬電路的測試節(jié)點(diǎn)有限，因此不可能測到電路內(nèi)部的信息以幫助故障診斷，而電路的響應(yīng)包含了電路內(nèi)部所有元件的信息，從不同角度反映了電路的工作特性。在適當(dāng)?shù)募钚盘栂?，模擬電路故障特征均能單值地反映在響應(yīng)曲線上，模擬電路故障診斷的KELM方法是提取電路的響應(yīng)作為故障特征，并用KELM對這些故障特征進(jìn)行故障辨識和分類。

模擬電路故障診斷工作可分為故障特征提取和故障分類兩部分，包括3個主要步驟:

第1步對待測電路進(jìn)行靈敏度分析，選擇對輸出影響較大的元件作為故障元件，設(shè)置故障并提取各狀態(tài)下的輸出響應(yīng);

第2步對輸出響應(yīng)信號進(jìn)行小波包分解，得到各狀態(tài)下故障特征樣本，并對樣本歸一化處理;

第3步訓(xùn)練KELM。將歸一化后的電路特征數(shù)據(jù)組成訓(xùn)練樣本(xi，ti)，i = 1，2，…，N，選擇核函數(shù)求解(11)式得最優(yōu)分類函數(shù);

第4步用訓(xùn)練好的KELM進(jìn)行故障診斷。

3　故障診斷實(shí)例

以雙二次濾波器電路［7］作為診斷實(shí)例，電路如圖1所示，電路中無源器件具有±5%容差范圍。無源器件的標(biāo)稱值為: R1= 10 kΩ，R2= 10 kΩ，R3= 10 kΩ，R4=10 kΩ，R5=10 kΩ，R6=10 kΩ，C1=20 nF，C2=20 nF。假設(shè)該電路中無源器件發(fā)生單故障，且發(fā)生故障時，該器件的值位于［50%，95%］∪［105%，150%］。

圖1　雙二次濾波器

對電路進(jìn)行靈敏度分析，元件R1和C2變化時，對電路的頻率響應(yīng)影響最為顯著。作為診斷實(shí)例，故障元件選擇了R1和C2，根據(jù)發(fā)生故障時元件值變化的假設(shè)，故障模式分為4種類型如表1所示，符號分別表示偏大和偏小類型故障。

表1　故障類

對電路進(jìn)行參數(shù)分析，可以比較在故障模式和正常模式下的輸出電壓波形的差異。圖3為R1正常和故障下的輸出電壓幅頻特性。

圖2　R1正常和故障下的輸出電壓幅頻特性

從圖2中可看出，在1～30 kHz頻率范圍內(nèi)，輸出電壓Vout對應(yīng)幅值變化最大。因此，可以在1～100 kHz頻率范圍內(nèi)選取一組采樣點(diǎn)。本文選取12個采樣點(diǎn)的信號幅值即頻率分別為100、1 000、2 000、3 000、4 000、5 000、6 000、7 000、8 000、9 000、10 000、30 000下所對應(yīng)的輸出電壓V的幅值。分別對每一種模式類別下的電路進(jìn)行90次蒙特卡羅(Monte-Carlo)分析，其中60種用于訓(xùn)練，另30種用于測試。

將特征訓(xùn)練集輸入分類器中進(jìn)行訓(xùn)練，最后將測試集輸入訓(xùn)練好的分類器檢驗(yàn)分類器的性能。分別采用ELM、SVM和K-ELM分類器對電路進(jìn)行了驗(yàn)證，濾波器的故障診斷仿真結(jié)果如表2所示。

SVM算法［8-9］選用高斯核，使用LIBSVM工具包，ELM的參數(shù)是懲罰因子C和隱含層節(jié)點(diǎn)L，SVM和高斯核ELM的參數(shù)分別為懲罰因子C和核參數(shù)a。

表2　測試結(jié)果

上述結(jié)果表明，KELM的訓(xùn)練精度和測試精度要比ELM及SVM好很多，而且在訓(xùn)練時間方面存在優(yōu)勢，因此文中的方法具有較低的錯誤率和很好的推廣能力。

4　結(jié)論

本文把KELM應(yīng)用到模擬電路的故障診斷，提取了被測電路的頻域特征作為故障特征，以雙二次濾波器為實(shí)例，選擇高斯核函數(shù)建立KELM模型，實(shí)驗(yàn)結(jié)果表明KELM是一種適應(yīng)性好的模擬電路故障診斷方法，獲得了滿意的診斷效果。但是在KELM參數(shù)的選取上，因?yàn)槟壳斑€沒有形成具體的算法，本文只是把交叉驗(yàn)證算法應(yīng)用于KELM參數(shù)優(yōu)化當(dāng)中，而對于更好的優(yōu)化方法值得進(jìn)行深入研究。

參考文獻(xiàn):

［1］Huang G B，Zhu Q Y，Siew C K．Extreme Learning Machine: Theory and Applications［J］．Neurocomputing，2006，70(1/2/ 3) : 489-501

［2］Huang G B，Zhou H，Ding X，Zhang R．Extreme Learning Machine for Regression and Multi-Class Classification［J］．IEEE Trans on Systems Man and Cybernetics-Part B: Cybernetics，2011，42(11) : 513-529

［3］魯昌華，汪涌，王玲飛．基于PCA和SVM的模擬電路故障診斷［J］．電子測量與儀器學(xué)報，2008，22(3) : 66-68 Lu Changhua，Wang Yong，Wang Lingfei．Fault Diagnosis of Analog Circuit Based on PCA and SVM［J］．Journal of Electronic Measurement and Instrument，2008，22(3) : 66-68 (in Chinese)

［4］Deng W，Zheng Q，Zhang K．Reduced Kernel Extreme Learning Machine．Advances in Intelligent Systems and Computing，2013，226: 63-69

［5］Huang G B，Wang D H，Lan Y．Extreme Learning Machines: A Survey［J］．International Journal of Machine Leaning and Cybernetics，2011，10(8) : 107-122

［6］Zong W，Zhou H，Huang G，Lin Z．Face Recognition Based on Kernelized Extreme Learning Machine［C］∥Second International Conference，AIS 2011，Burnaby，BC，Canada，2011: 263-272

［7］袁海英，陳光．模擬電路的可測性及故障診斷方法研究［J］．電子測量與儀器學(xué)報，2006，20(5) : 17-20 Yuan H Y，Chen G．Research on Testability Problem and Fault Diagnosis Method in Analog Circuit［J］．Journal of Electronic Measurement and Instrument，2006，20(5) : 17-20 (in Chinese)

［8］孫永奎，陳光，李輝．支持向量機(jī)在模擬電路故障診斷中應(yīng)用［J］．電子測量與儀器學(xué)報，2008，22(2) : 72-75 Sun Y K，Chen G，Li H．Support Vector Machine for Analog Circuit Fault Diagnosis［J］．Journal of Electronic Measurement and Instrument，2008，22(2) : 72-75 (in Chinese)

［9］Long Bing，Li Min，Wang Houjun，Tian Shulin．Diagnostics of Analog Circuits Based on LS-SVM Using Time-Domain Features ［J］．Circuits，Systems，and Signal Processing，2013，32(6) : 2683-2706

A Method of Fault Diagnosis for Analog Circuit Based on KELM

Chen Shaowei，Liu Guangfeng，Ye Shuai

(Department of Electronics Engineering，Northwestern Polytechnical University，Xi’an 710072，China)

Abstract:The KELM algorithm with the characteristic of fast learning speed and strong generalization is used to construct soft sensor models; this overcomes the randomization of ELM and the complexity solution process of SVM．So a new method for analog circuit fault diagnosis based on kernel extreme learning machine (KELM) algorithm is proposed in this paper．The method for extracting the fault signatures of the circuit under test is proposed and the analog circuit fault diagnosis model based on KELM is established．The simulation results and their analysis testify preliminarily that the proposed approach for analog circuit fault diagnosis achieves excellent performance，obtaining a fault diagnosis accuracy rate of greater than 99%．

Key words:analog circuits，fault diagnosis，kernel function，KELM (Kernel extreme learning machine)

作者簡介:陳紹煒(1970—)，西北工業(yè)大學(xué)副教授，主要從事數(shù)據(jù)與計(jì)算機(jī)通信和嵌入式開發(fā)的研究。

收稿日期:2014-09-25基金項(xiàng)目:航空科學(xué)基金(2012ZD53051)資助

文章編號:1000-2758(2015) 02-0290-05

文獻(xiàn)標(biāo)志碼:A

中圖分類號:TP301．6