基于l2正則化回聲狀態(tài)網(wǎng)絡(luò)的模擬電路故障診斷*

王 洪,牛曉靈

(平頂山工業(yè)職業(yè)技術(shù)學(xué)院計算機系,河南 平頂山 467001)

基于l2正則化回聲狀態(tài)網(wǎng)絡(luò)的模擬電路故障診斷*

王 洪*,牛曉靈

(平頂山工業(yè)職業(yè)技術(shù)學(xué)院計算機系,河南 平頂山 467001)

為了提高模擬電路故障診斷的準確率,提出了一種基于l2正則化回聲狀態(tài)網(wǎng)絡(luò)(l2-RESN)的模擬電路故障診斷方法。l2-RESN在ESN的約束優(yōu)化函數(shù)中引入l2正則化因子,推導(dǎo)帶正則化因子的ESN輸出權(quán)重計算公式,避免傳統(tǒng)的ESN算法因矩陣奇異而降低模型泛化能力。實驗結(jié)果表明,相比于支持向量機(SVM)和標準ESN,l2-RESN的診斷準確率分別提高1.11%和18.34%。證明l2-RESN能夠有效提高模擬電路診斷的準確性。

模擬電路;故障診斷;神經(jīng)網(wǎng)絡(luò);拉格朗日函數(shù)

模擬電路因存在著模型的非線性、器件的容差性以及故障模式的多樣性等因素,傳統(tǒng)的故障診斷方法已經(jīng)不適合對其進行準確的診斷。近些年來,隨著人工智能技術(shù)的快速發(fā)展,神經(jīng)網(wǎng)絡(luò)[1-2]、支持向量機[3-4]、D-S證據(jù)理論[5]等智能算法先后應(yīng)用于模擬電路的故障診斷,取得了一定的研究成果。其中,回聲狀態(tài)網(wǎng)絡(luò)(ESN)作為一種新型的遞歸神經(jīng)網(wǎng)絡(luò),其隱含層的權(quán)值通過隨機方式預(yù)先生成,而只有輸出層權(quán)值系數(shù)需要訓(xùn)練得到,具有穩(wěn)定性好、網(wǎng)絡(luò)結(jié)構(gòu)簡單、訓(xùn)練速度快和非線性映射能力強等優(yōu)點,已經(jīng)在時間序列預(yù)測[6-8]、話務(wù)量預(yù)測[9]、故障預(yù)測[10]等領(lǐng)域得到了應(yīng)用。目前,回聲狀態(tài)網(wǎng)絡(luò)在模擬電路故障診斷方面還處于初步研究階段,相關(guān)研究成果相對較少。文獻[11-12]分別將集成思想和時間窗函數(shù)引入ESN,并將其應(yīng)用于模擬電路故障診斷中。

對于ESN而言,過少的隱節(jié)點會造成欠擬合現(xiàn)象,降低ESN模型預(yù)測的準確性,因此需要增加ESN的隱節(jié)點數(shù)目,但是過多的隱節(jié)點會造成過擬合現(xiàn)象,引起輸出權(quán)值矩陣出現(xiàn)奇異,從而導(dǎo)致求解無效現(xiàn)象,降低ESN模型的泛化能力。理論和實驗已經(jīng)證明[13-14],l2正則化能夠有效地避免過擬合問題。為此,本文將l2正則化因子引入ESN輸出權(quán)重矩陣計算公式中,標準測試電路的實驗結(jié)果證實了改進方法在模擬電路故障診斷中的有效性。

1 l2正則化回聲狀態(tài)網(wǎng)絡(luò)

1.1 ESN模型

ESN的狀態(tài)方程可以表示成如下形式:

u(k+1)=f(Winx(k+1)+Wuu(k))

(1)

t(k+1)=βu(k)

(2)

式中:x(k)∈RM、u(k)∈RL和t(k)∈R分別表示輸入變量、狀態(tài)變量和輸出變量。Win∈RL×M、Wu∈RL×L和β∈RL分別表示輸入矩陣、儲備池內(nèi)部連接矩陣和輸出權(quán)重矩陣,L表示內(nèi)部連接層節(jié)點數(shù)。Win和Wu通過隨機方式產(chǎn)生并保持常數(shù)不變。

式(2)可以表示成矩陣形式為,

Hβ=T

(3)

式中:

H=[u(1)u(2) …u(N)]T

(4)

T=[t(1)t(2) …t(N)]T

(5)

式中:N表示狀態(tài)變量數(shù)量,式(3)中的權(quán)重矩陣β可以按式(6)計算,

(6)

式中:H?表示H的Moore-Penrose廣義逆矩陣[15]。

1.2l2-RESN

為了解決ESN學(xué)習(xí)中的過擬合問題,避免出現(xiàn)奇異矩陣,需要在經(jīng)驗風(fēng)險和結(jié)構(gòu)風(fēng)險中尋求折衷,為此,需要對ESN進行如下約束優(yōu)化:

(7)

式中:p=1,2,…,N,λ為l2正則化因子,用于調(diào)節(jié)經(jīng)驗風(fēng)險和結(jié)構(gòu)風(fēng)險。βi為連接內(nèi)部層第i個節(jié)點的權(quán)重,β=[β1β2…βN]T。ε=[ε1ε2…εN]T為誤差。為了求解上述式(7)的優(yōu)化問題,需要建立如下拉格朗日函數(shù),

(8)

式中:w=[w1w2…wN]為拉格朗日權(quán)值,H和T如式(4)和式(5)所示。

對式(8)中的各變量求偏導(dǎo),然后令偏導(dǎo)數(shù)為零,則得到如下結(jié)果,

(9)

對于被預(yù)測樣本x的二分類問題,決策方程為

(10)

對于被預(yù)測樣本x的多分類問題,決策方程為

(11)

式中:gi(x)為第i個輸出節(jié)點的輸出,且g(x)=[g1(x),…,gm(x)]T。

整理后,得l2-RESN算法流程為:

步驟2 隨機產(chǎn)生輸入矩陣Win和儲備池內(nèi)部連接矩陣Wu。

步驟3 計算內(nèi)部層輸出矩陣H。

H=[u(1)u(2) …u(N)]T

(12)

(13)

步驟5 當有新的輸入變量x到來時,按照式(1)計算h(x)。

h(x)=u(Nx)

(14)

步驟6 將h(x)代入式(10)或式(11)得到分類結(jié)果。

2 基于l2-RESN的模擬電路故障診斷

模擬電路的故障診斷主要包括故障特征提取和故障類型分類兩部分,則基于l2-RESN的模擬電路故障診斷流程整理如下:

步驟1 采集模擬電路輸出的原始信號,利用小波分解等方法提取能夠反映電路故障的特征。

步驟3 利用訓(xùn)練好的l2-RESN診斷電路故障。

3 故障診斷實例

3.1 實驗數(shù)據(jù)

以模擬和混合信號測試標準電路中的CTSV濾波電路作為診斷實例,電路如圖1所示。

圖1 CTSV濾波電路

電路中每個無源器件的標稱值如圖1所示,電阻和電容均具有±5%容差。假設(shè)電路中的無源器件發(fā)生單故障,故障模式包括硬故障和軟故障兩種,對于軟故障,設(shè)定元件偏離其標稱值的±50%。設(shè)置電路出現(xiàn)的硬故障種類為9種,軟故障種類為8種,連同電路無故障時的狀態(tài),則17種故障狀態(tài)Fi(i=1,2,…,17)和無故障狀態(tài)F0如表1所示。

表1 電路故障類型(F0無故障)

采用Pspice仿真待測電路,給電路輸入端施加一幅度為1 V,頻率為1 kHz的正弦電壓信號。設(shè)置采樣頻率為40 kHz,對每種故障狀態(tài)進行71次蒙特卡洛仿真,對每次響應(yīng)輸出采集512個數(shù)據(jù)點,進行4層db5小波分解,利用近似系數(shù)和細節(jié)系數(shù)的能量構(gòu)成五維特征向量,作為故障特征參數(shù)集合。

將樣本分為3部分,前31次蒙特卡洛仿真得到的558個樣本作為訓(xùn)練樣本集,另20次蒙特卡洛仿真得到的360個樣本作為參數(shù)優(yōu)化樣本集,用于優(yōu)化故障診斷模型的參數(shù),最后20次蒙特卡洛仿真得到的360個樣本作為測試樣本集。

3.2 參數(shù)選擇

為了證明本文提出方法的有效性,利用支持向量機(SVM)和標準回聲狀態(tài)網(wǎng)絡(luò)(ESN)作為對比方法,其中SVM采用OSU-SVM工具箱提供的函數(shù)。

圖2 識別準確率

對于SVM,懲罰參數(shù)C和核參數(shù)γ影響著故障診斷的準確率,對于ESN,儲備池內(nèi)部神經(jīng)元個數(shù)L需要人為確定,對于l2-RESN,正則化因子λ和儲備池內(nèi)部神經(jīng)元個數(shù)L影響著識別準確性。為此,利用網(wǎng)格搜索法確定不同方法的最優(yōu)參數(shù),對于SVM,分別令C和γ={2-24,2-23,…,224,225},根據(jù)網(wǎng)格搜索法求出每一對C和γ對應(yīng)的用于優(yōu)化模型參數(shù)樣本的識別準確率。同理,對于ESN,令L={100,200,…,2 000},對于l2-RESN,分別令λ={2-24,2-23,…,224,225}和L={100,200,…,2 000},計算識別準確率。則SVM、ESN和l2-RESN 3種方法對參數(shù)優(yōu)化樣本的識別準確率如圖2所示,參數(shù)尋優(yōu)結(jié)果如表2所示。

表2 參數(shù)尋優(yōu)結(jié)果

3.3 實驗結(jié)果

對于SVM、ESN和l2-RESN 3種方法,利用訓(xùn)練樣本和表2所示的參數(shù)建立故障診斷模型,對測試樣本進行測試,3種方法對測試樣本的分類準確率如表3所示。

由表3可以看出,ESN方法的平均診斷準確率為75.83%,SVM和l2-RESN的平均診斷準確率分別為93.06%和94.17%,本文提出的l2-RESN的診斷結(jié)果優(yōu)于ESN和SVM,尤其對于故障F1、F2、F9,RESN的診斷準確率最高,說明將正則化因子引入ESN后,可以有效提高ESN診斷模型對不同故障的識別準確率,從而證明本文方法的有效性。

表3 不同方法的診斷正確率 單位:%

4 結(jié)論

本文提出了一種新的模擬電路故障診斷方法。為了解決傳統(tǒng)ESN診斷法容易產(chǎn)生奇異矩陣,繼而影響模型泛化能力,降低故障診斷準確性的問題,提出了一種基于l2-RESN的模擬電路故障診斷方法。對標準濾波電路進行測試診斷,相比于SVM和傳統(tǒng)的ESN,本文提出的l2-RESN方法的診斷結(jié)果優(yōu)于ESN和SVM,實驗結(jié)果證明了本文提出方法的有效性。

[1] Zhao Dongsheng,He Yuzhu. A Novel Binary Bat Algorithm with Chaos and Doppler Effect in Echoes for Analog Fault Diagnosis[J]. Analog Integrated Circuits and Signal Processing,2016,87(3):1-14.

[2] 周柏清,王劉濤,任勇軍. FMM神經(jīng)網(wǎng)絡(luò)結(jié)合CART的感應(yīng)電動機故障診斷方法[J]. 電子器件,2016,39(4):993-999.

[3] Hongzhi Hu,Shulin Tian,Qing Guo. The Application of HIWO-SVM in Analog Circuit Fault Diagnosis[J]. International Journal of Pattern Recognition and Artificial Intelligence,2015,15(1):1-10.

[4] 馮志剛,王茹,田豐. 基于MVRVM回歸和RVM二叉樹分類的自確認氣動執(zhí)行器故障診斷算法[J]. 傳感技術(shù)學(xué)報,2015,28(6):843-849.

[5] Hong Zhu. Fault Diagnosis for Analog Circuits Based on D-S Evidence Theory and PSO Neural Network[J]. Computer Measurement and Control,2013,13(1):1-6.

[6] Shu Xian Lun,Xian Shuang Yao,Hong Yun Qi. A Novel Model of Leaky Integrator Echo State Network for Time-Series Prediction[J]. Neurocomputing,2015,159(3):58-66.

[7] Lun S X,Lin J,Yao X S. Time Series Prediction with an Improved Echo State Network Using Small World Network[J]. Acta Automatica Sinica,2015,41(9):1669-1679.

[8] Xiaomin Xu,Dongxiao Niu,Ming Fu. A Multi Time Scale Wind Power Forecasting Model of a Chaotic Echo State Network Based on a Hybrid Algorithm of Particle Swarm Optimization and Tabu Search[J]. Energies,2015,8(11):12388-12408.

[9] Filippo Maria Bianchi,Simone Scardapane,Aurelio Uncini. Prediction of Telephone Calls Load Using Echo State Network with Exogenous Variables[J]. Neural Networks,2015,71(3):204-213.

[10] Simon Morando,Samir Jemei,Daniel Hissel. Predicting the Remaining Useful Lifetime of a Proton Exchange Membrane Fuel Cell using an Echo State Network[J]. International Discussion on Hydrogen Energy and Applications,2014,1(1):1-9.

[11] 彭喜元,郭嘉,王建民. 基于隨機子空間與多儲備池的分類方法[J]. 儀器儀表學(xué)報,2011,32(11):2487-2492.

[12] 郭嘉,雷苗,彭喜元. 基于相應(yīng)簇回聲狀態(tài)網(wǎng)絡(luò)靜態(tài)分類方法[J]. 電子學(xué)報,2011,39(s1):14-18.

[13] 張文林,張連海,牛銅. 基于正則化的本征音說話人自適應(yīng)方法[J]. 自動化學(xué)報,2012,38(12):1950-1957.

[14] José M Martínez-Martínez,Pablo Escandell-Montero. Regularized Extreme Learning Machine for Regression Problems[J]. Neurocomputing,2011,74(17):3716-3721.

[15] Huang Guangbin,Zhu Qinyu,Siew Chee Kheong. Extreme Learning Machine:Theory and Applications[J]. Neurocomputing,2006,70(1):489-501.

AnalogCircuitFaultDiagnosisBasedonl2RegularizationEchoStateNetwork*

WANGHong*,NIUXiaoling

(Department of Computer,Pingdingshan Industrial College of Technology,Pingdingshan Hen’an 467001,China)

In order to improve analog circuit fault diagnosis accuracy,an analog circuit fault diagnosis algorithm based onl2regularization echo state network(l2-RESN)is proposed.l2regularization factor is introduced into ESN constrained optimization function. ESN output weight computation formula with regularization factor is deduced,which avoids the problem of reducing the model generalization ability due to singular matrix. Experiment result shows that,comparing with support vector machine(SVM)and standard ESN,l2-RESN fault identification accuracy rate increases 1.11% and 18.34% separately. The result indicates thatl2-RESN improves analog circuit diagnosis accuracy effectively.

analog circuit;fault diagnosis;neural network;lagrange function

10.3969/j.issn.1005-9490.2017.05.044

項目來源:河南省科技廳重點科技攻關(guān)項目(152102310463)

2016-07-18修改日期2016-09-09

TN710

A

1005-9490(2017)05-1283-04

王洪(1975-),女,副教授,主要研究方向為計算機控制與仿真,whteacher@163.com。