改進(jìn)LDA在模擬電路故障預(yù)測(cè)中的應(yīng)用

金川，李小珉，田沿平

（海軍工程大學(xué) 電子工程學(xué)院，湖北 武漢 430033）

隨著復(fù)雜電子系統(tǒng)的應(yīng)用，人們對(duì)故障診斷的準(zhǔn)確性和預(yù)測(cè)性的需求也與日俱增。有效的診斷與預(yù)測(cè)技術(shù)能通過監(jiān)測(cè)系統(tǒng)早期故障信息判斷當(dāng)前的失效狀態(tài)，并結(jié)合各種資源信息預(yù)測(cè)故障發(fā)展趨勢(shì)，從而在系統(tǒng)失效前進(jìn)行維修。

狀態(tài)監(jiān)測(cè)與健康管理[1]技術(shù)能有效降低系統(tǒng)周期費(fèi)用，提高系統(tǒng)的綜合效能，在可靠性要求高的軍、民系統(tǒng)中得到廣泛應(yīng)用。我國(guó)，目前該方面的研究集中在電力、橋梁領(lǐng)域，其他方面的應(yīng)用還比較少。

當(dāng)故障元件超出容差正常范圍但是偏離程度較?。ú考]有完全失效），電子系統(tǒng)處于弱故障狀態(tài)下，電路的狀態(tài)特征會(huì)隨著元件參數(shù)的變化而改變，但提取的原始特征有很高的維數(shù)和冗余性。數(shù)據(jù)的高維性在增加算法計(jì)算量的同時(shí)會(huì)導(dǎo)致維數(shù)災(zāi)難和小樣本問題，所以特征提取非常關(guān)鍵。文中提出一種維數(shù)簡(jiǎn)約特征提取方法，嘗試用改進(jìn)的線性辨別分析法（LDA）對(duì)電路狀態(tài)特征進(jìn)行預(yù)處理，用隱馬爾科夫模型作分類器來識(shí)別系統(tǒng)早期故障狀態(tài)，并與其他方法實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比，驗(yàn)證該方法的有效性。

1 特征提取

特征提取是根據(jù)變換方式可分為線性方法和非線性方法。典型的線性特征提取法有主成元分析[2]與線性辨別分析[3]。PCA是一種無監(jiān)督特征提取法，目的是尋找樣本離散度最大的方向矢量，LDA是有指導(dǎo)特征提取法，通過尋找類間散度與類內(nèi)散度最大比值來進(jìn)行最優(yōu)線性變換。

1.1 LDA

LDA是模式識(shí)別經(jīng)典算法，它主要將高維樣本投影到最佳鑒別矢量空間，來達(dá)到抽取分類信息和約減特征維數(shù)的效果，預(yù)處理后保證樣本在新的子空間有最大的類間距和最小的類內(nèi)散度，保證樣本在投影子空間中獲得最好可分離性。

在 Rm空間有 n 個(gè)樣本（x1，x2，…，xn），xi是第 i個(gè)樣本，mi表示屬于第i類樣本的個(gè)數(shù)，設(shè)此空間共有c類樣本。

1）u是所有樣本的均值

2）ui是各類樣本均值

3）樣本類間離散度

4）樣本類內(nèi)離散度

根據(jù)Fisher鑒別準(zhǔn)則表達(dá)式

為獲得最優(yōu)線性變換得到的投影矩陣W，上述表達(dá)式變換為尋找J（W）的最大值。

利用Fisher準(zhǔn)則來獲得最優(yōu)線性變換的同時(shí)經(jīng)常面臨兩個(gè)問題：一個(gè)是提取的特征維數(shù)遠(yuǎn)超樣本數(shù)的小樣本問題[4]，此時(shí)類內(nèi)離散度奇異或接近奇異，造成LDA失效；一個(gè)是秩限制問題[5]，此時(shí)c類樣本獲得的最優(yōu)判別向量數(shù)小于c。

為解決小樣本問題，一般先對(duì)樣本進(jìn)行一次PCA降維處理，消除樣本的冗余性，進(jìn)而使類內(nèi)離散度非奇異，然后再采用LDA算法（PCA+LDA）[6]。還有一種方法是通過增加一個(gè)擾動(dòng)參數(shù)來保證類內(nèi)離散度的非奇異（RDA）。還有零空間法和DLDA等。

1.2 本文算法

上述算法在解決小樣本問題的同時(shí)也容易造成類內(nèi)離散度零空間信息的丟失，本文提出一種改進(jìn)的線性判別分析法。它能在提取類內(nèi)離散度零空間和非零空間中的信息的同時(shí)解決小樣本問題和秩限制問題。

首先將式（1）進(jìn)行變換

若α、λ分別為方陣A的特征值、特征向量，則exp（A）的特征值、特征向量為 α、exp（λ）。

所以式（2）可變?yōu)?/p>

最終將尋找最佳投影方向問題轉(zhuǎn)化為求解（exp（Sw））-1exp（Sb）特征向量問題，經(jīng)分析該求職問題共有兩種情況：

1）w exp（Sw）w=1，此時(shí)等價(jià)于傳統(tǒng)LDA算法中的wTSww=0的情況，改進(jìn)后的算法就能較好地利用Sw零空間信息。

2）wTexp（Sw） w≠1，此時(shí)等價(jià)于 LDA 算法中類內(nèi)離散度非奇異狀況，也能有效提取有效特征信息。

2 HMM

隱馬爾科夫模型（Hidden Markov Model，HMM）是一種典型的統(tǒng)計(jì)信號(hào)處理方法，廣泛應(yīng)用于信號(hào)處理的各個(gè)領(lǐng)域。其基本理論是在1970年前后建立起來的，隨后被應(yīng)用于語音識(shí)別領(lǐng)域。HMM可分為離散隱馬爾科夫模型和連續(xù)隱馬爾科夫模型兩種，在電子系統(tǒng)試驗(yàn)方面采用連續(xù)隱馬爾科夫模型能取得較好的實(shí)驗(yàn)效果。

HMM 可以定義為 5 個(gè)基本參數(shù)集合：λ=（S，V，π，A，B）；S為有限狀態(tài)集合；V為有限觀察符號(hào)集合；π是初始化概率向量；A是狀態(tài)轉(zhuǎn)移矩陣；B是觀察概率矩陣。

HMM可解決3類問題：

1）評(píng)估問題：利用前向算法計(jì)算給定序列生成觀察序列的概率；

2）解碼問題：利用Viterbi算法尋找生成觀測(cè)序列的最大概率的狀態(tài)序列；

3）學(xué)習(xí)問題：利用Baum-Welch算法通過對(duì)觀測(cè)序列的訓(xùn)練尋找符合要求的模型[7]。

本文主要利用HMM解決第3類問題，首先設(shè)置連續(xù)HMM的初始參數(shù)建立初始模型λ0，然后利用Baum-Welch算法基于λ0和觀察序列訓(xùn)練新模型λ直至達(dá)到預(yù)期效果[8]。

3 實(shí) 驗(yàn)

實(shí)驗(yàn)主要分為特征向量提取、模型訓(xùn)練和故障識(shí)別3步。

圖1 故障識(shí)別框圖Fig.1 Schematic diagram of the faults identification

由于系統(tǒng)發(fā)生單類故障情況的概率遠(yuǎn)超其他的概率，所以本文主要討論單類故障的情況。如圖選擇一個(gè)二階高通濾波器為例來驗(yàn)證本文算法的有效性。

圖2 二階高通濾波器Fig.2 Second-order high-pass filter

實(shí)驗(yàn)時(shí)選擇 R1、R2、R5、R6、C1、C2作為故障元件，設(shè)置電路中電阻的容差為±10%，電容的容差范圍為±5%。故障分為增大和減少兩類（電阻和電容向上超出容差范圍和向下超出容差范圍兩類），則電路共有12類故障狀態(tài)，再加上正常態(tài)共有13類狀態(tài)。

實(shí)驗(yàn)步驟如下：

1）電路分析。 設(shè)置 R1=6.2 kΩ，R2=6.2 kΩ，R3=6.2 kΩ，R4=1.6 kΩ，R5=5.1 kΩ，R6=10 kΩ，C1=5 nF，激勵(lì)源設(shè)為 2 V，幅角為0°，電路輸出點(diǎn)作為測(cè)試點(diǎn)。首先分析正常態(tài)下的電路幅頻響應(yīng)，得出電路的轉(zhuǎn)折頻率為10 kHz，所以選擇10.5 kHz，11 kHz，11.5 kHz，12 kHz，12.5 kHz和 13 kHz作為測(cè)試頻率。

2）樣本提取。將電路每類狀態(tài)下5個(gè)測(cè)試頻率對(duì)應(yīng)的輸出電壓值作為一個(gè)電壓特征向量。每類狀態(tài)進(jìn)行600次蒙特卡羅仿真則得到600個(gè)特征向量，將其平均分為訓(xùn)練和測(cè)試樣本兩類。

3）特征降維。將各類狀態(tài)對(duì)應(yīng)的測(cè)試和訓(xùn)練樣本分為長(zhǎng)度為10的序列，則各狀態(tài)均得到30個(gè)訓(xùn)練樣本序列和30個(gè)測(cè)試樣本序列。先將訓(xùn)練樣本序列分別采用LDA、PCA、PCA+LDA及本文算法進(jìn)行降維處理，保存映射矩陣。然后將測(cè)試樣本經(jīng)映射矩陣轉(zhuǎn)換得到處理后的測(cè)試特征序列。

4）訓(xùn)練參數(shù)設(shè)定。將訓(xùn)練模型的狀態(tài)數(shù)設(shè)置為10，初始狀態(tài)概率 π 設(shè)為 [1，0，0， …，0]， 狀態(tài)轉(zhuǎn)移矩陣 A設(shè)為[0.5，0.5，0，…，0；0，0.5，0.5，0，…，0；…；0，0，…，0，0，1]，觀察概率矩陣B的值由K均值迭代法獲取。

5）樣本訓(xùn)練。將經(jīng)降維處理的后的訓(xùn)練樣本訓(xùn)練各狀態(tài)對(duì)應(yīng)的HMM模型。

6）故障識(shí)別。輸入測(cè)試樣本，檢驗(yàn)各狀態(tài)對(duì)應(yīng)的故障識(shí)別率。

實(shí)驗(yàn)結(jié)果如表1所示。

表1 故障識(shí)別率Tab.1 Fault recognition rate

從上表可看出，改進(jìn)后的LDA提取的特征具有最高的故障識(shí)別率，說明該方法提取的特征向量具有最多的有效信息，而PCA因?yàn)樵谔崛∵^程中沒有考慮提取過程中特征的類別信息。

4 結(jié) 論

本文針對(duì)電路早期故障狀態(tài)難以辨識(shí)的特點(diǎn)，利用線性辨別分析法對(duì)電路的頻響電壓特征進(jìn)行消除冗余和降維處理；同時(shí)針對(duì)傳統(tǒng)LDA面臨的小樣本問題和秩限制問題，提出了一種改進(jìn)的線性辨別分析算法。該方法重新定義了類內(nèi)離散度矩陣零空間和非零空間中的信息。通過與其他方法進(jìn)行比較的實(shí)驗(yàn)，結(jié)果表明，本文方法對(duì)模擬電路早期故障的識(shí)別能力優(yōu)于其他方法。

[1]袁海文，王秋生.工程系統(tǒng)中的智能故障診斷與預(yù)測(cè)[M].北京：國(guó)防工業(yè)出版社，2013.

[2]Jolliffe IT.Principal component analysis[M].Springer Verlag，2002.

[3]Duda R O，Hart P E.Pattern classification and scene analysis[M].A Wiley-Interscience Publication，1973.

[4]劉忠寶，王士同.改進(jìn)LDA算法及秩限制問題研究[J].計(jì)算機(jī)工程及應(yīng)用，2010，46（32）：17-20.LIU Zhong-bao，WANG Shi-tong.Improved LDA algorithm and research on rank limitation[J].Computer Engineering and Applications，2010，46（32）:17-20.

[5]李道紅.線性判別分析新方法研究及其應(yīng)用[D].南京：南京航空航天大學(xué)，2005.

[6]Swets D，Weng J.Using Discriminant Eigenfeatures for Image Retrieval[J].IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1996，18（8）:831-836

[7]許麗佳，黃建國(guó)，王厚軍.基于HMM的模擬電路故障診斷方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22（7）：1216-1222.XU Li-jia，HUANG Jian-guo，WANG Hou-jun.A method for the diagnosis of the incipient faults in analog circuits using HMM[J].Journal of Computer-Aided Design&Computer Graphics，2010，22（7）:1216-1222.

[8]ZENG Qing-hu，QIU Jing，LIU Guan-jun，et al.Equipment Degradation State Recognition Method and Its Applications Based on Wavelet Feature Scale Entropy and Hidden Semimarkov models[J].Acta Armamentarii，2008，20（12）:198-203.