基于增量稀疏核極限學(xué)習(xí)機(jī)的柴油機(jī)故障在線診斷

劉 敏， 張英堂， 李志寧， 范紅波

(陸軍工程大學(xué)石家莊校區(qū) 七系， 石家莊 050003)

柴油機(jī)故障在線診斷是在設(shè)備不停機(jī)狀態(tài)下對(duì)其運(yùn)行中故障進(jìn)行及時(shí)發(fā)現(xiàn)、診斷并排除，從而維護(hù)設(shè)備安全可靠運(yùn)行的有效手段.在線診斷具備對(duì)實(shí)時(shí)樣本進(jìn)行再學(xué)習(xí)以更新自我診斷精度的能力，從而解決了離線診斷因基于少量標(biāo)記樣本進(jìn)行一次性學(xué)習(xí)而導(dǎo)致的診斷模型準(zhǔn)確性與泛化性較差的問題.但是在線診斷中，由于樣本在線貫序累積，利用新舊樣本全體對(duì)診斷模型重復(fù)建模，會(huì)導(dǎo)致模型膨脹、過學(xué)習(xí)和更新時(shí)間過長(zhǎng)，所以難以滿足在線處理的實(shí)時(shí)性與準(zhǔn)確性要求[1-2].

樣本稀疏化和增量式建模是解決以上問題的有效方法[3-4].文獻(xiàn)[1]中提出在線貫序極限學(xué)習(xí)機(jī)，實(shí)現(xiàn)了新樣本擴(kuò)充后模型的增量更新，但由于極限學(xué)習(xí)機(jī)泛化性能較差，且未對(duì)樣本進(jìn)行稀疏化，模型在線診斷效率有待提高.Huang等[5]提出的核極限學(xué)習(xí)機(jī)(KELM)，相比于極限學(xué)習(xí)機(jī)和支持向量機(jī)等，具有較快學(xué)習(xí)速度和更好的穩(wěn)定性與泛化性.文獻(xiàn)[6]中提出在線貫序核極限學(xué)習(xí)機(jī)(OSKELM)分類模型，但未對(duì)樣本進(jìn)行前向稀疏與后向刪減，且未限制模型規(guī)模，從而導(dǎo)致模型膨脹和在線更新效率較低.文獻(xiàn)[7]中基于滑動(dòng)時(shí)間窗與Cholesky分解提出了帶有遺忘機(jī)理的在線KELM(FOKELM)，雖具備舊樣本后向刪減能力，在一定程度上限制了模型膨脹，但由于無(wú)法區(qū)分新樣本中的有效和冗余樣本，導(dǎo)致在線模型的泛化性與時(shí)效性較差.文獻(xiàn)[8]中提出了基于近似線性獨(dú)立(ALD)的OSKELM(ALD-OSKELM)，通過預(yù)設(shè)誤差閾值篩選有效樣本更新學(xué)習(xí)模型，實(shí)現(xiàn)了樣本的有區(qū)別取舍，但閾值設(shè)定的人為經(jīng)驗(yàn)誤差較大，自適應(yīng)性較差.

針對(duì)在線診斷中樣本稀疏化效率低、模型膨脹和更新速度慢等問題，本文提出了增量稀疏核極限學(xué)習(xí)機(jī)(ISKELM)算法.首先基于瞬時(shí)信息測(cè)量篩選有效新增樣本，通過字典擴(kuò)充與修剪策略，在線構(gòu)造具有預(yù)定規(guī)模的稀疏核函數(shù)字典；然后提出改進(jìn)的減樣學(xué)習(xí)算法對(duì)核函數(shù)權(quán)重矩陣進(jìn)行遞推更新，最終實(shí)現(xiàn)ISKELM分類器的在線增量建模.故障分類實(shí)驗(yàn)結(jié)果表明，ISKELM模型極大地提高了故障在線診斷速度且具有較高的分類精度，并能更好地滿足在線診斷的時(shí)效性與準(zhǔn)確性需求.

1 增量稀疏核極限學(xué)習(xí)機(jī)基本原理

(1)

式中：β=[β1β2…βL]T,為隱層輸出權(quán)重矩陣；h(ui)=[h1(ui)h2(ui)…h(huán)L(ui)]，為一個(gè)從n維輸入空間到L維隱層特征空間的特征映射向量.

ELM的訓(xùn)練目標(biāo)是訓(xùn)練誤差和輸出權(quán)重范數(shù)的最小化，可以表述為

(2)

通過解最優(yōu)化方程可得

β=HT(γ-1I+HHT)-1Y

(3)

式中：H=[h(u1)Th(u2)T…h(huán)(ut)T]T，為所有輸入的映射矩陣；Y=[y1y2…yt]T，為輸入對(duì)應(yīng)的目標(biāo)輸出矩陣；γ為懲罰系數(shù).應(yīng)用Mercer條件定義核矩陣G=HHT；G(i,j)=h(ui)·h(uj)T=k(ui,uj).由此可得KELM模型的輸出為

(4)

式中：

(5)

(6)

分別為核函數(shù)矩陣和KELM的輸出權(quán)重矩陣.

由式(4)可知，隨著樣本數(shù)的增加，模型的計(jì)算復(fù)雜度急劇增大，在線化處理困難.因此，本文通過篩選有效樣本并刪除冗余樣本對(duì)k(·)進(jìn)行稀疏化處理，從而提高建模效率.稀疏表征理論中定義由匹配信號(hào)中不同模式的基函數(shù)組成的變換矩陣為字典[9].參考上述定義，可利用核函數(shù)矩陣k(·)中的有效元素構(gòu)造稀疏核函數(shù)字典如下：

Dt={k(c1,·),k(c2,·),…,k(cm,·)}

(7)

則ISKELM模型在t時(shí)刻的輸出可定義為

(8)

式中：{c1,c2,…,cmt}?{u1,u2,…,ut}，ci為第i個(gè)有效樣本;m為當(dāng)前模型的階數(shù)；αi,t為t時(shí)刻第i個(gè)核函數(shù)的權(quán)重，且m?t.

設(shè)t+1時(shí)刻，得到新的未標(biāo)記樣本為ut+1，利用已有模型對(duì)其進(jìn)行預(yù)測(cè)標(biāo)記得到初始預(yù)標(biāo)記樣本(ut+1,yt+1)：

(9)

為了從大量初始預(yù)標(biāo)記樣本中篩選有效預(yù)標(biāo)記樣本，對(duì)稀疏核函數(shù)字典進(jìn)行增量擴(kuò)充，本文提出了基于瞬時(shí)信息測(cè)量的稀疏核函數(shù)字典在線構(gòu)造方法.

2 基于瞬時(shí)信息測(cè)量在線構(gòu)造稀疏核函數(shù)字典

定義1假設(shè)在Tt下，訓(xùn)練樣本ut+1的瞬時(shí)后驗(yàn)概率為pt(ut+1|Tt)，則ut+1中包含的可以轉(zhuǎn)移到當(dāng)前字典Dt的信息量定義為ut+1在時(shí)刻t的瞬時(shí)條件自信息量，即

I(ut+1|Tt)=-lgpt(ut+1|Tt)

(10)

定義2假設(shè)在Tt下，字典Dt的元素個(gè)數(shù)為m，核中心ci(1≤i≤m)的瞬時(shí)后驗(yàn)概率為pt(ci|Tt)，則將字典Dt在時(shí)刻t所具有的平均自信息量定義為Dt的瞬時(shí)條件熵，即

(11)

(12)

于是，對(duì)于Tt下的字典Dt={k(c1,·),k(c2,·),…,k(cm,·)}，基于KDE的核中心瞬時(shí)條件PDF可表示為

(13)

因此，輸入ut+1的瞬時(shí)條件自信息量和字典Dt的瞬時(shí)條件熵分別為

本文基于I(ut+1|θ,Tt)和H(Dt|θ,Tt)篩選有效樣本并剔除冗余樣本，在線構(gòu)造稀疏化核函數(shù)字典，其基本過程包括擴(kuò)充階段和修剪階段，如圖1所示.本文采用的核函數(shù)均為單位范數(shù)核，即?u∈U，k(u,u)=1.

圖1 核矩陣Gt的變化過程Fig.1 Kernel matrices Gt of growing size

2.1 稀疏核函數(shù)字典在線擴(kuò)充策略

設(shè)et=[11…1]T∈Rm×1，字典Dt的Gram矩陣為Gt，計(jì)算矩陣St=Gtet，即

(16)

根據(jù)KDE，字典Dt中第i個(gè)核中心ci在Tt下的瞬時(shí)條件概率為pt(ci|θ,Tt)=St(i)/m.所以字典Dt的瞬時(shí)條件熵為

(17)

(18)

(19)

中第i個(gè)核中心的瞬時(shí)條件概率

(20)

(21)

(22)

2.2 稀疏核函數(shù)字典在線修剪策略

當(dāng)字典Dt的大小達(dá)到預(yù)定規(guī)模，即m=M時(shí)，在t+1時(shí)刻將執(zhí)行修剪策略.從m+1個(gè)潛在元素中選擇m個(gè)元素，使得所選元素具有最大的瞬時(shí)條件自信息量.

(23)

(24)

(25)

(26)

(27)

(28)

字典中每個(gè)元素具有的瞬時(shí)自信息量越大，說(shuō)明彼此之間越不相似，字典所包含的信息量也越大[4].為最大化字典中每個(gè)元素的瞬時(shí)自信息量，可通過如下公式確定要?jiǎng)h除的元素的下標(biāo)：

(29)

(30)

得到，Gt+1由后續(xù)算法得到.

由以上分析可知，本文提出的方法根據(jù)新舊樣本對(duì)字典更新的貢獻(xiàn)差異性對(duì)大規(guī)模樣本進(jìn)行稀疏化，在加入新樣本前刪除重要性最小的樣本，提高了稀疏核函數(shù)字典在線構(gòu)造效率與精度.而且字典構(gòu)造計(jì)算復(fù)雜度為O(m)，在稀疏化條件下，m值有限且較小，滿足實(shí)際在線應(yīng)用的需求.

3 ISKELM核權(quán)重矩陣遞推更新

3.1 增樣學(xué)習(xí)算法

當(dāng)字典規(guī)模小于M時(shí)，如果新的訓(xùn)練樣本滿足2.1節(jié)中的條件，則用于擴(kuò)充字典，同時(shí)對(duì)核權(quán)重矩陣α=(γ-1I+G)-1Y進(jìn)行遞推更新.在t時(shí)刻，記At=γ-1I+Gt.

對(duì)于訓(xùn)練樣本(ut+1,yt+1)，則有

(31)

式中：kt=[k1,t+1k2,t+1…km,t+1]T；vt=γ-1+kt+1,t+1.利用塊矩陣求逆公式，可得At+1的逆矩陣為

(32)

圖2 矩陣變換前的AtFig.2 At before matrix transformation

3.2 改進(jìn)的減樣學(xué)習(xí)算法

(33)

(34)

根據(jù)公式(33)和(34)可得

(35)

(36)

(37)

本文提出的方法基于當(dāng)前模型對(duì)核權(quán)重矩陣進(jìn)行增量遞推更新，無(wú)需對(duì)新舊樣本全體進(jìn)行重復(fù)性批量學(xué)習(xí)，極大地縮短了訓(xùn)練時(shí)間，遞推更新計(jì)算復(fù)雜度為O(m2)，滿足實(shí)際在線應(yīng)用需求.

4 實(shí)驗(yàn)應(yīng)用與分析

4.1 UCI標(biāo)準(zhǔn)數(shù)據(jù)分類實(shí)驗(yàn)

為驗(yàn)證本文方法的有效性，選取UCI標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)中的iris、liver和Diabetes數(shù)據(jù)集進(jìn)行分類實(shí)驗(yàn).利用ISKELM模型進(jìn)行在線分類與診斷的具體過程如圖3所示.

圖3 ISKELM在線分類與診斷流程圖Fig.3 Online classification and fault diagnosis flow chart of ISKELM

表1 各診斷模型對(duì)3個(gè)數(shù)據(jù)集的在線訓(xùn)練時(shí)間與測(cè)試準(zhǔn)確率Tab.1 Online training time and test accuracy of every diagnosis model for 3 data sets

iris、liver和Diabetes數(shù)據(jù)集的特征維數(shù)分別為4、6和8，類別數(shù)分別為3、2和2.分別從3個(gè)數(shù)據(jù)集中任選500個(gè)樣本作為訓(xùn)練樣本，其中100個(gè)作為已標(biāo)記樣本對(duì)ISKELM進(jìn)行訓(xùn)練，建立初始分類器，其余400個(gè)作為初始預(yù)標(biāo)記樣本，并將其按每組50個(gè)樣本分為8組，模擬在線數(shù)據(jù)對(duì)初始分類器進(jìn)行訓(xùn)練更新.任選200組數(shù)據(jù)作為測(cè)試樣本，用于驗(yàn)證分類器的分類性能.

圖4 訓(xùn)練準(zhǔn)確率P隨L與m的變化關(guān)系曲線Fig.4 Curves of training accuracy P varies with L and m

由圖4可知，分別取FOKELM的時(shí)間窗長(zhǎng)L=19，ISKELM的字典規(guī)模m=15，可使得模型分類精度最高且規(guī)模最小，同時(shí)可防止模型過度膨脹.進(jìn)而通過網(wǎng)格搜索法獲得FOKELM與ISKELM的(γ,θ)最佳值分別為(487,2.33)和(365,1.24).

根據(jù)以上4種分類器的最優(yōu)參數(shù)建立初始診斷模型，進(jìn)而利用3個(gè)數(shù)據(jù)集的400個(gè)初始預(yù)標(biāo)記樣本對(duì)各模型進(jìn)行在線訓(xùn)練更新，并利用200個(gè)測(cè)試樣本對(duì)最終模型進(jìn)行分類性能測(cè)試，得到各診斷模型的在線訓(xùn)練時(shí)間與測(cè)試準(zhǔn)確率如表1所示.

由表1可知，對(duì)于3個(gè)數(shù)據(jù)集，4種分類器均具有較高的分類準(zhǔn)確率， ISKELM的分類精度高于99%，滿足故障診斷要求.同等條件下，ISKELM的在線建模效率遠(yuǎn)高于另外3種分類器，對(duì)3個(gè)數(shù)據(jù)集的在線訓(xùn)練速度分別為FOKELM的 6.17 倍，OSKELM的 14.79 倍和SVM的 66.57 倍.這是由于SVM需要不斷對(duì)全體新舊樣本進(jìn)行重復(fù)批量式建模而耗費(fèi)了大量時(shí)間， OSKELM未對(duì)樣本稀疏化且模型不斷膨脹導(dǎo)致在線建模時(shí)間過長(zhǎng)，而FOKELM未對(duì)新增樣本進(jìn)行篩選導(dǎo)致訓(xùn)練時(shí)間延長(zhǎng).綜上分析可知，ISKELM具有較高的在線建模速度和分類精度，滿足故障在線診斷需求.

圖5所示為ISKELM增量更新過程中初始預(yù)標(biāo)記樣本數(shù)與有效預(yù)標(biāo)記樣本數(shù)之間的關(guān)系曲線.由圖可知，在整個(gè)訓(xùn)練過程中對(duì)于400個(gè)新增訓(xùn)練樣本只有240個(gè)樣本參與了ISKELM模型的更新，因此訓(xùn)練時(shí)間極大縮減.

圖5 ISKELM中在線樣本稀疏化過程曲線Fig.5 Online sample sparseness process curve of ISKELM

4.2 柴油機(jī)故障在線診斷實(shí)驗(yàn)

柴油機(jī)故障在線診斷實(shí)驗(yàn)在F3L912型柴油機(jī)實(shí)驗(yàn)臺(tái)架上進(jìn)行.實(shí)驗(yàn)中，在第1缸上分別設(shè)置了8種不同工況：正常工況、進(jìn)氣門間隙過大、進(jìn)氣門間隙過小、排氣門間隙過大、排氣門間隙過小、進(jìn)氣門漏氣、排氣門漏氣和1缸失火.采集第1缸缸蓋振動(dòng)信號(hào)作為診斷信號(hào)，采樣頻率設(shè)置為40 kHz，采樣長(zhǎng)度為1 s，每種工況下采集50組信號(hào).實(shí)驗(yàn)臺(tái)架如圖6所示，正常工況和1缸失火2種典型工況下采集的缸蓋振動(dòng)信號(hào)對(duì)比如圖7所示.

圖6 F3L912型柴油機(jī)試驗(yàn)臺(tái)架Fig.6 Experiment bench of F3L912 diesel engine

圖7 缸蓋振動(dòng)信號(hào)時(shí)域波形Fig.7 Time domain waveform of the cylinder head vibration signal

圖8 缸蓋振動(dòng)信號(hào)能量特征三維分布圖Fig.8 Three-dimensional graph of energy characteristics of cylinder head vibration signal

缸蓋振動(dòng)信號(hào)中不同振源的振動(dòng)能量集中于不同頻帶，在不同故障模式下，各頻帶能量分布特征不同[10].對(duì)各工況下的振動(dòng)信號(hào)降噪后，經(jīng)過db4小波包2層分解，得到4個(gè)子頻帶，計(jì)算前3個(gè)分量的能量并進(jìn)行歸一化構(gòu)造故障特征向量[E1E2E3]，用于故障模式識(shí)別.圖8所示為8種工況下的能量特征三維分布圖.由圖可見，不同工況下的故障特征具有良好的類內(nèi)聚集性和類間離散性，可以用于故障分類.

8種工況下共得到400個(gè)實(shí)驗(yàn)樣本，隨機(jī)選取300個(gè)樣本作為訓(xùn)練樣本，其余100個(gè)作為測(cè)試樣本.訓(xùn)練樣本中隨機(jī)選取100個(gè)作為已標(biāo)記樣本訓(xùn)練初始診斷模型，其余200個(gè)作為初始預(yù)標(biāo)記樣本，并將其按每組20個(gè)樣本分為10組，模擬連續(xù)變化的故障數(shù)據(jù)流在線訓(xùn)練初始診斷模型.分別將ISKELM、SVM、OSKELM和FOKELM模型設(shè)置為對(duì)比實(shí)驗(yàn).各模型的核函數(shù)統(tǒng)一選用高斯核函數(shù).在模型初始化階段，通過網(wǎng)格搜索法獲得SVM與OSKELM的結(jié)構(gòu)參數(shù)(γ,θ)的最佳值分別為(315,2.07)和(396,4.22).通過研究訓(xùn)練準(zhǔn)確率P隨L和m的變化關(guān)系得到FOKELM的時(shí)間窗長(zhǎng)L=13，ISKELM的字典規(guī)模m=7，進(jìn)而利用網(wǎng)格搜索法獲得FOKELM與ISKELM的(γ,θ)最佳值分別為(635,5.11)和(583,6.52).根據(jù)各模型的最優(yōu)參數(shù)建立初始診斷模型，然后利用200個(gè)初始預(yù)標(biāo)記樣本對(duì)各模型進(jìn)行在線訓(xùn)練更新，并利用100個(gè)測(cè)試樣本對(duì)最終模型進(jìn)行分類測(cè)試，得到各診斷模型的在線訓(xùn)練時(shí)間與測(cè)試準(zhǔn)確率如表2所示.

表2各診斷模型對(duì)柴油機(jī)故障樣本的在線訓(xùn)練時(shí)間與測(cè)試準(zhǔn)確率

Tab.2Onlinetrainingtimeandtestaccuracyof4methodsfordieselenginediagnosissamples

方法 訓(xùn)練時(shí)間/s測(cè)試準(zhǔn)確率/%SVM13.6125100OSKELM2.241595.0FOKELM1.107898.5ISKELM0.1541100

由表2可見，與其他3種模型相比，本文提出的ISKELM利用基于前向稀疏與后向刪減的樣本稀疏化策略和增量遞推建模方法，在保證具有較高分類精度的同時(shí)，極大地縮短了在線訓(xùn)練時(shí)間，提高了在線建模效率，能夠更好地滿足柴油機(jī)故障在線診斷的實(shí)時(shí)性與準(zhǔn)確性要求.

5 結(jié)語(yǔ)

針對(duì)柴油機(jī)故障樣本在線累積、診斷模型膨脹和批量建模速度慢等問題，建立了ISKELM故障在線診斷模型.該模型具有結(jié)構(gòu)稀疏和規(guī)模有限的特點(diǎn)，根據(jù)樣本對(duì)模型更新貢獻(xiàn)大小對(duì)樣本進(jìn)行自適應(yīng)前向稀疏與后向刪減，提高了在線樣本稀疏化效率，并限制了模型膨脹.ISKELM采用增樣學(xué)習(xí)和改進(jìn)減樣學(xué)習(xí)算法對(duì)核權(quán)重矩陣進(jìn)行增量遞推更新，降低了算法復(fù)雜度，提高了模型在線更新速度.實(shí)驗(yàn)結(jié)果表明，與SVM、OSKELM和FOKELM等現(xiàn)有診斷模型相比，在分類精度基本相同的情況下，ISKELM具有更高的樣本稀疏化效率和在線建模效率，可快速準(zhǔn)確地實(shí)現(xiàn)柴油機(jī)故障在線診斷.