基于優(yōu)化特征的集成變量預(yù)測(cè)模型及其應(yīng)用

劉小峰 譚 奇 葉蓉婷

重慶大學(xué)機(jī)械與運(yùn)載工程學(xué)院，重慶，400044

0 引言

在機(jī)械故障診斷領(lǐng)域，基于變量預(yù)測(cè)模型的模式識(shí)別(variable predictive model based class discriminate, VPMCD)方法利用特征值間的交互關(guān)系隨系統(tǒng)工作狀態(tài)的變化而變化的特性實(shí)現(xiàn)對(duì)故障狀態(tài)的識(shí)別[1]。但在實(shí)際機(jī)械故障診斷中，從含噪測(cè)試信號(hào)中提取的特征參數(shù)間的交互關(guān)系往往異常復(fù)雜，傳統(tǒng)VPMCD中的選擇性單一模型往往難以準(zhǔn)確描述特征參數(shù)間的交互關(guān)系，從而導(dǎo)致故障狀態(tài)識(shí)別精度較低。針對(duì)該問題，楊宇等[2]使用量子遺傳算法、LUO等[3]使用遺傳算法、劉吉彪等[4]采用動(dòng)態(tài)加速常數(shù)協(xié)同慣性權(quán)重的粒子群算法來優(yōu)化VPMCD各模型的權(quán)值，將各傳統(tǒng)預(yù)測(cè)模型加權(quán)融合為一個(gè)綜合變量預(yù)測(cè)模型，進(jìn)而提高特征參數(shù)的預(yù)測(cè)精度。柏林等[5]采用投票法對(duì)多次VPMCD識(shí)別結(jié)果進(jìn)行融合，該方法在小樣本多分類情況下取得了一定的效果。上述方法僅僅是采用傳統(tǒng)的變量預(yù)測(cè)模型(VPM)進(jìn)行線性疊加融合，融合出的模型仍然脫離不了傳統(tǒng)的線性或二次交互模型的固定框架，導(dǎo)致仍然無法對(duì)異常復(fù)雜的特征交互關(guān)系進(jìn)行準(zhǔn)確擬合，而且需要引入復(fù)雜的網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練來對(duì)多個(gè)模型的權(quán)值進(jìn)行優(yōu)化設(shè)置，未發(fā)揮出VPMCD在計(jì)算效率和無參數(shù)設(shè)置等方面的優(yōu)勢(shì)。

近年來，許多學(xué)者采用智能網(wǎng)絡(luò)學(xué)習(xí)方法來逼近描述特征之間的復(fù)雜交互關(guān)系，對(duì)傳統(tǒng)VPMCD中的簡(jiǎn)單擬合模型進(jìn)行了改進(jìn)或替換。宋坤駿[6]采用極限學(xué)習(xí)機(jī)來替換傳統(tǒng)VPMCD中的4個(gè)模型。高佳程等[7]采用核極限學(xué)習(xí)機(jī)來替代傳統(tǒng)VPMCD方法中的多項(xiàng)式最小二乘法對(duì)特征關(guān)系進(jìn)行回歸擬合。TANG等[8]與鄭艷艷等[9]采用支持向量回歸模型來替換原VPMCD中的4個(gè)多項(xiàng)式回歸模型。這些方法的問題是沒有考慮特征的相關(guān)性與冗余性對(duì)VPMCD分類性能的影響。另外，單純用網(wǎng)絡(luò)學(xué)習(xí)替代原有模型進(jìn)行擬合實(shí)際上是摒棄了傳統(tǒng)VPMCD模型在線性與二次交互擬合方面的優(yōu)越性，且需要大量樣本對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化設(shè)置，勢(shì)必會(huì)影響小樣本情況下預(yù)測(cè)模型的分類性能。

針對(duì)以上問題，本文提出一種基于優(yōu)化特征的集成變量預(yù)測(cè)模型(ensemble variable predictive model，EVPM)的模式識(shí)別方法，并通過實(shí)驗(yàn)驗(yàn)證了該方法的有效性。

1 基于優(yōu)化特征的集成變量預(yù)測(cè)模型

基于優(yōu)化特征的EVPM模式識(shí)別方法的主要流程如圖1所示。首先對(duì)振動(dòng)信號(hào)進(jìn)行遞歸量化分析(recurrence quantification analysis，RQA)特征提取，采用多種權(quán)重計(jì)算方法和冗余度計(jì)算方法，選擇最能表征模式狀態(tài)且冗余性最小的最優(yōu)特征作為VPMCD的輸入。在4個(gè)傳統(tǒng)特征交互模型的基礎(chǔ)上，引入高斯函數(shù)(Gauss function, GF)、徑向基函數(shù)(radial basis function，RBF)、廣義回歸函數(shù)(generalized regression function, GRF)來建立特征變量間的復(fù)雜非線性交互關(guān)系。在此基礎(chǔ)上，采用各個(gè)模型的擬合誤差計(jì)算模型集成權(quán)值，繼而對(duì)所有模型進(jìn)行加權(quán)融合,建立EVPM。

圖1 基于優(yōu)化特征的EVPM方法主要流程

1.1 RQA特征提取

RQA是一種適用于動(dòng)力學(xué)系統(tǒng)的有效時(shí)間序列分析方法，該方法可對(duì)遞歸圖中表現(xiàn)出來的遞歸現(xiàn)象進(jìn)行量化，具有較強(qiáng)的魯棒性與抗噪性能，特別適用于非平穩(wěn)非線性信號(hào)的分析，遞歸圖計(jì)算公式[10]為

Ri,j=Θ(ε-‖xi-xj‖)

(1)

i,j∈[1,N-(m-1)τ]

其中，Θ(·)是核函數(shù)，ε是預(yù)定義的閾值，xi和xj是m維相空間的相空間軌跡。相空間軌跡可通過時(shí)間序列的時(shí)延操作得到。延時(shí)τ由平均互信息函數(shù)[11]的第一個(gè)最小值確定，采用偽最近鄰分析法[12]選擇嵌入維數(shù)m。若xi和xj的距離小于ε，則Ri,j=1，并在遞歸圖中的(i,j)處繪制一個(gè)點(diǎn)，進(jìn)而由遞歸圖計(jì)算表1中的11個(gè)RQA特征。

表1 遞歸量化特征

1.2 基于最大權(quán)值最小冗余規(guī)則的特征優(yōu)選

VPMCD分類識(shí)別的基礎(chǔ)是特征變量間的相互關(guān)系，因此特征間的非獨(dú)立性、相關(guān)性與冗余性對(duì)VPMCD識(shí)別性能的影響較大。為了建立緊湊有效的特征關(guān)系，本文采用交錯(cuò)式最大權(quán)值最小冗余規(guī)則(maximum weight and minimum redundancy，MWMR)進(jìn)行特征篩選，在該規(guī)則下采用多種特征評(píng)價(jià)算法計(jì)算每個(gè)特征的權(quán)重，特征的得分越高則權(quán)重越大，意味著特征在分類識(shí)別中的貢獻(xiàn)越大[13]。d維空間的N個(gè)樣本的特征向量記為F=(F1,F2,…,Fd),其權(quán)重向量記為W=(w1,w2,…,wd)T，wi(i=1,2，…,d)代表第i個(gè)特征的權(quán)重，特征子集S的重要程度WS可表示為

(2)

若特征i與j間的相關(guān)度cor(Fi,Fj)≥0(i≠j且i,j=1,2,…,d)，則S的冗余度IS可表示為

(3)

一個(gè)優(yōu)化的特征子集應(yīng)該盡可能包含權(quán)重高且與其他特征相關(guān)度小的特征，因此，最優(yōu)特征子集篩選的目標(biāo)函數(shù)設(shè)置為

(4)

式中，r為S集合中特征的個(gè)數(shù)。

根據(jù)式(4)可以計(jì)算出S中使函數(shù)值最大的待選特征子集。將圖1中常見的Fisher得分[14]、Laplacian得分[15]、Constraint得分[16]、ReliefF得分[17]和香農(nóng)熵[18]這5種權(quán)值計(jì)算方法與互信息熵[18]、Pearson相關(guān)系數(shù)[19]這2種冗余度估計(jì)方法進(jìn)行交叉組合，衍生出2×5組特征篩選規(guī)則。在各個(gè)規(guī)則下采用式(2)～式(4)進(jìn)行特征子集篩選，得到10個(gè)待選特征子集{S1,S2,…,S10}。采用傳統(tǒng)VPMCD作為評(píng)分器來對(duì)這10個(gè)特征子集進(jìn)行評(píng)分，其中平均識(shí)別精度最高的即為最優(yōu)特征子集Sop。

1.3 集成變量預(yù)測(cè)模型

VPMCD根據(jù)特征值之間的內(nèi)在關(guān)系建立預(yù)測(cè)模型，這種特征間的關(guān)聯(lián)性會(huì)因模式類別的不同而存在明顯差異。假設(shè)采用(F1,F2,…,Fd)表示G個(gè)模式類別的d維特征向量，模式類別中特征值Fi會(huì)因模式類別的不同,受到其他特征值Fj(j≠i)的影響。在傳統(tǒng)的VPMCD方法中，可以采用線性模型(VPML)、線性交互模型(VPMLI)、二次模型(VPMQ)與二次交互模型(VPMQI)來建立特征值Fi與其他特征值間的擬合關(guān)系[1-3]。

傳統(tǒng)的VPMCD算法在樣本數(shù)量少于模型參數(shù)個(gè)數(shù)情況下，采用最小二乘擬合特征交互關(guān)系時(shí)會(huì)舍去部分?jǐn)M合參數(shù)，從而導(dǎo)致擬合精度降低，最終影響預(yù)測(cè)結(jié)果。當(dāng)待擬合的特征樣本的離散程度偏大且異常樣本較多時(shí)，特征樣本非標(biāo)準(zhǔn)正態(tài)分布會(huì)使得簡(jiǎn)單的線性或二次交互變量預(yù)測(cè)模型無法描述特征間的復(fù)雜非線性關(guān)系[8]。因此，本文采用非線性核函數(shù)將特征樣本映射到高維空間，使得特征間的非線性關(guān)系轉(zhuǎn)化為高維空間中線性關(guān)系，在高維空間中進(jìn)行線性擬合。由于高斯函數(shù)、徑向基函數(shù)[20]、廣義回歸神經(jīng)網(wǎng)絡(luò)GRNN[21]具有強(qiáng)大的非線性映射功能、較寬的收斂域且參數(shù)設(shè)置較少，故引入這三個(gè)函數(shù)建立特征非線性交互模型VPMGF、VPMRBF、VPMGRNN：

VPMGF為

(5)

VPMRBF為

(6)

式中，ωu為連接權(quán)重；Cu為神經(jīng)元的中心向量(可以在訓(xùn)練集中隨機(jī)選取)；ω0為連接偏差；U為感知單元個(gè)數(shù)；σu為頻寬因子。

VPMGRNN為

(7)

式中，Ct為第t個(gè)神經(jīng)元點(diǎn)；σ為擴(kuò)散因子；Yt為連接權(quán)重；D為訓(xùn)練樣本數(shù)。

(8)

(9)

(10)

(11)

使用訓(xùn)練樣本將所有G類、d個(gè)特征進(jìn)行擬合可得到G×d個(gè)集成變量預(yù)測(cè)模型：

(12)

(13)

2 實(shí)驗(yàn)驗(yàn)證

2.1 數(shù)據(jù)描述

通過Case Western Reserve University滾動(dòng)軸承故障公開數(shù)據(jù)來驗(yàn)證本文方法的有效性。所用的軸承故障位置分別為外圈滾道、內(nèi)圈滾道、滾動(dòng)體；故障程度為三類，分別為0.1778 mm(0.007英寸)、0.3556 mm(0.014英寸)、0.6096 mm(0.024英寸)。由此構(gòu)成9種故障類型，加上正常的數(shù)據(jù)，得到10種狀態(tài)的數(shù)據(jù)。信號(hào)采樣頻率為12 kHz，轉(zhuǎn)速為1750 r/min，電機(jī)負(fù)載功率為1491 W(2馬力)，均為驅(qū)動(dòng)端數(shù)據(jù)，將軸承信號(hào)截?cái)酁槎鄠€(gè)長(zhǎng)度為1024個(gè)點(diǎn)的樣本信號(hào)，隨機(jī)選擇總計(jì)900個(gè)樣本，其中每類90個(gè)樣本。對(duì)每個(gè)樣本數(shù)據(jù)進(jìn)行遞歸量化特征提取，得到900個(gè)特征向量(F1,F2,…,F11)組成的樣本特征向量F。

2.2 特征選擇

采用MWMR方法對(duì)原始特征向量F進(jìn)行篩選，設(shè)定特征子集S中要保留的特征的個(gè)數(shù)為5，得到共計(jì)10個(gè)待選特征子集S1,S2,…,S10，以傳統(tǒng)VPMCD作為評(píng)分器，將不同特征子集的測(cè)試樣本作為輸入計(jì)算對(duì)應(yīng)的平均分類精度，結(jié)果如表2所示。由表2可知，采用Laplacian得分、Constraint得分、ReliefF得分與互信息方法相結(jié)合的篩選規(guī)則優(yōu)選出的特征子集S7、S8、S9的平均分類精度相同，均為0.8209。采用Laplacian得分、Constraint得分與Pearson相關(guān)系數(shù)相結(jié)合的篩選規(guī)則優(yōu)選出的子集S2、S3的分類精度均為0.8850，由此可知對(duì)于該特征集，Pearson相關(guān)系數(shù)對(duì)冗余度的衡量準(zhǔn)確度高于互信息方法。通過平均分類精度的比較可知，S-P方法所選出的特征子集S5={F1,F2,F3,F9,F10}能夠使VPMCD得到較高的分類精度，因此選擇S5作為Sop。

表2 MWMR框架下的特征評(píng)價(jià)

2.3 加權(quán)集成

采用本文提出EVPM方法對(duì)滾動(dòng)軸承進(jìn)行故障診斷。實(shí)驗(yàn)中選擇的VPML、VPMLI、VPMQ、VPMQI的階數(shù)均為5，隨機(jī)選取每類30個(gè)樣本作為測(cè)試集，在剩余60個(gè)樣本中，選取不同樣本數(shù)作為訓(xùn)練集。使用訓(xùn)練樣本訓(xùn)練得到每個(gè)特征變量的7個(gè)EVPM，然后使用模型訓(xùn)練誤差來計(jì)算權(quán)值向量，根據(jù)式(9)、式(10)計(jì)算模型權(quán)值向量，結(jié)果見表3。由表3可知，對(duì)Sop中的5個(gè)特征，VPMRBF模型平均權(quán)重最高。這主要是因?yàn)閂PMRBF在特征高維空間具有強(qiáng)大的非線性擬合能力，更能有效地?cái)M合特征間的復(fù)雜交互關(guān)系。不同的模型對(duì)不同的特征具有不同的預(yù)測(cè)精度，表明采用單一模型無法達(dá)到對(duì)所有特征變量的準(zhǔn)確預(yù)測(cè)，有必要對(duì)多個(gè)預(yù)測(cè)模型進(jìn)行加權(quán)集成，以實(shí)現(xiàn)對(duì)所有特征的最佳預(yù)測(cè)。

表3 軸承外圈故障狀態(tài)下7種模型的權(quán)值

采用本文方法，根據(jù)每個(gè)模型對(duì)每個(gè)特征的預(yù)測(cè)誤差計(jì)算模型權(quán)值，將計(jì)算出的權(quán)值向量用于加權(quán)每一個(gè)特征的預(yù)測(cè)模型集，融合后得到式(12)中的EVPM。采用不同大小的樣本集為訓(xùn)練樣本建立EVPM，得到的不同樣本量下的分類精度(分類準(zhǔn)確率),如表4所示?？梢姡珽VPM不論在小樣本還是大樣本情況下都具有較高的精度，在樣本量只有10個(gè)時(shí)也能達(dá)到89.33%的精度，訓(xùn)練樣本量為60時(shí)分類精度可達(dá)96.67%。這表明EVPM對(duì)10種不同故障類型、不同故障程度的軸承故障的識(shí)別具有較好的穩(wěn)定性和對(duì)樣本大小的魯棒性。

表4 不同樣本量下EVPM分類準(zhǔn)確率

2.4 性能比較

為了驗(yàn)證MWMR特征選擇方法在EVPM狀態(tài)辨識(shí)中的必要性，選取原始特征集Sor={F1,F2,F3,F4,F5,F6,F7,F8,F9,F10,F11},優(yōu)選特征集Sop={F1,F2,F3,F9,F10}與冗余特征集Sre={F1,F3,F4,F7,F8}這三種組特征集作為EVPM的輸入，得到的故障狀態(tài)辨識(shí)結(jié)果如圖2所示。由圖2可看出，EVPM分別采用原始特征集和冗余特征集時(shí)精度相差不大，而采用MWMR篩選后的最優(yōu)特征子集Sop時(shí)，不論是在大樣本還是小樣本情況下，分類精度都有明顯提高。這表明基于MWMR的特征優(yōu)選方法對(duì)提高EVPM的分類性能頗有成效。

圖2 采用不同特性集時(shí)的分類精度比較

為了進(jìn)一步驗(yàn)證EVPM的故障模式識(shí)別性能，采用不同數(shù)量的Sop作為訓(xùn)練樣本，對(duì)EVPM、傳統(tǒng)VPMCD、基于GRNN的VPMCD(GRNN-VPMG)、基于RBF的VPMCD(RBF-VPMCD)、支持向量機(jī)(SVM)以及基于遺傳算法的VPMCD(GA-VPMCD)[3]6種方法的分類精度進(jìn)行比較研究，結(jié)果如圖3所示。由圖3可知，隨著訓(xùn)練樣本的逐步增多，各分類器的精度總體呈增長(zhǎng)趨勢(shì)，其中VPMRBF在訓(xùn)練樣本較少時(shí)精度很低，隨著訓(xùn)練樣本的增多，其精度可提高到93%，這主要是由于徑向基函數(shù)強(qiáng)大的非線性擬合能力，在樣本較少時(shí)產(chǎn)生了過擬合現(xiàn)象，使得小樣本情況下的識(shí)別精度較低。VPMGRNN是VPMRBF的另外一種形式，適合樣本量小、噪聲大的情況，故隨著訓(xùn)練樣本的增加其精度提高較為緩慢，但在小樣本下也能取得較高的精度。EVPM在不同樣本量下都具有較高的分類精度。EVPM的分類精度始終高于 GA-VPMCD的分類精度，這主要是因?yàn)镚A-VPMCD只集成了傳統(tǒng)的4個(gè)VPM模型，未考慮特征間更為復(fù)雜的非線性交互關(guān)系，且需要以大量訓(xùn)練樣本進(jìn)行模型權(quán)值尋優(yōu)。

圖3 不同分類器分類精度比較

圖4給出了EVPM、GA-VPMCD以及傳統(tǒng)VPMCD的計(jì)算效率。由于EVPM集成了多個(gè)非線性特征交互模型，因此其計(jì)算效率比傳統(tǒng)VPMCD方法的計(jì)算效率低，但與GA-VPMCD相比,EVPM的計(jì)算耗時(shí)明顯縮短。這主要是因?yàn)镋VPM采用的是基于擬合誤差的權(quán)值直接計(jì)算方法，而基于遺傳算法的權(quán)值尋優(yōu)必然要消耗更多的計(jì)算資源。

圖4 計(jì)算效率比較

3 結(jié)論

(1)構(gòu)建了一種最優(yōu)特征評(píng)價(jià)篩選框架，該篩選框架能夠根據(jù)分類器的特性有效地選擇出權(quán)重大且冗余度小的特征子集，有效地提高了分類器的分類精度和泛化能力。

(2)提出了一種能夠準(zhǔn)確反映特征變量間復(fù)雜交互關(guān)系的集成模型EVPM，與原始VPM模型相比，具有更好分類穩(wěn)定性，特別是在小樣本多分類情況下分類精度得到了顯著提高。

需要指出的是，本文提出的算法使用模型擬合誤差計(jì)算權(quán)重，其他模型權(quán)值設(shè)置方法還有待進(jìn)一步研究，該算法由于選擇了多種模型加權(quán)集成，訓(xùn)練建立階段耗時(shí)較長(zhǎng)，故算法實(shí)施有待進(jìn)一步優(yōu)化。