多分類概率極限學習機及其在剩余使用壽命預測中的應用

杜占龍，李小民，席雷平，張金中，劉新海

（1.軍械工程學院無人機工程系，河北石家莊050003；2.總參通信工程設計研究院，遼寧沈陽110000）

由式（23）可得

中的B。因為

多分類概率極限學習機及其在剩余使用壽命預測中的應用

杜占龍1，李小民1，席雷平1，張金中2，劉新海1

（1.軍械工程學院無人機工程系，河北石家莊050003；2.總參通信工程設計研究院，遼寧沈陽110000）

針對多分類極限學習機（extreme learning machine，ELM）缺乏概率輸出能力問題，提出一種基于sigmoid后驗概率映射和Lagrange成對耦合法的多分類概率ELM（multi-class probabilistic ELM，MPELM）。采用成對耦合法將多分類問題分解成多個二分類問題，利用sigmoid函數(shù)將二分類ELM輸出映射成概率輸出。為融合所有二分類概率輸出，推導基于Lagrange乘子法的多分類概率計算公式，最終求解被預測樣本分屬不同類別的概率。將MPELM用于剩余使用壽命（remaining useful life，RUL）預測，實驗結果表明，相比于多分類概率支持向量機（multi-class probabilistic support vector machine，MPSVM），MPELM耗時高于MPSVM，但MPELM所需優(yōu)化參數(shù)少，預測精度高于MPSVM；與基于Hastie成對耦合法的MPELM相比，兩者預測精度相近，本文MPELM的測試耗時較少。

極限學習機；后驗概率；成對耦合法；故障預測

0 引 言

____剩余使用壽命（remaining useful life，RUL）預測［1］作為故障預測與健康管理（prognostics and health management，PHM）重要組成部分，其預測結果是健康管理環(huán)節(jié)制定維修保障決策的重要依據(jù)，也是目前故障預測領域研究熱點和難點。根據(jù)文獻［2］分類方法，RUL預測主要包括模型法［3-4］和數(shù)據(jù)驅動法［5］。如文獻［3］根據(jù)鋰離子電池的退化模型，結合無跡粒子濾波預測電池的RUL。但是，實際設備通常難以建立準確的物理模型或者數(shù)學模型，限制了基于模型方法的應用范圍，這種情況下，數(shù)據(jù)驅動法受到了更大關注。

數(shù)據(jù)驅動法預測RUL主要有基于退化軌跡相似性［5-6］，基于狀態(tài)概率估計等方法［7］。其中，文獻［5］根據(jù)同類設備性能退化數(shù)據(jù)，建立基于支持向量回歸機（support vector regression，SVR）的退化軌跡模型，實現(xiàn)RUL預測。狀態(tài)概率估計法根據(jù)已知設備的全壽命故障數(shù)據(jù)，確定每種退化狀態(tài)對應的訓練樣本和RUL，建立具有概率輸出能力的狀態(tài)分類器，對于被預測設備，根據(jù)分類器得到的其分屬不同退化狀態(tài)的概率，連同每個狀態(tài)對應的RUL計算其剩余使用壽命。如文獻［7］利用概率支持向量機（support vector machine，SVM）預測軸承RUL。然而，SVM中的懲罰參數(shù)和核參數(shù)對預測性能影響較大，若參數(shù)選取不當，會降低RUL預測準確性。

極限學習機（extreme learning machine，ELM），是由文獻［8］提出的一種單隱層前饋神經(jīng)網(wǎng)絡學習算法。理論上ELM可以提供良好的泛化能力，為解決回歸和分類問題提供一種新途徑，已經(jīng)在時間序列預測［9］、故障診斷［10］等領域得到應用。文獻［11］詳細分析了ELM的分類性能，實驗結果表明，ELM與SVM的分類精度相似，但ELM只需調整一個參數(shù)。與SVM需調整兩個參數(shù)相比，ELM參數(shù)優(yōu)化更易實現(xiàn)，同時能降低參數(shù)尋優(yōu)過程復雜度。為利用ELM這一優(yōu)勢，將ELM應用于基于狀態(tài)概率估計的RUL預測方法中，但是，傳統(tǒng)的ELM不具備概率輸出能力。

為此，本文利用Platt提出的sigmoid后驗概率映射算法［12］，將ELM的數(shù)值型輸出映射為概率輸出。為克服sigmoid后驗概率映射法只能用于二分類問題的局限性，采用成對耦合法融合所有的二分類概率輸出。已有的成對耦合法包括投票法［13］、Hastie等人提出的方法［14］等，文獻［15］對比了不同成對耦合法的多分類誤差，實驗結果表明Hastie法的分類準確率高于投票法。但是，Hastie法在計算多分類概率時需要進行多次迭代求解最優(yōu)值，增加了運算時間。為此，本文將成對耦合法轉化為二次規(guī)劃求解最優(yōu)值，推導基于Lagrange乘子法的多分類概率表達式。即對于D分類情況，首先將其分解成D（D－1）／2個二分類問題，利用ELM求解每個二分類情況的數(shù)值輸出，并利用sigmoid后驗概率映射將每個二分類的數(shù)值輸出轉化為概率輸出；然后，采用Lagrange成對耦合法融合所有D（D－1）／2個概率輸出值，最終得到D分類問題的概率輸出。將多分類概率ELM（multi-class probabilistic ELM，MPELM）應用于設備的RUL預測中，某型無人機機載發(fā)射機參考時鐘的RUL預測結果驗證了本文方法的有效性。

1 極限學習機

ELM模型的輸出可以表示為

式中，L為隱含層節(jié)點數(shù)目；ai∈Rn和bi∈R為ELM隱含層的參數(shù)；βi∈Rm為第i個隱節(jié)點到輸出節(jié)點的權值；G（ai，bi，x）表示第i個隱節(jié)點的輸出函數(shù)，若隱含層為加性隱節(jié)點，則

式中，ai為連接第i個隱節(jié)點的輸入權值；bi為第i個隱節(jié)點的偏差；g（·）為激活函數(shù)。

給定由N組數(shù)據(jù)組成的訓練樣本集｛（xl，tl）1，其中xl∈Rn為輸入向量，tl∈Rm為對應的期望輸出，即

將式（3）改寫成矩陣形式，即

式中

在ELM學習算法中，ai和bi均為隨機產生，只有β利用｛（xl，tl）計算得到。為了提高ELM泛化性能，在解決分類問題時，可以將求解β看成如下優(yōu)化問題［11］：

式中，訓練誤差εl用于避免過擬合現(xiàn)象；λ為懲罰因子。根據(jù)Karush-Kuhn-Tucker定理［11］，式（6）可以轉化為雙重優(yōu)化問題。

由式（7）可以得到β的最優(yōu)解［11］為

對被預測樣本x的二分類問題，決策方程為

對被預測樣本x的多分類問題，決策方程為

式中，fi（x）為第i個輸出節(jié)點的輸出，且f（x）＝［f1（x），…，fm（x）］T。

2 MPELM

2.1 Sigmoid函數(shù)概率映射

對于分類問題，傳統(tǒng)的ELM只能輸出類別結果，即給出被預測樣本屬于某一類別，而缺乏概率輸出能力，即樣本分屬于不同類別的概率。為了將ELM的輸出轉化為概率形式，采用Platt提出的基于sigmoid函數(shù)的后驗概率映射法［12］，將ELM的輸出值轉化為后驗概率。對于二分類問題｛＋1，－1｝，映射函數(shù)可以表示為

式中，f＋1（x）為ELM對應于類別標簽為＋1的輸出，P（t＝－1｜x）＝1－P（t＝＋1｜x）。對于參數(shù)A＋1和B＋1的確定，需要根據(jù)訓練樣本｛（xl，yl）求解以下對數(shù)似然函數(shù)最小值：

式中

式中，N＋和N－分別為標簽為＋1和－1的訓練樣本數(shù)目。采用Levenberg-Marquardt算法求解式（12）中的A＋1和B＋1，具體算法流程可以參考文獻［12］中的附錄部分。

2.2 成對耦合法

Platt提出的Sigmoid函數(shù)后驗概率映射法僅適用于二分類問題，為了解決D分類問題，采用成對耦合法將其分解成D（D－1）／2個二分類問題，其中D＞2為類別個數(shù)。對于由第i類別和第j類別組成的二分類問題，記rij為輸入樣本x屬于第i類別的概率值，即

為了最終計算輸入向量x屬于不同類別i的概率pi，如式（16）所示，需要融合D（D－1）／2個二分類概率值rij。

融合D（D－1）／2個rij求解pi可以等效為求解以下方程的最小值［16］：

文獻［16］已經(jīng)證明式（17）中任意優(yōu)化后得到的p＝｛p1，…，pi，…，pD｝均能滿足pi≥0，i＝1，2，…，D。則式（17）可以變成二次規(guī)劃問題：

式中

式中，Qij為式（18）中Q的第i行j列元素，i，j＝1，2，…，D。利用Lagrange乘子法求解式（18），則Lagrange函數(shù)為

令pL（p，α）＝0，αL（p，α）＝0，得到方程組

將式（21）寫成分塊矩陣形式

由式（23）可得

中的B。因為

則

對式（26）進行求解，得

最后，將BT的值作為輸入向量x屬于不同類別i的概率集合｛p1，…，pi，…，pD｝。

2.3 MPELM算法流程

給定訓練樣本集｛（xl，tl），其中xl∈Rn為輸入向量，tl∈｛1，…，D｝為類別標簽。則整理得多分類概率極限學習機算法步驟如下。

步驟1將｛（xl，tl）分解成D（D－1）／2組二分類｛i，j｝訓練樣本，其中由類別i和j組成的訓練樣本為｛（xl， t′l），t′l∈｛i，j｝。若t′l＝i，則令＝1，若t′l＝j，則令＝－1。從而將｛i，j｝類訓練樣本變成｛（xl，），i，j＝1，2，…，D，且i≠j。

步驟2 將｛（xl）｝代入式（8）計算其對應的ELM輸出權重βij，按式（28）計算xl對應的ELM輸出fij（xl）。式中，h（xl）按式（5）計算。

步驟3 利用｛fij（xl）｝求解｛i，j｝類對應的參數(shù)Aij和Bij，l＝1，2，…，Nij。

式中，Ni和Nj分別為屬于類別i和類別j的訓練樣本個數(shù)，將pl和yl代入式（12）計算Aij和Bij。

步驟4 對于被預測樣本的輸入向量x，計算其與｛i，j｝類對應的ELM輸出fij（x）和概率輸出rij，i，j＝1，2，…，D，且i≠j。

步驟5 利用Lagrange乘子法求解多分類概率。即將rij代入式（19）計算Q，然后將Q和式（19）中的A代入式（27）計算B，則BT為被預測樣本的輸入向量x分屬于所有D個類別的概率｛p1，…，pD｝。

3 RUL預測

根據(jù)設備的歷史全壽命數(shù)據(jù)，采用狀態(tài)概率估計法預測RUL，其中利用本文提出的MPELM估計當前時刻設備分屬于不同退化狀態(tài)的概率，連同由歷史數(shù)據(jù)確定的不同退化狀態(tài)對應的剩余使用壽命，計算當前設備的RUL?；诙喾诸惛怕蕵O限學習機的RUL預測算法如下。

（1）利用歷史全壽命數(shù)據(jù)組成訓練樣本｛（xl，tl）｝，其中xl為能反映設備退化程度的故障特征，tl∈｛1，…，D｝為不同退化狀態(tài)標簽，D為退化狀態(tài)數(shù)目。根據(jù)｛（xl，tl）｝訓練MPELM。

（2）對于被預測設備，將其當前時刻k的故障特征xk代入訓練好的MPELM，計算設備屬于退化狀態(tài)i（i＝1，2，…，D）的概率pi，k。

（3）k時刻RUL的預測按照下式計算：

式中，τi為根據(jù)歷史全壽命數(shù)據(jù)確定的退化狀態(tài)i對應的RUL。

值得注意的是，在RUL預測中，當前設備的壽命數(shù)據(jù)和歷史設備往往存在差異，可能將不屬于任何已知類別的數(shù)據(jù)歸到錯誤的一類，導致RUL預測失效。為克服此問題，可以參考文獻［18］的方法，即利用每種退化類別標簽對應的故障特征訓練一個OCSVMj（一類支持向量機），j＝1，2，…，D。對于當前時刻k的故障特征xk，分別將xk送入D個OCSVMj，并判斷xk是否屬于OCSVMj。若結果為xk至少屬于一種OCSVMj，說明xk屬于已知的退化狀態(tài)，可以按照本文提出的MPELM預測RUL。反之，說明xk不屬于已知的退化狀態(tài)，可能導致RUL預測無效。

4 實例分析

4.1 實驗數(shù)據(jù)

利用某型無人機機載發(fā)射機故障注入實驗臺的故障數(shù)據(jù)驗證本文方法在RUL預測中的有效性，實驗臺主要由發(fā)射機故障注入樣機、計算機、程控測量儀器和直流電源組成，如圖1所示。

圖1 機載發(fā)射機故障注入實驗臺

圖2 參考時鐘緩變故障下輸出頻率和功率

4.2 參數(shù)選擇

為證明本文方法有效性，采用3種方法：多分類概率支持向量機（MPSVM）、基于Hastie成對耦合法的多分類概率ELM（Hastie-MPELM）、本文提出的基于Lagrange成對耦合法的多分類概率ELM（Lagrange-MPELM），作為設備退化狀態(tài)分類器，預測發(fā)射機RUL。其中，方法1采用LIBSVM工具箱中提供的概率SVM，為了求解式（16）的概率，方法2采用Hastie方法［14］融合不同二分類概率輸出、方法3采用本文推導的Lagrange乘子法融合二分類概率輸出。式（2）中ELM激活函數(shù)g（·）選為sig。實驗環(huán)境為Windows XP系統(tǒng)，酷睿i3處理器（主頻3.3 GHz），3.4 GB內存，運行軟件為MATLAB R2011b。

對于MPSVM，懲罰參數(shù)C和核參數(shù)γ對分類性能影響較大；對于Hastie-MPELM和Lagrange-MPELM，式（8）中的參數(shù)λ和式（3）中的隱節(jié)點數(shù)目L需要人為確定。另一方面，退化狀態(tài)數(shù)D同樣影響著RUL預測的準確性。

4.2.1 λ和L對MPELM的影響

對于兩種MPELM，λ和L需要人為確定。分別令兩個參數(shù)λ＝｛2－24，2－23，…，224，225｝，L＝｛100，200，…，2 000｝，利用網(wǎng)格搜索法計算每一對λ和L對應的RUL預測準確率，其中第1～3組數(shù)據(jù)用于訓練兩種MPELM，利用第4組數(shù)據(jù)計算RUL準確率，如式（34）所示。同理，對MPSVM，分別令C和γ＝｛2－24，2－23，…，224，225｝，計算每一對C和γ對應的RUL預測準確率。以退化狀態(tài)數(shù)為4時的情況為例，3種方法的RUL預測準確率如圖3所示。

式中，Ntest＝208為測試樣本的采樣點數(shù)；^ξk為RUL的預測值；ξk為RUL的實際值。

圖3 不同參數(shù)對應的RUL預測準確率

由圖3可知，對于兩種MPELM，只要λ選擇恰當，L對RUL準確性影響較??；而對于MPSVM，參數(shù)C和γ對RUL準確性影響較大。與MPSVM需要同時優(yōu)化兩個參數(shù)C和γ相比，兩種MPELM只需對λ進行優(yōu)化，從而簡化參數(shù)尋優(yōu)過程。因此，在本文下面的參數(shù)尋優(yōu)過程中，固定L＝1 000，分別令Hastie-MPELM和Lagrange-MPELM中的λ、MPSVM中的C和γ在｛2－24，2－23，…，224，225｝中搜索最優(yōu)參數(shù)。

4.2.2 參數(shù)優(yōu)化結果

由4.2.1節(jié)分析結果可知，兩種MPELM的λ，MPSVM的C和γ需人為確定。此外，不同退化狀態(tài)數(shù)目D同樣影響著RUL的預測準確性。為了確定合理的D，選擇已知的一組故障數(shù)據(jù)作為評價標準，計算不同D下該組數(shù)據(jù)的RUL預測準確率，選擇最大準確率對應的D作為選定的退化狀態(tài)個數(shù)。對于本實驗，選擇第4組數(shù)據(jù)用于優(yōu)化D，分別令D＝2，3，…，10，D在每種取值下，令λ在｛2－24，2－23，…，224，225｝中變化，λ每取一次值，利用第1～3組數(shù)據(jù)組成的訓練樣本建立一個Lagrange-MPELM，然后計算其對第4組數(shù)據(jù)的RUL預測準確率，取所有λ中RUL預測準確率最大值作為狀態(tài)數(shù)為D時的準確率，如圖4所示。可以看出，當D＝4時，RUL準確率最大，為此，選取退化狀態(tài)數(shù)目為4。其中，第1～3組故障數(shù)據(jù)作為訓練樣本的抽取方式及其對應的RUL如表1所示，利用（208Δt－Ti）／207Δt計算不同退化狀態(tài)對應的RUL，Ti為狀態(tài)i對應的平均工作時間。

圖4 不同退化狀態(tài)數(shù)對應的RUL預測準確率

表1 退化狀態(tài)數(shù)為4時的訓練樣本

固定L＝1 000，分別令兩種MPELM中的λ、MPSVM中的C和γ在｛2－24，2－23，…，224，225｝中搜索最優(yōu)值。對于每一次Hastie-MPELM和Lagrange-MPELM中λ的搜索值，根據(jù)訓練樣本（見表1）建立MPELM模型，利用第4組故障數(shù)據(jù)計算RUL預測準確率，選擇RUL預測準確率最大時對應的λ作為預測RUL的最優(yōu)參數(shù)，如表2所示。同理，MPSVM的最優(yōu)C和γ如表2所示。3種方法搜索最優(yōu)參數(shù)的耗時如表2所示，與MPSVM需要同時優(yōu)化2個參數(shù)C和γ相比，2種MPELM只需要優(yōu)化1個參數(shù)λ，所以2種MPELM的尋優(yōu)耗時少于MPSVM。

表2 最優(yōu)參數(shù)及尋優(yōu)耗時

4.3 RUL預測

分別利用3種方法預測第4、5組數(shù)據(jù)的RUL，訓練樣本和狀態(tài)分類器參數(shù)如表1和表2所示。其中，參數(shù)優(yōu)化利用第4組數(shù)據(jù)，本文稱其為已知測試樣本，第5組故障數(shù)據(jù)沒有參與分類器的訓練和參數(shù)優(yōu)化過程，本文稱其為未知測試樣本。本文提出的Lagrange-MPELM對第4、5組故障數(shù)據(jù)分屬于4種退化狀態(tài)的概率估計值如圖5所示，發(fā)射機在起始階段屬于狀態(tài)1的概率接近100%，隨著退化過程延續(xù)，屬于狀態(tài)1的概率逐漸降低，屬于狀態(tài)2的概率增加，直至最后屬于狀態(tài)4的概率變?yōu)樽畲?，其中相鄰狀態(tài)間曲線的重疊主要由不同樣本間的差異性造成。

圖5 Lagrange-MPELM對測試樣本分屬于不同退化狀態(tài)的概率估計

通過計算不同時刻測試樣本分屬于4個退化狀態(tài)的概率（表3為部分時刻3種方法對第5組數(shù)據(jù)的概率輸出值），連同表1所示的不同退化狀態(tài)對應的RUL，利用式（33）計算所有208個時刻測試數(shù)據(jù)的RUL，3種方法對第4、5組測試樣本的RUL預測值和預測誤差絕對值分別如圖6和圖7所示。

表3 3種方法對第5組數(shù)據(jù)的部分時刻概率輸出（k=4Δt，78Δt，130Δt，204Δt）

圖6 第4組數(shù)據(jù)（已知樣本）預測結果

進行50次蒙特卡羅仿真，3種方法的RUL預測準確率、訓練耗時和測試耗時如表4所示，其中RUL預測準確率按式（34）計算，訓練耗時是指利用表1所示的訓練樣本和表2所示的最優(yōu)參數(shù)訓練分類器的時間，測試耗時是指利用訓練好的分類器計算第4組或第5組的208個故障數(shù)據(jù)對應的RUL所需的時間。

由圖6、圖7和表4可知，對于已知的測試樣本（第4組故障數(shù)據(jù)），3種方法的預測準確率相差不大，但是對于未知的測試樣本（第5組故障數(shù)據(jù)），兩種MPELM的預測精度高于MPSVM，相比之下，Lagrange-MPELM的預測精度略高于Hastie-MPELM。在模型訓練過程中，兩種MPELM方法需要對式（12）進行優(yōu)化，在模型測試過程中，兩種MPELM方法需要融合所有的二分類概率輸出，因此，兩種MPELM方法的訓練耗時和測試耗時高于MPSVM。在模型測試階段，Hastie-MPELM需要通過多步迭代求解所有二分類融合的最優(yōu)值，而Lagrange-MPELM利用式（27）即可求得最優(yōu)值，所以Lagrange-MPELM的測試耗時低于Hastie-MPELM。

圖7 第5組數(shù)據(jù)（未知樣本）預測結果

表4 RUL測試準確率和耗時

5 結 論

本文根據(jù)極限學習機在多分類問題中泛化能力強、所需優(yōu)化參數(shù)少這兩個優(yōu)點，提出基于多分類概率極限學習機的剩余使用壽命預測算法。利用無人機發(fā)射機的故障數(shù)據(jù)進行實驗驗證，結果表明，在模型參數(shù)優(yōu)化方面，與MPSVM需要優(yōu)化參數(shù)C和γ相比，MPELM只對參數(shù)λ敏感，所以MPELM方法在參數(shù)尋優(yōu)耗時上少于MPSVM；在RUL預測性能方面，MPELM的訓練和測試耗時高于MPSVM，但是MPELM的預測精度優(yōu)于MPSVM。與Hastie-MPELM相比，本文提出的Lagrange-MPELM測試耗時更低。

［1］Banjevic D.Remaining useful life in theory and practice［J］.Metrika，2009，69（2）：337- 349.

［2］Kamal M，Diego A，Tobon M，et al.Remaining useful life estimation of critical components with application tobearings［J］.IEEE Trans.on Reliability，2012，61（2）：292- 302.

［3］Miao Q，Xie L，Cui H G，et al.Remaining useful life prediction of lithiumion battery with unscented particle filter technique［J］.Microelectronics Reliability，2013，53（6）：805- 810.

［4］Hu C，Jain G，Gorka T.Method for estimating capacity and predicting remaining useful life of lithiumion battery［J］.Applied Energy，2014，126（1）：182- 189.

［5］Benkedjouh T，Medjaher K，Zerhouni N，et al.Remaining useful life estimation based on nonlinear feature reduction and support vector regression［J］.Engineering Applications of Artificial Intelligence，2013，26（7）：1751- 1760.

［6］Liu J B，Djurdjanovic D，Ni J，et al.Similarity based method for manufacturing process performance prediction and diagnosis［J］.Computers in Industry，2007，58（6）：558- 566.

［7］Kim H E，Tan A C C，Mathew J，et al.Bearing fault prognosis based on health state probability estimation［J］.Expert Systems with Applications，2012，39（5）：5200- 5213.

［8］Huang G B，Zhu Q Y，Siew C K.Extreme learning machine：theory and applications［J］.Neurocomputing，2006，70（1／3）：489- 501.

［9］Kamran J，Rafael G，Noureddine Z.SW-ELM：a summation wavelet extreme learning machine algorithm with a priori parameter initialization［J］.Neurocomputing，2014，123（1）：299- 307.

［10］Yuan X，Chen Y J，Zhu Q X.An extension sample classification-based extreme learning machine ensemble method for process fault diagnosis［J］.Chemical Engineering&Technology，2014，37（6）：911- 918.

［11］Huang G B，Zhou H M，Ding X J，et al.Extreme learning machine for regression and multiclass classification［J］.IEEE Trans.on Systems，Man，and Cybernetics-Part B：Cybernetics，2012，42（2）：513- 529.

［12］Platt J C.Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods［J］.Advances in Large Margin Classifiers，1999，10（3）：61- 74.

［13］Miguel M，Eddy M.Improved pairwise coupling classification with correcting classifiers［C］∥Proc.of the 10th European Conference on Machine Learning，1998：160- 171.

［14］Trevor H，Robert T.Classification by pairwise coupling［J］.The Annals of Statistics，1998，26（2）：451- 471.

［15］Miros?aw K，Waldemar W.New variants of pairwise classification［J］.European Journal of Operational Research，2009，199（2）：512- 519.

［16］Wu T F，Lin C J，Weng R C.Probability estimates for multiclass classification by pairwise coupling［J］.Journal of Machine Learning Research，2004，5（1）：975- 1005.

［17］Yan X，Li Y S，Gao S，et al.Fast method to enforce the passivity of macromodels for the admittance matrix［J］.Journal of Xidian University（Natural Science），2011，38（1）：153- 158.（閆旭，李玉山，高崧，等.一種實現(xiàn)導納矩陣宏模型無源性的快速方法［J］.西安電子科技大學學報（自然科學版），2011，38（1）：153- 158.）

［18］Wang J C，Shan G L，Duan X S，et al.Analog circuit fault diagnosis method combining OCSVM［J］.Computer Engineering，2012，38（4）：170 -173.（王儉臣，單甘霖，段修生，等.結合OCSVM的模擬電路故障診斷方法［J］.計算機工程，2012，38（4）：170- 173.）

Multi-class probabilistic extreme learning machine and its application in remaining useful life prediction

DU Zhan-long1，LI Xiao-min1，XI Lei-ping1，ZHANG Jin-zhong2，LIU Xin-hai1
（1.Department of UAV Engineering，Ordnance Engineering College，Shijiazhuang 050003，China；2.Communication Engineering Design and Research Institute of PLA General Staff Headquarters，Shenyang 110000，China）

To solve the problem that multi-class extreme learning machine（ELM）lacks the ability of probabilistic output，a multi-class probabilistic ELM（MPELM）algorithm is presented based on the combination of sigmoid posterior probability mapping and Lagrange pairwise coupling.Firstly，after separating the multi-class problem into the type of two-class problem by pairwise coupling，each two-class ELM output is transformed to the probabilistic output by sigmoid function.Then，the multi-class probabilistic computing expression is deduced based on the Lagrange multiplier method，which is utilized to fuse all two-class probabilistic outputs.Finally，the probabilistic results of predicted samples belonging to different classes are obtained.The proposed MPELM is applied to remaining useful life（RUL）prognosis.The experiment results show that，compared with multi-class probabilistic support vector machine（MPSVM），though time consuming of the proposed MPELM is higher than MPSVM，less optimized parameter is required while higher forecasting accuracy is achieved by MPELM.The predicting accuracy of the proposed MPELM is similar to MPELM based on the Hastie pairwise coupling（Hastie-MPELM）algorithm.But test time consuming of the proposed MPELM is less than Hastie-MPELM.

extreme learning machine（ELM）；posterior probability；pairwise coupling；fault prediction

TP 206＋.3

A

10.3969／j.issn.1001-506X.2015.12.18

杜占龍（198-6- ），男，博士研究生，主要研究方向為故障診斷和故障預測。

E-mail：dzl_1986＠163.com

李小民（196-8- ），男，教授，博士，主要研究方向為電子系統(tǒng)性能檢測與故障診斷。

E-mail：lxmfy2000＠263.net

席雷平（1979- ），男，講師，博士，主要研究方向為檢測技術、自動目標識別。

E-mail：research_mail＠sina.cn

張金中（198-5- ），男，工程師，主要研究方向為通信設備檢測診斷。

E-mail：mec_edu＠126.com

劉新海（198-8- ），男，工程師，主要研究方向為自動測試技術、自動測試理論。

E-mail：18633084961＠126.com

1001-506X（2015）12-2777-08

2014- 12- 04；

2015- 03- 17；網(wǎng)絡優(yōu)先出版日期：2015- 08- 17。

網(wǎng)絡優(yōu)先出版地址：http：／／www.cnki.net／kcms／detail／11.2422.TN.20150817.1817.010.html

總裝院校科技創(chuàng)新工程項目（ZYX12080008）資助課題