基于重構(gòu)的半監(jiān)督ELM及其在故障診斷中的應(yīng)用

易維淋，田學(xué)民，張漢元

?

基于重構(gòu)的半監(jiān)督ELM及其在故障診斷中的應(yīng)用

易維淋，田學(xué)民，張漢元

（中國(guó)石油大學(xué)（華東）信息與控制工程學(xué)院，山東青島266580）

工業(yè)過(guò)程中獲取帶標(biāo)簽的故障數(shù)據(jù)困難，而無(wú)標(biāo)簽故障數(shù)據(jù)卻大量存在，如何有效地利用數(shù)據(jù)信息進(jìn)行故障診斷是故障診斷領(lǐng)域的重要內(nèi)容。為更充分地挖掘和利用數(shù)據(jù)信息，提出一種新的半監(jiān)督學(xué)習(xí)方法：基于重構(gòu)的半監(jiān)督極限學(xué)習(xí)機(jī)(RSELM)。相比于傳統(tǒng)的半監(jiān)督極限學(xué)習(xí)機(jī)(ELM)方法，RSELM采用自動(dòng)編碼ELM(ELM-AE)獲得的輸出權(quán)重替代隨機(jī)的隱含層輸入權(quán)重，能更有效地提取數(shù)據(jù)特征；考慮到數(shù)據(jù)均可由其近鄰數(shù)據(jù)來(lái)線性重構(gòu)，故可構(gòu)建近鄰數(shù)自適應(yīng)選擇的重構(gòu)圖，并同時(shí)利用數(shù)據(jù)的標(biāo)簽信息優(yōu)化連接權(quán)重，以更優(yōu)地反映數(shù)據(jù)結(jié)構(gòu)信息；通過(guò)建立新的含局部保持的目標(biāo)函數(shù)，可有效地訓(xùn)練分類器。標(biāo)準(zhǔn)數(shù)據(jù)集和TE過(guò)程上的仿真實(shí)驗(yàn)驗(yàn)證了所提算法的有效性。

半監(jiān)督極限學(xué)習(xí)機(jī)；重構(gòu)；ELM-AE；故障診斷

引 言

隨著工業(yè)過(guò)程安全性和可靠性需求的增加，故障診斷技術(shù)受到廣泛的關(guān)注[1-5]。而工業(yè)過(guò)程中對(duì)歷史故障數(shù)據(jù)進(jìn)行人工標(biāo)注是費(fèi)時(shí)費(fèi)力的，因而如何有效地利用有限的帶標(biāo)簽故障數(shù)據(jù)進(jìn)行故障分類，確定故障類型成為了故障診斷領(lǐng)域的一個(gè)重要內(nèi)容。

極限學(xué)習(xí)機(jī)(ELM)是Huang等提出的一種學(xué)習(xí)速度快且泛化性能好的單隱層前饋神經(jīng)網(wǎng)絡(luò)（SLFNs）訓(xùn)練方法[6-7]，已被廣泛地應(yīng)用于數(shù)據(jù)的分類、聚類、回歸分析、特征選擇和表征學(xué)習(xí)等領(lǐng)域[8-16]。例如，通過(guò)對(duì)每個(gè)樣本施以不同的誤分類代價(jià)，Zong等[17]提出WELM以解決不平衡數(shù)據(jù)的分類問(wèn)題；Kasun等[18]利用自動(dòng)編碼技術(shù)將原輸入數(shù)據(jù)作為輸出目標(biāo)，提出自動(dòng)編碼極限學(xué)習(xí)機(jī)(ELM-AE)，通過(guò)將獲得的輸出權(quán)重代替隨機(jī)確定的隱含層的輸入權(quán)重，可更有效地提取數(shù)據(jù)特征。鑒于ELM的快速有效性，ELM也被應(yīng)用于故障診斷領(lǐng)域[19-21]。

然而，ELM是一種監(jiān)督型的學(xué)習(xí)方法，而現(xiàn)實(shí)中獲取帶標(biāo)簽數(shù)據(jù)困難，無(wú)標(biāo)簽數(shù)據(jù)卻大量存在。為有效地利用無(wú)標(biāo)簽數(shù)據(jù)來(lái)提高學(xué)習(xí)性能，學(xué)者們基于成對(duì)樣本間相似性建立反映數(shù)據(jù)結(jié)構(gòu)信息的kNN圖，并將局部結(jié)構(gòu)保持函數(shù)融入原ELM的目標(biāo)函數(shù)，提出了各種半監(jiān)督ELM方法[22-26]。Liu等[22]提出一種半監(jiān)督ELM方法并將之應(yīng)用于室內(nèi)定位；Iosifidis等[23]融入數(shù)據(jù)的判別信息，給出了用于單角度和多角度動(dòng)作識(shí)別的半監(jiān)督學(xué)習(xí)方法，即SDELM和MVSDELM；Huang等[24]則利用圖論和譜回歸理論提出了一種有效的半監(jiān)督分類方法SELM；而Zhou等[25]則同時(shí)考慮了數(shù)據(jù)的流型特征和成對(duì)約束問(wèn)題，給出了一種快速有效的半監(jiān)督ELM方法；Averdi等[26]則通過(guò)將集成的ELM算法推廣至半監(jiān)督學(xué)習(xí)領(lǐng)域，并結(jié)合空間正則化，提出半監(jiān)督ELM方法并將之應(yīng)用于高光譜圖像分類與分割。

盡管上述方法能有效地完成半監(jiān)督學(xué)習(xí)任務(wù)，但在挖掘和利用數(shù)據(jù)信息方面還有待進(jìn)一步研究。

（1）數(shù)據(jù)特征信息的提?。弘S機(jī)確定的隱含層參數(shù)使得數(shù)據(jù)在映射至特征空間的過(guò)程中對(duì)數(shù)據(jù)的潛在特征信息提取不充分。

（2）數(shù)據(jù)結(jié)構(gòu)信息的反映：數(shù)據(jù)的結(jié)構(gòu)信息是通過(guò)構(gòu)建kNN圖來(lái)反映的，但存在以下兩個(gè)問(wèn)題。

① kNN圖是根據(jù)經(jīng)驗(yàn)給每個(gè)樣本點(diǎn)設(shè)定相同的近鄰數(shù)來(lái)建立的，近鄰數(shù)的選擇獨(dú)立于數(shù)據(jù)分布，使得在對(duì)樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)的過(guò)程中影響標(biāo)簽信息的傳播；

② kNN圖中，確定衡量樣本間相似性的權(quán)重時(shí)，僅利用了數(shù)據(jù)間的距離信息，而忽略了帶標(biāo)簽數(shù)據(jù)的標(biāo)簽(類別)信息。

為解決傳統(tǒng)的半監(jiān)督ELM存在的問(wèn)題，利用ELM-AE在提取數(shù)據(jù)特征方面的優(yōu)勢(shì)以及局部線性嵌入(LLE)[27]具有的局部結(jié)構(gòu)保持功能，本文提出一種基于重構(gòu)的半監(jiān)督ELM方法，即RSELM。RSELM采用ELM-AE獲取的輸出權(quán)重代替隨機(jī)確定的隱含層權(quán)重，提取數(shù)據(jù)特征；基于LLE中樣本數(shù)據(jù)均可由其近鄰點(diǎn)加權(quán)重構(gòu)的思想，在特征空間中建立反映數(shù)據(jù)局部結(jié)構(gòu)信息的自適應(yīng)重構(gòu)圖，并利用數(shù)據(jù)類別信息優(yōu)化連接權(quán)重，同時(shí)在輸出空間中構(gòu)建局部結(jié)構(gòu)保持的目標(biāo)函數(shù)，基于此來(lái)訓(xùn)練分類器?；赗SELM的標(biāo)準(zhǔn)數(shù)據(jù)集分類和TE過(guò)程的故障診斷實(shí)驗(yàn)驗(yàn)證了所提算法的有效性。

1 相關(guān)工作

1.1 自動(dòng)編碼極限學(xué)習(xí)機(jī)

與傳統(tǒng)的監(jiān)督型學(xué)習(xí)算法ELM不同，自動(dòng)編碼極限學(xué)習(xí)機(jī)(ELM-AE)[18]采用無(wú)監(jiān)督的學(xué)習(xí)策略，將輸入數(shù)據(jù)作為輸出目標(biāo)，得到的輸出權(quán)重可有效地用于數(shù)據(jù)特征的提取。

通過(guò)對(duì)式(1)求解，則可得到輸出權(quán)重為

1.2 半監(jiān)督極限學(xué)習(xí)機(jī)

基于光滑性假設(shè)思想，半監(jiān)督ELM(SELM)[24]利用成對(duì)數(shù)據(jù)的相似關(guān)系構(gòu)建拉普拉斯圖，建立含流形正則項(xiàng)的優(yōu)化目標(biāo)函數(shù)，以同時(shí)利用帶標(biāo)簽和無(wú)標(biāo)簽數(shù)據(jù)信息來(lái)處理實(shí)際中帶標(biāo)簽數(shù)據(jù)不足而無(wú)標(biāo)簽數(shù)據(jù)大量存在的情況，提高分類器性能。

(4)

式中，為樣本數(shù)據(jù)與之近鄰數(shù)據(jù)間距離的均值。

與經(jīng)典的ELM一致，SELM采用隨機(jī)映射將數(shù)據(jù)映射至特征空間，對(duì)數(shù)據(jù)的潛在信息提取不充分；同時(shí)SELM利用成對(duì)樣本間的相似關(guān)系建立kNN圖來(lái)反映數(shù)據(jù)結(jié)構(gòu)，但每個(gè)樣本點(diǎn)選取的近鄰數(shù)卻是獨(dú)立于數(shù)據(jù)結(jié)構(gòu)而根據(jù)經(jīng)驗(yàn)選擇的。而對(duì)于式(4)所示衡量成對(duì)樣本間相似程度的權(quán)重w的確定，僅利用了數(shù)據(jù)間的距離信息，卻未能對(duì)帶標(biāo)簽數(shù)據(jù)的先驗(yàn)的類別信息加以利用。

2 基于重構(gòu)的半監(jiān)督極限學(xué)習(xí)機(jī)

LLE[27]是一種能夠使降維后的數(shù)據(jù)保持原有局部結(jié)構(gòu)的非線性降維方法，其主要思想為數(shù)據(jù)的重構(gòu)：輸入/輸出空間中，每個(gè)樣本數(shù)據(jù)均可通過(guò)對(duì)其近鄰數(shù)據(jù)加權(quán)來(lái)線性重構(gòu)，而權(quán)重大小即可反映數(shù)據(jù)間的相似程度，為此，數(shù)據(jù)間的局部結(jié)構(gòu)信息可通過(guò)建立一個(gè)重構(gòu)圖的方式來(lái)表達(dá)。而半監(jiān)督學(xué)習(xí)的一種形式即為：利用數(shù)據(jù)間的局部結(jié)構(gòu)信息來(lái)彌補(bǔ)帶標(biāo)簽數(shù)據(jù)不足，故本文提出基于重構(gòu)的半監(jiān)督極限學(xué)習(xí)機(jī)(RSELM)，通過(guò)構(gòu)建自適應(yīng)重構(gòu)圖來(lái)表征數(shù)據(jù)結(jié)構(gòu)，建立新的局部保持目標(biāo)函數(shù)來(lái)進(jìn)行分類器的訓(xùn)練，以處理標(biāo)記數(shù)據(jù)過(guò)少的情況。

不同于LLE的是，在構(gòu)建重構(gòu)圖的過(guò)程中，LLE根據(jù)經(jīng)驗(yàn)給每個(gè)樣本確定相同的近鄰數(shù)，基于重構(gòu)誤差最小的準(zhǔn)則來(lái)確定重構(gòu)圖的連接權(quán)重。而RSELM則通過(guò)數(shù)據(jù)的距離信息和類別信息來(lái)確定重構(gòu)圖的連接權(quán)重，基于重構(gòu)誤差最小的準(zhǔn)則來(lái)自適應(yīng)地確定每個(gè)樣本的近鄰數(shù)，使得重構(gòu)圖的構(gòu)建依賴于數(shù)據(jù)分布，更好地反映數(shù)據(jù)結(jié)構(gòu)信息。

如圖1所示，RSELM方法具體可分為3步：（1）采用ELM-AE方法確定隱含層的輸入權(quán)重，將原數(shù)據(jù)映射至特征空間；（2）特征空間中，通過(guò)最小化每個(gè)樣本數(shù)據(jù)的相應(yīng)隱含層輸出的重構(gòu)誤差，自適應(yīng)地選擇每個(gè)樣本的近鄰數(shù)來(lái)建立反映數(shù)據(jù)結(jié)構(gòu)信息的加權(quán)圖，即重構(gòu)圖；（3）輸出空間中，為保持原數(shù)據(jù)的結(jié)構(gòu)信息，則每個(gè)樣本的輸出均應(yīng)能夠由其近鄰點(diǎn)的相應(yīng)輸出來(lái)進(jìn)行較小誤差的重構(gòu)，基于此可構(gòu)建含有重構(gòu)誤差項(xiàng)的目標(biāo)函數(shù)來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到滿足要求的半監(jiān)督分類器。

2.1 構(gòu)建重構(gòu)圖

特征空間中，每個(gè)樣本點(diǎn)均可由其近鄰點(diǎn)來(lái)線性重構(gòu)，其重構(gòu)誤差為

其中，k表示對(duì)應(yīng)于樣本的隱含層輸出的近鄰數(shù)，且，隱含層參數(shù)由ELM-AE算法確定(圖1)。

（1）若樣本數(shù)據(jù)均為帶標(biāo)簽數(shù)據(jù)且屬于同類則增大其權(quán)重(同類樣本相似性大)；

（2）若樣本數(shù)據(jù)均為帶標(biāo)簽數(shù)據(jù)但不屬于同類則減小其權(quán)重（不同類樣本相似性?。?；

（3）若樣本數(shù)據(jù)中含有無(wú)標(biāo)簽數(shù)據(jù)則保持其權(quán)重不變，具體如式(6)所示

其中，()樣本對(duì)應(yīng)的所屬類的標(biāo)簽，為樣本數(shù)據(jù)隱含層輸出與之近鄰間距離的均值。

值得注意的是：（1）構(gòu)建的重構(gòu)圖是帶方向的自適應(yīng)kNN圖，即衡量相似程度的權(quán)重；（2）樣本間權(quán)重的計(jì)算是在ELM特征空間中而不是輸入空間中進(jìn)行的，因?yàn)樵?i>空間中輸入數(shù)據(jù)間的非線性關(guān)系能更好地表達(dá)。

對(duì)式(5)所示的重構(gòu)誤差函數(shù)進(jìn)行最小化，即可得到每個(gè)樣本的自適應(yīng)近鄰數(shù)。由于式(5)所示的最小化問(wèn)題并非凸優(yōu)化問(wèn)題，故難以尋找到該問(wèn)題的最優(yōu)解。本文采用在一定近鄰數(shù)范圍內(nèi)進(jìn)行遍歷的方法來(lái)尋找相對(duì)最優(yōu)的近鄰數(shù)，考慮到計(jì)算問(wèn)題，本文所選取的最大近鄰數(shù)max為10。

2.2 RSELM算法

ELM特征空間中，通過(guò)建立自適應(yīng)的重構(gòu)圖來(lái)反映數(shù)據(jù)的局部結(jié)構(gòu)信息；輸出空間中，則可構(gòu)建局部保持的目標(biāo)函數(shù)，使得輸入空間中每個(gè)樣本的對(duì)應(yīng)的輸出均可由其近鄰點(diǎn)對(duì)應(yīng)輸出以相同的權(quán)重進(jìn)行小誤差重構(gòu)，即

式中，′是樣本對(duì)應(yīng)網(wǎng)絡(luò)輸出的重構(gòu)誤差。

將約束條件代入目標(biāo)函數(shù)則有

由式(5)和式(8)對(duì)比可以看出，=Tr()，即樣本在輸出空間中的重構(gòu)誤差是與ELM特征空間中的樣本重構(gòu)誤差密切相關(guān)，故若使得式(7)所示的目標(biāo)函數(shù)最小，則可認(rèn)為數(shù)據(jù)的局部結(jié)構(gòu)信息被較好地保留下來(lái)。

引入新的局部保持函數(shù)的RSELM的優(yōu)化目標(biāo)即為找到輸出權(quán)重，使得以下目標(biāo)函數(shù)最小

式中，為相應(yīng)于每個(gè)樣本訓(xùn)練誤差的懲罰因子；為權(quán)衡參數(shù)；為樣本的平均重構(gòu)偏移。

為得到滿足目標(biāo)函數(shù)的輸出權(quán)重值*，令，可得輸出權(quán)重為

則對(duì)于新樣本的相應(yīng)網(wǎng)絡(luò)輸出為

(11)

而樣本所屬的類為RSELM分類器輸出值最高的輸出節(jié)點(diǎn)所代表的標(biāo)簽類。令y()表示第個(gè)輸出節(jié)點(diǎn)的輸出值，則樣本所屬的類標(biāo)簽為

以二分類問(wèn)題為例，傳統(tǒng)的SELM網(wǎng)絡(luò)和RSELM的局部保持結(jié)構(gòu)示意圖如圖2和圖3所示。為便于比較，假定RSELM在特征空間中的數(shù)據(jù)分布與SELM在輸入空間中一致。由圖可知，樣本點(diǎn)A和C屬于正類樣本，B和D屬于負(fù)類樣本。映射前，根據(jù)近鄰規(guī)則，對(duì)于SELM，樣本點(diǎn)A和B的近鄰數(shù)均獨(dú)立于樣本的分布給定為A=B=5，而RSELM卻可基于最小化重構(gòu)誤差的準(zhǔn)則根據(jù)樣本的分布自適應(yīng)的選擇近鄰數(shù)(A=5,B=4)；映射后，SELM能較好地保持原數(shù)據(jù)結(jié)構(gòu)，即A、B、C、D的距離基本保持不變；而RSELM在考慮了數(shù)據(jù)的類別信息，對(duì)連接權(quán)重優(yōu)化后，可使得輸出空間中的同類樣本間的距離減小(B和D)，不同類樣本間的距離增大(A和D，B和C)，更有利于數(shù)據(jù)的分類。

圖2 SELM局部結(jié)構(gòu)保持示意圖

Fig.2 Local structure preserving graph of SELM

3 基于RSELM的故障診斷

基于RSELM的故障診斷方法由離線建模和在線診斷兩部分組成。離線建模是通過(guò)歷史的標(biāo)簽與未標(biāo)簽故障數(shù)據(jù)建立故障診斷模型；而在線診斷則是對(duì)新到的故障數(shù)據(jù)進(jìn)行診斷分類，以便于判斷故障類型。

離線建模

輸出：網(wǎng)絡(luò)的輸出權(quán)重*。

（1）歸一化數(shù)據(jù)集為均值為0，方差為1的標(biāo)準(zhǔn)數(shù)據(jù)集；

（2）初始化隱含層節(jié)點(diǎn)數(shù)n，根據(jù)ELM-AE確定隱含層參數(shù)，計(jì)算隱含層輸出；

（3）ELM特征空間中，建立重構(gòu)圖：

①計(jì)算樣本間距離找到樣本,=1,…,+的max個(gè)最近鄰，計(jì)算初始權(quán)重；

③得出樣本的最終近鄰數(shù)k，使最??；

（4）計(jì)算平均重構(gòu)偏移；

（5）選擇平衡參數(shù)和，計(jì)算輸出權(quán)重*。

在線診斷

輸出：未知樣本所屬的類。

（1）根據(jù)訓(xùn)練集的均值和方差歸一化為標(biāo)準(zhǔn)數(shù)據(jù)集；

（2）根據(jù)已有的輸入權(quán)重和偏差，計(jì)算隱含層輸出；

（3）基于輸出權(quán)重*計(jì)算網(wǎng)絡(luò)輸出；

（4）根據(jù)式(12)確定每個(gè)樣本所屬的類，即確定故障類型。

4 仿真實(shí)驗(yàn)

為驗(yàn)證所提算法的有效性，分別采用源自KEEL數(shù)據(jù)庫(kù)(http://www.keel.es/datasets.php)用于半監(jiān)督分類的5個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集G50C[29-30]、Iris、Wine、Image segmentation[24]、Vowel[20]以及TE過(guò)程作為仿真對(duì)象，在MATLAB中分別將SDELM[23]、SELM[24]與本文的RSELM的方法進(jìn)行比較。

參數(shù)設(shè)置：隨機(jī)選取每個(gè)數(shù)據(jù)集的80%作為訓(xùn)練集，其余作為測(cè)試集。訓(xùn)練集又分為帶標(biāo)簽數(shù)據(jù)集、無(wú)標(biāo)簽數(shù)據(jù)集和驗(yàn)證集，其中驗(yàn)證集為訓(xùn)練集的10%，且僅用于網(wǎng)絡(luò)模型參數(shù)和的選擇。而所用方法的隱含層節(jié)點(diǎn)數(shù)均設(shè)為2000，SDELM和SELM的近鄰數(shù)均設(shè)為5，RSELM的最大近鄰數(shù)設(shè)為10，而平衡參數(shù)和則在指數(shù)序列{10-3,10-2,…,104}基于驗(yàn)證集的分類精度進(jìn)行選取。

仿真過(guò)程中，定義數(shù)據(jù)的標(biāo)記率為=/(+)，其中，表示帶標(biāo)簽樣本數(shù)，表示無(wú)標(biāo)簽樣本數(shù)，表示驗(yàn)證集樣本數(shù)，表示測(cè)試集樣本數(shù)。分類精度即被正確分類的樣本數(shù)/測(cè)試樣本總數(shù)。

4.1 標(biāo)準(zhǔn)數(shù)據(jù)集仿真

采用源自KEEL數(shù)據(jù)庫(kù)用于半監(jiān)督分類的標(biāo)準(zhǔn)數(shù)據(jù)集G50C、Iris、Wine、Vowel和Image segmentation作為仿真對(duì)象，仿真過(guò)程中，選擇數(shù)據(jù)標(biāo)記率0.2，具體數(shù)據(jù)信息如表1所示。

由于隱含層參數(shù)隨機(jī)選取導(dǎo)致網(wǎng)絡(luò)輸出不穩(wěn)定的原因，各方法均獨(dú)立運(yùn)行20次，取其“均值±標(biāo)準(zhǔn)差”作為對(duì)比，仿真結(jié)果如表2所示。

表1 標(biāo)準(zhǔn)數(shù)據(jù)集信息

表2 標(biāo)準(zhǔn)數(shù)據(jù)集分類結(jié)果

由表2可以看出，相比于SDELM和SELM學(xué)習(xí)方法，RSELM能得到最優(yōu)的分類結(jié)果，驗(yàn)證了算法的有效性，同時(shí)也說(shuō)明了在帶標(biāo)簽數(shù)據(jù)不足的情況下，所提方法能夠更充分地挖掘和利用數(shù)據(jù)信息來(lái)完成半監(jiān)督學(xué)習(xí)任務(wù)，提高網(wǎng)絡(luò)的分類性能。

4.2 TE過(guò)程仿真

田納西-伊斯曼(TE)過(guò)程[31]，是伊斯曼化學(xué)品公司的Downs和Vogel公布的用于學(xué)術(shù)研究的過(guò)程仿真，它基于實(shí)際化工過(guò)程，包含41個(gè)測(cè)量變量和12個(gè)操縱變量，有21種預(yù)設(shè)定的故障。每種故障工況的數(shù)據(jù)包均含960個(gè)樣本，且均在第161個(gè)樣本數(shù)據(jù)點(diǎn)加入故障，即每類故障均含有800個(gè)故障數(shù)據(jù)。目前，TE過(guò)程已經(jīng)成為大家公認(rèn)的用于檢驗(yàn)各種控制及監(jiān)控方案性能的研究對(duì)象。

仿真實(shí)驗(yàn)中，選取9種類型的故障數(shù)據(jù)，并將之混合作為故障數(shù)據(jù)集進(jìn)行學(xué)習(xí)，每類故障數(shù)據(jù)均歸一化為均值為0，方差為1的標(biāo)準(zhǔn)數(shù)據(jù)。

以標(biāo)記率=0.2為例，說(shuō)明RSELM在帶標(biāo)簽數(shù)據(jù)不足的情況下進(jìn)行故障診斷的有效性。各方法對(duì)所選取的9種故障的分類結(jié)果如表3和圖4所示。其中，總體分類精度（overall accuracy）為所有正確分類樣本數(shù)除以總的測(cè)試樣本數(shù)。

表3 TE過(guò)程故障診斷結(jié)果()

Table 3 Results of fault diagnosis on TE process()/%

表3 TE過(guò)程故障診斷結(jié)果()

FaultSDELMSELMRSELM 197.88±0.342397.88±0.3423100±0 4100±0100±0100±0 870.88±2.088970.00±0.883969.13±1.8160 1038.13±1.397543.00±2.044471.13±2.6295 1379.13±1.704376.13±1.425281.13±1.4922 1444.63±2.269951.38±2.666341.88±2.2097 1795.00±0.988290.50±1.617897.13±0.3423 2074.63±2.192073.88±1.355075.38±0.8385 2180.13±2.436778.13±1.169381.38±1.1180 overall accuracy75.60±1.288675.65±0.932079.68±0.5141

由表3和圖4可知，對(duì)于所列的故障類型，除故障8和故障14外，所提方法對(duì)于均能以最高的分類精度對(duì)故障進(jìn)行分類，特別是對(duì)于故障10，RSELM的分類精度相比于其他兩種方法提高了30%左右的分類精度。而故障8和故障14分類精度下降是因?yàn)榉诸惼鲄?shù)是根據(jù)驗(yàn)證集的總體分類精度來(lái)調(diào)整的，為達(dá)到更高的總體分類精度，分類器重心偏向了其他幾種故障的精度的提高，但就總體分類精度來(lái)說(shuō)，在=0.2時(shí)，總體分類精度提高了4%，說(shuō)明了在相同的條件下，RSELM能夠更有效地對(duì)故障進(jìn)行分類，提高故障診斷性能。

為進(jìn)一步驗(yàn)證算法的有效性，對(duì)不同數(shù)據(jù)標(biāo)記率下的故障數(shù)據(jù)進(jìn)行仿真。不同標(biāo)記率下的總體分類精度（overall accuracy）如表4和圖5所示?？梢钥闯?，隨著樣本數(shù)據(jù)的標(biāo)記率的增大，各種方法的故障診斷精度呈現(xiàn)升高的趨勢(shì)，而當(dāng)帶標(biāo)簽數(shù)據(jù)過(guò)少時(shí)(≤0.2)，RSELM的分類精度明顯提升更多；而在相同的標(biāo)記率下，RSELM總能得到比其他兩種方法更高的總體分類精度，說(shuō)明了RSELM在綜合考慮了數(shù)據(jù)特征提取、自適應(yīng)重構(gòu)圖和類別信息優(yōu)化權(quán)重等因素的情況下，能更充分地挖掘和利用歷史故障數(shù)據(jù)信息來(lái)訓(xùn)練半監(jiān)督分類器，使得對(duì)于未知的故障數(shù)據(jù)，RSELM能更有效地對(duì)故障進(jìn)行分類，提高故障診斷性能。

表4 TE過(guò)程不同標(biāo)記率下故障診斷結(jié)果

5 結(jié) 論

本文提出了一種基于重構(gòu)的半監(jiān)督極限學(xué)習(xí)機(jī)(RSELM)方法，以更充分地挖掘和利用數(shù)據(jù)信息，來(lái)處理實(shí)際工業(yè)過(guò)程中獲取帶標(biāo)簽數(shù)據(jù)困難，而無(wú)標(biāo)簽數(shù)據(jù)大量存在的情況下的故障診斷問(wèn)題。不同于傳統(tǒng)的半監(jiān)督ELM方法，RSELM利用ELM-AE獲取的輸出權(quán)重替代隨機(jī)的輸入權(quán)重以提取數(shù)據(jù)特征，并在特征空間中基于重構(gòu)誤差最小的準(zhǔn)則構(gòu)建圖時(shí)，同時(shí)考慮了數(shù)據(jù)的局部結(jié)構(gòu)信息和帶標(biāo)簽數(shù)據(jù)的類別信息來(lái)優(yōu)化連接權(quán)重，并基于此在輸出空間中構(gòu)建新的局部保持的目標(biāo)函數(shù)來(lái)訓(xùn)練分類器?；跇?biāo)準(zhǔn)數(shù)據(jù)集和TE過(guò)程的仿真結(jié)果表明，所提算法能達(dá)到比傳統(tǒng)的半監(jiān)督ELM方法相近甚至更高的分類精度，可有效地提高故障診斷的準(zhǔn)確性。

References

[1] GE Z, SONG Z, GAO F. Review of recent research on data-based process monitoring[J]. Industrial & Engineering Chemistry Research, 2013, 52(10): 3543-3562.

[2] QIN S J. Survey on data-driven industrial process monitoring and diagnosis[J]. Annual Reviews in Control, 2012, 36(2): 220-234.

[3] ZHANG Y, MA C. Fault diagnosis of nonlinear processes using multiscale KPCA and multiscale KPLS[J]. Chemical Engineering Science, 2011, 66(1): 64-72.

[4] 劉強(qiáng), 柴天佑, 秦泗釗, 等. 基于數(shù)據(jù)和知識(shí)的工業(yè)過(guò)程監(jiān)視及故障診斷綜述[J]. 控制與決策, 2010, 25(6): 801-807. LIU Q, CHAI T Y, QIN S Z,. Progress of data-driven and knowledge-driven process monitoring and fault diagnosis for industry process[J]. Control & Decision, 2010, 25(6): 801-807.

[5] 李晗, 蕭德云. 基于數(shù)據(jù)驅(qū)動(dòng)的故障診斷方法綜述[J]. 控制與決策, 2011, 26(1): 1-9. LI H, XIAO D Y. Survey on data driven fault diagnosis methods[J]. Control & Decision, 2011, 26(1): 1-9.

[6] HUANG G B, ZHU Q Y, SIEW C K. Extreme learning machine: a new learning scheme of feedforward neural networks[C]// IEEE International Joint Conference on Neural Networks. Proceedings. IEEE Xplore, 2004, 2: 985-990.

[7] HUANG G B, ZHU Q Y, SIEW C K. Extreme learning machine: theory and applications[J]. Neurocomputing, 2006, 70(1/2/3): 489-501.

[8] HUANG G B, WANG D H, LAN Y. Extreme learning machines: a survey[J]. International Journal of Machine Learning & Cybernetics, 2011, 2(2): 107-122.

[9] GAO H, HUANG G B, SONG S,. Trends in extreme learning machines: a review[J]. Neural Networks the Official Journal of the International Neural Network Society, 2015, 61: 32.

[10] HUANG G B. An insight into extreme learning machines: random neurons, random features and kernels[J]. Cognitive Computation, 2014, 6(3): 376-390.

[11] HUANG G B, CHEN L, SIEW C K. Universal approximation using incremental constructive feedforward networks with random hidden nodes[J]. IEEE Transactions on Neural Networks, 2006, 17(4): 879-892.

[12] HUANG G B, CHEN L. Enhanced random search based incremental extreme learning machine[J]. Neurocomputing, 2008, 71(16/17/18): 3460-3468.

[13] HUANG G B, DING X, ZHOU H. Optimization method based extreme learning machine for classification[J]. Neurocomputing, 2010, 74(1/2/3): 155-163.

[14] HUANG G B, ZHOU H, DING X,. Extreme learning machine for regression and multiclass classification[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B(Cybernetics), 2012, 42(42): 513-529.

[15] HUANG G B. An insight into extreme learning machines: random neurons, random features and kernels[J]. Cognitive Computation, 2014, 6(3): 376-390.

[16] CAMBRIA E, HUANG G B, KASUN L L C,. Extreme learning machines[J]. Intelligent Systems, IEEE, 2013, 28(6): 30-59.

[17] ZONG W, HUANG G B, CHEN Y. Weighted extreme learning machine for imbalance learning[J]. Neurocomputing, 2013, 101(3): 229-242.

[18] KASUN L L C, ZHOU H, HUANG G B,. Representational learning with ELMs for big data[J]. Intelligent Systems IEEE, 2013, 28(6): 31-34.

[19] MARTINEZ-REGO D, FONTENLA-ROMERO O, PEREZ- SANCHEZ B,. Fault Prognosis of Mechanical Components Using On-Line Learning Neural Networks[M]// Artificial Neural Networks – ICANN 2010. Berlin , Heidelberg: Springer, 2010: 60-66.

[20] MUHAMMAD I G, TEPE K E, ABDEL-RAHEEM E. QAM equalization and symbol detection in OFDM systems using extreme learning machine[J]. Neural Computing and Applications, 2013, 22(3): 491-500.

[21] WANG C, WEN C, LU Y. A fault diagnosis method by using extreme learning machine[C]// International Conference on Estimation, Detection and Information Fusion. IEEE, 2015: 318-322.

[22] LIU J, CHEN Y, LIU M,. SELM: Semi-supervised ELM with application in sparse calibrated location estimation[J]. Neurocomputing, 2011, 74(16): 2566-2572.

[23] IOSIFIDIS A, TEFAS A, PITAS I. Regularized extreme learning machine for multi-view semi-supervised action recognition[J]. Neurocomputing, 2014, 145(18): 250-262.

[24] HUANG G, SONG S, GUPTA J N,. Semi-supervised and unsupervised extreme learning machines[J]. IEEE Transactions on Cybernetics, 2014, 44(12): 2405-2417.

[25] ZHOU Y, LIU B, XIA S,. Semi-supervised extreme learning machine with manifold and pairwise constraints regularization[J]. Neurocomputing, 2015, 149(PA): 180-186.

[26] AVERDI B, MARQES I, GRANA M. Spatially regularized semisupervised ensembles of extreme learning machines for hyperspectral image segmentation[J]. Neurocomputing, 2015, 149: 373-386.

[27] ROWEIS S T, SAUAL L K. Nonlinear dimensionality reduction by locally linear embedding[J]. Science, 2000, 290(5500): 2323-2326.

[28] ZHAO H. Combining labeled and unlabeled data with graph embedding[J]. Neurocomputing, 2006, 69(16/17/18): 2385-2389.

[29] SINDHWANI V, NIYOGI P, BELKIN M. Beyond the point cloud: from transductive to semi-supervised learning[C]//ICML’05 Proceedings of the 22nd International Conference on Machine Learning Bonn, Germany, 2005: 824-831.

[30] MELACCI S, BELKIN M. Laplacian support vector machines trained in the primal[J]. Journal of Machine Learning Research, 2009, 12(5): 1149-1184.

[31] LEE J M, QIN S J, LEE I B. Fault detection of non-linear processes using kernel independent component analysis[J]. Canadian Journal of Chemical Engineering, 2008, 85(4): 526-536.

Reconstruction based semi-supervised ELM and its application in fault diagnosis

YI Weilin, TIAN Xuemin, ZHANG Hanyuan

(College of Information and Control Engineering, China University of Petroleum, Qingdao 266580, Shandong, China)

It is difficult to obtain labeled fault data while there are a multitude of unlabeled data available in industrial process, so how to utilize data information effectively is an important focal point in the field of fault diagnosis. A new semi-supervised learning method, reconstruction-based semi-supervised extreme learning machine (RSELM), was proposed for more sufficient data mining and information usage. Compared to traditional semi-supervised ELM, RSELM replaced random input weight in hidden layer with output weight, which was obtained by ELM auto-encoder (ELM-AE), such that data feature was extracterd more effectively. Since data could be reconstructed linearly by its neighbors, a self-adaptive reconstruction graph of neighboring data in combination with connection weight of optimal labeled data better reflected data structure information. A novel objective function preserving local structure information was further built to train classifier effectively. Simulation experiment on standard datasets and TE process demonstrated effectiveness of the proposed algorithm.

semi-supervised ELM; reconstruction;ELM-AE; fault diagnosis

10.11949/j.issn.0438-1157.20161252

TP 277

A

0438—1157（2017）06—2447—08

田學(xué)民。

易維淋（1991—），男，碩士研究生。

國(guó)家自然科學(xué)基金項(xiàng)目（61273160）。

2016-09-06收到初稿，2017-02-06收到修改稿。

2016-09-06.

Prof. TIAN Xuemin, tianxm@upc.edu.cn

supported by the National Natural Science Foundation of China (61273160).