基于LSTM的工業(yè)互聯(lián)網(wǎng)設(shè)備工作狀態(tài)預(yù)測

李兆桐，張衛(wèi)山，郭武武

(中國石油大學(xué)(華東)計(jì)算機(jī)與通信工程學(xué)院，山東 青島 266580)

0 引 言

工業(yè)互聯(lián)網(wǎng)技術(shù)在現(xiàn)代工業(yè)中起著至關(guān)重要的作用，實(shí)時(shí)監(jiān)控設(shè)備運(yùn)行狀態(tài)，通過對數(shù)據(jù)進(jìn)行分析提前干預(yù)設(shè)備，可降低設(shè)備故障率從而降低生產(chǎn)成本。為此，利用收集到的傳感器數(shù)據(jù)建立設(shè)備工作狀態(tài)預(yù)測模型，用于預(yù)測設(shè)備在接下來一段時(shí)間的運(yùn)行狀態(tài)顯得格外重要。

然而，在實(shí)際的工業(yè)生產(chǎn)環(huán)境中，由于設(shè)備受到內(nèi)外部環(huán)境影響，其產(chǎn)生的數(shù)據(jù)也具有時(shí)變性，使用歷史數(shù)據(jù)所學(xué)得的模型無法準(zhǔn)確預(yù)測當(dāng)前設(shè)備的狀態(tài)信息[1]。除此之外長時(shí)間序列的序列時(shí)很難被分類[2]。當(dāng)設(shè)備數(shù)據(jù)高度離散且在多個(gè)時(shí)間段相互重疊時(shí)，簡單的單信號預(yù)測和閾值方法將會(huì)失效[3]。

隨著近幾年深度學(xué)習(xí)的發(fā)展，基于深度學(xué)習(xí)建立預(yù)測模型得到了廣泛的應(yīng)用[4-6]。在基于深度學(xué)習(xí)的建模方法中重要的一步是特征提取，許多研究人員已經(jīng)將其應(yīng)用在傳感器數(shù)據(jù)的處理中來提取關(guān)鍵特征[7-10]。基于上述問題，不能只考慮簡單的幾個(gè)數(shù)據(jù)特征來預(yù)測設(shè)備運(yùn)行狀態(tài)。

在實(shí)際工業(yè)環(huán)境中，設(shè)備原始數(shù)據(jù)有以下特性：

1)由于傳感器和網(wǎng)絡(luò)傳輸故障導(dǎo)致部分缺失值和異常值。

2)數(shù)據(jù)的維數(shù)隨傳感器數(shù)目的增多而增大且部分傳感器數(shù)據(jù)之間存在冗余項(xiàng)。

3)故障數(shù)據(jù)少，數(shù)據(jù)傾斜情況嚴(yán)重。

針對設(shè)備運(yùn)行狀態(tài)的變化，所構(gòu)建的模型需要隨著時(shí)間的推移適應(yīng)設(shè)備狀態(tài)的變化。為此，本文提出一種基于LSTM的工業(yè)互聯(lián)網(wǎng)設(shè)備工作狀態(tài)預(yù)測方法。主要設(shè)計(jì)思路為：

1)進(jìn)行數(shù)據(jù)清洗，去除異常值，填充空值。

2)采用PCA算法進(jìn)行數(shù)據(jù)降維。

3)采用SMOTE算法進(jìn)行數(shù)據(jù)傾斜處理。

4)基于LSTM神經(jīng)網(wǎng)絡(luò)構(gòu)建預(yù)測模型。

1 相關(guān)研究

設(shè)備的故障診斷與預(yù)測一直是學(xué)者們關(guān)注的研究熱點(diǎn)，近幾年來，隨著機(jī)器學(xué)習(xí)方法的流行，越來越多的研究人員嘗試將機(jī)器學(xué)習(xí)的方法應(yīng)用到設(shè)備狀態(tài)診斷與預(yù)測中來。陳志平等人[11]采用基于奇異值分解優(yōu)化的局部均值分解法提取電梯轎廂振動(dòng)時(shí)頻域特征，然后采用聚類分析進(jìn)行電梯故障分析，采用回歸分析實(shí)現(xiàn)電梯故障的預(yù)測。范李平等人[12]首先對變電設(shè)備故障影響因素進(jìn)行相關(guān)性分析，選擇影響因素，然后利用Logistic回歸算法進(jìn)行故障預(yù)測。王桂蘭等人[13]使用XGBoost算法在風(fēng)機(jī)主軸承故障預(yù)測中取得了良好的效果。Leahy等人[14]首先根據(jù)領(lǐng)域知識進(jìn)行特征選擇，然后通過隨機(jī)網(wǎng)格搜索尋找超參數(shù)來訓(xùn)練支持向量機(jī)進(jìn)行故障診斷。

然而，以上基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的研究僅適用于有限數(shù)據(jù)樣本空間，在實(shí)際工業(yè)環(huán)境中，數(shù)據(jù)規(guī)模特別大，且數(shù)據(jù)之間具有高度的時(shí)間相關(guān)性，以上方法并不適用。

隨著近幾年深度學(xué)習(xí)[15]的快速發(fā)展，基于深度學(xué)習(xí)的時(shí)間序列分析也成為目前設(shè)備故障診斷與預(yù)測的一個(gè)研究熱點(diǎn)[16-18]。國內(nèi)的周劍飛等人[1]也提出了一種基于LSTM神經(jīng)網(wǎng)絡(luò)模型和滑動(dòng)窗口技術(shù)進(jìn)行設(shè)備故障的在線檢測，但此方法并沒有解決實(shí)際工業(yè)環(huán)境中數(shù)據(jù)嚴(yán)重傾斜的問題。

2 背景資料

2.1 PCA

在工業(yè)上直接通過設(shè)備傳感器獲得的數(shù)據(jù)往往具有非常高的維數(shù)且不同維數(shù)之間可能具有非常高的相關(guān)性，并且由于內(nèi)外部環(huán)境的影響，傳感器產(chǎn)生的數(shù)據(jù)一般都會(huì)具有噪聲。基于以上原因，直接對傳感器數(shù)據(jù)進(jìn)行處理會(huì)產(chǎn)生算法的運(yùn)行效率低、準(zhǔn)確率不高等問題。在沒有大量先驗(yàn)知識的情況下，對特征向量進(jìn)行降維處理往往會(huì)取得較為理想的效果。

PCA(主成分分析)法是一種較常用的降維方法，其主要思想是利用坐標(biāo)變換的思想，通過線性變換將數(shù)據(jù)從高維空間映射到低維空間中，同時(shí)保留數(shù)據(jù)的主要信息[19]。設(shè)原始數(shù)據(jù)樣本包含m個(gè)n維特征向量Xk=(x1,x2,x3,…,xn)T,其具體計(jì)算步驟如下：

1)計(jì)算樣本數(shù)據(jù)的平均值：

(1)

2)計(jì)算樣本數(shù)據(jù)的協(xié)方差矩陣：

(2)

3)利用特征值分解方法求解協(xié)方差矩陣的特征值λ1,λ2,λ3,…,λi和特征向量ξ1,ξ2,ξ3,…,ξi。

4)將特征值從小到大排序，選取其中最大的k個(gè)，然后將其對應(yīng)的k個(gè)特征向量組成特征向量矩陣P。

5)將原始樣本數(shù)據(jù)投影到低維向量空間中：

Y=PTX

(3)

2.2 SMOTE算法

在實(shí)際問題中，異常數(shù)據(jù)往往只占正常數(shù)據(jù)的極小比例，而當(dāng)前絕大多數(shù)機(jī)器學(xué)習(xí)算法都是基于正負(fù)樣本比例相差不大的假設(shè)，因此嚴(yán)重傾斜的樣本數(shù)據(jù)在某些情況下會(huì)導(dǎo)致算法準(zhǔn)確性大大降低。例如：欺詐電話檢測[20]、信息檢索和過濾[21]以及機(jī)載直升機(jī)變速箱故障監(jiān)測[22]等問題。

SMOTE全稱是Synthetic Minority Oversampling Technique，即合成少數(shù)類過采樣技術(shù)，它是基于隨機(jī)過采樣算法的一種改進(jìn)方案[23]。其主要思想是利用少數(shù)類樣本的近鄰樣本信息人工合成新樣本。算法流程如下：

1)根據(jù)數(shù)據(jù)傾斜程度確定一個(gè)采樣比率N。設(shè)少數(shù)類中樣本數(shù)為T。對于少數(shù)類中的一個(gè)樣本xold，計(jì)算該樣本到其余少數(shù)類樣本的距離(如歐氏距離)，得到其k個(gè)近鄰樣本。

2)從這k個(gè)近鄰樣本中任取一個(gè)xnear，然后按照式(4)生成新的少數(shù)類樣本：

xnew=xold+rand(0,1)×(xnear-xold)

(4)

式(4)中，rand(0,1)生成一個(gè)0到1之間的隨機(jī)數(shù)。

3)將步驟2重復(fù)N次，對于xold即可生成N個(gè)新樣本。

4)對于少數(shù)類中所有樣本執(zhí)行上述操作，即可為該少數(shù)類合成N×T個(gè)新樣本。

2.3 LSTM模型

LSTM(長短時(shí)記憶)模型通過在循環(huán)神經(jīng)網(wǎng)絡(luò)中添加遺忘門、輸入門、輸出門這3個(gè)門結(jié)構(gòu)來實(shí)現(xiàn)信息的保護(hù)和控制[24]。

遺忘門，在構(gòu)建神經(jīng)網(wǎng)絡(luò)的過程中將輸入數(shù)據(jù)進(jìn)行部分拋棄。該操作由一個(gè)sigmoid層進(jìn)行選擇，淘汰則輸出為0，選擇則輸出為Wf·[ht-1,xt]+bf，具體方程如下：

Ft=σ(Wf·[ht-1,xt]+bf)

(5)

其中,ht-1表示上一個(gè)細(xì)胞的輸出，xt表示當(dāng)前細(xì)胞的輸入，σ表示sigmoid函數(shù)。

輸入門，更新細(xì)胞記憶部分，將部分記憶拋棄，部分記憶保存，并根據(jù)式(6)計(jì)算需要更新的信息：

it=σ(Wi·[ht-1,xt]+bi)

(6)

根據(jù)式(7)計(jì)算備選的用來更新的內(nèi)容：

(7)

根據(jù)式(8)更新細(xì)胞狀態(tài)：

(8)

輸出門，首先通過式(9)來確定哪些細(xì)胞狀態(tài)作為輸出，然后將細(xì)胞狀態(tài)經(jīng)過tanh層進(jìn)行處理獲得(-1，1)之間的值,并和式(9)相乘獲得輸出ht：

Ot=σ(Wo·[ht-1,xt]+bo)

(9)

ht=Ot×tanh(Ct)

(10)

3 方法設(shè)計(jì)

本文提出的方法主要包括4個(gè)步驟：數(shù)據(jù)預(yù)處理、特征提取、模型構(gòu)建、評估優(yōu)化。處理流程如圖1所示。

圖1 處理流程

數(shù)據(jù)預(yù)處理：數(shù)據(jù)預(yù)處理主要解決空缺值的填充和異常值的排查和替換問題，其中還包括對數(shù)據(jù)進(jìn)行歸一化處理和數(shù)據(jù)傾斜處理。

特征提?。涸紨?shù)據(jù)具有很高的維度，不利于模型的構(gòu)建，利用PCA方法進(jìn)行特征提取。

模型構(gòu)建：利用TensorFlow深度學(xué)習(xí)框架來構(gòu)建LSTM模型，通過OED(正交實(shí)驗(yàn)設(shè)計(jì))來確定模型參數(shù)。

評估優(yōu)化：評估采用F1分?jǐn)?shù)。

4 實(shí)驗(yàn)與評價(jià)

4.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)中的數(shù)據(jù)來自空調(diào)壓縮機(jī)的真實(shí)傳感器數(shù)據(jù)。每個(gè)空調(diào)壓縮機(jī)中有44個(gè)傳感器，每半分鐘記錄一次數(shù)據(jù)，其中包括溫度、壓力、功率等壓縮機(jī)信息。將其中2/3的數(shù)據(jù)作為算法的訓(xùn)練數(shù)據(jù)，剩下的1/3作為算法的測試數(shù)據(jù)。

4.2 實(shí)驗(yàn)指標(biāo)

本文通過訓(xùn)練深度學(xué)習(xí)模型將設(shè)備的工作狀態(tài)問題轉(zhuǎn)換為二分類問題：工作正?；蚬ぷ鳟惓?。因此對工作狀態(tài)的預(yù)測共有4種可能的結(jié)果：真正例(TP)、真負(fù)例(TN)、假正例(FP)、假負(fù)例(FN)。詳情見表1。

由于本數(shù)據(jù)集中故障數(shù)據(jù)占比較少，采用普通評估方式即狀態(tài)預(yù)測正確的百分比，可能評估效果較差，于是采用F1分?jǐn)?shù)來評估算法效果。

表1 混淆矩陣

真實(shí)情況預(yù)測結(jié)果正例反例正例TP(真正例)FN(假反例)反例FP(假正例)TN(真反例)

P=TP/(TP+FP)

(11)

R=TP/(TP+FN)

(12)

F1=2×P×R/(P+R)

(13)

式中，P為查準(zhǔn)率(Precision)，表示在所有被判斷為正樣本中真正正樣本所占的比重；R為召回率(Recall)，表示在檢測到的正樣本占所有正樣本的比重；F1是F1分?jǐn)?shù)值，為兩者的調(diào)和平均值。

4.3 實(shí)驗(yàn)設(shè)置

LSTM模型參數(shù)的確定，包括時(shí)間步、隱層神經(jīng)元數(shù)量、批次處理大小和迭代次數(shù)。本實(shí)驗(yàn)采用3水平4因素的9組正交實(shí)驗(yàn)，設(shè)計(jì)表如表2所示。

表2 LSTM模型實(shí)驗(yàn)參數(shù)設(shè)計(jì)

實(shí)驗(yàn)號影響因素時(shí)間步隱層神經(jīng)元數(shù)量批次處理大小迭代次數(shù)154102000258303000351250400041043040005108502000610121030007154503000815810400091512302000

根據(jù)模型參數(shù)需要，采用正交實(shí)驗(yàn)設(shè)計(jì)實(shí)驗(yàn)參數(shù)為時(shí)間步、隱層神經(jīng)元數(shù)量、批次處理大小和迭代次數(shù)。其中每個(gè)參數(shù)設(shè)定為3水平。采用F1分?jǐn)?shù)值來評估算法情況。

實(shí)驗(yàn)結(jié)果如表3所示。

表3 LSTM模型參數(shù)實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)號影響因素時(shí)間步隱層神經(jīng)元數(shù)量批次處理大小迭代次數(shù)F1分?jǐn)?shù)值1541020000.83622583030000.847835125040000.858741043040000.852351085020000.8445610121030000.872371545030000.857381581040000.8645915123020000.8614

由表3可知，當(dāng)時(shí)間步為10、隱層神經(jīng)元數(shù)量為12、批次處理大小為10、迭代次數(shù)為3000時(shí)，F(xiàn)1分?jǐn)?shù)值最大，即模型效果最好。

式(14)為相同水平的平均值，式(16)為計(jì)算表4中的Ri值，其中Ri越大表示該因素在該水平下對于算法的影響程度最大，例如表4中R2>R1>R4>R3，則R2對算法的影響程度最大。

(14)

Mean_Level=[Mean_Level1,Mean_Level2,Mean_level3]

(15)

Ri=max(Mean_level)-min(Mean_Level)

(16)

表4 因素影響程度

因素時(shí)間步隱層神經(jīng)元數(shù)量批次處理大小迭代次數(shù)Mean_Level10.84760.84860.85760.8474Mean_Level20.85640.85230.85380.8591Mean_Level30.86100.86410.85350.8585Ri0.01340.01550.00410.0117

為進(jìn)一步確定算法的預(yù)測效果，本文將提出的方法與Logistic回歸、XGBoost進(jìn)行實(shí)驗(yàn)對比，其中采用的數(shù)據(jù)為一整個(gè)月的空調(diào)壓縮機(jī)數(shù)據(jù)。每組實(shí)驗(yàn)進(jìn)行5次，取平均值。實(shí)驗(yàn)結(jié)果如圖2～圖6所示。

圖2 不同算法的精度

圖2所示的是不同算法的精度。Logistic回歸的平均精度為0.8321，LSTM的平均精度為0.8531，XGBoost的平均精度為0.8467。

圖3 不同算法的查準(zhǔn)率

圖3所示的是不同算法的查準(zhǔn)率。Logistic回歸的平均查準(zhǔn)率為0.7976，LSTM的平均查準(zhǔn)率為0.8492，XGBoost的平均查準(zhǔn)率為0.8272。

圖4 不同算法的召回率

圖4所示的是不同算法的召回率。Logistic回歸的平均召回率為0.8354，LSTM的平均召回率為0.8789，XGBoost的平均召回率為0.8433。

圖5所示的是不同算法的F1分?jǐn)?shù)值。Logistic回歸的平均F1分?jǐn)?shù)值為0.8161，LSTM的平均F1分?jǐn)?shù)值為0.8638，XGBoost的平均F1分?jǐn)?shù)值為0.8352。

圖2～圖5的實(shí)驗(yàn)結(jié)果綜合表明了在此空調(diào)壓縮機(jī)數(shù)據(jù)集上本文方法的預(yù)測性能要優(yōu)于Logistic回歸和XGBoost算法。此外，比較各算法的訓(xùn)練效率，本文以訓(xùn)練時(shí)間代替訓(xùn)練效率，實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 不同算法的訓(xùn)練時(shí)間

圖6所示的是相同數(shù)據(jù)量下不同算法的訓(xùn)練時(shí)間。Logistic回歸的平均訓(xùn)練時(shí)間是1.7 h，LSTM的平均訓(xùn)練時(shí)間是2.4 h，XGBoost的平均訓(xùn)練時(shí)間是2 h。

圖6的實(shí)驗(yàn)結(jié)果表明了本文提出的方法與Logistic回歸和XGBoost在訓(xùn)練效率上還有待提升。

5 結(jié)束語

本文提出了一種基于LSTM的工業(yè)互聯(lián)網(wǎng)設(shè)備工作狀態(tài)預(yù)測方法，該方法包括了數(shù)據(jù)清洗和特征工程等在內(nèi)的一整套數(shù)據(jù)分析流程。經(jīng)過實(shí)驗(yàn)對比分析，在預(yù)測性能方面要優(yōu)于XGBoost等算法，但算法的訓(xùn)練效率還有待提升，未來將從以下方面優(yōu)化算法：1)使用其他特征提取算法來進(jìn)一步壓縮數(shù)據(jù)維度；2)SMOTE是過采樣算法，考慮使用過采樣與欠采樣相結(jié)合的算法來處理數(shù)據(jù)傾斜問題。