基于卷積神經(jīng)網(wǎng)絡(luò)-長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的磨煤機(jī)故障預(yù)警

楊婷婷，高乾，李浩千，呂游，陳曉峰

（1.華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院，北京 102206；2.華北電力科學(xué)研究院有限責(zé)任公司，北京 100045）

“十四五”以來(lái)，我國(guó)電力結(jié)構(gòu)持續(xù)優(yōu)化，新能源發(fā)電所占比重逐漸提升?；痣姍C(jī)組將越來(lái)越多地承擔(dān)電網(wǎng)調(diào)峰等輔助服務(wù)，因此很難在額定負(fù)荷工況下長(zhǎng)時(shí)間連續(xù)運(yùn)行?；痣姍C(jī)組頻繁地在各種工況條件下運(yùn)行將成為常態(tài)，機(jī)組設(shè)備會(huì)因頻繁變負(fù)荷而更容易發(fā)生故障[1]。磨煤機(jī)作為火電機(jī)組中的重要設(shè)備，其工作狀態(tài)將直接影響鍋爐能否正常工作[2]。在磨煤機(jī)即將出現(xiàn)故障時(shí)，對(duì)其進(jìn)行預(yù)知性維修，避免故障進(jìn)一步擴(kuò)大，對(duì)保障電廠生產(chǎn)安全以及提升電廠經(jīng)濟(jì)效益將具有重要意義[3]。

文獻(xiàn)[4-6]采取多元狀態(tài)估計(jì)方法，對(duì)電站輔機(jī)設(shè)備進(jìn)行正常狀態(tài)建模，分析監(jiān)測(cè)參數(shù)實(shí)際值與估計(jì)值之間的誤差，對(duì)設(shè)備進(jìn)行故障預(yù)警。文獻(xiàn)[7-13]分別采用了不同的深度學(xué)習(xí)網(wǎng)絡(luò)針對(duì)不同設(shè)備進(jìn)行建模實(shí)現(xiàn)了對(duì)設(shè)備的故障預(yù)警。以上文獻(xiàn)均采取單一的深度學(xué)習(xí)網(wǎng)絡(luò)，為了進(jìn)一步提高模型的性能和預(yù)測(cè)精度，一些學(xué)者[14-15]選擇將不同網(wǎng)絡(luò)模型相結(jié)合，充分利用不同網(wǎng)絡(luò)的優(yōu)點(diǎn)。文獻(xiàn)[16-17]將長(zhǎng)短時(shí)記憶（long short-term memory,LSTM）神經(jīng)網(wǎng)絡(luò)以及卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNN）結(jié)合搭建一個(gè)復(fù)合神經(jīng)網(wǎng)絡(luò)，并建立文本分類(lèi)模型，試驗(yàn)結(jié)果表明該模型的預(yù)測(cè)準(zhǔn)確度優(yōu)于單一的模型。文獻(xiàn)[18]針對(duì)同步電機(jī)勵(lì)磁繞組的物理特性建立LSTM 神經(jīng)網(wǎng)絡(luò)與CNN 的復(fù)合神經(jīng)網(wǎng)絡(luò)，并在短路故障預(yù)警試驗(yàn)中取得了理想的效果。

由于磨煤機(jī)運(yùn)行工況復(fù)雜，各監(jiān)測(cè)量存在長(zhǎng)期時(shí)序變化規(guī)律且耦合性強(qiáng)。傳統(tǒng)的深度學(xué)習(xí)模型和時(shí)間序列預(yù)測(cè)方法對(duì)磨煤機(jī)監(jiān)測(cè)量的預(yù)測(cè)效果并不理想。本文選擇深度學(xué)習(xí)中應(yīng)用廣泛的LSTM 神經(jīng)網(wǎng)絡(luò)和CNN，針對(duì)磨煤機(jī)時(shí)序數(shù)據(jù)特征，提出一種CNN 聯(lián)合LSTM 神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型，利用磨煤機(jī)正常工作狀態(tài)下的運(yùn)行數(shù)據(jù)進(jìn)行訓(xùn)練，實(shí)現(xiàn)對(duì)多測(cè)點(diǎn)參數(shù)變化趨勢(shì)的預(yù)測(cè)。融合多元時(shí)間序列殘差作為偏離度，設(shè)置合理的預(yù)警閾值進(jìn)行磨煤機(jī)故障預(yù)警。分別利用某660 MW 火電機(jī)組的中速磨煤機(jī)的正常數(shù)據(jù)與故障數(shù)據(jù)進(jìn)行故障預(yù)警試驗(yàn)，試驗(yàn)結(jié)果表明CNN-LSTM 模型相較其他模型具有更高的精確度，可對(duì)磨煤機(jī)故障進(jìn)行有效預(yù)警從而進(jìn)行預(yù)知性維修，具有一定的工程應(yīng)用價(jià)值。

1 CNN-LSTM 模型原理

1.1 卷積神經(jīng)網(wǎng)絡(luò)原理

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種專(zhuān)門(mén)處理具有類(lèi)似網(wǎng)格結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，具有稀疏連接、參數(shù)共享等特征[19]。

CNN 由卷積層、池化層和全連接層組成。卷積層的主要作用是提取輸入數(shù)據(jù)的特征。一維卷積的計(jì)算公式為：

式中：x1,k為第l 層第k次卷積運(yùn)算；w1,ik為第l 層第k個(gè)卷積核做第i次運(yùn)算的權(quán)值；f為激活函數(shù)；N為輸入做卷積映射的數(shù)量；b1,k為第l 層第k個(gè)卷積核的偏置；*表示卷積運(yùn)算，當(dāng)處理時(shí)間序列數(shù)據(jù)時(shí)，通過(guò)卷積操作可以得到一個(gè)由輸入中出現(xiàn)不同特征的時(shí)刻所組成的時(shí)間軸。

池化層的作用是通過(guò)壓縮參數(shù)的數(shù)量實(shí)現(xiàn)特征降維，從而減小模型過(guò)擬合。通過(guò)CNN 提取多元時(shí)間序列數(shù)據(jù)的特征，掌握數(shù)據(jù)之間的關(guān)聯(lián)性。再將處理后的時(shí)間序列數(shù)據(jù)輸入LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行時(shí)間序列預(yù)測(cè)[20]。

1.2 LSTM 神經(jīng)網(wǎng)絡(luò)原理

LSTM 神經(jīng)網(wǎng)絡(luò)是在循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network,RNN）的基礎(chǔ)上改進(jìn)得到的一種神經(jīng)網(wǎng)絡(luò)，彌補(bǔ)了RNN 不能處理長(zhǎng)序列數(shù)據(jù)缺陷[21]。LSTM 神經(jīng)網(wǎng)絡(luò)通過(guò)加入記憶門(mén)、學(xué)習(xí)門(mén)、遺忘門(mén)來(lái)控制信息的傳輸。LSTM 神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)如圖1 所示，其中各量可由式(2)—式(6)計(jì)算得到：

圖1 LSTM 神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)Fig.1 Internal structure of LSTM neural network

式中：ft為遺忘門(mén)的輸出信號(hào)，表示記憶單元c的遺忘比例；it為輸出門(mén)的輸出信號(hào)，表示當(dāng)前輸入信息到記憶單元中的比例；記憶單元中的信息由與it運(yùn)算得到；ot為輸出門(mén)的輸出信號(hào)，表示記憶單元的信息輸出到當(dāng)前狀態(tài)st中的比例；隱含層狀態(tài)st中的信息由與ot運(yùn)算得到。

t時(shí)刻的記憶單元ct經(jīng)過(guò)輸出門(mén)的篩選可得到隱含狀態(tài)st[22]：

CNN 提取多元時(shí)間序列特征，去除干擾信息后輸入LSTM 神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)。既減少LSTM 神經(jīng)網(wǎng)絡(luò)的步長(zhǎng)，又保留了有效的記憶信息，解決了因步長(zhǎng)過(guò)長(zhǎng)導(dǎo)致的梯度彌散問(wèn)題。

2 CNN-LSTM 模型構(gòu)建與預(yù)警策略

2.1 模型預(yù)測(cè)量的選擇

煤質(zhì)的不穩(wěn)定和機(jī)組工況頻繁變化是導(dǎo)致磨煤機(jī)出現(xiàn)故障的主要原因。根據(jù)不同故障對(duì)磨煤機(jī)監(jiān)測(cè)參數(shù)的影響情況，磨煤機(jī)的故障可劃分為3 類(lèi)：1）與單一測(cè)點(diǎn)相關(guān)的故障，如加載油壓過(guò)低、磨煤機(jī)出口溫度高等；2）與多個(gè)測(cè)點(diǎn)相關(guān)的故障，如磨煤機(jī)斷煤、磨煤機(jī)堵煤等；3）無(wú)測(cè)點(diǎn)可測(cè)的故障，如磨煤機(jī)振動(dòng)大等。

本文所建立的模型針對(duì)多個(gè)測(cè)點(diǎn)相關(guān)的故障進(jìn)行預(yù)警。因此需要從多個(gè)參數(shù)變化的角度提取特征。以磨煤機(jī)堵煤故障為例，與堵煤故障相關(guān)的測(cè)點(diǎn)參數(shù)見(jiàn)表1[23]。

表1 磨煤機(jī)堵煤故障相關(guān)變量Tab.1 Variables related to coal blockage fault

2.2 模型結(jié)構(gòu)設(shè)計(jì)

根據(jù)上述分析，本文采用磨煤機(jī)7 個(gè)測(cè)點(diǎn)參數(shù)的時(shí)間序列數(shù)據(jù)作為CNN-LSTM 模型的輸入，未來(lái)一段時(shí)間的預(yù)測(cè)值作為輸出。

多元時(shí)間序列數(shù)據(jù)先輸入CNN，通過(guò)64 個(gè)卷積核來(lái)進(jìn)行特征提取，可以得到一段具有時(shí)間依賴性的序列，隨后通過(guò)最大池化處理。在池化層之后采用dropout 方法進(jìn)行正則化處理。CNN 的激活函數(shù)選擇Relu 函數(shù)。之后，這段數(shù)據(jù)按照時(shí)間順序輸入LSTM 神經(jīng)網(wǎng)絡(luò)中作為每個(gè)時(shí)間步的輸入。

LSTM 神經(jīng)網(wǎng)絡(luò)采用雙向LSTM 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。激活函數(shù)選擇Relu 函數(shù)。依靠CNN 提取的數(shù)據(jù)特征，學(xué)習(xí)數(shù)據(jù)間的關(guān)聯(lián)性，從而對(duì)多元時(shí)間序列進(jìn)行有效建模。LSTM 神經(jīng)網(wǎng)絡(luò)后面接全連接層，激活函數(shù)選擇Sigmoid 函數(shù)，最終得到多元時(shí)間序列輸出預(yù)測(cè)值。

模型優(yōu)化算法采用Adam（adaptive moment estimation）算法[24]。Adam 算法利用梯度的一階矩估計(jì)和二階矩估計(jì)來(lái)實(shí)現(xiàn)學(xué)習(xí)率的動(dòng)態(tài)調(diào)整，通過(guò)加入偏置校正使每一次迭代學(xué)習(xí)率都有確定范圍，使得調(diào)參過(guò)程比較平穩(wěn)。Adam 算法參數(shù)見(jiàn)表2。

表2 Adam 算法參數(shù)Tab.2 Adam algorithm parameter table

2.3 偏離度定義與預(yù)警策略

本文所構(gòu)建的CNN-LSTM 模型經(jīng)過(guò)訓(xùn)練，學(xué)習(xí)磨煤機(jī)正常工作狀態(tài)下各變量之間的關(guān)系特性。模型接收到新的時(shí)間序列數(shù)據(jù)后，根據(jù)學(xué)習(xí)所得關(guān)系特性輸出預(yù)測(cè)數(shù)據(jù)。當(dāng)磨煤機(jī)出現(xiàn)發(fā)生故障的趨勢(shì)時(shí)，相關(guān)監(jiān)測(cè)參數(shù)將相對(duì)正常狀態(tài)數(shù)據(jù)出現(xiàn)一定偏差，當(dāng)這個(gè)偏差值超過(guò)某一閾值時(shí)，可以認(rèn)定磨煤機(jī)出現(xiàn)堵煤故障。

通過(guò)計(jì)算得到CNN-LSTM 模型輸出的預(yù)測(cè)值與實(shí)際值之間的殘差序列，該序列每一時(shí)刻的殘差數(shù)據(jù)構(gòu)成一個(gè)長(zhǎng)度為7 的向量。由式(9)計(jì)算該向量的2 范數(shù)e，作為該時(shí)刻磨煤機(jī)偏離正常工作狀態(tài)的偏離度。計(jì)算每一時(shí)刻的偏離度進(jìn)而得到一個(gè)偏離度序列。

由于磨煤機(jī)的工作環(huán)境復(fù)雜，在正常工作狀態(tài)下相關(guān)測(cè)點(diǎn)參數(shù)也會(huì)出現(xiàn)不同程度的波動(dòng)。為了有效地消除隨機(jī)因素的影響，采用滑動(dòng)窗口法對(duì)偏離度序列進(jìn)行處理。

預(yù)警閾值的計(jì)算采用核密度估計(jì)法。由于偏離度序列存在多峰情況且不遵循正態(tài)分布的規(guī)律，因此利用核密度估計(jì)技術(shù)確定偏離度序列的概率密度函數(shù)，選取0.99 分位數(shù)作為預(yù)警閾值。其中，核函數(shù)選用Gaussian函數(shù)。概率密度函數(shù)計(jì)算公式為：

式中：m為偏離度序列長(zhǎng)度；h為帶寬寬度；σ為偏離度序列的標(biāo)準(zhǔn)差。

根據(jù)式(12)，計(jì)算逆累計(jì)積分函數(shù)，得到置信區(qū)間為α?xí)r，預(yù)警閾值t的上限。

磨煤機(jī)在運(yùn)行時(shí)若平均偏離度序列維持在預(yù)警閾值以內(nèi)，則判定磨煤機(jī)工作狀態(tài)正常，若偏離度超出預(yù)警閾值，則認(rèn)為磨煤機(jī)有發(fā)生故障的趨勢(shì)，此時(shí)模型做出預(yù)警。圖2 為基于CNN-LSTM 模型的磨煤機(jī)故障預(yù)警試驗(yàn)流程。

圖2 基于CNN-LSTM 模型的磨煤機(jī)故障預(yù)警試驗(yàn)流程Fig.2 Flow chart of the coal mill fault early warning experiment based on CNN-LSTM network

3 試驗(yàn)驗(yàn)證

3.1 數(shù)據(jù)采集與處理

為了驗(yàn)證本文模型的有效性，取某660 MW 火電機(jī)組的中速磨煤機(jī)2020 年5 月1 日0 時(shí)0 分至2020 年5 月7 日23 時(shí)59 分的運(yùn)行數(shù)據(jù)作為試驗(yàn)數(shù)據(jù)，該設(shè)備在2020 年5 月7 日8:53 發(fā)生了堵煤故障，數(shù)據(jù)采樣間隔為1 min。選取5 月1 日至5 月5日共7 200 組數(shù)據(jù)作為訓(xùn)練集和驗(yàn)證集，選取5 月6 日的1 440 組數(shù)據(jù)作為測(cè)試集。5 月6 日與5 月7日的數(shù)據(jù)共同作為用于故障預(yù)警試驗(yàn)的樣本數(shù)據(jù)集，這2 880 組數(shù)據(jù)稱為樣本時(shí)刻。磨煤機(jī)5 月6日與5 月7 日的運(yùn)行數(shù)據(jù)如圖3 所示。

圖3 磨煤機(jī)堵煤故障數(shù)據(jù)Fig.3 Parameter data of coal blockage fault of the pulverizer

由圖3 可見(jiàn)，磨煤機(jī)發(fā)生堵煤的原因主要是進(jìn)口一次風(fēng)風(fēng)量偏低造成風(fēng)煤比不匹配，表現(xiàn)為磨煤機(jī)出口風(fēng)粉混合物溫度降低，出口風(fēng)粉混合物壓力降低，磨煤機(jī)電流增大，進(jìn)口一次風(fēng)壓力增大。

在對(duì)CNN-LSTM 模型訓(xùn)練前，首先將訓(xùn)練數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗，去掉異常數(shù)據(jù)和空白數(shù)據(jù)，隨后利用式(13)進(jìn)行歸一化處理。數(shù)據(jù)歸一化處理既可以提高模型收斂速度，又能一定程度上提升模型精度。

隨后將訓(xùn)練集轉(zhuǎn)化為適用于監(jiān)督學(xué)習(xí)的數(shù)據(jù)集[25]。具體方法為將某一測(cè)點(diǎn)的時(shí)間序列數(shù)據(jù)xi=[xi(t1),xi(t2),…,xi(tn)]依次前移一個(gè)時(shí)刻，得到xi-1=[xi(t0),xi(t1),…xi(tn-1)]。相當(dāng)于創(chuàng)建了各列數(shù)據(jù)的前驅(qū)觀察序列，并將該前驅(qū)觀察序列作為模型輸入，這就轉(zhuǎn)化為監(jiān)督學(xué)習(xí)的數(shù)據(jù)格式。

3.2 模型訓(xùn)練

在搭建好CNN-LSTM 模型并選取合適的超參數(shù)后，將訓(xùn)練集輸入模型進(jìn)行訓(xùn)練，訓(xùn)練次數(shù)為300 次，模型訓(xùn)練的損失值如圖4 所示，CNN-LSTM模型在測(cè)試集上的預(yù)測(cè)結(jié)果如圖5 所示。

圖4 CNN-LSTM 模型訓(xùn)練損失值Fig.4 Training loss value of the CNN-LSTM model

圖5 CNN-LSTM 模型在測(cè)試集的預(yù)測(cè)結(jié)果Fig.5 Prediction results of the CNN-LSTM model using test set

作為與CNN-LSTM 模型對(duì)比，將該訓(xùn)練集輸入相同層數(shù)的LSTM 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，采用均方根誤差δRMSE、平均百分比誤差δMAPE、相關(guān)系數(shù)R2對(duì)訓(xùn)練結(jié)果進(jìn)行評(píng)價(jià)。

模型評(píng)價(jià)指標(biāo)分別為：

1）均方根誤差δRMSE

2）平均百分比誤差δMAPE

3）相關(guān)系數(shù)R2

CNN-LSTM 與LSTM 神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練結(jié)果對(duì)比見(jiàn)表3，根據(jù)表3 結(jié)果可以得出：CNN-LSTM模型與LSTM 神經(jīng)網(wǎng)絡(luò)模型相比，均方根誤差降低了17.0%，平均百分比誤差降低了21.7%，相關(guān)系數(shù)提升了18.5%。CNN-LSTM 模型結(jié)合了2 個(gè)模型的優(yōu)點(diǎn)，一定程度上綜合了多元時(shí)間序列數(shù)據(jù)的全局特征與局部特征，因此模型擬合精度更高，可以用于故障預(yù)警。

表3 LSTM 與CNN-LSTM 模型訓(xùn)練結(jié)果對(duì)比Tab.3 Comparison of training results between the LSTM and the CNN-LSTM neural network model

3.3 故障預(yù)警試驗(yàn)

測(cè)試集的數(shù)據(jù)作為設(shè)備正常狀態(tài)下的運(yùn)行數(shù)據(jù)將用于計(jì)算預(yù)警閾值。根據(jù)式(9)分別計(jì)算CNNLSTM 模型和LSTM 神經(jīng)網(wǎng)絡(luò)模型在測(cè)試集上的偏離度序列并采用滑動(dòng)窗口法處理，窗口寬度設(shè)置為50。運(yùn)用核密度估計(jì)法計(jì)算不同模型的偏離度序列的概率密度函數(shù)，結(jié)果如圖6 所示。

圖6 不同模型偏離度序列的概率密度函數(shù)Fig.6 Probability density function of deviation degree series of different models

根據(jù)式(12)計(jì)算得到CNN-LSTM 模型的偏離度序列概率密度函數(shù)的0.99 分位數(shù)為45.27，LSTM神經(jīng)網(wǎng)絡(luò)模型的偏離度序列概率密度函數(shù)的0.99分位數(shù)為31.86，分別將該值設(shè)置為預(yù)警閾值。不同模型的偏離度序列與預(yù)警閾值如圖7 所示，不同模型下的磨煤機(jī)故障預(yù)警實(shí)驗(yàn)結(jié)果如圖8 所示。

圖7 不同模型的偏離度序列與預(yù)警閾值Fig.7 Deviation degree series and fault warning threshold of different models

圖8 不同模型下的磨煤機(jī)故障預(yù)警實(shí)驗(yàn)結(jié)果Fig.8 Experimental results of the coal mill fault early warning test using different models

由圖8 可見(jiàn)，試驗(yàn)中故障時(shí)刻為第1 923 個(gè)樣本時(shí)刻，CNN-LSTM 模型的預(yù)警時(shí)刻為第1 608 個(gè)樣本時(shí)刻，提前315 min 發(fā)現(xiàn)磨煤機(jī)出現(xiàn)堵煤故障趨勢(shì)并發(fā)出警報(bào)。LSTM 神經(jīng)網(wǎng)絡(luò)模型預(yù)警時(shí)刻為1 814 個(gè)樣本時(shí)刻，提前109 min 發(fā)出警報(bào)，落后CNN-LSTM 模型206 min，且在第285 個(gè)樣本時(shí)刻出現(xiàn)了一次誤報(bào)警。根據(jù)試驗(yàn)結(jié)果可以看出基于CNN-LSTM 模型的磨煤機(jī)故障預(yù)警效果優(yōu)于單一的LSTM 神經(jīng)網(wǎng)絡(luò)模型。試驗(yàn)結(jié)果表明本文所提出的模型能夠提前對(duì)磨煤機(jī)堵煤故障做出預(yù)警，在故障發(fā)生前爭(zhēng)取一定的時(shí)間進(jìn)行維護(hù)，可為磨煤機(jī)設(shè)備狀態(tài)監(jiān)測(cè)提供參考依據(jù)。

4 結(jié)語(yǔ)

基于磨煤機(jī)故障預(yù)警方法的研究，本文提出并驗(yàn)證了一種基于CNN-LSTM 模型的磨煤機(jī)堵煤故障預(yù)警方法。通過(guò)CNN 初步提取數(shù)據(jù)特征后，再用 LSTM 神經(jīng)網(wǎng)絡(luò)進(jìn)行多元時(shí)間序列數(shù)據(jù)的預(yù)測(cè)。在不同模型的對(duì)比實(shí)驗(yàn)中，本文提出的模型在3 種評(píng)價(jià)指標(biāo)上均優(yōu)于其他模型。且在故障預(yù)警試驗(yàn)上提前315 min 發(fā)現(xiàn)磨煤機(jī)堵煤故障趨勢(shì)，有助于企業(yè)提前進(jìn)行設(shè)備檢修維護(hù)，保證發(fā)電效率，減少經(jīng)濟(jì)損失。

本文利用某660 MW 機(jī)組中速磨煤機(jī)堵煤故障數(shù)據(jù)對(duì)模型進(jìn)行驗(yàn)證，結(jié)果表明該模型能夠?qū)崿F(xiàn)對(duì)磨煤機(jī)堵煤故障的早期預(yù)警。驗(yàn)證了本模型對(duì)于漸變故障識(shí)別的準(zhǔn)確度。本文所提出的模型及預(yù)警方法不僅適用于磨煤機(jī)的故障預(yù)警，還可應(yīng)用于其他輔機(jī)設(shè)備、風(fēng)力發(fā)電等多變量工業(yè)過(guò)程。實(shí)驗(yàn)表明該模型能夠?qū)δッ簷C(jī)多參數(shù)耦合類(lèi)的故障做出有效預(yù)警。