門循環(huán)單元預(yù)測模型在故障診斷中的應(yīng)用

王華秋，李 鑫

（1.重慶理工大學(xué) 兩江人工智能學(xué)院，重慶 401135；2.重慶理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，重慶 400054）

我國煙草行業(yè)的卷煙生產(chǎn)離不開空調(diào)系統(tǒng)，為保證其工藝生產(chǎn)環(huán)境，溫濕度環(huán)境控制的優(yōu)劣直接影響著卷煙所用原料煙葉的單箱消耗。但動(dòng)力車間動(dòng)力設(shè)備長期處于惡劣工作條件，其工況復(fù)雜多變，且大部分設(shè)備投運(yùn)壽命周期長，設(shè)備老化現(xiàn)狀不容樂觀，設(shè)備故障發(fā)生的概率增加，存在影響生產(chǎn)工廠連續(xù)性的因素［1］?，F(xiàn)有的設(shè)備維護(hù)策略往往依靠故障維修、定期檢修與停產(chǎn)大檢修相結(jié)合的方式［2］。麻省理工大學(xué)通過在設(shè)備中安裝傳感器收集數(shù)據(jù)并分析［3］，由美國Ardell公司開發(fā)出了Fuzzy Master故障診斷系統(tǒng)。Venkata subramanian等［4］引入神經(jīng)網(wǎng)絡(luò)技術(shù)，用于診斷設(shè)備故障，隨后，Sharky等［5-6］研究出一種基于多神經(jīng)網(wǎng)絡(luò)的專家系統(tǒng)，該系統(tǒng)用于檢測設(shè)備的故障，工作原理是通過檢測設(shè)備壓力變化，從而確定設(shè)備的故障。

文獻(xiàn)［7］通過分析參數(shù)與故障間關(guān)系，形成故障與空調(diào)設(shè)備各參數(shù)映射表，判斷出空壓機(jī)壓力、溫濕度等參數(shù)異常與空調(diào)設(shè)備故障存在一定關(guān)聯(lián)。因此提前預(yù)測參數(shù)是否會(huì)有異常趨勢將給診斷決策提供幫助。文獻(xiàn)［8］以機(jī)器學(xué)習(xí)算法構(gòu)建預(yù)測模型并對空調(diào)設(shè)備各參數(shù)進(jìn)行預(yù)測，但卷煙車間數(shù)據(jù)較為復(fù)雜且數(shù)據(jù)量相對較小，實(shí)際應(yīng)用部署中需要更輕量級模型。與此同時(shí)，多項(xiàng)異常數(shù)據(jù)共同導(dǎo)致的故障也難以通過單一異常信息判斷。為解決以上問題，本文研發(fā)了一種智能故障診斷系統(tǒng)，提出以改進(jìn)GRU（improvement gate recurrent unit，I-GRU）算法建模，用于卷煙車間空調(diào)系統(tǒng)各設(shè)備數(shù)據(jù)預(yù)測及異常監(jiān)控，再利用關(guān)聯(lián)規(guī)則挖掘出各數(shù)據(jù)間的內(nèi)在關(guān)系，并通過產(chǎn)生式推理得出具體故障信息，最后與知識(shí)庫中存放的專家知識(shí)和以往案例進(jìn)行匹配，診斷出動(dòng)力設(shè)備出現(xiàn)何種故障，并由用戶界面展示給用戶。

1 時(shí)間序列預(yù)測模型研究

把一個(gè)變量按照其取值的先后順序排列起來，就構(gòu)成了一個(gè)時(shí)間序列［13］。比如，按照時(shí)間的先后順序?qū)④囬g溫濕度、出氣口溫度等空調(diào)系統(tǒng)觀測量分別排列起來，就可以構(gòu)成若干個(gè)時(shí)間序列。通過時(shí)間序列分析，發(fā)掘變量隨著時(shí)間變化所表現(xiàn)出來的規(guī)律性，并對其未來變化進(jìn)行預(yù)測，為相關(guān)變量的預(yù)測提供科學(xué)依據(jù)。

1.1 門循環(huán)單元（GRU）預(yù)測模型

對于非線性系統(tǒng)時(shí)間序列模型，采取一般線性預(yù)測模型是無法滿足預(yù)測精度的，卷煙廠的空調(diào)系統(tǒng)每天都會(huì)產(chǎn)生大量的數(shù)據(jù)，較早數(shù)據(jù)對后續(xù)預(yù)測的影響也不容忽視，對于這種長期依賴問題，出現(xiàn)了循環(huán)神經(jīng)網(wǎng)絡(luò)RNN和LSTM［14］，在LSTM的基礎(chǔ)上通過精簡它的結(jié)構(gòu)［15］，門循環(huán)單元（GRU）網(wǎng)絡(luò)應(yīng)運(yùn)而生。隱藏層神經(jīng)單元結(jié)構(gòu)如圖1所示。

圖1 隱藏層神經(jīng)單元結(jié)構(gòu)示意圖

輸入xt（t=1，2，3，4，…，n）通過式（1）和式（2），計(jì)算得出St和輸出值yt分別為：

式（1）（2）中：w為權(quán)重系數(shù)矩陣；b為偏置向量；f為激活函數(shù)。

RNN是一類以序列數(shù)據(jù)為輸入，在序列演進(jìn)方向進(jìn)行遞歸且所有節(jié)點(diǎn)按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)。但單一的模型經(jīng)過長時(shí)間的訓(xùn)練便會(huì)出現(xiàn)梯度消失、爆炸的問題。LSTM通過在RNN基礎(chǔ)上引入輸入、輸出、遺忘門解決了這一問題，但因?yàn)槟Ｐ徒Y(jié)構(gòu)的增加，訓(xùn)練量也將大幅度增大，從而必須進(jìn)行大規(guī)模的訓(xùn)練模型才能收斂。為了解決這一問題，對其結(jié)構(gòu)進(jìn)行精簡，通過減少門的數(shù)量，去除細(xì)胞狀態(tài)c，提出了含有更新門、重置門結(jié)構(gòu)的GRU模型。

經(jīng)過不斷優(yōu)化改進(jìn)，GRU網(wǎng)絡(luò)模型如圖2所示，其相關(guān)參數(shù)可由式（3）～式（7）計(jì)算得到。

圖2 GRU網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.2 網(wǎng)絡(luò)訓(xùn)練

GRU的訓(xùn)練基于時(shí)間反向傳播算法（BPTT），GRU的輸入包含：當(dāng)前狀態(tài)輸入xt、上一時(shí)刻隱藏層狀態(tài)值ht-1；GRU的輸出包含：當(dāng)前狀態(tài)輸出值yt、當(dāng)前隱藏層狀態(tài)ht。對GRU模型的訓(xùn)練中，首先通過式（3）～式（7）計(jì)算出輸出值，再與實(shí)際理論數(shù)據(jù)進(jìn)行誤差計(jì)算，進(jìn)而利用反向傳播算法更新模型參數(shù)，使誤差收斂至無限小。

1.3 對GRU的改進(jìn)

LSTM和GRU有效地解決了長距離梯度消失和爆炸問題，在許多時(shí)間序列任務(wù)中，其效果較之RNN有明顯的提升，但其結(jié)構(gòu)也隨之變得復(fù)雜，這也使得模型想要達(dá)到收斂必須通過大量的訓(xùn)練。為避免上述問題，提出了改進(jìn)的I-GRU模型，通過對GRU模型的重置門、更新門共同點(diǎn)進(jìn)行分析，改進(jìn)了模型的更新門，利用重置門的改動(dòng)來替代更新門，并通過簡單求和得到數(shù)據(jù)輸出，這使得I-GRU模型較GRU模型在結(jié)構(gòu)上有了一定的優(yōu)化。如式（9）所示，更新門Z由重置門取值rt經(jīng)權(quán)重wz變換再通過sigmoid函數(shù)變換為0～1范圍數(shù)值來充當(dāng)門控信號。這一改動(dòng)使隱藏狀態(tài)ht的取值不再保持恒定，如式（11）所示，隱藏狀態(tài)ht由重置門對上一時(shí)刻ht-1的選擇和新更新門對候選隱藏狀態(tài)~h選擇記憶部分加和構(gòu)成，信息量的減少讓模型訓(xùn)練更容易進(jìn)行，能很大程度提高訓(xùn)練效率。

在小訓(xùn)練集上的收斂效果取得了不錯(cuò)的結(jié)果，這使得我們的改進(jìn)模型非常適合處理卷煙廠各設(shè)備數(shù)據(jù)的預(yù)測問題。

經(jīng)過優(yōu)化調(diào)整，I-GRU神經(jīng)單元展開結(jié)構(gòu)如圖3所示，其相關(guān)參數(shù)表示為：

圖3 I-GRU神經(jīng)單元展開結(jié)構(gòu)示意圖

1.4 LSTM、GRU和I-GRU復(fù)雜度對比

LSTM、GRU和I-GRU預(yù)測模型對時(shí)間序列數(shù)據(jù)的預(yù)測都取得了不錯(cuò)的成績。將分析它們各自的模型參數(shù)復(fù)雜度和矩陣變換的次數(shù)。權(quán)重矩陣的個(gè)數(shù)是判斷模型的一大標(biāo)準(zhǔn)，GRU的更新門Z可以同時(shí)進(jìn)行遺忘和選擇記憶，而LSTM則要多個(gè)門控才能實(shí)現(xiàn)，如式（6）所示，1-Z可以理解為遺忘門，（1-Z）* ht-1表示忘記上一刻隱藏狀態(tài)ht-1中不重要記憶，Z* ~h表示對當(dāng)前節(jié)點(diǎn)信息~h進(jìn)行選擇性記憶，兩者相加得到當(dāng)前隱藏狀態(tài)ht的信息?？梢钥闯鲞z忘Z和選擇（1-Z）是聯(lián)動(dòng)的，因此ht會(huì)保持一種恒定狀態(tài)。I-GRU模型對更新門Z進(jìn)行了調(diào)整，如式（9）所示。隱藏狀態(tài)ht的構(gòu)成也有所變化，如式（11）所示，ht-1* rt表示對上一刻信息由重置門rt來篩選，與新更新門對候選狀態(tài)~h選擇加和構(gòu)成，rt與zt不再互補(bǔ)，因此隱藏狀態(tài)ht不再保持恒定，信息量有所減小。從參數(shù)復(fù)雜度和矩陣變換次數(shù)來看，表1分別列舉了3種模型的矩陣及變化次數(shù)，I-GRU復(fù)雜度、變換次數(shù)明顯低于另外2種，從而訓(xùn)練起來也將更快收斂。經(jīng)實(shí)驗(yàn)驗(yàn)證，I-GRU模型非常適合卷煙車間這類數(shù)據(jù)稀缺環(huán)境，體現(xiàn)了新模型的意義。

表1 LSTM、GRU和I-GRU的權(quán)重矩陣和矩陣變換復(fù)雜度

1.5 預(yù)測模型性能比較

1.5.1 預(yù)測模型

對LSTM、GRU、I-GRU 3種預(yù)測模型進(jìn)行了預(yù)測性能評價(jià)。

1.5.2 試驗(yàn)數(shù)據(jù)及試驗(yàn)設(shè)備

試驗(yàn)數(shù)據(jù)主要來自某卷煙廠動(dòng)力設(shè)備車間2019年3月至5月的生產(chǎn)運(yùn)行數(shù)據(jù)。

試驗(yàn)環(huán)境：64位Windows10系統(tǒng)，內(nèi)存12G，主頻2.50 GHz，Intel（R）Core（TM）i7 CPU處理器，測試軟件Matlab 2016b。

1.5.3 預(yù)測模型性能

由于預(yù)測模型比較多，各個(gè)預(yù)測模型的優(yōu)劣性無法嚴(yán)格區(qū)分，因此我們將3種預(yù)測模型集中在一起比較，對某卷煙廠動(dòng)力設(shè)備車間2019年3月到5月的正常生產(chǎn)運(yùn)行數(shù)據(jù)進(jìn)行處理，處理結(jié)果如圖4～圖6所示，得到一個(gè)總的誤差性能指標(biāo)，各個(gè)預(yù)測模型之間僅僅比較總體誤差性能指標(biāo)，就可以判斷該模型的預(yù)測性能。各個(gè)預(yù)測模型的總體誤差性能指標(biāo)如表2所示。

圖4 LSTM預(yù)測趨勢

圖5 GRU預(yù)測趨勢

圖6 I-GRU預(yù)測趨勢

表2 總體誤差指標(biāo)

1.6 殘差分析

本次實(shí)驗(yàn)中，通過與卷煙廠動(dòng)力車間專業(yè)工程師的充分交流，獲取了各項(xiàng)設(shè)備指標(biāo)與故障的相關(guān)度，剔除掉弱相關(guān)指標(biāo)，選取強(qiáng)相關(guān)性參數(shù)（見表3）作為輸入數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。

表3 所選運(yùn)行參數(shù)相關(guān)性系數(shù)

試驗(yàn)選取強(qiáng)相關(guān)性的空調(diào)系統(tǒng)空壓機(jī)排氣壓力作為訓(xùn)練目標(biāo)，構(gòu)建I-GRU模型進(jìn)行訓(xùn)練。數(shù)據(jù)選取2019年6月到7月的空壓機(jī)設(shè)備數(shù)據(jù)，將其中數(shù)據(jù)按照6∶2∶2比例按時(shí)間順序劃分為訓(xùn)練集、測試集、驗(yàn)證集。網(wǎng)絡(luò)訓(xùn)練開始前，首先對模型的參數(shù)進(jìn)行初始化，再不斷的優(yōu)化到最佳。采用基于梯度隨機(jī)優(yōu)化的Adam算法，對不同的參數(shù)計(jì)算出其學(xué)習(xí)率，相對其他優(yōu)化算法較為優(yōu)秀。模型最優(yōu)化后，利用訓(xùn)練集（2019年6月1日到18日）進(jìn)行訓(xùn)練直到模型收斂，再利用測試集數(shù)據(jù)（2019年6月19日到6月24日）與模型預(yù)測值進(jìn)行殘差計(jì)算，有：

為確定BP、SVM、GRU和I-GRU預(yù)測效果，對幾種經(jīng)典模型進(jìn)行預(yù)測和殘差對比，如圖7、圖8所示。

圖7 模型預(yù)測結(jié)果對比

圖8 模型預(yù)測殘差特性對比

由圖7、圖8可知，在處理空壓機(jī)數(shù)據(jù)時(shí)，I-GRU模型明顯效果更佳，預(yù)測殘差也更接近于0，因此本次使用I-GRU作為預(yù)測模型優(yōu)選。

1.7 故障閾值劃分與異常檢測

在預(yù)測過程中，希望預(yù)測的誤差盡量在零線附近小幅度波動(dòng)，但是不能在一段時(shí)間內(nèi)一直高于零線或低于零線，出現(xiàn)這種情況，就說明出現(xiàn)殘差了。出現(xiàn)殘差的原因有2個(gè)：一個(gè)是預(yù)測模型失效了，另一個(gè)原因則是觀測對象出現(xiàn)了故障。利用I-GRU網(wǎng)絡(luò)通過10 000條數(shù)據(jù)預(yù)測后續(xù)5 000條數(shù)據(jù)，觀察預(yù)測數(shù)據(jù)趨勢圖，通過結(jié)合設(shè)置為3σ標(biāo)準(zhǔn)的故障閾值，判斷出異常點(diǎn)并將異常點(diǎn)信息（如空壓機(jī)壓力過大等）顯示在用戶界面上，為后續(xù)的案例匹配提供支持。這也正是本次智能故障診斷的研究重點(diǎn)。本文1.6節(jié)中證明了IGRU預(yù)測模型的優(yōu)秀效果，因此可以將模型的預(yù)測誤差看作正態(tài)分布進(jìn)行偏移，使用3σ作為閾值的標(biāo)準(zhǔn)。

σ在正態(tài)分布中表示標(biāo)準(zhǔn)差，μ表示均值，數(shù)值分布在（μ-3σ，μ+3σ）中的概率為0.997 3，意味著模型預(yù)測數(shù)據(jù)中99.73%的數(shù)據(jù)屬于正常數(shù)據(jù)，較為符合真實(shí)情況。因此將故障閾值設(shè)為3σ。

閾值可由式（14）計(jì)算得出，即

式中：rt為預(yù)測的殘差值，取絕對值；Vthreshold為故障閾值；n為測試數(shù)量。

按設(shè)定閾值3σ計(jì)算得出故障閾值如表4所示。

表4 故障閾值確定

根據(jù)上述實(shí)驗(yàn)，可以根據(jù)預(yù)測出的數(shù)據(jù)趨勢，結(jié)合計(jì)算出的故障閾值提早獲取到可能出現(xiàn)的故障信息，再根據(jù)獲取到的信息匹配案例實(shí)現(xiàn)智能故障診斷系統(tǒng)。實(shí)驗(yàn)結(jié)果如表5所示。

表5 模型收斂速度

根據(jù)實(shí)驗(yàn)表明，對于同一故障現(xiàn)象，I-GRU相比LSTM、GRU能更早發(fā)現(xiàn)達(dá)到警戒線的工況信息，并且I-GRU模型收斂更快，更加適合這些動(dòng)力設(shè)備的故障診斷。

1.8 關(guān)聯(lián)規(guī)則

本文1.7節(jié)通過I-GRU模型預(yù)測數(shù)據(jù)及閾值劃分得到了空調(diào)系統(tǒng)各設(shè)備單一的異常數(shù)據(jù)，但部分空調(diào)設(shè)備故障并不能只靠單一設(shè)備異常信息判斷，要根據(jù)多個(gè)設(shè)備異常信息診斷，因此挖掘空調(diào)系統(tǒng)各設(shè)備數(shù)據(jù)間關(guān)系十分重要。數(shù)據(jù)挖掘是以某種方式分析設(shè)備中所產(chǎn)生的數(shù)據(jù)，從中發(fā)現(xiàn)一些潛在有用的信息，即數(shù)據(jù)挖掘又可以稱作知識(shí)發(fā)現(xiàn)。而機(jī)器學(xué)習(xí)算法則是這種“某種方式”。關(guān)聯(lián)規(guī)則就是發(fā)現(xiàn)數(shù)據(jù)背后存在的某種規(guī)則或者聯(lián)系。設(shè)備數(shù)據(jù)間關(guān)聯(lián)規(guī)則如表6所示。

表6 設(shè)備數(shù)據(jù)間關(guān)聯(lián)規(guī)則

1.9 產(chǎn)生式推理

經(jīng)過關(guān)聯(lián)規(guī)則挖掘出空調(diào)系統(tǒng)各設(shè)備信息間關(guān)系后，將各項(xiàng)異常信息通過產(chǎn)生式知識(shí)表示方法進(jìn)行推理，運(yùn)用正向的產(chǎn)生式推理，推導(dǎo)出新的更符合人的認(rèn)知習(xí)慣的診斷結(jié)論。正向產(chǎn)生式推理如表7所示。

2 基于案例相似度的動(dòng)力設(shè)備故障診斷

2.1 基于案例的故障診斷流程

故障診斷的流程如圖9所示。首先，根據(jù)本文1.8節(jié)推理出的故障現(xiàn)象描述，對故障描述和案例庫中的案例故障描述進(jìn)行精確的中文切分，去掉無意義的停用詞，準(zhǔn)確地提取案例文本特征；然后，計(jì)算故障描述與所有案例的相關(guān)程度；最后，返回診斷結(jié)果，生成診斷過程并對故障零件進(jìn)行標(biāo)注，生成簡易的維修方案。

表7 正向產(chǎn)生式推理

圖9 診斷流程框圖

2.2 基于案例相似度的故障診斷

診斷對象。根據(jù)觀測數(shù)據(jù)，建立空壓機(jī)系統(tǒng)故障字典，以便用于模糊推理。

試驗(yàn)數(shù)據(jù)。試驗(yàn)數(shù)據(jù)主要來自某卷煙廠動(dòng)力設(shè)備車間2019年3月至5月的生產(chǎn)運(yùn)行數(shù)據(jù)。

試驗(yàn)設(shè)備。試驗(yàn)環(huán)境：64位Windows10系統(tǒng)，內(nèi)存12G，Intel（R）Core（TM）i7 CPU處理器，開發(fā)平臺(tái)Visual Studio 2017。

試驗(yàn)與分析。基于案例相似度的故障診斷性能評價(jià)試驗(yàn)用于評價(jià)不同案例診斷模型在相同數(shù)據(jù)集上的診斷性能。試驗(yàn)結(jié)果是對100個(gè)隨機(jī)產(chǎn)生的故障樣例的結(jié)果取平均值得到的?？諌簷C(jī)的故障診斷如圖10所示。

圖10 空壓機(jī)設(shè)備故障診斷

3 結(jié)論

針對某卷煙車間空調(diào)系統(tǒng)各項(xiàng)數(shù)據(jù)異常故障的預(yù)測與監(jiān)控，提出了一種基于改進(jìn)門循環(huán)單元預(yù)測的智能故障診斷系統(tǒng)。改進(jìn)模型以GRU重置門替代更新門，隱藏層狀態(tài)信息數(shù)量不再恒定，在GRU基礎(chǔ)上使參數(shù)大量減少便于訓(xùn)練。經(jīng)過各種對照實(shí)驗(yàn)，我們選取了最適合卷煙車間空調(diào)系統(tǒng)數(shù)據(jù)預(yù)測的I-GRU模型。預(yù)測環(huán)節(jié)設(shè)置3σ準(zhǔn)則閾值判斷異常點(diǎn)并通過關(guān)聯(lián)規(guī)則挖掘出各項(xiàng)異常數(shù)據(jù)間關(guān)系，運(yùn)用產(chǎn)生式推理出故障設(shè)備信息，最后對卷煙廠專家所提供的故障信息進(jìn)行性能測試。通過試驗(yàn)發(fā)現(xiàn)，改進(jìn)門循環(huán)單元預(yù)測模型有更高的精準(zhǔn)度且對異常信息反應(yīng)更快，對于故障診斷效率有所提升。本文的研究結(jié)果可以較好地輔助維修人員快速檢修動(dòng)力設(shè)備，從而提高工作效率，有實(shí)用價(jià)值。