基于CNN-GRU的瓦斯?jié)舛阮A(yù)測模型及應(yīng)用*

劉 超，雷 晨，李樹剛，薛俊華，張 超

(1.西安科技大學(xué) 安全科學(xué)與工程學(xué)院，陜西 西安 710054；2.西部礦井開采及災(zāi)害防治教育部重點實驗室，陜西 西安 710054)

0 引言

煤炭是我國一次性能源消費的重要支柱，影響國內(nèi)經(jīng)濟(jì)發(fā)展和能源安全[1-2]。頻發(fā)的礦井瓦斯災(zāi)害，給煤炭行業(yè)造成重大損失并嚴(yán)重威脅人們生命安全。目前，大部分煤炭企業(yè)已經(jīng)配備成熟的安全監(jiān)測系統(tǒng)，但其功能僅限于短期識別和應(yīng)對災(zāi)害，未能充分利用現(xiàn)有監(jiān)測數(shù)據(jù)，導(dǎo)致礦井瓦斯災(zāi)害預(yù)測能力不足。因此，迫切需要引入新的方法和技術(shù)，通過對監(jiān)測數(shù)據(jù)深度挖掘分析，實現(xiàn)對瓦斯?jié)舛染珳?zhǔn)預(yù)測，提高煤礦瓦斯災(zāi)害預(yù)警能力，降低礦井瓦斯災(zāi)害造成的經(jīng)濟(jì)損失，保護(hù)人們生命安全。

為實現(xiàn)瓦斯?jié)舛阮A(yù)測，國內(nèi)外學(xué)者開展研究：文獻(xiàn)[3-6] 提出基于相空間重構(gòu)理論、自適應(yīng)混沌粒子群優(yōu)化理論與支持向量機(jī)(SVM)相結(jié)合的瓦斯?jié)舛阮A(yù)測方法；郭思雯等[7]提出基于自回歸集成移動平均模型的瓦斯?jié)舛阮A(yù)測方法；武艷蒙等[8]利用SVM和差分進(jìn)化(DE)算法建立預(yù)測模型，并基于馬爾可夫鏈的殘差修正預(yù)測瓦斯?jié)舛茸兓厔荩粎呛２ǖ萚9]提出基于Spark Streaming框架的流回歸瓦斯?jié)舛阮A(yù)測方法；Marek等[10-11]將ARIMA模型、K-臨近和模型樹法相結(jié)合，對瓦斯?jié)舛冗M(jìn)行預(yù)測，并且提出局部線性與差分整合移動平均自回歸模型組合的瓦斯?jié)舛阮A(yù)測方法。上述研究方法均集中于單特征學(xué)習(xí)且數(shù)據(jù)集相對較小，因瓦斯?jié)舛葦?shù)據(jù)具有動態(tài)和非線性，使得上述方法在精確度和適用性方面表現(xiàn)不佳。

伴隨云計算和人工智能發(fā)展，門控循環(huán)單元(Gated Recurrent Unit，GRU)在智能裝備制造[12]、圖像識別[13-14]、能源預(yù)測[15-16]和智能交通[17]等方面得到廣泛應(yīng)用。GRU是傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)秀變體，其最大特點是善于處理復(fù)雜的多維時間序列。鑒于此，本文引入卷積神經(jīng)網(wǎng)絡(luò)(CNN)，提取瓦斯數(shù)據(jù)時空特征，構(gòu)建集時間與空間為一體的多維特征矩陣，將提取的數(shù)據(jù)信息輸入GRU，深度挖掘每個變量間的相互內(nèi)在關(guān)系，并構(gòu)建基于CNN-GRU的瓦斯?jié)舛阮A(yù)測模型，研究結(jié)果在提高瓦斯?jié)舛阮A(yù)測精度同時保證預(yù)測時效性。

1 門控循環(huán)單元(GRU)

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)層與層之間無節(jié)點連接，在解決時間序列問題上效果較差[18]。循環(huán)神經(jīng)網(wǎng)絡(luò)與GRU結(jié)構(gòu)原理如圖1所示，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是1種具有反饋結(jié)構(gòu)的網(wǎng)絡(luò)，在計算當(dāng)下輸出時，隱藏層神經(jīng)元會將儲存單元信息作為部分輸入，使輸出受先前輸出影響。因RNN善于處理時間序列信息，被廣泛用于具有時間信息數(shù)據(jù)挖掘工作。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)與GRU結(jié)構(gòu)原理Fig.1 Recurrent neural network and GRU structure principle

長短期記憶(LSTM)是循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)秀變體，主要由輸入門、遺忘門和輸出門組成，輸入門控制細(xì)胞狀態(tài)，將信息選擇性保留下來，遺忘門將細(xì)胞狀態(tài)中的信息選擇性遺忘，輸出門針對隱藏層儲存單元決定輸出信息。同時，在整個過程中通過消除或增強(qiáng)輸入神經(jīng)細(xì)胞單元信息控制細(xì)胞狀態(tài)[19]。

門控循環(huán)單元(GRU)將LSTM進(jìn)一步改進(jìn)[20]，結(jié)構(gòu)如圖1(d)所示，通過將遺忘門和輸入門合并成更新門，改進(jìn)LSTM的3門設(shè)計，目的是減少參數(shù)以優(yōu)化細(xì)胞結(jié)構(gòu)，提高運行效率，使得在訓(xùn)練過程中更容易收斂。GRU主要按更新數(shù)據(jù)信息、數(shù)據(jù)信息匯總、重置數(shù)據(jù)信息和數(shù)據(jù)信息輸出4個步驟運行[21]。

1)更新數(shù)據(jù)信息。更新門控制隱藏層中的記憶信息，將信息進(jìn)行線性變換，如式(1)所示：

zt=σ(Wz·[ht-1,xt])=σ(Whz·ht-1+Wxz·xt)

(1)

式中：zt為更新門信息；σ為sigmoid函數(shù)；t，t-1表示時刻；Wz為當(dāng)前更新門權(quán)重；Whz表示在當(dāng)前隱藏層狀態(tài)下更新門權(quán)重；Wxz為當(dāng)前更新門輸入信息權(quán)重；ht-1為t-1時刻隱藏層狀態(tài)；xt為t時刻輸入信息。

2)數(shù)據(jù)信息匯總。確定前一時刻和當(dāng)前時刻信息在隱藏層中遺忘的信息，如式(2)所示：

rt=σ(Wr·[ht-1,xt])=σ(Whr·ht-1+Wxr·xt)

(2)

式中：rt為重置門信息；Wr表示當(dāng)前重置門權(quán)重；Whr表示在當(dāng)前隱藏層狀態(tài)下重置門權(quán)重；Wxr表示當(dāng)前重置門輸入信息權(quán)重。

3)重置數(shù)據(jù)信息。控制當(dāng)前信息利用度和產(chǎn)生新記憶信息的數(shù)據(jù)量，作為輸入繼續(xù)向前傳遞，如式(3)所示：

(3)

式中：W表示權(quán)重；ut表示重置信息；tanh為雙正切函數(shù)變換；Wh表示當(dāng)前隱藏層權(quán)重；Wx表示輸入信息權(quán)重；符號*表示線性變換。

4)數(shù)據(jù)信息輸出。利用更新門計算當(dāng)前輸入信息，如式(4)所示：

ht=zt*ht-1+(1-zt)*ut

(4)

式中：ht表示t時刻隱藏層狀態(tài)。

2 瓦斯?jié)舛阮A(yù)測模型構(gòu)建

2.1 CNN-GRU預(yù)測模型

CNN-GRU預(yù)測模型結(jié)構(gòu)如圖2所示，主要由輸入層、CNN層、全連接層、GRU層和輸出層5部分構(gòu)成。輸入層是將某一時刻影響瓦斯?jié)舛纫蛩嘏c瓦斯?jié)舛葦?shù)據(jù)本身串聯(lián)成1個向量，利用滑動窗口形成新的時間序列數(shù)據(jù)；CNN層是對輸入序列數(shù)據(jù)進(jìn)行特征提取，CNN單元能夠通過卷積核運算自動提取數(shù)據(jù)局部變化趨勢，線性合并多組數(shù)據(jù)的抽象時空特性，提取多維時間序列特征；全連接層是將經(jīng)多次核卷積后形成的抽象特征進(jìn)行匯總，將卷積層輸出的多維特征矩陣轉(zhuǎn)化成一維向量，最后把轉(zhuǎn)換后的一維向量完整的傳遞給GRU網(wǎng)絡(luò)；GRU層主要是對CNN層提取的特征向量進(jìn)行充分學(xué)習(xí)，記憶長期依賴的歷史數(shù)據(jù)，最終得到其內(nèi)部特征變化規(guī)律，以此對未來瓦斯?jié)舛葦?shù)據(jù)進(jìn)行預(yù)測；輸出層是將預(yù)測值反歸一化后輸出。

圖2 CNN-GRU組合模型結(jié)構(gòu)Fig.2 Structure of CNN-GRU combined model

2.2 CNN參數(shù)設(shè)置

考慮瓦斯?jié)舛葦?shù)據(jù)的復(fù)雜性和CNN提取能力，將2D-CNN(二維卷積)作為網(wǎng)絡(luò)結(jié)構(gòu)，以保證預(yù)測效果的穩(wěn)定性。CNN特征識別功能有利于在不同層次的高維時間序列數(shù)據(jù)中自動提取共同特征，將數(shù)據(jù)轉(zhuǎn)換為沿時間軸的網(wǎng)格，利用CNN進(jìn)行時間序列數(shù)據(jù)處理，如圖2所示。將最近L個日期的瓦斯?jié)舛群途哂蠳維屬性影響因素數(shù)據(jù)轉(zhuǎn)換成網(wǎng)格，在輸入層后僅連接2層卷積層，并采用Dropout技術(shù)防止過擬合，如圖2所示，目的是避免數(shù)據(jù)在通過池化層時丟失重要特征，以較少的層數(shù)快速提取高維特征。在連續(xù)卷積和池化后，通過Flatten層將數(shù)據(jù)降維，最后設(shè)置神經(jīng)元數(shù)量分別為128，64，32的3層全連接層。CNN主要參數(shù)見表1。

表1 CNN參數(shù)設(shè)置Table 1 Parameters setting of CNN

2.3 GRU參數(shù)設(shè)置

采用多對一和一對一2種回歸形式的2層GRU結(jié)構(gòu)，使模型在最后1個時間步長前,對輸入的時間序列均能產(chǎn)生新的記憶狀態(tài)。由圖2可知，基于GRU的模型結(jié)構(gòu)，其實現(xiàn)方法包括以下3個步驟:1)將數(shù)據(jù)以一對一的模式輸入到第1層GRU，并且每個時間步長的記憶狀態(tài)已經(jīng)更新；2)第1層GRU的輸出以多對一的模式進(jìn)入第2層GRU；3) 在第2層GRU輸出后進(jìn)入全連接層。疊加2個層是為了預(yù)測每個時間步長，初步預(yù)測序列中趨勢，以幫助模型學(xué)習(xí)更高水平的時域特征表達(dá)。同理，建立3層全連接層，神經(jīng)元數(shù)量分別設(shè)置為128、64、32，具體參數(shù)設(shè)置見表2。

表2 GRU參數(shù)設(shè)置Table 2 Parameters setting of GRU

3 實例應(yīng)用

3.1 數(shù)據(jù)來源與預(yù)處理

本文數(shù)據(jù)來自玉華煤礦2021年3月11日至2021年3月21日2407工作面每5 min的日常生產(chǎn)監(jiān)測數(shù)據(jù)，包括瓦斯?jié)舛?、溫度、流量、?fù)壓4個變量，共3 041組，數(shù)據(jù)特征如圖3所示。將數(shù)據(jù)按7∶3比例劃分為訓(xùn)練集和測試集，用近似平均值補(bǔ)充缺失數(shù)據(jù)，刪除異常數(shù)據(jù)。為便于計算并提高預(yù)測精度，采用MinMaxScaler方法規(guī)范化，將數(shù)據(jù)縮放到[0,1]，如式(5)～(6)所示：

圖3 原始數(shù)據(jù)箱體圖Fig.3 Diagram of original data box

(5)

Xscaled=Xstd×(Max-Min)+Min

(6)

式中：Xstd表示放縮標(biāo)準(zhǔn)；X為數(shù)據(jù)；XMax，XMin表示數(shù)據(jù)最大值和最小值；Max，Min為數(shù)據(jù)縮放后的最大值和最小值；Xscaled表示最終放縮結(jié)果。處理后數(shù)據(jù)如圖4所示。

圖4 處理后數(shù)據(jù)Fig.4 Processed data

皮爾遜分析是衡量不同變量之間相關(guān)程度，其運行原理如式(7)所示[22]：

(7)

本文運用SPSS軟件對采集的4個變量進(jìn)行皮爾遜相關(guān)性分析，結(jié)果見表3。由表3可知，溫度與瓦斯?jié)舛瘸矢叨认嚓P(guān)，流量和負(fù)壓與瓦斯?jié)舛瘸手卸认嚓P(guān)。因此，本文選擇瓦斯?jié)舛?、流量、溫度和?fù)壓4個變量作為預(yù)測模型的輸入是合理的。

表3 各影響因素相關(guān)性分析結(jié)果Table 3 Correlation analysis results of each influencing factor

本文實驗采用Python3.7開發(fā)語言、Pycharm社區(qū)版集成環(huán)境，GRU模型和CNN模型均來自Keras2.1.5，計算機(jī)配置為CPU(i7-8550),顯卡RX550，內(nèi)存8GB。通過2個評價指標(biāo)衡量模型預(yù)測精度。

平均絕對誤差(MAE)如式(8)所示：

(8)

均方根誤差(RMSE)如式(9)所示：

(9)

式中：fi，yi分別為預(yù)測值和真實值；m為樣本個數(shù)。

3.2 模型運行效率對比

為比較不同模型達(dá)到最優(yōu)結(jié)果時的運行效率，將CNN-GRU組合模型與傳統(tǒng)機(jī)器學(xué)習(xí)模型LSTM和GRU進(jìn)行比較，采用訓(xùn)練集導(dǎo)入模型，在訓(xùn)練過程中，當(dāng)損失函數(shù)值連續(xù)增加或無明顯減少時，提前終止訓(xùn)練，經(jīng)過3次訓(xùn)練后結(jié)果如圖5～6所示，LSTM、GRU和CNN-GRU的平均訓(xùn)練輪次(Epoch)分別為325，200，159次；LSTM、GRU和CNN-GRU的平均訓(xùn)練時間分別為590，371，241 s；CNN-GRU的運行效率比LSTM和GRU分別提高59.15%，35.04%，并且CNN-GRU模型需要的訓(xùn)練輪次最少，較大幅度降低內(nèi)存消耗。

圖5 3種模型訓(xùn)練時間和訓(xùn)練輪次比較Fig.5 Comparison on training time and training round of three models

圖6 3種模型訓(xùn)練時間比較Fig.6 Comparison on training time of three models

3.3 模型精度對比

LSTM、GRU和CNN-GRU 3種模型測試誤差結(jié)果如圖7所示，CNN-GRU測試過程中平均絕對誤差和均方根誤差均優(yōu)于LSTM和GRU，同時CNN-GRU的平均絕對誤差誤差主要集中在0.045～0.052，均方根誤差主要集中在0.007～0.01，誤差波動范圍更小，具有較高的穩(wěn)定性。

圖7 3種模型預(yù)測結(jié)果誤差對比箱線Fig.7 Box line for comparison on error of prediction results by three models

LSTM、GRU和CNN-GRU的整體預(yù)測結(jié)果如圖8～10所示，CNN-GRU可有效預(yù)測瓦斯時間序列的峰谷值，在整體預(yù)測趨勢上優(yōu)于LSTM和GRU。3種模型詳細(xì)誤差對比見表4，CNN-GRU的平均絕對誤差和均方根誤差相對最低，分別可降至0.042和0.006，平均誤差分別為0.047和0.008，相比于LSTM降低46.6%，55.6%，相比于GRU降低37.3%，50.2%。

圖8 LSTM模型預(yù)測效果Fig.8 Prediction effect of LSTM model

圖9 GRU模型預(yù)測效果Fig.9 Prediction effect of GRU model

圖10 CNN-GRU組合模型預(yù)測效果Fig.10 Prediction effect of CNN-GRU model

表4 3種模型預(yù)測結(jié)果誤差Table 4 Prediction results error of three models

4 結(jié)論

1)基于CNN-GRU的瓦斯?jié)舛冉M合預(yù)測模型，能夠克服傳統(tǒng)預(yù)測方法的數(shù)據(jù)特征單一和解決非線性能力差的問題，利用多類型數(shù)據(jù)對瓦斯?jié)舛冗M(jìn)行時序性預(yù)測。

2)采用MinMaxScaler和皮爾遜相關(guān)性分析對實驗數(shù)據(jù)進(jìn)行預(yù)處理和相關(guān)性分析，提高數(shù)據(jù)質(zhì)量同時，證明多種影響因素作為模型輸入的合理性。

3)CNN-GRU組合模型相比于LSTM、GRU模型有更高的預(yù)測精度，平均絕對誤差和均方根誤差可降至0.042和0.006，更適用于瓦斯?jié)舛葧r間序列預(yù)測，并且在訓(xùn)練過程中所需訓(xùn)練輪次和運行時間相對較少，降低內(nèi)存消耗，提高預(yù)測效率，具有更高的應(yīng)用價值。