基于多因素的LSTM瓦斯?jié)舛阮A(yù)測(cè)模型*

劉 瑩，楊超宇

(安徽理工大學(xué) 經(jīng)濟(jì)與管理學(xué)院，安徽 淮南 232001)

0 引言

煤礦井下開采地質(zhì)條件復(fù)雜。采礦過程中，在煤體地應(yīng)力和煤層瓦斯壓力的作用下，煤礦可能會(huì)出現(xiàn)煤層瓦斯向礦井采掘空間噴出的現(xiàn)象[1-4]，某些征兆現(xiàn)象的難以察覺易使井下喪失事故最佳防范期[5]。

在煤礦瓦斯涌出量預(yù)測(cè)方面，學(xué)者們提出了許多算法模型，如隨機(jī)森林[6]、回歸樹[7]、支持向量機(jī)(SVM)算法[8]、神經(jīng)網(wǎng)絡(luò)算法[9]、多元線性回歸[10]等。郭瑞等[11]提出利用信息融合技術(shù)和遺傳支持向量機(jī)(GA-SVM)相結(jié)合的算法，該算法使用遺傳算法(GA)的全局優(yōu)化能力對(duì)支持向量機(jī)(SVM)進(jìn)行參數(shù)和特征向量的最佳組合查找，以達(dá)到對(duì)SVM優(yōu)化的目的；李超群等[12]基于集成學(xué)習(xí)的思想，采用將SVM與模型樹(Model Tree)相結(jié)合的方法，并利用交叉驗(yàn)證法對(duì)模型進(jìn)行訓(xùn)練和驗(yàn)證，獲得更具泛化能力和預(yù)測(cè)準(zhǔn)確性的瓦斯?jié)舛阮A(yù)測(cè)模型。為解決經(jīng)典CART回歸算法泛化性能差、易過擬合的缺陷，劉鵬等[13]利用SVM在回歸樹的葉節(jié)點(diǎn)部分進(jìn)行建模的方式，建立瓦斯涌出量的預(yù)測(cè)量化模型，該方法不但防止過擬合的發(fā)生，同時(shí)提高模型穩(wěn)定性、預(yù)測(cè)精度；劉曉悅等[14]在云計(jì)算的基礎(chǔ)上運(yùn)用Elman神經(jīng)網(wǎng)絡(luò)算法構(gòu)建瓦斯?jié)舛阮A(yù)測(cè)模型，通過遺傳算法優(yōu)化Elman神經(jīng)網(wǎng)絡(luò)，并以該模型對(duì)海量數(shù)據(jù)進(jìn)行訓(xùn)練，該模型能夠在短期預(yù)測(cè)煤礦瓦斯?jié)舛确矫姹ＷC高效性，同時(shí)也確保了預(yù)測(cè)精度；張震等[15]在瓦斯歷史數(shù)據(jù)的基礎(chǔ)上，將LSTM算法應(yīng)用到礦井瓦斯?jié)舛阮A(yù)測(cè)，該方法的瓦斯?jié)舛阮A(yù)測(cè)曲線能夠高度吻合監(jiān)測(cè)數(shù)據(jù)曲線，但是，模型只考慮了瓦斯歷史數(shù)據(jù)，忽略了其他井下環(huán)境因素對(duì)瓦斯?jié)舛茸兓挠绊憽?/p>

由此可見，在瓦斯預(yù)測(cè)領(lǐng)域，瓦斯?jié)舛阮A(yù)測(cè)方法多為單因素分析，并沒有考慮在當(dāng)前時(shí)間和空間中的其他環(huán)境影響因素。LSTM模型的應(yīng)用只根據(jù)單因素預(yù)測(cè)，且大都應(yīng)用在小樣本范圍。本文提出基于多因素的LSTM瓦斯?jié)舛阮A(yù)測(cè)模型，在融合井下多源監(jiān)測(cè)大數(shù)據(jù)的基礎(chǔ)上，通過巷道風(fēng)速、井下溫度、井下CO濃度、歷史瓦斯?jié)舛葦?shù)據(jù)分析出影響瓦斯?jié)舛茸兓臀磥碲厔?shì)的特征，挖掘出多源監(jiān)測(cè)數(shù)據(jù)中的時(shí)間特征和空間因素特征，多步預(yù)測(cè)未來瓦斯?jié)舛融厔?shì)。

1 LSTM網(wǎng)絡(luò)模型

長(zhǎng)短期記憶(Long short-term memory,LSTM)網(wǎng)絡(luò)在處理序列數(shù)據(jù)時(shí)，能夠避免RNN的梯度爆炸和梯度消失問題。LSTM的關(guān)鍵在于神經(jīng)單元的信息狀態(tài)，神經(jīng)單元的信息流傳通過3個(gè)邏輯門(遺忘門、輸入門、輸出門)控制，LSTM的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 LSTM network structure

LSTM網(wǎng)絡(luò)的信息處理過程可用式(1)～(6)表達(dá)：

ft=σ(Wf·[ht-1,xt]+bf)

(1)

it=σ(Wi·[ht-1,xt]+bi)

(2)

(3)

(4)

ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=ot·tanh(Ct)

(6)

2 基于多因素的LSTM瓦斯?jié)舛阮A(yù)測(cè)模型構(gòu)建

基于多因素的LSTM瓦斯?jié)舛阮A(yù)測(cè)模型的構(gòu)建主要包括6個(gè)模塊：獲取數(shù)據(jù)、多源數(shù)據(jù)預(yù)處理、特征工程、模型的構(gòu)建、模型的訓(xùn)練和優(yōu)化、模型的預(yù)測(cè)。

模型首先從數(shù)據(jù)庫中獲取井下CO濃度、溫度、風(fēng)速、瓦斯?jié)舛鹊木聜鞲衅鲾?shù)據(jù)，將數(shù)據(jù)按照數(shù)據(jù)產(chǎn)生時(shí)刻進(jìn)行數(shù)據(jù)融合，構(gòu)成完整的樣本數(shù)據(jù)。其次，將數(shù)據(jù)中的異常值、缺失值、調(diào)校值等進(jìn)行數(shù)據(jù)預(yù)處理。然后，將樣本數(shù)據(jù)經(jīng)過特征工程處理，如：特征衍生、時(shí)間序列數(shù)據(jù)監(jiān)督化、無量綱化，使得樣本特征維度增加，同時(shí)將時(shí)間序列數(shù)據(jù)集轉(zhuǎn)化為機(jī)器學(xué)習(xí)的有監(jiān)督學(xué)習(xí)任務(wù)的數(shù)據(jù)集。接著，通過經(jīng)驗(yàn)法和逐步試錯(cuò)法確定LSTM網(wǎng)絡(luò)的隱藏層神經(jīng)元的數(shù)目以及其他各個(gè)參數(shù)。最后，模型進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試，并且預(yù)測(cè)瓦斯?jié)舛取；诙嘁蛩氐腖STM瓦斯?jié)舛阮A(yù)測(cè)模型的主要構(gòu)建流程如圖2所示。

圖2 模型流程Fig.2 Model flow chart

2.1 多源監(jiān)測(cè)數(shù)據(jù)預(yù)處理

1)數(shù)據(jù)融合：煤礦井下傳感器類型多、數(shù)量大，每個(gè)傳感器每天產(chǎn)生大量的數(shù)據(jù)。因此，對(duì)井下監(jiān)測(cè)數(shù)據(jù)進(jìn)行分類、整理、選擇，以及多源數(shù)據(jù)的融合是使井下監(jiān)測(cè)數(shù)據(jù)產(chǎn)生價(jià)值的前提。本文選擇井下CO濃度、溫度、風(fēng)速、瓦斯?jié)舛鹊膫鞲衅鲾?shù)據(jù)，對(duì)其整理、融合，構(gòu)成完整的數(shù)據(jù)樣本。

2)缺失值處理：瓦斯監(jiān)測(cè)數(shù)據(jù)中存在大量的缺失數(shù)據(jù)，倘若將存在缺失值的樣本刪除，將會(huì)破壞時(shí)間序列數(shù)據(jù)的序列性、數(shù)據(jù)平穩(wěn)性，還會(huì)由于數(shù)據(jù)樣本過小而導(dǎo)致模型訓(xùn)練不足，最終導(dǎo)致預(yù)測(cè)效果差的現(xiàn)象。本模型采用缺失數(shù)據(jù)向前補(bǔ)齊的方法，用前1個(gè)非缺失值去填充該缺失值。

2.2 模型數(shù)據(jù)特征分析

1)特征衍生：由于原始的瓦斯監(jiān)控?cái)?shù)據(jù)中，樣本數(shù)據(jù)特征數(shù)量較少，且多為低效特征。為了最大限度提取瓦斯監(jiān)控?cái)?shù)據(jù)中的特征信息以供LSTM算法訓(xùn)練模型，采用特征多項(xiàng)式融合法衍生新特征。特征多項(xiàng)式融合法不但可以得到交叉項(xiàng)特征，還可以得到高次項(xiàng)特征。多項(xiàng)式特征的衍生將低維特征進(jìn)行組合，得到高維特征，使得LSTM模型更大程度地捕捉數(shù)據(jù)的基本關(guān)系，“學(xué)習(xí)”更多的數(shù)據(jù)信息。特征衍生表達(dá)式如式(7)～(8)。

(7)

(8)

式中：Poly()n為n階特征衍生；a,b,c為數(shù)據(jù)集的3個(gè)特征；Numnew為新衍生的特征數(shù)量。

本文中，原始數(shù)據(jù)特征數(shù)量為3，經(jīng)過三階多項(xiàng)式增項(xiàng)后，得到的特征數(shù)量為19，其中新特征數(shù)目為16。

2)有監(jiān)督化：由于瓦斯?jié)舛仁芏鄠€(gè)環(huán)境因素影響，且通過歷史數(shù)據(jù)的變化趨勢(shì)預(yù)測(cè)未來的發(fā)展，因此，為了充分考慮影響瓦斯?jié)舛鹊臅r(shí)空特性，將一定滯后期的瓦斯?jié)舛葦?shù)據(jù)作為新的特征信息，使模型將數(shù)據(jù)的時(shí)間性特征和空間因素特征充分學(xué)習(xí)。同時(shí)，將樣本的時(shí)間序列數(shù)據(jù)組合成成對(duì)的輸入輸出格式，將時(shí)間序列預(yù)測(cè)問題轉(zhuǎn)化為監(jiān)督學(xué)習(xí)問題。

本文將滯后期為20的瓦斯?jié)舛茸鳛閠時(shí)刻的時(shí)間性特征，與3個(gè)環(huán)境因素特征經(jīng)特征衍生后得到的19個(gè)特征共同構(gòu)成模型的特征，處理后的樣本數(shù)據(jù)，見表1。表1中的3個(gè)樣本數(shù)據(jù)均由39個(gè)特征數(shù)據(jù)和1個(gè)對(duì)應(yīng)的實(shí)測(cè)瓦斯?jié)舛?jw)數(shù)據(jù)組成。

表1 處理后的樣本數(shù)據(jù)示例Table 1 Examples of sample data after processing

3)無量綱化：由于數(shù)據(jù)中涉及多個(gè)可能影響瓦斯?jié)舛鹊闹笜?biāo)，每個(gè)指標(biāo)的數(shù)值范圍不同。為了統(tǒng)一指標(biāo)數(shù)值對(duì)模型產(chǎn)生的影響，本文使用數(shù)據(jù)歸一化的方法對(duì)樣本數(shù)據(jù)無量綱化，歸一化數(shù)學(xué)表達(dá)如式(9)：

(9)

式中：x為某個(gè)指標(biāo)特征無量綱化前的數(shù)據(jù)值；max，min分別為該指標(biāo)在所有樣本中的最大值、最小值；x′為該指標(biāo)無量綱化后的數(shù)據(jù)值。

2.3 樣本數(shù)據(jù)集劃分

樣本數(shù)據(jù)在輸入模型之前，需要將數(shù)據(jù)分割為訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集、測(cè)試數(shù)據(jù)集。為了保持時(shí)間序列數(shù)據(jù)的時(shí)間相關(guān)性，數(shù)據(jù)分割時(shí)不能采用隨機(jī)分割的方式。本文將2個(gè)數(shù)據(jù)分割點(diǎn)插入瓦斯?jié)舛葧r(shí)間序列數(shù)據(jù)，第1個(gè)分割點(diǎn)前的序列樣本數(shù)據(jù)作為訓(xùn)練集，第1個(gè)分割點(diǎn)和第2分割點(diǎn)間的樣本數(shù)據(jù)作為驗(yàn)證集，第2分割點(diǎn)后的數(shù)據(jù)作為測(cè)試集。

2.4 LSTM模型構(gòu)建

本文基于多因素的LSTM瓦斯?jié)舛阮A(yù)測(cè)模型的實(shí)現(xiàn)基于python語言的keras庫完成。LSTM模型的結(jié)構(gòu)主要分為3部分：數(shù)據(jù)輸入層、隱藏層、結(jié)果輸出層。LSTM模型的隱藏層數(shù)目為1，隱藏層神經(jīng)元個(gè)數(shù)通過逐步試錯(cuò)法進(jìn)行確定，輸出層神經(jīng)元個(gè)數(shù)為1。模型輸入數(shù)據(jù)結(jié)構(gòu)為(1，39)，其循環(huán)層間斷開神經(jīng)元的比例設(shè)置為0.6，模型優(yōu)化器選用Adam，完成模型的自適應(yīng)學(xué)習(xí)率的參數(shù)更新過程。模型損失函數(shù)選用平均絕對(duì)誤差MAE(Mean Absolute Error)，計(jì)算瓦斯?jié)舛阮A(yù)測(cè)值距離真實(shí)值的偏差。模型訓(xùn)練的epochs為200輪，batch_size為72，其余參數(shù)采用默認(rèn)參數(shù)。

本文借鑒文獻(xiàn)[15]中的經(jīng)驗(yàn)法計(jì)算出隱藏層神經(jīng)元的數(shù)量，在經(jīng)驗(yàn)法確定神經(jīng)元數(shù)量范圍的基礎(chǔ)上，采用逐步試錯(cuò)法選擇模型的最小均方根誤差，從而確定預(yù)測(cè)模型的隱藏層神經(jīng)元數(shù)量。確定隱藏層神經(jīng)元數(shù)目范圍的經(jīng)驗(yàn)計(jì)算公式如式(10)：

(10)

式中：a，b為神經(jīng)網(wǎng)絡(luò)模型數(shù)據(jù)輸入層、結(jié)果輸出層的神經(jīng)元數(shù)量；c為整數(shù)，取值范圍為1～10；q為根據(jù)公式計(jì)算確定的隱藏層神經(jīng)元數(shù)量。

基于多因素的LSTM瓦斯?jié)舛阮A(yù)測(cè)模型的預(yù)測(cè)性能指標(biāo)選用均方根誤差RMSE(Root Mean Squard Error)和MAE，RMSE和MAE的公式如式(11)和(12)：

(11)

(12)

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)數(shù)據(jù)來自貴州省某煤礦的10901工作面的2021年1月14日10時(shí)49分至2021年4月9日19時(shí)26分的井下CO濃度、風(fēng)速、溫度、瓦斯?jié)舛缺O(jiān)測(cè)數(shù)據(jù)，樣本數(shù)據(jù)量為103 779條。井下監(jiān)測(cè)數(shù)據(jù)經(jīng)過數(shù)據(jù)融合、數(shù)據(jù)預(yù)處理和特征工程后，得到樣本條數(shù)為102 759條，其中訓(xùn)練集樣本大小為99 650條，驗(yàn)證集樣本大小為2 034條，測(cè)試集樣本為1 075條。

LSTM模型設(shè)計(jì)的重要步驟是隱藏層節(jié)點(diǎn)數(shù)目的確定，本文根據(jù)公式(10)計(jì)算LSTM模型的隱藏層神經(jīng)元數(shù)量。當(dāng)前數(shù)據(jù)輸入層神經(jīng)元數(shù)目為39，結(jié)果輸出層神經(jīng)元數(shù)目為1，則LSTM隱藏層神經(jīng)元的數(shù)量可取范圍為7～17。使用逐步試錯(cuò)法確定LSTM隱藏層神經(jīng)元數(shù)量?；诙嘁蛩氐腖STM瓦斯?jié)舛阮A(yù)測(cè)模型在不同隱藏層神經(jīng)元數(shù)目下的模型測(cè)試誤差如圖3所示。

圖3 不同神經(jīng)元數(shù)量下的模型誤差Fig.3 Diagram of model errors under different numbers of neuron

由圖3可得：當(dāng)隱藏層神經(jīng)元數(shù)目為15時(shí)，RMSE為0.021，MAE為0.01，模型綜合誤差最小。因此，基于多因素的LSTM瓦斯?jié)舛阮A(yù)測(cè)模型的隱藏層神經(jīng)元數(shù)目確定為15。

3.1 模型預(yù)測(cè)性能

為了對(duì)比LSTM單變量預(yù)測(cè)模型、RNN預(yù)測(cè)模型與基于多因素的LSTM瓦斯?jié)舛阮A(yù)測(cè)模型的瓦斯?jié)舛阮A(yù)測(cè)性能，使用相同的數(shù)據(jù)集，對(duì)這3個(gè)模型進(jìn)行瓦斯?jié)舛阮A(yù)測(cè)實(shí)驗(yàn)。實(shí)驗(yàn)采取控制變量法，模型取滯后期為20的瓦斯?jié)舛葦?shù)據(jù)作為時(shí)間特征。使用測(cè)試樣本集進(jìn)行預(yù)測(cè)效果的對(duì)比，圖4為利用相同井下傳感器監(jiān)控?cái)?shù)據(jù)進(jìn)行RNN模型、LSTM單變量模型、基于多因素的LSTM瓦斯?jié)舛阮A(yù)測(cè)模型進(jìn)行預(yù)測(cè)的效果圖。其中，LSTM單變量模型、基于多因素的LSTM瓦斯?jié)舛阮A(yù)測(cè)模型的隱藏層神經(jīng)元數(shù)目均為15。由于測(cè)試集樣本數(shù)量較大，將前200條樣本數(shù)據(jù)進(jìn)行對(duì)比。

圖4 不同模型的瓦斯預(yù)測(cè)效果Fig.4 Gas prediction effect of different models

表2為模型預(yù)測(cè)的誤差和模型訓(xùn)練及預(yù)測(cè)所耗時(shí)。

由圖4和表2可知：在不同模型預(yù)測(cè)過程中，RNN模型耗時(shí)最短，其次是LSTM單變量模型，最后是LSTM多因素模型；但是在模型預(yù)測(cè)的RMSE，MAE誤差上，LSTM多因素模型預(yù)測(cè)誤差最小，其次是LSTM單變量模型，最后是RNN模型。雖然LSTM多因素模型在模型訓(xùn)練時(shí)耗時(shí)更長(zhǎng)，但是模型的預(yù)測(cè)準(zhǔn)確性更高。

表2 模型預(yù)測(cè)性能對(duì)比Table 2 Comparison of model prediction performance

3.2 長(zhǎng)期、短期瓦斯?jié)舛阮A(yù)測(cè)

長(zhǎng)期瓦斯?jié)舛阮A(yù)測(cè)中，取間隔期為20個(gè)序列點(diǎn)前的滯后期數(shù)據(jù)；短期預(yù)測(cè)取最近的滯后期數(shù)據(jù)，長(zhǎng)期和短期瓦斯預(yù)測(cè)滯后期均為10，20，30，40，50，60。長(zhǎng)期和短期的瓦斯?jié)舛阮A(yù)測(cè)RMSE，MAE如圖5所示。從總體上看，短期預(yù)測(cè)中，LSTM多因素模型的瓦斯?jié)舛阮A(yù)測(cè)誤差在RMSE和MAE的誤差均為最小。在短期預(yù)測(cè)時(shí)，滯后期為10和60時(shí)，LSTM單變量和多因素預(yù)測(cè)結(jié)果不相上下，但是在長(zhǎng)期預(yù)測(cè)過程中，LSTM多因素預(yù)測(cè)誤差均遠(yuǎn)小于LSTM單變量和RNN，說明LSTM多因素預(yù)測(cè)模型在長(zhǎng)期預(yù)測(cè)中更有優(yōu)勢(shì)。

圖5 不同時(shí)間間隔預(yù)測(cè)Fig.5 Prediction under different time intervals

4 結(jié)論

1)通過融合多源監(jiān)測(cè)數(shù)據(jù)，為模型提供了多個(gè)影響瓦斯?jié)舛茸兓沫h(huán)境因素，結(jié)合LSTM網(wǎng)絡(luò)模型，高效地預(yù)測(cè)未來瓦斯?jié)舛鹊淖兓厔?shì)。

2)利用特征多項(xiàng)式衍生新特征，將環(huán)境因素特征和歷史瓦斯?jié)舛葧r(shí)間性特征相結(jié)合，產(chǎn)生交叉項(xiàng)特征和高次項(xiàng)特征，使得模型充分挖掘監(jiān)控?cái)?shù)據(jù)中的信息。

3)將瓦斯?jié)舛葧r(shí)間序列預(yù)測(cè)問題轉(zhuǎn)化為監(jiān)督學(xué)習(xí)，既避免了人工標(biāo)注成本，又通過機(jī)器學(xué)習(xí)找到特征和標(biāo)簽之間的更多隱藏聯(lián)系，使模型充分挖掘數(shù)據(jù)中的信息，提高模型的預(yù)測(cè)性能。

4)與LSTM單變量模型、RNN模型相比，基于多因素的LSTM瓦斯?jié)舛阮A(yù)測(cè)模型在瓦斯?jié)舛乳L(zhǎng)期預(yù)測(cè)中更具優(yōu)勢(shì)。