基于雙向長(zhǎng)短期記憶網(wǎng)絡(luò)的煤礦瓦斯?jié)舛阮A(yù)測(cè)

曹 梅 楊超宇

（1.安徽理工大學(xué)經(jīng)濟(jì)與管理學(xué)院 安徽淮南 232001；2.安徽理工大學(xué)人工智能學(xué)院 安徽淮南 232001）

隨著我國能源需求的增長(zhǎng)，煤炭開采量不斷加大，煤礦井下環(huán)境越發(fā)復(fù)雜，安全事故頻發(fā)。研究發(fā)現(xiàn)，在頂板、瓦斯、水害等八類煤礦事故中，瓦斯是第二大煤礦事故因素，其事故發(fā)生率為百分之二十，且波及范圍廣泛，危害性較高，易造成較多人員死亡[1]。因此，對(duì)煤礦瓦斯的有效預(yù)測(cè)預(yù)警，有利于煤礦安全生產(chǎn)工作順利進(jìn)行。關(guān)于煤礦瓦斯預(yù)測(cè)預(yù)警，學(xué)者們進(jìn)行了大量研究。學(xué)者們采用灰色理論[2-5]、ARIMA時(shí)間序列分析[6]、支持向量機(jī)[7-10]、多元回歸[11]和神經(jīng)網(wǎng)絡(luò)[12]等方法來研究煤礦瓦斯?jié)舛阮A(yù)測(cè)。楊武艷[13]等人認(rèn)為煤礦瓦斯涌出量是一種隨機(jī)過程，其變化是定幅、定時(shí)的區(qū)間灰色量，使用灰色預(yù)測(cè)模型有效預(yù)測(cè)了煤礦瓦斯涌出。范京道[14，15]等人使用時(shí)間序列分析方法ARIMA模型結(jié)合SVM模型，分別預(yù)測(cè)瓦斯線性和非線性數(shù)據(jù)，對(duì)煤礦瓦斯?jié)舛冗M(jìn)行了有效預(yù)測(cè)。李樹剛[16]等人使用RNN模型實(shí)現(xiàn)了煤礦瓦斯涌出濃度的預(yù)測(cè)，結(jié)果具有一定的準(zhǔn)確性。Ping yang[17]等人利用LSTM模型，建立煤礦瓦斯涌出多步預(yù)測(cè)，結(jié)果表明，相比于ARIMA模型，LSTM模型預(yù)測(cè)效果較好。

上述方法多適合小樣本、平穩(wěn)性的瓦斯涌出分析，對(duì)于大樣本、非線性數(shù)據(jù)波動(dòng)較強(qiáng)的瓦斯預(yù)測(cè)效果不佳。RNN模型易發(fā)生梯度消失或爆炸的情況，造成模型精度下降，LSTM模型雖能解決RNN模型的不足，但其只能利用歷史信息分析。針對(duì)上述問題，提出基于雙向長(zhǎng)短期記憶網(wǎng)絡(luò)的煤礦瓦斯?jié)舛阮A(yù)測(cè)模型,結(jié)合前向和后向長(zhǎng)短期記憶網(wǎng)絡(luò)，充分考慮歷史和未來信息，以實(shí)際數(shù)據(jù)為基礎(chǔ)，構(gòu)建預(yù)測(cè)模型，以期有效預(yù)測(cè)煤礦瓦斯涌出濃度，為煤礦安全生產(chǎn)提供指導(dǎo)。

一、雙向長(zhǎng)短期記憶網(wǎng)絡(luò)瓦斯?jié)舛阮A(yù)測(cè)模型

煤礦井下開采環(huán)境惡劣，條件復(fù)雜突變，瓦斯?jié)舛扰c煤層開采條件、采煤深度、煤層厚度、風(fēng)速、CO濃度和溫度等因素有關(guān)，多種因素相互作用構(gòu)成煤礦井下瓦斯涌出機(jī)制系統(tǒng)，然而，由于井下傳感器收集數(shù)據(jù)種類單一，信息有限，不能充分展現(xiàn)各影響因素和瓦斯涌出作用變化趨勢(shì)，由此，本研究針對(duì)瓦斯?jié)舛入S時(shí)間變化的趨勢(shì)，結(jié)合Bi-LSTM 人工智能算法，對(duì)煤礦井下非線性溫度、風(fēng)速和瓦斯時(shí)間序列大樣本數(shù)據(jù)，進(jìn)行實(shí)驗(yàn)，建立瓦斯?jié)舛阮A(yù)測(cè)模型。

（一）LSTM 模型。長(zhǎng)短期記憶（Long Short Term Memory,LSTM）網(wǎng)絡(luò)是在循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的基礎(chǔ)之上演變而來，改善了RNN模型缺陷，能夠充分利用序列間的長(zhǎng)期依賴關(guān)系，其基本原理采用門控機(jī)制，主要由輸入門、遺忘門和輸出門控制數(shù)據(jù)流，對(duì)于序列數(shù)據(jù)具有較好的處理效果。

LSTM模型內(nèi)部的單元結(jié)構(gòu)如圖1所示，由輸入門Xt、輸出門ot、遺忘門ft和記憶門it組成，σ表示Sigmoid函數(shù)。

圖1 LSTM單元結(jié)構(gòu)

（二）Bi-LSTM 模型。雙向長(zhǎng)短期記憶（Bi-directional Long Short Term Memory,Bi-LSTM）網(wǎng)絡(luò)是傳統(tǒng)長(zhǎng)短期記憶網(wǎng)絡(luò)的一種改進(jìn)。傳統(tǒng)LSTM網(wǎng)絡(luò)為單向網(wǎng)絡(luò)，只能在同一個(gè)方向上移動(dòng)，不能同時(shí)利用前向和后向信息，而Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，結(jié)合了前向和后向長(zhǎng)短期記憶網(wǎng)絡(luò)的，能夠充分利用輸入的數(shù)據(jù)，訓(xùn)練序列傳遞時(shí)，分別在同一輸出層前向和后向移動(dòng)，挖掘數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，增強(qiáng)學(xué)習(xí)能力。

圖2 Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)

（三）基于Bi-LSTM 的瓦斯?jié)舛阮A(yù)測(cè)模型。煤礦井下瓦斯涌出具有時(shí)間性，且易受多種因素影響，Bi-LSTM 網(wǎng)絡(luò)將兩個(gè)LSTM網(wǎng)絡(luò)的前向和后向結(jié)合，充分利用歷史和未來信息，對(duì)于處理復(fù)雜非線性的瓦斯序列多維數(shù)據(jù)，具有較好的處理效果。因此，為了實(shí)現(xiàn)煤礦井下瓦斯?jié)舛扔行ьA(yù)測(cè)，利用Bi-LSTM 網(wǎng)絡(luò)，融合瓦斯、風(fēng)速和溫度多因素?cái)?shù)據(jù)，遵循時(shí)間先后順序，將數(shù)據(jù)輸入到網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，建立預(yù)測(cè)模型。

將處理好的時(shí)間序列瓦斯、溫度和風(fēng)速數(shù)據(jù)送入到Bi-LSTM網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和預(yù)測(cè)，在Bi-LSTM網(wǎng)絡(luò)節(jié)點(diǎn)中，數(shù)據(jù)經(jīng)輸入門傳輸?shù)綘顟B(tài)節(jié)點(diǎn)中，經(jīng)過Sigmoid 函數(shù)和tanh函數(shù)計(jì)算,再分別依據(jù)公式(1)和公式(2)計(jì)算遺忘門和記憶門需要丟棄和保留掉的信息。

臨時(shí)單元狀態(tài)Ct'經(jīng)過公式(3)計(jì)算并存儲(chǔ)t 時(shí)刻瓦斯、溫度和風(fēng)速數(shù)據(jù)的臨時(shí)狀態(tài)信息，在完成信息記憶和更新之后，輸出門根據(jù)公式(4)計(jì)算出當(dāng)前控制單元中有多少信息能夠被輸出到Ht中，并作為下一時(shí)刻的輸入。

單元狀態(tài)Ct和隱藏層的狀態(tài)節(jié)點(diǎn)Ht信息依據(jù)公式(5)和(6)計(jì)算得出。

Bi-LSTM模型預(yù)測(cè)瓦斯?jié)舛鹊目傮w流程如圖3所示，首先，對(duì)收集來的瓦斯及相關(guān)數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，整合和處理缺失值；然后，利用最大最小歸一化方法處理預(yù)處理后的瓦斯、風(fēng)速和溫度數(shù)據(jù)，消除不同特征之間數(shù)量單位的影響；之后，劃分?jǐn)?shù)據(jù)集，分別用于訓(xùn)練和測(cè)試；其次，通過經(jīng)驗(yàn)公式和實(shí)驗(yàn)確定神經(jīng)網(wǎng)絡(luò)隱藏層神經(jīng)元數(shù)量，并以MAE和RMSE為模型訓(xùn)練的評(píng)價(jià)指標(biāo)，建立Bi-LSTM 瓦斯預(yù)測(cè)模型；最后，利用訓(xùn)練好的Bi-LSTM瓦斯預(yù)測(cè)模型預(yù)測(cè)瓦斯?jié)舛?，并進(jìn)行誤差分析，評(píng)價(jià)模型有效性。

圖3 Bi-LSTM瓦斯預(yù)測(cè)模型建模流程

二、數(shù)據(jù)分析及模型訓(xùn)練

（一）數(shù)據(jù)預(yù)處理分析。由于在數(shù)據(jù)采集過程中，煤礦井下傳感器多樣，數(shù)據(jù)采集種類復(fù)雜，可能會(huì)出現(xiàn)數(shù)據(jù)類型不一和缺失的情況，因此需要進(jìn)行數(shù)據(jù)預(yù)處理，整合數(shù)據(jù)和插補(bǔ)缺失值。

1.數(shù)據(jù)整合。對(duì)煤礦井下傳感器收集來的原始數(shù)據(jù)，進(jìn)行分類、去除無效信息和合并，實(shí)驗(yàn)選擇煤礦井下瓦斯?jié)舛取囟群惋L(fēng)速為模型數(shù)據(jù)樣本，將其按時(shí)間順序進(jìn)行分類整合。

2.數(shù)據(jù)缺失處理。由于煤礦井下不確定因素影響，導(dǎo)致采集過程中數(shù)據(jù)出現(xiàn)缺失的情況，若將這些缺失數(shù)據(jù)刪除，會(huì)造成數(shù)據(jù)不完整，丟失重要信息，不利于模型學(xué)習(xí)，因此，需要對(duì)缺失數(shù)值進(jìn)行補(bǔ)全。選擇KNN算法對(duì)缺失數(shù)據(jù)進(jìn)行插補(bǔ)，通過公式(7)計(jì)算出缺失值xvi和其他數(shù)據(jù)xui之間的距離D，然后利用公式(8)計(jì)算出缺失值，其中wvi為與缺失值k 個(gè)近鄰數(shù)據(jù)的權(quán)重，R為計(jì)算出的缺失數(shù)值。

實(shí)驗(yàn)所用數(shù)據(jù)來源于貴州省某煤礦采煤工作面自2021年1月14日至2021年4月9日的瓦斯、溫度和風(fēng)速數(shù)據(jù)，進(jìn)行數(shù)據(jù)整合和缺失數(shù)據(jù)插補(bǔ)處理，預(yù)處理后數(shù)據(jù)的前5條和后5條如表1所示。

表1 預(yù)處理后數(shù)據(jù)

（二）歸一化處理并劃分?jǐn)?shù)據(jù)集。

1.歸一化處理。由于數(shù)據(jù)樣本涉及瓦斯、溫度和風(fēng)速，其數(shù)據(jù)范圍大小不同，度量單位也不一樣，因此，為了消除不同變量綱量的影響，便于比較和分析，對(duì)瓦斯、溫度和風(fēng)速數(shù)據(jù)歸一化處理，其計(jì)算公式如下：

在公式（9）中，Xmin為數(shù)據(jù)列最小值，Xmax為數(shù)據(jù)列最大值，X'為處理之后的數(shù)值。歸一化處理后得到的瓦斯、溫度和風(fēng)速的前5條數(shù)據(jù)和后5條數(shù)據(jù)，如表2所示。

表2 歸一化處理后數(shù)據(jù)

2.在對(duì)數(shù)據(jù)樣本建模之前，為便于建立合適的模型，需劃分?jǐn)?shù)據(jù)集，一部分用于訓(xùn)練模型，尋找超參數(shù)，建立合適瓦斯預(yù)測(cè)模型；另一部分用于測(cè)試驗(yàn)證模型準(zhǔn)確性并進(jìn)行預(yù)測(cè)。按照瓦斯、溫度和風(fēng)速數(shù)據(jù)時(shí)間順序，將時(shí)間序列前80%的數(shù)據(jù)用作訓(xùn)練集訓(xùn)練模型，其余數(shù)據(jù)用作測(cè)試集測(cè)試模型效果。

（三）模型訓(xùn)練?；陔p向長(zhǎng)短期記憶網(wǎng)絡(luò)的煤礦瓦斯?jié)舛阮A(yù)測(cè)模型基于Python3.6 語言,使用TensorFlow2.0 環(huán)境下的Keras庫來完成模型的訓(xùn)練。

1.初始化模型參數(shù)。在神經(jīng)網(wǎng)絡(luò)中，參數(shù)的設(shè)置影響著神經(jīng)網(wǎng)絡(luò)準(zhǔn)確性，而合適的參數(shù)設(shè)定沒有固定方法，需要根據(jù)經(jīng)驗(yàn)和實(shí)驗(yàn)不斷試錯(cuò)來確定。雙向長(zhǎng)短期記憶網(wǎng)絡(luò)瓦斯?jié)舛阮A(yù)測(cè)模型的結(jié)構(gòu)為輸入層、隱藏層和輸出層。根據(jù)經(jīng)驗(yàn)和實(shí)驗(yàn)，確定模型初始化參數(shù)，輸入層輸入滑動(dòng)窗口為3，輸入特征維度為3，輸入結(jié)構(gòu)為（3,3）；輸出層輸出維度為1,輸出結(jié)構(gòu)為（1）；隱藏層數(shù)為1層，隱藏層使用sigmoid函數(shù)作為激活函數(shù)。每次訓(xùn)練抓取樣本量256條，訓(xùn)練次數(shù)150次，優(yōu)化器選擇Adam。

2.確定隱藏層神經(jīng)元數(shù)量。根據(jù)文獻(xiàn)[18]提出的經(jīng)驗(yàn)公式（10），在此基礎(chǔ)上，以MAE 和RMSE 為評(píng)價(jià)指標(biāo)，進(jìn)行多次實(shí)驗(yàn)，確定隱藏層神經(jīng)元數(shù)量。公式（10）中，m為輸入層維度；n為輸出層維度；p為常數(shù)，通常選取范圍為1到10。

利用經(jīng)驗(yàn)公式（10），在模型初始化參數(shù)基礎(chǔ)之上，得出雙向長(zhǎng)短期記憶網(wǎng)絡(luò)模型隱藏層神經(jīng)元數(shù)量為3到13，根據(jù)公式（11）和（12），得出雙向長(zhǎng)短期記憶網(wǎng)絡(luò)模型隱藏層不同神經(jīng)元數(shù)量的MAE 誤差和RMSE 誤差。公式（11）和（12）中，(t)為模型預(yù)測(cè)輸出值，y(t)實(shí)際數(shù)值，n為數(shù)據(jù)總量。

Bi-LSTM 模型隱藏層不同神經(jīng)元數(shù)量的MAE 和RMSE 誤差分析如圖4 所示，隱藏層神經(jīng)元數(shù)量3 至13 的MAE 平均為0.929%，RMSE 平均為0.117%，MAE 和RMSE 均低于平均值的神經(jīng)元數(shù)量為8和11，相比于隱藏層神經(jīng)元數(shù)量為11時(shí)，隱藏層神經(jīng)元數(shù)量為8時(shí)的MAE減少0.072%，RMSE減少0.01%，因此，Bi-LSTM模型隱藏層神經(jīng)元數(shù)量確定為8。

圖4 隱藏層神經(jīng)元誤差分析

三、實(shí)驗(yàn)與結(jié)果分析

模型實(shí)驗(yàn)數(shù)據(jù)經(jīng)數(shù)據(jù)整合和缺失數(shù)據(jù)插補(bǔ)處理后，得到有效時(shí)間序列數(shù)據(jù)共計(jì)104491 條，其中，前83590 條時(shí)間序列數(shù)據(jù)為訓(xùn)練數(shù)據(jù)，后20897條時(shí)間序列數(shù)據(jù)為測(cè)試數(shù)據(jù)。

（一）不同模型預(yù)測(cè)性能對(duì)比。為了驗(yàn)證模型的有效性，選取了相同參數(shù)下的LSTM 模型、RNN 模型和全連接（Full Connection, FC）神經(jīng)網(wǎng)絡(luò)模型，將四種模型運(yùn)行結(jié)果和原始數(shù)據(jù)對(duì)比分析。圖5為四種模型在測(cè)試集上的預(yù)測(cè)效果。

圖5 四種模型預(yù)測(cè)性能對(duì)比

由于樣本數(shù)據(jù)量較大，圖5只展示了第6200條至第7000條數(shù)據(jù)的實(shí)際值和預(yù)測(cè)值，圖中顯示，四種模型均對(duì)瓦斯?jié)舛鹊臅r(shí)間變化趨勢(shì)做出了相應(yīng)預(yù)測(cè)，但LSTM 模型、FC 模型和RNN模型預(yù)測(cè)較差，Bi-LSTM 模型對(duì)于瓦斯?jié)舛确逯殿A(yù)測(cè)更好，預(yù)測(cè)曲線更加貼近原始數(shù)據(jù)曲線，預(yù)測(cè)效果更好。

為了更清晰地比較幾種瓦斯預(yù)測(cè)模型的有效性，采用MAE、RMSE和運(yùn)行時(shí)間進(jìn)一步評(píng)價(jià)模型預(yù)測(cè)效果。各模型在測(cè)試集上的預(yù)測(cè)誤差和運(yùn)行時(shí)間如表3所示，四種模型中，Bi-LSTM 模型的MAE 比LSTM 模型和FC 模型均降低了66.7%，比RNN模型降低了72.3%；Bi-LSTM模型的RMSE比LSTM模型降低了2.6%，分別比FC模型和RNN模型降低了7.6%和4.7%，由此可知Bi-LSTM模型的準(zhǔn)確性更高，預(yù)測(cè)效果更好。就模型運(yùn)行時(shí)間來看，Bi-LSTM 模型運(yùn)行時(shí)間最長(zhǎng)，其次是LSTM 模型，F(xiàn)C模型運(yùn)行時(shí)間最短。模型運(yùn)行時(shí)間受模型的本身復(fù)雜程度影響，四種模型中，Bi-LSTM模型復(fù)雜程度較高，導(dǎo)致其耗時(shí)較長(zhǎng)，但模型學(xué)習(xí)效果更好，預(yù)測(cè)精度更高。結(jié)合圖5和表3分析可得，相比于LSTM模型、FC模型和RNN模型，Bi-LSTM模型雖運(yùn)行時(shí)間較長(zhǎng)，但是模型的誤差較小，準(zhǔn)確性更高，能夠?qū)崿F(xiàn)煤礦瓦斯?jié)舛鹊挠行ьA(yù)測(cè)。

表3 各模型預(yù)測(cè)誤差及運(yùn)行時(shí)間

（二）Bi-LSTM 模型瓦斯?jié)舛榷嗖筋A(yù)測(cè)。為了進(jìn)一步驗(yàn)證Bi-LSTM模型的瓦斯?jié)舛阮A(yù)測(cè)性能，分別對(duì)瓦斯?jié)舛任磥頃r(shí)刻進(jìn)行多步預(yù)測(cè)。設(shè)當(dāng)前時(shí)刻為T，預(yù)測(cè)超前5、10、15、20、25 和30步時(shí)刻的瓦斯?jié)舛?，圖6為Bi-LSTM模型瓦斯?jié)舛瘸岸嗖筋A(yù)測(cè)部分結(jié)果顯示，圖中顯示，隨著預(yù)測(cè)步數(shù)的增加，Bi-LSTM模型的預(yù)測(cè)曲線更加偏離原始數(shù)據(jù)，結(jié)合表4所示的超前多步預(yù)測(cè)誤差可知，Bi-LSTM模型超前5步預(yù)測(cè)效果最好，隨著超前時(shí)間步數(shù)的增加，數(shù)據(jù)之間時(shí)間相關(guān)性的降低，預(yù)測(cè)誤差不斷增加，預(yù)測(cè)精度也隨之下降。

表4 Bi-LSTM模型瓦斯?jié)舛榷嗖筋A(yù)測(cè)誤差

圖6 Bi-LSTM模型瓦斯?jié)舛榷嗖筋A(yù)測(cè)

四、結(jié)論

利用Bi-LSTM模型進(jìn)行瓦斯?jié)舛阮A(yù)測(cè)，以煤礦采煤工作面瓦斯?jié)舛取L(fēng)速和溫度數(shù)據(jù)為基礎(chǔ)，通過與LSTM模型、FC模型和RNN模型比較分析，Bi-LSTM模型預(yù)測(cè)的平均絕對(duì)誤差和均方根誤差分別為0.00061和0.00847，預(yù)測(cè)效果優(yōu)于LSTM模型、FC模型和RNN模型。

在模型預(yù)測(cè)效率方面，Bi-LSTM 模型因其結(jié)構(gòu)較為復(fù)雜，運(yùn)行時(shí)間較長(zhǎng)，但其模型預(yù)測(cè)精度更高，可有效預(yù)測(cè)瓦斯?jié)舛?，為了?shí)現(xiàn)煤礦瓦斯?jié)舛鹊臏?zhǔn)確預(yù)測(cè)，其時(shí)間的耗費(fèi)是有價(jià)值的，基于Bi-LSTM 模型的煤礦瓦斯?jié)舛阮A(yù)測(cè)，能為煤礦瓦斯事故的防治提供科學(xué)的決策依據(jù)。

Bi-LSTM模型對(duì)于煤礦瓦斯短期預(yù)測(cè)效果較好，對(duì)于長(zhǎng)期預(yù)測(cè)誤差升高，預(yù)測(cè)精度下降，可能受時(shí)間關(guān)聯(lián)性下降的影響，另外，煤礦井下環(huán)境復(fù)雜，瓦斯?jié)舛炔粌H受到時(shí)間、溫度和風(fēng)速影響，還受到煤層賦存條件、開采速度、濕度等因素影響，在未來的瓦斯?jié)舛阮A(yù)測(cè)研究中，應(yīng)充分考慮這些因素，探究影響因素之間內(nèi)在關(guān)聯(lián)性，進(jìn)一步提高模型預(yù)測(cè)精度。