基于CNN-LSTM的煤礦瓦斯?jié)舛阮A測

荀曉玉 蘇璨 李威 龐明瑞

摘? 要：對瓦斯?jié)舛冗M行預測是預防瓦斯事故的有效方式。卷積神經網(wǎng)絡（CNN）可以提取時間序列中的時間平移不變特征，長短期記憶神經網(wǎng)絡（LSTM）具有長期記憶能力，可以捕捉到具有長期相關性的信息，將CNN與LSTM結合，從時間序列的角度對采煤工作面瓦斯?jié)舛冗M行預測。結果表明，與單獨使用LSTM進行預測及使用支持向量回歸（SVR）預測相比，CNN-LSTM模型具有更高的預測準確率。

關鍵詞：瓦斯?jié)舛阮A測;時間序列;卷積神經網(wǎng)絡;長短期記憶神經網(wǎng)絡

中圖分類號：TP181? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）20-0149-04

Coal Mine Gas Concentration Prediction Based on CNN-LSTM

XUN Xiaoyu，SU Can，LI Wei，PANG Mingrui

（China University of Mining and Technology-Beijing，Beijing? 100083，China）

Abstract：Predicting gas concentration is an effective way to prevent gas accidents. Convolutional neural network（CNN）can extract the invariant features of time translation in time series. Long short-term memory neural network（LSTM）has long-term memory capabilities and can capture long-term relevant information. Combine CNN with LSTM to predict the gas concentration of coal mining face from the perspective of time series. The results show that the CNN-LSTM model has a higher prediction accuracy rate than using LSTM alone for prediction and support vector regression（SVR）prediction.

Keywords：gas concentration prediction;time series;convolutional neural network;long short-term memory neural network

0? 引? 言

煤炭在我國能源結構中占主體地位，煤礦井下環(huán)境復雜，開采過程中會遇到各種災害，其中瓦斯事故的危害最為嚴重，采煤工作面發(fā)生瓦斯事故的概率高于其他作業(yè)區(qū)域，對采煤工作面瓦斯?jié)舛冗M行預測，及時采取相應措施，對煤礦安全生產具有重要意義[1]。國內外學者對瓦斯?jié)舛阮A測做了大量的研究，目前比較常用的預測方法有：根據(jù)灰色理論建立灰色預測模型對瓦斯?jié)舛茸兓M行動態(tài)分析[2];通過支持向量機對瓦斯?jié)舛葧r間序列進行預測[3];使用混沌理論方法對瓦斯?jié)舛葧r間序列進行相空間重構[4];使用神經網(wǎng)絡對瓦斯?jié)舛冗M行預測等[5]。瓦斯?jié)舛葧r間序列中包含大量災害系統(tǒng)動態(tài)演化的特征信息，通過非線性理論分析并研究瓦斯?jié)舛葧r間序列的規(guī)律是目前瓦斯?jié)舛阮A測的主流趨勢[6]。

為進一步提高煤礦瓦斯?jié)舛阮A測精度，給煤礦安全生產提供可靠保障，作者對采煤工作面瓦斯?jié)舛阮A測模型進行研究，并作為自己的畢業(yè)設計研究課題，提出了將CNN與LSTM相結合的瓦斯?jié)舛阮A測模型。

1? CNN-LSTM預測模型構建

1.1? CNN

CNN是一種復雜的深度神經網(wǎng)絡，主要由卷積層、池化層、全連接層構成。卷積層利用卷積核在輸入數(shù)據(jù)上滑動做局部卷積操作，將卷積運算得到的特征經過激活函數(shù)處理從而得到最終特征。[7]卷積核是一個權重矩陣，也可稱為濾波器，矩陣中的各參數(shù)通過訓練CNN得到。在卷積操作過程中，采用了局部連接的方式，即使用同一個卷積核對目標進行卷積操作，降低了模型過擬合的風險并且可以減少程序運行所需的內存。卷積操作過程為：

（1）

其中，yl為經過l層卷積操作后的輸出，g為激活函數(shù)， 為是第l層第m部分卷積區(qū)域的輸入， 為第l層第m部分的權重，*為卷積運算， 為第l層的偏置項。圖1為一維卷積操作過程，卷積核的維度為3，輸入數(shù)據(jù)維度為8，設置移動步長為1，則卷積處理后的輸出結果維度應為6。

池化層通常夾在連續(xù)的卷積層之間，用于減少參數(shù)的同時保留主要特征，操作過程與卷積層相似，使用池化核在輸入數(shù)據(jù)上滑動，通過最大池化或平均池化取出操作區(qū)域的值。池化層中沒有需要訓練的參數(shù)，指定池化類型、池化操作的核尺寸及移動步長即可。池化操作過程為：

（2）

其中， 為第l層第m個數(shù)組的池化結果，? 為第l層第m個數(shù)組區(qū)域中第p個數(shù)值，g為池化函數(shù)。

全連接層可以將卷積層和池化層提取到的局部特征進行綜合從而得到輸入數(shù)據(jù)的全部特征。全連接層中每個神經元與前一層的神經元逐個相連，全連接層的計算公式為：

（3）

其中，dl為第l層全連接層的輸出，g為激活函數(shù)，為第l層數(shù)據(jù)輸入， 為第l層的權重系數(shù)， 為偏置參數(shù)。

一個完整的CNN工作過程是通過卷積層與池化層的堆疊進行層次級特征提取獲得具有代表性的特征，最后通過全連接層計算得到最終輸出。

1.2? LSTM

LSTM是為了解決原始的循環(huán)神經網(wǎng)絡中存在的長期依賴問題而設計出來的，是一種改進的循環(huán)神經網(wǎng)絡，適合處理和預測時間序列中間隔和延遲較長的重要信息。原始的循環(huán)神經網(wǎng)絡的基本結構如圖2所示，其中A為一組神經網(wǎng)絡，xt為輸入數(shù)據(jù)，ht為輸出數(shù)據(jù)。循環(huán)神經網(wǎng)絡處理數(shù)據(jù)時，使用一組內部狀態(tài)對當前數(shù)據(jù)的特性進行記錄，A可以保證每一步都可以保存以前的信息，在下一輪處理數(shù)據(jù)時會結合上一輪的內部狀態(tài)計算當前數(shù)據(jù)。

LSTM主要對原始循環(huán)神經網(wǎng)絡隱含層做了修改，在隱含層中引入了輸入門、輸出門和遺忘門來控制自循環(huán)，從而使其具有捕獲長期信息的能力。LSTM結構如圖3所示。

在時間序列中，有些時刻的數(shù)據(jù)對當前的輸出無關緊要，首先通過遺忘門ft對這些信息進行有選擇地丟棄，使用0～1之間的數(shù)值來表示遺忘程度，0表示全部遺忘，1表示全部記住，計算公式為：

ft=σ（wfxxt+wfhht-1+bf）? ? ? ? ? ? ? ? ? ? ? ? ?（4）

然后通過輸入門it決定增加哪些新的信息到內部狀態(tài)，并且通過一個tanh層處理上一時刻輸出信息和當前時刻輸入信息得到候選內部狀態(tài) ，更新舊的內部狀態(tài)ct-1，產生新的內部狀態(tài)ct，即：

it=σ（wixxt+wihht-1+bi）? ? ? ? ? ? ? ? ? ? ? ? ?（5）

=tanh（wcxxt+wchht-1+bc）? ? ? ? ? ? ? ? ? ? ?（6）

ct=ft*ct-1+it*? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（7）

最后輸出門ot控制輸出用于更新下一層網(wǎng)絡的信息，LSTM的最終輸出為ht：

ot=σ（woxxt+wohht-1+bo）? ? ? ? ? ? ? ? ? ? ? ?（8）

ht=ot*tanh（ct）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （9）

式（4）～（9）中，σ為sigmoid激活函數(shù)，w為相應的連接權重，b為相應的偏置。

1.3? CNN-LSTM模型結構設計

瓦斯?jié)舛葧r間序列數(shù)據(jù)中一般包含長短期混雜模態(tài)，使用CNN提取時間序列中的特征，并將經CNN提取到的特征輸入到LSTM，捕捉到其中具有長期相關性的信息，綜合發(fā)揮CNN和LSTM的優(yōu)點，所設計的CNN-LSTM模型結構如圖4所示。

采用兩層卷積層（Conv1D）及兩層最大池化層（Max-Pooling）提取特征，其中，每層卷積層中卷積核大小為1×2，卷積核個數(shù)為8，步長為1。池化層中選用最大池化方式，核大小為1×2，步長取1。將經過兩層卷積層和池化層提取到的特征通過Concatenate層聯(lián)合送入LSTM，充分學習各特征的長期相關信息。通過Dropout對參數(shù)進行正則化，并且使用激活函數(shù)ReLU對數(shù)據(jù)進行非線性處理，連接兩層全連接層（Dense）后使用全局最大池化（Global Max Pooling）進一步提取每個通道的特征，最后再通過一層全連接層將數(shù)據(jù)轉換為輸出預測數(shù)據(jù)。

2? 實例分析

2.1? 數(shù)據(jù)預處理

選用35 136條每5分鐘內采煤工作面瓦斯?jié)舛鹊钠骄底鳛閿?shù)據(jù)集，煤礦井下環(huán)境復雜，監(jiān)測數(shù)據(jù)易受環(huán)境和人為因素影響，數(shù)據(jù)存在異常及缺失，為提高數(shù)據(jù)質量，使用均值替換法對缺失值及異常值進行替換，并且使用小波閾值降噪對瓦斯?jié)舛葦?shù)據(jù)進行降噪。

小波閾值降噪主要是將帶有噪聲的信號進行小波分解，將有效信號和噪聲分離到不同幅值的小波系數(shù)之中，有效信號的小波系數(shù)大于噪聲的小波系數(shù)，選取合適的閾值，將小于閾值的小波系數(shù)作為噪聲抑制，大于閾值的作為有效信號保留，最后通過小波逆變換對信號進行重構從而達到降噪的效果。[8]

小波閾值降噪的效果取決于閾值的選擇，如果選取的閾值偏小，對噪聲的抑制不明顯，如果選取的閾值偏大，會引發(fā)信號的失真。目前使用較多的閾值是固定閾值：

（10）

其中，n為信號采樣長度，δ為含噪信號中噪聲的標準差，取值為：

（11）

確定閾值后，選擇合適的閾值函數(shù)處理信號，常用的閾值函數(shù)由軟閾值函數(shù)、硬閾值函數(shù)和Garrote函數(shù)。

軟閾值函數(shù)定義為：

（12）

硬閾值函數(shù)定義為：

（13）

Garrote函數(shù)定義為：

（14）

式（12）～（14）中，Wj，k為小波系數(shù)， 為經相應閾值函數(shù)處理后的小波系數(shù)，使用軟閾值函數(shù)處理過后的小波系數(shù)連續(xù)性較好，但原始信號會被壓縮造成一定的失真，使用硬閾值函數(shù)處理的信號邊緣性較好，但小波系數(shù)連續(xù)性較差，Garrote函數(shù)結合了軟閾值函數(shù)和硬閾值函數(shù)的特點，在接近閾值時，趨向于0，隨著小波系數(shù)增大，整體逐漸趨向于硬閾值函數(shù)，選取Garrote函數(shù)對瓦斯?jié)舛葦?shù)據(jù)進行處理。經過均值替換法和小波降噪處理后的部分數(shù)據(jù)如圖5所示。

將處理好的數(shù)據(jù)集按照6：2：2的比例劃分為訓練集、驗證集和測試集。

2.2? 超參數(shù)調整

在深層神經網(wǎng)絡模型中，有兩部分影響神經網(wǎng)絡的性能，一部分是權重和偏置等普通參數(shù)，另一部分是學習率等超參數(shù)，權重和偏置可通過模型在訓練集上學習得到，超參數(shù)是在學習過程開始之前設置的參數(shù)，需要根據(jù)經驗設定，依次對LSTM隱含層層數(shù)及每層節(jié)點數(shù)、滑動窗口數(shù)、學習率、Dropout和Batch Size進行調整從而確定性能較好的模型。選取平均絕對誤差（MAE）和均方根誤差（RMSE）作為評價指標。MAE為預測值和真實值之間的平均絕對偏離程度，RMSE為均方誤差的均方根值，當預測值和真實值之間相差較大時，會對評價指標的值造成較大影響，RMSE對誤差異常點反應敏銳，可以更加精密地評價預測精度，避免特大誤差所造成的影響。f（t）為測試集的真實值，為輸入測試集后得到的預測值，N為測試集樣本點數(shù)。

（15）

（16）

深度學習模型中每個超參數(shù)有多個候選值，在調節(jié)參數(shù)方面目前還沒有足夠強的理論支撐，采取控制變量法在驗證集上對超參數(shù)進行調整，得到性能相對較好的模型。最終所選取的超參數(shù)如表1所示，此時在驗證集上的MAE和RMSE分別為0.015 0和0.022 1。

2.3? 預測結果分析與對比

對比CNN-LSTM、LSTM和SVR預測未來1小時內瓦斯?jié)舛葦?shù)據(jù)的預測效果，使用各模型預測的曲線如圖6所示，當瓦斯?jié)舛茸兓^小時，CNN-LSTM和LSTM都能獲得較準確的預測結果，當瓦斯?jié)舛茸兓^大時，CNN-LSTM所表現(xiàn)出來的預測性能更優(yōu)，使用SVR進行預測在三種預測方法中準確性最低。

各模型的預測誤差分析如表2所示，經分析，使用CNN- LSTM對瓦斯?jié)舛冗M行預測具有較高的準確率，它的平均絕對誤差和均方根誤差均比LSTM和SVR低，分別為0.023 7和0.033 9。

3? 結? 論

提出一種將卷積神經網(wǎng)絡與長短期記憶神經網(wǎng)絡相結合的深層神經網(wǎng)絡模型CNN-LSTM在時間序列的角度對煤礦瓦斯?jié)舛冗M行預測。CNN-LSTM模型利用卷積層和池化層堆疊提出瓦斯?jié)舛葧r間序列數(shù)據(jù)中的時間平移不變性特征作為LSTM的輸入，最終得到瓦斯?jié)舛阮A測結果。通過對未來1小時內瓦斯?jié)舛阮A測，得出結論：CNN-LSTM模型能夠有效挖掘瓦斯?jié)舛葧r間序列中的特征，提高了預測精度，為瓦斯事故的防治提供了有效參考。

參考文獻：

[1] 劉業(yè)嬌，袁亮，薛俊華，等.2007—2016年全國煤礦瓦斯災害事故發(fā)生規(guī)律分析 [J].礦業(yè)安全與環(huán)保，2018，45（3）：124-128.

[2] 馮亮，張立強.灰色理論預測煤層瓦斯涌出量的研究與應用 [J].煤炭與化工，2016，39（1）：44-47.

[3] 付華，訾海，孟祥云，等.一種EKF-WLS-SVR與混沌時間序列分析的瓦斯動態(tài)預測新方法 [J].傳感技術學報，2015，28（1）：126-131.

[4] 程健，白靜宜，錢建生，等.基于混沌時間序列的煤礦瓦斯?jié)舛榷唐陬A測 [J].中國礦業(yè)大學學報，2008（2）：231-235.

[5] 張昭昭，喬俊飛，余文.基于動態(tài)神經網(wǎng)絡的瓦斯?jié)舛葘崟r預測方法 [J].控制工程，2016，23（4）：478-483.

[6] 耿越.基于混沌粒子群神經網(wǎng)絡的瓦斯?jié)舛阮A測 [J].中國煤炭，2017，43（3）：124-129.

[7] 張新建，劉鋒，李賢功.基于小波降噪和循環(huán)神經網(wǎng)絡的煤礦瓦斯?jié)舛阮A測 [J].煤炭技術，2020，39（9）：145-148.

[8] 趙建利，白格平，李英俊，等.基于CNN-LSTM的短期風電功率預測 [J].自動化儀表，2020，41（5）：37-41.

作者簡介：荀曉玉（1995—），女，漢族，遼寧凌源人，在讀碩士研究生，研究方向：深度學習應用。