基于SSA-LSTM的瓦斯?jié)舛阮A(yù)測模型

蘭永青， 喬元棟， 程虹銘， 雷利興， 羅化峰

（1.山西大同大學(xué) 煤炭工程學(xué)院，山西 大同 037003；2.山西大同大學(xué) 建筑與測繪工程學(xué)院，山西 大同 037003）

0 引言

瓦斯是煤礦生產(chǎn)的關(guān)鍵致災(zāi)因素之一，與瓦斯窒息、瓦斯燃燒、瓦斯爆炸、煤與瓦斯突出等事故息息相關(guān)。瓦斯?jié)舛仁且环N隨時(shí)間變化的高動態(tài)、非線性時(shí)間序列數(shù)據(jù)，并受煤層賦存、采煤工藝、抽采工藝、風(fēng)流等多種因素影響[1]，充分挖掘瓦斯?jié)舛鹊臅r(shí)序性規(guī)律，實(shí)現(xiàn)瓦斯?jié)舛染_、高效預(yù)測，對于預(yù)防瓦斯事故、保障煤礦安全生產(chǎn)具有重要意義。國內(nèi)外學(xué)者最先采用統(tǒng)計(jì)學(xué)方法開展瓦斯?jié)舛阮A(yù)測，如支持向量機(jī)[2-5]、自回歸積分滑動平均模型[6-7]等，這類預(yù)測模型結(jié)構(gòu)較簡單，難以挖掘具有高度非線性的瓦斯?jié)舛葧r(shí)序數(shù)據(jù)中隱含的相關(guān)特性。隨著人工智能技術(shù)的不斷發(fā)展，國內(nèi)外學(xué)者將適用于大數(shù)據(jù)分析的深度學(xué)習(xí)方法應(yīng)用到瓦斯?jié)舛阮A(yù)測中，如循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）模型[8]、基于長短期記憶 （Long Short-Term Memory，LSTM）網(wǎng)絡(luò)的預(yù)測模型[9-12]、基于門控循環(huán)單元（Gated Recurrent Unit，GRU）的預(yù)測模型[13-14]等。這些研究方法極大地提高了瓦斯?jié)舛阮A(yù)測精度，但尚未取得令人滿意的結(jié)果，原因在于部分模型易發(fā)生過擬合現(xiàn)象，預(yù)測精度和效率受限。針對該問題，學(xué)者們采用蝗蟲算法[15]、遺傳算法[16]、鯨魚算法[17]等優(yōu)化深度學(xué)習(xí)模型對瓦斯?jié)舛阮A(yù)測模型進(jìn)行改進(jìn)，在一定程度上改善了預(yù)測效果。

麻雀搜索算法（Sparrow Search Algorithm，SSA）是根據(jù)麻雀覓食并躲避捕食者的行為而提出的群智能優(yōu)化算法，由于添加了偵察預(yù)警行為，其收斂速度很快。SSA在溫度預(yù)測、IGBT時(shí)間序列預(yù)測等方面的應(yīng)用取得了良好的預(yù)測效果[18-20]?；诖?，本文首先對比測試了SSA與灰狼優(yōu)化 （Grey Wolf Optimization，GWO） 算法、粒子群優(yōu)化（Particle Swarm Optimization，PSO）算法的性能差異，然后利用SSA優(yōu)化LSTM網(wǎng)絡(luò)，提出一種基于SSA-LSTM的瓦斯?jié)舛阮A(yù)測模型，采用實(shí)測數(shù)據(jù)進(jìn)行了預(yù)測驗(yàn)證。

1 基于SSA-LSTM的瓦斯?jié)舛阮A(yù)測模型

1.1 LSTM網(wǎng)絡(luò)模型

LSTM網(wǎng)絡(luò)是RNN的一種特殊實(shí)現(xiàn)，其主要改進(jìn)了RNN中的隱藏層，在隱藏層中增加了3個門控制單元控制自循環(huán)，解決了RNN不能捕獲長期依賴關(guān)系的問題。LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of long short-term memory LSTM network

1） 遺忘門使用Sigmoid激活函數(shù)將上一時(shí)刻的記憶細(xì)胞與當(dāng)前t時(shí)刻的輸入轉(zhuǎn)化為0～1的數(shù)值，0表示丟棄所有信息，1表示保留所有信息。該數(shù)值決定多少信息被保留。遺忘門ft計(jì)算公式為

式中：σ為Sigmoid函數(shù)；Wf為遺忘門的權(quán)重矩陣；ht-1為輸出神經(jīng)元；xt為當(dāng)前時(shí)刻的輸入神經(jīng)元；bf為遺忘門偏置項(xiàng)。

2） 輸入門有2個部分：第1部分是Sigmoid層，決定了更新記憶細(xì)胞的狀態(tài)；第2部分是tanh層，創(chuàng)建1個新的候選記憶細(xì)胞狀態(tài)。輸入門It計(jì)算公式為

式中：WI為輸入門權(quán)重矩陣；bI，bc分別為輸入門與細(xì)胞狀態(tài)的偏置項(xiàng)；為備選更新信息；tanh為激活函數(shù)；Wc為記憶細(xì)胞權(quán)重矩陣；Ct為記憶細(xì)胞狀態(tài)。

3） 輸出門決定單元狀態(tài)輸出值。先利用Sigmoid層確定哪部分被輸出，再通過tanh處理并將其與Sigmoid函數(shù)的輸出相乘。輸出門Ot計(jì)算公式為

式中：W0為輸出門權(quán)重矩陣；b0為輸出門偏置項(xiàng)。

1.2 SSA及性能測試

SSA是一種模擬自然界麻雀群體覓食和尋找最佳棲息地的群智能優(yōu)化算法，麻雀作為算法的主角，其只有1項(xiàng)屬性：位置，即表示其所尋覓食物的所在方位。對于每個麻雀個體，其可能存在以下3種狀態(tài)：① 充當(dāng)發(fā)現(xiàn)者，帶領(lǐng)種群尋覓食物。② 作為追隨者，追隨發(fā)現(xiàn)者覓食。③ 作為警戒者，具備警戒機(jī)制，發(fā)現(xiàn)危險(xiǎn)，放棄覓食。

發(fā)現(xiàn)者位置計(jì)算公式為

式中：為種群中第j代第i只麻雀在第d維的位置；α為（0,1]的隨機(jī)數(shù)；T為最大迭代次數(shù)；R2，S分別為預(yù)警值和安全閾值，R2∈[0,1]，S∈[0.5,1]；Γ為服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)數(shù);L為1×d的矩陣，矩陣內(nèi)元素均為1。

當(dāng)R2≥S時(shí)，部分麻雀發(fā)現(xiàn)捕食者，并向其他麻雀發(fā)出警告；當(dāng)R2＜S時(shí)，表示當(dāng)前環(huán)境周圍沒有捕食者，可繼續(xù)擴(kuò)大搜索范圍。

追隨者位置計(jì)算公式為

式中：為第j次迭代時(shí)麻雀在第d維的最劣位置；n為種群大??；為第j+1次迭代時(shí)麻雀在第d維的最優(yōu)位置；A+為1×d的矩陣，矩陣內(nèi)元素隨機(jī)賦值為1或-1。

當(dāng)i>n/2時(shí)，表明該追求者沒有獲得食物，存活率較低，需飛往其他區(qū)域覓食來獲取足夠能量。

警戒者位置計(jì)算公式為

式中：為當(dāng)前全局最優(yōu)位置；β為步長控制參數(shù)；Fi為第i只麻雀的適應(yīng)度；Fg和Fw分別為麻雀種群當(dāng)前最優(yōu)和最差適應(yīng)度；K為麻雀移動方向，其值為[-1,1]的隨機(jī)數(shù)；δ為接近0的常數(shù)。

當(dāng)Fi>Fg時(shí)，表示麻雀處于群體活動的邊緣地帶，易受到襲擊；當(dāng)Fi=Fg時(shí)，表示麻雀已經(jīng)感知到危險(xiǎn)，需盡快向其他麻雀靠攏，以減少被捕食的風(fēng)險(xiǎn)。

采用CEC2005函數(shù)集中的Quartic，Generalized，Kowalik's函數(shù)對SSA進(jìn)行性能測試，種群規(guī)模為30，最大迭代次數(shù)為500。采用GWO，PSO算法對比驗(yàn)證SSA在收斂速度、搜索精度及適應(yīng)能力等方面的優(yōu)勢。適應(yīng)度曲線對比如圖2所示?？煽闯觯跍y試函數(shù)Quartic、Kowalik's中，3種優(yōu)化算法最終都能夠收斂，其中SSA的收斂速度最快，GWO次之，PSO最慢；在Generalized函數(shù)中，仍是SSA的收斂速度最快，可看到SSA在尋優(yōu)精度和收斂速度方面均優(yōu)于GWO和PSO，證明了SSA的高效性、穩(wěn)定性。

圖2 適應(yīng)度曲線對比Fig.2 Comparison of fitness curves

1.3 SSA-LSTM瓦斯?jié)舛阮A(yù)測模型

采用SSA算法改進(jìn)LSTM網(wǎng)絡(luò)模型，構(gòu)建瓦斯?jié)舛阮A(yù)測模型，其流程如圖3所示。

圖3 基于SSA-LSTM的瓦斯?jié)舛阮A(yù)測模型Fig.3 Gas concentration prediction model based on sparrow search algorithm(SSA)-LSTM

1） 在數(shù)據(jù)預(yù)處理中，為解決由傳感器造成的數(shù)據(jù)缺失、異常波動等情況，先采用均值法對缺失數(shù)據(jù)進(jìn)行插值，再采用小波變換對異常波動數(shù)據(jù)進(jìn)行降噪處理，最后對得到的數(shù)據(jù)集進(jìn)行歸一化處理。歸一化公式為

式中：Yt′為歸一化后瓦斯?jié)舛葦?shù)據(jù)；Yt為歸一化前瓦斯?jié)舛葦?shù)據(jù)；Y為單個瓦斯?jié)舛葦?shù)據(jù)；minY，maxY分別為樣本數(shù)據(jù)中的最小值、最大值。

2） 構(gòu)建基于LSTM網(wǎng)絡(luò)模型的基礎(chǔ)框架，采用均方誤差（Mean Squared Error，MSE）作為模型預(yù)測評價(jià)指標(biāo)，MSE越小，模型預(yù)測的準(zhǔn)確度越高。MSE計(jì)算公式為

式中：N為測試集中的樣本個數(shù)；Z(m)為測試集的真實(shí)值；(m)為預(yù)測值。

3） 初始化SSA中的種群數(shù)量、最大迭代次數(shù)等相關(guān)參數(shù)，然后利用SSA的自適應(yīng)性依次對LSTM網(wǎng)絡(luò)超參數(shù)進(jìn)行尋優(yōu)，直到滿足條件，輸出最佳超參數(shù)組合。

4） 將得到的最佳超參數(shù)組合代入LSTM網(wǎng)絡(luò)模型中，完成最終預(yù)測并輸出預(yù)測結(jié)果。

2 模型參數(shù)尋優(yōu)

2.1 實(shí)測數(shù)據(jù)及處理

實(shí)測數(shù)據(jù)來自同煤大唐塔山煤礦綜放工作面瓦斯日常監(jiān)測數(shù)據(jù)，該礦主采石炭系3-5號煤層，平均煤厚為15.8 m，平均傾角為5°左右，煤層瓦斯含量為1.6～1.97 m3/t，設(shè)計(jì)生產(chǎn)能力為15 Mt/a，采用一井一面生產(chǎn)方式。工作面走向長度為2 500 m左右，傾斜長度為240 m左右，采用U型通風(fēng)，最大通風(fēng)量為3 500 m3/min，平均瓦斯涌出量為36.75 m3/min，呈典型的“低賦存，高涌出”的狀況。該工作面瓦斯涌出主要以采空區(qū)為主，占總涌出量的82%左右，采用頂板專用巷治理鄰近層和采空區(qū)瓦斯，回風(fēng)巷瓦斯體積分?jǐn)?shù)可控制在0.4%以下。瓦斯?jié)舛葦?shù)據(jù)每分鐘采集記錄1次，共獲取12 000條數(shù)據(jù)。為提高預(yù)測精度，對原始數(shù)據(jù)集進(jìn)行預(yù)處理。

由于實(shí)測數(shù)據(jù)容易受到復(fù)雜的井下環(huán)境影響，數(shù)據(jù)集存在異常及缺失現(xiàn)象，并包含一定噪聲，所以需要對數(shù)據(jù)集進(jìn)行預(yù)處理。由于瓦斯?jié)舛茸鳛闀r(shí)序數(shù)據(jù)在時(shí)間上有天然連續(xù)性，且一般情況下數(shù)據(jù)較平穩(wěn)，故采集的瓦斯?jié)舛葧r(shí)序數(shù)集中缺失和異常數(shù)據(jù)較少，于是利用缺失數(shù)據(jù)與異常數(shù)據(jù)前后間隔30 min數(shù)據(jù)的平均值進(jìn)行替換。

原始數(shù)據(jù)集中的噪聲會降低預(yù)測的準(zhǔn)確性，為保證數(shù)據(jù)的平滑性，采用小波閾值進(jìn)行降噪處理，主要步驟如下。

1） 選取sym8小波基、5層分解層對瓦斯?jié)舛葦?shù)據(jù)進(jìn)行分解[21-23]，對含噪信號進(jìn)行相應(yīng)層分解，然后對瓦斯?jié)舛葦?shù)據(jù)進(jìn)行小波變換，將原始數(shù)據(jù)集轉(zhuǎn)換為小波域，利用分解信號將其分解為不同頻率的子信號。

2） 選取合適閾值，保留信號的信息并去除噪聲。閾值的選取對降噪質(zhì)量有很大影響，若閾值過小，則去噪效果不理想；若閾值過大，容易導(dǎo)致信號失真。目前使用最多的是固定閾值：

式中：s為含噪信號中噪聲的方差；a為信號的采樣長度；median（·）為中值函數(shù)；BJ,k為小波系數(shù)，J，k為分解層數(shù)。

3） 對小波系數(shù)進(jìn)行閾值處理，根據(jù)選取的閾值類型和大小，將小于閾值的系數(shù)置零。

4） 通過逆小波變換將處理過的小波系數(shù)轉(zhuǎn)換回時(shí)域，得到最終降噪后的瓦斯?jié)舛葧r(shí)間序列數(shù)據(jù)。預(yù)處理前后的數(shù)據(jù)對比如圖4所示。

2.2 SSA參數(shù)確定

將構(gòu)建好的LSTM網(wǎng)絡(luò)基本框架輸入到SSA中，SSA最小搜索維度為5，最大搜索維度為8；麻雀種群數(shù)量為6，最大迭代次數(shù)為8，優(yōu)化參數(shù)個數(shù)為3；將MSE作為適應(yīng)度函數(shù)F的值。尋優(yōu)結(jié)果SSA搜索維度為6；麻雀種群數(shù)量為5，最大迭代次數(shù)為3；利用SSA自適應(yīng)性覓食行為找到的最優(yōu)位置為[0.008 9，27，0.047 9]。

2.3 LSTM網(wǎng)絡(luò)模型超參數(shù)尋優(yōu)

根據(jù)經(jīng)驗(yàn)值確定初始超參數(shù)，選取MSE作為損失函數(shù)評價(jià)值，利用Matlab軟件得到不同算法優(yōu)化后LSTM網(wǎng)絡(luò)模型的訓(xùn)練損失曲線，如圖5所示?？煽闯鲈诘?00次時(shí)所有曲線都已接近平穩(wěn)，所以接下來調(diào)整超參數(shù)時(shí)將模型訓(xùn)練的迭代次數(shù)設(shè)置為100。

圖5 不同模型訓(xùn)練損失曲線Fig.5 Training loss curves of different models

選取模型的均方根誤差（Root Mean Squared Error，RMSE）、平均絕對誤差（Mean Absolute Error，MAE）作為評價(jià)指標(biāo)，分析不同學(xué)習(xí)率、隱藏層節(jié)點(diǎn)個數(shù)、正則化參數(shù)對模型預(yù)測效果的影響。

1） 學(xué)習(xí)率控制了權(quán)重更新的步長，學(xué)習(xí)率的取值一般控制在0.001～0.1。學(xué)習(xí)率取值過小，會導(dǎo)致模型過擬合；學(xué)習(xí)率取值過大，會使損失函數(shù)震蕩不收斂。學(xué)習(xí)率對模型預(yù)測效果的影響如圖6所示。

圖6 學(xué)習(xí)率對模型預(yù)測效果的影響Fig.6 The influence of learning rate on model prediction performance

2） 隱藏層節(jié)點(diǎn)個數(shù)決定了LSTM網(wǎng)絡(luò)模型的復(fù)雜度和表達(dá)能力。節(jié)點(diǎn)數(shù)過少，會導(dǎo)致無法滿足訓(xùn)練要求；節(jié)點(diǎn)數(shù)過多，會使得模型結(jié)構(gòu)過于復(fù)雜，導(dǎo)致訓(xùn)練時(shí)間過長。通過SSA搜索最佳的隱藏層節(jié)點(diǎn)個數(shù)，來提高模型的預(yù)測準(zhǔn)確性。隱藏層節(jié)點(diǎn)個數(shù)對模型預(yù)測效果的影響如圖7所示。

圖7 隱藏層節(jié)點(diǎn)個數(shù)對模型預(yù)測效果的影響Fig.7 The influence of the number of hidden layer nodes on model prediction performance

3）正則化參數(shù)可降低LSTM網(wǎng)絡(luò)模型的復(fù)雜度，提高模型的泛化能力，防止出現(xiàn)過擬合現(xiàn)象。正則化參數(shù)對模型預(yù)測效果的影響如圖8所示。

圖8 正則化參數(shù)對模型預(yù)測效果的影響Fig.8 The influence of regularization parameters on modelprediction performance

最終確定LSTM網(wǎng)絡(luò)模型的超參數(shù)組合見表1。

表1 不同預(yù)測模型超參數(shù)選擇Table 1 Selection of hyperparameters for different prediction models

3 預(yù)測結(jié)果分析

3.1 SSA-LSTM模型預(yù)測結(jié)果

將預(yù)處理后的瓦斯?jié)舛葦?shù)據(jù)集根據(jù)常用的劃分原則，按8∶2的比例劃分為訓(xùn)練集和測試集。同時(shí)，把利用SSA尋優(yōu)得到的最佳超參數(shù)組合輸入到LSTM網(wǎng)絡(luò)預(yù)測模型中，對未來采煤工作面的瓦斯?jié)舛冗M(jìn)行預(yù)測。為了驗(yàn)證采用SSA對傳統(tǒng)LSTM網(wǎng)絡(luò)模型超參數(shù)優(yōu)化后預(yù)測精確度的提升，將傳統(tǒng)LSTM網(wǎng)絡(luò)模型預(yù)測結(jié)果和SSA-LSTM模型預(yù)測結(jié)果進(jìn)行對比分析，結(jié)果如圖9所示。

圖9 LSTM網(wǎng)絡(luò)和SSA-LSTM預(yù)測結(jié)果對比Fig.9 Comparison of prediction results between LSTM network and SSA-LSTM

由圖9可知，經(jīng)SSA優(yōu)化后的LSTM網(wǎng)絡(luò)模型預(yù)測精度有很大提高，數(shù)據(jù)的擬合效果也較好，與傳統(tǒng)的LSTM網(wǎng)絡(luò)預(yù)測模型相比，RMSE減小了77.8%，MAE減小了83.9%，證明了基于SSA-LSTM的瓦斯?jié)舛阮A(yù)測模型在提高預(yù)測精度方面的有效性。利用SSA算法對LSTM網(wǎng)絡(luò)模型超參尋優(yōu)避免了模型易陷入數(shù)據(jù)過擬合的弊端，提高了模型預(yù)測性能。

3.2 不同模型預(yù)測結(jié)果對比分析

為了驗(yàn)證本文所提瓦斯?jié)舛阮A(yù)測模型的高效性，同時(shí)避免預(yù)測模型的單一性及片面性，采用PSO-LSTM、GWO-LSTM與SSA-LSTM模型的預(yù)測結(jié)果進(jìn)行對比分析，各模型預(yù)測結(jié)果對比如圖10（a）所示。將測試集中波動較大的部分?jǐn)?shù)據(jù)點(diǎn)（樣本序號為1 600—2 400）的預(yù)測結(jié)果局部放大，可更加清晰地展示各模型預(yù)測性能差異，如圖10（b）所示。

圖10 不同模型預(yù)測結(jié)果對比Fig.10 Comparison of prediction results of different models

從圖10可以看出，SSA-LSTM模型預(yù)測效果最佳，預(yù)測值更加接近真實(shí)值。GWO-LSTM模型次之，接下來是PSO-LSTM，進(jìn)一步驗(yàn)證了SSA優(yōu)化LSTM網(wǎng)絡(luò)的瓦斯?jié)舛阮A(yù)測模型具有更高的預(yù)測準(zhǔn)確性、穩(wěn)定性。

采用RMSE、MAE、運(yùn)行時(shí)間、R2對PSO-LSTM、GWO-LSTM、SSA-LSTM模型的預(yù)測性能進(jìn)行對比，結(jié)果見表2。由表2可知，SSA-LSTM模型的RMSE較PSO-LSTM，GWO-LSTM模型分別減少了58.9%，69.7%；SSA-LSTM模型的MAE較PSO-LSTM，GWO-LSTM模型分別減少了37.8%，70%；綜合R2、運(yùn)行時(shí)間等評價(jià)指標(biāo)來看，SSA-LSTM模型的預(yù)測精度最高，運(yùn)行時(shí)間相對較短，取得了良好的預(yù)測效果。

表2 不同模型預(yù)測結(jié)果評價(jià)Table 2 Evaluation of prediction results of different models

4 結(jié)論

1） 采用3種不同的測試函數(shù)對SSA進(jìn)行了性能測試，同時(shí)與PSO算法和GWO算法進(jìn)行了對比，結(jié)果驗(yàn)證了SSA在尋優(yōu)精度、收斂速度和適應(yīng)能力等方面的優(yōu)勢。

2） 針對高度動態(tài)和非線性瓦斯?jié)舛阮A(yù)測問題，本文提出一種利用SSA對LSTM網(wǎng)絡(luò)結(jié)構(gòu)超參數(shù)進(jìn)行優(yōu)化的方法，該方法避免了預(yù)測模型陷入局部最優(yōu)情況。相較于傳統(tǒng)LSTM網(wǎng)絡(luò)模型，SSA-LSTM模型預(yù)測精度更高，預(yù)測效果更好。

3） 對比LSTM，PSO-LSTM，GWO-LSTM與SSALSTM模型的預(yù)測性能，得出SSA-LSTM模型的預(yù)測效果最好，與其他模型相比，RMSE減少了58.9%～77.8%，MAE減少了37.8～83.9%。SSA-LSTM模型相較于其他預(yù)測模型擁有更高的預(yù)測精度，可為煤礦瓦斯災(zāi)害防治提供有效決策支持。