一種GRU的瓦斯?jié)舛阮A(yù)測改進(jìn)模型

常 亮，張 恒，楊雪欣

(黑龍江科技大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，哈爾濱 150022)

0 引 言

隨著應(yīng)用領(lǐng)域?qū)︻A(yù)測精度要求的不斷提高，支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)等方法廣泛應(yīng)用瓦斯?jié)舛阮A(yù)測，瓦斯?jié)舛阮A(yù)測可以采用時(shí)間序列預(yù)測[1]。學(xué)者們利用SVM算法擬合非線性關(guān)系、泛化能力強(qiáng)的優(yōu)點(diǎn)[2]，提出基于支持向量機(jī)算法的瓦斯?jié)舛阮A(yù)測模型[3]，將多變量預(yù)測應(yīng)用到瓦斯?jié)舛阮A(yù)測中。隨后優(yōu)化算法和支持向量機(jī)相結(jié)合，多種瓦斯涌出量預(yù)測優(yōu)化模型[4-6]的提出，進(jìn)一步提高了瓦斯?jié)舛阮A(yù)測的準(zhǔn)確度。以BP神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，引入灰色預(yù)測模型[7]、熵空間原理、動態(tài)神經(jīng)網(wǎng)絡(luò)[8]等優(yōu)化算法，在機(jī)器學(xué)習(xí)模型的基礎(chǔ)上進(jìn)一步提高了預(yù)測精度。

隨著SVM和ANN研究的深入，發(fā)現(xiàn)SVM和ANN在訓(xùn)練過程中容易發(fā)生過擬合。此外，SVM和前饋神經(jīng)網(wǎng)絡(luò)在預(yù)測未來值的時(shí)候依賴于滑動窗口的大小[8]，當(dāng)窗口過小容易受最近輸入數(shù)據(jù)的影響，而忽略歷史數(shù)據(jù)中的信息。近年來，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network，RNN)技術(shù)在時(shí)序預(yù)測方面不斷取得技術(shù)突破。RNN隱藏層的輸入由當(dāng)前時(shí)刻的輸入和上一個(gè)時(shí)刻狀態(tài)組成[9]，使神經(jīng)網(wǎng)絡(luò)具有記憶功能。針對瓦斯?jié)舛葧r(shí)間序列數(shù)據(jù)噪聲影響及長期記憶的特性，筆者提出一種基于改進(jìn)GRU的瓦斯?jié)舛阮A(yù)測模型(S-GRU)，引入堆棧式降噪自編碼器(Stacked denoising auto encoder，SDAE)改進(jìn)GRU輸入層，為預(yù)測模型增加特征提取層，提高模型魯棒性和精確度。

1 SDAE與GRU

1.1 堆棧式降噪自編碼器

自編碼器(Auto-encoder，AE)是神經(jīng)網(wǎng)絡(luò)的一種，經(jīng)過訓(xùn)練后能嘗試將輸入復(fù)制到輸出。自編碼器為三層網(wǎng)絡(luò)結(jié)構(gòu)，分別是輸入層、輸出層和中間層，其中，輸入層和輸出層的神經(jīng)元數(shù)量相等，中間層的神經(jīng)元的數(shù)量少于輸入層或輸出層的神經(jīng)元數(shù)量。自編碼器使用自監(jiān)督的算法，不需要對訓(xùn)練樣本進(jìn)行標(biāo)記，標(biāo)簽產(chǎn)生自輸入數(shù)據(jù)，其特殊的網(wǎng)絡(luò)結(jié)構(gòu)很容易對指定類的輸入訓(xùn)練出一種特定的編碼器，而不需要完成其他新的工作。

樣本x經(jīng)過編碼器函數(shù)f得到編碼后的特征y，x和y滿足關(guān)系式

y=f(x)=s(wx+b)，

式中：s——激活函數(shù)；

w——權(quán)重；

b——偏置項(xiàng)。

將獲得的特征y轉(zhuǎn)化為輸入x的一種重構(gòu)表示為

由于AE僅能保留原始信息，不能從數(shù)據(jù)樣本中提取有效特征，SDAE將多個(gè)降噪自編碼器(DAE)堆疊在一起形成一個(gè)深度的架構(gòu)。DAE在輸入的訓(xùn)練數(shù)據(jù)中加入噪聲，并使自編碼器學(xué)會去除這種噪聲[10]，迫使編碼器學(xué)習(xí)提取最重要的特征并學(xué)習(xí)輸入數(shù)據(jù)中更加魯棒的表征。SDAE作為一個(gè)特征提取器，不具有分類功能，為使SDAE具有分類功能，需在其頂層添加支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等分類器。

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)變體

長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)，是RNN的變種網(wǎng)絡(luò)，不僅能完成人為延長時(shí)間任務(wù)問題，還彌補(bǔ)了RNN容易出現(xiàn)梯度消失的不足[11]。但LSTM需要輸入門、遺忘門、輸出門三個(gè)門結(jié)構(gòu)完成數(shù)據(jù)預(yù)測，待解參數(shù)的增加使時(shí)間和資源消耗也會較多。門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)(GRU)，是在LSTM基礎(chǔ)上發(fā)展出來的變種模型。GRU模型中有兩個(gè)門：分別是更新門和重置門，GRU結(jié)構(gòu)如圖1所示，其中，zr和rt分別表示更新門和重置門。更新門用于控制前一時(shí)刻的狀態(tài)信息ht-1被代入到當(dāng)前狀態(tài)中的程度，更新門的值越大說明前一個(gè)時(shí)刻的狀態(tài)信息代入越多。重置門控制前一狀態(tài)有多少信息被寫入到當(dāng)前的候選集ht上，重置門越小，前一狀態(tài)的信息被寫入的越少。

圖1 GRU結(jié)構(gòu)原理Fig. 1 Schematic of GRU structure

LSTM和GRU網(wǎng)絡(luò)為RNN模型增加了記憶功能，使歷史信息能夠保存并為下一步預(yù)測提供必要信息。時(shí)間序列中的關(guān)鍵信息通過網(wǎng)絡(luò)單元中的門結(jié)構(gòu)和記憶模塊進(jìn)行數(shù)據(jù)更新和傳遞，LSTM和GRU對歷史信息的學(xué)習(xí)能力、數(shù)據(jù)更新能力更強(qiáng)，可以將較遠(yuǎn)距離的上下文信息應(yīng)用在當(dāng)前或者未來時(shí)刻的數(shù)據(jù)預(yù)測任務(wù)上。與LSTM相比，GRU簡單的門結(jié)構(gòu)意味著網(wǎng)絡(luò)中的參數(shù)更少，訓(xùn)練和預(yù)測過程對硬件資源、時(shí)間資源的消耗更少，GRU簡單的結(jié)構(gòu)與較好的時(shí)序依賴捕捉能力，能更好地處理時(shí)序預(yù)測問題。

2 SDAE的改進(jìn)模型

經(jīng)過對SDAE與循環(huán)神經(jīng)網(wǎng)絡(luò)的相關(guān)研究，搭建了一個(gè)基于改進(jìn)門控神經(jīng)網(wǎng)絡(luò)的瓦斯?jié)舛阮A(yù)測S-GRU模型。該模型為自上而下的組合模型，將收集來的瓦斯?jié)舛葦?shù)據(jù)以向量的形式，輸入到堆棧降噪自編碼器，而后經(jīng)過自編碼器特征提取后輸入到GRU網(wǎng)絡(luò)結(jié)構(gòu)。由于堆棧降噪自編碼器具有較好的特征提取能力，并且降噪自編碼器本身具有較強(qiáng)的魯棒性，可以有效提升模型整體魯棒性。該模型未使用傳統(tǒng)的單一循環(huán)神經(jīng)網(wǎng)絡(luò)，為了避免由于數(shù)據(jù)樣本的數(shù)量影響實(shí)驗(yàn)結(jié)果，采用雙層GRU網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測瓦斯?jié)舛?。具體模型算法流程如圖2所示。

圖2 S-GRU模型流程Fig. 2 Flow of S-GRU model

由圖2可見，提取瓦斯?jié)舛仍紨?shù)據(jù)，將其轉(zhuǎn)化為向量

X=(x1,x2,…,xn),n∈N，

式中：xn——時(shí)間序列；

N——樣本個(gè)數(shù)。

數(shù)據(jù)預(yù)處理。將各個(gè)指標(biāo)的監(jiān)測數(shù)據(jù)進(jìn)行歸一化處理，使數(shù)據(jù)不受單位限制，加權(quán)比較不同單位或量級的指標(biāo)，提取歸一化后的數(shù)據(jù)特征輸入到SDAE網(wǎng)絡(luò)中。文中的模型數(shù)據(jù)預(yù)處理使用的是最大最小歸一化，將原始數(shù)據(jù)線性化的方式轉(zhuǎn)換為閉區(qū)間[0,1]內(nèi)，最大最小歸一化公式為

式中：xmax——樣本數(shù)據(jù)的最大值；

xmin——樣本數(shù)據(jù)的最小值。

按照式(1)得到歸一化后的數(shù)據(jù)集

Xs={x1′,x2′,…,xn′},n∈N,x′∈[0,1]。

編碼器特征提取。由2個(gè)DAE堆疊組成SDAE，兩個(gè)組成部分分別作用為壓縮(D1)與還原(D2)。在訓(xùn)練階段采用逐層訓(xùn)練的方式，當(dāng)?shù)趇層的訓(xùn)練完畢后，該層的網(wǎng)絡(luò)權(quán)重被固定，并輸出此層的編碼ht作為下一層i+1層的輸入，繼續(xù)訓(xùn)練為

hi=Di(X′),hi+1=Di+1(hi)，

式中：D——降噪自編碼器；

ht——每層輸出編碼。

通過DAE編解碼過程，獲得更有效的特征數(shù)據(jù)，SDAE本身無法進(jìn)行濃度預(yù)測，將它提取的特征輸入到神經(jīng)網(wǎng)絡(luò)中，GRU神經(jīng)網(wǎng)絡(luò)的輸入為

F={h1,h2,…,hn},n∈N。

GRU神經(jīng)網(wǎng)絡(luò)預(yù)測。文中所用GRU神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)共有四層，除了輸入和輸出層外，隱含層為兩個(gè)GRU結(jié)構(gòu)堆疊而成，為了能更好獲得結(jié)構(gòu)特征的關(guān)聯(lián)性，輸入輸出層選擇為Dense層。循環(huán)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)為Dense層+Dropout層+GRU層+GRU層的結(jié)構(gòu)。Dense層+Dropout層的組合，分別在GRU層的前后。

由圖2可見，預(yù)測模型為

Y=G(G(F))，

Y={y1,y2,…,yn}，

F={h1,h2,…,hn},n∈N，

式中：Y——模型預(yù)測結(jié)果集合；

F——各層輸出編碼集合。

3 結(jié)果與分析

3.1 數(shù)據(jù)和環(huán)境

實(shí)驗(yàn)數(shù)據(jù)來自遼寧省某煤礦井下環(huán)境監(jiān)測傳感器的實(shí)時(shí)監(jiān)測數(shù)據(jù)，監(jiān)測指標(biāo)包括瓦斯?jié)舛?、一氧化碳濃度、風(fēng)速、粉塵、溫度，實(shí)驗(yàn)數(shù)據(jù)是回采工作面東二1502監(jiān)測點(diǎn)和在2018年8月份的監(jiān)測數(shù)據(jù)。實(shí)驗(yàn)用數(shù)據(jù)集的取值范圍為，瓦斯體積分?jǐn)?shù)為0～0.85%、一氧化碳體積分?jǐn)?shù)為0～2.4×10-7、風(fēng)速0～15 m/s、粉塵質(zhì)量濃度0.1～5.0 mg/m3、溫度0～50 ℃。

模型驗(yàn)證的環(huán)境使用TensorFlow+Keras框架，Python 3.5開發(fā)語言，系統(tǒng)使用Ubuntu，搭配多個(gè)Python庫函數(shù)進(jìn)行代碼實(shí)現(xiàn)和結(jié)果分析。

3.2 評價(jià)指標(biāo)和對比算法

(1)評價(jià)指標(biāo)：選取er和em作為算法的性能衡量標(biāo)準(zhǔn)。

(2)對比模型：為驗(yàn)證模型的可行性，通過對比實(shí)驗(yàn)來證明改進(jìn)模型的預(yù)測精準(zhǔn)度，對比分析GRU、LSTM等非組合模型與S-RNN等組合模型。

3.3 實(shí)驗(yàn)結(jié)果對比

使用插值法和最大-最小化方法進(jìn)行數(shù)據(jù)預(yù)處理后，利用新的數(shù)據(jù)集構(gòu)造時(shí)序預(yù)測數(shù)據(jù)集，建立瓦斯?jié)舛阮A(yù)測模型。其中，將時(shí)序預(yù)測數(shù)據(jù)集的80%作為模型訓(xùn)練樣本集，數(shù)據(jù)集的20%作為驗(yàn)證數(shù)據(jù)樣本集。單一對比模型與S-GRU模型的預(yù)測結(jié)果對比如圖3所示。

從圖3可以看出，S-GRU模型在RMSE評價(jià)指標(biāo)瓦斯?jié)舛阮A(yù)測性能方面表現(xiàn)出來的性能優(yōu)于對比原生模型。S-GRU模型的RMSE平均值為0.05，對比模型中最優(yōu)值是GRU網(wǎng)絡(luò)的0.077。

圖3 單一模型預(yù)測結(jié)果Fig. 3 Single model prediction results

設(shè)置S-LSTM、S-RNN組合模型作為對比模型，RMSE對比結(jié)果如圖4所示。由圖4可見，對比S-GRU模型的預(yù)測結(jié)果比S-LSTM提高約6%。

通過實(shí)驗(yàn)為對比每日的em值，對比模型與S-GRU模型在各日監(jiān)測數(shù)據(jù)上預(yù)測結(jié)果em指標(biāo)值如表1所示。通過對比7組數(shù)據(jù)集上各模型的em值，S-GRU模型的em值均低于其它模型。

圖4 組合模型預(yù)測結(jié)果Fig. 4 Combined model prediction results

表1 模型在不同數(shù)據(jù)集上的em

通過對比模型的仿真結(jié)果，所提出的S-GRU模型在瓦斯?jié)舛阮A(yù)測性能和準(zhǔn)確度方面較對比模型均有較明顯的提升。

4 結(jié)束語

使用堆棧式自編碼器SDAE作為預(yù)測模型的特征提取器，將SDAE連接到門控循環(huán)網(wǎng)絡(luò)GRU的隱藏層，以煤礦實(shí)際生產(chǎn)過程中的環(huán)境監(jiān)測數(shù)據(jù)建立了S-GRU預(yù)測模型。在適當(dāng)?shù)膶?shí)驗(yàn)參數(shù)配置后，與長短時(shí)序神經(jīng)網(wǎng)絡(luò)LSTM、門控循環(huán)神經(jīng)網(wǎng)絡(luò)GRU等預(yù)測模型相比，在er、em等評價(jià)指標(biāo)上均有所提高。同時(shí)，由于GRU中的門單元結(jié)構(gòu)具有記憶功能，且循環(huán)單元比長短時(shí)序神經(jīng)網(wǎng)絡(luò)的單元減少了門結(jié)構(gòu)，在訓(xùn)練和預(yù)測方面減少了參數(shù)的運(yùn)算，能夠提高預(yù)測的準(zhǔn)確性，降低預(yù)測結(jié)果的誤差。