EMD-LSTM算法及其在PM2.5中的預(yù)測

劉 銘， 魏 萊

(長春工業(yè)大學(xué) 數(shù)學(xué)與統(tǒng)計學(xué)院， 吉林 長春 130012)

0 引 言

近幾年，我國城市中出現(xiàn)霧霾天氣的頻率逐漸增多，細(xì)微顆粒物(Fine Particulate Matter， PM2.5)這個名詞慢慢進(jìn)入到我們的生活，我們的生活也逐漸與空氣質(zhì)量息息相關(guān)。大氣中有很多有害物質(zhì)隨著空氣傳播，嚴(yán)重影響人們的正常生活，粒子徑小的肉眼觀察不出來，也成為生活中的一大隱患。與大顆粒的污染物相比較，PM2.5粒子徑小、活性強(qiáng)、經(jīng)常附帶不良物質(zhì)，而且會在大氣環(huán)境中滯留，短時間內(nèi)擴(kuò)散，所以高濃度的PM2.5會對人們正常生活產(chǎn)生極大的負(fù)面影響。如何有效保證人體身體健康，空氣環(huán)境治理具有非比尋常的意義。由于空氣中的PM2.5濃度受很多因素的影響，存在不規(guī)則性波動和不確定性，很難對其濃度進(jìn)行準(zhǔn)確地預(yù)測。

最近幾年，國內(nèi)外對PM2.5濃度預(yù)測進(jìn)行了許多研究。董小剛等[1]使用EMD算法對PM2.5的發(fā)展趨勢進(jìn)行了分析;李嵩等[2]利用主成分分析法對空氣PM2.5濃度的各影響因素進(jìn)行了分析;Chaozhong Guo等[3]提出了裂紋轉(zhuǎn)子動態(tài)特性理論,并運(yùn)用經(jīng)驗?zāi)B(tài)分解(Empirical Mode Decomposition， EMD)的裂紋檢測方法通過實(shí)驗研究驗證了該理論結(jié)果;劉文博等[4]針對印第安皮瑪族成年女性糖尿病數(shù)據(jù)集進(jìn)行分類，運(yùn)用多種分類算法在多種指標(biāo)的領(lǐng)域進(jìn)行對比，在預(yù)測方面找到了該數(shù)據(jù)相對較優(yōu)的方法；Zhanglei Jiang等[5]通過相關(guān)系數(shù)和峰度值的大小選擇固有模態(tài)函數(shù)(Intrinsic Mode Function， IMF)，去除高頻率噪聲，提取非線性特征，從而獲得軸承的故障特征頻率，證明了該方法的有效性和可行性;Manzar Mahmud等[6]提出了一種自適應(yīng)EMD技術(shù)，用于IM中的轉(zhuǎn)子條故障檢測。由于特征故障頻率將隨負(fù)載和速度相關(guān)的工作條件而變化，因此，所提出的自適應(yīng)EMD技術(shù)會將不同頻帶上的故障特征與IMF邊帶相關(guān)聯(lián)。自適應(yīng)EMD技術(shù)使用第一個IMF檢測故障類型，并使用第二個IMF作為預(yù)測故障嚴(yán)重性的指標(biāo)。它可以克服與速度和負(fù)載振蕩有關(guān)的邊帶頻率靈敏度問題。所提出的自適應(yīng)EMD技術(shù)的有效性通過在不同電機(jī)條件下的實(shí)驗測試得到驗證;Jianfeng Zhang等[7]開發(fā)了一種基于長短期記憶(Long Short-Term Memory， LSTM)的新時間序列模型，以替代計算量大的物理模型。所提出的模型由一個LSTM層和一個完全連接層組成，該層在其頂部具有一個在第一個LSTM層中應(yīng)用的輟學(xué)方法。文中使用14 a(2000-2013年)的數(shù)據(jù)，在西北干旱地區(qū)河套灌區(qū)的5個子區(qū)域中應(yīng)用和評估了該模型，證明所提出的模型可以很好地保存和學(xué)習(xí)以前的信息。此外，還討論了輟學(xué)方法的有效性,以及所提出模型的體系結(jié)構(gòu)。實(shí)驗結(jié)果表明，輟學(xué)方法可以顯著防止過度擬合。此外，通過對擬議模型的R2得分與Double-LSTM模型(R2得分在0.170～0.864之間)進(jìn)行比較，進(jìn)一步證明了所提議模型的體系結(jié)構(gòu)是合理的，并且可以增強(qiáng)對時序數(shù)據(jù)的學(xué)習(xí)能力;Zihan Chang等[8]提出了一種基于小波變換和Adam優(yōu)化的LSTM神經(jīng)網(wǎng)絡(luò)的混合模型，稱為WT-Adam-LSTM。小波變換后，可以分解電價的非線性序列，并且處理后的數(shù)據(jù)將具有更穩(wěn)定的方差，Adam和LSTM的組合可以準(zhǔn)確地捕獲電價的適當(dāng)行為，這項研究提出了四個案例來驗證混合模型的性能，并采用澳大利亞和法國新南威爾士州的數(shù)據(jù)集說明混合模型的卓越性;Xu Liu等[9]提出基于標(biāo)準(zhǔn)LSTM的兩種新方法，它們不僅可以利用多功能輸入和多時間步長輸出的優(yōu)勢來提高一次性預(yù)測可用自行車的準(zhǔn)確性步數(shù)，還可以預(yù)測多時間步數(shù)中的自行車數(shù)量，這些方法將幫助自行車共享機(jī)構(gòu)做出更好的決策，以將其自行車有效地分配給每個泊塢窗，實(shí)驗結(jié)果證實(shí)，我們的多特征和多時間步長模型優(yōu)于標(biāo)準(zhǔn)LSTM模型;Qian Fei等[10]提出LSTM網(wǎng)絡(luò)直接用于有毒氣體擴(kuò)散的預(yù)測，并使用Project Prairie Grass數(shù)據(jù)集進(jìn)行實(shí)驗，與高斯擴(kuò)散模型、支持向量機(jī)(SVM)模型和反向傳播(BP)網(wǎng)絡(luò)模型相比，深度學(xué)習(xí)的LSTM模型具有更高的預(yù)測精度(特別是對于高濃度值的預(yù)測)，同時避免了傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)模型中出現(xiàn)的負(fù)濃度值和過度擬合問題;Haoqiang Shi等[11]提出采用雙隱藏層LSTM預(yù)測陀螺儀的溫度數(shù)據(jù)(包括單點(diǎn)和周期預(yù)測)，并提出了預(yù)測效果的評估指標(biāo)，通過BP網(wǎng)絡(luò)，支持向量機(jī)(SVM)和LSTM網(wǎng)絡(luò)，使用預(yù)估值檢測陀螺儀的非正常變化，仿真計算與陀螺儀共同結(jié)合測算測量數(shù)據(jù)，并且可以使用LSTM網(wǎng)絡(luò)預(yù)測陀螺儀的溫度。

文中采用EMD算法對天津市2017-2019年采集的空氣質(zhì)量數(shù)據(jù)進(jìn)行分解，分解后的數(shù)據(jù)作為深度學(xué)習(xí)LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)[12]的輸入，從而得到較好的一種PM2.5預(yù)測算法。

1 EMD分解

2000年以來,有很多突破性的頻譜分析方法，EMD[13]方法是大家都認(rèn)可的一種新型方法，此方法主要描述數(shù)據(jù)本身不需要安插其他基函數(shù)，只需要按照數(shù)據(jù)本身的時間尺度特征進(jìn)行信號方面的分解。這也正是它與其他方法的差異所在。正是由于EMD擁有這樣獨(dú)特的性質(zhì)，所以在理論層面上各類信號都可以用EMD處理，尤其是在處理非線性數(shù)據(jù)上，EMD擁有很明顯的優(yōu)勢，優(yōu)勝于其他方法，并且具備很高的信噪比。自從提出EMD方法之后，各個領(lǐng)域都廣泛應(yīng)用其處理一些棘手的問題數(shù)據(jù)，比如空氣質(zhì)量、海洋數(shù)據(jù)、天體觀測數(shù)據(jù)資料分析、地震記錄數(shù)據(jù)分析。EMD的主要工作就是將數(shù)據(jù)分解成不同尺度的各個分量，也稱其為IMF，通過IMF可以更加直觀地觀測數(shù)據(jù)。

EMD本質(zhì)是經(jīng)過特征的時間尺度識別信號中所含有的所有振動模態(tài)。在EMD分解中，每個IMF的狀態(tài)都具有一定的相同性，每個IMF都具有信號的某一時間尺度特征。相比于其他的信號分析方法，EMD分解具有很大可行優(yōu)勢，它的基函數(shù)是由自身得到的，所以能在各類的信號處理方面游刃有余，沒有特別嚴(yán)格的限定，且具有普遍性。

EMD的優(yōu)勢如下：

1)EMD分解的真正運(yùn)行是將原數(shù)據(jù)分解成頻率不同的各個數(shù)據(jù)，由高到低依次得到。對于各個種類的信號來說，高頻數(shù)據(jù)往往代表著此數(shù)據(jù)的主要特征，所以EMD是一種將高頻分量先行提出的一種方法，從另一角度說也是一種新的主成分分析法。

2)EMD能根據(jù)分解過程中的信號特征自適應(yīng)發(fā)生改變，所以EMD方法具有自適應(yīng)時序分析特征。

①找到信號x(t)所有的極值點(diǎn)；

②用擬合出上下極值點(diǎn)的包絡(luò)線，求得上下包絡(luò)線的平均值m(t)，得到h(t)=x(t)-m(t)；

③判斷h(t)是否為IMF；

④如果不是，則用h(t)代替x(t)，重復(fù)步驟①～③，直到h(t)滿足判斷依據(jù)。此時h(t)就是需要提取的IMFCk(t)；

⑤每經(jīng)過運(yùn)算得到一階IMF，就從原信號中去除它，之前的步驟一直重復(fù)運(yùn)算，直到信號最后剩余部分rn就只是單調(diào)序列或者常值序列。

經(jīng)過EMD方法分解將原始信號x(t)分解成一系列IMF，以及rn的線性疊加

(1)

2 基于LSTM的PM2.5預(yù)測算法

2.1 RNN神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network， RNN)是一種處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)[14]，常用于各種時序數(shù)據(jù)。與其他前向神經(jīng)網(wǎng)絡(luò)不同的是，RNN可以儲存一種上文和下文的形態(tài)，可以在上文和下文窗口中學(xué)習(xí)、表達(dá)、儲備此列數(shù)據(jù)序列信息的能力。RNN在很多應(yīng)用場景有廣泛的應(yīng)用，比如若干個單詞組成的段落，若干幀圖像組成的視頻段落，若干個段落組成的音頻。RNN標(biāo)準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

RNN輸入的集合是{x0,x1,…,xt,xt+1,…}，輸出的集合是{y0,y1,…,yt,yt+1,…}，隱藏層的輸出為{s0,s1,…,st,st+1,…}。不難看出，RNN之所以能夠處理傳統(tǒng)神經(jīng)網(wǎng)絡(luò)處理不了的序列，與它的結(jié)構(gòu)分不開關(guān)系，它不光能從輸入層傳遞到輸出層，還能在每個單元的隱層間傳遞信息，具體步驟如下:

st=σ(Uxt+Wst-1+bi),

(2)

ot=Vht+bo，

(3)

yt=softmax(ot)，

(4)

式中：U----輸入層權(quán)重參數(shù);

W----隱藏層權(quán)重參數(shù);

V----輸出層權(quán)重參數(shù);

bi----輸入層偏置參數(shù);

bo----輸出層偏置參數(shù);

σ----激活函數(shù)，一般情況下會選擇tanh函數(shù)或者ReLu函數(shù)。因為tanh函數(shù)的梯度最大只能是1，大部分狀態(tài)下都是接近0或者飽和狀態(tài)，每當(dāng)求導(dǎo)的矩陣存在一些元素接近0，那么一連乘會讓梯度很快就消失了，稱為梯度消失，如果換成ReLu函數(shù)，其中特征值如果大于1，那么連乘后的結(jié)果被稱為梯度爆炸，這兩點(diǎn)是RNN致命的缺點(diǎn)。

2.2 LSTM神經(jīng)網(wǎng)絡(luò)

RNN是一種新型神經(jīng)網(wǎng)絡(luò)，與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)存在本質(zhì)上的不同，它是一種跨越和進(jìn)步，但在實(shí)際中，其結(jié)果往往差強(qiáng)人意。LSTM[15-16]是長短期記憶網(wǎng)絡(luò)，在結(jié)構(gòu)上LSTM與RNN有很高的相似，都連接了隱藏層，不同的是LSTM網(wǎng)絡(luò)在結(jié)構(gòu)中增加細(xì)胞狀態(tài)會隨著自己存在的不同時間向下傳遞狀態(tài)，細(xì)胞狀態(tài)表示為長期記憶。在整個序列中只有少量的線性計算，所以可以有效保存過去較長時刻的信息。

LSTM應(yīng)用已經(jīng)遍布了人們的日常生活，比如LSTM算法處理的模型可以翻譯各類語言、對于圖像各類的處理和分析、語音和圖像精準(zhǔn)識別、雜亂手寫體的識別、聊天機(jī)器人與用戶之間的自動聊天、股票等一些時序問題的預(yù)測、系列疾病的預(yù)測、音樂片段的合成剪輯、編輯文檔摘要等應(yīng)用。LSTM區(qū)別于RNN的地方，主要在于LSTM算法擁有一個獨(dú)特“處理器”，它可以用于判別信息有沒有用。這個處理器作用的結(jié)構(gòu)被稱為cell，如圖2所示。

一個cell當(dāng)中被放置了輸入門、遺忘門和輸出門三扇門。這個設(shè)計可以應(yīng)對循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度衰減問題，并更好地捕捉時間序列中時間步距離較大的依賴關(guān)系。目前已知，解決長序依賴問題的有效算法，LSTM就是重要的一員，并且這種技術(shù)的適應(yīng)性非常高。

LSTM還要確定當(dāng)前時刻的輸入運(yùn)算，輸入門控制當(dāng)前時間步的輸入如何傳遞到當(dāng)前時間步的記憶細(xì)胞。在輸入門內(nèi)進(jìn)行的運(yùn)算過程如下式：

it=σ(Wxixt+Whiht-1+Wcict-1+bi),

(5)

(6)

式中：Wxi,Whi,Wci----輸入門中的參數(shù);

xt----輸入數(shù)據(jù);

ht-1----上個時間步的隱藏層輸出;

在輸入門運(yùn)算之后，LSTM需要更新當(dāng)前時間步的細(xì)胞狀態(tài)，

ct=ftct-1+itct,

(7)

式中：ft----遺忘門的輸出，代表是否丟棄上一時間步的信息，是否傳遞到當(dāng)前時間步。

最后根據(jù)當(dāng)前的細(xì)胞狀態(tài)ct計算什么信息需要通過輸出門進(jìn)行輸出。并按照以下呈現(xiàn)公式計算得出當(dāng)前輸出。

ot=σ(Wxoxt+Whoht-1+bo),

(8)

ht=ottanh(ct),

(9)

式中：Wxo,Who,bo----輸出門中的參數(shù);

ht----當(dāng)前時間步的隱藏層輸出。

2.3 基于EMD-LSTM算法的PM2.5預(yù)測模型

文中采用LSTM神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，根據(jù)2017年9月14日0時-2019年9月14日0時天津市PM2.5空氣質(zhì)量數(shù)據(jù)，根據(jù)EMD分解后重組，再利用LSTM能夠有效地處理，算法網(wǎng)絡(luò)模型的整體流程如圖3所示。

從圖3可以看出，文中提出的組合預(yù)測模型采用EMD分解后再運(yùn)用LSTM。經(jīng)過EMD分解的數(shù)據(jù)輸入LSTM模型訓(xùn)練，這樣發(fā)揮了LSTM能解決時間序列長期依賴性的優(yōu)勢，因此，從理論上講，運(yùn)用EMD-LSTM模型是適應(yīng)空氣質(zhì)量數(shù)據(jù)預(yù)測的優(yōu)秀算法。

3 實(shí)驗結(jié)果與分析

3.1 數(shù)據(jù)集

文中選擇天津空氣質(zhì)量數(shù)據(jù)，從AQI、PM2.5、PM10、SO2中挑選出2017年9月14日0時-2019年9月14日0時PM2.5數(shù)據(jù)，選擇前80%作為訓(xùn)練數(shù)據(jù)，后20%作為測試數(shù)據(jù)。共搜集16 991條訓(xùn)練樣本，3 400條測試樣本，其中有少量缺失值用均值填充。

3.2 實(shí)驗結(jié)果

為驗證所提出算法的有效性，將EMD-LSTM算法與標(biāo)準(zhǔn)LSTM算法進(jìn)行對比分析，迭代次數(shù)epochs為20，使用相同的訓(xùn)練集和測試集，得到結(jié)果見表1。

表1 評價指標(biāo)

由RMSE、MAPE、MAE評價標(biāo)準(zhǔn)可知，EMD-LSTM對空氣質(zhì)量數(shù)據(jù)均有不錯的預(yù)測能力，經(jīng)過EMD分解后的預(yù)測能力更強(qiáng)、誤差更小。文中提出預(yù)測模型針對本數(shù)據(jù)有良好的預(yù)測效果。

LSTM與EMD-LSTM結(jié)果對比如圖4所示。

通過真實(shí)值和預(yù)測值對比可以明顯看出，添加EMD分解后，預(yù)測更加精準(zhǔn)，比單一使用LSTM神經(jīng)網(wǎng)絡(luò)效果要好很多，對于預(yù)測這種不穩(wěn)定、非線性的序列來說大有幫助。

4 結(jié) 語

提出了基于EMD-LSTM的PM2.5預(yù)測算法，不需要對數(shù)據(jù)進(jìn)行專業(yè)且復(fù)雜的處理，缺失值由均值補(bǔ)充。實(shí)驗結(jié)果表明，文中提出的預(yù)測算法針對空氣質(zhì)量數(shù)據(jù)有良好的預(yù)測效果。從表1可以看出，加入EMD的LSTM算法各個評價指標(biāo)都是最優(yōu)的，而單純的LSTM算法從RMSE、MAPE、MAE可看出不如經(jīng)過EMD分解的算法模型。從圖4也可以看出，單純的LSTM算法的預(yù)測值與原數(shù)據(jù)的重合程度不如EMD-LSTM算法的預(yù)測程度。未來可以針對PM2.5地區(qū)現(xiàn)實(shí)特性進(jìn)行深度的挖掘研究，結(jié)合地區(qū)實(shí)際情況對PM2.5進(jìn)行更加精準(zhǔn)的預(yù)測。