基于多變量混合長短期記憶神經網絡的長沙PM2.5預報模型

羅 宇，袁 薇，羅林艷，陳明誠，唐 杰，萬文龍，范嘉智

(1.中國氣象局氣象干部培訓學院湖南分院，長沙 410125；2.湖南省氣象防災減災重點實驗室，長沙 410118；3.中國氣象局氣象干部培訓學院，北京 100081；4.湖南省氣象信息中心，長沙 410118；5.南京信息工程大學大氣科學學院，南京 210044；6.湖南省氣象臺，長沙 410118；7.東營市氣象局，東營 257100)

隨著工業(yè)發(fā)展和城市化，空氣污染問題已在世界范圍內引起廣泛關注，世界衛(wèi)生組織研究[1]指出每年約有超400萬人因空氣污染相關疾病死亡。長沙作為湖南省會，人口密度大、工業(yè)發(fā)達，且由于特殊的地理位置，易造成區(qū)域型空氣污染[2]，僅2019年冬季就出現(xiàn)了4次重污染過程，其首要污染物為PM2.5[3]。PM2.5是指空氣動力學當量直徑小于等于2.5 μm的顆粒物，可長時間懸浮于空氣中，并吸附重金屬和揮發(fā)性有機物等有毒污染物[4]。相關研究表明，環(huán)境中PM2.5濃度每增加10 μg/m3，心腦血管疾病和肺癌的死亡風險增加4%～8%[5-6]。同時，PM2.5能夠影響大氣的成云致雨過程，間接影響氣候變化[7]。

近年來，中外學者針對PM2.5特征及其濃度預報進行了大量研究?？傮w而言，PM2.5濃度預報方法可分為確定性方法和統(tǒng)計方法兩類。確定性方法利用大氣科學相關理論對污染物的物理化學反應進行建模，模擬其排放、擴散和傳輸?shù)冗^程。目前在城市空氣污染預報中使用較多的確定性模型主要有嵌套網格空氣質量預報模型[8](nested air quality prediction model，NAQP)，氣象-化學耦合模型[9](weather research and forecasting model coupled to chemistry，WRF-Chem)和多尺度空氣質量模型[10](community multiscale air quality model，CMAQ)。這些模型均基于一定的理論假設和先驗知識構建，因此有助于更好地理解大氣污染機理，但在模型輸入條件準確性、物理化學過程描述和計算有效性提升等方面仍面臨較大挑戰(zhàn)[11-12]。統(tǒng)計方法則直接利用統(tǒng)計模型找出不同變量與PM2.5之間的關系，并將這一關系應用到空氣質量預報中。張?zhí)旌降萚13]采用多元線性回歸集成方法，較大幅度降低了空氣質量數(shù)值預報偏差；楊正理等[14]構建基于隨機森林的城市空氣質量預測模型，可較好改進大數(shù)據(jù)背景下的預測精度；楊濤峰等[15]結合自回歸積分滑動平均(autoregressive integrated moving average，ARIMA)和支持向量機(support vector machine，SVM)對北京某站點PM2.5濃度進行預測，取得了良好的預測精度；張岳軍等[16]基于華北區(qū)域環(huán)境氣象數(shù)值預報系統(tǒng)預報結果，利用后向傳播神經網絡建立10 d的滾動修正模型對太原市空氣質量預報進行修正。20世紀80年代出現(xiàn)的循環(huán)神經網絡(recurrent neural network，RNN)，能對序列數(shù)據(jù)的非線性特征進行高效率學習，而作為RNN變體之一的長短期記憶(long short-term memory，LSTM)因可有效解決簡單RNN的梯度爆炸或消失問題，使其在空氣污染預報方面展現(xiàn)出廣泛的應用前景。白盛楠等[17]和Li等[18]基于LSTM構建預測模型對北京市PM2.5濃度分別進行逐日和逐小時預測，發(fā)現(xiàn)LSTM神經網絡可較好提取PM2.5濃度時序特征，在不同的時間分辨率上均取得較好的預報精度。

在分析長沙各空氣質量監(jiān)測站PM2.5濃度的時空相關性基礎上，現(xiàn)提出一種基于LSTM的多變量混合PM2.5逐小時預報模型，對長沙10個空氣質量監(jiān)測站PM2.5濃度進行逐小時預報，為PM2.5統(tǒng)計預報模型提供新的思路。

1 資料與方法

1.1 資料選取

本研究使用數(shù)據(jù)時間段為2014年5月13日—2020年8月30日，其中空氣質量數(shù)據(jù)為長沙10個空氣質量監(jiān)測站探測得到的逐小時數(shù)據(jù)，由中國環(huán)境監(jiān)測總站全國城市空氣質量實時發(fā)布平臺獲取，包含顆粒物(PM10、PM2.5)、二氧化硫(SO2)、二氧化氮(NO2)、一氧化碳(CO)、臭氧(O3)和空氣質量指數(shù)(AQI)；對應時段的氣象數(shù)據(jù)使用長沙市黃花國家基本氣象站探測得到的小時數(shù)據(jù)，包含氣壓(P)、氣溫(T)、相對濕度(RH)、能見度(VIS)、風向(WD)和風速(WS)，由全國綜合氣象信息共享平臺(CIMISS)獲取。研究涉及站點位置分布和基本信息如圖1所示，其中黃花站為氣象站，其他為空氣質量監(jiān)測站。對于少量缺測數(shù)據(jù)，利用R語言imputeTS包的卡爾曼平滑(Kalman smoothing)算法進行插補。

1.2 PM2.5數(shù)據(jù)時空相關性分析

計算長沙市10個空氣質量監(jiān)測站PM2.5濃度之間的Pearson相關系數(shù)，用以分析各站PM2.5濃度的空間相關性，如表1所示，所有相關系數(shù)均在0.88以上，表明各站間的PM2.5濃度具有強相關性，因此考慮利用單一模型對所有監(jiān)測站的PM2.5濃度進行建模預報。隨后，利用自相關函數(shù)研究各站PM2.5濃度序列的時間相關性，其計算公式為

圖1 站點位置分布情況Fig.1 Locations of air quality monitoring stations and meteorological station

(1)

式(1)中：y(t)和y(t+Δt)分別為t和t+Δt時刻的PM2.5濃度；Cov(·)和σ(·)分別為PM2.5濃度的協(xié)方差和方差。各站PM2.5濃度序列的自相關系數(shù)如圖2所示，隨滯后階數(shù)的增加逐步減小，表明較早的PM2.5濃度對當前值的影響隨時間間隔的增大逐漸降低；同時還可以發(fā)現(xiàn)當時間間隔小于24 h時，各站PM2.5濃度的自相關系數(shù)均大于0.6，因此可將預報模型的最佳時間窗選擇范圍縮小到24 h以內。

1.3 多變量混合LSTM模型

LSTM是由Hochreiter等提出的一種改進的循環(huán)神經網絡(RNN)[19]，依靠內部特殊的自連接設計，可以提取任意長度時間序列的自回歸結構，目前廣泛應用于文本生成[20-21]、語音識別[22-24]、機器翻譯[25]、氣象及環(huán)保[17-18,26-28]等領域。LSTM單元結構如圖3所示，其對應計算公式如式(2)～式(6)所示。

it=σ(Wxixt+Whiht-1+bi)

(2)

ot=σ(Wxoxt+Whoht-1+bo)

(3)

ft=σ(Wxfxt+Whfht-1+bf)

(4)

(5)

圖2 各站PM2.5濃度自相關系數(shù)Fig.2 Autocorrelation coefficients of PM2.5 concentrations in stations

it、ot和ft分別為輸入門、輸出門和遺忘門3個門控結構，分別控制輸入、輸出和保留在LSTM單元內信息的多少；ct為單元間激活向量；ht為存儲了t時刻及之前時刻有用信息的隱狀態(tài)向量；xt為t時刻輸入向量；σ(·)為sigmoid函數(shù)；tanh(·)為激活函數(shù)圖3 LSTM單元結構Fig.3 Structure of LSTM cell

表1 各站PM2.5濃度相關系數(shù)Table 1 Correlation coefficients of PM2.5 concentration between stations

ht=ottanh(ct)

(6)

式中：W為權重矩陣；b為偏置項。σ對應的計算公式為

(7)

提出的多變量混合LSTM(hLSTM)模型利用LSTM層提取空氣質量數(shù)據(jù)和氣象數(shù)據(jù)時序特征，并結合日期時間信息對未來24 h的PM2.5濃度進行逐小時預報，其結構如圖4所示。不同大氣污染物之間在一定條件下會發(fā)生各種物理化學反應[29-30]，加劇大氣污染程度；同時大量研究表明[2,31-32]，PM2.5的濃度變化與大氣溫度、濕度、氣壓和風速等氣象條件存在一定相關性，因此將10站的空氣質量數(shù)據(jù)(PM2.5、PM10、SO2、NO2、CO和O3)以及長沙氣象數(shù)據(jù)(P、T、RH、VIS、WD和WS)組成特征因子張量作為模型LSTM層的輸入。除此之外，數(shù)據(jù)觀測時間等附加信息的引入也可在一定程度上提升預測精度[33]，因此通過一位有效編碼(one-hot encoding)將PM2.5濃度數(shù)據(jù)的日期時間信息引入模型，結合LSTM層提取的時序特征，利用全連接層(dense layer)獲取10站的PM2.5濃度24 h逐小時預報結果。

為評價hLSTM模型預報精度，選取均方根誤差(root mean squared error，RMSE)、平均絕對誤差(mean absolute error，MAE)和平均絕對百分比誤差(mean absolute percentage error，MAPE)作為指標，對預報值和觀測值的偏離程度進行度量，計算公式為

(8)

(9)

(10)

式中：N為樣本數(shù)量；Oi和Pi分別為PM2.5濃度觀測值和預報值。

1.4 數(shù)據(jù)預處理

深度學習中，若某些特征因子方差過大，則會主導目標函數(shù)從而無法正確地去學習其他特征，造成模型精度降低，甚至無法收斂等問題。因此，本研究采用Standardization標準化方法，將特征因子的分布轉換為高斯分布，即均值為0，方差為1。

根據(jù)多變量混合LSTM模型結構，由空氣質量數(shù)據(jù)和氣象數(shù)據(jù)組成的原始數(shù)據(jù)集無法直接作為模型輸入，因此利用滾動時間窗方法生成時間序列樣本[34]。時間序列樣本量N由原始數(shù)據(jù)量n、時間窗Δt和預報時效h決定，即N=n-(Δt+h)+1。不同大小的時間窗對PM2.5預報精度有直接影響[33-34]，過小的時間窗會造成模型的輸入信息不足，而過大的時間窗則可能引入不相關的噪聲，且增加計算復雜度。結合1.2節(jié)中PM2.5數(shù)據(jù)自相關分析結果可將Δt范圍縮小到24 h內，因此在研究過程中將時間窗分別設置為6、12和24 h，評估其對hLSTM模型預報精度的影響，以選取最適宜的時間窗。除時間窗外，模型中LSTM層數(shù)和各層神經節(jié)點數(shù)也會影響PM2.5預報精度。因此，在確定最適宜時間窗大小的基礎上，參考相關研究模型結構[20-22]，選用2層LSTM，各層神經節(jié)點數(shù)相同，分別設置為50、100和200，評估不同節(jié)點數(shù)對hLSTM模型預報精度的影響，以確定最適宜的神經網絡結構。

圖4 多變量混合LSTM模型Fig.4 Multivariable hybrid LSTM model

LSTM層和Dense層激活函數(shù)(activation function)分別選用tanh和linear，各層節(jié)點丟棄率(dropout rate)設為0.2，以避免過擬合，模型選擇均方誤差(MSE)作為損失函數(shù)(loss function)，采用RMSProp算法作為優(yōu)化器(optimizer)提升訓練效率，參數(shù)詳細設置如表2所示。研究利用Python和Keras深度學習框架進行。

表2 多變量混合LSTM模型參數(shù)設置Table 2 Parameter settings of hybrid LSTM model

2 結果與分析

2.1 時間窗和節(jié)點數(shù)對模型精度影響

為評估時間窗大小和節(jié)點數(shù)對hLSTM模型預報精度的影響，按照1.4節(jié)方案設置時間窗和LSTM層節(jié)點數(shù)，對長沙10個空氣質量站未來24 h的PM2.5濃度進行逐小時預報，利用預報結果繪制箱線圖，如圖5所示。由圖5可知，hLSTM模型的預報誤差隨時間窗的增大和節(jié)點數(shù)的增多呈現(xiàn)逐漸增大，6 h時間窗配合50節(jié)點數(shù)的設置使模型的均方根誤差、平均絕對誤差和平均絕對百分比誤差3項指標均達到最低，且波動均相對較小，對應逐小時均值分別為18.71 μg/m3、12.50 μg/m3和38.95%。產生這一結果原因可能有兩個，一是較大的時間窗引入更多不相關數(shù)據(jù)，使模型訓練效率降低，在同樣的迭代次數(shù)下無法更好提取有效的特征信息；二是較多的神經節(jié)點使模型在訓練過程中更容易出現(xiàn)過擬合現(xiàn)象，影響模型的泛化能力。因此，選取6 h和50分別作為模型的時間窗和LSTM層節(jié)點數(shù)。

2.2 預報模型精度

確定最適宜時間窗和LSTM層節(jié)點數(shù)后，基于訓練集數(shù)據(jù)對hLSTM模型進行訓練，并利用測試集數(shù)據(jù)對10站的PM2.5濃度逐小時預報精度進行驗證，結果如圖6所示，hLSTM模型誤差隨PM2.5預報時效的增大，總體呈現(xiàn)逐步增大趨勢，10 h前誤差增大迅速，10 h后誤差增大較為平緩，且呈現(xiàn)震蕩性。均方根誤差、平均絕對誤差和平均絕對百分比誤差分別從1 h的6.53 μg/m3、4.03 μg/m3和16.02%增大到24 h的20.62 μg/m3、13.56 μg/m3和47.34%。為對比hLSTM模型和其他機器學習模型的預報精度，引入決策樹(DTs)、RNN和普通LSTM作為對比模型，其中RNN模型將hLSTM模型中的LSTM層替換為RNN層得到，普通LSTM模型為hLSTM模型去除附加信息得到，其余參數(shù)不變，對比結果如表3所示，作為傳統(tǒng)機器學習方法的DTs模型預報誤差較基于神經網絡的RNN、LSTM和hLSTM模型大，其主要原因是由于后3種模型是專門針對時間序列數(shù)據(jù)設計的，可以更好地提取數(shù)據(jù)在時序上的特征；與RNN和普通LSTM模型相比，hLSTM模型的RMSE分別降低6.26%和8.92%，MAE分別降低8.22%和10.91%，MAPE分別降低24.79%和27.99%，表明LSTM層和附加信息的引入可以更好地提取長沙PM2.5濃度時序特征，實現(xiàn)更好的預報效果。同時，hLSTM模型在不同地區(qū)均有較好的適用性。采用相同的數(shù)據(jù)預處理方法和hLSTM模型結構，對湖南省岳陽、常德和衡陽3地PM2.5濃度進行預報，預報精度與長沙基本一致(圖7)，均方根誤差分別由1 h的6.26、6.12和6.95 μg/m3增大到24 h的19.41、19.16和21.42 μg/m3。

圖5 不同時間窗和節(jié)點數(shù)對hLSTM模型預報精度的影響Fig.5 Effect of different time windows and node numbers on prediction accuracy of hLSTM model

圖6 hLSTM模型逐小時預報精度Fig.6 Hourly prediction accuracy of hLSTM model

為研究hLSTM模型預報結果的季節(jié)性差異，對于PM2.5預測結果的RMSE按春季(3—5月)、夏季(6—8月)、秋季(9—11月)和冬季(12—次年2月)進行分析，結果如圖8所示。由圖8可知，hLSTM模型誤差存在明顯的季節(jié)性差異，在所有預報時效上均呈現(xiàn)冬季>秋季>春季>夏季的特征，與確定性方法預報結果類似[35]，其中當預報時效大于3 h時，冬季的預報誤差達到夏季的2倍以上。造成這一現(xiàn)象的原因可能是由于長沙冬季受外源輸入性污染和本地不利擴散條件共同影響，使PM2.5變化規(guī)律更為復雜，增加了hLSTM模型提取數(shù)據(jù)時序特征的難度。

表3 不同機器學習模型逐小時預報精度Table 3 Hourly prediction accuracy of different machine learning models

圖7 hLSTM模型在不同地區(qū)的預報精度Fig.7 Prediction accuracy of hLSTM model in different districts

2.3 污染天氣個例預報

由于本地污染排放疊加外來輸入影響，長沙市2019年12月13—16日出現(xiàn)以PM2.5為首要污染物的持續(xù)性重污染天氣過程。以馬坡嶺空氣質量監(jiān)測站為例，其PM2.5濃度于13日為111 μg/m3，14日夜間上升至189 μg/m3，15日持續(xù)重度污染，達到244 μg/m3，16日18:00后迅速下降。利用本研究的hLSTM模型對此次重污染過程進行逐小時預報，選取預報時效為1、2、3、6、12和24 h的預報值和觀測值進行對比。如圖9所示，6個時效基本都能夠預測到本次污染過程的變化趨勢，其中3 h內的臨近預報結果與觀測值吻合程度較高，而6、12和24 h預報值在14日后存在較明顯的偏低；1、2、3、12和24 h時效結果對污染過程峰值和消退時間點的預報基本準確，但6 h時效結果對峰值和消退時間的預報則較觀測值提前了約8 h。造成這種情況的可能原因一是空氣污染物局地小尺度擾動使得針對較長預報時效的時序特征提取難度增大；二是引入的氣象因子僅限地面氣象要素，不能很好反映污染物傳播和擴散的天氣條件，進而低估了重污染天氣過程中PM2.5濃度。

圖8 hLSTM模型不同季節(jié)各時效預報精度Fig.8 Prediction accuracy of hLSTM model in different seasons

圖9 hLSTM模型對長沙2019年12月13—16日重污染天氣過程PM2.5濃度的預報結果Fig.9 PM2.5 concentration prediction results of hLSTM model for the heavy pollution process in Changsha city from December 13 to 16,2019

3 結論

利用Pearson相關系數(shù)和自相關系數(shù)分析了長沙10個空氣質量監(jiān)測站PM2.5濃度的時空相關性，提出一種以LSTM為主要構成的多變量混合PM2.5濃度逐小時預報模型，利用均方根誤差、平均絕對誤差和平均絕對百分比誤差指標對模型精度進行評估，并與基于DTs、RNN和普通LSTM模型的預報精度進行對比，得到以下結論。

(1)不同的時間窗和LSTM層神經節(jié)點數(shù)對hLSTM模型精度有顯著影響。較大的時間窗會引入更多不相關數(shù)據(jù)，造成特征信息提取不充分，降低模型訓練效率；較多的神經節(jié)點使模型更易出現(xiàn)過擬合現(xiàn)象，影響模型泛化能力，二者均會增大hLSTM模型誤差。

(2)hLSTM模型誤差隨預報時效的增加呈現(xiàn)前陡后緩逐步增大，均方根誤差、平均絕對誤差和平均絕對百分比誤差分別從1 h的6.53 μg/m3、4.03 μg/m3和16.02%增大到24 h的20.62 μg/m3、13.56 μg/m3和47.34%。與基于DTs、RNN和普通LSTM模型預報精度進行對比可知，得益于以LSTM層為主體的模型結構和附加信息的引入，hLSTM能夠更好地提取長沙PM2.5濃度時序特征，達到更高的預報精度。

(3)hLSTM模型誤差存在明顯的季節(jié)性差異，呈現(xiàn)冬季>秋季>春季>夏季的特征，冬季的預報誤差可達夏季的2倍以上。由于空氣污染物局地小尺度擾動和地面氣象因子無法很好反映污染物傳輸和擴散條件等因素，hLSTM較易低估重污染天氣過程中PM2.5濃度，造成預報精度下降。