地鐵車站PM2.5 濃度自注意力混合預(yù)測(cè)方法研究

陳定宇，高國飛，袁 泉

（1.北京城建設(shè)計(jì)發(fā)展集團(tuán)股份有限公司，北京，100037；2.廣州地鐵設(shè)計(jì)研究院有限公司，廣東 廣州 510010）

引言

空氣和人類的生活息息相關(guān)。隨著工業(yè)化和城市化的不斷發(fā)展，其過程中排放的空氣污染物包括顆粒物、二氧化硫、氮氧化物等，這些物質(zhì)可引發(fā)呼吸系統(tǒng)疾病。長(zhǎng)期暴露于污染空氣中，人們?nèi)菀谆忌虾粑兰膊?，如慢性支氣管炎、哮喘等?］。

作為發(fā)展中國家，我國當(dāng)前空氣污染較嚴(yán)重。我國正在經(jīng)歷由傳統(tǒng)產(chǎn)業(yè)向新型產(chǎn)業(yè)結(jié)構(gòu)轉(zhuǎn)化。在這個(gè)過程中，對(duì)空氣污染的控制和治理十分重要。

對(duì)PM2.5 濃度進(jìn)行預(yù)測(cè)，考慮其對(duì)我國地鐵車站的影響是一項(xiàng)重要的環(huán)境管理工作。首先，PM2.5 是細(xì)小顆粒物，可以進(jìn)入呼吸道并深入肺部，對(duì)人體健康造成潛在威脅。通過預(yù)測(cè)PM2.5濃度，車站管理者可以提前警示旅客，尤其是老年人、兒童和患有呼吸系統(tǒng)疾病的人，采取措施來降低暴露風(fēng)險(xiǎn)。其次，高濃度的PM2.5 可能影響交通運(yùn)營的正常進(jìn)行。對(duì)PM2.5 濃度的預(yù)測(cè)可以幫助交通管理者調(diào)整列車時(shí)刻和提前發(fā)布警報(bào)信息，以減緩交通系統(tǒng)的運(yùn)營受到的影響。然而，由于PM2.5 的不規(guī)則特性和復(fù)雜的影響因素，難以實(shí)現(xiàn)PM2.5 濃度的精確預(yù)測(cè)。近年來，研究人員已經(jīng)提出了一系列PM2.5濃度預(yù)測(cè)模型。

長(zhǎng)期以來對(duì)空氣污染物濃度的預(yù)測(cè)，相關(guān)研究主要在于提高模型預(yù)測(cè)的精確性和穩(wěn)定性，隨著人工智能的發(fā)展，出現(xiàn)了許多預(yù)測(cè)空氣污染物濃度的模型［2］。這些模型可以分為三類：化學(xué)模型、統(tǒng)計(jì)模型、人工智能模型。化學(xué)模型包括CAMx［3］、CMAQ模型［4］和LOTOS-EUROS［5］等。這些方法能夠考慮許多化學(xué)動(dòng)力學(xué)條件、反應(yīng)指數(shù)和化學(xué)產(chǎn)物，實(shí)現(xiàn)污染物預(yù)測(cè)?？諝馕廴绢A(yù)測(cè)的傳統(tǒng)統(tǒng)計(jì)模型包括自回歸綜合移動(dòng)平均（ARIMA）［6］、灰色模型（GM）［7］、逐步回歸［8］、主成分回歸（PCR）［9］、多元線性回歸（MLR）［10］和其他回歸模型，例如孟凡強(qiáng)等［11］用ARIMA 對(duì)我國五個(gè)城市的空氣污染物指數(shù)進(jìn)行預(yù)測(cè)，李穎若等［12］用MLR 實(shí)現(xiàn)對(duì)北京空氣質(zhì)量的評(píng)估。

基于人工智能的預(yù)測(cè)模型中包括單一的預(yù)測(cè)模型和混合預(yù)測(cè)模型，單一預(yù)測(cè)模型包括深度信念網(wǎng)絡(luò)（DBN）［13］、卷積神經(jīng)網(wǎng)絡(luò)（CNN）［14］和長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）［15］等模型，例如王洪彬等［16］將CNN 用于空氣中苯濃度的預(yù)測(cè)。

考慮到單一模型預(yù)測(cè)的局限性，混合模型在空氣質(zhì)量預(yù)測(cè)中變得越來越重要?；旌夏Ｐ椭饕ㄒ韵聝煞N類型：一是簡(jiǎn)單混合模型，即將兩個(gè)或者多個(gè)模型堆疊在一起進(jìn)行預(yù)測(cè)，省略了數(shù)據(jù)前處理和優(yōu)化，例如楊雨佳等［17］采用CNN-GRU 模型對(duì)臭氧濃度進(jìn)行預(yù)測(cè)，劉媛媛等［18］采用了CNN-LSTM 對(duì)空氣質(zhì)量指數(shù)進(jìn)行預(yù)測(cè)。二類是智能混合模型，此類模型結(jié)合了數(shù)據(jù)處理和優(yōu)化算法，例如王菲等［19］使用ELM 和灰狼優(yōu)化算法結(jié)合，實(shí)現(xiàn)了對(duì)空氣質(zhì)量的預(yù)測(cè)，劉炳春等［20］采用Wavelet-LSTM 模型對(duì)北京空氣污染進(jìn)行預(yù)測(cè)。目前PM2.5 濃度的預(yù)測(cè)的相關(guān)文獻(xiàn)存在以下不足：第一，PM2.5 濃度時(shí)間序列通常包含長(zhǎng)期依賴關(guān)系，其中當(dāng)前時(shí)刻的濃度受前幾個(gè)時(shí)刻的濃度和外部因素的影響，相關(guān)文獻(xiàn)的模型可能會(huì)受到滯后特征的限制［21］；第二，PM2.5 時(shí)間序列數(shù)據(jù)存在固有的隨機(jī)性，難以預(yù)測(cè)，在模型預(yù)測(cè)完后仍會(huì)出現(xiàn)較大誤差。

為了克服以上不足，本文提出了一種基于智能混合預(yù)測(cè)方法的集成和預(yù)測(cè)誤差校正模型，旨在提高模型預(yù)測(cè)的精確性和穩(wěn)定性，本文的主要工作如下：

（1）自注意力機(jī)制可以有效地捕捉時(shí)間序列的長(zhǎng)期依賴關(guān)系，可以有效改善時(shí)間序列的滯后性。因此首先采用自注意力機(jī)制對(duì)時(shí)間序列中的關(guān)鍵信息進(jìn)行捕捉，再用GRU 進(jìn)行預(yù)測(cè) 。

（2）采用誤差修正可以幫助提高預(yù)測(cè)的準(zhǔn)確性，通過對(duì)預(yù)測(cè)結(jié)果進(jìn)行修正，可以減少誤差，使模型更加可靠。因此本文設(shè)計(jì)了DBN 模型用來校正帶自注意力機(jī)制的GRU 的誤差，并且將誤差預(yù)測(cè)結(jié)果和原預(yù)測(cè)結(jié)果相加得到最終預(yù)測(cè)結(jié)果，實(shí)驗(yàn)結(jié)果表明，基于自注意力機(jī)制的GRU-DBN 誤差修正模型提高了模型預(yù)測(cè)的穩(wěn)定性和精度。

1 模型及方法介紹

1.1 本文模型結(jié)構(gòu)

模型結(jié)構(gòu)框圖如圖1 所示。

圖1 模型框圖Fig.1 Block diagram of the model

圖2 GRU 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of GRU

圖3 DBN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of DBN

1.2 自注意力機(jī)制

注意力機(jī)制（Self-attention）可以通過計(jì)算注意力權(quán)重然后給輸出向量動(dòng)態(tài)生成權(quán)重，具體描述為將詢問向量Q（query）、鍵值向量K（Key）和值向量V（value）映射到輸出向量過程，輸出向量是由Q和K計(jì)算過程產(chǎn)生的權(quán)重分配到值上產(chǎn)生的加權(quán)和。自注意力機(jī)制的點(diǎn)積模型公式如下：

由于模型在對(duì)當(dāng)前信息進(jìn)行編碼時(shí)，會(huì)過度地將注意力集中于自身的位置，因此需要多頭注意力機(jī)制解決這一問題，具體公式如下：

1.3 GRU

門控循環(huán)單元（Gate Recurrent Unit，GRU）［21］是RNN 的變種，解決了LSTM 不能長(zhǎng)期記憶和反向傳播中的梯度問題。GRU 比LSTM 的結(jié)構(gòu)簡(jiǎn)單，GRU 包含兩個(gè)門分別是更新門和重置門。

GRU 結(jié)構(gòu)圖如2 所示。

1.4 DBN

深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN）深度信念網(wǎng)絡(luò)是一個(gè)概率生成模型，與傳統(tǒng)的判別模型的神經(jīng)網(wǎng)絡(luò)相比，DBN 能夠建立一個(gè)觀察數(shù)據(jù)和標(biāo)簽之間的聯(lián)合分布，擁有強(qiáng)大的無監(jiān)督特征提取能力，DBN 由多個(gè)受限玻爾茲曼機(jī)（Restricted Boltzmann Machine，RBM）構(gòu)成，最后一層為傳統(tǒng)BP 神經(jīng)網(wǎng)絡(luò)。與傳統(tǒng)BP 神經(jīng)網(wǎng)絡(luò)相比，DBN 學(xué)習(xí)速度更快，對(duì)數(shù)據(jù)的輸入要求更低，精確性和穩(wěn)定性更高。

DBN 網(wǎng)絡(luò)結(jié)構(gòu)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不同前面幾層由RBM 構(gòu)成，層內(nèi)神經(jīng)元無連接關(guān)系，結(jié)構(gòu)圖如3所示。

DBN 理論推導(dǎo)：

（1）輸入層中，輸入污染物數(shù)據(jù)至觀察層v1，計(jì)算觀察層神經(jīng)元激活概率P(hj=1|v)，從計(jì)算概率分布中利用 Gibbs 抽樣法抽取樣本hj～P(hj=1|v)。

（2）用隱藏層h1重新構(gòu)建觀察層并反推。計(jì)算隱藏層神經(jīng)元激活概率P(vi=1|h)，從計(jì)算概率分布中利用 Gibbs 抽樣法抽取樣本vi～P(vi=1|h)由v2再次計(jì)算隱藏層神經(jīng)元激活概率并更新權(quán)重，并重復(fù)多次訓(xùn)練。

（3）利用 BP 算法用來進(jìn)行有監(jiān)督反向微調(diào)，目標(biāo)函數(shù)為最小化重構(gòu)輸入與最初輸入的均方誤差：

式中n為樣本個(gè)數(shù)，Yi為真實(shí)標(biāo)準(zhǔn)結(jié)果，為DBN 網(wǎng)絡(luò)實(shí)際輸出結(jié)果。

1.5 評(píng)價(jià)指標(biāo)

論文使用統(tǒng)計(jì)學(xué)中常用的三個(gè)誤差評(píng)估指標(biāo)來定量評(píng)估模型的預(yù)測(cè)精度，即平均絕對(duì)誤差（MAE）、RMSE 和平均絕對(duì)百分比誤差（MAPE）。這三個(gè)評(píng)估指標(biāo)如表1 所示。

表1 評(píng)價(jià)指標(biāo)表Tab.1 Table of evaluation indicators

2 實(shí)驗(yàn)步驟

因?yàn)镻M2.5 時(shí)間序列受到多個(gè)因素的綜合影響，包括但不限于溫度、氣壓和風(fēng)速等，僅僅依賴于復(fù)雜參數(shù)的單一預(yù)測(cè)模型很難有效擬合其變化趨勢(shì)，導(dǎo)致預(yù)測(cè)精度不容易達(dá)到要求。因此，本文采用混合預(yù)測(cè)模型的方法，以更全面、綜合的方式對(duì)序列進(jìn)行預(yù)測(cè)。通過考慮多個(gè)影響因素的綜合作用，本文混合模型有望提高預(yù)測(cè)的精確性，更好地捕捉PM2.5 濃度變化的復(fù)雜模式，滿足更高的預(yù)測(cè)精度要求。該模型主要包括數(shù)據(jù)預(yù)處理，預(yù)測(cè)模型和模型評(píng)價(jià)：

步驟一：數(shù)據(jù)預(yù)處理，通過隨機(jī)森林算法填補(bǔ)缺失值，用四組數(shù)據(jù)集分別來驗(yàn)證本文模型的性能，將數(shù)據(jù)集以8：2 的比例劃分訓(xùn)練集{y1，y2，…，yt}和測(cè)試集{yt+1，yt+2，…，yt+n}。

步驟二：首先采用自注意力機(jī)制來捕捉合時(shí)間序列的關(guān)鍵信息。

步驟三：獲得關(guān)鍵信息后，用GRU 對(duì)污染物時(shí)間序列進(jìn)行預(yù)測(cè)。

步驟四：綜合上述預(yù)測(cè)結(jié)果和原始序列得到殘差e=y-，最后將殘差用DBN 得到預(yù)測(cè)后的殘差e'，進(jìn)行誤差修正后形成最終的預(yù)測(cè)序列y*=+e'，預(yù)測(cè)精度更高。

步驟五：用評(píng)價(jià)函數(shù)對(duì)模型進(jìn)行評(píng)價(jià)，并且和現(xiàn)有的模型進(jìn)行比較。

3 實(shí)驗(yàn)及模型評(píng)價(jià)

3.1 數(shù)據(jù)描述

本文以我國的四個(gè)交通樞紐（北京、天津、上海、廣州）的污染物數(shù)據(jù)集作為研究對(duì)象。近年來我國交通樞紐的發(fā)展越來越快，研究其空氣污染物預(yù)測(cè)模型對(duì)污染防治有著重大的意義。此次實(shí)驗(yàn)的數(shù)據(jù)來源于2022 年1 月 1 日～12 月 31 日24 小時(shí)PM2.5 數(shù)據(jù)，該P(yáng)M2.5 數(shù)據(jù)均來自國家城市空氣質(zhì)量實(shí)時(shí)發(fā)布平臺(tái)https：//air.cnemccn：18007/中國環(huán)境監(jiān)測(cè)中心。本文將數(shù)據(jù)分為四組來評(píng)價(jià)本文模型的性能，數(shù)據(jù)集均為8700 h（日期為2022.01.01～2022.12.31）的PM2.5 污染物數(shù)據(jù)，其中北京的污染物數(shù)據(jù)集為數(shù)據(jù)集1，天津的污染物數(shù)據(jù)集為數(shù)據(jù)集2，上海的污染物數(shù)據(jù)集為數(shù)據(jù)集3，廣州的污染物數(shù)據(jù)集為數(shù)據(jù)集4。每一組按照8∶2 比例劃分訓(xùn)練集與測(cè)試集，所有實(shí)驗(yàn)在Windows10 上的Python（3.9）四組數(shù)據(jù)集如圖4 所示。

圖4 四組原始數(shù)據(jù)圖Fig.4 Plot of four sets of raw data

從圖4 可以明顯觀察到PM2.5 濃度在特定時(shí)間段內(nèi)變化較為顯著，尤其是出現(xiàn)了較大的波動(dòng)。這種復(fù)雜的時(shí)序變化使得單一模型的預(yù)測(cè)難以準(zhǔn)確捕捉其真實(shí)趨勢(shì)，導(dǎo)致預(yù)測(cè)的不精確性。因此，為了更有效地應(yīng)對(duì)這種時(shí)序數(shù)據(jù)的多變性，需要采用混合模型來進(jìn)行預(yù)測(cè)。

3.2 帶自注意力機(jī)制的GRU 預(yù)測(cè)

在本節(jié)中研究了帶自注意力機(jī)制的GRU 對(duì)PM2.5 濃度預(yù)測(cè)的影響，比較了帶或不帶自注意力機(jī)制的預(yù)測(cè)效果，四組數(shù)據(jù)集預(yù)測(cè)的平均MAE，RMSE、和MAPE 如圖5 所示。

圖5 有無注意力機(jī)制的預(yù)測(cè)效果比較Fig.5 Comparison of prediction effects with and without self-attention mechanism

由圖5 可知，由于自注意力機(jī)制能夠允許模型在處理序列數(shù)據(jù)時(shí)更靈活地關(guān)注不同位置的信息，而不受固定窗口大小的限制，這使得GRU 能夠更好地捕捉序列中的長(zhǎng)距離依賴關(guān)系，提高了GRU 時(shí)間序列預(yù)測(cè)的能力。

3.3 DBN 誤差修正

在本節(jié)中，研究了DBN 誤差修正對(duì)PM2.5 小時(shí)濃度預(yù)測(cè)的影響，誤差預(yù)測(cè)結(jié)果如圖6 所示。然后比較了四組數(shù)據(jù)，帶或不帶DBN 誤差修正的模型之間取四組數(shù)據(jù)的MAE 比較如圖6 所示，四組數(shù)據(jù)使用DBN 誤差修正的改善百分比如表2 所示。從圖6和表2 可以看出，在選定的四組數(shù)據(jù)集中，DBN 誤差修正的使用可以提高整個(gè)模型的PM2.5 預(yù)測(cè)精度。

表2 使用誤差修正的精度提升百分比Tab.2 Percentage improvement in accuracy using error correction

圖6 有無誤差修正MAE 比較圖Fig.6 Comparison of MAE with and without error correction

由圖6 可知，帶有誤差修正的模型比沒帶有誤差修正的模型的預(yù)測(cè)精度高很多，說明用DBN 對(duì)模型預(yù)測(cè)結(jié)果進(jìn)行誤差修正是十分重要的。

由表2 可知，由于DBN 能夠通過層級(jí)學(xué)習(xí)和特征提取，對(duì)輸入數(shù)據(jù)進(jìn)行有效地表征，這使得DBN在誤差修正中具有優(yōu)勢(shì)，所以使用DBN 誤差修正對(duì)前面的模型進(jìn)度提升顯著。使用DBN 誤差修正后MAE 最高提升都達(dá)到了68%，RMSE 的最高提升達(dá)到了71%，MAPE 的最高提升達(dá)到了62%以上。

3.4 模型比較及誤差分析

為了證明本文的預(yù)測(cè)方法的優(yōu)勢(shì)，將現(xiàn)有的五個(gè)空氣污染預(yù)測(cè)模型與所提出的模型進(jìn)行了比較。它們是DBN，GRU，Attention-GRU，極限學(xué)習(xí)機(jī)（ELM），回聲狀態(tài)網(wǎng)絡(luò)（ESN）。為了更直觀地顯示本文的使用對(duì)預(yù)測(cè)結(jié)果的影響，圖7～10 是選取平均精度最高的四個(gè)模型預(yù)測(cè)結(jié)果的散點(diǎn)圖，當(dāng)散射點(diǎn)的分布更集中于y=x線時(shí)，表明相應(yīng)模型的預(yù)測(cè)結(jié)果更準(zhǔn)確、更穩(wěn)定。

圖7 數(shù)據(jù)集1 的散點(diǎn)圖Fig.7 Scatterplot of dataset 1

圖8 數(shù)據(jù)集2 的散點(diǎn)圖Fig.8 Scatterplot of dataset 2

圖9 數(shù)據(jù)集3 的散點(diǎn)圖Fig.9 Scatterplot of dataset 3

圖10 數(shù)據(jù)集4 的散點(diǎn)圖Fig.10 Scatterplot of dataset 4

由圖中可以直觀地看出本文模型圖像的散射點(diǎn)比其他模型的散射點(diǎn)更集中于y=x線，帶自注意力機(jī)制和DBN 的誤差修正的模型對(duì)預(yù)測(cè)的精度有很大的提升，即本文提出的模型比現(xiàn)有的參照模型具有更好的預(yù)測(cè)效果。

本節(jié)還列出了各模型預(yù)測(cè)評(píng)價(jià)指標(biāo)比較，如表3 所示。

表3 各模型預(yù)測(cè)評(píng)價(jià)指標(biāo)比較Tab.3 Comparison of model prediction evaluation indicators

根據(jù)表3 可知：

（1）ELM 和ESN 都是相對(duì)簡(jiǎn)單的模型，通常在處理長(zhǎng)時(shí)序列依賴關(guān)系時(shí)效果較差。對(duì)于復(fù)雜的時(shí)間序列，它們可能難以捕捉到足夠復(fù)雜的關(guān)系，所以在本實(shí)驗(yàn)中更復(fù)雜的模型（深度學(xué)習(xí)模型）表現(xiàn)更好。ELM 和ESN 在上述四個(gè)數(shù)據(jù)集中表現(xiàn)不佳。

（2）由于DBN 逐層學(xué)習(xí)數(shù)據(jù)的層級(jí)特征，有助于捕捉數(shù)據(jù)的復(fù)雜模式，這使得DBN 在某些情況下能夠更好地適應(yīng)數(shù)據(jù)的復(fù)雜性，在本實(shí)驗(yàn)中的四個(gè)數(shù)據(jù)集中DBN 展現(xiàn)出比GRU 更好的效果。

（3）由于帶有自注意力機(jī)制的GRU 在時(shí)間序列預(yù)測(cè)中的優(yōu)勢(shì)主要在于能夠更好地處理長(zhǎng)距離依賴關(guān)系，更靈活地調(diào)整對(duì)不同時(shí)間步的關(guān)注程度，以及更全面地捕捉序列中的特征和動(dòng)態(tài)關(guān)系。這些特性使得它相對(duì)于普通的GRU 在PM2.5 時(shí)間序列預(yù)測(cè)任務(wù)上表現(xiàn)更好。在本實(shí)驗(yàn)中帶自注意力機(jī)制的GRU 在四個(gè)數(shù)據(jù)集中的表現(xiàn)均優(yōu)于GRU。

（4）本文的混合模型具有穩(wěn)定且優(yōu)異的性能，對(duì)于選定的四組PM2.5 數(shù)據(jù)的預(yù)測(cè)結(jié)果，與現(xiàn)有的五個(gè)模型相比，做出的預(yù)測(cè)精度都高于另外五個(gè)模型。這證明采用自注意力機(jī)制后和DBN 誤差修正可以有效地提高模型的預(yù)測(cè)精度。

4 結(jié)語

本文提出了一種基于自注意力機(jī)制的GRUDBN 誤差修正的PM2.5 濃度預(yù)測(cè)方法。選取中國的四個(gè)交通樞紐為研究對(duì)象，分為四組進(jìn)行相關(guān)實(shí)驗(yàn)。本文提出的預(yù)測(cè)方法結(jié)合了自注意力機(jī)制、GRU 和DBN 誤差修正。自注意力機(jī)制用來提取關(guān)鍵信息，GRU 用來PM2.5 時(shí)間序列預(yù)測(cè)，DBN 可以校正上一步的預(yù)測(cè)誤差，以獲得更準(zhǔn)確的PM2.5 濃度預(yù)測(cè)結(jié)果。

實(shí)驗(yàn)結(jié)果表明：（1）本文提出的預(yù)測(cè)方法可以實(shí)現(xiàn)對(duì)每小時(shí)PM2.5 的較好的預(yù)測(cè)效果，四組數(shù)據(jù)的預(yù)測(cè)結(jié)果表明本文的預(yù)測(cè)方法優(yōu)于相關(guān)文獻(xiàn)中已有的五個(gè)模型，證明了本文建立的模型的優(yōu)越性。（2）采自注意力機(jī)制有助于提取PM2.5 濃度時(shí)間序列的關(guān)鍵信息，達(dá)到更高的預(yù)測(cè)精度。（3）DBN 對(duì)預(yù)測(cè)誤差進(jìn)行修正可以提高模型對(duì)PM2.5 的預(yù)測(cè)精度，四組實(shí)驗(yàn)數(shù)據(jù)結(jié)果表明DBN 對(duì)預(yù)測(cè)誤差進(jìn)行修正對(duì)預(yù)測(cè)結(jié)果的改善顯著。

本文建立的PM2.5 預(yù)測(cè)模型可以實(shí)現(xiàn)準(zhǔn)確的預(yù)測(cè)效果，實(shí)現(xiàn)空氣污染預(yù)警，幫助人們提前采取措施減少損失。