Attention-GRU在PM2.5濃度預(yù)測中的應(yīng)用研究

摘" 要：針對PM2.5濃度預(yù)測問題，選取北京市順義監(jiān)測站的每小時空氣質(zhì)量數(shù)據(jù)及其對應(yīng)的氣象數(shù)據(jù)作為研究樣本，提出了一種融合多頭注意力機(jī)制的GRU模型（Attention-GRU）。該模型利用門控循環(huán)單元（GRU）捕捉時間序列中與目標(biāo)特征的長期依賴關(guān)系，并通過多頭注意力策略來優(yōu)化多特征與PM2.5濃度的權(quán)重分布，關(guān)注影響較大的特征因素，從而提升預(yù)測的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)方法相比，融合多頭注意力機(jī)制的GRU模型在均方根誤差（RMSE）、平均絕對百分比誤差（MAPE）和決定系數(shù)（R2）等指標(biāo)上表現(xiàn)優(yōu)異，驗(yàn)證了該方法的有效性和優(yōu)越性。

關(guān)鍵詞：多頭注意力機(jī)制；PM2.5預(yù)測；門控循環(huán)單元（GRU）；空氣質(zhì)量

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2025）04-0074-07

Research on the Application of Attention-GRU in PM2.5 Concentration Prediction

ZHANG Lipeng， LIU Qingjie

（Institute of Disaster Prevention， Langfang" 065201， China）

Abstract： Regarding the problem of PM2.5 concentration prediction， hourly air quality data and corresponding meteorological data from the Shunyi monitoring station in Beijing are selected as research samples， and a GRU model （Attention-GRU） integrating a Multi-head Attention Mechanism is proposed. The model makes use of the Gated Recurrent Unit （GRU） to capture the long-term dependency relationship with the target feature in the time series. Moreover， it optimizes the weight distribution of multiple features and PM2.5 concentration through a multi-head attention strategy， focusing on the feature factors with greater influence， so as to improve the prediction accuracy. Experimental results indicate that compared with traditional methods， the GRU model integrating a Multi-head Attention Mechanism performs outstandingly in the indicators such as Root Mean Square Error （RMSE）， Mean Absolute Percentage Error （MAPE）， and coefficient of determination （R2）， validating the effectiveness and superiority of this proposed method.

Keywords： Multi-head Attention Mechanism; PM2.5 prediction; Gated Recurrent Unit （GRU）; air quality

0" 引" 言

城市化和工業(yè)化的快速發(fā)展導(dǎo)致大氣污染問題日益嚴(yán)重，特別是在北方地區(qū)，冬季采暖與不利的氣象條件疊加，常引發(fā)頻繁的污染事件，嚴(yán)重影響人民的健康和正常生產(chǎn)[1]。作為大氣污染監(jiān)測的重要指標(biāo)，PM2.5是霧霾的主要成分，其濃度在很大程度上反映了大氣環(huán)境質(zhì)量。因此，準(zhǔn)確、高效地預(yù)測PM2.5濃度對于探索大氣污染物濃度變化規(guī)律、挖掘大氣污染形成的內(nèi)在原因、制定切實(shí)有效的大氣環(huán)境管理措施具有重要意義[2]。

近年來，為持續(xù)打好藍(lán)天保衛(wèi)戰(zhàn)，國家出臺了一系列空氣質(zhì)量持續(xù)改善的相關(guān)政策法規(guī)，PM2.5濃度預(yù)測方法研究也成為焦點(diǎn)，研究者們嘗試從不同的角度、使用不同的方法來探索更優(yōu)的預(yù)測方法。最初研究者從傳統(tǒng)的回歸統(tǒng)計方法開始研究，取得了一定的效果，隨著深度學(xué)習(xí)的快速發(fā)展，一些研究者開始使用深度學(xué)習(xí)來進(jìn)行探索，最常使用的例如人工神經(jīng)網(wǎng)絡(luò)[3]、支持向量機(jī)[4]和隨機(jī)森林[5-6]等。相比于傳統(tǒng)的統(tǒng)計方法，深度學(xué)習(xí)方法展現(xiàn)出了其特有的優(yōu)勢，能夠更好地捕捉到PM2.5和其他特征因素之間的非線性關(guān)系。彭玉青等人[7]將局部注意力機(jī)制與長短期記憶網(wǎng)絡(luò)（LSTM）結(jié)合，與其他基準(zhǔn)模型對比準(zhǔn)確性有較大的提升。王平等人[8]提出了基于季節(jié)趨勢分解的時間序列混合預(yù)測模型，充分考慮了PM2.5濃度的季節(jié)性趨勢，將季節(jié)趨勢信息進(jìn)行挖掘后使用深度學(xué)習(xí)算法，為PM2.5濃度預(yù)測提供了新思路。彭豪杰等人[9]為解決傳統(tǒng)機(jī)器學(xué)習(xí)算法無法深層挖掘數(shù)據(jù)特征以及深度學(xué)習(xí)算法在數(shù)據(jù)較少時效果不佳的問題，提出了一種基于深度學(xué)習(xí)與隨機(jī)森林的組合模型，在預(yù)測精度上有所提高。

這些傳統(tǒng)方法通常將所有特征同時輸入網(wǎng)絡(luò)，但忽略了不同區(qū)域、季節(jié)或時間點(diǎn)的特征變化對預(yù)測結(jié)果的影響，導(dǎo)致模型難以適應(yīng)復(fù)雜、多樣化的實(shí)際應(yīng)用場景。這種“一刀切”的特征處理方式在面對特定時空條件下的差異時，無法有效捕捉局部特征對PM2.5濃度變化的關(guān)鍵作用。因此，這些模型往往在不同地域或不同時間段的泛化能力較差，表現(xiàn)出一定的局限性。

為了克服這一問題，本文提出了一種基于多頭注意力機(jī)制的門控循環(huán)單元（GRU）模型（Attention-GRU），旨在通過選擇性地關(guān)注與PM2.5濃度高度相關(guān)的特征因子，過濾掉無關(guān)或噪聲信息，從而提升模型的預(yù)測精度。多頭注意力機(jī)制的引入使得模型能夠在不同特征維度間分配不同的權(quán)重，靈活調(diào)整對重要特征的關(guān)注度。這一機(jī)制不僅增強(qiáng)了模型在處理復(fù)雜時序數(shù)據(jù)時的表現(xiàn)，還提高了對局部特征的捕捉能力，使其在應(yīng)對不同地域和時間點(diǎn)的PM2.5濃度變化時更加穩(wěn)健。

通過多頭注意力機(jī)制的加持，Attention-GRU模型能夠更好地理解各個特征因子對PM2.5濃度的不同影響。例如，某些天氣因素可能在特定區(qū)域或時段對PM2.5濃度有顯著影響，而在其他情況下則作用較小。通過動態(tài)調(diào)整注意力權(quán)重，模型能夠針對不同的時空條件自動調(diào)整預(yù)測策略，提高預(yù)測結(jié)果的準(zhǔn)確性和泛化能力。這使得Attention-GRU模型相比于傳統(tǒng)方法具備更強(qiáng)的適應(yīng)性，能夠在多變的現(xiàn)實(shí)環(huán)境中保持穩(wěn)健的預(yù)測性能。

1" 理論基礎(chǔ)

1.1" 門控循環(huán)單元（GRU）

門控循環(huán)單元（Gated Recurrent Unit， GRU）是一種簡化的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）結(jié)構(gòu)，旨在解決傳統(tǒng)RNN在處理長序列時的梯度消失問題。GRU通過引入兩個門控機(jī)制：重置門rt和更新門zt，有效地控制信息的流動，從而捕獲長期依賴關(guān)系。其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

重置門和更新門的作用是通過門控狀態(tài)，對前一時間步的狀態(tài)信息ht-1與當(dāng)前時間步的信息xt進(jìn)行相應(yīng)的運(yùn)算，用以決定信息的重要程度，其中σ為Sigmoid激活函數(shù)[10]。計算式為：

（1）

（2）

候選隱狀態(tài)通過結(jié)合重置門和上一時刻的隱狀態(tài)進(jìn)行計算，計算式為：

（3）

當(dāng)前時間步的輸出隱狀態(tài)ht由前一時間步的狀態(tài)信息ht-1提取部分信息，并結(jié)合候選狀態(tài)保留相關(guān)內(nèi)容。這個過程依靠更新門的遺忘機(jī)制與選擇性記憶，并與當(dāng)前時間步的候選狀態(tài)共同決定最終輸出。計算式為：

（4）

在式（1）～（4）中，，，，，分別表示前一時間步與當(dāng)前時間步各輸入層之間的連接權(quán)重矩陣； ， ， 分別表示每個GRU單元中的重置門、更新門和當(dāng)前時間步隱藏層的偏置項(xiàng)；符號“·”表示點(diǎn)乘操作。

1.2" 多頭注意力機(jī)制

注意力機(jī)制的核心思想啟發(fā)于人類的視覺注意的過程。人類的視覺能夠迅速識別出最為突出和值得注意的區(qū)域。類似地，注意力機(jī)制模擬人類的視覺注意過程，通過選擇性地關(guān)注更為重要的信息，同時又忽略較為次要信息，從而達(dá)到對信息重要性進(jìn)行分配的目的，使得模型更加準(zhǔn)確[11]。

多頭注意力機(jī)制（Multi-head Attention Mechanism）[12]同樣也是模擬了人類的注意力方式。在模型訓(xùn)練過程中，對各特征變量的權(quán)重分配是不相同的。與傳統(tǒng)的注意力策略相比，多頭注意力機(jī)制的優(yōu)勢在于其增強(qiáng)了模型在不同位置上專注的能力。多頭注意力機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

Multi-Head Attention機(jī)制的計算主要涉及以下3個階段：

1）V、K、Q是固定的單個值，計算Query和Key的相似度，得到對應(yīng)權(quán)重系數(shù)。后對權(quán)重系數(shù)進(jìn)行加權(quán)計算得到注意力得分si，計算式為：

（5）

2）使用Softmax函數(shù)對注意力得分進(jìn)行數(shù)值轉(zhuǎn)換，然后再進(jìn)行歸一化處理，得到權(quán)重系數(shù)，計算式為：

（6）

3）根據(jù)權(quán)重系數(shù)對第二步得到的權(quán)重系數(shù)進(jìn)行加權(quán)求和，計算式為：

（7）

2" Attention-GRU神經(jīng)網(wǎng)絡(luò)

本文針對使用GRU模型進(jìn)行PM2.5濃度預(yù)測時發(fā)現(xiàn)的問題進(jìn)行了改進(jìn)。原始GRU模型對歷史序列中的數(shù)據(jù)賦予相等的權(quán)重，難以滿足精確建模的需求。為解決這一問題，我們引入了在自然語言處理領(lǐng)域廣泛使用的多頭注意力機(jī)制，使模型能夠根據(jù)輸入序列的重要性動態(tài)調(diào)整權(quán)重，從而更有效地關(guān)注關(guān)鍵歷史信息，降低預(yù)測誤差。

如圖3所示，該模型由五個層次組成：輸入層、網(wǎng)絡(luò)層、注意力層、回歸層和輸出層。

與傳統(tǒng)的GRU網(wǎng)絡(luò)相比，Attention-GRU網(wǎng)絡(luò)增加了一層多頭注意力機(jī)制。傳統(tǒng)的GRU網(wǎng)絡(luò)是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，通過隱藏層中的狀態(tài)捕捉序列數(shù)據(jù)中的依賴關(guān)系。注意力機(jī)制是一種增強(qiáng)神經(jīng)網(wǎng)絡(luò)對輸入數(shù)據(jù)關(guān)注度和表達(dá)能力的技術(shù)，使神經(jīng)網(wǎng)絡(luò)能夠更加關(guān)注重要部分，忽略不重要部分。

在Attention-GRU網(wǎng)絡(luò)中，時間序列中的每個時間步的輸入都會先送入GRU網(wǎng)絡(luò)單元中，然后其GRU網(wǎng)絡(luò)層的輸出再被作為注意力層的輸入。注意力層主要是根據(jù)GRU的輸出信息與目標(biāo)特征的重要程度來分配不同的權(quán)重參數(shù)，也就是注意力值。隨后再經(jīng)過回歸層，將前面輸入的結(jié)果映射成預(yù)測值，最終在輸出層輸出預(yù)測結(jié)果。

通過引入多頭注意力機(jī)制，基于注意力機(jī)制的Attention-GRU網(wǎng)絡(luò)能夠更好地捕捉輸入序列中的相關(guān)信息，并在對輸入進(jìn)行編碼時，更加精確地區(qū)分不同時間步的重要信息。因此，基于注意力機(jī)制的Attention-GRU網(wǎng)絡(luò)在許多時間序列建模任務(wù)中具有卓越的性能。

3" 數(shù)據(jù)預(yù)處理

3.1" 數(shù)據(jù)來源和數(shù)據(jù)缺失值處理

本實(shí)驗(yàn)使用的空氣質(zhì)量數(shù)據(jù)來源于北京市生態(tài)環(huán)境監(jiān)測中心，與之相對應(yīng)的氣象數(shù)據(jù)來自美國國家氣候數(shù)據(jù)中心。將這兩組數(shù)據(jù)按照時間進(jìn)行整合，在整合后的數(shù)據(jù)中存在一些缺失值，為避免連續(xù)缺失值對模型訓(xùn)練產(chǎn)生不利影響，本實(shí)驗(yàn)對數(shù)據(jù)集進(jìn)行了預(yù)處理。對于連續(xù)缺失10個時間步長的記錄，直接予以刪除，以減少模型受到的干擾。針對少數(shù)非連續(xù)的缺失數(shù)據(jù)，使用了隨機(jī)森林算法進(jìn)行填補(bǔ)，該方法通過其他特征之間的關(guān)系來推測缺失值，從而提升數(shù)據(jù)的完整性與準(zhǔn)確性。對于無法通過隨機(jī)森林填補(bǔ)的數(shù)據(jù)項(xiàng)，進(jìn)一步采用后置填補(bǔ)法，即根據(jù)前后數(shù)據(jù)進(jìn)行補(bǔ)全，以確保數(shù)據(jù)的合理銜接。

經(jīng)過上述處理，最終獲得了一個包含42 900條記錄的數(shù)據(jù)集，涵蓋了2019年1月1日至2023年12月31日期間監(jiān)測站每小時的PM2.5數(shù)據(jù)。隨后，將數(shù)據(jù)集劃分為訓(xùn)練集和測試集，前38 610條數(shù)據(jù)用于模型訓(xùn)練，后4 290條數(shù)據(jù)用于測試，以進(jìn)行后續(xù)實(shí)驗(yàn)分析。

3.2" 特征相關(guān)性分析

本實(shí)驗(yàn)使用的數(shù)據(jù)集特征參數(shù)共包含14個維度：PM2.5、month、PM10、SO2、NO2、O3、CO、溫度、露點(diǎn)溫度、海平面氣壓、風(fēng)向、風(fēng)速、云量、降水量。這些特征參數(shù)均為每小時采樣一次，對應(yīng)的實(shí)驗(yàn)特征參數(shù)如表1所示。

如圖4可知，PM2.5是有明顯的季節(jié)性趨勢的，因此本研究將月份信息也考慮到PM2.5濃度的影響因素里面。

觀察圖5的Pearson系數(shù)相關(guān)性分析可知，PM2.5與PM10和CO之間有很強(qiáng)的正相關(guān)關(guān)系，與NO2有中等程度的正相關(guān)關(guān)系，這表明這些污染物可能來自相似的源頭，如交通和工業(yè)排放。氣象條件（如溫度、露點(diǎn)、海平面氣壓、風(fēng)向、風(fēng)速和云量）對PM2.5的影響較小，降水在短時間內(nèi)對PM2.5濃度也有一定的影響。

本實(shí)驗(yàn)旨在更好地探究PM2.5的規(guī)律特性，選定PM2.5、PM10、SO2、NO2、CO以及O3六種主要空氣污染物質(zhì)的濃度以及氣象因素包含氣溫、露點(diǎn)溫度、氣壓、風(fēng)向、風(fēng)速、云量、降水量和月份作為特征變量來進(jìn)行下一步研究。

3.3" 數(shù)據(jù)歸一化

由于數(shù)據(jù)集中各個特征數(shù)據(jù)的單位不同，數(shù)據(jù)的衡量標(biāo)準(zhǔn)差距過大，例如本實(shí)驗(yàn)所使用的數(shù)據(jù)集中CO值介于0.1～4.6 μg/m3之間，而PM2.5的值則在1～500 μg/m3之間，如果不做其他處理，直接將原始數(shù)據(jù)集作為模型輸入的話，勢必會影響模型的預(yù)測性能。因此，本實(shí)驗(yàn)在模型訓(xùn)練前先將原始數(shù)據(jù)集進(jìn)行Min-Max歸一化操作，來保證每個特征數(shù)據(jù)項(xiàng)的值介于[0，1]區(qū)間內(nèi)，使得訓(xùn)練數(shù)據(jù)更加平滑，同時也有助于模型訓(xùn)練時的收斂。Min-Max歸一化計算式為：

（8）

其中，xi為某一時刻i的實(shí)際觀測值，yi為該時刻i歸一化后的值，x為所有實(shí)際觀測值。得到歸一化的預(yù)測結(jié)果后，本實(shí)驗(yàn)使用式（9）進(jìn)行反歸一化，將預(yù)測結(jié)果轉(zhuǎn)換回原始的數(shù)值范圍。

（9）

其中，x*為反歸一化后得到的實(shí)際PM2.5濃度預(yù)測值，yi為該時刻i歸一化后的值。

4" 實(shí)驗(yàn)與分析

4.1" 實(shí)驗(yàn)設(shè)置及評價指標(biāo)

本實(shí)驗(yàn)使用Keras來搭建多特征PM2.5時間序列模型，構(gòu)建Attention-GRU網(wǎng)絡(luò)模型，以更好的捕捉到與PM2.5相似程度較高的特征權(quán)重信息，從而更好地預(yù)測未來PM2.5濃度。其中模型輸入包括PM2.5、PM10、SO2、NO2、CO以及O3六種主要空氣污染物質(zhì)的濃度，以及氣象因素包含氣溫、露點(diǎn)溫度、氣壓、風(fēng)向、風(fēng)速、云量、降水量和月份，這14個維度的參數(shù)依次作為特征一同輸入到網(wǎng)絡(luò)中。

在構(gòu)建網(wǎng)絡(luò)模型時，采用了GRU，其中隱含層的單元數(shù)量設(shè)定為64個。在模型訓(xùn)練階段，每個批次包含了30個樣本進(jìn)行訓(xùn)練，初始的學(xué)習(xí)率被設(shè)定為0.01，時間步長設(shè)為24。為了得到模型的最佳參數(shù)，訓(xùn)練時的迭代次數(shù)是一個需要調(diào)整的關(guān)鍵參數(shù)，一般來說，迭代次數(shù)越多，模型的訓(xùn)練效果會越精確。因此，在本實(shí)驗(yàn)中，迭代次數(shù)被設(shè)定為300次，以期達(dá)到較優(yōu)的訓(xùn)練效果。

本實(shí)驗(yàn)通過三個指標(biāo)來評估模型的預(yù)測精度：平均絕對百分比誤差（MAPE）、決定系數(shù)（R-squared）和均方根誤差（RMSE）。其中，較小的MAPE和RMSE值表明模型誤差更小，預(yù)測精度更高；而較大的決定系數(shù)（R2）值則意味著模型的擬合效果更佳。相應(yīng)的計算式為：

（10）

（11）

（12）

其中，m為測試集中的預(yù)測數(shù)量；yi為第i個樣本的預(yù)測值；為第i個樣本點(diǎn)的真實(shí)值。

4.2" 實(shí)驗(yàn)流程

本文的實(shí)驗(yàn)流程如圖6所示。實(shí)驗(yàn)首先導(dǎo)入并加載原始數(shù)據(jù)集，確保數(shù)據(jù)的完整性和一致性。接下來，對數(shù)據(jù)集進(jìn)行劃分，將其分為訓(xùn)練集、驗(yàn)證集和測試集，并對數(shù)據(jù)進(jìn)行歸一化處理，以消除量綱差異，提升模型訓(xùn)練的穩(wěn)定性和效率。在數(shù)據(jù)預(yù)處理完成后，進(jìn)行模型訓(xùn)練。選擇多種模型進(jìn)行訓(xùn)練，包括基礎(chǔ)模型和經(jīng)過改進(jìn)的高級模型。在訓(xùn)練過程中，監(jiān)控模型在驗(yàn)證集上的表現(xiàn)，根據(jù)設(shè)定的迭代次數(shù)和早停策略決定是否提前終止訓(xùn)練，以防過擬合并節(jié)省計算資源。同時，保存表現(xiàn)最佳的模型權(quán)重用于未來的PM2.5濃度預(yù)測。最終，實(shí)驗(yàn)對不同模型的預(yù)測結(jié)果進(jìn)行誤差統(tǒng)計與分析，評估其預(yù)測效果。通過對比不同模型在PM2.5濃度預(yù)測中的表現(xiàn)，討論各模型的優(yōu)缺點(diǎn)，從而為模型的改進(jìn)和實(shí)際應(yīng)用提供依據(jù)。

4.3" 實(shí)驗(yàn)對比與分析

將本實(shí)驗(yàn)提出的Attention-GRU模型與傳統(tǒng)的RNN模型、LSTM神經(jīng)網(wǎng)絡(luò)、GRU神經(jīng)網(wǎng)絡(luò)進(jìn)行對比分析，所有模型均統(tǒng)一預(yù)測未來1小時的PM2.5濃度值。具體的實(shí)驗(yàn)對比結(jié)果如表2所示。

通過表2實(shí)驗(yàn)結(jié)果可以看出，基礎(chǔ)模型中GRU相較于RNN和LSTM表現(xiàn)較好，但仍有較大的預(yù)測誤差，其中RMSE為54.38，MAPE為405.6，R2為0.742。引入注意力機(jī)制后，模型性能顯著提升。Attention-LSTM模型的RMSE降至13.18，MAPE為58.3，R2提升至0.903，顯示出注意力機(jī)制對LSTM模型的顯著改進(jìn)。對比之下，Attention-GRU模型的表現(xiàn)最為優(yōu)異，RMSE進(jìn)一步降低至10.49，MAPE減少到29.5，R2提升至0.940。這表明，MultiHeadAttention機(jī)制在GRU模型中效果尤為突出，能夠更有效地捕捉和利用時序數(shù)據(jù)中的關(guān)鍵特征。

通過對比還可以發(fā)現(xiàn)，表中加粗的Attention-GRU比Attention-LSTM在RMSE和MAPE的誤差更小，R2更接近于1，表明融入注意力機(jī)制的Attention-GRU模型能夠更好地擬合未來PM2.5濃度的值。Attention-GRU模型在測試集上的預(yù)測值與真實(shí)值的對比如圖7所示。從圖中可以看出，即使在一些拐點(diǎn)，本實(shí)驗(yàn)的模型預(yù)測結(jié)果也與真實(shí)值非常接近。

為了充分驗(yàn)證本實(shí)驗(yàn)提出的Attention-GRU的穩(wěn)健性能，將其與Attention-LSTM、GRU和LSTM模型進(jìn)行了后6小時較為長期的PM2.5濃度值預(yù)測實(shí)驗(yàn)，對比實(shí)驗(yàn)以RMSE作為評價指標(biāo)。實(shí)驗(yàn)預(yù)測結(jié)果如圖8所示。

從圖8的結(jié)果可以進(jìn)一步分析，Attention-GRU模型在各預(yù)測步長中的優(yōu)勢尤其明顯。特別是在第3和第5步長上，Attention-GRU的RMSE值顯著低于其他模型，說明它能夠更好地捕捉數(shù)據(jù)的時序特征并有效應(yīng)對復(fù)雜的PM2.5濃度波動。相比之下，盡管GRU模型在個別步長上表現(xiàn)較為接近，但整體誤差較大，說明其在長時間序列預(yù)測中的能力仍有局限。

Attention-LSTM和LSTM模型的表現(xiàn)較為相似，盡管二者在不同步長上的誤差穩(wěn)定性較高，但在預(yù)測精度上不如GRU類模型。這表明LSTM在處理PM2.5濃度這種復(fù)雜多變的時序數(shù)據(jù)時，優(yōu)勢并不顯著，尤其在引入Attention機(jī)制后，提升效果有限。

綜合來看，Attention機(jī)制在GRU模型中的應(yīng)用顯著提升了模型的預(yù)測能力，使其在應(yīng)對復(fù)雜時序數(shù)據(jù)時更加精確。而LSTM模型即使引入Attention，改進(jìn)效果仍然不明顯，可能與其網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)特征的匹配度有關(guān)。這表明在未來的模型設(shè)計中，可以重點(diǎn)考慮Attention機(jī)制與GRU的結(jié)合，以進(jìn)一步優(yōu)化大氣污染物預(yù)測的模型性能。

5" 結(jié)" 論

在本文中，我們提出了一種將多頭注意力機(jī)制融入GRU神經(jīng)網(wǎng)絡(luò)的模型Attention-GRU，用于PM2.5濃度的預(yù)測。通過與經(jīng)典時間序列模型RNN、LSTM和GRU進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，Attention-GRU在預(yù)測精度上顯著優(yōu)于其他模型，尤其是在長期預(yù)測中展現(xiàn)了較高的準(zhǔn)確性和穩(wěn)定性。這證明了多頭注意力機(jī)制能夠有效增強(qiáng)GRU對復(fù)雜時序數(shù)據(jù)的捕捉能力，并提升模型的預(yù)測性能。

盡管本研究在PM2.5預(yù)測上取得了不錯的預(yù)測效果，但仍存在一些局限性。首先，模型未考慮工廠聚集地及人為活動等外部因素對PM2.5濃度的影響。這些因素可能在實(shí)際應(yīng)用中起到關(guān)鍵作用，因此未來研究將會進(jìn)一步探索更多潛在的影響因素。其次，本研究主要聚焦于單一的多頭注意力機(jī)制，未來工作中可以嘗試引入混合注意力機(jī)制或結(jié)合其他深度學(xué)習(xí)方法，以提高模型對復(fù)雜環(huán)境因素下PM2.5濃度的預(yù)測能力。

參考文獻(xiàn)：

[1] 周珍，邢瑤瑤，林云，等.中央與地方政府PM2.5治理策略分析 [J].運(yùn)籌與管理，2020，29（1）：32.

[2] 王昭，嚴(yán)小兵.長江三角洲城市群PM2.5時空演變及影響因素 [J].長江流域資源與環(huán)境，2020，29（7）：1497-1506.

[3] CORDOVA C H，PORTOCARRERO M N L，SALAS R，et al. Air quality assessment and Pollution Forecasting Using Artificial Neural Networks in Metropolitan Lima-Peru [J].Scientific Reports，2021，11（1）：24232.

[4] LIU Y，ZHU J，LI E Y，et al. Environmental Regulation， Green Technological Innovation，And Eco-Efficiency：The Case of Yangtze River Economic Belt in China [J].Technological Forecasting and Social Change，2020，155：119993.

[5] 盧鋆鏌，曾穗平，曾堅，等.基于隨機(jī)森林的高分辨率PM2.5濃度時空變化模擬——以中原城市群核心區(qū)為例 [J].中國環(huán)境科學(xué)，2023，43（7）：3299-3311.

[6] 夏曉圣，陳菁菁，王佳佳，等.基于隨機(jī)森林模型的中國PM2.5濃度影響因素分析 [J].環(huán)境科學(xué)，2020，41（5）：2057-2065.

[7] 彭玉青，喬穎，陶慧芳，等.融入注意力機(jī)制的PM2.5預(yù)測模型 [J].傳感器與微系統(tǒng)，2020，39（7）：44-47.

[8] 王平，許瀕月，雷卓祎，等.基于季節(jié)趨勢分解的PM_（2.5）濃度混合預(yù)測模型 [J/OL].山西大學(xué)學(xué)報：自然科學(xué)版，2024：1-10[2024-08-01].https：//doi.org/10.13451/j.sxu.ns.2024045.

[9] 彭豪杰，周楊，胡校飛，等.基于深度學(xué)習(xí)與隨機(jī)森林的PM2.5濃度預(yù)測模型 [J].遙感學(xué)報，2023，27（2）：430-440，2023，27（2）.

[10] 劉義卿，陳新房，趙晗清.基于ResNet+GRU組合模型的負(fù)電荷預(yù)測方法研究 [J].電腦與電信，2024，1（5）：89.

[11] 任歡，王旭光.注意力機(jī)制綜述 [J].計算機(jī)應(yīng)用，2021，41（z1）：1-6.

[12] LI J，WANG X，TU Z，et al. On the Diversity of Multi-Head Attention [J].Neurocomputing，2021，454：14-24.

作者簡介：張黎鵬（2000—），男，漢族，河南洛陽人，碩士在讀，研究方向：時間序列分析；通信作者：劉慶杰（1978—），男，漢族，河南洛陽人，教授，碩士，研究方向：大數(shù)據(jù)處理。

收稿日期：2024-08-21