基于GA-BPNN 的PM2.5 濃度預(yù)測(cè)模型

鄭俊褒，華思潔

（浙江理工大學(xué) 信息學(xué)院，浙江杭州 310016）

0 引言

隨著當(dāng)前社會(huì)工業(yè)化水平的提升和自然災(zāi)害發(fā)生頻率的增加，空氣質(zhì)量成為越來越值得重視的問題。PM2.5濃度是衡量空氣質(zhì)量的一項(xiàng)重要指標(biāo)，它指環(huán)境空氣中空氣動(dòng)力學(xué)當(dāng)量直徑小于等于2.5 微米的顆粒物，對(duì)人體健康危害極大，PM2.5 所吸附的重金屬、苯并芘等致癌物、持久性有機(jī)污染物等，會(huì)經(jīng)過呼吸系統(tǒng)進(jìn)入人體，直接影響到肺，對(duì)人體造成重金屬中毒、患癌幾率上升、生殖生育危害等問題［1］。提前預(yù)測(cè)未來PM2.5 濃度可以為人們出行提供健康有效的信息［2］。

基于機(jī)器學(xué)習(xí)算法的PM2.5 濃度預(yù)測(cè)模型近年來發(fā)展迅速，張怡文等［3］利用PCA 的方法對(duì)數(shù)據(jù)進(jìn)行降維，在提高預(yù)測(cè)準(zhǔn)確率的同時(shí)，降低了時(shí)間復(fù)雜度，并將降維后的數(shù)據(jù)賦給BP 神經(jīng)網(wǎng)絡(luò)模型以完成預(yù)測(cè)；陳志文等［4］采用openstack 云計(jì)算組件，部署大數(shù)據(jù)平臺(tái)以完善BP 神經(jīng)網(wǎng)絡(luò)，通過自我學(xué)習(xí)提高預(yù)測(cè)準(zhǔn)確率；Luo 等［5］基于圖像的方法，采用深度學(xué)習(xí)和機(jī)器學(xué)習(xí)擴(kuò)展對(duì)PM2.5 的感知能力，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)和梯度增強(qiáng)機(jī)，組成端到端模型進(jìn)行預(yù)測(cè)；劉林波等［6］采用遺傳算法優(yōu)化后的BP 神經(jīng)網(wǎng)絡(luò)建立PM2.5濃度預(yù)測(cè)模型，驗(yàn)證其比BP 神經(jīng)網(wǎng)絡(luò)具有更好的精度。

作為傳統(tǒng)經(jīng)典算法，BP 神經(jīng)網(wǎng)絡(luò)在PM2.5 濃度預(yù)測(cè)領(lǐng)域也有著豐富的成果［7-9］，而由于其存在隨機(jī)初始權(quán)值和閾值、隱含層神經(jīng)元節(jié)點(diǎn)數(shù)選擇具有主觀性、易陷入局部最優(yōu)等缺陷，模型精度還有較大提升空間［10-11］。神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值一般通過初始化為［-0.5，0.5］區(qū)間的隨機(jī)數(shù)而確定，該初始化參數(shù)對(duì)網(wǎng)絡(luò)訓(xùn)練影響很大，但是又無法準(zhǔn)確獲得［12］，對(duì)于相同的初始權(quán)重值和閾值，網(wǎng)絡(luò)訓(xùn)練結(jié)果一樣。本文引入遺傳算法就是為了優(yōu)化出最優(yōu)的初始權(quán)值和閾值［13］，隱含層神經(jīng)元節(jié)點(diǎn)數(shù)采用Kolmogorov 定理，設(shè)置為2n+1（n為輸入層節(jié)點(diǎn)數(shù)），并在一層隱含層的結(jié)構(gòu)基礎(chǔ)上設(shè)置三層隱含層，提高特征學(xué)習(xí)能力，進(jìn)一步提升PM2.5 濃度預(yù)測(cè)準(zhǔn)確率［14-16］。

1 基于GA 的BPNN 優(yōu)化算法

1.1 BP 神經(jīng)網(wǎng)絡(luò)

20 世紀(jì)80 年代，Rumelhart&McClelland 等學(xué)者提出了一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，即為目前應(yīng)用最廣泛的BP 神經(jīng)網(wǎng)絡(luò)，BP 神經(jīng)網(wǎng)絡(luò)的基本思想是梯度下降法，利用梯度搜索技術(shù)，使得網(wǎng)絡(luò)的實(shí)際輸出值和期望輸出值的誤差均方差最小。

一個(gè)BP 神經(jīng)網(wǎng)絡(luò)模型通常由一個(gè)輸入層、一個(gè)或多個(gè)隱含層、一個(gè)輸出層組成，如何設(shè)計(jì)各層之間的權(quán)重值是構(gòu)建BP 網(wǎng)絡(luò)的重點(diǎn)。

近年來，BP 神經(jīng)網(wǎng)絡(luò)以其強(qiáng)大的非線性映射能力和泛化性、獨(dú)特的適應(yīng)性，在函數(shù)逼近、模式識(shí)別、分類問題、數(shù)據(jù)壓縮等領(lǐng)域均取得了豐富的成果。但同時(shí)，它也存在收斂速度慢、易陷入局部最優(yōu)、網(wǎng)絡(luò)層數(shù)和神經(jīng)元個(gè)數(shù)容易受主觀影響等問題［17-18］。

1.2 算法流程

遺傳算法是根據(jù)大自然中生物體進(jìn)化規(guī)律而提出，是模擬達(dá)爾文生物進(jìn)化論的自然選擇和遺傳學(xué)機(jī)理的生物進(jìn)化過程的計(jì)算模型，是一種通過模擬自然進(jìn)化過程搜索最優(yōu)解的方法。針對(duì)BP 神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu)的缺陷，本文利用遺傳算法的全局搜索能力優(yōu)化BP 網(wǎng)絡(luò)的初始權(quán)重值和閾值，使優(yōu)化后的預(yù)測(cè)模型能夠更好地進(jìn)行訓(xùn)練和測(cè)試。基于遺傳算法優(yōu)化BP 神經(jīng)網(wǎng)絡(luò)流程如圖1 所示。

Fig.1 Algorithm process圖1 算法流程

1.3 遺傳算法實(shí)現(xiàn)

使用遺傳算法優(yōu)化BP 神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值的主要步驟為種群初始化、適應(yīng)度函數(shù)計(jì)算、選擇、交叉重組、變異、子代重插入到父代得到新種群、代計(jì)數(shù)器增加、記錄每代最優(yōu)值。

（1）種群初始化。本文的網(wǎng)絡(luò)結(jié)構(gòu)是10-21-21-21-1，權(quán)值和閾值個(gè)數(shù)如表1 所示。

Table1 Number of weights and thresholds表1 權(quán)值、閾值個(gè)數(shù)

個(gè)體編碼采用二進(jìn)制編碼，每個(gè)個(gè)體均為一個(gè)二進(jìn)制串，由輸入層與第一隱含層連接權(quán)值、第一隱含層閾值、第一隱含層與第二隱含層連接權(quán)值、第二隱含層閾值、第二隱含層與第三隱含層連接權(quán)值、第三隱含層閾值、第三隱含層與輸出層連接權(quán)值、輸出層閾值8 個(gè)部分組成。假定編碼為10 位二進(jìn)制數(shù)，則個(gè)體二進(jìn)制編碼長(zhǎng)度為11 770。其中，1～2 100 位為輸入層與第一隱含層的連接權(quán)值編碼；2 101～2 310 位為第一隱含層閾值，依此類推。

（2）適應(yīng)度函數(shù)。本文所用的適應(yīng)度分配函數(shù)為：FitV=ranking（obj），obj 為目標(biāo)函數(shù)的輸出。為了使預(yù)測(cè)值與實(shí)際值的殘差盡可能小，目標(biāo)函數(shù)的輸出設(shè)置為測(cè)試樣本的預(yù)測(cè)值與實(shí)際值的誤差矩陣的范數(shù)。

（3）選擇、交叉重組、變異。其中，選擇算子使用隨機(jī)遍歷抽樣（sus），交叉算子使用單點(diǎn)交叉算子，變異是以一定概率的隨機(jī)方法選出變異基因，將其二進(jìn)制編碼進(jìn)行0-1交換。

2 模型構(gòu)建與實(shí)驗(yàn)

2.1 數(shù)據(jù)預(yù)處理

2.1.1 數(shù)據(jù)缺失值及特征化處理

本文數(shù)據(jù)預(yù)處理包括缺失值處理、特征化處理、卡方檢驗(yàn)確定影響因子以及歸一化處理。

本次實(shí)驗(yàn)的數(shù)據(jù)來自中國(guó)環(huán)境監(jiān)測(cè)總站的全國(guó)城市空氣質(zhì)量實(shí)時(shí)發(fā)布平臺(tái)，以杭州市為例，選取2020 年5 月1日至2020 年6 月20 日、時(shí)間間隔為一小時(shí)的共1 223 組數(shù)據(jù)，數(shù)據(jù)集包括PM2.5、PM10、SO2、NO2、O3、CO 濃度，其中缺失2 組，以等間距牛頓插值法補(bǔ)全，如式（1）所示。

其中，h為節(jié)點(diǎn)間距，x1、x2分別為缺失值的前后兩個(gè)數(shù)據(jù)。

天氣相關(guān)數(shù)據(jù)來自www.k780.com 網(wǎng)站，它提供了包括溫度、濕度、風(fēng)向、風(fēng)級(jí)以及天氣狀況在內(nèi)的以小時(shí)為單位采集的數(shù)據(jù)，同樣收集2020 年5 月1 日至2020 年6 月20 日之間的數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)無法識(shí)別文本數(shù)據(jù)，因此將數(shù)據(jù)中的風(fēng)向（東北、東、東南、南、西南、西、西北、北）分別用1-8 代替，天氣狀況（晴、多云、陰、雨）分別用1-4 代替。

2.1.2 卡方檢驗(yàn)確定影響因子

為確定天氣數(shù)據(jù)中哪些為PM2.5 濃度的影響因子，本文采用卡方檢驗(yàn)方法得到這些數(shù)據(jù)。其中，溫度、濕度、風(fēng)級(jí)和天氣狀況會(huì)影響PM2.5 的濃度。以濕度為例，進(jìn)行卡方檢驗(yàn)具體步驟如下：

（1）H0假設(shè)濕度與PM2.5 濃度（單位：μg/m3）無關(guān)，平均濕度（采用四舍五入，單位：%單位濕度）與PM2.5 濃度的頻數(shù)如表2 所示。

Table 2 Frequency relationship between average humidity and PM2.5 concentration表2 平均濕度與PM2.5 濃度的頻數(shù)關(guān)系

Table 3 Expected frequency of average humidity and PM2.5 concentration表3 平均濕度與PM2.5 濃度的期望頻數(shù)

（3）確定自由度（7-1）*（4-1）=18，取顯著性水平0.005，根據(jù)CHIINV（0.005，18）得到臨界值P=37.2。

（4）因?yàn)閤2>P，則拒絕原假設(shè)，即濕度與PM2.5濃度有關(guān)。

2.1.3 數(shù)據(jù)歸一化處理

由于PM2.5 濃度的各影響因子數(shù)據(jù)范圍不同，可能會(huì)影響神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度和表達(dá)能力，為提升模型效果，先對(duì)數(shù)據(jù)集進(jìn)行歸一化處理，本文采用max-min 數(shù)據(jù)歸一化方法，將所有數(shù)據(jù)縮放到0-1 范圍內(nèi)。

其中，x為原始值，xmax、xmin分別為該變量的最大值和最小值，xn為歸一化處理后的值。

2.2 模型構(gòu)建

2.2.1 模型結(jié)構(gòu)

在BP 神經(jīng)網(wǎng)絡(luò)模型建立過程中，輸入、輸出數(shù)據(jù)的選擇會(huì)直接影響到模型性能。本文預(yù)測(cè)杭州市PM2.5 濃度變化，輸入數(shù)據(jù)層為前一時(shí)刻的PM2.5、PM10、SO2、NO2、O3、CO 濃度，以及溫度、濕度、風(fēng)級(jí)和天氣狀況，輸出層為后一時(shí)刻的PM2.5 濃度。訓(xùn)練數(shù)據(jù)集為前1 023 組，測(cè)試數(shù)據(jù)集為后200 組。

考慮到PM2.5 濃度預(yù)測(cè)是一個(gè)涉及時(shí)間序列的較為復(fù)雜的非線性函數(shù)，一層隱含層的擬合效果不一定能很好地達(dá)到預(yù)期效果，因此本文神經(jīng)網(wǎng)絡(luò)模型的隱含層層數(shù)設(shè)置為三層，模型結(jié)構(gòu)如圖2 所示。

Fig.2 Neural network topology圖2 神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

其中，wi為各層之間權(quán)重值，Bi為各隱含層與輸出層的閾值。

為了將多個(gè)線性輸入轉(zhuǎn)換為非線性關(guān)系，需要在隱含層與輸出層的輸入與輸出之間添加激勵(lì)函數(shù)，激勵(lì)函數(shù)取雙曲正切函數(shù)：

訓(xùn)練函數(shù)取L-M 優(yōu)化算法，即trainlm 函數(shù)，該算法對(duì)于中等規(guī)模的BP 神經(jīng)網(wǎng)絡(luò)有著最快的收斂速度。

2.2.2 模型建立

為驗(yàn)證GA-BP 神經(jīng)網(wǎng)絡(luò)模型在PM2.5 濃度預(yù)測(cè)問題上的可操作性和有效性，在配置為64 位、內(nèi)存為8GB 的Mac OS X操作系統(tǒng)與MATLABR2017b平臺(tái)上進(jìn)行仿真實(shí)驗(yàn)。

本文將遺傳算法與BP 神經(jīng)網(wǎng)絡(luò)結(jié)合，構(gòu)成GA-BPNN模型，用遺傳算法概率化的尋優(yōu)方法，自適應(yīng)地調(diào)整搜索方向，確定輸入層與第一隱含層、各隱含層之間、第三隱含層與輸出層的最優(yōu)權(quán)重值，以及各隱含層與輸出層的最優(yōu)閾值，使得原BP 神經(jīng)網(wǎng)絡(luò)模型在預(yù)測(cè)效果上得到提升。實(shí)驗(yàn)相關(guān)參數(shù)如表4、表5 所示。

Table 4 Genetic algorithm parameter setting表4 遺傳算法參數(shù)設(shè)置

Table 5 GA-BP model parameter setting表5 GA-BP 模型參數(shù)設(shè)置

3 實(shí)驗(yàn)結(jié)果及分析

3.1 評(píng)價(jià)指標(biāo)

本文采用的模型預(yù)測(cè)精度評(píng)價(jià)指標(biāo)主要包括均方根誤差（RMSE）、平均絕對(duì)誤差（MAE）、一致性指數(shù)（IA）。均方根誤差和平均絕對(duì)誤差是衡量預(yù)測(cè)值與實(shí)際值之間的偏差，其值越小越好，一致性指數(shù)則是預(yù)測(cè)值和實(shí)際值趨勢(shì)變化的體現(xiàn)，越接近于1 說明變化的一致性越高。

其中，N為預(yù)測(cè)樣本個(gè)數(shù)，T_sim為模型預(yù)測(cè)值，T_test為樣本實(shí)際值，為樣本實(shí)際值的平均值。

3.2 GA-BPNN 模型與比較模型預(yù)測(cè)結(jié)果分析

為驗(yàn)證本文算法的可行性，使用訓(xùn)練數(shù)據(jù)集分別訓(xùn)練隨機(jī)權(quán)值和閾值的傳統(tǒng)BPNN 模型、傳統(tǒng)LSTM 模型、基于GA 優(yōu)化后的權(quán)值和閾值的BPNN 一層隱含層模型和三層隱含層模型，預(yù)測(cè)結(jié)果如圖3—圖6 所示，4 種模型的相對(duì)誤差比較如圖7 所示。

Fig.3 BPNN prediction effect圖3 BPNN 預(yù)測(cè)效果

Fig.4 Traditional LSTM model prediction effect圖4 傳統(tǒng)LSTM 模型預(yù)測(cè)效果

Fig.5 Prediction effect of one hidden layer of GA-BPNN圖5 GA-BPNN 一層隱含層預(yù)測(cè)效果

Fig.6 Prediction effect of three hidden layers of GA-BPNN圖6 BPNN 三層隱含層預(yù)測(cè)效果

Fig.7 Comparison of the relative errors of the four models圖7 4 種模型相對(duì)誤差比較

由圖3—圖6 可以看出，GA-BPNN 模型的預(yù)測(cè)曲線比傳統(tǒng)BPNN 模型更為貼合，而三層隱含層的效果比一層隱含層擬合度更高，預(yù)測(cè)精度更好；由圖7 可以看出，GABPNN 模型的相對(duì)誤差值相對(duì)BPNN 模型和LSTM 模型明顯下降，說明預(yù)測(cè)效果得到提升。4 種模型的預(yù)測(cè)評(píng)價(jià)指標(biāo)如表6 所示。

Table 6 Model evaluation index comparison表6 模型評(píng)價(jià)指標(biāo)比較

可以看出，相較于傳統(tǒng)BPNN 模型和傳統(tǒng)LSTM 模型，本文GA-BPNN 模型相對(duì)于傳統(tǒng)BPNN 在誤差上降低了較大幅度，擬合度也得到了16.4%的提升，使用GA-BPNN 算法在運(yùn)行時(shí)間上雖稍有增加，但仍在合理范圍內(nèi)，說明GA-BPNN 模型針對(duì)PM2.5 濃度預(yù)測(cè)準(zhǔn)確性較高，同時(shí)有較快的收斂速度及較好的穩(wěn)定性，是一種應(yīng)用前景良好的預(yù)測(cè)模型。

4 結(jié)語

PM2.5 濃度的變化會(huì)受到土壤揚(yáng)塵、植物花粉、細(xì)菌、自然災(zāi)害等自然源和工業(yè)燃料燃燒、交通工具尾氣排放、不完全燃燒的煙草產(chǎn)品等人為源因素的影響，具有很強(qiáng)的實(shí)時(shí)性與復(fù)雜的非線性。本文為解決BPNN 存在的易陷入局部最優(yōu)的問題，將具有良好全局尋優(yōu)能力的遺傳算法與強(qiáng)大的非線性映射能力的BPNN 相結(jié)合，提出了基于GABPNN 模型的PM2.5 濃度預(yù)測(cè)模型，用得到的最優(yōu)權(quán)值及閾值進(jìn)行訓(xùn)練，將優(yōu)化后的模型用于預(yù)測(cè)，并與傳統(tǒng)BPNN 模型作比較。實(shí)驗(yàn)結(jié)果表明，本文算法在預(yù)測(cè)精度上有所提升，均方根誤差和平均絕對(duì)誤差降低，擬合結(jié)果更優(yōu)，可以為PM2.5 濃度提供更完善的預(yù)測(cè)信息。在遺傳算法訓(xùn)練過程中，迭代次數(shù)相對(duì)較高是目前存在的問題，如何提高算法收斂速度是下一步研究方向。