基于神經(jīng)網(wǎng)絡(luò)的空氣質(zhì)量預(yù)測研究

何法虎，梁健濤

（華北理工大學(xué)人工智能學(xué)院，唐山063200）

0 引言

近幾年來，我國的大氣環(huán)境質(zhì)量日趨下降，我國在保護(hù)環(huán)境方面面臨著巨大的壓力[1]?；谏窠?jīng)網(wǎng)絡(luò)的空氣質(zhì)量的預(yù)測打破傳統(tǒng)的空氣質(zhì)量監(jiān)測，能預(yù)測短時間內(nèi)的空氣質(zhì)量，為環(huán)境保護(hù)部門提供預(yù)警信息，有效及時地處理環(huán)境污染問題。

20世紀(jì)以來，國外環(huán)境部門最初是通過站點的監(jiān)測數(shù)據(jù)對污染源進(jìn)行分析，判定污染源的排放量來對空氣質(zhì)量進(jìn)行研究。后來利用統(tǒng)計學(xué)方法對監(jiān)測站點收集的數(shù)據(jù)進(jìn)行分析，進(jìn)行空氣質(zhì)量的預(yù)測。統(tǒng)計學(xué)方法預(yù)測空氣質(zhì)量需要大量的實際站點采集的數(shù)據(jù)，而且對數(shù)據(jù)的穩(wěn)定性要求比較高。隨著互聯(lián)網(wǎng)時代的發(fā)展已經(jīng)神經(jīng)網(wǎng)絡(luò)的不斷改進(jìn)，使用神經(jīng)網(wǎng)絡(luò)對空氣質(zhì)量進(jìn)行預(yù)測也成為國外研究者的主要方法[2]。

因為空氣質(zhì)量數(shù)據(jù)具有時間序列的特性，所以在文中使用了具有時間序列特性的傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)RNN、長短期記憶網(wǎng)絡(luò)（LSTM）和門控單元（GRU）進(jìn)行空氣質(zhì)量數(shù)據(jù)的預(yù)測。通過均方根誤差和R方的分來判定模型的擬合程度，根據(jù)幾種神經(jīng)網(wǎng)絡(luò)模型預(yù)測的結(jié)果，選取一種預(yù)測空氣質(zhì)量合適的神經(jīng)網(wǎng)絡(luò)進(jìn)行應(yīng)用。

1 算法實現(xiàn)

1.1 神經(jīng)網(wǎng)絡(luò)模型介紹

在文中使用了循環(huán)神經(jīng)網(wǎng)絡(luò)對空氣質(zhì)量數(shù)據(jù)進(jìn)行分析研究，首先介紹的是最基本的循環(huán)神經(jīng)網(wǎng)絡(luò)RNN。循環(huán)神經(jīng)網(wǎng)絡(luò)在處理和預(yù)測具有時間序列特性的數(shù)據(jù)方面有著較強(qiáng)的處理能力。空氣質(zhì)量數(shù)據(jù)具有時間序列的特性，當(dāng)前時刻的信息與前一個或幾個時刻的信息有較大的關(guān)聯(lián)[3]，所以選擇循環(huán)神經(jīng)網(wǎng)絡(luò)在處理空氣質(zhì)量數(shù)據(jù)。RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層的輸入不僅來自輸入層，還來自于過去時刻的隱藏層。RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖1所示。

圖1 RNN循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

h為隱藏狀態(tài)，y為可選擇使用的輸出，兩者構(gòu)成了RNN循環(huán)神經(jīng)網(wǎng)絡(luò)。V為隱藏狀態(tài)h到輸出y之間的權(quán)重矩陣，W作為上一個時間點的隱藏狀態(tài)hi-1與當(dāng)前時間點的隱藏狀態(tài)hi之間的權(quán)重，U表示當(dāng)前時刻的輸入x與當(dāng)前隱藏狀態(tài)h之間的權(quán)重，F(xiàn)i和ti表示逐步的損失和訓(xùn)練的結(jié)果。RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層的更新如公式（1）所示。

在公式（1）中，f表示非線性激活函數(shù)，xi為當(dāng)前時刻的輸入，hi-1為上一時刻的隱藏狀態(tài)。在本文中使用的非線性激活函數(shù)為Sigmoid[4]。Sigmoid激活函數(shù)是一個將輸入轉(zhuǎn)化為0-1之間的輸出的函數(shù)，其表達(dá)式為公式（2）。

基本循環(huán)神經(jīng)網(wǎng)絡(luò)RNN由于是一個循環(huán)體的不斷循環(huán)，所以容易發(fā)生梯度爆炸的情況。為了減小這種梯度爆炸發(fā)生的概率，研究者們提出了RNN的變體模型為長短期記憶網(wǎng)絡(luò)（LSTM）。在長短期記憶網(wǎng)絡(luò)LSTM中，加入了輸入門、遺忘門和輸出門三種門控結(jié)構(gòu)來控制上一時刻信息的保留程度[5]。LSTM的基本結(jié)構(gòu)如圖2所示。

圖2 LSTM基本結(jié)構(gòu)圖

遺忘門綜合當(dāng)前時刻的輸入Xt與上一時刻的輸出Ht-1來考慮信息的有效性。遺忘門首先會生成一個矢量f=sigmoid（Wf[Ht-1，Xt]），然后與隱藏層的上一刻狀態(tài)Ct-1相乘，如果值接近于1，大量的信息都是有效的，能夠被保留使用，如果值接近0，則代表信息是無效的，被遺忘門遺棄不被使用。

輸入門的作用就是補(bǔ)充并更新循環(huán)體的最新信息。首先將上一時刻的輸出信息Ht-1與當(dāng)前時刻的輸入Xt通過矩陣相加，傳遞到Sigmoid函數(shù)[6]，然后將這兩個信息再次傳遞到tanh函數(shù)中，得到的結(jié)果與遺忘門的結(jié)果共同構(gòu)成新的隱藏層狀態(tài)Ct。通過這兩個門可以確定哪些信息有效哪些信息被遺棄。

輸出門用于生成當(dāng)前時刻的輸出Ht。各個門的公式如下所示：

其中Wz、Wi、Wf和Wo表示每個結(jié)構(gòu)體上的權(quán)重參數(shù)。

GRU模型是LSTM的變體，能夠解決時間序列的長時依賴性問題。本文通過對比LSTM和GRU在所選數(shù)據(jù)上的準(zhǔn)確度來選擇適合的模型。GRU模型中只有兩個門：更新門和重置門。更新門的作用相當(dāng)于LSTM網(wǎng)絡(luò)中遺忘門和輸入門的結(jié)合，可以決定哪些信息有效，需要被模型保留，哪些信息無效需要被遺棄[7]。公式為：

1.2 實驗過程

實驗方案采用理論與實踐相結(jié)合的方式，環(huán)境質(zhì)量數(shù)據(jù)是從中國環(huán)境監(jiān)測總站實時發(fā)布的空氣質(zhì)量數(shù)據(jù)獲得。利用Python中數(shù)據(jù)分析技術(shù)對獲取的數(shù)據(jù)進(jìn)行清理與整合，結(jié)合神經(jīng)網(wǎng)絡(luò)模型相關(guān)理論方法，確定總體方案，建立神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)空氣質(zhì)量的預(yù)測。技術(shù)路線包括Python開發(fā)環(huán)境的搭建，數(shù)據(jù)的預(yù)處理，數(shù)據(jù)分析，神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和評估四個主要階段。

（1）Python開發(fā)環(huán)境的搭建：本實驗所采用的開發(fā)環(huán)境為Python，安裝實驗中所需要的各種工具包，并搭建TensorFlow學(xué)習(xí)框架。這個框架可以為應(yīng)用程序提供靈活的計算圖，建立神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，并能直觀地對網(wǎng)絡(luò)模型的結(jié)構(gòu)進(jìn)行靈活的操作。

（2）數(shù)據(jù)的預(yù)處理：數(shù)據(jù)集的質(zhì)量直接影響模型的訓(xùn)練的速度和效力。數(shù)據(jù)的預(yù)處理包括：數(shù)據(jù)的讀取，數(shù)據(jù)缺失值的處理，異常值的處理，以及各個屬性的表現(xiàn)形式。

（3）數(shù)據(jù)分析：數(shù)據(jù)預(yù)處理之后，對數(shù)據(jù)進(jìn)行分析，主要分析各個污染物濃度隨時間的變化規(guī)律和各個污染物之間的關(guān)聯(lián)關(guān)系。

（4）神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和評估：將經(jīng)過處理的空氣質(zhì)量數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)。建立神經(jīng)網(wǎng)絡(luò)模型，并用訓(xùn)練集訓(xùn)練該模型，找到損失函數(shù)最小的最優(yōu)模型參數(shù)，在測試集上對最優(yōu)函數(shù)的性能進(jìn)行評估，并且通過測試集對模型的泛化能力進(jìn)行評估。

2 實驗結(jié)果分析

在數(shù)據(jù)進(jìn)行預(yù)處理與分析之后，我首先選擇了幾種簡單的模型進(jìn)行了預(yù)訓(xùn)練，分別是隨機(jī)森林、梯度提升樹、XGBoost回歸模型和神經(jīng)網(wǎng)絡(luò)回歸模型[8]。使用Python中Sklearn工具庫進(jìn)行了模型的訓(xùn)練得出每個模型的R方得分，具體模型的R方得分見表1所示。

表1 普通模型R方得分

在初步的使用LSTM模型進(jìn)行訓(xùn)練，得到的R方得分為0.9737。在LSTM模型訓(xùn)練時，損失函數(shù)公式為：

為了避免過擬合，一種常用的方法就是正則化。通過在損失函數(shù)中加入映射模型復(fù)雜程度的參數(shù)，提高模型的泛化能力[9]。假設(shè)模型的損失函數(shù)為J（θ），R（w）代表了模型的復(fù)雜程度。

正則化表達(dá)式有L1正則化和L2正則化兩種[10]，L1正則化公式為：

L2正則化公式為：

為了防止過擬合，加入L2正則化項為：

其中φ是一個L2范數(shù)的參數(shù)，訓(xùn)練模型中加入了L2正則化方法來解決過擬合問題。圖3為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)損失函數(shù)圖。

圖3實驗損失函數(shù)圖

圖3 可以看出，損失值在100步以前下降特別快，在100步到500步之間有輕微的波動，500步以后趨于平穩(wěn)，模型收斂，訓(xùn)練完成。

3 結(jié)語

本文提出了使用神經(jīng)網(wǎng)絡(luò)進(jìn)行空氣質(zhì)量的預(yù)測，空氣質(zhì)量的預(yù)測在實際生活中有很重要的意義，人們的日常生活和健康都與空氣質(zhì)量的好壞有直接的關(guān)系。在近幾年，研究者們對空氣質(zhì)量的不斷研究，給出了可行的解決方案，我國的空氣質(zhì)量得到了很大的改善。因為空氣質(zhì)量數(shù)據(jù)具有一定的時間序列的特性，在本文中選擇了循環(huán)神經(jīng)網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)在解決時間序列數(shù)據(jù)時具有選擇性，預(yù)防梯度爆炸的情況發(fā)生。在文中給出了基于神經(jīng)網(wǎng)絡(luò)模型的空氣質(zhì)量預(yù)測的實驗驗證，分析在具有時間序列的空氣質(zhì)量數(shù)據(jù)中使用循環(huán)神經(jīng)網(wǎng)絡(luò)具有一定的優(yōu)勢。該算法可用于解決實際工作中的一些相關(guān)問題，具有一定的實際意義。