基于區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)的臭氧濃度預(yù)測(cè)

趙曉東 徐浩然 郭志萍* 任改莎

1(河北科技大學(xué)信息化建設(shè)與管理中心 河北 石家莊 050011) 2(河北科技大學(xué)信息科學(xué)與工程學(xué)院 河北 石家莊 050011) 3(石家莊市鹿泉區(qū)氣象局 河北 石家莊 050200)

0 引 言

近年來(lái)，隨著經(jīng)濟(jì)水平的提高和城市的快速發(fā)展，大氣中臭氧濃度越來(lái)越高，臭氧作為一種氧化劑，也是光化學(xué)煙霧污染的重要因素[1]。但是不同于其他類型的污染物，臭氧是一種二次污染物，來(lái)自于大氣中復(fù)雜的光化學(xué)反應(yīng)，主要前體物為氮氧化物和非甲烷烴[2]。根據(jù)相關(guān)研究顯示，臭氧濃度的升高會(huì)對(duì)人體健康產(chǎn)生危害，例如刺激眼睛、呼吸不暢，嚴(yán)重的會(huì)患上多種呼吸道疾病甚至窒息。植物在高濃度臭氧環(huán)境中會(huì)使光合作用不能正常進(jìn)行，導(dǎo)致植物凋謝[3-4]。因此，提前準(zhǔn)確地預(yù)報(bào)臭氧濃度有著重要意義。

目前臭氧濃度預(yù)測(cè)分為兩種，一種是通過(guò)分析并建立所有影響臭氧生成的因素與最終臭氧濃度之間關(guān)系來(lái)達(dá)到預(yù)測(cè)的目的，適用于短時(shí)間的臭氧濃度預(yù)測(cè)，另一種，是將一段時(shí)間內(nèi)的臭氧濃度數(shù)值按時(shí)間排成序列，通過(guò)分析建立序列之間的關(guān)系來(lái)進(jìn)行臭氧濃度預(yù)測(cè)，適用于長(zhǎng)時(shí)間的臭氧濃度預(yù)測(cè)，臭氧濃度預(yù)測(cè)問(wèn)題也就轉(zhuǎn)變成了模糊時(shí)間序列預(yù)測(cè)的問(wèn)題。目前臭氧濃度預(yù)測(cè)都是短時(shí)間的臭氧濃度預(yù)測(cè)，可以預(yù)測(cè)出未來(lái)幾小時(shí)的臭氧濃度，大多使用的都是數(shù)值模擬、多元線性回歸等方法，預(yù)測(cè)精度較低。神經(jīng)網(wǎng)絡(luò)的方法被證實(shí)可以提高臭氧預(yù)測(cè)精度[5]，但是在長(zhǎng)時(shí)間的臭氧濃度預(yù)測(cè)研究比較少。模糊時(shí)間序列預(yù)測(cè)問(wèn)題有自回歸移動(dòng)平均、粒子群優(yōu)化、自動(dòng)聚類和神經(jīng)網(wǎng)絡(luò)等解決方法。1965年，Zadeh教授對(duì)經(jīng)典集合理論進(jìn)行拓展，提出模糊集合理論，被稱為一型模糊集，但是一型模糊集合在隸屬度函數(shù)的選擇上存在無(wú)法達(dá)成統(tǒng)一等問(wèn)題。Zadeh教授進(jìn)一步提出了二型模糊集合[6]，將一型模糊集中的元素再次模糊為[0,1]區(qū)間上的數(shù)，可以解決不確定性更強(qiáng)的問(wèn)題，但是其存在運(yùn)算量過(guò)于龐大，效率低下，很難滿足實(shí)際需求。Karnik等[7]提出了KM質(zhì)心降型方法，并提出了區(qū)間二型模糊集的概念，區(qū)間二型模糊集合通過(guò)使次隸屬度函數(shù)都為1的方法簡(jiǎn)化運(yùn)算過(guò)程，使其能在實(shí)際問(wèn)題上得到應(yīng)用[8]。由于神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)、魯棒性好且容易操作等優(yōu)點(diǎn)，Rutkowska[9]將二者相結(jié)合，提出了區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)模型的概念；由于其具有良好的線性逼近能力，人們將其用到了醫(yī)療診斷、風(fēng)電功率預(yù)測(cè)、上證指數(shù)預(yù)測(cè)、電力負(fù)荷預(yù)測(cè)等方面[10-13]。大多數(shù)區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)都是用梯度下降法、最小二乘算法和高斯牛頓法等去調(diào)節(jié)系統(tǒng)參數(shù)及權(quán)重，存在迭代速度過(guò)慢、計(jì)算復(fù)雜等問(wèn)題。作為高斯牛頓法的優(yōu)化算法，LM算法有迭代速度快、效率高等優(yōu)點(diǎn)[14]。

綜上所述，針對(duì)臭氧濃度預(yù)測(cè)難，長(zhǎng)時(shí)間數(shù)據(jù)預(yù)測(cè)不準(zhǔn)等問(wèn)題，本文在區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，使用LM算法來(lái)調(diào)整神經(jīng)網(wǎng)絡(luò)參數(shù)及權(quán)重，提出一種用于臭氧濃度預(yù)測(cè)的區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)。通過(guò)基于高斯核函數(shù)的模糊C均值聚類算法進(jìn)行模糊規(guī)則的篩選，篩選出的規(guī)則被用來(lái)進(jìn)行區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)。最后用2018年石家莊市國(guó)家基本氣象站臭氧數(shù)據(jù)集進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與測(cè)試，通過(guò)仿真研究進(jìn)行驗(yàn)證并與使用梯度下降法的系統(tǒng)比較。

1 模糊聚類算法及區(qū)間二型模糊邏輯系統(tǒng)

1.1 基于高斯核函數(shù)的模糊C均值聚類算法(FCM)

FCM算法就是尋找數(shù)據(jù)集、聚類中心以及數(shù)據(jù)對(duì)中心隸屬度所組成的目標(biāo)函數(shù)的最小化，假設(shè)數(shù)據(jù)集合為x={x1,x2,…,xn}，將其分為C個(gè)聚類類別，并求出每組聚類中心Vj(j=1,2,…,n)使目標(biāo)函數(shù)達(dá)到最小。目標(biāo)函數(shù)公式如下：

(1)

U={uij}表示隸屬度函數(shù)，uij有以下約束條件：

(2)

(3)

對(duì)式(2)和式(3)使用拉格朗日算子，構(gòu)建新的目標(biāo)函數(shù)為：

(4)

對(duì)所有參量求導(dǎo)，使它們的導(dǎo)數(shù)等于0，對(duì)三個(gè)聯(lián)立方程求解可得聚類中心vi的更新公式及隸屬度矩陣uij的更新公式：

(5)

(6)

式中：i=1,2,…,c；j=1,2,…,n。

在傳統(tǒng)的模糊C均值算法中使用歐氏距離作為距離測(cè)量方式，歐氏距離是兩點(diǎn)在空間之中的真實(shí)距離。但是為了提高測(cè)量精度，本文用高斯核函數(shù)來(lái)代替歐氏距離。高斯核函數(shù)具有在空間中線性區(qū)分?jǐn)?shù)據(jù)的能力，且具有提取數(shù)據(jù)局部特點(diǎn)的能力。

(7)

1.2 區(qū)間二型TSK模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)

模糊規(guī)則中的前件集合或者后件集合屬于二型模糊集合的模糊邏輯系統(tǒng)被稱為二型模糊邏輯系統(tǒng)(Type-2 Fuzzy Logic Systems)，系統(tǒng)由模糊器、模糊規(guī)則、模糊推理和解模糊器四部分組成。

圖1 二型模糊邏輯系統(tǒng)結(jié)構(gòu)框圖

準(zhǔn)確值數(shù)據(jù)經(jīng)過(guò)模糊器模糊化處理后變成模糊集，輸入到模糊推理中，模糊推理的具體步驟由模糊規(guī)則決定，模糊規(guī)則采用了“if-then”規(guī)則，經(jīng)模糊推理后輸出模糊集，模糊集經(jīng)過(guò)解模糊器再輸出準(zhǔn)確值，整個(gè)過(guò)程結(jié)束。通過(guò)模糊C均值算法進(jìn)行規(guī)則篩選，去除多余的規(guī)則，有效降低計(jì)算復(fù)雜度。

區(qū)間二型模糊邏輯系統(tǒng)與二型模糊邏輯系統(tǒng)類似，主要區(qū)別是前件或后件集合為一型集合或二型集合。前件集合表示的是從模糊器到模糊推理的模糊輸入集合，后件集合表示的是從模糊推理到解模糊器的模糊輸出集合，整個(gè)系統(tǒng)也可以簡(jiǎn)單理解為由兩個(gè)一型模糊邏輯系統(tǒng)組成，根據(jù)前件集合和后件集合的不同，區(qū)間二型TSK模糊系統(tǒng)分為A1-C1、A2-C0及A2-C1三種類型。通常，為了減少計(jì)算復(fù)雜度，大多數(shù)研究者傾向于對(duì)神經(jīng)網(wǎng)絡(luò)的后件部分采用確定的數(shù)據(jù)，前件采用區(qū)間二型模糊集，即A2-C0型，但是從其他文獻(xiàn)來(lái)看，A2-C0型的準(zhǔn)確度略低于A2-C1型，因此本文采用A2-C1型區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)。

1.3 高斯型隸屬函數(shù)

二型模糊集合中的每個(gè)元素的隸屬度不是確定的值，而是用一個(gè)模糊集合來(lái)表示，這個(gè)模糊集合里的元素的隸屬度又由其相應(yīng)的模糊集合來(lái)表示，元素的隸屬度值與模糊集合之間的關(guān)系用隸屬度函數(shù)來(lái)說(shuō)明，所以有兩個(gè)隸屬度函數(shù)，區(qū)間二型模糊集合中的次隸屬度函數(shù)為1，隸屬度函數(shù)主要有三角形、梯形和高斯型等。其中高斯型隸屬函數(shù)是普遍使用的，本文采用不確定標(biāo)準(zhǔn)差的高斯型的主隸屬度函數(shù)：

(8)

(9)

圖2 區(qū)間二型模糊集合高斯隸屬度函數(shù)

2 A2-C1型區(qū)間二型TSK模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)

2.1 規(guī)則篩選

為了進(jìn)一步降低算法計(jì)算度，先對(duì)模糊規(guī)則進(jìn)行篩選，去掉多余的類別，本文采用模糊C均值算法進(jìn)行規(guī)則篩選。假設(shè)共有n條規(guī)則，篩選出k條有效規(guī)則。

第一步：設(shè)置目標(biāo)函數(shù)閾值ε、模糊加權(quán)指數(shù)m和算法最大迭代次數(shù)。

第二步：建立初始化隸屬度矩陣U和數(shù)據(jù)類別的聚類中心。

第三步：由式(6)和式(5)更新模糊聚類隸屬度矩陣和聚類中心。

第四步：判斷收斂條件，若兩次目標(biāo)函數(shù)數(shù)據(jù)值之間的差值小于所規(guī)定的閾值ε，則跳到第五步。否則跳到第三步。

第五步：停止迭代，根據(jù)所得到的隸屬度矩陣，取樣本隸屬度最大值所對(duì)應(yīng)類作為樣本聚類的結(jié)果。

流程如圖3所示。

圖3 模糊C均值規(guī)則篩選流程

2.2 結(jié)構(gòu)設(shè)計(jì)

本文設(shè)計(jì)的A2-C1型區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，共有六層。

圖4 A2-C1型區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)框圖

該系統(tǒng)有n個(gè)輸入，1個(gè)輸出，共有K條規(guī)則，該區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)第i條規(guī)則如下：

第一層：輸入層：

x=(x1,x2,…,xn)Ti=1,2,…,n

第二層：計(jì)算隸屬度：

第三層：計(jì)算每條規(guī)則的激發(fā)強(qiáng)度：

第四層：計(jì)算每條規(guī)則激發(fā)強(qiáng)度的權(quán)重：

第五層:計(jì)算輸出的上、下隸屬度：

第六層：輸出層：

2.3 區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)LM訓(xùn)練算法

目前，BP算法是最為常用的神經(jīng)網(wǎng)絡(luò)算法，但其存在著收斂速度慢、計(jì)算復(fù)雜、對(duì)初始條件敏感等問(wèn)題，需要對(duì)其進(jìn)行優(yōu)化。目前常用的優(yōu)化方法有兩種，梯度下降法(Gradient decent method)和高斯牛頓法(Gauss-Newton method)。梯度下降法的實(shí)質(zhì)就是找到梯度下降最大的點(diǎn)，然后進(jìn)行迭代，反復(fù)尋找比較各點(diǎn)的梯度，最終找到最小值，但是尋找各點(diǎn)的最小單位的選取會(huì)直接影響最終結(jié)果，最小單位過(guò)大，會(huì)找不到最小值點(diǎn)，最小單位過(guò)小，會(huì)導(dǎo)致迭代時(shí)間過(guò)長(zhǎng)。牛頓法是一種采用二階泰勒級(jí)數(shù)展開的最小二乘最優(yōu)解的迭代方法，然而該算法需要尋找hessian矩陣，對(duì)于有著大量可調(diào)參數(shù)的復(fù)雜系統(tǒng)是不適用的，高斯牛頓法是將牛頓法中的hessian矩陣的2階偏導(dǎo)數(shù)舍棄后實(shí)現(xiàn)的，該方法的迭代規(guī)則如下：

x(t+1)=x(t)-[JT(x(t))J(x(t))]-1JT(x(t))e(x(t))

式中：J是雅可比矩陣(Jacobian matrix)。

從迭代規(guī)則中看出，J(x(k))JT(x(k))可能變?yōu)閱螖?shù)或接近單數(shù)。為了解決這個(gè)問(wèn)題，對(duì)高斯-牛頓算法的迭代規(guī)則進(jìn)行修改：

x(k+1)=x(k)-[J(x(k))JT(x(k))+

μ(k)I]-1×J(x(k))e(x(k))

式中：I是恒等式矩陣，μ(k)為正值，避免了奇異矩陣求逆。從迭代規(guī)則來(lái)看，如果μ(k)為零，則兩個(gè)迭代規(guī)則類似，如果選擇一個(gè)較大的μ(k)值，可以忽略J(x(k))JT(x(k))值。因此，建議μ(k)從一個(gè)較小的值開始加速收斂，多次迭代后，增加μ(k)避免奇異性。此方法就是LM算法，當(dāng)μ(k)值很大時(shí)，該算法近似于梯度下降法，當(dāng)μ(k)值很小時(shí)，該算法接近高斯牛頓法。系統(tǒng)增量Δx如下：

Δx=-[J(x(k))JT(x(k))+μ(k)I]-1×

J(x(k))e(x(k))

更新規(guī)則要求計(jì)算Δx，在計(jì)算上是比較困難的，因?yàn)榫仃嚧笮∈莕×n,n是系統(tǒng)中要更新的參數(shù)個(gè)數(shù)，為了減小計(jì)算量，建議將系統(tǒng)的參數(shù)分成若干組，并分別計(jì)算每組的Jacobian矩陣和LM學(xué)習(xí)速率，這將極大地減少每組中J(x(k))JT(x(k))+μ(k)I的大小，這樣，用于訓(xùn)練區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)的LM更新規(guī)則為：

c=[c11,…,cik,…,cIK]Ts=[s11,…,sik,…,sIK]T

式中：i1為第1個(gè)區(qū)間二型模糊集輸入數(shù)；i2為第2個(gè)區(qū)間二型模糊集輸入數(shù)；ij為第j個(gè)區(qū)間二型模糊集輸入數(shù)。此外，推出以下公式：

LM訓(xùn)練算法流程為：

(1) 給出訓(xùn)練允許期望值ε和初始化參數(shù)。

(2) 計(jì)算系統(tǒng)輸出和目標(biāo)函數(shù)E(x)。

(3) 若E(x)<ε，表明算法收斂，跳到最后一步，否則繼續(xù)。

(4) 計(jì)算Jacobian矩陣和Δx，計(jì)算目標(biāo)函數(shù)E(x(k+1))。

(5) 若E(x(k+1))

(6) 算法結(jié)束。

3 實(shí)驗(yàn)與結(jié)果

3.1 石家莊地區(qū)臭氧趨勢(shì)

石家莊地區(qū)為本文的研究范圍，石家莊市西側(cè)為太行山區(qū)，東側(cè)為滹沱河沖積平原，溫帶季風(fēng)型氣候，夏季高溫且光照充足，冬季氣溫低、陽(yáng)光輻射減小，且處于采暖期，霧霾數(shù)值增加導(dǎo)致紫外線輻射減小，高溫度和高陽(yáng)光輻射會(huì)促進(jìn)臭氧的產(chǎn)生，因此夏季成為臭氧污染最為嚴(yán)重的季節(jié)[15]。另外，隨著經(jīng)濟(jì)的發(fā)展，人為的氮氧化物排放也有所增加，導(dǎo)致臭氧濃度迅速增加，城市中的機(jī)動(dòng)車排放的氮氧化物和工廠排放的VOC、氮氧化物成為光化學(xué)污染的重要根源。

圖5 石家莊市2013年—2015年臭氧季節(jié)變化

3.2 實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練及結(jié)果

選取2018年5月到8月石家莊國(guó)家基本氣象站臭氧最大8小時(shí)滑動(dòng)平均濃度值共計(jì)120個(gè)，用MATLAB對(duì)120個(gè)數(shù)據(jù)序列進(jìn)行繪制，如圖6所示。

圖6 臭氧數(shù)據(jù)序列圖

本實(shí)驗(yàn)用前四個(gè)數(shù)據(jù)預(yù)測(cè)下一個(gè)數(shù)據(jù)，共構(gòu)成119組數(shù)據(jù)對(duì)，前100組用于訓(xùn)練系統(tǒng)，后19組用來(lái)測(cè)試系統(tǒng)，首先進(jìn)行模糊篩選，確定下來(lái)15個(gè)模糊中心，即15個(gè)模糊類別。

本文選用四個(gè)輸入和一個(gè)輸出，第k條規(guī)則如下：

該系統(tǒng)各初始化參數(shù)如下：

式中：rand()為隨機(jī)數(shù)。

圖7為用LM算法訓(xùn)練的T2FLS的原始數(shù)據(jù)和預(yù)測(cè)數(shù)據(jù)跟隨圖。

圖7 實(shí)際數(shù)據(jù)與LM算法測(cè)試數(shù)據(jù)跟蹤效果圖

為了驗(yàn)證使用LM算法的模型是否比使用其他算法預(yù)測(cè)精度更高，使用相同的模糊規(guī)則、初始參數(shù)和迭代次數(shù)，分別用BP算法和GD算法調(diào)節(jié)模糊神經(jīng)網(wǎng)絡(luò)前后件參數(shù)，與使用LM算法預(yù)測(cè)結(jié)果比較如圖8和圖9所示。

圖8 實(shí)際數(shù)據(jù)與LM算法、GD算法測(cè)試數(shù)據(jù)跟蹤效果

圖9 實(shí)際數(shù)據(jù)與LM算法、BP算法測(cè)試數(shù)據(jù)跟蹤對(duì)比效果

通過(guò)圖8和圖9來(lái)看，使用LM算法訓(xùn)練的模型預(yù)測(cè)結(jié)果表現(xiàn)好于使用GD算法和BP算法的預(yù)測(cè)模型。GD算法的表現(xiàn)也好于BP算法，使用LM算法的系統(tǒng)訓(xùn)練誤差和GD算法的系統(tǒng)訓(xùn)練誤差如圖10和圖11所示。

圖10 使用LM算法的系統(tǒng)訓(xùn)練誤差

圖11 使用GD算法的系統(tǒng)訓(xùn)練誤差

從圖10和圖11來(lái)看，在200次的迭代過(guò)程之后，使用LM算法的模型的均方誤差在4.8左右，使用GD算法的模型均方誤差在5.9左右，在相同的迭代次數(shù)下，LM算法比GD算法訓(xùn)練的模型誤差要小，LM算法訓(xùn)練的模型要優(yōu)于GD算法模型。表1展示了三種算法的均方誤差值。

表1 三種算法的均方誤差值

從上述實(shí)驗(yàn)結(jié)果來(lái)看，使用LM算法的預(yù)測(cè)模型較GD算法、BP算法在數(shù)據(jù)的訓(xùn)練和測(cè)試效果表現(xiàn)更好，均方根誤差值也比GD算法、BP算法要小，這表明LM算法在調(diào)節(jié)系統(tǒng)參數(shù)方面比LM算法、BP算法要好，也說(shuō)明了使用LM算法的區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)是可行的。

4 結(jié) 語(yǔ)

本文研究了基于區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)的臭氧濃度預(yù)測(cè)問(wèn)題，在區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出利用LM算法進(jìn)行神經(jīng)網(wǎng)絡(luò)參數(shù)的調(diào)整，設(shè)計(jì)出用于臭氧濃度預(yù)測(cè)的區(qū)間二型模糊神經(jīng)網(wǎng)絡(luò)系統(tǒng)，同時(shí)用模糊C均值算法進(jìn)行模糊規(guī)則篩選，降低神經(jīng)網(wǎng)絡(luò)系統(tǒng)的復(fù)雜度。利用石家莊市氣象站臭氧數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試，進(jìn)行仿真預(yù)測(cè)，并與使用BP算法、梯度下降算法的系統(tǒng)做比較，仿真結(jié)果表明該系統(tǒng)應(yīng)用到臭氧濃度預(yù)測(cè)中是可行的，所設(shè)計(jì)的系統(tǒng)與使用梯度下降法和BP算法的系統(tǒng)相比有著更高的預(yù)測(cè)精度。未來(lái)的研究中可以繼續(xù)對(duì)現(xiàn)有算法進(jìn)行優(yōu)化，進(jìn)一步提高預(yù)測(cè)精度或者進(jìn)行相關(guān)算法參數(shù)的穩(wěn)定性分析，使系統(tǒng)更加穩(wěn)定運(yùn)行。