LS-SVM和RBF神經(jīng)網(wǎng)絡(luò)模型在降雨預(yù)測(cè)中的應(yīng)用

計(jì)亞麗，賈克力，李暢游，吳 用，楊 芳，尹琳琳

（內(nèi)蒙古農(nóng)業(yè)大學(xué) 水利與土木建筑工程學(xué)院，呼和浩特 010018）

1 引言

降水的形成受到海陸位置、地形、氣壓帶、風(fēng)帶、季風(fēng)、氣旋、洋流、下墊面及人類(lèi)活動(dòng)的因素的影響，是一個(gè)非常復(fù)雜的非線性系統(tǒng)[1]?；煦缋碚摚–haos Theory）是確定性和內(nèi)在隨機(jī)性的一體，揭示了系統(tǒng)運(yùn)動(dòng)中有序與無(wú)序間相互轉(zhuǎn)化的辯證關(guān)系。目前，在水科學(xué)領(lǐng)域，混沌理論主要應(yīng)用在水文時(shí)間序列性質(zhì)的判定和非線性預(yù)測(cè)模型上[2-5]。為了在高維空間中恢復(fù)混沌吸引子，Takens提出了嵌入定理和相空間重構(gòu)的理論，研究者們?cè)诖嘶A(chǔ)上提出了諸多具有混沌特性的水文時(shí)間序列預(yù)測(cè)模型。其中，最小二乘支持向量機(jī)（Least Squares Support Vector Machine，LS-SVM）是在支持向量機(jī)的基礎(chǔ)上采用二次損失函數(shù)的一種改進(jìn)算法，利用等式約束取代支持向量機(jī)的不等式約束。LS-SVM把支持向量機(jī)的訓(xùn)練轉(zhuǎn)化為線性方程組的求解，避免了求解二次規(guī)劃問(wèn)題，降低了計(jì)算過(guò)程的復(fù)雜度，極大地提高了訓(xùn)練速率，在非線性預(yù)測(cè)方面和模式識(shí)別領(lǐng)域的應(yīng)用日漸廣泛。徑向基函數(shù)（Radial Basis Function，RBF）神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型是一個(gè)具有輸入層、隱含層、輸出層的3層網(wǎng)絡(luò)結(jié)構(gòu)的前饋型人工神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，具有較強(qiáng)的非線性預(yù)測(cè)能力[6]。本文依據(jù)相空間重構(gòu)理論對(duì)烏爾遜河流域的月降雨時(shí)間序列進(jìn)行混沌性判斷，然后使用上述兩種混沌時(shí)間序列預(yù)測(cè)模型對(duì)烏爾遜河流域的月降雨時(shí)間序列進(jìn)行比較研究。

2 相空間重構(gòu)及混沌特性識(shí)別

2.1 相空間重構(gòu)

相空間重構(gòu)是水文現(xiàn)象混沌性識(shí)別和非線性預(yù)測(cè)的前提。相空間重構(gòu)目的在于刻畫(huà)出水文系統(tǒng)的混沌吸引子的關(guān)聯(lián)度，揭示傳統(tǒng)方法無(wú)法展示的水文時(shí)間序列變化規(guī)律。

按照Takens定理[7]，采用延遲坐標(biāo)法，對(duì)混沌時(shí)間序列{x1，x2，x3，…，xN}進(jìn)行相空間重構(gòu)：

其中Yi向量序列的長(zhǎng)度為M=N-（m-1）τ，τ為延遲時(shí)間，m為嵌入維數(shù)。在相空間重構(gòu)時(shí)，關(guān)鍵在于確定延遲時(shí)間τ和嵌入維數(shù)m的確定，嵌入維數(shù)m應(yīng)符合m≥2D+1（D為吸引子維數(shù)）。

2.2 延遲時(shí)間的確定和嵌入維數(shù)選取

對(duì)于延遲時(shí)間τ的選擇，目前有很多方法，最常用的有自相關(guān)函數(shù)法、互信息法和廣義相關(guān)積分法。由于自相關(guān)函數(shù)法計(jì)算簡(jiǎn)單，對(duì)數(shù)據(jù)量的要求不大，因此使用最為廣泛。

自相關(guān)函數(shù)法延遲時(shí)間τ計(jì)算公式為：

式中 rτ為滯時(shí)τ時(shí)的自相關(guān)系數(shù)值；x1，x2， …，xN為月降雨時(shí)間序列，x軃為時(shí)間序列均值。

對(duì)于嵌入維數(shù)的確定，目前亦有很多方法，其中飽和關(guān)聯(lián)維數(shù)法（簡(jiǎn)稱(chēng)C-P法）由于概念明確、直觀而備受研究者偏愛(ài)。

式中 Xi，Xj為重構(gòu)狀態(tài)空間中的相點(diǎn)；M為重建后的狀態(tài)空間數(shù)據(jù)點(diǎn)的數(shù)目， 即M=N-（m-1）τ；m為狀態(tài)空間嵌入維數(shù)；r為以Xi為中心的m嵌入空間中的球體的半徑；H為Heaviside函數(shù)，是一個(gè)單位階躍函數(shù)，即：x≤0時(shí)，H（x）=0，x＞0時(shí)，H（x）=1；‖Xi-Xj‖為歐氏距離；C（r）為關(guān)聯(lián)積分，即所有相空間的點(diǎn)對(duì)中，距離小于r的數(shù)目在所有相點(diǎn)中所占的比例。

2.3 混沌特性識(shí)別

水文時(shí)間序列的混沌特性識(shí)別方法主要有飽和關(guān)聯(lián)維數(shù)法、最大Lyapunov指數(shù)法、Kolmogorov熵法等。主要使用動(dòng)力系統(tǒng)在整個(gè)吸引子或無(wú)窮長(zhǎng)的軌道上平均后得到的特征量[4]。使用Lyapunov指數(shù)法判斷非線性復(fù)雜動(dòng)力系統(tǒng)是否具有混沌特性[8]，必須滿足：①至少存在一個(gè)正的Lyapunov指數(shù)；②至少有一個(gè)Lyapunov指數(shù)等于0；③Lyapunov指數(shù)之和為負(fù)[7]。最大Lyapunov指數(shù)的計(jì)算公式為：

3 預(yù)測(cè)模型

3.1 最小二乘支持向量機(jī)預(yù)測(cè)模型[11-12]

設(shè)混沌時(shí)間序列經(jīng)重構(gòu)后的M個(gè)輸入輸出數(shù)據(jù)對(duì)為[Xi（n），Yi（n）]，Xi（t）∈Rm，yi（t）∈R，i=1，2，…M。

（1）根據(jù)相空間重構(gòu)理論計(jì)算出最小嵌入維數(shù)m和最佳延遲時(shí)間τ，重構(gòu)相空間。本文采用自相關(guān)系數(shù)法選取延遲時(shí)間τ，采用飽和關(guān)聯(lián)維數(shù)法中常用C-P算法確定最小嵌入維數(shù)m；

（2）構(gòu)造樣本數(shù)據(jù)對(duì)：

式中 Xi（i=1，2，…，M）為預(yù)測(cè)輸入數(shù)據(jù)；yi（i=1，2，…，M）為其所對(duì)應(yīng)的輸出數(shù)據(jù)。

（3）對(duì)于已給定的混沌時(shí)間序列訓(xùn)練樣本數(shù)據(jù)集，（Xi，yi），i=1，2，…，M，可利用高維空間中的線性函數(shù)來(lái)擬合樣本。

非線性映射準(zhǔn)（xi）把時(shí)間序列數(shù)據(jù)集從輸入空間映射到特征空間，是為了將輸入空間的非線性擬合問(wèn)題轉(zhuǎn)化為高維特征空間中的線性擬合問(wèn)題，并且把相應(yīng)的預(yù)測(cè)問(wèn)題轉(zhuǎn)化為優(yōu)化問(wèn)題，LS-SVM的優(yōu)化目標(biāo)函數(shù)為：

用最小二乘法求出系數(shù)αi和常值偏差b，得出混沌時(shí)間序列LS-SVM預(yù)測(cè)模型：

3.2 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型[6，9]

RBF主要是基于神經(jīng)網(wǎng)絡(luò)的函數(shù)非線性逼近功能對(duì)降雨時(shí)間序列進(jìn)行分析預(yù)測(cè)的。在RBF神經(jīng)網(wǎng)絡(luò)中，隱含層神經(jīng)元通過(guò)基函數(shù)執(zhí)行一種非線性變化，將輸入空間映射到一個(gè)新的特征空間，輸出層神經(jīng)元?jiǎng)t在這個(gè)新的特征空間中實(shí)現(xiàn)數(shù)據(jù)的線性加權(quán)組合。RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型中使用的基函數(shù)仍然是徑向基核函數(shù)，并且其徑向基核函數(shù)的中心向量被定義為網(wǎng)絡(luò)輸入層到連接層的權(quán)向量[13-14]。對(duì)于任意輸入向量X∈RN，RN為輸入樣本集，則隱含層單元的輸出為：

式中 Ri（x）為隱含層第i個(gè)單元的輸出；X為N維輸入向量；Ci為隱含層第i個(gè)單元徑向基核函數(shù)的中心點(diǎn)；σi為第i個(gè)隱含層神經(jīng)元的歸一化參數(shù)；m為隱含層神經(jīng)元數(shù)。

使用RBF神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)，需要通過(guò)學(xué)習(xí)和訓(xùn)練來(lái)確定徑向基核函數(shù)的中心點(diǎn)Ci，σi，和網(wǎng)絡(luò)權(quán)值等參數(shù)，一般按如下步驟進(jìn)行：

（1）采用K-means聚類(lèi)方法對(duì)訓(xùn)練樣本是輸入量進(jìn)行聚類(lèi)，找出聚類(lèi)中心Ci和σi參數(shù)；

（2）在確定了Ci和σi后，RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型從輸入到輸出就成了一個(gè)線性方程組：

式中 r為輸出神經(jīng)元數(shù)；ωik為網(wǎng)絡(luò)權(quán)值。

此時(shí)，可以通過(guò)最小二乘法來(lái)求解網(wǎng)絡(luò)的權(quán)值ωik。

4 預(yù)測(cè)模型在烏爾遜河流域月降雨中的應(yīng)用

4.1 基本資料

烏爾遜河流域是呼倫湖流域的子流域，流域面積5980.7km2，位于內(nèi)蒙古東北部，流域內(nèi)主要是平坦草原，降雨主要被植被截留和土壤吸收，近年來(lái)水量有逐漸減小的趨勢(shì)，降雨對(duì)其有很大影響。

本文主要研究烏爾遜河流域坤都冷水文站1961～2007年的實(shí)測(cè)月降雨資料，時(shí)間序列長(zhǎng)度為564個(gè)，滿足混沌特性分析所需要的時(shí)間序列長(zhǎng)度。

4.2 延遲時(shí)間和嵌入維數(shù)的確定及混沌特性的識(shí)別

4.2.1 采用自相關(guān)函數(shù)確定延遲時(shí)間

一般情況下，當(dāng)自相關(guān)函數(shù)隨滯時(shí)衰減明顯時(shí)，延遲時(shí)間取自相關(guān)函數(shù)第1次通過(guò)零點(diǎn)時(shí)所對(duì)應(yīng)的滯時(shí)。當(dāng)滯時(shí)很大自相關(guān)函數(shù)才趨于零時(shí)，延遲時(shí)間τ取自相關(guān)函數(shù)第1次小于時(shí)所對(duì)應(yīng)的滯時(shí)[6，10]。本文取自相關(guān)函數(shù)第1次通過(guò)零點(diǎn)時(shí)所對(duì)應(yīng)的滯時(shí)為延遲時(shí)間τ。得出烏爾遜河流域月降雨時(shí)間序列的最佳延遲時(shí)間為τ=2。

4.2.2 確定嵌入維數(shù)

確定嵌入維數(shù)時(shí)，使嵌入維數(shù)m=2，3，4…，以1為變幅逐漸增加，繪制lnC（r）～lnr關(guān)系圖，如果存在無(wú)標(biāo)度區(qū)，即直線段，則表明時(shí)間序列樣本存在混沌特性，且直線段的斜率，就是關(guān)聯(lián)維數(shù)D（m）[15-16]。 借助matlab工具進(jìn)行計(jì)算。 圖1是烏爾遜河流域月降雨時(shí)間序列時(shí)間序列的lnC（r）～lnr關(guān)系圖。圖2可以看出，隨嵌入維數(shù)m的增大，關(guān)聯(lián)維數(shù)D（m）趨于穩(wěn)定，當(dāng)m≥8時(shí)，關(guān)聯(lián)維數(shù)出現(xiàn)飽和D=3.1119。符合Takens定理的m≥2D+1條件。由此可見(jiàn)，烏爾遜河流域月降雨時(shí)間序列具有混沌特性，同時(shí)，使用最大Lyapunov指數(shù)法，由公式（4）計(jì)算，得到最大Lyapunov指數(shù)為0.0782。最大Lyapunov指數(shù)大于0，表明具有混沌特性[17-19]。

圖1 lnC（r）～lnr關(guān)系圖

圖2 D～m關(guān)系圖

4.3 月降雨預(yù)測(cè)

由相空間重構(gòu)和混沌特性識(shí)別可知，烏爾遜河流域月降雨時(shí)間序列具有混沌特性，因此，使用LS-SVM預(yù)測(cè)模型和RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型對(duì)烏爾遜河流域月降雨混沌時(shí)間序列進(jìn)行模擬和預(yù)測(cè)。利用前552個(gè)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，后12個(gè)數(shù)據(jù)作為擬合數(shù)據(jù)，使用MATLAB的LS-SVM工具箱對(duì)LS-SVM預(yù)測(cè)模型進(jìn)行學(xué)習(xí)，在擬合、預(yù)測(cè)精度目標(biāo)控制下進(jìn)行優(yōu)選，最后確定模型參數(shù)為γ=10，σ=0.458；使用DPS（DPS9.50）數(shù)據(jù)處理系統(tǒng)中的RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)[6]，并依據(jù)誤差變化過(guò)程確定出合理的網(wǎng)絡(luò)結(jié)構(gòu)，最終確定出烏爾遜河月降雨時(shí)間序列的RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的輸入層節(jié)點(diǎn)數(shù)為8，隱含層節(jié)點(diǎn)數(shù)為6，輸出層節(jié)點(diǎn)數(shù)為1。

表1為2007年烏爾遜河流域月降雨時(shí)間序列LS-SVM和RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的預(yù)報(bào)結(jié)果。

表1 LS-SVM和RBF神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果比較

5 結(jié)語(yǔ)

（1）LS-SVM的混沌時(shí)間序列預(yù)測(cè)模型在水文系統(tǒng)的時(shí)間序列預(yù)測(cè)方面還沒(méi)有完全成熟，處于試驗(yàn)探索階段。根據(jù)混沌時(shí)間序列固有的確定性和非線性，LS-SVM能夠把輸入向量映射到高維特征空間中來(lái)提取數(shù)據(jù)之間的信息。利用混沌系統(tǒng)的相空間重構(gòu)理論，建立LS-SVM的混沌時(shí)間序列預(yù)測(cè)模型。但是應(yīng)用在年降雨量不足300mm，且降雨主要集中在7、8月份的干旱、半干旱地區(qū)，其預(yù)測(cè)精度還不能達(dá)到滿意的程度，有待進(jìn)一步研究。

（2）RBF神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型雖然在DSP（9.50）數(shù)據(jù)處理系統(tǒng)中已經(jīng)能夠應(yīng)用，并能夠進(jìn)行簡(jiǎn)單快捷的運(yùn)算，在如降雨量較小的1、2月份及11、12月份，擬合誤差較大，有待進(jìn)一步改進(jìn)。

（3）有待建立適于干旱半干旱地區(qū)的簡(jiǎn)便、訓(xùn)練速度快、擬合精度高的降雨時(shí)間序列預(yù)測(cè)模型。

［1］陳超君，倪長(zhǎng)健.攀西地區(qū)月降水時(shí)序非線性特性分析［J］.高原山地氣象研究，2011，31（2）： 26－30.

［2］于國(guó)榮，夏自強(qiáng).混沌時(shí)間序列支持向量機(jī)模型及其在徑流預(yù)測(cè)中應(yīng)用［J］.水科學(xué)進(jìn)展，2008，19（1）：116－122.

［3］李紅霞，許士國(guó)，范垂仁.月徑流序列的混沌特征識(shí)別及Volterra自適應(yīng)預(yù)測(cè)法的應(yīng)用［J］.水利學(xué)報(bào)，2007，38（6）：760－766.

［4］Sivakumar B.Chaos theory in geophysics：past， present and future［J］.Chaos， Solitons and Fractals，2004，19（22）：441－462.

［5］李紅霞，許士國(guó)，徐向舟，等.混沌理論在水文領(lǐng)域中的研究現(xiàn)狀及展望［J］.水文，2007，27（6）：1－5.

［6］唐啟義.DPS數(shù)據(jù)處理系統(tǒng)實(shí)驗(yàn)設(shè)計(jì)、統(tǒng)計(jì)分析及數(shù)據(jù)挖掘［M］.北京：科學(xué)出版社，2010.

［7］Taken S F.Detecting strang attractors in turbulence ［J］.Lecture Notes in Mathematics，1981，898：366－381.

［8］呂金虎，陸君安，陳士華.混沌時(shí)間序列分析及其應(yīng)用［M］.武漢：武漢大學(xué)出版社，2002.

［9］任磊，岳春芳，何訓(xùn)江.RBF神經(jīng)網(wǎng)絡(luò)模型在金溝河流域徑流預(yù)測(cè)中的應(yīng)用［J］.水資源與水工程學(xué)報(bào)，2011，22（1）：94－97.

［10］黃如國(guó)，苪孝芳.流域降雨徑流時(shí)間序列的混沌識(shí)別及其預(yù)測(cè)研究進(jìn)展［J］.水科學(xué)進(jìn)展，2004，15（2）：255－260.

［11］羅偉，習(xí)華勇.基于最小二乘支持向量機(jī)的降雨量預(yù)測(cè)［J］.人民長(zhǎng)江，2008，39（19）： 29－31.

［12］羅芳瓊，吳建生，金龍.基于最小二乘支持向量機(jī)集成的降水預(yù)報(bào)模型［J］.熱帶氣象學(xué)報(bào)，2011，27（4）：577－584.

［13］張俊艷，韓文秀.基于RBF神經(jīng)網(wǎng)絡(luò)的城市需水量預(yù)測(cè)研究［J］.內(nèi)蒙古農(nóng)業(yè)大學(xué)學(xué)報(bào)，2006，27（2）：90－92.

［14］農(nóng)吉夫，金龍.基于MATLAB的主成分RBF神經(jīng)網(wǎng)絡(luò)降水預(yù)報(bào)模型［J］.熱帶氣象學(xué)報(bào)，2008，24（6）： 713－717.

［15］吳麗娜，黃領(lǐng)梅，沈冰，等.月徑流序列混沌特性識(shí)別及預(yù)測(cè)［J］.水資源與水工程學(xué)報(bào)，2010，21（5）：28－30.

［16］路劍飛，陳子桑.月降雨序列的混沌判定的合理性分析［J］.水電能源科學(xué)，2011，29（3）： 9－13.

［17］馬細(xì)霞，穆浩澤.基于混沌分析的月徑流序列耦合預(yù)測(cè)模型及其應(yīng)用［J］.水力發(fā)電學(xué)報(bào)，2010，29（6）：41－46.

［18］郁俊莉，王其文.Lyapunov指數(shù)混沌特性判定研究［J］.武漢理工大學(xué)學(xué)報(bào)，2004，20（2）：90－92.

［19］陳繼光.基于Lyapunov指數(shù)的觀測(cè)數(shù)據(jù)短期預(yù)測(cè)［J］.武漢理工大學(xué)學(xué)報(bào)，2001（9）：64－67.