基于SVM的RBF網(wǎng)絡(luò)在農(nóng)機(jī)總動(dòng)力預(yù)測(cè)中的應(yīng)用

吳志輝，王福林，董志貴

(東北農(nóng)業(yè)大學(xué) 工程學(xué)院，哈爾濱 150030)

0 引言

農(nóng)機(jī)總動(dòng)力水平是農(nóng)業(yè)機(jī)械化水平的重要指標(biāo)，也是政府部門指定農(nóng)業(yè)機(jī)械化發(fā)展規(guī)劃的重要依據(jù)，因此對(duì)農(nóng)機(jī)總動(dòng)力的預(yù)測(cè)具有重要意義。目前，關(guān)于農(nóng)機(jī)總動(dòng)力的預(yù)測(cè)有多種方法：人工神經(jīng)網(wǎng)絡(luò)的效果較好，但大多數(shù)研究都是與BP神經(jīng)網(wǎng)絡(luò)有關(guān)的[1-3]；徑向基函數(shù)(Radial Basis Function，RBF)神經(jīng)網(wǎng)絡(luò)[4]結(jié)構(gòu)簡單、學(xué)習(xí)速度快。其核心思想就是在低維空間非線性相關(guān)關(guān)系通過基函數(shù)映射到高維空間后可能成為線性相關(guān)的，這樣就可以用線性方法解決原問題。在RBF神經(jīng)網(wǎng)絡(luò)中，確定基函數(shù)中心的數(shù)量、位置以及寬度是RBF神經(jīng)網(wǎng)絡(luò)的關(guān)鍵[5]。因此，人們一直試圖將各種高效的聚類算法應(yīng)用在計(jì)算RBF神經(jīng)網(wǎng)絡(luò)的基函數(shù)中心的過程中，最常用的一種做法是采用k-means聚類法來確定基函數(shù)中心，但需要預(yù)先設(shè)定希望得到的聚類數(shù)，這在復(fù)雜的實(shí)際情況中是很難做到的。針對(duì)K-means聚類的不足[6]，潘琪等人提出利用系統(tǒng)聚類的方法來確定基函數(shù)的中心的方法，但系統(tǒng)聚類和K-means在本質(zhì)上都是貪心算法的一種，也就具有了貪心算法的缺點(diǎn)，算法在每一步所做的決策對(duì)當(dāng)前狀態(tài)來說都是最優(yōu)的，這樣得到的最終解很可能不是全局最優(yōu)解，且系統(tǒng)聚類法受異常值的影響較大[7]，算法結(jié)構(gòu)不穩(wěn)定。為此，提出了一種支持向量機(jī)聚類來確定基函數(shù)中心的方法，具有很強(qiáng)的普適性和魯棒性，彌補(bǔ)了K-means和系統(tǒng)聚類在確定RBF神經(jīng)網(wǎng)絡(luò)基函數(shù)中心過程中的不足，且把改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)應(yīng)用到黑龍江省農(nóng)機(jī)總動(dòng)力的預(yù)測(cè)中，得到了很好的效果。

1 RBF神經(jīng)網(wǎng)絡(luò)基本原理

RBF神經(jīng)的結(jié)構(gòu)如圖1所示。

圖1 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 RBF neural network structure

第1層為輸入層，用來接收外界信號(hào)；中間層為隱含層，將輸入信號(hào)進(jìn)行非線性轉(zhuǎn)換；第3層為輸出層，將對(duì)輸入信號(hào)的響應(yīng)傳遞出去。

該網(wǎng)絡(luò)輸入層的神經(jīng)元個(gè)數(shù)為n，隱含層神經(jīng)元的個(gè)數(shù)為h，輸出神經(jīng)元的個(gè)數(shù)為m。設(shè)RBF網(wǎng)絡(luò)的第i個(gè)輸入向量為Xi=[x1,x2,…,xn]，基函數(shù)中心為[C1,C2,…,Cj,…，Ch]T，且有Cj=[c1,c2,…,cn]，即每一個(gè)基函數(shù)中心的維度要與輸入向量的維度相同，b=[b1,b2,…,bm]T為閾值。隱含層與輸出層之間的非線性映射為φ(‖Xi-Cj‖)，則第i個(gè)輸入的輸出為

(1)

令w0=-1，φ0=b，則有

(2)

設(shè)輸入向量的個(gè)數(shù)為P，則有

(3)

令φij=φ(‖Xi-Cj‖)，i=1,2,…,p；j=1,2,…,m，那么可將上述方程組改寫為

(4)

進(jìn)一步可以表示成

ΦW=D

(5)

其中，Φ為映射矩陣；W為系數(shù)矩陣；D為輸出矩陣。

RBF思想的核心是核方法的思想：低維空間的非線性相關(guān)關(guān)系經(jīng)過核函數(shù)映射到高維數(shù)據(jù)空間很可能成為線性相關(guān)的。在映射過程中，離基函數(shù)中心的距離越近的位置對(duì)響應(yīng)的影響越大。在RBF神經(jīng)網(wǎng)絡(luò)中，基函的寬度就是基函數(shù)的探測(cè)區(qū)間，基函數(shù)的數(shù)量就是隱層節(jié)點(diǎn)的數(shù)量。RBF神經(jīng)網(wǎng)絡(luò)的構(gòu)造過程就是確定基函數(shù)中心及連接權(quán)值的過程，確定基函數(shù)中心需要考慮中心的數(shù)量、位置及寬度等幾方面。

2 基于SVM的RBF神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

一般來講，RBF神經(jīng)網(wǎng)絡(luò)的構(gòu)建有兩個(gè)階段：首先，利用某種聚類方法把樣本集合劃分為h類，將每個(gè)類的中心作為RBF基函數(shù)的中心；其次，根據(jù)聚類結(jié)果確定和基函數(shù)中心相關(guān)的參數(shù)，并確定隱含層與輸出層之間的權(quán)值。從RBF的原理可以看出：基函數(shù)的中心及其相關(guān)的參數(shù)是設(shè)計(jì)RBF網(wǎng)絡(luò)的關(guān)鍵。針對(duì)傳統(tǒng)聚類方法的不足，本文提出利用支持向量機(jī)(SVM)來確定基函數(shù)的中心。

SVM與其他機(jī)器學(xué)習(xí)方法不同，過去的機(jī)器學(xué)習(xí)方法大多都是基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則(ERM)，而SVM是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化(SRM)原則的學(xué)習(xí)算法；而基于SVM的聚類方法繼承了SVM算法的所有優(yōu)點(diǎn)。

本文中，使用高斯核函數(shù)將數(shù)據(jù)點(diǎn)從數(shù)據(jù)空間映射到高維特征空間。在特征空間中，尋找包圍同類所有樣本的最小球體，這個(gè)球體被映射回原數(shù)據(jù)空間，在那里它形成一個(gè)圍繞數(shù)據(jù)點(diǎn)的輪廓，這些輪廓稱為聚類邊界，每個(gè)單獨(dú)輪廓所包含的點(diǎn)就屬于同一類別。隨著高斯核的寬度減小，數(shù)據(jù)空間中斷開的輪廓的數(shù)量增加，此時(shí)分類的數(shù)量就越多。同時(shí)，該方法還可以通過采用松弛變量(SVM中的軟間隔常數(shù))來處理異常值[8]。

接下來，詳細(xì)介紹支持向量機(jī)聚類算法：

設(shè){xi}?X是N個(gè)實(shí)例點(diǎn)的數(shù)據(jù)集，X?Rd為原數(shù)據(jù)空間。使用從X到某些高維特征空間的非線性變換φ，尋找半徑為R的最小包圍球體。由以下約束條件來描述，即

‖Φ(xj)-a‖2

(6)

其中，‖·‖為歐幾里得范數(shù)；a是球體的球心。通過加入松弛變量ξj來結(jié)合SVM中的軟間隔，則

‖Φ(xj)-a‖2

(7)

其中，ξj≥0。為了解決這個(gè)問題，引入拉格朗日乘數(shù)，即

(8)

其中，βj≥0和μj≥0是拉格朗日乘子;C是一個(gè)懲罰因子，可以平衡球半徑和松弛因子比重，通常取[0-1];Cξj是一個(gè)懲罰項(xiàng)。 將L分別對(duì)R、a和ξj求導(dǎo)得

(9)

(10)

(11)

由KKT互補(bǔ)條件可得

ξjμj=0

(12)

(13)

下面根據(jù)方程式(13)進(jìn)行如下討論：

1)ξi>0且βi>0，由式(12)得此時(shí)μi=0，點(diǎn)xi位于特征空間球體的外部；又因?yàn)棣耲=C，所以該點(diǎn)對(duì)構(gòu)造超球體有影響，此時(shí)，這個(gè)點(diǎn)被稱為受限支持向量(BSV)。

2)ξi>0且βi>0，此時(shí)μi>0，且‖Φ(xj)-a‖2=R2成立，所以對(duì)應(yīng)的xi位于高維特征空間的超球體表面，又因0<βi

3)若βi=0，對(duì)應(yīng)的xi位于高維特征空間的超球體內(nèi)部，這樣的樣本點(diǎn)稱為內(nèi)點(diǎn)，它們對(duì)于構(gòu)造超球體或者支持函數(shù)并不起任何作用。

利用以上這些關(guān)系，可以消除變量R、a和μj，將拉格朗日變成對(duì)偶形式，它是變量βj的函數(shù)，即

(14)

由于變量μj不出現(xiàn)在拉格朗日函數(shù)中，可以用以下約束代替，即

0≤βj≤C,(j=1,…,N)

(15)

加入核函數(shù)后的拉格朗日W，寫成

(16)

本文的核函數(shù)選擇高斯核函數(shù)，則

K(xi,xj)=e-q‖xi-xj‖2

(17)

其中，q為寬度參數(shù)。

義特征空間中樣本點(diǎn)x距球體中心的距離為

R2(x)=‖Φ(x)-a‖2

(18)

鑒于式(10)和核函數(shù)的定義，有

(19)

高維特征空間球的半徑為

R={R(xi)|xi是支持向量}

(20)

則邊界輪廓上的點(diǎn)可以由如下集合定義，即

{x|R(x)=R}

(21)

由式(20)可得：支持向量位于類邊界上，受限支持向量(BSV)位于類的外部，其它點(diǎn)位于類內(nèi)。

接下來需要確定每個(gè)樣本在高維特征空間的類標(biāo)號(hào)，本文采用構(gòu)造完全圖的類別標(biāo)定方法。具體算法如下：

1)計(jì)算特征空間中球體內(nèi)或球體上的點(diǎn)對(duì)xi和xj之間的鄰接矩陣Aij，它的元素取值規(guī)則如式(22)。其中，i,j=1,…,N。采樣方法為隨機(jī)采樣，為了提高算法的速度，一般連續(xù)采樣10～20個(gè)，則

(22)

2)計(jì)算Aij對(duì)應(yīng)數(shù)據(jù)集的聯(lián)通狀態(tài)，每個(gè)連通分量代表一個(gè)類別，采用深度優(yōu)先算法遍歷全部樣本，確定每個(gè)類別的標(biāo)號(hào)。

3)由于受限支持向量在超球體的外部，因此無法通過以上方式確定它們的類別標(biāo)號(hào)，本文把它們標(biāo)記為未分類狀態(tài)。

在構(gòu)造最優(yōu)超平面時(shí)，決策函數(shù)可以看成是支持向量關(guān)于核函數(shù)的展開式，因而算法的復(fù)雜度只與支持向量的個(gè)數(shù)有關(guān)，而與特征空間的維數(shù)無關(guān)。

數(shù)據(jù)空間中封閉輪廓的形狀由兩個(gè)參數(shù)決定：高斯核的尺度參數(shù)q和懲罰因子C。

關(guān)于這兩個(gè)參數(shù)選取的問題，一直沒有一套全面而系統(tǒng)的理論作為指導(dǎo)，這也一直是支持向量機(jī)聚類的一個(gè)研究方向，目前在實(shí)際應(yīng)用中多采用經(jīng)驗(yàn)法或?qū)嶒?yàn)法。

由前面的分析可知：在實(shí)際操作中，必須要考慮受限支持向量的個(gè)數(shù)。輪廓分裂點(diǎn)由參數(shù)C控制。從式(9)和式(15)可得

(23)

其中，nbsv是BSV的數(shù)量。因此，1 /(NC)是BSV數(shù)量的下限，設(shè)

(24)

當(dāng)樣本數(shù)量N比較大時(shí)，異常值的比例傾向于p。即當(dāng)存在不同的類別時(shí)，異常值(如由于噪聲)會(huì)阻止輪廓分離，所以使用受限支持向量(BSV)是非常有用的。由式(23)可得，當(dāng)C值越小時(shí)得到的BSV數(shù)量越多。

下面利用支持向量機(jī)聚類的方法計(jì)算基函數(shù)的中心，構(gòu)造一個(gè)RBF神經(jīng)網(wǎng)絡(luò)。假設(shè)網(wǎng)絡(luò)的輸入樣本為X=[X1,X2,…，Xk,…，Xn]T，任意一個(gè)訓(xùn)練樣本為Xk=[xk1,xk2,…，xkm,…,xkM],k=1,2,…,N。其中，xkm表示第k個(gè)樣本的第m個(gè)輸入，RBF神經(jīng)網(wǎng)絡(luò)所對(duì)應(yīng)的網(wǎng)絡(luò)實(shí)際輸出為Yk=[yk1,yk2,…,ykj,…,ykJ],k=1,2,…,N。

根據(jù)得到的基函數(shù)中心計(jì)算徑向基函數(shù)的寬度：設(shè)其它聚類中心到與第i個(gè)聚類中心距離的最小值di，即di=min(‖Ci-Cj‖)，按照公式σi=λdi計(jì)算各基函數(shù)的寬度σi。其中，σ稱作重疊系數(shù)，用來控制各個(gè)徑向基函數(shù)的平滑程度，重疊系數(shù)的值越大，基函數(shù)的圖像就越平滑。

用梯度法確定RBF神經(jīng)網(wǎng)絡(luò)隱含層與輸出層之間的權(quán)值，其具體實(shí)現(xiàn)過程如下：

1)計(jì)算核函數(shù)矩陣，使用高斯核函數(shù)；

2)查找給定約束條件下的拉格朗日乘數(shù)、支持向量與異常值，并更正受限支持向量與支持向量的值；

3)計(jì)算球體的表達(dá)式，采用深度優(yōu)先搜索算法對(duì)對(duì)每一個(gè)樣本點(diǎn)進(jìn)行類別分配；

4)根據(jù)SVM的聚類結(jié)果計(jì)算每個(gè)聚類中心并把它作為每個(gè)基函數(shù)中心；

5)計(jì)算各基函數(shù)的寬度σi；

6)訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò)，得到網(wǎng)絡(luò)隱含層與輸出層之間的權(quán)值。網(wǎng)絡(luò)權(quán)值的計(jì)算可以選擇代數(shù)方法，也可以采用監(jiān)督訓(xùn)練法，本文采用監(jiān)督訓(xùn)練法。支持向量聚類的流程圖如圖2所示。

圖2 支持向量聚類流程圖Fig.2 Flow chart of clustering based on SVM

基于支持向量機(jī)聚類的RBF神經(jīng)網(wǎng)絡(luò)的流程圖，如圖3所示。

圖3 基于SVC的RBF神經(jīng)網(wǎng)絡(luò)的流程圖Fig.3 Flow chart of RBF neural network based on SVC

3 農(nóng)機(jī)總動(dòng)力預(yù)測(cè)實(shí)驗(yàn)

針對(duì)一般神經(jīng)網(wǎng)絡(luò)在非線性時(shí)間序列預(yù)測(cè)問題中收斂速度慢的問題，使用基于支持向量機(jī)確定基函數(shù)中心的方法來改進(jìn)徑向基神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的動(dòng)態(tài)的建模與預(yù)測(cè)，并使用該方法對(duì)一系列非線性時(shí)間序列進(jìn)行仿真預(yù)測(cè)。

為了驗(yàn)證改進(jìn)算法在非線性時(shí)間序列預(yù)測(cè)中的準(zhǔn)確性，本部分對(duì)黑龍江省1980-2014年的農(nóng)機(jī)總動(dòng)力進(jìn)行非線性時(shí)間序列預(yù)測(cè)，并與系統(tǒng)聚類法構(gòu)建的神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比。黑龍江省這35年的農(nóng)機(jī)總動(dòng)力數(shù)據(jù)如表1所示[9]。

為了避免不同量綱對(duì)訓(xùn)練網(wǎng)絡(luò)的影響，需要對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，把原始數(shù)據(jù)映射到區(qū)間[0.2,0.8]上，按照式(25)進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化工作。則

(25)

其中，xmin為數(shù)據(jù)中的最小值；xmax為數(shù)據(jù)中的最大值。

表1 黑龍江省1980-2014年農(nóng)機(jī)總動(dòng)力Table 1 The total power of agricultural machinery in Heilongjiang Province from 1980 to 2014

構(gòu)建訓(xùn)練集數(shù)據(jù)，假設(shè)有M個(gè)樣本，每個(gè)樣本的維度為M-N，則一共可以構(gòu)建N個(gè)時(shí)間序列。初始化輸入維度為6，即以連續(xù)6年的實(shí)例作為一個(gè)輸入，第7年的實(shí)例作為輸出值。按照這種方式構(gòu)建時(shí)間序列，共可以構(gòu)成35-6=29組數(shù)據(jù)。選取前25組數(shù)據(jù)作為訓(xùn)練集，指定后4組數(shù)據(jù)為測(cè)集，讓它們與網(wǎng)絡(luò)的預(yù)測(cè)效果進(jìn)行比較。

分別用改進(jìn)算法和系統(tǒng)聚類的方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，用其預(yù)測(cè)2011-2014年黑龍江省的農(nóng)機(jī)總動(dòng)力，然后將預(yù)測(cè)值與實(shí)際值進(jìn)行比較。預(yù)先徑向基神經(jīng)網(wǎng)絡(luò)的初始參數(shù)如下：輸入神經(jīng)元個(gè)數(shù)為6，輸出神經(jīng)元個(gè)數(shù)為1，初始權(quán)值W0=[1,1,…,1]T，初始閾值b0=1，網(wǎng)絡(luò)學(xué)習(xí)精度0.001，重疊系數(shù)ε=1，學(xué)習(xí)率是0.1，支持向量機(jī)聚類時(shí)的C=1，q=300。采用系統(tǒng)聚類訓(xùn)練徑向基神經(jīng)網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)的各項(xiàng)參數(shù)均與改進(jìn)方法相同。網(wǎng)絡(luò)的觀測(cè)值和實(shí)際輸出值的曲線對(duì)比圖如圖4所示，兩種方法具體的輸出情況如表2所示。

圖4 黑龍江省1986-2014年農(nóng)機(jī)總動(dòng)力趨勢(shì)圖Fig.4 Trend of agricultural machinery total power in heilongjiang province from 1986 to 2014

表2 實(shí)驗(yàn)結(jié)果Table 2 Experimental results Table

4 結(jié)論

提出了用支持向量機(jī)聚類來確定徑向基函數(shù)中心的新方法，并給出了這種方法的計(jì)算方法及相關(guān)模型。將這種方法與系統(tǒng)聚類方法進(jìn)行對(duì)比，分析給出了這種方法的優(yōu)越性。該方法也不需要預(yù)先給出基函數(shù)中心的初始點(diǎn)，也不需要預(yù)先確定徑向基函數(shù)的個(gè)數(shù)，有效提高了神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和泛化性。通過實(shí)驗(yàn)驗(yàn)證了改進(jìn)的神經(jīng)網(wǎng)絡(luò)在提高網(wǎng)絡(luò)穩(wěn)定性和提高預(yù)測(cè)精度等方面的性能。