一種改進(jìn)的RBF神經(jīng)網(wǎng)絡(luò)對縣級政府編制預(yù)測

劉道華,張 飛,張言言

(信陽師范學(xué)院 計(jì)算機(jī)與信息技術(shù)學(xué)院,河南 信陽464000)

0 引言

編制的核定是一個(gè)較為重要且復(fù)雜的行政工作，許多下級編辦為了更多地爭取政府人力資源及財(cái)政轉(zhuǎn)移支付資金，向上級編辦超量申請編制.因此，研究如何運(yùn)用預(yù)測的方法，為各級編辦在進(jìn)行編制決策時(shí)提供科學(xué)合理的依據(jù)，具有十分重要的意義.常見的編制預(yù)測方法主要有經(jīng)驗(yàn)分析法、灰色預(yù)測方法等.例如,祝紅軍[1]以X市政府辦公廳為例進(jìn)行分析，建立了灰色預(yù)測模型，對公共部門人力資源的灰色預(yù)測方法進(jìn)行了探究；李丙紅[2]采用主成分分析方法對我國省級政府人力規(guī)模進(jìn)行了綜合評價(jià)；楊小斌[3]采用趨勢回歸法、組合預(yù)測法對江西省公共事業(yè)編制規(guī)模進(jìn)行了預(yù)測.這些學(xué)者對編制預(yù)測方面的探索均取得了一定的研究成果，在一定程度上提高了編制決策的科學(xué)性和準(zhǔn)確性.對于經(jīng)驗(yàn)分析法，由于目前政府管理的新形勢，在政府機(jī)構(gòu)改革快速推進(jìn)的新時(shí)期，該方法已無法滿足當(dāng)今編制總量的預(yù)測.而灰色預(yù)測方法主要側(cè)重于時(shí)序預(yù)測，其所建立的模型是依據(jù)控制論的相關(guān)理論所構(gòu)造的微分方程，并不能較好地反映出預(yù)測對象的特點(diǎn).因此，本文引入了RBF神經(jīng)網(wǎng)絡(luò)對編制總量進(jìn)行預(yù)測.RBF網(wǎng)絡(luò)為三層前饋神經(jīng)網(wǎng)絡(luò)，具有結(jié)構(gòu)簡單、無局部極小點(diǎn)、計(jì)算過程簡潔、訓(xùn)練學(xué)習(xí)的收斂速度快等優(yōu)點(diǎn).但是，RBF網(wǎng)絡(luò)大多需要根據(jù)經(jīng)驗(yàn)學(xué)習(xí)來確定函數(shù)中心寬度這一參數(shù).本文提出了一種改進(jìn)的RBF網(wǎng)絡(luò)算法，通過引入GCV準(zhǔn)則進(jìn)一步優(yōu)化寬度參數(shù)σ；同時(shí)，對RBF網(wǎng)絡(luò)進(jìn)行子網(wǎng)絡(luò)化優(yōu)化處理，規(guī)避在高階矩陣對角化和求逆過程中出現(xiàn)超大計(jì)算量.

1 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

RBF(Radial Basis Function)網(wǎng)絡(luò)起源于數(shù)值分析中多變量插值的徑向基函數(shù)方法.RBF網(wǎng)絡(luò)具有比BP神經(jīng)網(wǎng)絡(luò)更加簡單的結(jié)構(gòu)，并且無局部極小點(diǎn)，計(jì)算過程更加簡潔，訓(xùn)練學(xué)習(xí)的收斂速度快3至4個(gè)數(shù)量級，因此應(yīng)用也更加廣泛[4-5].RBF網(wǎng)絡(luò)由輸入、隱層和輸出三層構(gòu)成，即為三層前饋神經(jīng)網(wǎng)絡(luò)[6].

常見的RBF網(wǎng)絡(luò)算法有序貫學(xué)習(xí)和批處理學(xué)習(xí)兩類算法[7].序貫學(xué)習(xí)算法是為了解決利用RBF網(wǎng)絡(luò)實(shí)現(xiàn)在線預(yù)測的需求，該算法與批處理學(xué)習(xí)算法的不同之處在于，該算法對訓(xùn)練樣本不存在先驗(yàn)知識，在網(wǎng)絡(luò)學(xué)習(xí)、確定結(jié)構(gòu)和參數(shù)時(shí)，一次輸入一個(gè)訓(xùn)練樣本.常見的序貫學(xué)習(xí)算法有：M-RAN(最小資源分配算法)、RAN(資源分配網(wǎng)絡(luò)算法)等[8].和序貫學(xué)習(xí)算法不同，批處理學(xué)習(xí)算法需要在已知全部訓(xùn)練樣本的情況下，首先學(xué)習(xí)訓(xùn)練全部樣本，設(shè)定網(wǎng)絡(luò)誤差的閾值，然后不斷分析學(xué)習(xí)后的輸出誤差并相應(yīng)地調(diào)整網(wǎng)絡(luò)參數(shù)，循環(huán)迭代此過程，當(dāng)達(dá)到設(shè)定閾值時(shí)完成訓(xùn)練學(xué)習(xí)過程[9-10].常見的批處理學(xué)習(xí)算法有：梯度下降法、正交最小二乘法、k均值聚類算法等[11-12].

2 改進(jìn)的RBF網(wǎng)絡(luò)算法

RBF網(wǎng)絡(luò)大多需要根據(jù)經(jīng)驗(yàn)學(xué)習(xí)確定函數(shù)中心寬度σ.改進(jìn)的RBF網(wǎng)絡(luò)算法的具體步驟：

Step0：對采集的原始數(shù)據(jù)標(biāo)準(zhǔn)化處理；

Step1：將數(shù)據(jù)樣本分成2類；

Step2：對第一類數(shù)據(jù)利用正交最小二乘學(xué)習(xí)確定RBF網(wǎng)絡(luò)各隱含層節(jié)點(diǎn)的數(shù)據(jù)中心和其他參數(shù)，采用GCV準(zhǔn)則進(jìn)行參數(shù)的優(yōu)化.具體步驟如下.

③用偽逆方法計(jì)算網(wǎng)絡(luò)的輸出權(quán)值，并得到此時(shí)樣本的輸出誤差，采用

(1)

定義網(wǎng)絡(luò)訓(xùn)練誤差為均方根誤差，如果rssk<ε，則停止矩陣選擇P的列向量.

⑥重復(fù)以上步驟，直至找到X個(gè)數(shù)據(jù)中心，使網(wǎng)絡(luò)的訓(xùn)練誤差小于給定誤差ε.

⑦采用

(2)

作為GCV準(zhǔn)則進(jìn)行參數(shù)的優(yōu)化.

通過訓(xùn)練學(xué)習(xí)，分析不同的中心寬度σ對應(yīng)的GCV準(zhǔn)則值，尋找GCV的極小值，并最終確定GCV有極小值時(shí)對應(yīng)的基函數(shù)中心寬度值σ.

Step3：求解權(quán)值；

Step4：對第二類數(shù)據(jù)執(zhí)行Step2—Step3；

Step5：采用

(3)

對子網(wǎng)絡(luò)整合；

Step6：采用

(4)

得到子網(wǎng)絡(luò)的預(yù)測，對2個(gè)子網(wǎng)絡(luò)的輸出按照下式

(5)

做加權(quán)和整合，得到整個(gè)RBF網(wǎng)絡(luò)的預(yù)測值.

3 基于改進(jìn)的RBF網(wǎng)絡(luò)算法對某縣區(qū)政府編制總量預(yù)測

3.1 采集編制核定相關(guān)指標(biāo)的原始數(shù)據(jù)

對于編制總量的預(yù)測，可以從反映政府管理工作總量和管理幅度的相關(guān)指標(biāo)因素來分析，也可以從經(jīng)濟(jì)指標(biāo)等方面進(jìn)行考慮.尤其是地方政府，其管理轄區(qū)的地域面積、生產(chǎn)總值、轄區(qū)內(nèi)人口總量、財(cái)政收入總量、政府財(cái)力水平等因素都可以納入到編制總量預(yù)測的指標(biāo)體系中.本文選取如下指標(biāo)作為預(yù)測變量：TZ代表年份；X1代表人口規(guī)模(人)；X2代表經(jīng)濟(jì)水平(萬元)；X3代表地域面積(平方公里)；X4代表財(cái)政收入(億元)；X5代表民間非政府組織(個(gè))；X5-1代表社會組織；X5-2代表民辦非企業(yè)；X6代表公職人員年齡占比分布；X6-1代表50歲以下；X6-2代表50歲以上；X7代表公職人員學(xué)歷占比分布；X7-1代表研究生及以上；X7-2代表本專科；X7-3代表專科以下.

本文各編制核定相關(guān)指標(biāo)基礎(chǔ)數(shù)據(jù)源于某縣區(qū)統(tǒng)計(jì)局及其發(fā)布的歷年《某縣區(qū)國民經(jīng)濟(jì)和社會發(fā)展統(tǒng)計(jì)公報(bào)》、該縣區(qū)地方志及其編撰的歷年《某縣區(qū)年鑒》、該縣區(qū)檔案館藏資料、該縣區(qū)機(jī)構(gòu)編制委員會辦公室內(nèi)部資料[13].對原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理后的數(shù)據(jù)見表1，其中Y代表編制總量.

表1 標(biāo)準(zhǔn)化處理后的某縣區(qū)編制核定相關(guān)指標(biāo)數(shù)據(jù)

3.2 訓(xùn)練學(xué)習(xí)過程和預(yù)測結(jié)果

在MATLAB 7.0軟件環(huán)境下，采用清華同方超強(qiáng)TP120 1800(Pentium D3.2GHz)主處理器并擁有2GB內(nèi)存的PC機(jī)進(jìn)行實(shí)驗(yàn).

⑴ 訓(xùn)練確定SPREAD.參數(shù)SPREAD代表RBF網(wǎng)絡(luò)的擴(kuò)展速度，其默認(rèn)值為1.SPREAD越大，函數(shù)擬合越平滑，但是逼近誤差會變大，需要的隱藏神經(jīng)元也越多，計(jì)算也越大.SPREAD越小，函數(shù)的逼近會越精確，但是逼近過程會不平滑，網(wǎng)絡(luò)的性能差，會出現(xiàn)過適應(yīng)現(xiàn)象.

實(shí)驗(yàn)中，SPREAD的初始值取為1，取SPREAD值在1～4范圍訓(xùn)練測試，觀察不同的SPREAD值對最終輸出的影響.通過訓(xùn)練觀察擬合誤差可知，兩類數(shù)據(jù)均表現(xiàn)出：當(dāng)SPREAD取值從1逐步增加到2時(shí)，網(wǎng)絡(luò)輸出值接近于真實(shí)值，但是當(dāng)SPREAD取值增加到3時(shí)，訓(xùn)練樣本的輸出值誤差增大，進(jìn)一步SPREAD取值增加到4時(shí)，誤差進(jìn)一步擴(kuò)大.經(jīng)過對兩類數(shù)據(jù)反復(fù)試驗(yàn)測試，最終確定SPREAD=2，此時(shí)擬合最佳，網(wǎng)絡(luò)的輸出最接近于實(shí)際值.

⑵ 利用GCV準(zhǔn)則優(yōu)化確定中心寬度σ值首先采用試錯法在1～4范圍內(nèi)選擇合適的中心寬度σ值，觀察擬合結(jié)果，然后通過GCV準(zhǔn)則對其進(jìn)行優(yōu)化.具體做法如下：分別取目標(biāo)誤差E1=0.02，E2=0.008，E3=0.002，E4=0.0002，E5=0，設(shè)置SPREAD=2，觀察網(wǎng)絡(luò)擬合結(jié)果.采用正交最小二乘學(xué)習(xí)算法,分別對兩類共16組數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)和擬合分析.當(dāng)網(wǎng)絡(luò)學(xué)習(xí)達(dá)到各預(yù)定訓(xùn)練目標(biāo)時(shí)，兩類數(shù)據(jù)網(wǎng)絡(luò)參數(shù)見表2、表3.

可以看出：當(dāng)訓(xùn)練目標(biāo)值越小時(shí)，若目標(biāo)擬合精度越高，函數(shù)的中心寬度σ值就越小，同時(shí)隱層的神經(jīng)元數(shù)量就越多.若設(shè)定目標(biāo)E5=0，此時(shí)RBF網(wǎng)絡(luò)的中心個(gè)數(shù)為8，和樣本個(gè)數(shù)相同，為過擬合.

表2 第一類數(shù)據(jù)的各學(xué)習(xí)目標(biāo)網(wǎng)絡(luò)參數(shù)

表3 第二類數(shù)據(jù)的各學(xué)習(xí)目標(biāo)網(wǎng)絡(luò)參數(shù)

下面利用GCV準(zhǔn)則分別對兩類數(shù)據(jù)各基函數(shù)的中心寬度σ進(jìn)一步優(yōu)化.

利用式(2)計(jì)算各不同的寬度值σ取對應(yīng)GCV的值，通過實(shí)驗(yàn)計(jì)算和σ-GCV值曲線圖可以看出，對第一類數(shù)據(jù)：當(dāng)σ=1.33時(shí)GCV有極小值，因此可以把第一類數(shù)據(jù)的σ取值優(yōu)化在1.33；對第二類數(shù)據(jù)：當(dāng)σ=1.42時(shí)GCV有極小值，因此，可以把第二類數(shù)據(jù)的σ取值優(yōu)化在1.42.σ-GCV值曲線如圖1、圖2所示.

圖1、圖2中，橫軸表示σ取值，縱軸表示計(jì)算出的對應(yīng)的GCV值.后文將利用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行預(yù)測，并結(jié)合傳統(tǒng)未引入GCV準(zhǔn)則的RBF網(wǎng)絡(luò)預(yù)測結(jié)果進(jìn)行對比.

⑶ 訓(xùn)練確定誤差值

下面通過訓(xùn)練學(xué)習(xí)確定目標(biāo)誤差值.分4組且每組各取4個(gè)樣本實(shí)驗(yàn)，樣本目標(biāo)誤差值分別取E1=0.02，E2=0.008，E3=0.002，E4=0.0002訓(xùn)練，第一組樣本網(wǎng)絡(luò)的擬合情況見圖3所示.

圖3中，橫軸表示目標(biāo)誤差，縱軸表示擬合誤差，Wi表示第i個(gè)樣本的擬合誤差值.從實(shí)驗(yàn)結(jié)果可以看出第一類數(shù)據(jù)當(dāng)E2=0.008時(shí)相對擬合最佳，此時(shí)中心寬度為2.3，中心數(shù)量為3；第二類數(shù)據(jù)當(dāng)E3=0.002時(shí)擬合最佳，此時(shí)中心寬度σ均取2.4，中心數(shù)量為4.至此，網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)完畢.

圖1 第一類數(shù)據(jù)的σ-GCV值

圖2 第二類數(shù)據(jù)的σ-GCV值

圖3 誤差擬合變化趨勢

為了對比驗(yàn)證網(wǎng)絡(luò)預(yù)測的準(zhǔn)確性，取1998—2011年共14組樣本數(shù)據(jù)作為網(wǎng)絡(luò)的輸入，1998—2004年數(shù)據(jù)作為一類，2005—2011年數(shù)據(jù)作為一類，使用訓(xùn)練好的網(wǎng)絡(luò)對2012、2013、2014年編制總量預(yù)測，對2個(gè)子網(wǎng)絡(luò)的輸出按式(5)做加權(quán)，對子網(wǎng)絡(luò)整合，得到2012、2013、2014年編制總量預(yù)測值.使用傳統(tǒng)的正交最小二乘法算法，不引入GCV準(zhǔn)則以及不對樣本進(jìn)行分類建立子網(wǎng)絡(luò)，建立編制總量預(yù)測的RBF網(wǎng)絡(luò)模型預(yù)測.兩種預(yù)測方法的結(jié)果列于表4中.

可見，沒有引入GCV準(zhǔn)則及分類建立的RBF網(wǎng)絡(luò)的預(yù)測值精確度不如改進(jìn)的RBF網(wǎng)絡(luò)預(yù)測值的精確度高.

擬合值和實(shí)際值對比結(jié)果如圖4所示.圖4中TRUE代表實(shí)際值，Y1代表改進(jìn)RBF算法預(yù)測值，Y2代表傳統(tǒng)RBF算法預(yù)測值，Y3代表線性回歸模型預(yù)測值.

表4 兩種預(yù)測方法結(jié)果對比

從圖4可以看出，三條曲線中，曲線Y1與曲線TRUE的擬合度是最佳的，表明了基于改進(jìn)的RBF網(wǎng)絡(luò)算法建立的網(wǎng)絡(luò)模型對編制總量的預(yù)測精度更高，比使用傳統(tǒng)RBF算法網(wǎng)絡(luò)模型和線性回歸模型進(jìn)行編制總量預(yù)測效果更好.

圖4 擬合值和實(shí)際值對比

4 結(jié)論

在當(dāng)今政府管理工作的新形勢下，基于改進(jìn)的RBF網(wǎng)絡(luò)算法，對某縣區(qū)政府編制總量進(jìn)行了預(yù)測.預(yù)測結(jié)果表明，基于改進(jìn)的RBF網(wǎng)絡(luò)算法比基于傳統(tǒng)RBF網(wǎng)絡(luò)算法的預(yù)測值誤差更小，精度更高，因此能更好地滿足編制管理部門實(shí)際工作的需要.雖然本文對RBF神經(jīng)網(wǎng)絡(luò)算法進(jìn)行了部分改進(jìn)，但仍需要進(jìn)一步深入研究，以提高網(wǎng)絡(luò)的時(shí)效性和預(yù)測結(jié)果的準(zhǔn)確率；同時(shí)，今后應(yīng)研究利用主流高級編程語言開發(fā)客戶端程序，提高研究的實(shí)際應(yīng)用價(jià)值.