一種基于高維粒子群算法的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化研究

黃余

摘 要： 為克服傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)在運(yùn)算過程的不足，提出一種基于高維粒子群算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法。通過在高維PSO算法中引入隨機(jī)變化的加速常數(shù)來獲得最優(yōu)權(quán)值，對(duì)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化和訓(xùn)練，再將優(yōu)化好的高維BP神經(jīng)網(wǎng)絡(luò)運(yùn)用到交通事件自動(dòng)檢測(cè)中，通過檢測(cè)訓(xùn)練算法，并對(duì)訓(xùn)練后的數(shù)據(jù)進(jìn)行分類測(cè)試，把分類測(cè)試的結(jié)果與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)和經(jīng)典事件檢測(cè)算法比較。結(jié)果顯示，經(jīng)過優(yōu)化后的高維粒子群BP神經(jīng)網(wǎng)絡(luò)的檢測(cè)率、算法性能均優(yōu)于BP神經(jīng)網(wǎng)絡(luò)算法和經(jīng)典算法，其中97，50個(gè)測(cè)試樣本中僅有2個(gè)測(cè)試樣本與應(yīng)該達(dá)到的數(shù)值不一致，其他樣本都滿足測(cè)試要求，并且平均優(yōu)化測(cè)試時(shí)間是傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)檢測(cè)時(shí)間的一半，因此，優(yōu)化后的BP神經(jīng)網(wǎng)絡(luò)算法的性能十分優(yōu)越。

關(guān)鍵詞： 高維BP神經(jīng)網(wǎng)絡(luò)； 粒子群算法； 神經(jīng)網(wǎng)絡(luò)； 結(jié)構(gòu)優(yōu)化

中圖分類號(hào)： TN711?34； TP311 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）03?0157?03

Research on a neural network structure optimization method based on

high?dimensional particle swarm optimization

HUANG Yu1， 2

（1. College of Computer Science， Chongqing University， Chongqing 400044， China； 2. Yibin Vocational and Technical College， Yibin 644003， China）

Abstract： In order to eliminate the shortcomings of the traditional BP neural network in the operation process， a neural network optimization method based on the high?dimensional particle swarm optimization algorithm is proposed. The acceleration constant with random variation is introduced into the high?dimensional PSO algorithm to acquire the optimal weight to optimize and train the BP neural network. The optimized high?dimensional BP neural network is applied to the automatic detection of the traffic incident. The trained data is performed with class test with the detection and training algorithm， and its result is compared with those tested with the traditional BP neural network algorithm and classical event detection algorithm. The results show that the detection rate and performance of the algorithm optimized with high?dimensional particle swarm optimization BP neural network algorithm are better than those optimized with BP neural network algorithm and classical algorithm， the values of 2 test samples are different with the expected values of 97 and 50 test samples， the rest samples can meet the test requirement， and the average optimal testing time is half of the detection time of the traditional BP neural network. The optimized BP neural network algorithm has excellent performance.

Keywords： high?dimensional BP neural network； particle swarm optimization； neural network； structure optimization

0 引 言

目前關(guān)于高維多目標(biāo)優(yōu)化問題的理論和方法大都限于少數(shù)幾種算法，如NSGA?II算法，粒子群優(yōu)化（PSO）算法。粒子群優(yōu)化算法是Kennedy等受到飛鳥集群活動(dòng)的啟發(fā)而提出的一類新興的基于集群智能優(yōu)化算法[1?5]。相比進(jìn)化算法，PSO具有易于實(shí)現(xiàn)和收斂速度快等優(yōu)勢(shì)。近年來PSO在多目標(biāo)優(yōu)化領(lǐng)域的研究上取得了較大進(jìn)展[6?9]，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練、復(fù)雜函數(shù)優(yōu)化、圖像處理、工業(yè)系統(tǒng)優(yōu)化等領(lǐng)域應(yīng)用廣泛[10]，PSO在特性的函數(shù)優(yōu)化問題上更是發(fā)揮著重要作用，這些特性函數(shù)通常具備維數(shù)高、非線性、規(guī)模大、非凸和不可微等特點(diǎn)，一般計(jì)算方法運(yùn)算困難。針對(duì)粒子群優(yōu)化算法的優(yōu)點(diǎn)以及傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)存在的諸如較慢的收斂速度、較低的學(xué)習(xí)效率，并且在計(jì)算過程中較難計(jì)算出局部極小值等問題[11?14]，提出一種基于高維粒子群算法的神經(jīng)網(wǎng)絡(luò)優(yōu)化方法，結(jié)合二者優(yōu)點(diǎn)使其更好地應(yīng)用于實(shí)際中。

1 基于高維PSO算法的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化

1.1 高維PSO算法簡(jiǎn)介

粒子群算法是一種集群行為的計(jì)算方法，在不局限于二維空間，考慮高維時(shí)，即是高維PSO算法。設(shè)搜索空間為[D]維，粒子集群是由[M]個(gè)粒子組成，其中，第[i]個(gè)粒子的空間位置表示為[Xi=xi1，xi2，…，xiD，i=][1，2，…，M，]其飛行速度應(yīng)表示為[Vi=][vi1，vi2，…，viD。]將空間位置和飛行速度數(shù)值代入優(yōu)化目標(biāo)函數(shù)中，從而計(jì)算出用于衡量[x]優(yōu)劣的適應(yīng)值。假設(shè)粒子[i]搜索到的最優(yōu)位置為[Pi=pi1，pi2，…，piD，]整個(gè)粒子群搜索到的最優(yōu)位置記為[PK=pK1，pK2，…，pKD。]此時(shí)，對(duì)于每一代粒子，其第[d]維[1≤d≤D]的速度和位置根據(jù)式（1），式（2）迭代：

[vktt+1=ut?vitt+c1r1pid-xidt+c2r2pid-xidt] （1）

[xidt+1=xidt+vidt+1] （2）

[ut=umax-umax-umintitmax] （3）

式中：[ut]代表慣性權(quán)值數(shù)值，一般為線性慣性權(quán)值，慣性權(quán)值的作用是提高粒子群算法的全局、局部?jī)?yōu)化能力；[t]代表現(xiàn)在的迭代次數(shù)；[itmax]代表迭代的最大次數(shù)；[c1]和[c2]代表學(xué)習(xí)因子；[r1，r2]代表在[0，1] 范圍內(nèi)變化的兩個(gè)隨機(jī)數(shù)值。

粒子位置的更新如圖1所示。

1.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上一般由輸入層、隱含層、輸出層三層構(gòu)成，屬于多層前饋神經(jīng)網(wǎng)絡(luò)，包括輸入信號(hào)前向傳遞和誤差反向傳播兩個(gè)過程。BP神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用在各種預(yù)測(cè)模型中。網(wǎng)絡(luò)結(jié)構(gòu)一般只需單個(gè)隱含層就能以任意精度逼近任意有理函數(shù)。訓(xùn)練樣本的輸入、輸出向量的維數(shù)分別決定了網(wǎng)絡(luò)的輸入、輸出層神經(jīng)節(jié)點(diǎn)個(gè)數(shù)，典型的只有單個(gè)隱含層、單個(gè)輸出的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

在圖2中，[xi=x1，x2，…，xn]代表一組BP神經(jīng)網(wǎng)絡(luò)的輸入向量；[y]代表一組BP神經(jīng)網(wǎng)絡(luò)的目標(biāo)輸出值；[wij]代表輸入層和隱含層兩層級(jí)之間的連接權(quán)值；[wj1]代表隱含層和輸出層兩層級(jí)之間的連接權(quán)值。[aj，b]分別為隱含層和輸出層的節(jié)點(diǎn)閾值。若設(shè)隱含層節(jié)點(diǎn)個(gè)數(shù)為[m，]則[j=1，2，…，m=1，]在輸入信號(hào)前向傳遞過程中，[xi]從輸入層逐層傳輸?shù)诫[含層和輸出層，由傳輸過程中各層連接權(quán)值矢量、閾值矢量和相應(yīng)的激勵(lì)函數(shù)計(jì)算，得出輸出層的預(yù)測(cè)輸出值[Y，]若預(yù)測(cè)值[y]與目標(biāo)值[Y]之間有誤差，則誤差部分轉(zhuǎn)入反向逐層傳遞，沿誤差減小的方向調(diào)整網(wǎng)絡(luò)各層連接的權(quán)值、閾值。反復(fù)執(zhí)行以上過程，使得BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值不斷逼近實(shí)際輸出值。

1.3 PSO算法的優(yōu)化

在實(shí)驗(yàn)過程中，種群的中間粒子更容易得到全局最優(yōu)位置而不是PSO算法中的所有粒子。因此，本文基于PSO算法并采用慣性因子[σ，]慣性因子更容易追蹤種群中最優(yōu)粒子的位置并確保速度連續(xù)變化，即粒子下一時(shí)段的運(yùn)行速度是在上一時(shí)段運(yùn)行速度的基礎(chǔ)上迭代產(chǎn)生的，提高了PSO算法的性能，該優(yōu)化算法稱為帶慣性項(xiàng)的粒子群算法。采用慣性因子[σ]后，新的粒子速度公式為：

[Vidt+1=σVidt+c1r1Pid-Xidt+c2r2Pgd-Xidt] （4）

優(yōu)化后的PSO算法更容易找到最優(yōu)位置。在最優(yōu)位置找尋過程中，如果粒子探索的程度是在新的方向則被稱為探測(cè)，而仍然在原始軌跡搜索則稱為開發(fā)。探測(cè)和開發(fā)是找尋最優(yōu)位置的必經(jīng)過程，調(diào)整粒子探測(cè)和開發(fā)程度可以更好地找尋最優(yōu)位置并達(dá)到優(yōu)化效果。所以，常將隨機(jī)變化的加速常數(shù)[c1]和[c2]應(yīng)用到帶慣性項(xiàng)的粒子群算法，代表粒子向個(gè)體極值和全局極值推進(jìn)過程中的隨機(jī)加速權(quán)值，從而動(dòng)態(tài)改變探測(cè)和開發(fā)所占的比例，使其盡快找到全局最優(yōu)位置，該優(yōu)化算法稱為引入慣性項(xiàng)和隨機(jī)加速常數(shù)的粒子群算法。其中，加速常數(shù)[c1]和[c2]定義為：

[c1=random（a）+tTmax] （5）

[c2=random（b）-tTmax] （6）

式中：[random（a）]和[random（b）]代表系統(tǒng)隨機(jī)生成的數(shù)；[t，Tmax]代表當(dāng)前進(jìn)化代數(shù)和最大進(jìn)化代數(shù)。

1.4 BP網(wǎng)絡(luò)權(quán)值優(yōu)化方法

由BP網(wǎng)絡(luò)的三層結(jié)構(gòu)可知，用[ujht]代表輸入層和隱含層的網(wǎng)絡(luò)權(quán)值，[wkj（t）]代表隱含層和輸出層的網(wǎng)絡(luò)權(quán)值，[θk]代表輸出節(jié)點(diǎn)閾值，[θj]代表隱含層節(jié)點(diǎn)閾值。具體更新公式如下：

[wkjt+1=wkjt+αδkHj] （7）

[ujht+1=ujht+αkσjIh] （8）

[θKt+1=θKt+βδk] （9）

[θjt+1=θjt+βσj] （10）

式中：[Hj]代表隱含層節(jié)點(diǎn)[j]的輸出信號(hào)；[Ih]代表輸入層節(jié)點(diǎn)[h]的輸入信號(hào)；[δk]代表輸出層節(jié)點(diǎn)[k]的誤差；[σj]代表隱含層節(jié)點(diǎn)[j]的誤差；[α， β]代表學(xué)習(xí)參數(shù)，參數(shù)取值范圍為0.1～0.9。

1.5 高維粒子群BP的算法實(shí)現(xiàn)

高維粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)需要確定網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，根據(jù)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)確定粒子搜索空間的維數(shù)，即粒子長(zhǎng)度，以誤差均方值作為基準(zhǔn)調(diào)節(jié)BP網(wǎng)絡(luò)中的權(quán)值和閾值，以粒子群優(yōu)化的適應(yīng)度函數(shù)作為BP網(wǎng)絡(luò)誤差的反傳函數(shù)，據(jù)此建立誤差均方值與粒子群優(yōu)化的適應(yīng)度函數(shù)的對(duì)等關(guān)系，目標(biāo)函數(shù)的表達(dá)式如下：

[fi=1Nk=1Nyk-ymk2] （11）

式中：[N]代表總訓(xùn)練樣本數(shù)；[fi]代表目標(biāo)函數(shù)的誤差平方和；[y（k）]代表目標(biāo)函數(shù)的目標(biāo)輸出值；[ym（k）]代表目標(biāo)函數(shù)的實(shí)際輸出值。

改進(jìn)粒子群算法尋優(yōu)的具體步驟如下：

（1） 初始化粒子群參數(shù)。初始化粒子群規(guī)模、最大迭代次數(shù)[Tmax、]學(xué)習(xí)因子[c1]和[c2、]慣性權(quán)重[wmax]和[wmin]在特定位置與速度范圍內(nèi)隨機(jī)初始化位置向量和速度向量。

（2） 初始化BP神經(jīng)網(wǎng)絡(luò)。由實(shí)際情況確定BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，并建立下一步運(yùn)算的網(wǎng)絡(luò)模型，進(jìn)一步明確粒子維度。

（3） 輸入網(wǎng)絡(luò)訓(xùn)練樣本。通過步驟（1），步驟（2）初始化的位置向量輸入網(wǎng)絡(luò)訓(xùn)練樣本，確定網(wǎng)絡(luò)的權(quán)值和閾值，計(jì)算出期望輸出的誤差均方值和實(shí)際輸出的誤差均方值，由二者的誤差均方值可以得到粒子群的適應(yīng)度函數(shù)。在粒子群適應(yīng)度函數(shù)的基礎(chǔ)上結(jié)合位置和慣性因子可以計(jì)算粒子新的運(yùn)動(dòng)位置和運(yùn)動(dòng)速度。

（4） 迭代運(yùn)算。確定每個(gè)粒子的個(gè)體極值和全局極值：粒子[i]的適應(yīng)度值[fi]與個(gè)體最優(yōu)值[Pbest]比較，如果小于[Pbest]則取代它作為當(dāng)前的個(gè)體最優(yōu)；適應(yīng)度值[fi]與全局極值[gbest]比較， 如果小于[gbest]則取代它作為當(dāng)前的全局最優(yōu)。當(dāng)停止迭代時(shí)，會(huì)得到粒子在全局的最優(yōu)位置，此時(shí)需要把該數(shù)值作為BP網(wǎng)絡(luò)的最后權(quán)重值，映射為BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。

（5） 將樣本數(shù)據(jù)源中訓(xùn)練樣本輸入到已確定的網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，用測(cè)試樣本做預(yù)測(cè)。

2 高維粒子群BP算法實(shí)例仿真

高維粒子群BP算法仿真實(shí)驗(yàn)的實(shí)驗(yàn)數(shù)據(jù)采集自沈陽(yáng)市和平區(qū)易發(fā)生交通擁堵的某一路段，采集方式是在測(cè)試車輛上安裝激光測(cè)距儀和 GPS設(shè)備，采樣時(shí)間設(shè)置為2 s，采樣時(shí)間段為早、中、晚高峰期三小時(shí)的時(shí)間區(qū)間，并多次測(cè)量采集數(shù)據(jù)，選擇每組中發(fā)生事件的實(shí)驗(yàn)數(shù)據(jù)為6 rain，參照上述標(biāo)準(zhǔn)共采集150組樣本數(shù)據(jù)，把樣本數(shù)據(jù)歸一化。將100組訓(xùn)練數(shù)據(jù)、50組測(cè)試數(shù)據(jù)輸入到Matlab進(jìn)行運(yùn)算，電腦內(nèi)存為8 GB，利用本文的高維粒子群算法的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化算法訓(xùn)練，最后將測(cè)試樣本分類判別，檢驗(yàn)最后的計(jì)算性能。部分原始樣本數(shù)據(jù)見表1。

設(shè)置高維粒子群算法的參數(shù)，其中，種群數(shù)量設(shè)置為[m=30，]維數(shù)設(shè)置為[D=12×13+13×4+4=212，]加速因子設(shè)置為[c1=c2=1.50，]慣性因子設(shè)置為[ω=0.720，]速度最大值[Vmax=1，]速度最小值[Vmin=-1，]位置最大值為5，位置最小值為?5，最大迭代次數(shù)[N=100。]當(dāng)計(jì)算循環(huán)過程達(dá)到終止迭代次數(shù)時(shí)則終止計(jì)算。

通常采用交通事件的檢測(cè)率（DR）、平均檢測(cè)時(shí)間（MTTD）、誤判率（FAR）評(píng)價(jià)交通事件自動(dòng)檢測(cè)的算法效率。通過采用本文優(yōu)化的計(jì)算方法對(duì)采集到的數(shù)據(jù)進(jìn)行分類訓(xùn)練等一系列計(jì)算分析，并將最終分析結(jié)果和經(jīng)典事件檢測(cè)算法、BP神經(jīng)網(wǎng)絡(luò)算法比較。結(jié)果表明，經(jīng)過優(yōu)化后的高維粒子群BP神經(jīng)網(wǎng)絡(luò)的檢測(cè)率、算法性能均優(yōu)于經(jīng)典算法和BP神經(jīng)網(wǎng)絡(luò)算法，其中97，50個(gè)測(cè)試樣本中僅有2個(gè)測(cè)試樣本與應(yīng)該達(dá)到的數(shù)值不一致，其他樣本都滿足測(cè)試要求，并且平均優(yōu)化測(cè)試時(shí)間是傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)檢測(cè)時(shí)間的一半，結(jié)果對(duì)比見表2。

3 結(jié) 語(yǔ)

本文基于高維粒子群算法的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法，改進(jìn)了傳統(tǒng)運(yùn)算方法的檢測(cè)時(shí)間長(zhǎng)、收斂速度慢的缺點(diǎn)，且容易實(shí)現(xiàn)，是一種新興的群智能優(yōu)化算法，優(yōu)化全面，適用范圍廣泛，具有較高的精度和較好的擬合性能。

參考文獻(xiàn)

[1] 姚爾果，閆秋粉，南振岐，等.基于改進(jìn)粒子群算法的BP神經(jīng)網(wǎng)絡(luò)模型研究[J].佳木斯大學(xué)學(xué)報(bào)（自然科學(xué)版），2012，31（1）：107?109.

[2] 謝錚桂，鐘少丹，韋玉科.改進(jìn)的粒子群算法及收斂性分析[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（1）：46?49.

[3] 閏紀(jì)如.粒子群優(yōu)化的神經(jīng)網(wǎng)絡(luò)在交通流預(yù)測(cè)中的應(yīng)用[D].杭州：浙江工業(yè)大學(xué)，2013.

[4] 劉洪波，王秀坤，孟軍.神經(jīng)網(wǎng)絡(luò)基于粒子群優(yōu)化的學(xué)習(xí)算法研究[J].小型微型計(jì)算機(jī)系統(tǒng)，2005，26（4）：638?640.

[5] 胡衛(wèi)東，曹文貴.基于改進(jìn)粒子群算法的BP神經(jīng)網(wǎng)絡(luò)在邊坡穩(wěn)定性評(píng)價(jià)中的應(yīng)用[J].湖南理工學(xué)院學(xué)報(bào)（自然科學(xué)版），2014，27（2）：71?77.

[6] 劉坤，譚營(yíng)，何新貴.基于粒子群優(yōu)化的過程神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[J].北京大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，47（2）：238?244.

[7] 徐以山，曾碧，尹秀文，等.基于改進(jìn)粒子群算法的BP神經(jīng)網(wǎng)絡(luò)及其應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2009，45（35）：233?235.

[8] 張德慧，張德育，劉清云，等.基于粒子群算法的BP神經(jīng)網(wǎng)絡(luò)優(yōu)化技術(shù)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2015，36（5）：1322?1328.

[9] 肖俊生，任諱龍，李文濤.基于粒子群算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)漏鋼預(yù)報(bào)的研究[J].計(jì)算機(jī)測(cè)量與控制，2015，23（4）：1302?1305.

[10] 沈?qū)W利，張紅巖，張紀(jì)鎖.改進(jìn)粒子群算法對(duì)BP神經(jīng)網(wǎng)絡(luò)的優(yōu)化[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2010（2）：57?61.

[11] 江麗，王愛平.基于粒子群與BP混合算法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法[J].計(jì)算機(jī)應(yīng)用，2012，32（z2）：13?15.

[12] 徐大明，周超，孫傳恒，等.基于粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的水產(chǎn)養(yǎng)殖水溫及pH預(yù)測(cè)模型[J].漁業(yè)現(xiàn)代化，2016，43（1）：24?30.

[13] 許兆美，劉永志，楊剛，等.粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的激光銑削質(zhì)量預(yù)測(cè)模型[J].紅外與激光工程，2013，42（9）：2370?2374.

[14] 關(guān)玉梅，李清江，張淑瑋，等.基于粒子群優(yōu)化的RBF神經(jīng)網(wǎng)絡(luò)模型研究[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2013（3）：150?151.