混沌自適應(yīng)非洲禿鷲優(yōu)化算法訓練多層感知器

申晉祥，鮑美英，張景安，周建慧

(1.山西大同大學 計算機與網(wǎng)絡(luò)工程學院，山西 大同 037009；2.山西大同大學 網(wǎng)絡(luò)信息中心，山西 大同 037009)

0 引 言

神經(jīng)網(wǎng)絡(luò)是目前的研究熱點，可以處理科學和工程領(lǐng)域的許多問題。多層感知器(multi-layer perceptron，MLP)是前饋神經(jīng)網(wǎng)絡(luò)的一種，目前應(yīng)用廣泛，在許多實際問題，如數(shù)據(jù)分類、預測和函數(shù)近似等方面都有應(yīng)用。早期訓練MLP參數(shù)的算法具有收斂速度慢和局部極值停滯的缺陷，研究發(fā)現(xiàn)啟發(fā)式算法在訓練MLP的參數(shù)時，不易陷入局部極小值且收斂速度快。目前，已經(jīng)有許多啟發(fā)式算法[1-13]用于訓練MLP。

本文將混沌映射和自適應(yīng)權(quán)重系數(shù)引入非洲禿鷲優(yōu)化算法，提出改進算法IAVOA并用于對MLP的連接權(quán)重和偏差進行訓練，訓練好的MLP用于4個數(shù)據(jù)集XOR、Baloon、Cancer和Heart的分類。為驗證IAVOA算法的有效性，與其它6種元啟發(fā)算法訓練MLP進行了比較。

1 非洲禿鷲優(yōu)化算法

非洲禿鷲優(yōu)化算法(African vultures optimization algorithm，AVOA)[14]是2021年提出的群智能優(yōu)化算法，AVOA的數(shù)學模型如下：

(1)禿鷲種群分組

(1)

(2)

(2)禿鷲的飽食率

AVOA算法根據(jù)禿鷲的飽食率F進行勘探和開發(fā)的轉(zhuǎn)化，數(shù)學公式如式(3)和式(4)

gt=ht×(sinω(πt/2T)+cos(πt/2T)-1)

(3)

(4)

其中，rd1、z和h分別是隨機數(shù)，ω是開發(fā)概率，設(shè)置為2.5。T是最大迭代次數(shù)，t是當前迭代次數(shù)。

(3)禿鷲的勘探階段

當 |F| 大于等于1時，禿鷲進行勘探，如式(5)，勘探階段有兩種勘探方式

(5)

(6)

其中，P是禿鷲的位置，C是隨機移動位置，C∈[0，2] 區(qū)間，c1是勘探概率隨機數(shù)，范圍[0，1]，rd2、rd3、rdc1是隨機數(shù)，ub和lb分別是搜索空間的上下界。

(4)禿鷲的開發(fā)階段

當 |F| 小于1，禿鷲進行開發(fā)，分為兩個階段，每個階段使用兩種不同的策略。開發(fā)中期，由c2確定禿鷲執(zhí)行攻擊策略或盤旋飛行策略，公式如式(7)。開發(fā)后期，由c3確定禿鷲執(zhí)行攻擊策略或聚集策略，公式如式(10)

(7)

(8)

(9)

(10)

(11)

AVOA算法開發(fā)階段增加了勘探功能，勘探階段也具有開發(fā)功能，收斂速度快且不易陷入局部最優(yōu)[15]。

2 改進的禿鷲優(yōu)化算法

AVOA算法具有優(yōu)點，該算法引入的隨機數(shù)較多，根據(jù)不同的隨機數(shù)區(qū)分勘探方式，以及選擇不同的開發(fā)階段。但AVOA也具有缺點，算法隨機初始化種群，導致種群多樣性不足，對收斂速度和全局最優(yōu)解產(chǎn)生不利影響。AVOA有明確的勘探和開發(fā)階段，開發(fā)階段分為開發(fā)中期和開發(fā)后期兩個階段，通過隨機數(shù)劃分禿鷲的兩種行為，聚集行為和攻擊行為。聚集行為中認為最優(yōu)禿鷲和次優(yōu)禿鷲對其它禿鷲的引導作用是一樣的，但這樣無法平衡算法的勘探和開發(fā)能力。

針對AVOA的缺陷，本文提出改進的禿鷲優(yōu)化算法(improved African vultures optimization algorithm，IAVOA)，從兩個方面對AVOA算法進行改進：①為了使IAVOA在優(yōu)化階段有更強的全局勘探能力，種群初始化階段引入Logistic混沌映射；②設(shè)計了自適應(yīng)系數(shù)，調(diào)整最優(yōu)禿鷲和次優(yōu)禿鷲對普通禿鷲的影響，保證勘探和開發(fā)的平衡。

2.1 Logistic混沌映射初始化種群

AVOA隨機初始化種群，混沌映射生成的種群比隨機生成的種群多樣性更好，解均勻分布在空間中的各個位置，可以提升勘探能力，避免陷入局部最優(yōu)解且收斂精度高。Logistic混沌映射產(chǎn)生的混沌序列位于[0，1]區(qū)間內(nèi)，該混沌序列更均勻，公式如式(12)

xn+1=4xn(1-xn)xn∈(0，1)，n=1，2，…

(12)

把上式生成的混沌序列轉(zhuǎn)化到種群解空間，禿鷲的初始位置由式(13)計算

Xi=lb+(ub-lb)xn

(13)

其中，ub和lb是種群解空間的上下界。

Logistic混沌映射和隨機初始化種群分布如圖1所示。

圖1 隨機初始化和混沌初始化對比

對比圖1(a)和圖1(b)，可以發(fā)現(xiàn)在[0，1]區(qū)間，Logistic混沌映射生成的數(shù)比隨機生成的數(shù)分布更均勻，遍歷性更好。

2.2 自適應(yīng)權(quán)重系數(shù)

禿鷲的位置更新主要受到最優(yōu)禿鷲和次優(yōu)禿鷲的位置、禿鷲飽食率的影響。 |F| 的值越大，越有利于算法的勘探，值越小，越有利于算法的開發(fā)。 |F|≥1時，禿鷲處于勘探階段，|F|<1時，處于開發(fā)階段，開發(fā)以0.5為界限分為開發(fā)中期和后期兩個階段，[0.5，1)之間是開發(fā)中期階段，開發(fā)中期根據(jù)隨機數(shù)分為聚集行為和盤旋飛行行為，式(7)描述這兩種行為；[0，0.5)是開發(fā)后期，根據(jù)概率隨機數(shù)分為聚集行為和攻擊行為，禿鷲位置更新采用式(10)，在開發(fā)后期的聚集行為中，認為最優(yōu)禿鷲和次優(yōu)禿鷲對其它禿鷲的影響是一樣的，然而，在開發(fā)后期，為了快速并準確收斂到最優(yōu)解，最優(yōu)禿鷲和次優(yōu)禿鷲對普通禿鷲位置的影響效果是不一樣的，應(yīng)該區(qū)別對待，這里，對開發(fā)后期禿鷲位置的更新進行改進，設(shè)置兩個自適應(yīng)權(quán)重系數(shù)，分別控制最優(yōu)禿鷲和次優(yōu)禿鷲，隨著迭代的增加，最優(yōu)禿鷲的引導作用逐漸增強，而次優(yōu)禿鷲的引導作用逐漸減弱，禿鷲盡快向最優(yōu)解收斂，提高算法收斂速度，增強算法局部開發(fā)的能力，改進公式如式(14)

(14)

ω1=2×e-[2×(T-t)/T]

(15)

ω2=2×e-[2×t/T]

(16)

其中，ω1和ω2分別是最優(yōu)禿鷲和次優(yōu)禿鷲的自適應(yīng)權(quán)重系數(shù)，變化情況如圖2所示，t是當前迭代次數(shù)，T是最大迭代次數(shù)。

圖2 自適應(yīng)權(quán)重系數(shù)曲線

2.3 IAVOA算法實現(xiàn)

增加Logistic混沌映射和自適應(yīng)權(quán)重系數(shù)，IAVOA算法步驟如下：

步驟1 初始化操作。設(shè)置算法初始參數(shù)，種群規(guī)模N， 搜索空間維度D， 最大迭代次數(shù)T， 搜索空間上界ub和下界lb等；使用Logistic混沌映射初始化每只禿鷲的位置Pi(i=1，2，…，N)。

步驟8 根據(jù)搜索空間的上下界ub和lb修正越界的禿鷲的位置。

步驟9 若迭代終止條件不滿足，則跳轉(zhuǎn)到步驟2。

步驟10 輸出最優(yōu)禿鷲。

3 IAVOA訓練MLP

通過元啟發(fā)式算法訓練MLP有3種方法：①MLP的結(jié)構(gòu)固定，通過訓練算法尋找MLP的最優(yōu)權(quán)重和偏差的組合，使用最優(yōu)參數(shù)組合的MLP的總體誤差最??；②使用啟發(fā)式算法調(diào)整梯度學習算法的參數(shù)，如動量和學習速度；③尋找MLP的最優(yōu)結(jié)構(gòu)?？梢愿淖兩窠?jīng)元之間的連接、隱藏層的數(shù)量和隱藏層中的節(jié)點數(shù)，最優(yōu)結(jié)構(gòu)通過訓練算法找出。

本文采用第一種方法訓練MLP，結(jié)構(gòu)固定，通過IAVOA算法訓練MLP的權(quán)重和偏差，找出參數(shù)的最優(yōu)值，提高MLP的精度。首先要對權(quán)重和偏差進行編碼，采用向量編碼，種群個體是一個向量，表示MLP的所有權(quán)重和偏差。向量編碼方式編碼比較容易，但解碼復雜。以圖3為例，MLP的結(jié)構(gòu)為4-9-3，其中輸入層節(jié)點為4個，隱藏層節(jié)點為9個，輸出層節(jié)點為3個，該MLP的向量編碼方案如下。

圖3 多層感知器(4-9-3)

式(17)是權(quán)重和偏差的向量編碼

ω13，16，θ1，θ2，…，θ12}

(17)

ωij表示第i個節(jié)點到第j個節(jié)點的連接權(quán)重，θj是節(jié)點的偏差。

同樣以結(jié)構(gòu)為4-9-3的MLP為例，給出向量編碼方式的解碼過程，偽代碼如下。

//初始化設(shè)置。初始化隱藏層和輸出層的向量h和o

//隱藏層節(jié)點數(shù)Hn，輸出層節(jié)點數(shù)On，k←On

//激活函數(shù)S(x)

(1)fori←1toHndo

(2)h(i)←S(x1*ω(i)+x2*ω(Hn+i)+x3*ω(2*Hn+i)+x4*ω(3*Hn+i)+θ(i));

(3)fori←1toOndo

(4)k←k+1;

(5)forj←1toOndo

(6)o(i)←o(i)+(h(j)*ω(k*Hn+j));

(7)fori←1toOndo

(8)o(i)←S(o(i)+θ(Hn+i));

其中，xi是輸入節(jié)點，θ(i) 是節(jié)點的偏差，ω(i) 是節(jié)點之間的連接權(quán)重。

IAVOA訓練MLP的適應(yīng)度函數(shù)如式(18)所示

最小值：

F(Vul)=Average(MSE)

(18)

(19)

IAVOA訓練MLP的流程如圖4所示。

圖4 IAVOA算法訓練多層感知器

4 結(jié)果和討論

為了研究IAVOA算法的性能，本文采用UCI數(shù)據(jù)集合中的4個分類數(shù)據(jù)集異或(XOR)、氣球(Baloon)、心臟(Heart)和癌癥(Cancer)數(shù)據(jù)集來測試IAVOA算法的改進效果。

4.1 實驗設(shè)置和數(shù)據(jù)集

IAVOA算法與6種啟發(fā)式算法進行比較，其中包括GSA、BBO、DE、ACO、SSA和AVOA。比較算法所采用的參數(shù)均采用原算法的默認值。GSA中精英檢查為1，代理之間的距離指數(shù)為1；ACO中初始信息素為1E-06，探索常數(shù)是1，信息素更新常數(shù)是20，局部信息素衰減率0.5，全局信息素衰減率0.9，信息素敏感度是1；DE中縮放因子下界0.2，上界0.8，交叉概率0.8；BBO中突變概率0.005，遷移概率0～1，步長是2，最大遷出率和遷入率均為1。所有算法種群大小設(shè)置為50，最大迭代次數(shù)設(shè)置為500。

表1中給出采用的分類數(shù)據(jù)集的信息，包含數(shù)據(jù)名稱、屬性(屬性個數(shù)作為MLP的輸入個數(shù))，訓練樣本和測試樣本，數(shù)據(jù)集均為二分類數(shù)據(jù)，表中也給出了MLP的結(jié)構(gòu)，輸入層-隱藏層-輸出層。MLP結(jié)構(gòu)中隱藏節(jié)點h的數(shù)量通過式(20)計算得出，n是輸入節(jié)點的數(shù)量隨著MLP的規(guī)模越來越大，它的權(quán)重和偏差也會越來越多，MLP的訓練過程會變得復雜，訓練時間增加，并且可能找不到合適的權(quán)重和偏差。

表1 用于分類的UCI存儲庫數(shù)據(jù)集

h=2×n+1

(20)

所有算法在數(shù)據(jù)集上分別獨立運行10次，取結(jié)果的最大值、最小值、平均值、標準偏差和分類準確率進行比較。分類率表示各個算法訓練的MLP對數(shù)據(jù)分類的準確率，從運行結(jié)果中選擇參數(shù)最優(yōu)的MLP，對測試樣本分類。

4.2 分類問題

分類數(shù)據(jù)集選擇不同的復雜度，數(shù)據(jù)集的特征由少到多，如果特征太多，啟發(fā)式算法對數(shù)據(jù)集分類的難度相應(yīng)增加，對于太復雜的MLP，啟發(fā)式算法很難找到正確的權(quán)重和偏差值。表1是本文選擇的分類數(shù)據(jù)集的詳細情況，XOR數(shù)據(jù)集是最簡單的分類數(shù)據(jù)集，它的訓練樣本和測試樣本最少，都是8個。Baloon數(shù)據(jù)集也相對簡單，訓練樣本和測試樣本都為16個。Heart數(shù)據(jù)集最復雜，包含屬性22個，測試樣本187個，該數(shù)據(jù)集在進行分類時難度較大。Cancer數(shù)據(jù)集的訓練樣本和測試樣本較多。不同算法在不同數(shù)據(jù)集上的運行結(jié)果見表2～表5。不同算法在數(shù)據(jù)集上的均方誤差收斂曲線如圖5所示。

表2 算法在XOR數(shù)據(jù)集上的仿真結(jié)果

圖5 不同算法在4個分類數(shù)據(jù)集上的MSE收斂曲線

N位異或問題是著名的非線性測試問題，識別輸入向量中“1”的個數(shù)，若包含奇數(shù)個“1”，則輸出“1”，否則輸出“0”。XOR問題的MLP結(jié)構(gòu)是3-7-1，7個算法在XOR數(shù)據(jù)集上的運行結(jié)果見表2，從表中可以看出，IAVOA算法的平均值最小，其次是BBO、AVOA、DE、SSA、GSA和ACO，說明IAVOA可以解決MLP中局部極小值停滯問題，并且效果較優(yōu)。在標準差上可以看出ACO算法是最好的，其次是IAVOA算法，但ACO算法的收斂精度不如IAVOA算法。比較分類準確率發(fā)現(xiàn)，IAVOA、AVOA、BBO、SSA的分類準確率均為100%，GSA的分類準確率為67.3%，DE和ACO的分類準確率較低，分別是51.1%和50%。從圖5(a)可以看出IAVOA的收斂速度比其它算法快且均方誤差更小。

Baloon數(shù)據(jù)集有4個屬性，MLP結(jié)構(gòu)是4-9-1，7個算法在在Baloon數(shù)據(jù)集上運行的結(jié)果見表3，IAVOA的平均均方誤差值最小，說明IAVOA可以解決局部極小值問題，其次是BBO、AVOA、DE、SSA、GSA和ACO。對比分類準確率，IAVOA、AVOA、SSA、BBO和GSA的分類準確率都是100%，ACO的分類準確率最差，僅為40%。IAVOA的標準差是7個算法中最小的，說明IAVOA具有很強的魯棒性。比較均方誤差的收斂曲線，圖5(b)顯示，IAVOA的曲線最陡，遠遠超越其它算法，收斂速度最快，說明IAVOA在尋找全局最小值方面的性能最好。

表3 算法在Baloon數(shù)據(jù)集上的仿真結(jié)果

Cancer數(shù)據(jù)集是對乳腺癌良性和惡性的分類，該數(shù)據(jù)集的MLP結(jié)構(gòu)采用9-19-1。該數(shù)據(jù)集的復雜性和難度更高，如果算法對該數(shù)據(jù)集分類效果好，說明算法的性能較優(yōu)。表4是各算法的運行結(jié)果，其中IAVOA的分類準確率為99%，BBO和SSA算法的分類準確率均為97.7%，AVOA的分類準確率是97%，GSA的分類準確率為67.33%，DE的分類率為4%，ACO的分類率為0。說明IAVOA對高維數(shù)據(jù)的處理效果較好。IAVOA的標準差比BBO略差，但收斂速度更快，收斂精度遠高于其它算法。從圖5(c)可以看出，IAVOA與AVOA、BBO的收斂曲線貼近，幅度雖然不大，但也可以看出有所改進。充分驗證了IAVOA的魯棒性強、效率高和分類準確性高。

表4 算法在Cancer數(shù)據(jù)集上的仿真結(jié)果

Heart數(shù)據(jù)集是診斷心臟的計算機掃描圖像。心臟數(shù)據(jù)集有22個屬性，難度最大，該數(shù)據(jù)集的MLP結(jié)構(gòu)是22-45-1。算法運行結(jié)果見表5，IAVOA、AVOA、BBO的平均均方誤差值最好。比較分類準確率，SSA的分類準確率最高80.8%。其次是BBO，分類準確率為79.6%，DE的分類準確率是75.4%，IAVOA的分類準確率為74.2%，優(yōu)于AVOA、ACO和GSA算法。這充分說明在處理節(jié)點較多的MLP問題時，IAVOA穩(wěn)定性更高，同時MLP的測試樣本的分類準確率也表現(xiàn)良好。從圖5(d)可以看出，IAVOA算法的收斂速度最快，說明在處理復雜的Heart數(shù)據(jù)集時，IAVOA算法所用的時間最少。

表5 算法在Heart數(shù)據(jù)集上的仿真結(jié)果

從圖5(a)、圖5(b)、圖5(c)、圖5(d)可以看出，ACO在所有圖中，收斂速度和收斂精度都是最差的。IAVOA不管是在簡單的數(shù)據(jù)集還是復雜的數(shù)據(jù)集上，都比其它算法的效果更好，收斂速度更快，具有較高的開發(fā)率，表明IAVOA可以為MLP提供最優(yōu)的連接權(quán)重和偏差，算法的訓練速度和尋優(yōu)能力也大大提高。

5 結(jié)束語

本文將最近提出的AVOA算法改進后用于訓練MLP，為了驗證IAVOA算法的性能，選用6個啟發(fā)式算法，在4個分類數(shù)據(jù)集上進行測試，評估IAVOA訓練MLP的有效性。仿真結(jié)果顯示，與GSA、BBO、ACO、DE、SSA、AVOA相比，IAVOA對XOR和Baloon兩個分類數(shù)據(jù)集給出了最優(yōu)結(jié)果。在Cancer和Heart數(shù)據(jù)集中也表現(xiàn)良好，IAVOA能更好地避免局部極小值，在分類準確率和收斂速度方面具有優(yōu)越性。

在未來研究中，可以將IAVOA應(yīng)用于訓練其它類型的神經(jīng)網(wǎng)絡(luò)，如卷積神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)、模塊化神經(jīng)網(wǎng)絡(luò)和長/短期記憶網(wǎng)絡(luò)。