分層多子群協(xié)作正余弦算法及應用

趙永奇，鄒 鋒，陳得寶，姜子琪，康佳惠

（1.淮北師范大學 物理與電子信息學院，安徽 淮北 235000；2.淮北師范大學 計算機科學與技術學院，安徽 淮北 235000）

原始正余弦算法(sin cosine algorithm，SCA)[1]是一種新型的群智能優(yōu)化算法，相比于粒子群優(yōu)化算法、差分進化算法、遺傳算法等傳統(tǒng)優(yōu)化算法，正余弦算法具有結構簡單、參數(shù)少、易于實現(xiàn)等優(yōu)點，一經提出便引起了研究人員的關注。并且相關改進的算法可以應用到各種實際問題中，如調度問題[2]、圖像分割[3]、旅行商問題[4]、電力系統(tǒng)優(yōu)化[5]等問題。

原始正余弦算法在處理簡單函數(shù)優(yōu)化問題時，求解精度高，收斂速度也比較快。當需要優(yōu)化的問題變得復雜、種群數(shù)量減少時，原始正余弦算法容易陷入局部最優(yōu)解，使得算法過早收斂，求解精度變低。為了克服原始正余弦算法求解精度低、收斂過早的缺點，研究人員提出了眾多的改進方案。Singh 等[6]利用正余弦算法和樽海鞘群算法相混合進行改進，提高算法的收斂性能；Tawhid 等[4]提出了一種離散正余弦算法，用來解決旅行商問題；Rizk-Allah[7]提出了一種基于正交并行信息的求解數(shù)值優(yōu)化問題的SCA-OPI 算法。

針對原始正余弦算法后期收斂速度慢、局部搜索能力差的缺點，本文提出了一種分層多子群協(xié)作正余弦算法(hierarchical multi-swarm cooperative sin cosine algorithm，HMCSCA)。首先，在HMCSCA算法底層結構中，各個子群中的個體利用增加“提高階段”的正余弦算法更新位置信息，并由各個子群中的最優(yōu)解組成頂層種群。其次，在算法架構的頂層中，頂層種群利用全局最優(yōu)個體信息和底層各個子群最優(yōu)個體信息進行高斯采樣實現(xiàn)種群信息的更新。最后，在一定迭代次數(shù)之后，利用隨機重組策略打亂各個子群中的個體，保持種群多樣性。

1 原始SCA 算法

SCA 算法是基于三角函數(shù)中正弦函數(shù)和余弦函數(shù)而建立的群智能優(yōu)化算法，與傳統(tǒng)群智能優(yōu)化算法類似，SCA 通過隨機生成一組解來啟動算法的更新過程，利用目標函數(shù)對這些解進行評價，之后更新最優(yōu)解，直到算法結束。更新方程為：

表1 SCA 算法步驟

2 分層多子群協(xié)作正余弦算法

分層多子群改進策略對算法性能的改進有明顯的效果[8-9]，多子群機制能夠使算法保持強勁的搜索能力，不至于過早地收斂從而陷入局部最優(yōu)，可以提高算法的搜索精度。分層機制的加入可以提高算法的收斂速度。該算法改進方式被研究人員應用到多種算法的改進中[10-11]。

2.1 分層多子群策略

設計了雙層多子群改進策略，結構如圖1 所示。

圖1 雙層多子群結構圖

在這個架構中，算法由底層和頂層2 個部分組成。在底層中，將種群劃分為10 個子群(子群1～子群10)，每個子群個體數(shù)目相等且相互獨立，每個種群中的個體利用改進的正余弦算法進行更新。底層中子群更新結束之后，從各個子群篩選出最優(yōu)個體組成頂層的新子群，新子群利用各個底層子群的最優(yōu)個體與整個種群最優(yōu)個體經高斯采樣學習后更新新子群中位置信息。這樣的進化機制，既可以保證種群的多樣性，又能加快算法的收斂速度。

2.2 改進正余弦算法

為了提高正余弦算法的種群多樣性和收斂速度，本文將對原始正余弦算法增加一個“提高階段”[12]，該階段利用不同個體之間的差異，提高種群的整體水平?！疤岣唠A段”的更新方程為：

其中：f(p)表示p個體的適應度值，本文中以目標函數(shù)值作為適應度值。Pi表示第i個個體“提高”前的位置，Pj表示第j個個體“提高”的位置，且i≠j，ri為[0,1]之間的隨機數(shù)，newPi表示個體“提高”后的位置。

改進正余弦算法通過評價函數(shù)的適應度值選擇最優(yōu)個體，如果f(newPi)＜f(Pi)，則用newPi替換Pi，反之則不變。

2.3 高斯采樣學習

高斯采樣學習作為在算法改進中常用的策略，被研究人員廣泛應用于各類算法的改進中[13-14]。高斯采樣學習可以對種群個體的位置進行擾動，在搜索前期能增強算法的探索能力，在后期能增強算法的開發(fā)能力。高斯采樣學習的公式如下：

其中，Pbest為整個種群最優(yōu)解；Qbest為子群最優(yōu)解。

2.4 隨機重組策略

HMCSCA 算法架構的底層中，由于種群被分成多個子群，且每個子群的個體數(shù)目很小，所以種群在迭代過程中很容易陷入局部最優(yōu)。為避免這種情況的出現(xiàn)，HMCSCA 算法采用一種簡單的重組方法，在該方法中，底層各個子群中的個體都要在一定次數(shù)迭代之后進行隨機重組。隨機重組的操作可以改變子群個體的位置信息，實現(xiàn)信息在各個子群之間交流，從而維持整個種群的多樣性。

2.5 算法步驟

本文提出的分層多子群協(xié)作正余弦算法的尋優(yōu)過程如下所示。

步驟一：設置算法的各項參數(shù)。

步驟二：初始化種群的位置，確定全局最優(yōu)解。

步驟三：種群個體在底層結構中根據(jù)式(1)和式(2)進行更新。當新解優(yōu)于當前解則保留新解，反之保留當前解。

步驟四：在底層結構中通過篩選底層結構中各子群中的最優(yōu)個體組成新子群，新子群根據(jù)式(3)進行更新。當新解優(yōu)于當全局最優(yōu)解則保留新解，反之保留全局最優(yōu)解。

步驟五：每五代進行一次隨機重組。

步驟六：若當前評價次數(shù)FEs 小于maxFEs，則返回步驟三，否則迭代結束。

3 仿真實驗分析

本文將進行2 組實驗來驗證HMCSCA 算法的性能，一組是將HMCSCA 算法和SCA 及其改進算法進行比較。另一組將HMCSCA 算法和其他優(yōu)化算法進行比較。仿真實驗將采用18 個有代表性的基準測試函數(shù)對算法的優(yōu)化性能進行評估。

3.1 參數(shù)設置

本文所用的18 個函數(shù)來自文獻[15]。其中，單峰函數(shù)F1～F4，多峰函數(shù)F5～F10，F(xiàn)11～F18 分別是F3～F10 的旋轉函數(shù)。設定所有算法的種群個數(shù)m為40，以函數(shù)值為算法的適應度值，最大函數(shù)評價次數(shù)(maxFEs=5 000*dim)作為算法的終止準則。本文實驗均在主頻為3.2 GHz、內存為8 GB 的Win10操作系統(tǒng)下的MATLAB R2015b 軟件上實現(xiàn)。

3.2 與SCA 及其改進算法的比較

為了驗證新算法HMCSCA 與SCA 及其改進算法(ISCA[16]、ASCA-PSO[17]、BBNSCA[15]、SCA)之間的優(yōu)劣，在測試函數(shù)10 維情況下進行實驗。為了消除不確定因素帶來的隨機情況，每種算法獨立運行20 次。表2 為實驗所得的最優(yōu)解(Best)、平均值(Mean)、標準差(Std)，其中表中粗體為最優(yōu)值。由于部分基準函數(shù)的收斂曲線比較相似，圖2為有代表性的收斂曲線。

表2 10 維函數(shù)測試結果

圖2 10 維部分函數(shù)平均適應度值變化圖

從表2 的數(shù)據(jù)和圖2 的收斂曲線可以看出，HMCSCA 算法的性能明顯優(yōu)于SCA 算法，且HMCSCA 算法對18 個函數(shù)里面的F1～F4、F6～F9、F11～F12、F14～F17 等14 個函數(shù)收斂到理論上的最優(yōu)解0。由表3 中的均值和標準差得知，HMCSCA算法對18 個測試函數(shù)的結果優(yōu)于SCA 算法，表明改進策略對提高SCA 算法的求解精度和魯棒性有著明顯的效果。

相比于其他改進的SCA 算法，HMCSCA 算法在F1～F4、F11～F12 這6 個函數(shù)的求解的平均精度遠遠高于ISCA、ASCA-PSO、BBNSCA 算法，。而且標準差也達到了理論上的最小值，這說明HMCSCA 算法的性能穩(wěn)定，魯棒性較強。但是，無論是HMCSCA 算法還是其他改進的SCA 算法，都對F5、F10、F13 和F18 這4 個函數(shù)的優(yōu)化結果較差，說明SCA 算法及其改進算法在優(yōu)化類似漂移函數(shù)這樣的復雜問題時性能需要加強。

3.3 與其他優(yōu)化算法的比較

為了進一步驗證HMCSCA 算法的性能，本次實驗將 HMCSCA 算法于其他智能優(yōu)化算法(BSA[18]、PSOFDR[19]、TLBO[20]、CBO[21])進行比較。數(shù)據(jù)統(tǒng)計方式同3.2 節(jié)。

圖3 30 維部分函數(shù)平均適應度值變化圖

表3 30 維函數(shù)測試結果

從表3 和圖3 中得知，HMCSCA 算法于其他優(yōu)化算法相比，在處理優(yōu)化問題時的求解精度和收斂速度方面具有明顯的優(yōu)勢。從最優(yōu)解分析，HMCSCA 算法在F1～F4、F6～F9、F11～F12、F14～F17這14 個函數(shù)上優(yōu)于BSA、PSOFDR、TLBO、CBO算法，且得到最優(yōu)理論上的最優(yōu)解，說明HMCSCA的求解精度優(yōu)于對比算法。從平均值角度分析，HMCSCA 算法在F1～F4、F6～F9、F11～F17 這15個函數(shù)上的表現(xiàn)優(yōu)于其他算法，且除F13 外，都達到了理論上的最優(yōu)解。從標準差角度分析，F(xiàn)1～F9、F11～F17 這16 個函數(shù)上優(yōu)于BSA、PSOFDR、TLBO、CBO 算法，且除了F5 和F13 2 個函數(shù)外，標準差都取得了理論上的最優(yōu)解，說明HMCSCA算法具有較強的魯棒性。

綜合以上分析，HMCSCA 能獲得比較好的優(yōu)化性能，特別是在優(yōu)化精度和魯棒性方面，明顯優(yōu)于其他優(yōu)化算法。其原因有兩方面：一方面，在底層中，多子群策略可以實現(xiàn)各個子群中個體的信息交互，提高種群的多樣性，避免算法陷入局部最優(yōu)解。另一方面，頂層種群由底層各個子群的最優(yōu)個體組成，在更新過程中，可以加快算法的收斂速度。仿真實驗的結果說明分層策略和多子群策略相結合，對改進SCA 算法有明顯的效果。但是HMCSCA以及其他SCA 改進算法在優(yōu)化復雜的漂移函數(shù)時，沒有表現(xiàn)出良好的性能，其原因大概是SCA 算法的框架不適合求解較為復雜的優(yōu)化問題。

4 HMCSCA 在神經網絡中的應用

人工神經網絡[22-23]通過模擬人類學習的模式，逐漸被應用于非線性建模、模式識別和控制系統(tǒng)等應用領域。人工神經網絡是一種能夠識別輸入、輸出數(shù)據(jù)集之間關系的數(shù)學結構。由于其搜索空間是高維的、多模態(tài)的，所以很容易受到噪聲或數(shù)據(jù)丟失的影響。因此，利用智能優(yōu)化算法對人工神經網絡進行優(yōu)化的方法被研究人員廣泛應用。

4.1 HMCSCA 進行神經網絡訓練

本文采用HMCSCA 算法訓練的是一個三層前饋神經網絡，圖4 是該神經網絡的基本結構[24]。

圖4 基于HMCSCA 的ANN

輸入連接到所有隱藏單元，這些隱藏單元依次連接到所有輸出。變量由神經網絡權重和偏差組成。在本文實驗中，輸入層中使用的激活函數(shù)是輸入變量的線性組合，隱層中使用的激活函數(shù)是Sigma 函數(shù)，而輸出層中使用的激活函數(shù)是隱層輸出變量的線性組合。變量的范圍設置為[-10，10]。假設一個具有M個輸入單元、N個隱藏單元和K個輸出單元的三層前饋神經網絡結構如圖5 所示,變量數(shù)目如下：

圖5 人工神經網絡的結構

對于神經網絡訓練，其目的是利用最小誤差測度來訓練一組權值。這里的目標函數(shù)是所有訓練模式的均方誤差之和(mean sum of squared errors，MSE)[25]。

其中，Q是訓練數(shù)據(jù)集個數(shù)，K是輸出單元的個數(shù)，dij是期望輸出，yij是由神經網絡推斷出來的。

4.2 非線性函數(shù)逼近

對于給定的單輸入單輸出非線性函數(shù)(SISO)的逼近[24]：

在這個實驗中，通過一個包含1 個輸入單元、5 個隱藏單元和1 個輸出單元的三層前饋人工神經網絡系統(tǒng)，以構建一個單輸入單輸出非線性系統(tǒng)y=f(x)實現(xiàn)對式(6)的建模。

該人工神經網絡的變量數(shù)為16 個，由此得知，每個變量維度為16。為了訓練該人工神經網絡，從實際模型中選取了620 對數(shù)據(jù)。在本次實驗中，算法的種群個數(shù)設定為40 個，終止條件為最大評價次數(shù)FES=25 000。實驗結果如表4 所示，其中加粗數(shù)據(jù)為最優(yōu)解，誤差變化曲線如圖6 所示。

表4 SISO 數(shù)據(jù)表

圖6 SISO 誤差變化曲線圖

由表4 中的數(shù)據(jù)和圖6 的誤差變化曲線圖得出，HMCSCA 算法在處理SISO 時，HMCSCA 的各項性能遠遠優(yōu)于SCA 算法。相比于jDE，GA，PSO，BSA 算法，HMCSCA 算法在求解精度和魯棒性方面，依然有優(yōu)勢。

4.3 非線性系統(tǒng)辨識

對于給定的多輸入單輸出非線性系統(tǒng)(MISO)，如式(7)所示：

在這個實驗中，通過一個包含3 個輸入單元、5 個隱藏單元和1 個輸出單元的三層前饋人工神經網絡系統(tǒng)，構建如下的多輸入單輸出非線性系統(tǒng)[24]以實現(xiàn)對式(7)的建模：

該人工神經網絡的變量數(shù)為26 個，所以決策空間的維度為26。為了訓練神經網絡，從實際模型中選取了100 對數(shù)據(jù)。在本次實驗中，算法的種群個數(shù)設定為 40 個，終止條件為最大評價次數(shù)FES=25000。其實驗結果如表5 所示，誤差變化曲線如圖7 所示。

表5 MISO 數(shù)據(jù)表

圖7 MISO 誤差變化曲線圖

由表5 中的數(shù)據(jù)和圖7 的誤差變化曲線圖得出，SCA 算法在處理MISO 時，優(yōu)化結果比較差，性能遠不如HMCSCA 算法。從均值可知，HMCSCA在求解精度方面優(yōu)于jDE，GA，PSO，BSA 算法。對表5 中的標準差進行分析可得出，HMCSCA 的魯棒性不如其他四種對比算法。

綜上所述，在處理SISO 時，HMCSCA 算法的求解精度和魯棒性優(yōu)于其他對比算法。在處理MISO 時，HMCSCA 算法的求解精度優(yōu)于其他算法，但是在魯棒性方面不如jDE、GA、PSO、BSA算法。

5 結束語

本文提出一種分層多子群協(xié)作正余弦算法，該算法能夠實現(xiàn)探索階段和開發(fā)階段的平衡，提高求解精度和收斂速度。通過18 個基準測試函數(shù)和在神經網絡中的應用的實驗結果表明，HMCSCA 算法在收斂性以及穩(wěn)定性方面優(yōu)于SCA 算法以及其他對比算法。但是，在處理類似漂移函數(shù)等復雜問題時，與對比算法比較并沒有良好的表現(xiàn)，這也為SCA 算法的下一步改進指明了方向。