一種用于大范圍優(yōu)化的隨機(jī)主導(dǎo)學(xué)習(xí)群優(yōu)化算法

徐洪斌　李田軍　方明亮　李飛

摘 要：針對(duì)常規(guī)進(jìn)化算法在求解大范圍優(yōu)化問(wèn)題時(shí)面臨計(jì)算時(shí)間長(zhǎng)、占據(jù)空間大等難題，本文提出了一種簡(jiǎn)單而有效的隨機(jī)主導(dǎo)學(xué)習(xí)群優(yōu)化算法-SDLSO.該算法通過(guò)引入支配的概念，即從種群中隨機(jī)選擇兩個(gè)粒子支配該粒子時(shí)，采用速度和位置更新公式對(duì)粒子進(jìn)行學(xué)習(xí)更新，綜合權(quán)衡算法的勘探和開(kāi)采能力.為了協(xié)助粒子群跳出局部最優(yōu)，設(shè)計(jì)了一種參數(shù)自適應(yīng)更新策略.選擇CEC2010大范圍測(cè)試函數(shù)對(duì)SDLSO算法和CSO算法進(jìn)行數(shù)值仿真實(shí)驗(yàn)，結(jié)果表明所提出的算法可以有效求解大范圍優(yōu)化問(wèn)題.

關(guān)鍵詞：大范圍優(yōu)化;高維問(wèn)題;隨機(jī)主導(dǎo)學(xué)習(xí);粒子群優(yōu)化算法;參數(shù)自適應(yīng)策略

中圖分類(lèi)號(hào)：TP274? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：1673-260X（2019）11-0047-04

1 引言

盡管已經(jīng)證明現(xiàn)有的大多數(shù)進(jìn)化算法（EAs）對(duì)解決大規(guī)模優(yōu)化問(wèn)題[1]很有希望，但它們?nèi)匀幻媾R著一些局限性.特別是維數(shù)的增加給EAs帶來(lái)了以下主要的挑戰(zhàn).（1）問(wèn)題的解決方案空間通常隨著維度大小的增加呈指數(shù)增長(zhǎng).（2）局部最優(yōu)數(shù)量也可能隨著維數(shù)的增加而增長(zhǎng).一方面，隨著維數(shù)的增長(zhǎng)，一些單峰問(wèn)題可能成為具有許多局部最優(yōu)的多模態(tài)問(wèn)題.另一方面，對(duì)于一些多模態(tài)問(wèn)題，不僅局部最優(yōu)的數(shù)量可能增加，而且局部最優(yōu)周?chē)木植繀^(qū)域可能變得更寬[2-4].受到這兩個(gè)挑戰(zhàn)的影響，傳統(tǒng)的進(jìn)化算法EAs（如粒子群優(yōu)化（PSO）[5-8]和差分進(jìn)化（DE）[9，10]）的搜索效率和效率都在急劇惡化.這通常是由“維度的災(zāi)難”引起的.雖然已經(jīng)證明了現(xiàn)有的算法在處理大規(guī)模優(yōu)化時(shí)具有良好的性能，但在解決復(fù)雜的高維問(wèn)題時(shí)，大多數(shù)現(xiàn)有的EAs都需要額外的計(jì)算時(shí)間（除了函數(shù)評(píng)估時(shí)間）和占用大量的空間來(lái)定位大規(guī)模優(yōu)化問(wèn)題的最優(yōu)值.隨著維數(shù)的增加，像這樣額外的時(shí)間和空間也會(huì)增加.

為了高效率地進(jìn)行大規(guī)模優(yōu)化.本文中，我們?cè)O(shè)計(jì)了一個(gè)簡(jiǎn)單而有效的隨機(jī)主導(dǎo)學(xué)習(xí)群優(yōu)化器（SDLSO），它不僅保留了與經(jīng)典粒子群算法相同的計(jì)算時(shí)間，而且在解決高維問(wèn)題時(shí)，由于不使用歷史上最好的位置，占用的計(jì)算空間要小得多.具體來(lái)說(shuō)，在這個(gè)優(yōu)化器中，只有當(dāng)粒子被它的兩個(gè)樣本（從當(dāng)前的群中隨機(jī)選擇的）所支配時(shí)，它才會(huì)被更新.因?yàn)槊總€(gè)更新的粒子只能從其支配者那里學(xué)習(xí)，我們將這種機(jī)制描述為隨機(jī)主導(dǎo)學(xué)習(xí)（SDL）策略.此外，為了減輕該優(yōu)化器對(duì)新引入的參數(shù)的敏感度，利用粒子的進(jìn)化信息，對(duì)SDLSO進(jìn)一步設(shè)計(jì)了一種自適應(yīng)參數(shù)調(diào)整策略.

2 預(yù)備知識(shí)

2.1 最優(yōu)化問(wèn)題

在不失一般性的情況下，本文考慮的最小化問(wèn)題的定義如下：

其中，由D個(gè)元素組成的x是要優(yōu)化的變量向量，D是維度大小.在實(shí)際的優(yōu)化問(wèn)題中，問(wèn)題的維數(shù)（D）多至幾百維，甚至高達(dá)千維.本文將函數(shù)值作為粒子的適應(yīng)度.

2.2 粒子群優(yōu)化

粒子群優(yōu)化（PSO）是Kennedy和Eberhart于1995年[7]引入的一種功能強(qiáng)大且廣泛使用的群體智能范例[11]，用于解決優(yōu)化問(wèn)題.該算法基于一種簡(jiǎn)單的機(jī)制——模仿社會(huì)動(dòng)物的群體行為，如鳥(niǎo)類(lèi)植絨.由于其實(shí)施簡(jiǎn)單，PSO在過(guò)去幾十年中受歡迎程度日益增加.PSO包含一群粒子，每個(gè)粒子具有在n維搜索空間中的位置和速度，表示要求解的優(yōu)化問(wèn)題的候選解.為了定位全局最優(yōu)值，使用以下等式迭代更新每個(gè)粒子的速度和位置：

其中t是迭代（代）數(shù)，Vi（t）和Xi（t）分別代表第i個(gè)粒子的速度和位置;ω稱(chēng)為慣性權(quán)重[12]，c1和c2是加速度系數(shù)[13]，R1（t）和R2（t）是在[0，1]n內(nèi)隨機(jī)生成的兩個(gè)向量;pbesti（t）是迄今為止發(fā)現(xiàn)的第i個(gè)粒子的最佳解決方案，通常被稱(chēng)為個(gè)人最佳解決方案;gbest（t）是迄今為止所有粒子發(fā)現(xiàn)的最佳解決方案，被稱(chēng)為全球最佳解決方案.Kennedy[14]提到c1R1（t）（pbesti（t）-Xi（t））和c2R2（t）（gbest（t）-Xi（t））分別作為認(rèn)知成分和社會(huì)成分.

2.3 相關(guān)的進(jìn)化算法

根據(jù)將所有的決策變量一同優(yōu)化與否，可將大多數(shù)現(xiàn)有的進(jìn)化算法分為基于分解的和基于非分解的.

（1）基于分解的進(jìn)化算法也稱(chēng)為合作協(xié)同進(jìn)化算法（CCEA），其中合作協(xié)同進(jìn)化（CC）[16]框架主要使用分而治之的策略[15]，該機(jī)制是將原問(wèn)題分解為若干個(gè)低維的子問(wèn)題.一個(gè)標(biāo)準(zhǔn)的CC[16]算法由分解和優(yōu)化兩個(gè)階段組成.在分解階段，原優(yōu)化問(wèn)題被分解為若干個(gè)子問(wèn)題.基于分解的算法的性能在很大程度上依賴(lài)于優(yōu)化問(wèn)題的分解策略[17].最近，Sun等人提出了一種遞歸DG方法（RDG）[18].RDG不僅能大大減少適應(yīng)度評(píng)估，而且分組的準(zhǔn)確性極高.在優(yōu)化階段，可以根據(jù)上下文向量使用EA優(yōu)化每個(gè)子問(wèn)題.上下文向量是完整的候選解決方案，通常是由來(lái)自每個(gè)子問(wèn)題的最佳子解決方案組成的.在優(yōu)化第i個(gè)子問(wèn)題時(shí)，使用上下文向量（不包括第i個(gè)子組合）與第i個(gè)子問(wèn)題中的個(gè)體組合，形成可以評(píng)估的完整候選解.最近，Yang等人提出了基于貢獻(xiàn)的CC[16]框架[19]來(lái)有效地分配計(jì)算資源，該框架可以提高算法的整體性能.

（2）基于非分解的EA和傳統(tǒng)的EA一樣將所有決策變量一起進(jìn)化，為了提高優(yōu)化器的性能，引入了許多新的進(jìn)化方案和策略.文獻(xiàn)中存在著許多該方面的工作.在這里我們主要介紹最近由Cheng和Jin提出的CSO算法[4]，其性能良好.在該優(yōu)化器中，從當(dāng)前群體中隨機(jī)選擇的兩個(gè)粒子相互競(jìng)爭(zhēng)，在競(jìng)爭(zhēng)后，獲勝者直接進(jìn)入下一代，而輸家則通過(guò)向獲勝者和群體的平均位置學(xué)習(xí)來(lái)更新.該機(jī)制稱(chēng)為競(jìng)爭(zhēng)學(xué)習(xí)策略.因?yàn)镃SO在進(jìn)化過(guò)程中可以保持高的種群多樣性，所以在處理大規(guī)模優(yōu)化時(shí)，具有良好的性能.CSO具有這種高的種群多樣性得益于它的學(xué)習(xí)策略，即直接采用在競(jìng)爭(zhēng)中的優(yōu)勝者作為指導(dǎo)粒子學(xué)習(xí)的范例.因此，CSO算法的性能超過(guò)了大多數(shù)現(xiàn)有的進(jìn)化算法.

3 隨機(jī)主導(dǎo)學(xué)習(xí)優(yōu)化算法

3.1 隨機(jī)主導(dǎo)學(xué)習(xí)策略

在詳細(xì)闡述SDLSO的機(jī)制之前，我們給出了一個(gè)粒子的支配者的定義.具體來(lái)說(shuō)，對(duì)于第i個(gè)粒子xi，只有當(dāng)xj的適應(yīng)度不比xi的適應(yīng)度差時(shí)（即 f（xj）≤f（xi）），才能將群中的粒子xj認(rèn)為是xi的支配者.然后，考慮在SDLSO中存在一個(gè)具有NP個(gè)粒子的群，隨機(jī)主導(dǎo)學(xué)習(xí)策略的關(guān)鍵步驟如下：

步驟（1）：對(duì)于每個(gè)粒子xi（1≤i≤NP），首先從當(dāng)前群中隨機(jī)選擇兩個(gè)不同的樣本，分別表示為xb1和xb2（1≤b1，b2≤NP）.應(yīng)該注意到b1≠b2≠i.

步驟（2）：然后，將兩個(gè)樣本（xb1和xb2）與xi進(jìn)行比較.只有當(dāng)xb1和xb2在適應(yīng)度方面都優(yōu)于xi時(shí)，即f（xb1）≤f（xi）和f（xb2）≤f（xi），xi才通過(guò)向它們學(xué)習(xí)來(lái)更新.否則，xi不會(huì)更新并直接進(jìn)入下一代.

步驟（3）：當(dāng)xi更新時(shí)，兩個(gè)樣本之間的較好的一個(gè)（假設(shè)它是xb1）充當(dāng)?shù)谝粋€(gè)樣本，而另一個(gè)（xb2）作為第二個(gè)樣本來(lái)指導(dǎo)xi學(xué)習(xí).具體來(lái)說(shuō)，xi更新如下：

其中xi和νi分別是第i個(gè)粒子的位置和速度向量，xb1和xb2是從群中隨機(jī)選擇的兩個(gè)不同的粒子，它們與第i個(gè)粒子不同但更好，并且xb1在適應(yīng)度方面優(yōu)于xb2，即b1≠b2≠i且 f（xb1）≤f（xb2）≤f（xi）.至于參數(shù)r1，r2和r3在[0，1]內(nèi)均勻生成，β是[0，1]內(nèi)的一個(gè)控制參數(shù)，控制第二樣本對(duì)更新xi的影響.

首先，在步驟（1）中，SDLSO不使用在經(jīng)典粒子群算法中使用pbest、ibest或gbest來(lái)指導(dǎo)[5-7][20][21]粒子的學(xué)習(xí)，而是直接采用從當(dāng)前群中隨機(jī)選取的兩個(gè)不同粒子作為樣本來(lái)更新每個(gè)粒子.不同于pbest、ibest或gbest（它們可能保持多代不變），在SDLSO中，學(xué)習(xí)樣本通常是一代一代地更新.此外，兩個(gè)樣本都是隨機(jī)選擇的，因此等式（4）中的兩個(gè)樣本對(duì)于不同的粒子可能不同.總之，我們可以看到SDLSO在樣本選擇中可以保持高的群體多樣性.

其次，在步驟（2）中，只有當(dāng)xb1和xb2在適應(yīng)度方面都優(yōu)于xi時(shí)，xi才能被更新.通過(guò)這種策略，可以為較差的粒子直接進(jìn)入下一代提供機(jī)會(huì)，這對(duì)于保持高的群體多樣性具有相當(dāng)大的幫助.此外，每個(gè)更新的粒子只能從其支配者那里學(xué)習(xí)，因此SDLSQ也可以保持快速收斂到有希望的區(qū)域，因?yàn)榱Ｗ涌偸菑母玫膮^(qū)域中學(xué)習(xí).

最后，在步驟（3）中，xb1和xb2之間較好的一個(gè)（假設(shè)它是xb1）充當(dāng)?shù)谝粋€(gè)樣本，而另一個(gè)（xb2）作為第二個(gè)樣本來(lái)指導(dǎo)粒子的學(xué)習(xí).兩個(gè)選定樣本之間較好的一個(gè)可以保留更多開(kāi)發(fā)搜索區(qū)域的潛力，并且還擁有更多有用的進(jìn)化信息來(lái)進(jìn)化群體.因此，這個(gè)樣本被作為第一個(gè)樣本來(lái)指導(dǎo)一個(gè)粒子的學(xué)習(xí)，以便更新的粒子可以快速接近有希望的區(qū)域.雖然另一個(gè)樣本稍微差一點(diǎn)，但它可能在探索搜索空間方面具有更大的潛力.作為第二個(gè)樣本，它可以防止粒子太快地更新移動(dòng)到更好的粒子.這樣，當(dāng)xb1落入局部陷阱時(shí)，更新的粒子可能從局部區(qū)域逃離.

3.2 SDLSO的自適應(yīng)參數(shù)調(diào)整

在方程（4）中，β控制第二個(gè)樣本的影響，這可以防止粒子更快地接近第一個(gè)樣本.具體而言，如果兩個(gè)選定的樣本在其適應(yīng)度方面存在很大差異，那么它們?cè)诳碧胶烷_(kāi)發(fā)方面的潛力可能存在很大差異.在這種情況下，β應(yīng)該很小，以便可以快速找到有希望的區(qū)域.但是，如果這兩個(gè)樣本在適應(yīng)度方面非常相似，那么很可能它們?cè)诳碧胶烷_(kāi)發(fā)潛力之間保持很小的差異，因此β應(yīng)該很大，以增強(qiáng)第二個(gè)樣本的影響，以便一旦第一個(gè)樣本落入局部區(qū)域，就可以加強(qiáng)預(yù)防以避免局部陷阱.

基于上述考慮，我們?yōu)棣略O(shè)計(jì)了一種自適應(yīng)調(diào)整策略，具體如下：

其中βi是方程（4）中第i個(gè)粒子的β值，xb1和xb2是兩個(gè)選擇的樣本，它們?cè)谶m應(yīng)度方面都優(yōu)于xi，而且xb1優(yōu)于xb2，即f（xb1）≤f（xb2）≤f（xi）;exp（·）是以e為底數(shù)的指數(shù)函數(shù)，ξ是用于避免零分母的小正值.

從方程（6），我們可以得到三個(gè)結(jié)果.（1）不同的粒子可能有不同的β值.（2）如果兩個(gè)選定的樣本在適應(yīng)度方面有很大差異，β很小并且接近0.3.當(dāng)它們的適應(yīng)度之間幾乎沒(méi)有差異時(shí)，β很大并且接近0.5.（3）特別地，在早期階段，樣本之間的適合度通常存在很大差異，因此β通常很小.但是，隨著進(jìn)化過(guò)程的進(jìn)行，樣本之間的適應(yīng)度的差異變得越來(lái)越小.因此，β逐漸變得越來(lái)越大.特別是到了后期，由于后期粒子之間的適合度存在微小的差異，所以每個(gè)粒子的β值通常都很大.β的這種變化符合粒子在早期快速定位有希望的區(qū)域，在后期有效開(kāi)發(fā)有希望的區(qū)域，從而不會(huì)嚴(yán)重喪失多樣性的期望.

從式（4）可以看出，我們可以看到，只有當(dāng)兩個(gè)選定的樣本都是它的支配者時(shí)才更新這個(gè)粒子;否則，它將存活并直接進(jìn)入下一代.具體而言，一個(gè)粒子的隱含生存概率可以計(jì)算如下：

其中pi是第i個(gè)粒子的生存概率，c是從（NP-1）個(gè)元素中選擇兩個(gè)元素時(shí)的組合數(shù)，rank（i）是在以適應(yīng)度的升序?qū)θ航M進(jìn)行排序之后的第i個(gè)粒子的排名.從方程（7），我們可以得到三個(gè)觀察結(jié)果.（1）：在每一代中，前兩個(gè)最佳粒子的存活概率均為1.換句話(huà)說(shuō)，這兩個(gè)粒子總能存活并直接進(jìn)入下一代.（2）：最壞粒子的存活概率為0，表明每一代中最差的粒子總是更新.（3）：至于其他粒子，粒子越好，它的存活概率就越高，反之亦然.總之，不同的粒子具有不同的存活機(jī)會(huì)，這有利于SDLSO維持高的搜索多樣性.

總的來(lái)說(shuō)，我們可以看到利用粒子的進(jìn)化信息，這種調(diào)整策略可以在進(jìn)化過(guò)程中自適應(yīng)地調(diào)整每個(gè)粒子的β.

3.3 復(fù)雜性分析

總而言之，算法1給出了所提出的SDLSO的偽代碼.

Algorithm 1： The pseudocode of SDLSO

Input： swarm size NP， maximum fitness evaluations FESmax

1： Initialize particles randomly and calculate their fitness;

2： fes=NP

3： While （fes≤FESmax） do

4： For i =1：NP do

5： Select two random exemplars from the swarm：xb1，xb2;

6：? If （f（xb1）≤f（xi） && f（xb2）≤f（xi）） then

7：? ?If （f（xb1）≤f（xi）） then

8：? ? Swap b2 and b1

9：? ?End If

10：? ?Compute βi according to Eq.（6）;

11：? ?Update particle x_i according to Eq.

（4） and Eq.（5）;

12：? ?Calculate the fitness of xi： f（xi）;

13：? ?fes++;

14：? ?End If

15：? End For

16： End While

17： Obtain the globa l best? solution gbest? and its fitness f（gbest）;

Output： f（gbest） and gbest

從這個(gè)算法中，我們可以看到SDLSO直接利用當(dāng)前群中的支配者粒來(lái)指導(dǎo)粒子的學(xué)習(xí).除了函數(shù)評(píng)估時(shí)間，在每一代中SDLSO的計(jì)算時(shí)間都是O（NP×D）用于更新粒子，這些計(jì)算時(shí)間是不可避免的.因此，在計(jì)算時(shí)間上SDLSO和經(jīng)典的PSO[6-7][22]保持相同的效率.

至于空間復(fù)雜性，SDLSO占據(jù)了O（2×NP×D）的空間來(lái)存儲(chǔ)群，其中O（NP×D）的空間保持粒子的位置，另一個(gè)O（NP×D）的空間存儲(chǔ)粒子的速度，這兩者都是不可避免的.由于在SDLSO中沒(méi)有使用pbest或lbest，因此與傳統(tǒng)的PSO[6-7][22]相比，O（NP×D）的空間可以在SDLSO中被節(jié)省.簡(jiǎn)而言之，SDLSO在時(shí)間上仍然與經(jīng)典PSO一樣有效，但在空間占用方面更有效.

4 仿真實(shí)驗(yàn)及結(jié)果分析

本實(shí)驗(yàn)的運(yùn)行環(huán)境為內(nèi)存8G，Intel i7-7500HQ CPU 2.80GHz，Windows 10 64位操作系統(tǒng)，算法采用MATLAB R2019a實(shí)現(xiàn).為了檢驗(yàn)算法SDLSO的有效性，我們?cè)贑EC’2010測(cè)試函數(shù)集上進(jìn)行了廣泛的實(shí)驗(yàn).CEC'2010包含了20個(gè)1000-D大型函數(shù)，它們是通過(guò)引入新特征（例如重疊）對(duì)函數(shù)的擴(kuò)展.有關(guān)這些函數(shù)的詳細(xì)信息，請(qǐng)參閱[23].在實(shí)驗(yàn)時(shí)除非另有說(shuō)明，否則適應(yīng)性評(píng)估的最大次數(shù)將設(shè)置為6000×D（其中D是維度大?。?為了公平起見(jiàn)，使用30個(gè)獨(dú)立運(yùn)行的均值來(lái)評(píng)估所有算法的性能.

在不失一般性的前提下，我們選擇了四個(gè)1000-D CEC’2010函數(shù)：完全可分離的單峰F1，部分可分離的單峰F9，部分可分離的多峰F11和F15作為測(cè)試平臺(tái)，適應(yīng)性評(píng)估的最大次數(shù)設(shè)置為6000×D=6×106.在實(shí)驗(yàn)中，為了進(jìn)行公平的比較，兩個(gè)算法的群大小都被設(shè)置為400.下列四幅圖給出了SDLSO和CSO在四個(gè)1000-D CEC 2010函數(shù)上的性能比較.橫坐標(biāo)代表適應(yīng)度評(píng)估次數(shù)，縱坐標(biāo)代表最佳適應(yīng)度.

從這些圖中，我們可以得到以下實(shí)驗(yàn)結(jié)果：（1）從圖（a）和圖（b），我們發(fā)現(xiàn)在單峰函數(shù)F1和F9上，SDLSO和CSO兩者的全局最佳適應(yīng)度的變化趨勢(shì)相同，并且SDLSO可以比CSO更快收斂的更好解決方案.在優(yōu)化的后期，SDLSO在F1上幾乎找到了最優(yōu)值.在F9上，即使沒(méi)有找到最優(yōu)值，SDLSO的性能也優(yōu)于CSO.因?yàn)镾DLSO在勘探和開(kāi)發(fā)之間比CSO具有更好的平衡.

（2）從圖（c）和（d）可以看出，當(dāng)遇到多峰問(wèn)題F11和F15時(shí)，因?yàn)榱Ｗ拥拈_(kāi)發(fā)不那么廣泛，這兩種算法都不能找到全局最優(yōu)的區(qū)域.在收斂速度和解決質(zhì)量方面，SDLSO仍比CSO具有更好的性能，并且SDLSO在優(yōu)化后期比CSO擁有更強(qiáng)的勘探和開(kāi)發(fā)能力.SDLSO的這種表現(xiàn)歸結(jié)于高度的種群多樣性，所以SDLSO比CSO有更廣闊的應(yīng)用前景.

5 結(jié)論

為了可以消耗盡可能少的計(jì)算時(shí)間和空間來(lái)定位最優(yōu)值，本文在SDLSO中提出了兩個(gè)策略：一是只有當(dāng)從當(dāng)前群體中隨機(jī)選擇的兩個(gè)樣本是其支配者時(shí)，才更新這個(gè)粒子.這樣，每個(gè)粒子都有一個(gè)直接進(jìn)入下一代的隱含概率，因此可以保持高的種群多樣性.每個(gè)更新的粒子只能從其支配者那里學(xué)習(xí)，因此也可以實(shí)現(xiàn)良好的收斂性.二是為了減輕該優(yōu)化器對(duì)新引入?yún)?shù)的敏感性，進(jìn)一步設(shè)計(jì)了自適應(yīng)參數(shù)調(diào)整策略.使用CEC’10測(cè)試函數(shù)對(duì)SDLSO算法和CSO算法進(jìn)行仿真實(shí)驗(yàn)比較，結(jié)果驗(yàn)證了算法SDLSO在解決方案質(zhì)量和計(jì)算成本達(dá)到了競(jìng)爭(zhēng)性甚至更好的性能.后續(xù)工作是將本文算法應(yīng)用于解決其他實(shí)際優(yōu)化問(wèn)題中.

參考文獻(xiàn)：

〔1〕S. Mahdavi， et al.， "Metaheuristics in large-scale global continues? optimization： A survey，" Inf. Sci.， vol. 295， pp. 407-428， 2015.

〔2〕X. Peng， and Y. Wu， "Large-scale cooperative co-evolution using niching-based multi-modal optimization and adaptive fast clustering，" Swarm Evol. Comput.， vol. 35， pp. 65-77，2017.

〔3〕R. Cheng， and Y. Jin， "Asocial learning particle swarm optimization algorithm for scalable optimization，" Inf. Sci.， vol.291， pp.43-60， 2015.

〔4〕R. Cheng， and Y. Jin， "A Competitive Swarm Optimizer for Large Scale Optimization，" IEEE Trans. Cybern.， vol. 45， no. 2， pp. 19-204， 2015.

〔5〕J. J. Liang， A. K. Qin， P. N. Suganthan， and S. Baskar， "Comprehensive learning particle swarm optimizer for global optimization of multimodal functions，" IEEE Trans. Evol. Comput.， vol. 10， no. 3， pp. 281-295，2006.

〔6〕Y. Shi， and R. Eberhart， "A modified particle swarm optimizer，" in Proc. IEEE Congr. Evol. Comput.， pp. 69-73， 1998.

〔7〕J. Kennedy， and R. Eberhart， "Particle swarm optimization，" in Proc. IEEE Int. Conf. Neural Netw， pp. 1942-1948 vol. 4，1995.

〔8〕W. Dong， and M. Zhou， "A Supervised Learning and Control Method to Improve Particle Swarm Optimization Algorithms，" IEEE Trans. Syst.， Man， Cybern.， Syst.， vol. 47， no. 7， pp. 1135-1148， 2017.

〔9〕R. Storn， and K. Price， "Differential evolution-a simple and efficient heuristic for global optimization over continuous spaces，" J. Global Optim.， vol. 11. no. 4. pp. 341-359， 1997.

〔10〕S. Das， and P. N. Suganthan， "Differential evolution： A survey of the state-of-the-art，" IEEE Trans. Evol. Comput.， vol. 15， no. 1， pp. 4-31， 2011.

〔11〕J. Kennedy， Swarm Intelligence. Seacaucus， NJ， U.S.A： Springer， 2006.

〔12〕Y. Shi and R. Eberhart， “A modified particle swarm optimizer，” in Proc. IEEE Int. Conf. Evol. Comput.， Anchorage， AK， U.S.A， 1998， pp. 69–73.

〔13〕R. Eberhart and J. Kennedy， “A new optimizer using particle swarm theory，” in Proc. Int. Symp. MHS， Nagoya， Japan， 1995， pp. 39–43.

〔14〕J. Kennedy， “The particle swarm： Social adaptation of knowledge，” in Proc. IEEE Int. Conf. Evol. Comput.， Indianapolis， IN， U.S.A， 1997， pp. 303–308.

〔15〕Y. Mei， M. N. Omidvar， X. Li， and X. Yao， “A competitive divide-and-conquer algorithm for unconstrained large-scale black-box optimization，” ACM Trans. Math. Softw.， vol. 42， no. 2， p. 13， 2016.

〔16〕M. A. Potter and K. A. De Jong， “A cooperative coevolutionary approach to function optimization，” in Parallel Problem Solving From Nature PPSN III. Heidelberg， Germany： Springer， 1994， pp. 249–257.

〔17〕S. Mahdavi， M. E. Shiri， and S. Rahnamayan， ''Metaheuristics in large-scale global continues optimization： A survey，'' Inf. Sci.， vol. 295， pp. 407–428， Feb. 2015.

〔18〕Y. Sun， M. Kirley， and S. K. Halgamuge， “A Recursive Decomposition Method for Large Scale Continuous Optimization，” IEEE Trans. Evol. Comput.， vol. 22， no. 5，pp.647-661， 2018.

〔19〕M. Yang et al.， ''Efficient resource allocation in cooperative co-evolution for large-scale global optimization，'' IEEE Trans. Evol. Comput.， vol. 21， no. 4， pp. 493–505， Aug. 2017.

〔20〕J. Kennedy， "Small worlds and mega-minds： effects of neighborhood topology on particle swarm performance，" in Proc. IEEE Congr. Evol. Comput.， pp. 1931-1938， 1999.

〔21〕J. Li. J. Zhang， C. Jiang， and M. Zhou， “Composite Particle Swarm Optimizer With Historical Memory for Function Optimization，” IEEE Trans. Cybern.， vol. 45， no. 10， pp. 2350-2363， 2015.

〔22〕A. LaTorre， S. Muelas， and J.-M. Pena， "A comprehensive comparison of large scale global optimizers，" Inf.Sci.， vol. 316， pp. 517-549， 2015.

〔23〕K. Tang， X. Li， P. N. Suganthan， Z. Yang， and T. Weise， "Benchmark functions for the CEC 2010 special session and competition on large-scale global optimization，" Technical Report， Nature Inspired Computation and Applicattons Laboratory， U.S.TC， China， 2010.