基于混合策略的自適應(yīng)教與學(xué)優(yōu)化算法

畢曉君，李月，陳春雨

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001)

?

基于混合策略的自適應(yīng)教與學(xué)優(yōu)化算法

畢曉君，李月，陳春雨

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001)

摘要：為提高教與學(xué)優(yōu)化算法的綜合性能，提出一種基于混合策略的自適應(yīng)教與學(xué)優(yōu)化算法。將隨機性學(xué)習(xí)與有向性學(xué)習(xí)融合，提出一種自適應(yīng)綜合交叉學(xué)習(xí)策略，根據(jù)進化的不同階段自適應(yīng)地選擇學(xué)習(xí)方式，增強算法對解的搜索能力；加入一種方向性的擾動策略，增大種群多樣性，較大程度地加大了對搜索空間的探索力度，降低了種群陷入局部最優(yōu)的可能?；跇?biāo)準(zhǔn)測試函數(shù)的仿真實驗結(jié)果表明，本文算法可有效避免算法陷入局部最優(yōu)，在收斂精度和收斂速度上有較大提高。

關(guān)鍵詞：教與學(xué)優(yōu)化算法；自適應(yīng)；綜合交叉學(xué)習(xí)；擾動策略；混合策略

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/23.1390.u.20160421.1040.016.html

教與學(xué)優(yōu)化算法(teaching learning based optimization, TLBO)是2011年由Rao等提出的一種新型群智能優(yōu)化算法[1]。該算法模擬了以班級為單位的教學(xué)和學(xué)習(xí)的過程，通過老師對學(xué)生的教學(xué)以及學(xué)生之間的相互學(xué)習(xí)兩個階段來達到提高班級整體平均成績的目的。由于TLBO算法參數(shù)設(shè)置少、計算簡單，目前已在處理函數(shù)優(yōu)化[2]、工程參數(shù)優(yōu)化[3]、多目標(biāo)優(yōu)化[4]等問題上得到了廣泛的應(yīng)用。

文獻[1]已經(jīng)證明TLBO在收斂精度和收斂速度上明顯優(yōu)于粒子群優(yōu)化算法、人工蜂群進化算法、差分進化算法等。但是該算法在搜索過程中仍然存在著易陷入局部最優(yōu)以及收斂速度慢的問題。為此，許多學(xué)者對其進行了改進。文獻[5]將自適應(yīng)學(xué)習(xí)因子取代原有學(xué)習(xí)因子，提出一種改進的教與學(xué)優(yōu)化算法。文獻[6]將差分算法與教與學(xué)優(yōu)化算法結(jié)合，提出了一種帶有交叉操作的教與學(xué)優(yōu)化算法。文獻[7]將整個種群分成若干小組進行教與學(xué)兩個過程，提出了一種基于分組的的教與學(xué)優(yōu)化算法。上述的改進方法在一定程度上降低了算法陷入局部最優(yōu)的可能，但是算法收斂精度與收斂速度仍有提升的空間。

為此，本文提出一種基于混合策略的自適應(yīng)教與學(xué)優(yōu)化算法(self-adaptive teaching learning based optimization with mixed-strategy, MSTLBO)。采用綜合交叉學(xué)習(xí)策略代替原有學(xué)習(xí)機制，增強算法對解的搜索能力，加快收斂速度；提出一種具有一定方向性的擾動策略，增強算法跳出局部最優(yōu)的能力，避免陷入局部最優(yōu)。

1教與學(xué)優(yōu)化算法的基本理論

TLBO算法模擬了班級中以提高平均學(xué)習(xí)成績?yōu)槟康牡慕處熃虒W(xué)和學(xué)員之間相互學(xué)習(xí)這兩個階段。在教階段，教師(適應(yīng)度值最好的學(xué)員)將自己的知識全部傳授給其他學(xué)員，所有學(xué)員向教師學(xué)習(xí)，逐步減小與教師之間的差距；在學(xué)階段，學(xué)員之間互相取長補短、相互學(xué)習(xí)、共同進步。TLBO算法的主要步驟包括：教階段和學(xué)階段[1]。

1.1教階段

教階段模擬教師向?qū)W員傳授知識的過程，學(xué)員通過平均值與教師之間的差異性進行學(xué)習(xí)，逐步提高學(xué)員學(xué)習(xí)成績。具體實現(xiàn)過程如下：

1)計算教師與平均值之間的差距。

difference=ri·(Xteacher-Tf·mean)

(1)

2)學(xué)員利用差異性進行學(xué)習(xí)。

(2)

教階段學(xué)員通過向老師學(xué)習(xí)來提升自身學(xué)習(xí)成績。

1.2學(xué)階段

學(xué)階段模擬學(xué)生之間類似于互相討論、研究、演講等相互交流的學(xué)習(xí)方式，通過向成績更好的學(xué)員學(xué)習(xí)進而提高學(xué)員的自身成績。

對于學(xué)員Xi，隨機抽取與之不同的學(xué)員Xj進行交流學(xué)習(xí)。通過比較二者適應(yīng)度值，對學(xué)習(xí)進行調(diào)整：

(3)

式中：r=rand(0,1)代表每個學(xué)員的學(xué)習(xí)因子，取值0～1的隨機數(shù)，這是因為在一個班級中，每個學(xué)員的學(xué)習(xí)能力有所差異，所以每個學(xué)員擁有不同的學(xué)習(xí)因子，可以更好地模擬現(xiàn)實中的學(xué)習(xí)情況。

學(xué)階段通過學(xué)生之間的交流學(xué)習(xí)提升學(xué)員學(xué)習(xí)成績。

TLBO算法流程圖如圖1所示。

圖1　TLBO算法流程圖Fig.1　The flow char of TLBO

2基于混合策略的自適應(yīng)教與學(xué)優(yōu) 化算法

TLBO算法因其具有較強的收斂能力以及參數(shù)設(shè)置少等優(yōu)點被廣泛應(yīng)用，但是通過深入研究發(fā)現(xiàn)TLBO算法仍存在易陷入局部最優(yōu)以及收斂速度慢等缺點。為此，本文首先在文獻[7]的基礎(chǔ)上將學(xué)員分成若干小組進行教學(xué)與學(xué)習(xí)，而后從兩方面進行改進，提出一種基于混合策略的自適應(yīng)教與學(xué)優(yōu)化算法，下面分別進行詳細介紹。

2.1自適應(yīng)綜合交叉學(xué)習(xí)策略的提出

在TLBO算法學(xué)階段，過分注重全局性探索的學(xué)習(xí)方式，使得在搜索過程中局部開發(fā)能力較差，對解的搜索速度較慢。事實上為更好地平衡TLBO算法全局搜索與局部開發(fā)能力，進化的不同階段需要不同的學(xué)習(xí)方式。進化前期注重加強學(xué)員之間的信息交流，保證種群多樣性，增大搜索范圍，降低算法陷入局部最優(yōu)的可能；進化后期注重群體進化的方向性，加快算法收斂速度，提高收斂精度。據(jù)此，本文提出將隨機性學(xué)習(xí)與有向性學(xué)習(xí)融合的自適應(yīng)綜合交叉學(xué)習(xí)策略，即根據(jù)進化的不同階段自適應(yīng)的選擇學(xué)習(xí)方式。兩種學(xué)習(xí)方式在進化過程中起到不同的作用，較好的平衡了算法的全局搜索能力和局部開發(fā)能力。

(4)

這種隨機性的學(xué)習(xí)方式保證了每個學(xué)員可以獲得多元化的信息，增大種群的多樣性。但是這種方式過分地注重全局搜索，具有一定盲目性，導(dǎo)致在進化后期算法在對解空間搜索時，收斂速度過慢，局部開發(fā)能力較差。基于以上分析，本文采用一種有向性學(xué)習(xí)方式用以彌補隨機性學(xué)習(xí)在搜索過程中存在的不足。在有向性學(xué)習(xí)方式中，對于已完成分組后的學(xué)員Xi，不再是隨機向?qū)W員Xj學(xué)習(xí)，而是向Xi所在學(xué)習(xí)小組內(nèi)適應(yīng)度值最優(yōu)的XGroupteacher學(xué)習(xí)，令較優(yōu)解參與進化產(chǎn)生新解，使得進化具有一定的方向性，總是向著較好的方向進行，逐漸向著最優(yōu)值逼近，從而提高算法收斂速度與收斂精度。有向性學(xué)習(xí)方式：

(5)

考慮到算法進化的過程中，前期側(cè)重全局探索后期更加注重局部開發(fā)，故結(jié)合以上兩種學(xué)習(xí)方式的優(yōu)點，提出將這兩種學(xué)習(xí)方式融合的自適應(yīng)綜合交叉學(xué)習(xí)策略為

(6)

2.2自適應(yīng)擾動策略的提出

學(xué)階段的分組教學(xué)方式為種群多樣性做出了一定貢獻，但是隨著進化進行，種群仍然會出現(xiàn)“趨同”現(xiàn)象[8-9]，尤其到了進化后期，粒子逐漸聚集到某一點(非全局最優(yōu)值點)，進化幾乎停滯，種群處于一種相對平衡狀態(tài)，易陷入局部最優(yōu)。針對這種情況，本文提出一種自適應(yīng)擾動策略：算法進化前期，學(xué)員比較分散多樣性較好，為提高種群的局部搜索能力，圍繞當(dāng)前粒子進行擾動以期得到更優(yōu)個體。隨著迭代進行，學(xué)員逐漸聚集，種群多樣性逐漸變差，種群陷入局部最優(yōu)的可能逐漸增加，此時應(yīng)逐漸增大最優(yōu)個體對當(dāng)前個體的影響力度，進而增大種群多樣性，擴大種群的搜索空間，增強算法跳出局部最優(yōu)的能力。基于以上分析，本文在文獻[10]的基礎(chǔ)上進行改進，提出擾動公式為

(7)

2.3MSTLBO算法執(zhí)行步驟

綜合以上兩個方面的改進措施，本文提出的MSTLBO算法具體步驟如下：

1)初始化班級中學(xué)員數(shù)目(NP),變量維數(shù)d,小組成員數(shù)目m,動態(tài)分組頻率p；

2)將所有學(xué)員分組[7]，計算每個小組的XGroupteacher；

3)教階段，每個小組學(xué)員按照式(1)、(2)產(chǎn)生新個體，如果新個體適應(yīng)度值優(yōu)于未更新個體，則保留更新后的個體；

6)按照式(6)，產(chǎn)生自適應(yīng)綜合交叉學(xué)習(xí)后的新學(xué)員；

7)學(xué)員按照式(7)進行擾動，將擾動后得到的新個體與擾動前的個體進行比較，保留適應(yīng)度值較好的個體；

8)如果mod(t,p)==0,則返回2)，否則返回3)，t=t+1；

9)若滿足終止條件，輸出當(dāng)前最優(yōu)個體，算法結(jié)束。

3實驗結(jié)果與分析

為驗證本文所提出算法的整體性能，在10個典型 Benchmark 函數(shù)[11]上進行測試，并與TLBO算法[1]以及目前改進效果較好的ITLBO算法[5]、CTLBO算法[6]、DGSTLBO算法[7]進行對比。Benchmark 函數(shù)的取值范圍以及理論最優(yōu)值已經(jīng)在表1中給出。根據(jù)函數(shù)性質(zhì)將其分為單峰和多峰兩大類，其中函數(shù)f1～f6為復(fù)雜連續(xù)型單峰函數(shù)，主要用來測試算法的尋優(yōu)精度，考察算法的執(zhí)行性能。f7～f10是非線性多峰函數(shù)，具有多個局部極值點，一般算法很難找到全局最優(yōu)值因此可用來測試算法的全局搜索性能和避免早熟的能力[12]。

仿真實驗在Intel(R).Pentium(R).CPU G260@2.60GHZ.2G內(nèi)存的計算機上進行，開發(fā)環(huán)境為Matlab 2011a。

3.1實驗參數(shù)設(shè)置

所有算法的種群大小為50，決策變量維數(shù)為30，所有測試函數(shù)上的最大迭代次數(shù)為1 000次。本文算法中兩個參數(shù)m=5，p=5。其他所有對比算法中涉及到的參數(shù)均與對比文獻中相同。為避免偶然因素的影響，每個測試函數(shù)的尋優(yōu)實驗都獨立運行30次。通過測試結(jié)果的最優(yōu)值、最差值、平均值，標(biāo)準(zhǔn)差、函數(shù)評價次數(shù)、運行時間以及成功率來評價函數(shù)的尋優(yōu)性能。

3.2實驗仿真與結(jié)果分析

為驗證本文算法中兩點改進的有效性以及MSTLBO算法的整體性能，將從以下兩方面進行仿真實驗。

3.2.1自適應(yīng)綜合交叉學(xué)習(xí)策略的有效性測試

為驗證本文提出的自適應(yīng)綜合交叉學(xué)習(xí)策略的有效性，選取單峰函數(shù)f1以及非常難找到全局最優(yōu)值的多峰函數(shù)f7進行測試。得到的均值、方差，達到求解精度的函數(shù)評價次數(shù)以及成功率已在表2中給出，各算法均獨立運行30次。其中，TLBO-m代表本文提出的基于自適應(yīng)綜合交叉學(xué)習(xí)策略的TLBO改進算法。

從表2中可以看出，對于單峰函數(shù)f1，TLBO-m算法收斂到理論最優(yōu)值，相比于TLBO算法得到了更小的平均值和方差，函數(shù)評價次數(shù)也較少，說明改進的算法在收斂精度和收斂速度上都有提升。對于多峰函數(shù)f7，雖然TLBO-m算法沒有收斂到理論最優(yōu)值但是相對于TLBO算法也得到了較小的均值、方差、函數(shù)評價次數(shù)。以上實驗結(jié)果表明，本文提出的自適應(yīng)綜合交叉學(xué)習(xí)策略是有效的。

表1　標(biāo)準(zhǔn)測試函數(shù)

表2　自適應(yīng)綜合交叉學(xué)習(xí)方式對算法影響

3.2.2自適應(yīng)擾動策略的有效性測試

為驗證本文提出的自適應(yīng)擾動策略的有效性，在測試函數(shù)f5和f9上將加入擾動策略的TLBO算法與TLBO算法進行對比，其中TLBO-s代表加入擾動后的算法。為了更直觀的表現(xiàn)兩算法的對比結(jié)果，將其進化曲線圖表示如圖2，其中橫坐標(biāo)代表進化代數(shù)，縱坐標(biāo)代表每代最優(yōu)適應(yīng)度值的對數(shù)。

從圖2中可以看出在對單峰函數(shù)f5以及多峰函數(shù)f9的尋優(yōu)過程中，改進后的算法在收斂速度和收斂精度兩方面都優(yōu)于對比算法。尤其在多峰函數(shù)f9的尋優(yōu)上，標(biāo)準(zhǔn)TLBO已陷入局部最優(yōu)，而TLBO-s較快的收斂到最優(yōu)值，尋優(yōu)精度和收斂速度有較大提升，從而證明了本文提出的自適應(yīng)擾動策略的有效性。

(a) 測試函數(shù)f5進化曲線 　　　　　　　　　　　(b)測試函數(shù)f9進化曲線 圖2　改進的擾動策略效果圖Fig.2　Result of improved disturbance strategy

3.2.3MSTLBO算法整體性能測試

為驗證本文所提出MSTLBO算法的整體性能，現(xiàn)與TLBO算法、CTLBO算法、ITLBO算法以及DGSTLBO算法進行對比，各算法均獨立運行30次。對比算法性能的考察將從以下兩個方面進行：通過結(jié)果中最優(yōu)值、最差值、平均值、標(biāo)準(zhǔn)差來評價尋優(yōu)精度；通過運行時間，函數(shù)評價次數(shù)以及成功率來評價算法收斂速度。各函數(shù)求解精度為VTR=10-8。算法性能對比結(jié)果如表3所示，表中空白處代表對應(yīng)算法未收斂到規(guī)定求解精度。

從表3所得結(jié)果可以得出以下結(jié)論：

1)尋優(yōu)精度：在對復(fù)雜連續(xù)型單峰函數(shù)f1、f2的尋優(yōu)過程中，MSTLBO算法和DGSTLBO算法收斂到了理論最優(yōu)值。對于函數(shù)f3～f5，MSTLBO算法相較于TLBO、ITLBO、CTLBO、DGSTLBO算法收斂到了理論最優(yōu)值而且具有較好的穩(wěn)定性。對于函數(shù)f6，只有MSTLBO算法、CTLBO算法以及DGSTLBO算法收斂到了理論最優(yōu)值。以上結(jié)果表明MSTLBO算法在尋優(yōu)精度上具有較大優(yōu)勢。

對于具有多個局部極值點的多峰函數(shù)f7～f10而言，由于這些函數(shù)的自身特點很容易陷入局部最優(yōu)而較難搜索到最優(yōu)值。由表3可知，對于多峰函數(shù)f7～f10，TLBO、ITLBO、CTLBO算法過早陷入局部最優(yōu)并沒有搜索到理論最優(yōu)值，而DGSTLBO算法只在函數(shù)f7、f9上收斂到理論最優(yōu)值，而本文提出的MSTLBO算法在函數(shù)f7、f9、f10上都收斂到了理論最優(yōu)值。但是對于函數(shù)f8，MSTLBO算法收斂精度略次于DGSTLBO，但是相對于TLBO、ITLBO、CTLBO算法收斂精度大幅度改善。所以本文提出的MSTLBO算法幾乎都可以收斂到理論最優(yōu)值且算法穩(wěn)定性較好，收斂精度相對于對比算法有較大提高。

2)收斂速度：所得結(jié)果中函數(shù)評價次數(shù)較小的算法說明其收斂速度較快，成功率較高說明其達到規(guī)定收斂精度成功次數(shù)較多。由表3可知，對于函數(shù)f1、f2、f4、f5，MSTLBO相較于TLBO、ITLBO、CTLBO以及DGSTLBO運行時間和函數(shù)評價次數(shù)均較少，成功率較高。對于函數(shù)f3、f6、f7、f9、f10，MSTLBO相較于TLBO、ITLBO、CTLBO運行時間和函數(shù)評價次數(shù)均較少，但是較DGSTLBO運行時間較多，這是由于MSTLBO計算復(fù)雜度對比于DGSTLBO算法略有提高，使得單次收斂速度也有上升，但由于MSTLBO的函數(shù)評價次數(shù)較少使得總的計算效率與DGSTLBO相差不大。對于多峰函數(shù)f7、f9、f10，MSTLBO較TLBO、ITLBO、CTLBO、DGSTLBO函數(shù)評價次數(shù)大大減小，說明本文所提算法不易陷入局部最優(yōu)且可以快速收斂到理論最優(yōu)值。對于函數(shù)f8雖然MSTLBO的收斂精度略差于DGSTLBO但是函數(shù)評價次數(shù)以及運行時間均較小?？傮w上本文提出的MSTLBO算法收斂速度相對于對比算法有較大提高。

綜合以上分析，本文提出的MSTLBO算法在收斂速度以及收斂精度兩方面優(yōu)于其他對比算法，尤其對于多峰函數(shù)尋優(yōu)效果更為明顯，有效避免了算法陷入局部最優(yōu)的現(xiàn)象，較好地平衡了全局探索以及局部開發(fā)能力。

表3　算法性能對比

續(xù)表3

4結(jié)論

1)本文提出了一種自適應(yīng)綜合交叉學(xué)習(xí)策略，從而加快算法對最優(yōu)解的搜索速度；

2)本文提出的自適應(yīng)擾動策略，增強了種群多樣性，從而降低種群陷入局部最優(yōu)的可能。

3)本文所提出算法具有較好的收斂精度和收斂速度，尤其在多峰函數(shù)的尋優(yōu)上效果更佳，具有較好的推廣價值。

參考文獻：

[1]RAO R V, SAVSANI V J, VAKHARIA D P. Teaching-learning-based optimization: a novel method for constrained mechanical design optimization problems[J]. Computer-aided design, 2011, 43(3): 303-315.

[2]RAO R V, SAVSANI V J, VAKHARIA D P. Teaching-learning-based optimization: an optimization method for continuous non-linear large scale problems[J]. Information sciences, 2012, 183(1): 1-15.

[3]RAO R V, PATEL V. Multi-objective optimization of heat exchangers using a modified teaching-learning-based optimization algorithm[J]. Applied mathematical modelling, 2013, 37(3): 1147-1162.

[4]RAO R V, PATEL V. Multi-objective optimization of two stage thermoelectric cooler using a modified teaching-learning-based optimization algorithm[J]. Engineering applications of artificial intelligence, 2013, 26(1): 430-445.

[5]RAO R V, PATEL V. An improved teaching-learning-based optimization algorithm for solving unconstrained optimization problems[J]. Scientia iranica, 2013, 20(3): 710-720.

[6]高立群, 歐陽海濱, 孔祥勇, 等. 帶有交叉操作的教 與學(xué)優(yōu)化算法[J]. 東北大學(xué)學(xué)報:自然科學(xué)版, 2014, 35(3): 323-327.

GAO Liqun, OUYANG Haibin, KONG Xiangyong Y, et al. Teaching-learning based optimization algorithm with crossover operation[J]. Journal of northeastern university: natural science, 2014, 35(3): 323-327.

[7]ZOU Feng, WANG Lei, HEI Xinhong, et al. Teaching-learning-based optimization with dynamic group strategy for global optimization[J]. Information sciences, 2014, 273: 112-131.

[8]LI Jianping, BALAZS M E, PARKS G T, et al. A species conserving genetic algorithm for multimodal function optimization[J]. Evolutionary computation, 2002, 10(3): 207-234.

[9]LI Xiaodong. Efficient differential evolution using speciation for multimodal function optimization[C]//Proceedings of the 7th Annual Conference On Genetic and Evolutionary Computation. New York, USA, 2005: 873-880.

[10]伍大清, 鄭建國. 基于混合策略自適應(yīng)學(xué)習(xí)的并行粒子群優(yōu)化算法[J]. 控制與決策, 2013, 28(7): 1087-1093.

WU Daqing, ZHENG Jianguo. Improved parallel particle swarm optimization algorithm with hybrid strategy and self-adaptive learning[J]. Control and decision, 2013, 28(7): 1087-1093.

[11]YAO Xin, LIU Yong, LIN Guangming. Evolutionary programming made faster[J]. IEEE transactions on evolutionary computation, 1999, 3(2): 82-102.

[12]OMRAN M G H, ENGELBRECHT A P, SALMAN A. Self-adaptive barebones differential evolution[C]//Proceedings of the IEEE Congress on Evolutionary Computation. Singapore, 2007: 2858-2865.

本文引用格式：

畢曉君，李月，陳春雨. 基于混合策略的自適應(yīng)教與學(xué)優(yōu)化算法[J]. 哈爾濱工程大學(xué)學(xué)報， 2016, 37(6): 842-848.

BI Xiaojun，LI Yue，CHEN Chunyu. A self-adaptive teaching-and-learning-based optimization algorithm with a mixed strategy[J]. Journal of Harbin Engineering University, 2016, 37(6): 842-848.

收稿日期：2015-05-27.

基金項目：國家自然科學(xué)基金項目(61175126)；中央高?；究蒲袠I(yè)務(wù)費專項資金項目(Heucfx041306)；教育部博士點基金項目( 20112304110009).

作者簡介：畢曉君(1964-)，女，教授，博士生導(dǎo)師； 李月(1990-)，女，碩士. 通信作者：李月，E-mail:2272167256@qq.com

DOI:10.11990/jheu.201505076

中圖分類號：TN919.4

文獻標(biāo)志碼：A

文章編號：1006-7043(2016)06-0842-07

A self-adaptive teaching-and-learning-based optimization algorithm with a mixed strategy

BI Xiaojun，LI Yue，CHEN Chunyu

(College of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China)

Abstract：In order to improve the overall performance of teaching-and-learning-based optimization (TLBO), in this paper, we propose a new self-adaptive teaching-and-learning-based optimization algorithm that uses a mixed strategy (MSTLBO). This strategy combines adaptive integrated cross learning with random and directional learning. These learning methods are chosen adaptively to enhance the searching ability for different evolutionary stages. We adopt a kind of directional disturbance strategy to increase the population diversity, and to avoid the possibility of the population falling into a local optimum. The experimental results on the benchmark functions show that the MSTLBO exhibits good performance in avoiding premature convergence, and both the convergence accuracy and convergence rate are significantly improved.

Keywords：teaching-and-learning based optimization; self-adaptation; comprehensive cross learning; disturbance strategy; mixed-strategy

網(wǎng)絡(luò)出版日期：2016-04-21.