嵌入共軛梯度的二次學(xué)習(xí)教與學(xué)優(yōu)化算法*

王培崇，彭菲菲，錢　旭1.河北地質(zhì)大學(xué) 信息工程學(xué)院，石家莊 05001.中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院，北京 10008.北京郵電大學(xué) 圖書館，北京 10008

?

嵌入共軛梯度的二次學(xué)習(xí)教與學(xué)優(yōu)化算法*

王培崇1,2+，彭菲菲3，錢旭2
1.河北地質(zhì)大學(xué) 信息工程學(xué)院，石家莊 050031
2.中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院，北京 100083
3.北京郵電大學(xué) 圖書館，北京 100083

WANG Peichong,PENG Feifei,QIAN Xu.Improved teaching-learning based optimization algorithm with conjugate gradient methods and second study.Journal of Frontiers of Computer Science and Technology, 2016,10(6)：891-900.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2015-11-24,http://www.cnki.net/kcms/detail/11.5602.TP.20151124.1414.006.htmland GL(Gaussian learning)will be executed to them.Finally,some experiments on test functions show that the improved TLBO algorithm has higher precision and better global convergence than TLBO,fitting to solve higher dimension optimization functions.

摘要：教與學(xué)優(yōu)化算法通過模擬自然班的教與學(xué)行為實現(xiàn)復(fù)雜問題的求解，已經(jīng)得到較為廣泛的應(yīng)用。為了克服該算法容易早熟，解精度低的弱點，提出了一種改進(jìn)的混合混沌共軛梯度法教與學(xué)優(yōu)化算法。改進(jìn)算法應(yīng)用Chebyshev混沌映射初始化種群，以提高初始種群對解空間的覆蓋。為了保持種群多樣性，引入動態(tài)學(xué)習(xí)因子，使學(xué)生個體能夠在早期主要向教師學(xué)習(xí)，并逐漸提高個人知識對其進(jìn)化的影響比例。每次迭代后，教師個體將執(zhí)行共軛梯度搜索。種群內(nèi)適應(yīng)度較差的學(xué)生個體如果長時間狀態(tài)難以改變，則基于反向?qū)W習(xí)和高斯學(xué)習(xí)進(jìn)行二次學(xué)習(xí)優(yōu)化。最后在多個典型測試函數(shù)上的實驗表明，改進(jìn)算法對比相關(guān)算法具有較佳的全局收斂性，解精度較高，適用于求解較高維的函數(shù)優(yōu)化問題。

關(guān)鍵詞：教與學(xué)優(yōu)化算法；Chebyshev映射；動態(tài)自適應(yīng)學(xué)習(xí)；共軛梯度法；二次學(xué)習(xí)

ISSN 1673-9418CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology

1673-9418/2016/10(06)-0891-10

E-mail:fcst@vip.163.com

http://www.ceaj.org

Tel:+86-10-89056056

1　引言

2012年印度學(xué)者Rao等人[1]通過研究、模擬班級的群體學(xué)習(xí)現(xiàn)象，提出了一種新穎的演化算法——教與學(xué)優(yōu)化（teaching learning based optimization，TLBO）算法[1-2]。在該算法中，執(zhí)行演化的種群被劃分為教師和學(xué)生兩類。教師是種群內(nèi)適應(yīng)度最佳個體，教師通過“教”對學(xué)生進(jìn)行教學(xué)，學(xué)生通過“學(xué)”實現(xiàn)學(xué)生間的相互學(xué)習(xí)。該算法由于原理簡單，容易理解，參數(shù)較少，一經(jīng)提出即吸引了較多學(xué)者圍繞它展開相關(guān)研究，并被成功應(yīng)用于神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化[3]、熱點冷卻器優(yōu)化和熱交換器優(yōu)化[4]、平面鋼框架的設(shè)計優(yōu)化[5]、電力系統(tǒng)經(jīng)濟(jì)負(fù)荷調(diào)度問題[6]、機(jī)械設(shè)計優(yōu)化問題[7]、烯裂解爐裂解運行效益優(yōu)化[8]等領(lǐng)域。

研究表明，TLBO算法在求解較低維度函數(shù)時，表現(xiàn)出較好的求解效果，而在求解高維問題時，往往容易出現(xiàn)早熟，解精度較低等現(xiàn)象[9]。為了克服算法的這些弱點，Rao等人提出了一種精英教學(xué)優(yōu)化算法（elitist TLBO，ETLBO）[9]，每次迭代前，利用精英個體替換種群內(nèi)的最差個體，同時通過變異機(jī)制刪除重復(fù)的學(xué)生個體。文獻(xiàn)[10]提出了一種帶有交叉操作的教與學(xué)優(yōu)化算法（cross-TLBO，C-TLBO），即在TLBO算法中引入遺傳算法中的交叉操作，將“教”和“學(xué)”兩個階段進(jìn)行了有效融合，算法的局部搜索得到增強(qiáng)，平衡了算法的開采和勘探能力。Rajasekhar等人提出了一種相對精英教學(xué)優(yōu)化算法（opposite ETLBO，OETLBO）[11]，有效避免了種群容易聚集在局部最優(yōu)個體周圍的弱點，在算法后期能夠較好地保持種群多樣性。于坤杰等人[12]在ETLBO算法基礎(chǔ)上增加了針對快速提升較差學(xué)生分?jǐn)?shù)的精英反饋機(jī)制，利用精英個體的較強(qiáng)引導(dǎo)能力，加快種群的收斂速度，提升了算法的精度。

為了改善TLBO的全局收斂能力，提高解精度，本文對標(biāo)準(zhǔn)TLBO進(jìn)行了如下4個方面的改進(jìn)。首先，利用Chebyshev混沌[13]機(jī)制的初始化種群，提高種群對解空間的覆蓋率。第二，為了體現(xiàn)學(xué)生學(xué)習(xí)知識過程的動態(tài)性，引入一個動態(tài)自適應(yīng)因子，使算法早期學(xué)生主要向教師學(xué)習(xí)，快速提升自己的能力，后期逐漸增加自身知識對其進(jìn)化的影響。第三，為了加強(qiáng)對最優(yōu)解空間的局部搜索，以教師個體所在點為起始點，執(zhí)行共軛梯度[14]搜索。第四，種群內(nèi)的部分劣質(zhì)個體，如果經(jīng)過多次迭代之后仍然難以提高，則應(yīng)用反向?qū)W習(xí)（opposition-based learning，OBL）[15]和高斯學(xué)習(xí)（Gaussian learning，GL）[16]對其進(jìn)行二次強(qiáng)化學(xué)習(xí)，使其跳出局部極值的約束。

2　標(biāo)準(zhǔn)教與學(xué)優(yōu)化算法

假設(shè)問題的解空間為D維，將班級內(nèi)的教師和學(xué)生看作待求解問題的候選解，標(biāo)準(zhǔn)TLBO算法就是將優(yōu)化問題求解看成是在該D維空間內(nèi)的一個搜索過程。班級內(nèi)每一個人所具有的知識被看作一個可能的候選解，相應(yīng)解的適應(yīng)度對應(yīng)知識的質(zhì)量。

不失一般性，以最小化問題minf(x1,x2,?,xn)為研究實例，其中xi∈[Lj,Uj]，1≤j≤n。標(biāo)準(zhǔn)教與學(xué)優(yōu)化算法，首先在解空間內(nèi)隨機(jī)初始化產(chǎn)生N個個體，組成教學(xué)班級。完成種群初始化，最大迭代次數(shù)等設(shè)置后，算法進(jìn)入迭代演化過程。該算法包含3個基本操作。

（1）以式（1）在解空間進(jìn)行種群初始化。

其中rand(0,1)為(0,1)上的隨機(jī)數(shù)，xi∈[Lj,Uj]。

（2）教師教學(xué)階段。計算班級內(nèi)全部個體的平均值 Xmean(t)，設(shè)教學(xué)因子為 β=round(1+rand(0,1))（注：round()為四舍五入），對種群中所有個體執(zhí)行式（2）生成其子個體的第d維，并以優(yōu)勝劣汰的方式更新Xi(t)。

（3）學(xué)生互相學(xué)習(xí)階段。從種群中隨機(jī)選擇兩互不相同的個體Xr1(t)、Xr2(t)，令個體Xi(t)向其中優(yōu)秀的個體進(jìn)行學(xué)習(xí)。以式（3）生成子個體，同樣優(yōu)勝劣汰更新Xi(t)。

3　TLBO算法的改進(jìn)

影響TLBO算法早熟的主要原因之一是所求問題的解空間分布。由于種群數(shù)量有限，且分布具有一定的隨機(jī)性，對于較復(fù)雜的問題而言，當(dāng)前優(yōu)質(zhì)解的收斂方向不一定就是全局最優(yōu)解的收斂方向。求單峰問題中，下面兩種情況容易發(fā)生算法的提前收斂。第一，最優(yōu)解區(qū)域附近種群個體適應(yīng)度跨度變化較大；第二，最優(yōu)個體和次優(yōu)個體的適應(yīng)度相差較小。而在多峰問題中，如果解與解之間相距較遠(yuǎn)，也很難保證種群能夠覆蓋到全部最優(yōu)區(qū)域。

在實際應(yīng)用中，為了保證運算速度，種群規(guī)模設(shè)置有限，種群中個體采用隨機(jī)初始化產(chǎn)生，故種群所覆蓋的解空間存在不確定性。在初始種群沒有覆蓋到全局最優(yōu)解的情況下，如果在有限迭代次數(shù)內(nèi)，無法搜索到最優(yōu)解所在區(qū)域，則算法早熟是難以避免的。因此，為了改善算法的性能，一方面要提高種群的多樣性，擴(kuò)大搜索范圍；另一方面要加強(qiáng)對最優(yōu)解所在區(qū)域的搜索，平衡全局搜索與局部搜索。

3.1Chebyshev混沌種群初始化

大自然中的混沌現(xiàn)象，是一種確定性系統(tǒng)中存在的隨機(jī)狀態(tài)，具有非常強(qiáng)的遍歷性、隨機(jī)性和規(guī)律性?；煦缧袨楸举|(zhì)上是由確定性的規(guī)則導(dǎo)致，對初始條件敏感，為無固定周期的一種長期行為。在一定范圍內(nèi)，混沌行為能夠使個體不重復(fù)地遍歷自身所有狀態(tài)。常見的混沌擾動方程為Logistic方程和Chebyshev映射。Chebyshev映射的方程為式（4）。

式中取k≥2，無論初始值的選擇如何，迭代產(chǎn)生的數(shù)據(jù)序列均不會相交。相關(guān)研究表明，Chebyshev映射的分布范圍較廣，能夠比較均勻地分布在[-1,1]區(qū)間上。因此，采用Chebyshev映射機(jī)制初始化的種群，分布會比較均勻且覆蓋廣泛。改進(jìn)TLBO算法中應(yīng)用Chebyshev混沌映射產(chǎn)生初始化種群，方法如下所述。

3.2學(xué)生的動態(tài)自適應(yīng)學(xué)習(xí)

在學(xué)生進(jìn)行學(xué)習(xí)的過程中，學(xué)生自身所具有的知識和教師的“教”行為共同對該學(xué)生自身狀態(tài)的提高產(chǎn)生影響。在初始階段，學(xué)生本身的知識較少，比較多地受到教師“教”行為的影響，而隨著學(xué)生不斷的學(xué)習(xí)，自身知識的提升，教師的“教”行為往往對學(xué)生知識素質(zhì)的提升逐漸減少。但是，標(biāo)準(zhǔn)TLBO算法中學(xué)生自身狀態(tài)的進(jìn)化通過式（2）來實現(xiàn)，并沒有體現(xiàn)這一學(xué)習(xí)過程。為了體現(xiàn)這一學(xué)習(xí)過程，本文在式（2）中引入一個動態(tài)學(xué)習(xí)因子ω。改進(jìn)后的教師“教”行為見式（5）。

考慮公式中的比例因子ω∈[ωmin,ωmax]動態(tài)變化，并且應(yīng)該與算法迭代次數(shù)有關(guān)，設(shè)置其依據(jù)式（6）進(jìn)行變化。

其中,ωstart、ωend是該因子的變化范圍。

通過式（5）可以看出，在算法迭代初期，由于ω因子較小，種群中的學(xué)生個體主要是向教師學(xué)習(xí)，由于教師是種群內(nèi)的最優(yōu)個體，種群迅速向教師個體所在空間靠近。隨著迭代的進(jìn)行，ω逐漸增加，學(xué)生個體自身知識在其進(jìn)化過程中所占比例不斷增加，算法種群多樣性保持較好，避免學(xué)生群體過早聚集于教師周圍，造成算法早熟。

3.3教師的共軛梯度搜索

最初的共軛梯度法主要用于求解正定系數(shù)矩陣的線性方程組。后來，在基本共軛梯度法基礎(chǔ)上，F(xiàn)letcher和Reeves對該方法進(jìn)行了改進(jìn)和完善，使得該算法能夠用于求解大型非線性無約束最優(yōu)化問題[14]。在該方法中，主要應(yīng)用目標(biāo)函數(shù)的一階導(dǎo)數(shù)信息，通過多次迭代對某個節(jié)點的周圍進(jìn)行搜索，既克服了最速下降法收斂速度慢的弱點，又有效克服了牛頓迭代法需要存儲和計算Heslan矩陣及求逆的缺點，能夠快速收斂到所求問題的最優(yōu)解。

算法1共軛梯度法（conjugate gradient method, CGM）

輸入：初始點X0，精度eps。

輸出：最優(yōu)點Xk+1。

步驟1迭代次數(shù)計數(shù)器t=0，初始搜索方向d0=-g0。

步驟3計算ak和Xk+1，使得式（7）成立：

步驟4應(yīng)用Fletcher和Reeves方法計算dk+1：

步驟5令t=t+1，goto步驟2。

在TLBO算法中，教師個體Xteach(t)一定程度上代表了種群的前進(jìn)方向，由TLBO算法原理可以看出，學(xué)生個體通過式（2）、（3）學(xué)習(xí)進(jìn)化，一方面向Xteach(t)所在空間靠近，一方面通過互相學(xué)習(xí)保持種群多樣性。但是TLBO算法一個明顯的缺點是教師個體缺少學(xué)習(xí)機(jī)制，即沒有對教師Xteach(t)所在空間進(jìn)行精細(xì)的局部搜索。以最小化minf(x)示例，如果使教師個體按照下降的方向進(jìn)行搜尋，將會提高算法的效率。共軛梯度算法恰好能夠按照負(fù)梯度方向?qū)ふ蚁乱粋€結(jié)點，因為負(fù)梯度方向是個體的下降方向，所以尋找到的結(jié)點要優(yōu)于初始結(jié)點。

共軛梯度法局部搜索能力強(qiáng)，但是該算法搜索到的最優(yōu)點不一定是全局最優(yōu)點。因此為了提高算法的整體效率，設(shè)置共軛梯度算法的終止條件為兩種：第一種是解的精度。但是考慮在某些問題的求解過程中，即使設(shè)置較低的精度要求，共軛梯度算法的迭代次數(shù)仍然很高，因此算法的第二個終止條件是設(shè)定固定的迭代次數(shù)。搜索完畢后，直接應(yīng)用所得到的點Xk+1替換教師個體Xteach(t)。

3.4劣質(zhì)個體的二次強(qiáng)化學(xué)習(xí)

觀察TLBO的原理，可知TLBO算法通過應(yīng)用班級的平均值與教師的差引導(dǎo)種群的進(jìn)化，提升種群的平均值。

在實際算法運行過程中，觀察到在求解高維的多峰函數(shù)優(yōu)化時，存在部分劣質(zhì)個體經(jīng)過多次迭代學(xué)習(xí)后，仍然難以進(jìn)化，或者進(jìn)化幅度非常低，影響種群平均值的快速提高。這與現(xiàn)實的學(xué)習(xí)過程中，班級中通常會存在個別學(xué)生難以提升有相似性。針對此現(xiàn)象，通常會對學(xué)習(xí)較差的學(xué)生采取多種方法進(jìn)行輔導(dǎo)，以提升這些學(xué)生的素質(zhì)。

本文為了提高劣質(zhì)個體的進(jìn)化能力，改善其自身的狀態(tài)，加速算法收斂，對這些長時間沒有得到提高的劣質(zhì)個體采取兩種學(xué)習(xí)機(jī)制進(jìn)行二次學(xué)習(xí)，然后基于模擬退火機(jī)制進(jìn)行輪盤賭選擇學(xué)習(xí)后的新狀態(tài)。

定義1[15]（反向解）設(shè)在區(qū)間[a,b]上存在一個實數(shù)x，則x的反向數(shù)定義為x′=a+b-x。鑒于此，假設(shè)在R域上存在某N維點X=(x1,x2,?,xi,?,xN)，并且xi∈[ai,bi]，則定義X′=(x1′,x2′,?,xi′,?,xN′)為X的反向點。其中，xi′=k×(ai+bi)-xi，k為[0,1]之間分布均勻的隨機(jī)數(shù)，稱作一般化系數(shù)。

算法2反向?qū)W習(xí)算法（OBL）

輸入：個體Xi(t)，限制區(qū)間[a,b]，最大迭代次數(shù)Itermax。

步驟1設(shè)置迭代次數(shù)為t=0。

步驟2生成一般化系數(shù)k∈[0,1]，依據(jù)定義1生成反向解Xt′(t)。

步驟3迭代次數(shù)沒有滿足結(jié)束條件，則t=t+1, 并goto步驟2。

借鑒參考文獻(xiàn)[16]中的高斯學(xué)習(xí)概念。

定義2[16]（高斯學(xué)習(xí)）設(shè)D是問題的解空間維數(shù)，則個體Xi(t)在d維上的高斯學(xué)習(xí)定義：

Gussian(μ,σ2)產(chǎn)生一個服從高斯分布的隨機(jī)數(shù)，均值為μ，方差為σ2，λ∈(0,1)。

教師是種群中的最優(yōu)個體，一定程度上代表了種群的演化方向，因此模擬退火的選擇機(jī)制設(shè)置如下。

設(shè)當(dāng)前溫度是k，則可以通過式（10）得到某個體Xi(t)對于教師個體Xteach(t)的突跳概率，并利用式（11）得到Xi(t)替換Xteach(t)的概率。

基于替換概率pic以輪盤賭方式選擇一個個體更新Xi(t)。

為了提高算法效率，本文設(shè)定為每隔100代，針對種群中的最差個體進(jìn)行一次檢查，當(dāng)該個體的變化幅度低于閾值σ=0.01時執(zhí)行二次強(qiáng)化學(xué)習(xí)。

3.5改進(jìn)算法的步驟

算法3 CCGTLBO（chaotic and conjugate gradient TLBO）

輸入：個體X0(0)，種群數(shù)目N。

輸出：最優(yōu)個體Xgbest(t)。

步驟1以X0(0)為起點，依據(jù)式（4）進(jìn)行迭代，直至產(chǎn)生N個個體，組成初始種群POP(0)，迭代計數(shù)器t=0。

步驟2在種群中搜索適應(yīng)度最佳個體，設(shè)為教師Xteach(t)，并計算班級的平均值Xavg(t)。

步驟3依據(jù)式（5）進(jìn)行教師的“教”行為。

步驟4依據(jù)式（3）實現(xiàn)學(xué)生的互相“學(xué)”行為。

步驟5對教師個體Xteach(t)實施共軛梯度算法搜索。

步驟5.1設(shè)定共軛梯度算法的相應(yīng)參數(shù)，迭代次數(shù)k=0；

步驟5.2如果滿足共軛梯度法終止條件，goto步驟6；

步驟5.3a=1；

步驟5.5應(yīng)用Fletcher和Reeves方法計算dk+1，k=k+1，goto步驟5.2。

步驟6更新教師個體Xteach(t)=Xk+1。

步驟7種群內(nèi)的最差個體在100次迭代后，如果其變化幅度小于指定的閾值σ，則對其執(zhí)行3.4節(jié)中設(shè)定的二次強(qiáng)化學(xué)習(xí)，否則goto步驟8。

步驟8算法滿足結(jié)束條件，則輸出Xgbest(t)，結(jié)束算法；否則goto步驟2。

4　仿真實驗與分析

4.1實驗1

將CCGTLBO算法應(yīng)用C語言編程實現(xiàn)，在VC6的環(huán)境下編譯運行，以測試算法的性能。計算機(jī)的硬件配置是AMD Turion64雙核CPU，2.0 GHz主頻，2 GB內(nèi)存。測試函數(shù)選擇6個經(jīng)典Benchmark[12]函數(shù)，其中包括 f1-Sphere、f2-Rosenbrock、f3-Schwefel、f4-Rastrigin、f5-Ackley、f6-GireWank，分別測試6個函數(shù)的30維和100維度兩個維度，以驗證改進(jìn)算法在低維度和高維度兩種情況下的求解性能。參與對比的算法包括TLBO、ITLBO[17]（improved TLBO）、ETLBO、AFSA[18]（artificial fish swarm algorithm）等。CCGTLBO的種群設(shè)置為20，迭代次數(shù)設(shè)為1 000，嵌入的共軛梯度搜索的迭代次數(shù)是100，精度為0.001，自適應(yīng)學(xué)習(xí)算子上下界限是λstart=0.1，λend=1.5。ITLBO、ETLBO兩個算法的參數(shù)設(shè)置遵循相關(guān)文獻(xiàn)。AFSA算法的參數(shù)設(shè)置如下：魚群規(guī)模 fish_number= 20，視野范圍visual=5，移動步長step=1，擁擠度因子delta=0.5，嘗試次數(shù)try_number=3，迭代次數(shù)itermax=1 000。

為體現(xiàn)公平，減少算法的偶然性所帶來的誤差，將上述參與對比的算法分別獨立運行30次，取它們的解平均值及解標(biāo)準(zhǔn)差，求解結(jié)果列于表1。在表2中列出了5個算法在測試函數(shù)上收斂成功的次數(shù)、平均收斂代數(shù)、運行時間等指標(biāo)。因為AFSA算法在所有的測試函數(shù)上均沒有成功收斂，所以表2中只給出了TLBO以及相關(guān)算法的數(shù)據(jù)。

觀察表1、表2中的數(shù)據(jù)，人工魚群算法的表現(xiàn)較TLBO算法的解精度相差較多，在全部6個測試函數(shù)上都沒有找到最優(yōu)解，但是人工魚群算法解的標(biāo)準(zhǔn)差相比較TLBO算法并不低多少，尤其在單峰的 f1函數(shù)上，AFSA算法的解標(biāo)準(zhǔn)差還要比TLBO算法優(yōu)秀，說明人工魚群算法要比TLBO穩(wěn)定，亦是一個優(yōu)秀的演化算法，在解精度要求不高的情況下可以用來快速獲得可行解。

在 f1函數(shù)的維度為30時，CCGTLBO算法正確找到了函數(shù)的最優(yōu)解，而參與對比的ETLBO、ITLBO、TLBO算法均沒有找到全局最優(yōu)解。函數(shù)維度為100時，4個算法均沒有在迭代次數(shù)內(nèi)尋找到全局最優(yōu)解，但是CCGTLBO算法的精度是最高的，要遠(yuǎn)遠(yuǎn)超過其他3個算法。 f2函數(shù)在局部極值附近存在陡峭的峽谷，4個算法均沒有找到最優(yōu)值。但是CCGTLBO算法的解精度、標(biāo)準(zhǔn)差仍然是最好的。注意到這4個算法，在30維的結(jié)果與100維的結(jié)果幾乎都是一個數(shù)量級，變化很小，說明在求解 f2函數(shù)時，TLBO系列算法較難克服局部極值的約束，解精度較低，需要引入其他優(yōu)秀的演化算法機(jī)制進(jìn)行改進(jìn)。函數(shù) f3是一個單峰函數(shù)，主要用于對比算法的解精度。在兩種維度上，改進(jìn)后的3個算法均較為輕松地尋找到了全局最優(yōu)值，較標(biāo)準(zhǔn)TLBO算法有較大幅度提高。對比表2中所列出的3個算法的其他指標(biāo)，CCGTLBO算法收斂成功的迭代次數(shù)要小于ETLBO、ITLBO算法。函數(shù) f4同樣是一個多峰函數(shù)，存在較多的極值點，需要算法具有較好的跳出局部極值約束的能力。與 f3函數(shù)的結(jié)果一樣，改進(jìn)后的3個算法均找到了全局最優(yōu)值，CCGTLBO算法在該函數(shù)上的表現(xiàn)是最好的，所需迭代次數(shù)最少。在多峰的 f5函數(shù)上，參與對比的算法均沒有找到全局最優(yōu)值，在30維時，CCGTLBO算法的求解結(jié)果甚至稍劣于ETLBO算法，與ITLBO算法基本相當(dāng)。但是當(dāng)函數(shù)維度升為100時，CCGTLBO算法的求解結(jié)果較30維時基本沒有下降，而ETLBO、ITLBO算法均有所下降，說明CCGTLBO算法的穩(wěn)定性要更好一些。另外，其成功收斂的次數(shù)是最多的，且所需平均收斂代數(shù)最少。 f6函數(shù)也是一個多峰函數(shù)，CCGTLBO算法的表現(xiàn)優(yōu)異，與ETLBO、ITLBO算法一樣都成功收斂30次，找到了函數(shù)的全局最優(yōu)解，并且所需迭代次數(shù)較少。

Table 1　Comparison of mean for unconstrained benchmark functionsf1～f6(Std)表1　無約束測試函數(shù) f1～f6上的結(jié)果平均值對比（標(biāo)準(zhǔn)差）

Table 2　Success number,average convergence iterations and average time for unconstrained benchmark functionsf1～f6表2　無約束測試函數(shù)f1～f6上成功次數(shù)、平均收斂代數(shù)、平均時間

為了更直觀地觀察算法在函數(shù)上的收斂效果，繪制了其中4個算法分別在 f1、f2、f5、f6上的收斂曲線，如圖1、圖2、圖3、圖4所示。從4個圖展示的收斂曲線可以看出，本文提出的CCGTLBO算法在4個函數(shù)上，均能夠快速收斂。在 f1函數(shù)上，CCGTLBO、ITLBO、ETLBO算法的收斂曲線基本一致，較TLBO算法收斂到全局最優(yōu)值更加迅速。

在另外的3個算法上，標(biāo)準(zhǔn)TLBO算法的收斂曲線比較緩慢，尤其是在 f2函數(shù)上還有跳躍，而3個改進(jìn)算法收斂曲線比較平滑，尤其是CCGTLBO算法的收斂曲線更為平穩(wěn)，能夠快速收斂。

Fig.1　Convergence curves off1圖1　f1函數(shù)上的收斂曲線

Fig.2　Convergence curves off2圖2　f2函數(shù)上的收斂曲線

Fig.3　Convergence curves off5圖3　f5函數(shù)上的收斂曲線

Fig.4　Convergence curves off6圖4　f6函數(shù)上的收斂曲線

從上面的分析可以看到，CCGTLBO算法的解精度在所測試的6個函數(shù)上，較TLBO算法有較大提高，尤其在TLBO算法表現(xiàn)較差的高維度函數(shù)上，優(yōu)勢更加明顯。在大部分的函數(shù)上，也較ETLBO、ITLBO兩個算法優(yōu)秀。在時間的對比上，CCGTLBO算法相比較其他算法不占優(yōu)勢，幾乎所有測試函數(shù)所需時間均是最長的。主要是因為該改進(jìn)算法中融入了多種改進(jìn)機(jī)制和相關(guān)算法，增加了整個算法的計算時間。綜合考慮，該算法仍然可以認(rèn)為是一個優(yōu)秀的算法，對TLBO的改進(jìn)是成功的。

4.2實驗2

繼續(xù)選擇兩個非線性方程進(jìn)行測試，以檢測改進(jìn)后算法的可行性及其優(yōu)勢，所選擇的兩個測試實例分別來自實際工程和科學(xué)計算領(lǐng)域。在這項測試中，選擇了TLBO和CCGTLBO兩個算法，并分別獨立執(zhí)行50次，算法的參數(shù)設(shè)置同實驗1。對比結(jié)果見表3。

例1

Table 3　Results comparison of TLBO and CCGTLBO for solving nonlinear equations表3　TLBO與CCGTLBO求解非線性方程組的結(jié)果對比

該方程理論精確解是x*=(4,3,1)T，求解范圍是x∈[0,10]。

通過表3所列數(shù)據(jù)可以看出，在兩個示例上，CCGTLBO算法的解精度和搜索成功率均要優(yōu)于標(biāo)準(zhǔn)TLBO，證明改進(jìn)后算法的穩(wěn)定性和全局收斂能力較標(biāo)準(zhǔn)教與學(xué)優(yōu)化算法有了很大的提高。

5　結(jié)束語

本文針對教與學(xué)優(yōu)化算法在求解高維問題時，容易出現(xiàn)早熟，解精度較低的弱點，通過引入4點改進(jìn)機(jī)制提升算法的性能。首先，通過利用Chebyshev混沌優(yōu)化機(jī)制實現(xiàn)種群初始化，提高原始種群對于解空間的覆蓋。為了加強(qiáng)算法的局部搜索能力，嵌入精英個體的共軛梯度搜索機(jī)制。通過引入一個動態(tài)自適應(yīng)學(xué)習(xí)因子，使種群的多樣性得以保持。針對多次迭代后仍然難以提高的劣質(zhì)個體，采用反向?qū)W習(xí)和高斯學(xué)習(xí)對其進(jìn)行二次強(qiáng)化學(xué)習(xí)，協(xié)助它們跳出局部極值的約束。最后一系列的實驗表明，改進(jìn)算法在收斂精度、成功率方面均優(yōu)于標(biāo)準(zhǔn)TLBO算法，適合于求解高維的函數(shù)優(yōu)化問題。

教與學(xué)優(yōu)化算法出現(xiàn)時間較短，但已經(jīng)引起國內(nèi)外專家學(xué)者的注意。今后將會針對其收斂性進(jìn)行理論方面的論證，以及研究如何借鑒傳統(tǒng)的演化算法優(yōu)點，實現(xiàn)優(yōu)勢互補，拓展其應(yīng)用領(lǐng)域。

References:

[1]Rao RV,SavsaniVJ,Vakharia D P.Teaching-learning-based optimization:an optimization method for continuous nonlinear large scale problems[J].Information Sciences,2012, 183:1-15.

[2]?repin?ek M,Liu S H,Mernik L.Anote on teaching-learningbased optimization algorithm[J].Information Sciences,2012, 212:79-93.

[3]Tuo Shouheng.A modified teaching-learning-based optimization algorithm and application in neural networks[J]. CAAI Transactions on Intelligent Systems,2013,8(4):327-332.

[4]Rao R V,Patel V.Multi-objective optimization of heat exchangers using a modified teaching-learning-based optimization algorithm[J].Applied Mathematical Modeling,2013, 37(3):1147-1162．

[5]To?an V.Design of planar steel frames using teaching-learning based optimization[J].Engineering Structures,2012,34(1): 225-232.

[6]Krishnanand K R,Panigrahi B K,Rout P K,et al.Application of multi-objective teaching-learning-based algorithm to an economic load dispatch problem with incommon-surable objectives[C]//LNCS 7076:Proceedings of the 2nd International Conference on Swarm,Evolutionary,and Memetic Computing,Visakhapatnam,India,Dec 19-21,2011.Berlin, Heidelberg:Springer,2011:697-705．

[7]Rao R V,Savsani V J,Vakharia D P.Teaching-learning-based optimization:a novel method for constrained mechanical design optimization problems[J].Computer-Aided Design, 2011,43(3):303-315．

[8]Yu Kunjie,Wang Xin,Wang Zhenlei.Study and application of improved teaching-learning-based optimization algorithm[J]. Chemical Industry and Engineering Progress,2013,33(4): 850-854.

[9]Rao R V,Patel V.An elitist teaching-learning-based optimization algorithm for solving complex constrained optimization problems[J].International Journal of Industrial Engineering Computations,2012,3(4):535-560.

[10]Gao Liqun,Ouyang Haibin,Kong Xiangyong,et al.Teachinglearning based optimization algorithm with crossover operation[J],Journal of Northeastern University:Natural Science,2014,35(3):323-327.

[11]Rajasekhar A,Rani R,Ramya K,et al.Elitist teaching-learning opposition based algorithm for global optimization[C]//Proceedings of the 2012 IEEE International Conference on Systems,Man,and Cybernetics,Seoul,Korea,Oct 14-17,2012. Piscataway,USA:IEEE,2012:1124-1129.

[12]Yu Kunjie,Wang Xin,Wang Zhenlei.Elitist teaching learningbased optimization algorithm based on feedback[J].Acta Automatica Sinica,2014,40(9):1976-1983.

[13]Yu Shuhao,Su Shoubao.Research and application of chaotic glowworm swarm optimization algorithm[J].Journal of Frontiers of Computer Science and Technology,2014,8(3): 352-358.

[14]Wu Xiaoping,Wang Tongtong.A 3-D finite-element resitivity forward modeling using conjugate gradient algoritm[J]. Chinese Journal of Geophysics,2003,46(3):428-432.

[15]Tizhoosh H R.Opposition-based learning:a new scheme for machine intelligence[C]//Proceedings of the 2005 IEEE International Conference on Computational Intelligence for Modelling,Control and Automation,Vienna,Austria,Nov 28-30,2005.Piscataway,USA:IEEE,2005:695-701.

[16]Zhan Zhihui,Zhang Jun,Li Yun,et al.Adaptive particle swarm optimization[J].IEEE Transaction on Systems,Man, and Cybernetics,2009,39(6):1362-1381.

[17]Rao R V,Patel V.An improved teaching-learning-based optimization algorithm for solving unconstrained optimization problems[J].Scientia Iranica,2013,20(3):710-720.

[18]Wang Peichong.Swarm intelligence algorithms and their apllications[M].Beijing:Publishing House of Electronics Industry,2015.

附中文參考文獻(xiàn)：

[3]拓守恒.一種優(yōu)化神經(jīng)網(wǎng)絡(luò)的教與學(xué)優(yōu)化算法[J].智能系統(tǒng)學(xué)報,2013,8(4):327-332.

[8]于坤杰,王昕,王振雷.改進(jìn)的教學(xué)優(yōu)化算法及其應(yīng)用[J].化工進(jìn)展,2013,33(4):850-854.

[10]高立群,歐陽海濱,孔祥勇,等.帶有交叉操作的教-學(xué)優(yōu)化算法[J].東北大學(xué)學(xué)報:自然科學(xué)版,2014,35(3):323-327.

[12]于坤杰,王昕,王振雷.基于反饋的精英教學(xué)優(yōu)化算法[J].自動化學(xué)報,2014,40(9):1976-1983.

[13]郁書好,蘇守寶.混沌螢火蟲優(yōu)化算法的研究及應(yīng)用[J].計算機(jī)科學(xué)與探索,2014,8(3):352-358.

[14]吳小平,汪彤彤.利用共軛梯度算法的電阻率三維有限元正演[J].地球物理學(xué)報,2003,46(3):428-432.

[18]王培崇.群體智能算法及其應(yīng)用[M].北京:電子工業(yè)出版社,2015.

WANG Peichong was born in 1972.He received the Ph.D.degree in computer science and technology from China University of Mining and Technology(Beijing)in 2010.Now he is an associate professor at School of Information Engineering,Hebei Dizhi University.His research interests include evolutionary computation,machine learning and pattern recognize,etc.He has published more than 30 papers in domestic and international journals and conferences.

王培崇（1972—），男，河北辛集人，2010年于中國礦業(yè)大學(xué)（北京）計算機(jī)應(yīng)用技術(shù)專業(yè)獲得博士學(xué)位，現(xiàn)為河北地質(zhì)大學(xué)信息工程學(xué)院副教授，主要研究領(lǐng)域為進(jìn)化計算，機(jī)器學(xué)習(xí)，模式識別等。發(fā)表學(xué)術(shù)論文30余篇。

PENG Feifei was born in 1986.She received the Ph.D.degree in computer science and technology from China University of Mining and Technology(Beijing)in 2012.Now she is a lecturer at Information Center of Library,Beijing University of Posts and Telecommunications.Her research interests include evolutionary computation and machine learning,etc.She has published more than 20 papers in domestic and international journals and conferences.

彭菲菲（1986—），女，山東青島人，2012年于中國礦業(yè)大學(xué)（北京）計算機(jī)應(yīng)用技術(shù)專業(yè)獲得博士學(xué)位，現(xiàn)為北京郵電大學(xué)圖書館信息中心講師，主要研究領(lǐng)域為進(jìn)化計算，機(jī)器學(xué)習(xí)等。發(fā)表學(xué)術(shù)論文20余篇。

QIAN Xu was born in 1962.He received the Ph.D.degree in control science and engineering from China University of Mining and Technology in 1996.Now he is a professor and Ph.D.supervisor at School of Mechanical Electronic and Information Engineering,China University of Mining and Technology(Beijing).His research interests include software engineering and machine learning,etc.He has published more than 100 papers in domestic and international journals and conferences.

錢旭（1962—），男，江蘇南京人，1996年于中國礦業(yè)大學(xué)控制科學(xué)與工程專業(yè)獲得博士學(xué)位，現(xiàn)為中國礦業(yè)大學(xué)（北京）機(jī)電與信息工程學(xué)院教授、博士生導(dǎo)師，主要研究領(lǐng)域為軟件工程，機(jī)器學(xué)習(xí)等。發(fā)表學(xué)術(shù)論文100余篇。

+Corresponding author:E-mail:wpeichong@126.com

文獻(xiàn)標(biāo)志碼：A

中圖分類號：TP18

doi:10.3778/j.issn.1673-9418.1508071

Improved Teaching-Learning Based OptimizationAlgorithm with Conjugate Gradient Methods and Second Study*

WANG Peichong1,2+,PENG Feifei3,QIAN Xu2
1.School of Information Engineering,Hebei Dizhi University,Shijiazhuang 050031,China
2.School of Mechanical Electronic and Information Engineering,China University of Mining and Technology,Beijing 100083,China
3.Library,Beijing University of Posts and Telecommunications,Beijing 100083,China

Abstract:Teaching-learning based optimization(TLBO)algorithm can solve the complex optimization problems by simulating teaching and learning,and has been applied in many fields.To overcome the weakness of premature,low precision of solution,this paper proposes an improved hybrid chaotic and conjugate gradient method TLBO.This improved algorithm initializes its population by Chebyshev mapping to improve bestrow rate of solution space.To keep the diversity of population,this paper introduces a dynamic learning coefficient to make that students can mainly learn from teacher in early,and improves gradually the ability of affecting itself evolvement of student?s knowledge.In its iteration,teacher individual executes conjugate gradient methods after“teaching”and“l(fā)earning”.If the states of those student indivduals which are worst can not be changed,second study based on OBL(opposition-based learning)

Key words:teaching-learning based optimization;Chebyshev mapping;dynamic self-adaptive learning;conjugate gradient method;second study

*The Social Science Foundation of Hebei Province under Grant No.HB16TQ001(河北省社會科學(xué)基金). Received 2015-08,Accepted 2015-11.