基于非線性收斂因子和標桿管理的改進教與學優(yōu)化算法

陳雪芬， 葉春明

（上海理工大學 管理學院，上海 200093）

群智能優(yōu)化算法是一類基于種群的全局優(yōu)化技術，同傳統(tǒng)的精確算法不同，它們更擅長于求解具有大規(guī)模、非線性、多極值、不可導及不可微等特征的非常規(guī)問題。隨著人工智能、大數(shù)據(jù)以及云計算等技術的快速發(fā)展，復雜優(yōu)化問題的數(shù)量和規(guī)模與日俱增，這些問題往往難以用常規(guī)數(shù)學方法求解，而群智能算法則成為相對可行的解決方案。自1992 年遺傳算法(genetic algorithm,GA)[1]提出以來，眾多模擬自然規(guī)?；蛘呶锓N動態(tài)演化的群智能算法相繼被提出。在群智能算法“家族”中，具有很多知名的成員，它們深受研究者的青睞， 如粒子群算法(particle swarm optimization, PSO)[2]、和聲搜索算法(harmony search algorithm, HS)[3]、人工蜂群算法(artificial bee colony algorithm, ABC)[4]、 引 力 搜 索 算法(gravity search algorithm, GSA)[5]、蛾焰優(yōu)化算法(moth-flame optimization algorithm, MFO)[6]、哈里斯鷹算法(Harris hawks optimization, HHO)[7]和灰狼算法(grey wolf optimization algorithm)[8]等。這些算法各有利弊，適合解決不同的工程優(yōu)化問題。然而，隨著新問題的不斷產生，它們有可能都不再適用。面對不斷產生的復雜問題，群智能算法的主要發(fā)展方向可分為兩個，其一是設計新的算法去更好地解決問題，其二是對現(xiàn)有群智能技術進行改進以使其在求解問題時性能更佳。

教與學優(yōu)化算法(teaching-learning-based optimization algorithm, TLBO)[9]是2011 年Rao 等基于一個自然班級中老師與學生間的教學行為而提出的一種群智能優(yōu)化算法。人類是自然界最聰明的生物，因為，他們可以通過不斷地學習獲得豐富的知識和技能，課堂教育是學生獲取知識的重要途經。在課堂上，教師通過設計課程、設計教學計劃、實施教學活動和反思等一系列教學活動，努力提高班級平均成績。同時，學生也通過努力學習和與其他人交流來提高自己的表現(xiàn)，實現(xiàn)整個團隊的動態(tài)優(yōu)化。TLBO 很好地表征了人類的教學行為，而且具有不需要其他特殊參數(shù)、計算量小、一致性高等優(yōu)勢。但是，它依然存在著收斂速度不夠快、解的質量不夠高、在某些問題上局部最優(yōu)避免性差等問題。因此，許多學者對其進行了改性研究。例如，為提高TLBO 的求解質量以及加快TLBO 的收斂速度和運行時間，Li等[10]于2013 年提出了一種改良的教與學優(yōu)化算法A-TLBO，并利用A-TLBO 對最小二乘支持向量機的超參數(shù)進行了優(yōu)化調整及驗證；為提升算法性能，于坤杰等[11]于2014 年提出一種基于線性衰減收斂因子和信任權重的改進TLBO；為解決TLBO尋優(yōu)精度低、穩(wěn)定性差的問題，閆苗苗等[12]于2019 年設計了一種多班級交互式教學優(yōu)化算法（multi-classes interaction TLBO, MCITLBO）。然而，這些改性算法的設計要么使得計算成本增高，要么添加了一些需要調整的特殊參數(shù)。因此，本研究基于新的優(yōu)化策略提出一種改進教與學優(yōu)化算法。

2 種改進策略分別是非線性收斂因子調整策略以及標桿管理策略。對于收斂因子，在標準TLBO 中，收斂因子是隨機取值為1 或2，這種策略顯然不符合實際，因為，隨著教學經驗的累積，教師的教學水平也應該得以提升。從算法角度來看，為加快收斂，算法的收斂因子應該隨種群所獲得的信息量進行動態(tài)調整，而不是籠統(tǒng)地設為1 或2。此外，標桿管理是一種先進的管理學思想，針對學習階段隨機學習所導致的“無效學習”等問題，在班級中推選精英組，進而建立班級學習標桿，可以更好地幫助班級成員學習到更多“有用”的知識。從算法角度來看，標桿管理策略進一步主導了種群朝著正確的方向進化，從而加快了算法的收斂速度，使得算法有更多的精力致力于全局最優(yōu)解的局部開發(fā)。為驗證改進策略的有效性，基于2 種策略的部署組合提出了3 種改進教與學優(yōu)化算法（modified teaching-learningbased optimization algorithm，MTLBO）的變體，并通過11 個基準測試函數(shù)進行了實驗對比。隨后，為進一步驗證提出算法的性能，使用性能最優(yōu)的MTLBO與其他著名的優(yōu)化算法進行了實驗驗證與分析。

1 教與學優(yōu)化算法

TLBO 的靈感來源主要是課堂上師生之間的教與學行為，其設計思想主要是基于一個典型的優(yōu)化系統(tǒng)（即教學活動）的構建。在該系統(tǒng)中，TLBO將一個自然班級視為動態(tài)演化的種群，老師和學生都可作為種群中的搜索代理，他們的知識水平或考試成績作為群智能優(yōu)化算法的適應值。

在TLBO 中，以正態(tài)分布來表示班級學生的成績分布情況，如式(1)所示。

圖1 不同教師的教學效果分布圖Fig.1 Distribution of grades obtained by students taught by two different teachers

圖2 展示了教學活動前、后的班級成績的變化情況。其中，曲線A 和曲線B 分別表示在教學活動之前和之后的全班成績分布，MA和MB分別表示教學前后的全班平均成績，TA和TB分別表示教學前后的最佳個體，即班級教師。

圖2 教學活動前后班級學生成績分布圖Fig. 2 Distribution of grades obtained by students taught by a teacher

假設班級人數(shù)為N，則其基本種群的數(shù)學表示如式(2)所示。

簡單來講，教與學優(yōu)化算法可劃分為2 個階段：教學階段與學習階段。

1.1 教學階段

在教學階段，班上最優(yōu)秀的個體被指定為老師。 教師的目標是向所有學生傳授知識，并嘗試將班級的平均成績提高到自身水平。假設當前的迭代次數(shù)為k， 并且令Mk為所有個體的平均成績，而Tk為迭代次數(shù)為k時的教師。 當前班級平均成績與教師水平之間的差異

1.2 學習階段

在學習階段，學生之間通過兩兩交流學習來增長知識，交流的方法主要包括小組討論以及個人經驗介紹等。這一階段具體的算法實施步驟如下：(6)，否則表示為式(7)。

2 改進的教與學優(yōu)化算法

2.1 非線性收斂因子

在教學階段，教師的教學因子TF是一個關鍵參數(shù)，它可以決定學生個體在多大程度上依據(jù)均值Mk進行位置更新。在基礎TLBO 中，TF在每一次迭代中等概率地取值為1 或者2。然而，這種隨機改變并不能科學地表征群體行為。在設想中，學生隨著學習進程的推進其自主性更強，隨著知識和學習方法的積累其學習能力也會得到相應的強化。在經過大量數(shù)值實驗之后，發(fā)現(xiàn)TF大于2 更有利于群體收斂，算法能夠更快地逼近全局最優(yōu)解。從現(xiàn)實角度來講，TF大于2 意味著這個班級的教師教學水平和學生學習能力都很強，這是一個高效的班級，可以類比學校中的“重點實驗班”或“尖子班”。同時，隨著教學活動的不斷深化與推進，教師的教學水平也會相應地得以提升，而不是一貫地隨意分配為1 或者2。為更好地表征上述現(xiàn)象，本文設計了一種隨著迭代進行非線性變化的收斂因子，如式(8)所示。

式中：k表示當前迭代次數(shù)；T表示最大迭代次數(shù)。

2.2 標桿管理策略

在傳統(tǒng)TLBO 的學習者階段，班級成員通過相互交流和學習來增加他們的知識。然而，這種學習方法有一定的缺點。最重要的一點是，班級成員缺乏優(yōu)秀個人的指導。這種相互交流和學習是雜亂無章的，沒有一定的基準和標準，因此，可能會導致很多無用的“學習”。從種群進化的角度來看，這種無效學習策略的存在會使種群在一定程度上朝著錯誤的方向進化。

為解決上述問題，引入了標桿管理的概念。標桿管理又稱為基準管理，是管理學中的一種重要思想，一般用于企業(yè)管理當中。具體地，標桿管理是指企業(yè)將自身情況與行業(yè)內龍頭企業(yè)進行比較，從而得以借鑒他人先進經驗，改善自身缺陷[13-15]。這一理念同樣適用于群智能優(yōu)化算法的種群進化，對于TLBO，場景類似度極高。因此，將之引入到TLBO 的學習階段，即對學習階段進行“標桿管理”。

首先，需要在當前種群中選擇合適的標桿個體，該個體代表著班級中的精英組[16]所具有的知識，具體算法設計與建模過程如下：每次迭代中，對通過教學階段的新班級按照個體的成績(即適應值) 進行排序，選擇成績最好Xs和第二的Xc個體組成精英組。標桿個體由精英組內推選產生，其為當前班級中成績最佳的個體?，F(xiàn)介紹標桿個體推選的具體實施步驟。

推選精英組，如式(9)所示。對組內個體求均值得到備選標桿Xb，在備選標桿和最佳個體之間依適應值最佳原則選出最終標桿。如果f(Xb)＜f(X)，則選定Xb為最終標桿Xe；否則，選定Xs作為最終標桿Xe。

式中：Gl為精英組。

然后，班級個體依據(jù)推選出的標桿進行學習。算法實施中，其他個體依據(jù)標桿進行位置更新的公式如式(10)所示。

2.3 MTLBO 算法

綜合使用改進策略的改進教與學優(yōu)化算法(MTLBO)步驟如下：

a. 參數(shù)初始化。設定種群規(guī)模N，總迭代次數(shù)T。

b. 待解問題參數(shù)空間范圍內進行班級種群初始化，并計算每個個體的適應值。

c. 令t=1，迭代開始。

d. 教學階段開始，計算Mk，依據(jù)式(8)計算TF。

e. 計算D，班級個體依據(jù)D更新位置。

f. 更新班級所有個體適應值，教學階段結束。

g. 學習階段開始，推選標桿個體Xe。

h. 班級個體以Xe為榜樣根據(jù)式(10)更新位置。

i. 更新班級所有個體適應值，學習階段結束。

j. 判斷是否滿足循環(huán)終止條件，若是，返回全局最佳解；否則，令t=t+1，返回步驟d。

3 實驗與分析

為驗證非線性收斂因子和標桿管理策略的引入對算法性能的影響，選擇11 個著名的基準測試函數(shù)進行2 組對比實驗。在第1 組對比實驗中，依據(jù)對2 種改進策略的不同部署情況，構建了3 種MTLBO 的變體，新設計的MTLBOs 與標準TLBO 進行了實驗對比與分析。在第2 組對比實驗中，為進一步驗證設計策略的有效性，選擇了其他幾種應用廣泛的群智能優(yōu)化技術進行對比實驗與分析。所有實驗涉及代碼均是使用Python 3.7 編程實現(xiàn)，且所有實驗均在Window 操作系統(tǒng)下實施。為全面衡量算法性能，使用了多個維度的基準測試函數(shù)進行實驗。同時，為保證測試結果的魯棒性，每個測試實驗均以30 次獨立運行得到的均值和標準差作為最終的衡量依據(jù)。

測試中的11 個基準測試函數(shù)包含6 個單峰測試函數(shù)以及5 個多峰測試函數(shù)，如表1 所示。單峰測試函數(shù)為F1～F7，它們在搜索空間中只有一個嚴格局部最優(yōu)值，因而可以用于測量算法的收斂性；多峰測試函數(shù)為F8～F12，它們在搜索空間中往往具有多個局部最優(yōu)解，因而可以用于度量算法的局部最優(yōu)避免能力。

表1 基準測試函數(shù)Tab.1 Benchmark function

3.1 MTLBOs 與標準TLBO 的比較

對比算法為TLBO 和MTLBOs，這2 種算法本身不需要其他參數(shù)，但在實驗前，首先要對2 個群智能優(yōu)化算法的超級參數(shù)進行設定。對于種群尺寸和最大迭代次數(shù)，分別設定為20，1 000。表2 列出了待比較的TLBO 和3 種MTLBO 的變體MTLBO1，MTLBO2，以及MTLBO3，表3和表4分別展示了4 種對比算法在11 個10 維和30 維基準測試函數(shù)上的實驗結果，表5 展示了各算法30次獨立運行中的運行總時間（單位：s）。在表3～5中，粗體表示獲得的最佳結果。

表2 對比算法及描述Tab.2 Comparison algorithms and description

從表3 和表4 可以看出，對于函數(shù)F1 和F3，MTLBO2 和MTLBO3 在2 個維度上均獲得理論最優(yōu)解，同時，標準差為0 說明算法在解決問題F1 和F3 時的魯棒性非常高。對于函數(shù)F1 和F3，MTLBO3 效果最佳，MTLBO2 次之，標準TLBO最差。對于函數(shù)F5，MTLBO1 的結果優(yōu)于其對比者。對于函數(shù)F6，MTLBO3 和MTLBO2 的結果排在前兩位，其中，當維度為10 時，MTLBO3 略勝一籌；當維度為30 時，MTLBO2 的結果要更好。對于函數(shù)F9 和F11，所有算法均取得其理論最佳解，后文將從收斂速度方面進行進一步比較分析。對于函數(shù)F8，MTLBO3 和MTLBO2 求得更好的數(shù)值結果。對于函數(shù)F10，當維度為10 時，MTLBO2 結果最優(yōu)，MTLBO3 次之；當維度為30 時，MTLBO3 結果最優(yōu)，MTLBO2 次之。對于函數(shù)F11，標準TLBO 的結果勝過其他對比算法。

表3 TLBO 和MTLBOs 在10 維基準函數(shù)上的實驗結果Tab.3 Experimental results of TLBO and MTLBOs on 10-dimensional benchmark functions

表4 TLBO 和MTLBOs 在30 維基準函數(shù)上的實驗結果Tab.4 Experimental results of TLBO and MTLBOs on 30-dimensional benchmark functions

從表5 可知，在不同維度下各算法的計算效果差異明顯。當函數(shù)維度為10 時，MTLBO1 在函數(shù)F1，F(xiàn)2，F(xiàn)3，F(xiàn)7 上運算效果更快，MTLBO2在函數(shù)F4，F(xiàn)6 上計算時間最短，MTLBO3 在函數(shù)F4，F(xiàn)5，F(xiàn)10 和F11 上優(yōu)于其他算法，TLBO則在函數(shù)F8 和F9 取得最短的運算時間。當函數(shù)維度為30 時，MTLBO1 在函數(shù)F7，F(xiàn)8，F(xiàn)9 上效果最佳， MTLBO3 在函數(shù)F10，F(xiàn)11 上具有最高的計算效果，TLBO 在單峰測試函數(shù)F1—F6 上的運行時間優(yōu)于其余算法。

表5 對比算法運行時間Tab.5 Comparison of running time for algorithms s

根據(jù)以上分析，綜合使用前面2 種改進策略的MTLBO3 表現(xiàn)最優(yōu)，它在大多數(shù)問題上獲得最佳數(shù)值結果。同時，僅使用標桿管理策略的MTLBO2 表現(xiàn)頗佳，僅在少數(shù)問題上稍弱于MTLBO3。綜合來看，MTLBO3 和MTLBO2 明顯改進了標準TLBO 的求解性能。此外，僅使用非線性收斂因子策略的MTLBO1 也在大多數(shù)問題上勝過標準TLBO，盡管從數(shù)值上來看提升的幅度不大。從計算效率的角度來看，TLBO 和3 種MTLBOs在不同維度的不同問題上存在一定差異，當函數(shù)維度較低時，MTLBO1 和MTLBO3 具有更高的運算效率；當維度較高時，TLBO 在單峰測試函數(shù)上的運行時間優(yōu)于其余算法，MTLBO1 和MTLBO3在多峰測試函數(shù)上表現(xiàn)頗佳。綜上所述，改進算法在不增加時間成本的前提下改進了TLBO 的性能，本文所提出的2 種策略都是有效的，尤其是標桿管理策略。

3.2 與其他群智能優(yōu)化算法的比較

第一組實驗主要對MTLBOs 和TLBO 進行了實驗比較與分析，基于分析結果，選擇表現(xiàn)最佳的MTLBO3 進行后續(xù)實驗。選擇一些其他著名的優(yōu)化器，如HS，PSO，MFO 和GA 實施對比實驗。表6 列出了對比算法和相應的參數(shù)設定值。依據(jù)表6 所列， PSO，MFO 和GA 的種群規(guī)模設為40，TLBO 和MTLBOs 的種群規(guī)模設為20，這是因為TLBO 和STLBO 在一次迭代中共有2N（種群規(guī)模）次函數(shù)評估，而在PSO，MFO 和GA 的運行過程中每次迭代僅有N（種群規(guī)模）次函數(shù)評估。在這類算法中，算法的函數(shù)評估環(huán)節(jié)是其時間復雜度的主要部分，因為，為保證各對比算法時間復雜度一致，必須要保證各對比算法的函數(shù)評估次數(shù)一致。另外，除HS 外其余算法的種群總迭代次數(shù)均為1 000。對于HS，最佳種群規(guī)模為5～7，且在一次迭代中僅有一次函數(shù)評估，因此，HS 的種群規(guī)模和迭代次數(shù)分別設為40 000 和6?？偠灾?，為保證無偏性，經過種群規(guī)模和總迭代次數(shù)的設定，各算法的總函數(shù)評估次數(shù)均設定為40 000 次，這保證了各對比算法的時間復雜度大致相同。

表6 對比算法及參數(shù)集Tab.6 Comparison algorithms and parameter sets

如表6 所示，HS，PSO 以及GA 這3 種算法還存在一些特殊參數(shù)。對于HS，HMCR，PAR和BW分別表示和聲記憶庫取值概率、音調調整概率和調音帶寬，取值分別為0.9，0.3 和0.1；對于PSO，vmax代表粒子移動的最大速度，w1，w2表示初始權重和最終權重，c1，c2分別表示認知參數(shù)和社會參數(shù)，5 種參數(shù)的取值依次為20，0.9，0.4，1.2 和1.2；對于GA，選擇輪盤賭染色體復制策略、均勻交叉策略以及隨機選擇變異策略，其中，pc，pm分別表示染色體交叉概率、變異概率，取值分別為0.7 和0.3。以上算法中各個特殊參數(shù)的取值均是在原始論文基礎上多次實驗的經驗值。

表7 列出了對比算法在40 維測試函數(shù)上的實驗結果，粗體顯示最佳結果。由表7 可知，MTLBO3在函數(shù)F1—F4 上遠勝過其他對比方法，其次是TLBO，其中，對于函數(shù)F1 以及F4，MTLBO3 獲得的均值和標準差均為0，這說明該方法每次實驗均可以得到理論最優(yōu)解，其魯棒性較強。對于函數(shù)F5 和F11，TLBO 略勝于MTLBO3，獲得最好的數(shù)值結果。對于函數(shù)F6 和F10，MTLBO3 的數(shù)值結果勝過其他對比方法。最后，對于F7 和F9，TLBO 和MTLBO3 均得到理論最優(yōu)解，優(yōu)劣無法從數(shù)值結果得出，下面將進一步利用收斂曲線進行對比。可以看出，MTLBO3 的數(shù)值結果在大多數(shù)問題上優(yōu)于其他對比算法，且在4 個函數(shù)優(yōu)化問題（F1，F(xiàn)3，F(xiàn)7 以及F9）上1 000 次迭代內均收斂到理論最佳解。此外，MTLBO3 在大多數(shù)問題上具有最小的方差，這說明算法性能穩(wěn)定，魯棒性較好。

表7 6 種對比算法在基準函數(shù)上的實驗結果Tab.7 Experimental results of six algorithms on the benchmark functions

HS，PSO，GA，MFO，TLBO 以及MTLBO3這6 種算法在11 個測試函數(shù)上30 次獨立運行的總時間列于表8。由表8 可知，TLBO 和MTLBO 的運行時間明顯優(yōu)于其他算法。具體地，TLBO 在函數(shù)F1，F(xiàn)2，F(xiàn)3，F(xiàn)6 以及F8 上取得最短的運行時間，而MTLBO3 則在函數(shù)F4，F(xiàn)5，F(xiàn)7，F(xiàn)9，F(xiàn)10以及F11 具有最高的計算效率。總體上講，MTLBO3和TLBO 計算效率差異不大，MTLBO3 略勝一籌，同時前者在計算精度上優(yōu)于后者。

表8 6 種對比算法在11 個測試函數(shù)上的運行時間Tab.8 Running time of 6 comparison algorithms on 11 test functions s

為進一步對比算法性能，畫出了6 種對比算法在部分基準測試函數(shù)上的收斂曲線，如圖3 所示?？梢钥闯?，MTLBO3 在所有問題上均具有最高的收斂速度。綜合表7 中的數(shù)值結果，盡管在函數(shù)F5 上TLBO 數(shù)值結果更優(yōu)，但是，MTLBO3的收斂速度更快。此外，在函數(shù)F7 和F9 上，MTLBO3 的收斂速度都快于TLBO。綜上所述，MTLBO 明顯改進了標準TLBO 的搜尋性能。

圖3 6 種比較算法在部分測試函數(shù)上的收斂曲線Fig.3 Convergence curves of 6 comparison algorithms on some test functions

3.3 約束優(yōu)化問題

由于函數(shù)F1—F11 均為無約束優(yōu)化問題，為進一步驗證本文所設計策略的有效性，使用一個約束優(yōu)化問題-拉伸/壓縮彈簧設計優(yōu)化問題進行實驗。該優(yōu)化問題的目的是彈簧質量的最小值，其中，包含線徑d，平均線圈直徑D'和有效線圈數(shù)N'這3 個設計變量，以及與剪應力、彈簧顫動頻率和最小撓度相關4 個約束條件。拉伸/壓縮彈簧設計優(yōu)化問題的物理模型如圖4 所示，數(shù)學模型如下：

圖4 拉伸/壓縮彈簧設計優(yōu)化問題Fig. 4 Tension/compression spring design problem

設計變量范圍

所有算法在30 次獨立運行中所得到的最佳實驗結果如表9 所示。其中，算法HS，PSO，GA，MFO 以及MHHO 的實驗結果直接來源于文獻[17]。由表9 可知，基于非線性收斂因子策略的MTLBO1的結果優(yōu)于其他對比算法，MTLBO2 和MTLBO3的實驗結果卻要差于原始TLBO。因此，在使用教與學優(yōu)化算法解決拉伸/壓縮彈簧設計優(yōu)化問題時，非線性收斂因子策略依然是一種有效的策略，而標桿管理策略不再適用。綜上可知，在使用教與學優(yōu)化算法求解無約束優(yōu)化問題時，設計的2 種策略均是有效的，特別是標桿管理策略效果顯著，而在求解無約束優(yōu)化問題時，僅有非線性收斂因子策略有效。

表9 拉伸/壓縮彈簧問題結果對比Tab.9 Comparison of results for tension/compression spring problem

4 結束語

針對標準TLBO 尋優(yōu)精度不高、局部最優(yōu)避免性差以及收斂速度較慢的問題，本文在TLBO的基礎上引入2 種改進策略：非線性收斂因子調整策略以及標桿管理策略。隨后，基于2 種策略的數(shù)學組合設計了3 種MTLBO 的變體，為驗證改進算法的性能，通過一組函數(shù)優(yōu)化問題與標準TLBO 進行了實驗對比與分析。結果顯示，3 種MTLBO 都勝過標準TLBO，其中，引入2 種改進策略的MTLBO3 表現(xiàn)最優(yōu)，其很好地平衡了算法的全局搜索性和局部開發(fā)性，數(shù)值結果遠勝于標準TLBO。為增強說服力，使用著名的群智能優(yōu)化算法與MTLBO3 進行了實驗對比與分析。數(shù)值結果、計算效率和收斂曲線表明，MTLBO3 在尋優(yōu)精度、局部最優(yōu)避免性以及收斂速度等性能上優(yōu)于其他對比算法。最后，基于工程設計約束優(yōu)化問題進一步驗證2 種策略的有效性。結果表明，在無約束優(yōu)化問題中，非線性收斂因子調整策略依然能改進TLBO 的性能，而標桿管理策略可能不再適用。