面向斯托克斯變分法的動(dòng)態(tài)大規(guī)模機(jī)器學(xué)習(xí)算法①

(安徽新華學(xué)院科技學(xué)院，安徽 合肥 230088)

0 引 言

實(shí)際生活中，我們所研究的優(yōu)化問題中大部分都是呈現(xiàn)出動(dòng)態(tài)變化特征的，即環(huán)境或者是時(shí)間的變化會(huì)導(dǎo)致最優(yōu)解隨之發(fā)生改變，最優(yōu)解為動(dòng)態(tài)變化的，而非恒定不變的[1-2]。在現(xiàn)實(shí)問題中，很多時(shí)候是無法準(zhǔn)確獲得環(huán)境變化信息的，故此，以往的優(yōu)化方法僅能夠?qū)o態(tài)問題進(jìn)行優(yōu)化處理，而對(duì)于動(dòng)態(tài)問題則是沒有辦法的[3]。為了解決該問題，要求能夠設(shè)計(jì)出一種功能更加強(qiáng)大，能夠?qū)?dòng)態(tài)問題進(jìn)行優(yōu)化處理的方法[4]，以實(shí)現(xiàn)對(duì)現(xiàn)實(shí)中這種不確定性問題的有效分析，要求利用該方法是能夠?qū)崿F(xiàn)對(duì)環(huán)境變化的及時(shí)偵測的，依據(jù)最新的情況做出反應(yīng)[5]。

提出了一種面向斯托克斯變分法提出的動(dòng)態(tài)大規(guī)模機(jī)器學(xué)習(xí)算法，在該算法中，個(gè)體不再是被動(dòng)適應(yīng)學(xué)習(xí)，而是以一種機(jī)器學(xué)習(xí)的方式進(jìn)行學(xué)習(xí)。通過這種作用機(jī)制，使得與環(huán)境之間形成了良好的互動(dòng)學(xué)習(xí)，而且能夠依據(jù)周邊環(huán)境發(fā)生的變化進(jìn)行整體判斷，進(jìn)而可做出更加準(zhǔn)確的反應(yīng)，故此，具有的動(dòng)態(tài)大規(guī)模環(huán)境適應(yīng)能力是十分強(qiáng)健的。

1 動(dòng)態(tài)大規(guī)模機(jī)器學(xué)習(xí)算法(DLSMLA)

1.1 斯托克斯變分法

探討了面向0-1編碼實(shí)現(xiàn)的學(xué)習(xí)機(jī)制，故此，在這種方案中，個(gè)體利用自身坐標(biāo)調(diào)整來對(duì)方向和搜索步長進(jìn)行調(diào)整。此時(shí)，學(xué)習(xí)欲望將會(huì)在學(xué)習(xí)效率上得到體現(xiàn)，而學(xué)習(xí)強(qiáng)度則對(duì)應(yīng)的是微元中受到個(gè)體調(diào)整的部分。

(1)

(2)

上述所討論的鄰域?qū)W習(xí)使得個(gè)體間海明距離得以縮短，全局學(xué)習(xí)亦然，因此兩者看起來是十分相似的，好像個(gè)體對(duì)應(yīng)的微元型是相同的，然而實(shí)際上，兩者之間的差異是十分顯著的。而且算法的關(guān)鍵也在于此:隨著個(gè)體和最優(yōu)個(gè)體之間具有的海明距離不斷縮短，是能夠幫助實(shí)現(xiàn)集中搜索的，而且還能夠確保種群具有的多樣性特征得以充分保留。而且，由于學(xué)習(xí)對(duì)象是處于動(dòng)態(tài)變化中的，在后續(xù)將會(huì)詳細(xì)闡述。

(3)

1.2 動(dòng)態(tài)大規(guī)模影響因素

在DLSMLA中，處于不斷變化中的因素共有4個(gè)，下面對(duì)其進(jìn)行詳細(xì)描述。

各種群的規(guī)模為第一個(gè)變量因素，各種群與生態(tài)系統(tǒng)具有的平均適應(yīng)度都會(huì)對(duì)種群規(guī)模產(chǎn)生影響，以種群Pi為例，該種群中的個(gè)體數(shù)目的變化規(guī)律如下所示:

(4)

遷移率為第二個(gè)因素，具有動(dòng)態(tài)變化的特征。在本文所設(shè)計(jì)的算法中將個(gè)體遷移過程視為各種群間就最佳適應(yīng)度個(gè)體進(jìn)行交換的實(shí)現(xiàn)過程。在這種遷移過程中，對(duì)于因?yàn)檫M(jìn)行學(xué)習(xí)而生成的基模能夠更加清晰的識(shí)別。如果生態(tài)系統(tǒng)平均適應(yīng)度在進(jìn)化過程中保持不變，則此時(shí)將會(huì)催生遷移活動(dòng)。故此，可認(rèn)為穩(wěn)定狀態(tài)下的種群能夠在遷移的作用下更加高效的找到新的基模，使得其與最優(yōu)化目標(biāo)是一致的，而且也有助于種群多樣性的有效保護(hù)。

學(xué)習(xí)欲望屬于另一變化因素。綜合上述分析不難得出，個(gè)體適應(yīng)度，以及其所在種群具有的平均適應(yīng)度共同決定了個(gè)體具有的全局學(xué)習(xí)率。如果設(shè)定最大化為優(yōu)化目標(biāo)，而且此時(shí)個(gè)體和種群相比，前者具有更高的適應(yīng)度水平，那么此時(shí)個(gè)體將會(huì)具有更高的全局學(xué)習(xí)率，最佳個(gè)體可在這種作用下實(shí)現(xiàn)更加密集的搜索。對(duì)于某個(gè)體來講，其與最佳個(gè)體之間具有的海明距離將會(huì)對(duì)其鄰域?qū)W習(xí)率產(chǎn)生影響，如果該距離是相對(duì)較小的，那么鄰域?qū)W習(xí)率將能夠得以增強(qiáng)。故此，要求使得兩者間的海明距離是能夠被不斷縮減的，以幫助密集搜索的順利實(shí)現(xiàn)。

學(xué)習(xí)行為屬于最后一個(gè)變化因素。就算法來講，共應(yīng)用了三種策略，但是并不要求所有的個(gè)體需要同時(shí)執(zhí)行，每個(gè)個(gè)體包括面向個(gè)體適應(yīng)度值的全局學(xué)習(xí)、面向海明距離的鄰域?qū)W習(xí)和面向?qū)ε加成涞淖詫W(xué)習(xí)．但每一個(gè)體不一定都要同時(shí)執(zhí)行這些只需要執(zhí)行其中的一項(xiàng)策略，而如果該策略并沒有使得適應(yīng)度水平發(fā)生改善，那么需要從剩下的兩種策略中進(jìn)行選擇。通過這種方式，退化問題能夠得到有效避免，而且計(jì)算資源的使用效率也得到了極大提高。在其他條件相同的情況下，與SGA、PDGA等算法相比，可節(jié)省50%以上的計(jì)算時(shí)間。

上述所討論的動(dòng)態(tài)變化因素都是由于所處環(huán)境，或者是其他約束條件有所改變而導(dǎo)致的，即環(huán)境波動(dòng)會(huì)使得個(gè)體與種群在適應(yīng)度方面有所改變。本節(jié)對(duì)四種影響因素進(jìn)行了分析，這些因素都可結(jié)合環(huán)境變化，而進(jìn)行自我調(diào)整，可更加高效的獲得解空間中具有的動(dòng)態(tài)大規(guī)模軌跡。通過上述分析能夠DLSMLA與環(huán)境具有較強(qiáng)的交互能力。

圖1 測試結(jié)果

圖2 自適應(yīng)算法的仿真結(jié)果

圖3 本文算法的仿真結(jié)果

2 實(shí)驗(yàn)與分析

2.1 問題定義

在進(jìn)行實(shí)驗(yàn)時(shí)，針對(duì)的是動(dòng)態(tài)0-1動(dòng)態(tài)大規(guī)模問題，其中共有100個(gè)物件。而且裝載容量將會(huì)發(fā)生兩種變化。第一，在兩個(gè)數(shù)值范圍之間波動(dòng)，第二，在超過兩個(gè)數(shù)值范圍間變化。對(duì)于第二種變化，此時(shí)的動(dòng)態(tài)大規(guī)模問題在本質(zhì)上等同于振蕩系統(tǒng)，振蕩的強(qiáng)度就代表了容量變化的大小。

2.2 結(jié)果分析

實(shí)驗(yàn)就三種算法進(jìn)行了對(duì)比實(shí)驗(yàn)，而且設(shè)定50代運(yùn)行一次，即容量會(huì)變化一次。圖1表示了當(dāng)振蕩強(qiáng)度不同時(shí)，各算法各自具有的搜索性能，以及各算法性能的對(duì)比分析。分析圖2，將原適應(yīng)度值做對(duì)數(shù)之后即可得到該圖中的適應(yīng)度曲線。由此可得，如果裝載容量的波動(dòng)范圍為兩個(gè)數(shù)值之間，那么此時(shí)與另外兩種算法相比，DLSMLA具有相對(duì)最優(yōu)的搜索性能。借助圖2能夠發(fā)現(xiàn)，不管是在哪一個(gè)振蕩周期中，DLSMLA的搜索都是十分主動(dòng)且積極的，得到的結(jié)果保持連續(xù)狀態(tài)，而且其全局最優(yōu)解在50代內(nèi)即可搜索得出。而對(duì)于SGA方法來講，面對(duì)不斷振蕩的環(huán)境，整個(gè)搜索周期中基本是停滯不動(dòng)的，是難以實(shí)現(xiàn)有效搜索的。而且，當(dāng)處于振蕩環(huán)境中時(shí)，PKGA是能夠完成一定的搜索的，最優(yōu)解也得到了一定程度的改善。結(jié)合圖1不難發(fā)現(xiàn)，DLSMLA具有的主要特征體現(xiàn)在，在環(huán)境發(fā)生變化的同時(shí)，搜索將會(huì)同時(shí)實(shí)現(xiàn)而且是能夠在較短的時(shí)間內(nèi)獲得全局最優(yōu)解的。

為了進(jìn)一步說明本文提出的動(dòng)態(tài)模糊機(jī)器學(xué)習(xí)系統(tǒng)的參數(shù)學(xué)習(xí)算法的有效性，選定傳統(tǒng)的非

線性函數(shù)作為仿真對(duì)象，最后將算法和傳統(tǒng)自適應(yīng)算法進(jìn)行了比較：

(5)

3 結(jié) 論

針對(duì)傳統(tǒng)的智能進(jìn)化算法由于其被動(dòng)適應(yīng)的搜索策略而無法應(yīng)對(duì)動(dòng)態(tài)問題求解的事實(shí)，DLSMLA為所設(shè)計(jì)的算法，該學(xué)習(xí)機(jī)制是面向0-1編碼實(shí)現(xiàn)的。以往被動(dòng)適應(yīng)學(xué)習(xí)方式得以轉(zhuǎn)變，個(gè)體將會(huì)進(jìn)行機(jī)器學(xué)習(xí)，而且可以和環(huán)境建立良好的互動(dòng)關(guān)系，因此，具有的動(dòng)態(tài)大規(guī)模環(huán)境適應(yīng)能力是十分突出的，當(dāng)所處的環(huán)境有所變化時(shí)，能夠及時(shí)跟蹤到極值點(diǎn)具有的動(dòng)態(tài)大規(guī)模軌跡，而且，還對(duì)算法進(jìn)行了動(dòng)態(tài)測試。通過仿真實(shí)驗(yàn)對(duì)比分析了三種算法性能，研究結(jié)果顯示，利用本文算法即便是在振蕩環(huán)境中，依舊能夠與環(huán)境實(shí)現(xiàn)積極有效的交互學(xué)習(xí)，具有的魯棒性是十分突出的。DLSMLA方法結(jié)合了進(jìn)化思想，而且進(jìn)行的改造也是面向思想層面實(shí)現(xiàn)的。以往采取的是被動(dòng)適應(yīng)的策略，而現(xiàn)在則使用的是機(jī)器學(xué)習(xí)策略。不過本文是面向斯托克斯變分法進(jìn)行的設(shè)計(jì)，而且實(shí)驗(yàn)設(shè)定的環(huán)境也是較為簡單的，包含的變量因素相對(duì)實(shí)際情況來講是比較少的。

參考文獻(xiàn):

[1] Buckingham, D., Skalka, C., & Bongard, J.(2015).Inductive Machine Learning for Improved Estimation of Catchment-scale Snow Water Equivalent.Journal of Hydrology, 524, 311-325.

[2] Yu, D., Yu, X., Hu, Q., Liu, J., & Wu, A.(2011).Dynamic time Warping Constraint Learning for Large Margin Nearest Neighbor Classification.Information Sciences, 181(13), 2787-2796.

[3] Deo, R.C.(2015).Application of the Extreme Learning Machine Algorithm for the Prediction of Monthly Effective Drought Index in Eastern Australia.Atmospheric Research, 153, 512-525.

[4] Byrd, R.H., Chin, G.M., Nocedal, J., & Wu, Y.(2012).Sample Size Selection in Optimization Methods for Machine Learning.Mathematical Programming, 134(1), 127-155.

[5] Meng, A., Hu, H., Hao, Y., Peng, X., & Guo, Z.(2015).Crisscross Optimization Algorithm for Large-scale Dynamic Economic Dispatch Problem with valve-point Effects.Energy, 93, 2175-2190.

[6] Wang, Z., Jie, W., Chen, S., & Gao, D.(2013).Random Projection Ensemble Learning with Multiple Empirical Kernels.Knowledge-Based Systems, 37(2), 388-393.