一種使用最大均值差異方法的多因子進(jìn)化算法

賴玉芳，王振友

（廣東工業(yè)大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，廣東 廣州 510520）

與遷移學(xué)習(xí)(Transfer Learning)[1-4]類似，多任務(wù)學(xué)習(xí)(Multitask Learning)[5]利用來(lái)自各種源任務(wù)(Source Tasks) 的高質(zhì)量解來(lái)優(yōu)化目標(biāo)任務(wù)(Target Task)。遷移學(xué)習(xí)的知識(shí)轉(zhuǎn)移(Knowledge Transfer) 是單向進(jìn)行的，知識(shí)從源任務(wù)遷移到了目標(biāo)任務(wù),一次只優(yōu)化一個(gè)目標(biāo)任務(wù)，源任務(wù)不可重新優(yōu)化。因此，遷移學(xué)習(xí)不能并發(fā)地解決多個(gè)優(yōu)化任務(wù)。而多任務(wù)學(xué)習(xí)通過(guò)促進(jìn)全方位的知識(shí)轉(zhuǎn)移實(shí)現(xiàn)更大的協(xié)同搜索，從而高效地同時(shí)解決多個(gè)問(wèn)題。即所有優(yōu)化任務(wù)在原則上可以相互幫助，使得所有任務(wù)互相優(yōu)化。但是實(shí)際中的多任務(wù)優(yōu)化存在任務(wù)間的相似性，每個(gè)優(yōu)化任務(wù)可能并不總是與所有其他可用任務(wù)密切相關(guān)，這種情況可能會(huì)導(dǎo)致同時(shí)解決任何不相關(guān)的優(yōu)化問(wèn)題的性能降低[6]。這種任務(wù)間的差異在多個(gè)不同的問(wèn)題上共享錯(cuò)誤的知識(shí)，使得問(wèn)題可能往錯(cuò)誤的方向求解，就會(huì)產(chǎn)生一種稱為負(fù)遷移(negative transfer) 的現(xiàn)象[5,7]。

無(wú)論在遷移學(xué)習(xí)還是多任務(wù)學(xué)習(xí)中，如果任務(wù)與任務(wù)間不按合理的順序進(jìn)行知識(shí)遷移，那么這些任務(wù)可能會(huì)產(chǎn)生負(fù)遷移的影響。Ball等[8]在多因子進(jìn)化算法(Multi-Factor Evolutionary Algorithm,MFEA)的基礎(chǔ)上改進(jìn)得到MFEA-II，提出了一種新的數(shù)據(jù)驅(qū)動(dòng)的多任務(wù)處理方法，使有用的知識(shí)在多任務(wù)環(huán)境下的不同優(yōu)化問(wèn)題之間轉(zhuǎn)移，很大程度上消除多任務(wù)知識(shí)遷移的負(fù)遷移。

本文主要研究進(jìn)化算法(Evolutionary Algorithms,EAs)的改進(jìn)和應(yīng)用，改進(jìn)后的算法MFEA-MMD在MFEA-II的在線遷移參數(shù)估算(online transfer parameter estimation)的隨機(jī)分配概率(Random Mating Probability, RMP，下文用Q表示)矩陣優(yōu)化方法上改進(jìn)，使用最大均值差異(Maximum Mean Discrepancy, MMD)作為Q矩陣優(yōu)化的度量準(zhǔn)則。使用MMD方法衡量2個(gè)數(shù)據(jù)集之間的差異，計(jì)算2個(gè)向量(點(diǎn)、矩陣)的距離和相似度，使得算法從概率建模的角度優(yōu)化了多任務(wù)進(jìn)化框架。貝葉斯優(yōu)化從不同任務(wù)中提取的因子局限于連續(xù)搜索空間，不直接應(yīng)用于組合搜索空間。為解決這一類問(wèn)題，EAs很好地適應(yīng)連續(xù)搜索空間概率模型，實(shí)現(xiàn)了任務(wù)間有用知識(shí)的互相遷移，以本線遷移參數(shù)估算的隨機(jī)分配概率Q矩陣的方法抑制任務(wù)間的消極交互作用，在不需要任何人為干預(yù)的情況下，知識(shí)轉(zhuǎn)移效率大大提高，充分利用各種任務(wù)間可以有效幫助互相優(yōu)化的有用知識(shí)。

1 研究背景與意義

從多任務(wù)貝葉斯優(yōu)化[9]開(kāi)始，越來(lái)越多的學(xué)者在優(yōu)化領(lǐng)域里研究知識(shí)遷移。但貝葉斯優(yōu)化通常局限于相當(dāng)?shù)突蛑械染S數(shù)的問(wèn)題，EAs則在適應(yīng)不同的數(shù)據(jù)方面有更高的靈活性，可以很好地?cái)U(kuò)展到高維度，解決了許多實(shí)際問(wèn)題以及理論問(wèn)題。

MFEA具有不同技能因子的個(gè)體執(zhí)行交叉操作，為跨任務(wù)的基因遷移提供了機(jī)會(huì)[10]。MFEA-II算法在MFEA算法的基礎(chǔ)上提出了一種新的進(jìn)化計(jì)算框架，使用在線遷移參數(shù)估算和利用多任務(wù)環(huán)境下不同任務(wù)之間的相似性(和差異)，以增強(qiáng)優(yōu)化過(guò)程，盡量減少任務(wù)之間有害的相互作用(負(fù)遷移)，但知識(shí)遷移效率較低。

目前，常用的進(jìn)化多目標(biāo)優(yōu)化算法有Deb[11]提出的基于擁擠度距離度量的NSGA-II算法，Zhang[12]提出的基于分解思想的MOEA/D算法，Seada等[13]在NSGA-II的基礎(chǔ)上提出的一種針對(duì)2～16個(gè)目標(biāo)函數(shù)同時(shí)優(yōu)化高維問(wèn)題的NSGA-III算法。實(shí)驗(yàn)結(jié)果表明，種群多樣性和基因遷移在MFEA算法中共同發(fā)揮重要作用，但基因遷移使得具有較強(qiáng)互補(bǔ)性的多任務(wù)種群收斂加速更為明顯[14]。Ball等[8]也在MFEA算法的基礎(chǔ)上提出了在線遷移參數(shù)估算的MFEA-II算法。

MFEA-II算法從父代種群的概率混合系數(shù)入手，把混合系數(shù)中的隨機(jī)分配概率標(biāo)量q替代為在線遷移參數(shù)估算混合系數(shù)矩陣Q，每個(gè)任務(wù)的混合系數(shù)同時(shí)確保父代種群混合迭代最佳，降低了負(fù)遷移的影響。即使MFEA-II算法利用在線遷移參數(shù)估算的Q矩陣使正向的因子更突出，以達(dá)到加速優(yōu)化和使優(yōu)化結(jié)果更精確的效果，但是對(duì)于數(shù)據(jù)龐大、更新代數(shù)多的因子群來(lái)說(shuō)，還是有運(yùn)算難度大的風(fēng)險(xiǎn)，使得計(jì)算資源難以承擔(dān)龐大的數(shù)據(jù)量，而且在線遷移參數(shù)估算的概率混合系數(shù)矩陣難以保證種群的信息在混合分布中得以互相分享。因此，在多任務(wù)特征的基礎(chǔ)上，基于種群分布特征設(shè)計(jì)新的編解碼方案、高效的進(jìn)化算子，以實(shí)現(xiàn)種群多樣性的主動(dòng)控制和種群搜索方向的自適應(yīng)調(diào)整，提高算法效率。為了降低計(jì)算成本，本文用最大均值差異MMD作為MFEAⅡ在線遷移參數(shù)估算Q矩陣的度量準(zhǔn)則，對(duì)混合概率分布的知識(shí)遷移框架進(jìn)行改造。從實(shí)驗(yàn)結(jié)果上看，本課題把MMD方法運(yùn)用于多因子進(jìn)化算法的改進(jìn)上，實(shí)現(xiàn)知識(shí)遷移效率更高的同時(shí)使有效信息得以充分利用，算法效率得以提升。

2 多因子進(jìn)化算法原理

MFEA受到多因子遺傳模型[15-16]的啟發(fā)，利用進(jìn)化個(gè)體的單一種群，能夠同時(shí)求解跨域的多個(gè)優(yōu)化問(wèn)題，從而獨(dú)立地提高解決每個(gè)任務(wù)的性能。它的工作原理是假設(shè)在解決某個(gè)任務(wù)時(shí)存在一些共同的有用知識(shí)，在解決此任務(wù)的過(guò)程中獲得的有用知識(shí)可能有助于解決另一個(gè)與其有關(guān)聯(lián)的任務(wù)[17]。多因子進(jìn)化算法的效率和適應(yīng)性對(duì)于算法的應(yīng)用價(jià)值顯得尤為關(guān)鍵[18]。

在不同任務(wù)之間共享信息和學(xué)習(xí)所有任務(wù)，使任務(wù)間的有效信息進(jìn)行全方位的知識(shí)轉(zhuǎn)移，實(shí)現(xiàn)更大的協(xié)同搜索，從而促進(jìn)多個(gè)問(wèn)題的同時(shí)高效解決以提高整體泛化性能。

多因子進(jìn)化算法屬于多任務(wù)多目標(biāo)算法，一個(gè)進(jìn)化多目標(biāo)優(yōu)化(Evolutionary Multi-Objective Optimization, EMOO) 問(wèn)題只包含一個(gè)任務(wù)，該任務(wù)可以被求解生成一組Pareto最優(yōu)解。而進(jìn)化多任務(wù)優(yōu)化(Evolutionary Multi-Tasking Optimization, EMTO)問(wèn)題包含多個(gè)任務(wù)(單目標(biāo)或多目標(biāo))，可以同時(shí)求解這些任務(wù)的最優(yōu)解，即EMTO將解決多個(gè)EMOO問(wèn)題。EMTO的目標(biāo)是利用基于種群中并行的知識(shí)來(lái)搜索開(kāi)發(fā)多個(gè)任務(wù)之間潛在的遺傳互補(bǔ)性。

給定一個(gè)帶有k個(gè)分量任務(wù)的EMTO問(wèn)題，第j個(gè)子任務(wù)定義為Tj，其對(duì)應(yīng)的目標(biāo)函數(shù)為Fj:Xj→R，這里Xj是 一個(gè)Dj維 的解空間，R 代表實(shí)數(shù)域，即

其中，如果對(duì)特定任務(wù)的解空間施加了某些約束，則會(huì)將一些約束函數(shù)與該任務(wù)的目標(biāo)函數(shù)一起考慮。給出了一個(gè)由k個(gè)分量任務(wù)組成的EMTO問(wèn)題，MFEA產(chǎn)生n個(gè)個(gè)體的單個(gè)種群p={pi}in=1，同時(shí)搜索每個(gè)k分量任務(wù)的全局最優(yōu)解。

2015年，新加坡南洋理工大學(xué)的Gupta教授在多因子遺傳模型的啟發(fā)下，首次提出多因子化算法MFEA，該算法是多任務(wù)多目標(biāo)優(yōu)化算法，應(yīng)用于處理跨域的多因子優(yōu)化問(wèn)題[17]。2019年，Gupta教授的團(tuán)隊(duì)在MFEA算法的基礎(chǔ)上將其改進(jìn)為MFEA-II算法，利用在線遷移參數(shù)估算以及不同任務(wù)在多任務(wù)設(shè)置中的相似性(和差異)增強(qiáng)了優(yōu)化進(jìn)程。

2.1 MFEA算法

MFEA 算法基于統(tǒng)一的搜索空間確定候選解的表達(dá)方式，對(duì)種群中個(gè)體的進(jìn)化產(chǎn)生顯著影響，遺傳物質(zhì)能夠有效地在各個(gè)任務(wù)間遷移，從而加速算法的收斂速度,算法自身的效率和適應(yīng)性仍有待提高[18]。MFEA可以從父母和后代兩個(gè)方面控制跨任務(wù)的知識(shí)轉(zhuǎn)移。MFEA的算法結(jié)構(gòu)如下。

算法1 經(jīng)典多因子進(jìn)化算法

2.2 MFEA-II算法

在MFEA算法中，不恰當(dāng)?shù)膓可能會(huì)導(dǎo)致任務(wù)間的消極交互，或者潛在的知識(shí)交換損失，減低算法的收斂速度，MFEA收斂速度依賴于q的值。因此為了更好地探究算法里潛在的知識(shí)遷移，Ball等[8]在MFEA算法的基礎(chǔ)上，提出了一種在線遷移估算Q矩陣中所有q的MFEA-II算法，通過(guò)實(shí)時(shí)動(dòng)態(tài)調(diào)整q，從理論上保證最小化不同優(yōu)化任務(wù)之間的負(fù)面(有害)交互。

3 多任務(wù)優(yōu)化的知識(shí)遷移

初始化知識(shí)交換以概率混合分布作為多任務(wù)設(shè)置的一種方式，從不同任務(wù)中提取搜索分布。多任務(wù)中轉(zhuǎn)移(知識(shí)遷移)有用信息的前提是概率混合分布的所有分布域定義于一個(gè)公共/共享空間中，稱為統(tǒng)一搜索空間(unified search space)。

3.1 統(tǒng)一搜索空間

搜索空間統(tǒng)一在多任務(wù)處理中的重要性，在于它包含了不同優(yōu)化任務(wù)的所有獨(dú)立搜索空間，相當(dāng)于一個(gè)共享的平臺(tái)?，F(xiàn)有K個(gè)最大化任務(wù){(diào)T1,T2,···,TK}將被并行求解。每個(gè)優(yōu)化任務(wù)的搜索空間維數(shù)分別表示為D1,D2,···,DK。定義統(tǒng)一的空間X的維度為Dunified=max{D1,D2,···,DK}，這樣的設(shè)置不是簡(jiǎn)單地將K個(gè)不同的搜索空間連在一起，如Dunified=(D1+D2+···+DK) ，而是使X在多任務(wù)設(shè)置中有足夠的靈活性來(lái)包含每個(gè)任務(wù)。當(dāng)同時(shí)解決多個(gè)具有多維搜索空間的任務(wù)時(shí)，它有助于規(guī)避維數(shù)詛咒，是獲取基于群體搜索力量的有效手段，以高效的方式促進(jìn)有用遺傳材料從一個(gè)任務(wù)顯現(xiàn)或隱性轉(zhuǎn)移到另一個(gè)任務(wù)。本文將X限制在[0,1]Dunified的范圍內(nèi)，它作為一個(gè)連續(xù)的統(tǒng)一空間，所有候選解決方案都被映射(編碼)到其中。因此，在處理第k個(gè)任務(wù)時(shí)，從候選解決方案x∈X中提取變量Dk的子集，并將其解碼(與映射函數(shù)相反) 到特定任務(wù)的解決方案表示中進(jìn)行評(píng)估。

3.2 混合概率分布的知識(shí)遷移

對(duì)于所有k∈{1,2,···,K} ，令第K個(gè)任務(wù)關(guān)聯(lián)的(子) 種群記為Pk。在進(jìn)化多任務(wù)算法中，讓每個(gè)任務(wù)K的子種群在時(shí)間步長(zhǎng)t>0時(shí)產(chǎn)生底層概率分布p1(x,t),p2(x,t),···,pK(x,t)。因此，在促進(jìn)任務(wù)間交互的過(guò)程中，第k個(gè)任務(wù)在第t次迭代中產(chǎn)生的后代種群來(lái)自式（2）的混合分布。

4 多因子進(jìn)化算法的改進(jìn)

進(jìn)化多任務(wù)能同時(shí)解決多類優(yōu)化問(wèn)題，包括離散型、連續(xù)型以及多目標(biāo)優(yōu)化問(wèn)題[19-21]。除此之外，進(jìn)化式多任務(wù)也得以應(yīng)用在機(jī)器學(xué)習(xí)領(lǐng)域，例如從決策樹(shù)集合[22]訓(xùn)練到基于模塊化知識(shí)表示的前饋神經(jīng)網(wǎng)絡(luò)[23]?，F(xiàn)有的進(jìn)化多任務(wù)算法在很大程度上依賴于任務(wù)之間存在可利用協(xié)同作用的預(yù)先假設(shè)。在缺乏任務(wù)間關(guān)系相關(guān)知識(shí)的情況下難以避免出現(xiàn)負(fù)遷移的情況[24-25]。

4.1 多任務(wù)優(yōu)化的知識(shí)轉(zhuǎn)移

多任務(wù)優(yōu)化中的知識(shí)轉(zhuǎn)移發(fā)生在從式(2)的候選解的后續(xù)采樣過(guò)程中(即任務(wù)間種群概率qk的混合使多任務(wù)存在知識(shí)遷移)[26-27]。混合度(知識(shí)交換量)由混合系數(shù) α′s決定。在缺乏關(guān)于任務(wù)間關(guān)系的先驗(yàn)知識(shí)的情況下，任何不恰當(dāng)?shù)幕旌细怕史植紩?huì)使知識(shí)遷移偏移到錯(cuò)誤的方向，造成負(fù)遷移。MFEA-II在線遷移參數(shù)估算混合系數(shù)矩陣通過(guò)促進(jìn)組分密度的最佳混合，基本消除了負(fù)遷移的威脅。但在線遷移參數(shù)估算混合系數(shù)矩陣不能確保種群的有用信息在混合分布中充分遷移，使得在線遷移參數(shù)估算混合系數(shù)矩陣數(shù)據(jù)量大大增加，降低了算法的運(yùn)算速率。

4.2 混合概率分布知識(shí)遷移的應(yīng)用

多目標(biāo)優(yōu)化的知識(shí)遷移一般有3個(gè)主要的研究問(wèn)題。

(1) 遷移什么。不同任務(wù)之間哪部分知識(shí)可以進(jìn)行遷移，有些知識(shí)是一個(gè)任務(wù)所特有的，但是還有一些知識(shí)是多個(gè)任務(wù)間普遍存在的。利用這種普遍存在的知識(shí)就可以提升模型在不同任務(wù)上的表現(xiàn)。

(2) 何時(shí)遷移。需要考慮在什么情況下可以進(jìn)行知識(shí)遷移，并且在什么情況下知識(shí)不應(yīng)該被遷移。在某些情況下，如果任務(wù)與任務(wù)間確實(shí)沒(méi)什么關(guān)聯(lián)，強(qiáng)行進(jìn)行遷移的話效果差,可能還會(huì)損害在不同任務(wù)上直接學(xué)習(xí)的性能，造成負(fù)遷移。

(3) 怎樣遷移。下文將具體展開(kāi)“怎樣遷移”的問(wèn)題。目前大多數(shù)工作一般都假設(shè)多個(gè)任務(wù)間是存在某種關(guān)聯(lián)的，針對(duì)式(2)，集中精力解決遷移什么與怎樣遷移的問(wèn)題。

式(2)的主要目標(biāo)是提出一個(gè)促進(jìn)知識(shí)轉(zhuǎn)移的策略(q>0)，理論上保證最小化不同優(yōu)化任務(wù)之間的負(fù)交互(負(fù)遷移)。MFEA-II提出了一種新的數(shù)據(jù)采集方法，用于q值的在線遷移參數(shù)估算，從而獲得式(2)中最優(yōu)的混合分布。給定K個(gè)優(yōu)化任務(wù)的對(duì)稱K×K矩陣，表示為

式中：qj,k=qk,j，qj,j=1, ?j。在第t代，假設(shè)gk(x,t)是任意第k個(gè)任務(wù)真實(shí)分布pk(x,t)的概率模型。所以，gk(x,t)是 由子種群Pk(t)的數(shù)據(jù)集所構(gòu)建的。用算法學(xué)習(xí)到的概率模型代替真密度函數(shù)，用Q的元素代替標(biāo)量q，所以式(2)可以寫為

gkc(x,t)是 近似分布的后代種群pkc(x,t)的概率混合模型。因此, 對(duì)于所有k∈{1,2,···,K}，為了使pkc(x,t)更好地進(jìn)化于pk(x,t)，相當(dāng)于用后代概率模型gkc(x,t)準(zhǔn)確模擬父代分布pk(x,t)，從而計(jì)算得到Q。

4.3 以MMD作為度量準(zhǔn)則

為了緩解知識(shí)遷移不充分的問(wèn)題，使用最大均值差異法對(duì)Q矩陣新的評(píng)價(jià)方法來(lái)改進(jìn)混合概率分布的知識(shí)遷移。

度量的核心是衡量2個(gè)數(shù)據(jù)集之間的差異，計(jì)算2個(gè)向量(點(diǎn)、矩陣)的距離和相似度，本文MFEAMMD算法用到的度量準(zhǔn)則是最大均值差異。MMD一般用于雙樣本檢測(cè)，直觀地判斷2個(gè)數(shù)據(jù)的分布。假設(shè)有一個(gè)滿足父代種群P分布的數(shù)據(jù)集X=[x1,···,xn]和 一個(gè)滿足子代種群Pc分布的數(shù)據(jù)集Xc=[xc1,···,xcm]。再生希爾伯特空間H(RKHS)存在一個(gè)映射函數(shù)? (·):X→H表示從原始空間到希爾伯特空間的一個(gè)映射，當(dāng)n,m趨 于無(wú)窮時(shí)Xx和Xcx的最大均值差異可以表示為

式(5)對(duì)每一個(gè)種群的數(shù)據(jù)樣本進(jìn)行投影并求和，利用和的大小表述2個(gè)種群的分布差異。

MMD在風(fēng)格遷移中運(yùn)用廣泛，其神經(jīng)網(wǎng)絡(luò)主要是通過(guò)最小化兩個(gè)網(wǎng)絡(luò)的分布差異而優(yōu)化，同時(shí)有很多關(guān)于把MMD作為遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)最后的損失函數(shù)的研究。

對(duì)式(4)改進(jìn)，概率混合模型gkc(x,t)與pk(x,t)的MMD為

即求

即求

因?yàn)楦怕拭芏群瘮?shù)pk(x,t)收 斂于Pk(t)，所以

因?yàn)閷?duì)于所有任務(wù) {T1,T2,···,Tk,···,TK}，gkc(x,t)收斂于pk(x,t) ，給定第k個(gè)任務(wù)的每個(gè)子種群Pk(t)的N/2個(gè)父代解，所以

式中：E[·]是 期望值，xik是第k個(gè)任務(wù)種群Pk(t)數(shù)據(jù)集的第i個(gè)個(gè)體，所以式(12)求

MFEA、MFEA-II、MFEA-MMD算法對(duì)比框架如圖1所示。

圖1 MFEA，MFEA-II和MFEA-MMD算法對(duì)比框架Fig.1 The framework comparison of MFEA, MFEA-II and MFEA-MMD

5 實(shí)驗(yàn)結(jié)果與分析

5.1 實(shí)驗(yàn)設(shè)置與性能指標(biāo)

本文的實(shí)驗(yàn)環(huán)境是Mathlab，PC處理器為i7，內(nèi)存32 GB，Win10操作系統(tǒng)，訓(xùn)練的目標(biāo)任務(wù)函數(shù)為trap-5函數(shù)。

實(shí)驗(yàn)設(shè)置：所有算法的每個(gè)任務(wù)種群大小N都保持相同，以確保一致性。如果單任務(wù)算法對(duì)這K個(gè)任務(wù)的每個(gè)任務(wù)都使用N個(gè)種群大小，那么處理相同K個(gè)任務(wù)的多任務(wù)算法的種群大小為NK。

(1) 統(tǒng)一搜索空間，范圍[0,1]Dunified。

(2) 概率pc=1，分布指數(shù)ηc=15 ；概率PM=1/d，分布指數(shù)ηm=15。

(3) MFEA-MMD、MFEA-II和MFEA的概率模型：種群規(guī)模(N)100，最大函數(shù)評(píng)估15 000。

下文以一組最有代表性的二元優(yōu)化問(wèn)題作為目標(biāo)函數(shù)(trap-5函數(shù))。當(dāng)將連續(xù)統(tǒng)一空間(X=[0,1]Dunified)的候選解解碼到離散/二進(jìn)制空間時(shí)，如果編碼后的對(duì)應(yīng)變量≤0.5，則將其賦值為0。否則，它被賦值為1。在這項(xiàng)研究中，研究了文獻(xiàn)中3個(gè)流行的二元問(wèn)題，即o nemax、z eromax和具有高度欺騙性的trap-5問(wèn)題[28]。onemax 的最優(yōu)值是所有1的字符串，z eromax的最優(yōu)值是所有0的字符串。在trap-5中，字符串首先被分割成由5個(gè)不重疊的位組成的連續(xù)組。對(duì)每一組應(yīng)用5位陷阱函數(shù)，每一對(duì)組合目標(biāo)函數(shù)的值為

5.2 實(shí)驗(yàn)結(jié)果分析

由圖2可以看出MFEA-MMD在40代左右開(kāi)始收斂，MFEA-Ⅱ在50代左右開(kāi)始收斂，MFEA-MMD比MFEA-Ⅱ有更快的收斂速度，而且收斂趨勢(shì)更為平穩(wěn)。

圖2 MFEA-MMD和MFEA-Ⅱ連續(xù)幾代種群在的不同任務(wù)之間兩兩學(xué)習(xí)的q平均值Fig.2 The pairwise q’s learned between distinct tasks over successive generations of MFEA-MMD and MFEA-Ⅱ

表1展示了MFEA-MMD比MFEA-Ⅱ更能充分學(xué)習(xí)和利用任務(wù)間的協(xié)同效應(yīng)。MFEA-MMD整體q均值比MFEA-II高出6.65%，種群中有用信息的知識(shí)遷移率高出35%，算法運(yùn)算速率高出29%。

表1 MFEA-MMD和MFEAⅡ的知識(shí)轉(zhuǎn)移程度Table 1 The knowledge transfer of MFEA-MMD and MFEA-Ⅱ

為了說(shuō)明MFEA-MMD的優(yōu)越性，o nemax 的最優(yōu)解與trap-5的全局最優(yōu)解相交，這意味著基于跨任務(wù)的遺傳物質(zhì)交換確實(shí)是一種合適的轉(zhuǎn)移模式。然而，由于trap-5中存在大量的局部最優(yōu)，所以兩個(gè)任務(wù)之間不受抑制的任務(wù)間交叉是不利的，這可能會(huì)阻礙onemax 的收斂特性。此外，z eromax問(wèn)題顯然在解決方案相似性方面與o nemax相沖突，并進(jìn)一步與trap-5問(wèn)題相沖突。然而，trap-5最壞的局部最優(yōu)對(duì)應(yīng)于zeromax的全局最優(yōu)。因此，使用現(xiàn)有的MFEA-I(手動(dòng)指定的標(biāo)量q) 和MFEA-II(自動(dòng)調(diào)節(jié)的Q矩陣)同時(shí)解決這3個(gè)任務(wù)將容易受到負(fù)遷移的影響。本文求解了rap-5、onemax、zeromax這3個(gè)問(wèn)題共200個(gè)變量的多任務(wù)變體，由MFEA-I、MFEA-II和MFEA-MMD同時(shí)處理這3個(gè)任務(wù)。

超過(guò)30次獨(dú)立測(cè)試的實(shí)驗(yàn)結(jié)果總結(jié)包含在圖3中，給出了高度欺騙性trap-5問(wèn)題的收斂趨勢(shì)。總的來(lái)說(shuō)，可以觀察到多任務(wù)優(yōu)化(MFEA-I，MFEAII和MFEA-MMD) 的遺傳物質(zhì)轉(zhuǎn)移范圍是有益的，但是MFEA-I相比MFEA-II的收斂性差很多，而MFEA-MMD的收斂性和穩(wěn)定性都比MFEA-II更強(qiáng)。另外，MFEA-I并不總是收斂到全局最優(yōu)。這主要是由于MFEA-I基因的無(wú)種群間交換，使其容易受到負(fù)遷移的影響。然而，MFEA-II和MFEA-MMD能利用從任務(wù)數(shù)據(jù)集學(xué)習(xí)到的關(guān)系來(lái)優(yōu)化命令知識(shí)轉(zhuǎn)移(在優(yōu)化階段的不同階段)，MFEA-MMD的任務(wù)間知識(shí)遷移比MFEA-II更為充分，知識(shí)遷移程度大約高出35%。在初始階段，當(dāng)3個(gè)任務(wù)之間的轉(zhuǎn)移不太可能有幫助時(shí)，知識(shí)遷移程度都比較低。逐步地，一旦有高質(zhì)量的遺傳物質(zhì)可以從 onemax 和z eromax問(wèn)題轉(zhuǎn)移到trap-5問(wèn)題(大約經(jīng)過(guò)40代)，在線參數(shù)估算方案就開(kāi)始規(guī)定相應(yīng)任務(wù)間q的更高值。如圖2所示，q值較高時(shí)，o nemax的正向轉(zhuǎn)移引導(dǎo)trap-5持續(xù)(且快速) 收斂到全局最優(yōu)。結(jié)果表明，3種多任務(wù)變體相比，MFEA-II優(yōu)于MFEA-I，MFEA-MMD收斂速度最快最平穩(wěn)，后者在3個(gè)算法當(dāng)中最有優(yōu)勢(shì)，MFEA-II和MFEA-MMD成功地識(shí)別并利用了正遷移，同時(shí)繞過(guò)了困擾MFEA-I的負(fù)遷移(見(jiàn)圖3)。

圖3 所有算法在trap-5問(wèn)題上求解的收斂趨勢(shì)(平均超過(guò)30次獨(dú)立運(yùn)行)Fig.3 Convergence trends of trap-5 (averaged over 30 independent runs) achieved by all the algorithms on the trap-5 problem

上述任務(wù)提供了一個(gè)理想的案例來(lái)展示MFEAMMD知識(shí)轉(zhuǎn)移方案相比于MFEA-Ⅱ的優(yōu)勢(shì)：(1) MFEA-MMD的知識(shí)遷移效率比MFEA-Ⅱ平均高出29%，知識(shí)遷移程度大約高出35%；(2) 前者求解函數(shù)結(jié)果的收斂比MFEA-Ⅱ和MFEA-Ⅰ更快更高效；(3) MFEA-MMD比MFEA-Ⅱ運(yùn)算速率更快，占用的計(jì)算機(jī)資源更少。

6 結(jié)論

本文提出了一個(gè)使用MMD方法的多任務(wù)傳輸參數(shù)估算方案，能夠?qū)崟r(shí)充分學(xué)習(xí)和利用任務(wù)間的協(xié)同效應(yīng)。首先從理論上分析了現(xiàn)有進(jìn)化多任務(wù)框架MFEA-I對(duì)負(fù)遷移的敏感性。然后測(cè)試在線傳輸參數(shù)估算MFEA-II，動(dòng)態(tài)控制任務(wù)間的知識(shí)交換程度。為了以純數(shù)據(jù)驅(qū)動(dòng)的方式在線捕獲任務(wù)間的相似性，引入了以MMD方法為多因子進(jìn)化的算法種群混合概率模型度量準(zhǔn)則，基于概率模型的最優(yōu)混合模型來(lái)調(diào)整知識(shí)遷移范圍，使有用信息充分遷移。MFEA-MMD的算法貢獻(xiàn)可以從2個(gè)方面進(jìn)行總結(jié)。(1) 傳輸參數(shù)采用對(duì)稱矩陣的形式，以便在2個(gè)以上任務(wù)之間有效地進(jìn)行多任務(wù)處理。(2) 在多任務(wù)搜索過(guò)程中，實(shí)時(shí)調(diào)整傳遞參數(shù)矩陣和充分遷移知識(shí)。MFEA-MMD的實(shí)用性在一系列綜合優(yōu)化和實(shí)際優(yōu)化問(wèn)題上得到了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該算法善于在多任務(wù)優(yōu)化過(guò)程中利用任務(wù)之間的相似性和差異性，MMD的方法是自動(dòng)的，排除人為干預(yù)調(diào)控參數(shù)，MFEA-MMD與MFEA-II相比更有優(yōu)越性。

展望未來(lái)，云計(jì)算、物聯(lián)網(wǎng)等新興平臺(tái)將提供大規(guī)模數(shù)據(jù)存儲(chǔ)和無(wú)縫通信設(shè)施，從而使嵌入式優(yōu)化求解器能夠利用相關(guān)任務(wù)提供的知識(shí)(數(shù)據(jù))。期望多任務(wù)處理算法能在更有效率和更有效的同時(shí)，在解決多個(gè)任務(wù)中發(fā)揮關(guān)鍵作用。