基于萬有引力搜索算法極限學(xué)習(xí)機的諧振頻率建模

劉藝凡， 田雨波

(江蘇科技大學(xué) 電子信息學(xué)院，鎮(zhèn)江 212100)

伊朗科曼大學(xué)Esmat Rashedi教授等人在2009年提出了萬有引力搜索算法(Gravitation search algorithm, GSA)[1]，它是根據(jù)牛頓萬有引力定律提出的優(yōu)化搜索技術(shù)，屬于群體智能優(yōu)化算法.研究表明[2]，在許多實際問題的應(yīng)用中，GSA與其它群體智能優(yōu)化算法相比，尋優(yōu)能力更為突出，但在進化后期同樣會有落入局部最優(yōu)的缺點.文獻[3]提出在速度更新公式中參考粒子群算法的更新方式，局部搜索效果得到提升，既保證了種群多樣性又加強了搜索能力，可用于優(yōu)化最小二乘支持向量機(least squares support vector machine,LSSVM)參數(shù)；文獻[4]在速度更新公式中引入了隨時間線性減小的慣性權(quán)重，并在位置更新造成越界后再次隨機初始化粒子，增強了粒子的全局搜索能力和局部優(yōu)化能力；文獻[5]提出每次迭代逐漸減小粒子的數(shù)量直到迭代后期只剩質(zhì)量最大的粒子對剩余粒子造成引力，加快了收斂速度和避免過早收斂；文獻[6]受兩層結(jié)構(gòu)GSA的啟發(fā)，構(gòu)建了由種群層、迭代最佳層、個人最佳層和全局最佳層組成的四層結(jié)構(gòu)的多層GSA，在不同的搜索階段動態(tài)地實現(xiàn)四層之間的層次交互，以極大地提高種群的探索和開發(fā)能力；文獻[7]提出將GSA應(yīng)用于雙耳音頻均衡的穩(wěn)定IIR濾波器設(shè)計；文獻[8]提出將GSA應(yīng)用于平面天線陣列的設(shè)計，并與利用粒子群優(yōu)化算法優(yōu)化此實際問題產(chǎn)生的結(jié)果進行對比，通過仿真體現(xiàn)出GSA算法的高效率；文獻[9]提出將GSA應(yīng)用于優(yōu)化微帶天線的尺寸參數(shù)，通過對比粒子群優(yōu)化算法和蝙蝠優(yōu)化算法，可以發(fā)現(xiàn)利用GSA優(yōu)化可以得到更好的優(yōu)化結(jié)果；文獻[10]提出將GSA應(yīng)用于線性偶極天線陣列參數(shù)的優(yōu)化設(shè)計，以此來確定性能參數(shù)，優(yōu)化后的方向圖表明應(yīng)用GSA算法優(yōu)化可以獲得更高的方向性和更窄的波瓣.

極限學(xué)習(xí)機(extreme learning machine, ELM)是2004年由南洋理工大學(xué)黃廣斌教授提出的單隱層前饋神經(jīng)網(wǎng)絡(luò)[11]，由于其學(xué)習(xí)速度快、訓(xùn)練精度高和計算復(fù)雜度低的特征，大規(guī)模應(yīng)用在各種工程問題和學(xué)術(shù)研究上.文獻[12]進一步提出增量式極限學(xué)習(xí)機(Incremental-ELM，簡稱I-ELM)，采取逐漸添加隱含層節(jié)點達到不斷提升訓(xùn)練精度的目的；文獻[13]將I-ELM中融入凸優(yōu)化的思想，提出了CI-ELM，加快訓(xùn)練I-ELM的速度；文獻[14]提出了EI-ELM，通過多次試驗取最優(yōu)結(jié)果，解決了I-ELM隨機生成權(quán)值的造成的影響，訓(xùn)練精度得到提升；文獻[15]使用ELM進行逼近和補償控制系統(tǒng)中存在的不確定量，以消除混聯(lián)輸送機構(gòu)模型中不確定量的影響；文獻[16]使用多隱層輸出矩陣的ELM對微波濾波器的參數(shù)模型進行建模，通過對比BP網(wǎng)絡(luò)和SVM，可以發(fā)現(xiàn)ELM泛化性好并且有更高的精確度；文獻[17]提出了用張量輸入的ELM來處理信道插值任務(wù)，在誤差相同的情況下運行速度更快；文獻[18]提出了一種基于機器學(xué)習(xí)算法、ELM和基于極點剩余的傳遞函數(shù)的微波元件電磁特性參數(shù)化建模模型.

文中引入粒子更新策略，在GSA每次迭代時按照適應(yīng)度值重新排列所有粒子，更新性能較差的部分，在一定程度上解決進化后期可能會落入局部極值的問題，以此獲得更好的搜索能力.同時，在ELM中引入改進的GSA優(yōu)化輸入權(quán)值和隱層偏置，避免這些參數(shù)隨機生成導(dǎo)致算法的不穩(wěn)定.最后基于改進GSA的ELM對微帶天線的諧振頻率進行了建模，并與已有結(jié)論進行了對比，驗證了所提方法的有效性.

1 萬有引力搜索算法及其改進

1.1 萬有引力搜索算法

假設(shè)在D維搜索空間中有N個粒子，第i個粒子的位置為:

(1)

(1) 慣性質(zhì)量計算

每個粒子的慣性質(zhì)量是由粒子所在位置所求得的適應(yīng)度有關(guān)，在時刻t，粒子Xi的質(zhì)量用Mi(t)表示為:

(2)

(3)

式中：fiti(t)為粒子Xi的適應(yīng)度值；best(t)為時刻t所有粒子中的最優(yōu)解；worst(t)為時刻t中所有粒子中的最差解，其計算方式為：

(4)

(5)

(2) 引力計算

在時刻t，物體j在第k維上受到物體i的引力為：

(6)

式中：ε為一個極小數(shù)；Maj(t)和Mpi(t)分別為作用粒子j和被作用粒子i的慣性質(zhì)量.引力系數(shù)G(t)為：

G(t)G0×e-αt/T

(7)

式中：原始引力系數(shù)G0表示在t0時G取值，G0=100；衰減系數(shù)α=20；T為迭代次數(shù)的峰值.Rij(t)表示粒子Xi和粒子Xj的間距，計算方式為:

Rij(t)‖Xi(t),Xj(t)‖2

(8)

因此在t時刻，第k維上作用于Xi的合外力等于其它所有物體對其引力之和，計算公式為:

(9)

(3) 位置更新

根據(jù)牛頓第二定律，有：

(10)

每次迭代遵循的更新公式為：

(11)

(12)

1.2 改進的萬有引力搜索算法

雖然GSA在處理大多數(shù)優(yōu)化問題時都能求得十分出色的最優(yōu)解，然而在面對復(fù)雜多峰問題求解時可能會陷入局部最優(yōu).針對經(jīng)典GSA搜索能力不強的問題，文中引入粒子更新策略，即在每次迭代時按適應(yīng)度值的大小重新排列所有粒子，將性能最差的30%部分利用混沌理論進行更新，取更新前后最好的30%粒子，和剩余的70%粒子組成新的粒子種群.由于該算法對性能較差粒子根據(jù)混沌理論進行更新，充分利用了混沌系統(tǒng)的隨機性、遍歷性、規(guī)律性，在小范圍內(nèi)進行局部搜索，比一般的隨機搜索方法取得更好的效果，更容易細致搜索，并保證了種群多樣性，消除了落入局部最優(yōu)的可能性，加快了算法的收斂.改進的GSA流程如圖1.

圖1 改進的萬有引力搜索算法流程

2 改進的萬有引力搜索算法用于極限學(xué)習(xí)機優(yōu)化

2.1 極限學(xué)習(xí)機算法

ELM作為一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，輸入權(quán)值與隱層偏置隨機產(chǎn)生，然后輸出權(quán)值根據(jù)計算求得，核心理念是簡化非線性優(yōu)化帶來的困難，如確定輸入權(quán)值、隱層偏置的最優(yōu)取值和分析計算求得輸出權(quán)值的最優(yōu)取值.由于可以隨機產(chǎn)生前兩組參數(shù)，所以只需要關(guān)注輸出權(quán)值的確定.

ELM由輸入層、隱含層與輸出層組成.假設(shè)激活函數(shù)為h，隱含層有L個節(jié)點，訓(xùn)練樣本數(shù)據(jù)集(xj,tj)∈Rn×Rq包含N組數(shù)據(jù)，有:

(13)

式中：θi為第i個隱含層節(jié)點的輸出權(quán)值向量.與一般的δ學(xué)習(xí)法則不同，輸入權(quán)值w與隱層偏置b隨機產(chǎn)生，然后根據(jù)分析計算求得輸出權(quán)值B.通過這些計算，訓(xùn)練誤差能夠取得最小值，也能夠獲得更優(yōu)的泛化能力.根據(jù)ELM原理，式(13)可以改寫為：

HB=T

(14)

ELM訓(xùn)練過程為：

步驟1:確定激活函數(shù)類型和隱含層節(jié)點數(shù)L，隨機產(chǎn)生輸入權(quán)值wi與隱層偏置bi，1

步驟2:計算隱含層的輸出矩陣H;

步驟3:計算輸出權(quán)值矩陣B=H+T.

2.2 改進的萬有引力搜索算法用于極限學(xué)習(xí)機優(yōu)化

由于ELM輸入權(quán)值和隱層偏置隨機產(chǎn)生，一些隱含層節(jié)點的輸入權(quán)值和偏置可能會過小，導(dǎo)致算法穩(wěn)定性比較差，不能保證每次訓(xùn)練都能達到良好的訓(xùn)練精度.因此，基于改進的GSA來優(yōu)化ELM的輸入權(quán)值和隱層偏置，即把輸入權(quán)值和隱層偏置作為待優(yōu)化粒子，ELM函數(shù)的訓(xùn)練誤差作為適應(yīng)度值，稱為GSA-ELM算法.利用改進的GSA算法優(yōu)化獲取輸入權(quán)值和隱層偏置的最優(yōu)解后，根據(jù)計算就能獲得相應(yīng)的輸出權(quán)值，以此完成對ELM的訓(xùn)練.在仿真實例中，粒子數(shù)設(shè)置為50，每個粒子的維度為ELM輸入權(quán)值和隱層偏置的總個數(shù)，進行500次迭代.

3 GSA-ELM算法用于矩形微帶天線諧振頻率建模

文中使用GSA-ELM算法對矩形微帶天線(microstrip antenna, MSA)的諧振頻率進行建模，矩形微帶天線的結(jié)構(gòu)如圖2.

圖2 矩形微帶天線

訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)源于文獻[19-20]的實驗結(jié)果，如表1，共有33組數(shù)據(jù)，其中26組作為訓(xùn)練數(shù)據(jù)，其他7組帶有標記(*)的作為測試數(shù)據(jù).輸入樣本集合為矩形微帶天線的尺寸參數(shù)，包括貼片的寬度W、長度L以及介質(zhì)材料的相關(guān)參數(shù)包括厚度h、相對介電常數(shù)εr，記作(W,L,h,εr)，輸出為對應(yīng)實測諧振頻率fME.ELM通過學(xué)習(xí)訓(xùn)練樣本數(shù)據(jù)集可以擬合出矩形MSA尺寸參數(shù)和對應(yīng)實測諧振頻率之間的關(guān)系.

表1 矩形微帶天線諧振頻率

表2列出了使用ELM算法和GSA-ELM算法計算得到的矩形MSA諧振頻率.其中，兩種算法的隱層節(jié)點數(shù)都為12，激活函數(shù)都取sigmod函數(shù)，并且ELM算法取運行50次的最好結(jié)果.為便于比較，該表中也給出文獻[21]提出的神經(jīng)元模型及文獻[22]提出的改進的神經(jīng)元模型得到的預(yù)測數(shù)據(jù)，表中fEDBD、fDBD、fBP和fPTS分別為通過EDBD(extended delta-bar-delta)、DBD(delta-bar-delta)和BP算法的神經(jīng)元模型及采用PTS(parallel tabu search)算法的改進的神經(jīng)元模型的預(yù)測結(jié)果.表2也列出了各個模型預(yù)測值與實測值之間的絕對誤差之和.根據(jù)表2可以得出結(jié)論，ELM算法和GSA-ELM算法的預(yù)測結(jié)果比神經(jīng)元模型方法更接近于實驗結(jié)果，并且GSA-ELM算法的誤差比ELM算法還要小，實測值和預(yù)測結(jié)果之間的一致性證明了該方法的有效性.

表2 文中算法與對比算法的絕對誤差總和

表3給出了通過傳統(tǒng)方法[23-33]求出的矩形MSA諧振頻率理論值和實測值之間的絕對誤差之和，表3可以明顯地看出，文中GSA-ELM算法的結(jié)果明顯好于對比文獻結(jié)果.

表3 傳統(tǒng)方法求得的矩形MSA諧振頻率理論值與實測值之間的絕對誤差之和

4 結(jié)論

萬有引力搜索算法作為群體智能優(yōu)化方法，在計算機、電子信息、控制科學(xué)等多個領(lǐng)域中交叉融合應(yīng)用和發(fā)展，其利用種群中的粒子進行信息交流的特點，為求解復(fù)雜問題提供了新的方案，所以研究和掌握它的規(guī)律與特征，既具有理論意義又具有應(yīng)用于實際問題的現(xiàn)實意義.

(1) 雖然萬有引力搜索算法已經(jīng)有效地應(yīng)用于多個領(lǐng)域，但存在進化后期易于陷入局部最優(yōu)的問題.文中引入粒子更新方法對經(jīng)典的萬有引力搜索算法進行改進，并取更新前后最好的粒子組成新的粒子種群繼續(xù)參與迭代.

(2) 通過在極限學(xué)習(xí)機算法中引入改進的萬有引力算法，可以根據(jù)最優(yōu)解確定輸入權(quán)值和隱層偏置，有效增強極限學(xué)習(xí)機的穩(wěn)定性.

(3) 基于改進萬有引力搜索算法的極限學(xué)習(xí)機仿真并建立矩形微帶天線的諧振頻率模型，與經(jīng)典的極限學(xué)習(xí)機算法和神經(jīng)網(wǎng)絡(luò)模型法等方法進行了比較，可以明顯地看出所提算法的結(jié)果比經(jīng)典的極限學(xué)習(xí)機算法和其他學(xué)者得到的結(jié)果要好.

(4) 文中算法也可以用于其他類似工程問題.