基于動態(tài)調整慣性權重下改進學習因子的粒子群算法

【 摘 要 】 粒子群算法針對高維復雜函數(shù)常存在早熟收斂問題，本文提出一種在已有動態(tài)調整慣性權重的基礎上對學習因子進行改進的粒子群算法，使學習因子隨著搜索的不同階段改變認知學習因子和社會學習因子。比較五個標準測試函數(shù)的實驗結果，表明改進后的算法得到的結果更優(yōu)。

【 關鍵詞 】 粒子群算法；動態(tài)調整慣性權重；學習因子；全局搜索

【 中圖分類號 】 TP18 【 文獻標識碼 】 A

1 引言

模擬昆蟲、鳥群和魚群等群集行為，Eberhart 和Kennedy提出粒子群算法。PSO算法作為一種隨機搜索算法，由于其算法程序設計簡單，便于操作而得到廣泛應用。胡建秀等人對粒子群算法的慣性權重做了深入探討，文獻[3， 4，5]給出了一些慣性權重修改的方法，文獻[6，7]采用變異或者是和其他算法結合增強種群在搜索過程中多樣性。也有研究者將混沌理論用于粒子群算法的粒子初始化。文獻[8]從學習因子上對算法進行改進。本文是建立在文獻[4]動態(tài)調整慣性權重基礎上對學習因子進行改進。通過具體的仿真實驗，本文提出的改進方法使得算法的最優(yōu)值更加的接近真實值。

2 粒子群算法

2.1 標準的PSO算法

粒子根據(jù)如下兩個方程來更新自己：

（1）

（2）

其中，C1，C2分別是自身學習因子和社會學習因子，一般都取值為2， r1，r2是（0，1）區(qū)間內的隨機數(shù)，pbestki是第i個微粒前k次的最好位置，gbestki是前k次所有微粒的最好位置，ω是慣性權重，一般取值0.1到0.9之間。

2.2 動態(tài)調整慣性權重參數(shù)的PSO算法[DPT-PSO]

粒子搜索過程中，速度大有利于全局搜索而不致陷入局部最優(yōu)。當速度小時更有利于局部搜索得到更加精確的解.文獻[5]根據(jù)這種思想提出了一種根據(jù)理想速度不斷調整慣性權重的方法[Dynamic parameter tuning of Particle Swarm Optimization 記為[DPT-PSO]。

3 改進學習因子的PSO算法

粒子在搜索的過程中，初期希望粒子的速度大一些，能盡量搜索到整個空間，到了后期希望粒子的速度降下來，使得粒子能搜索到精確的位置。從公式（1）可以看到讓慣性權重ω初期較大，后期變小。與此同時我們也可以讓學習因子隨著搜索狀態(tài)變化而變化。在搜索的前階段c1取較大值，c2取較小值，讓粒子群向自身最好位置pbest學習，增強全局搜索能力，到了后階段c1取較小值，c2取較大的值，讓粒子向全局最好位置gbest學習，增強局部搜索能力。現(xiàn)對學習因子c1和c2的改進如下：

其中k是當前迭代次數(shù)，itermax是最大迭代次數(shù)。

4 對比試驗

4.1 實驗設計

為了分析修改學習因子對算法優(yōu)化的效果，本文進行如下對比試驗。為了記法方便進行幾點說明。

對五個測試函數(shù)僅采用DPT-PSO的情形，記為B1。

對五個測試函數(shù)采用DPT-PSO算法對進行的調整，在此基礎上采用本文提出對粒子的初始化和改進學習因子的算法，記為B2。

本文五個測試函數(shù)（如表1）分別設置從90和100維，每個函數(shù)獨立運行30次，每次迭代3000次，微粒個數(shù)為50。在DPT-PSO中初始速度和理想速度設置為搜索范圍的10%，Tend=900。評估算法的效果從最小值（Min），最大值（Max），平均值（Avg），標準方差（SD）進行比較。

4.2 實驗結果及其分析

表2的數(shù)據(jù)是分別采用DPT-PSO算法和在DPT-PSO算法基礎上改進學習因子的算法得到的，測試了五個基準函數(shù)，其中F1、F2是單模函數(shù)，F(xiàn)3，F(xiàn)4是多模態(tài)函數(shù)。F1（Rosenbrock）函數(shù)它是主要考查局部開發(fā)能力，而F4（Rastrigin）函數(shù)具有大量局部最小值，是考查算法避免陷入局部最優(yōu)，進行全局探索的能力，從表2中不難發(fā)現(xiàn)這兩個基準函數(shù)改進后的算法在最大、最小、平均值和方差這四個方面的效果得到了很大提高。在F1函數(shù)的有些維數(shù)出現(xiàn)了結果變壞的情形，而其它四個函數(shù)在每維的效果都有不同程度的改進，F(xiàn)4、F2改進后的效果最為明顯。

5 結束語

在粒子群算法的速度更新中，學習因子也會對粒子搜索能力有一定影響。在搜索初期粒子需要有較好的全局搜索能力，因此需要自身學習因子取較大的值，而到后期則更需較小的速度讓粒子具有較強的局部搜索能力。本文在已有動態(tài)調整慣性權重的基礎上對學習因子進行改進，通過最小、大值、平均值和方差這四個指標的比較，改進學習因子后算法的得到的結果更優(yōu)。

參考文獻

[1] Kennedy J，Eberhart R C. Pacticle swarm optimization [C].IEEE International Conference on Neural Networks.Perth ，1995：1942-1948.

[2] 胡建秀.微粒群算法中慣性權重的調整策略[J].計算機工程，2007，33（11）：193-195.

[3] 馮婷等.改進收斂條件的動態(tài)調整慣性權重PSO算法[J].計算機工程與應用，2009，45（3） ：175-177.

[4] Nobuhiro Iwasaki，Keiichiro Yasuda，Genki Ueno.Dynamic Parameter Tuning of Particle Swarm Optimization [J].IEEJ Trans on Electrical and Electronic，2006，1（1）：353-363.

[5] 陳貴敏，賈建援，韓琪.粒子群優(yōu)化算法的慣性權值遞減策略研究[J].西安交通大學學報，2006，40（1）：53-56.

[6] 顏俊華，張敏等. 基于遺傳算法的智能粒子群優(yōu)化算法[J].西南大學學報，2010，32（11）：135-139.

[7] 朱海梅，吳永萍.一種高速收斂粒子群優(yōu)化算法[J].控制與決策，2010，25（1）：20-24.

[8] 徐生兵，夏文杰，代安定.一種改進學習因子的粒子群算法[J].信息安全與技術，2012，3（7）：17-19.

基金項目：

東莞理工學院城市學院青年教師基金項目（ZR15）。

作者簡介：

徐生兵（1980-），男，湖北荊門人，碩士；主要研究方向和關注領域：智能計算。endprint

【 摘 要 】 粒子群算法針對高維復雜函數(shù)常存在早熟收斂問題，本文提出一種在已有動態(tài)調整慣性權重的基礎上對學習因子進行改進的粒子群算法，使學習因子隨著搜索的不同階段改變認知學習因子和社會學習因子。比較五個標準測試函數(shù)的實驗結果，表明改進后的算法得到的結果更優(yōu)。

【 關鍵詞 】 粒子群算法；動態(tài)調整慣性權重；學習因子；全局搜索

【 中圖分類號 】 TP18 【 文獻標識碼 】 A

1 引言

模擬昆蟲、鳥群和魚群等群集行為，Eberhart 和Kennedy提出粒子群算法。PSO算法作為一種隨機搜索算法，由于其算法程序設計簡單，便于操作而得到廣泛應用。胡建秀等人對粒子群算法的慣性權重做了深入探討，文獻[3， 4，5]給出了一些慣性權重修改的方法，文獻[6，7]采用變異或者是和其他算法結合增強種群在搜索過程中多樣性。也有研究者將混沌理論用于粒子群算法的粒子初始化。文獻[8]從學習因子上對算法進行改進。本文是建立在文獻[4]動態(tài)調整慣性權重基礎上對學習因子進行改進。通過具體的仿真實驗，本文提出的改進方法使得算法的最優(yōu)值更加的接近真實值。

2 粒子群算法

2.1 標準的PSO算法

粒子根據(jù)如下兩個方程來更新自己：

（1）

（2）

其中，C1，C2分別是自身學習因子和社會學習因子，一般都取值為2， r1，r2是（0，1）區(qū)間內的隨機數(shù)，pbestki是第i個微粒前k次的最好位置，gbestki是前k次所有微粒的最好位置，ω是慣性權重，一般取值0.1到0.9之間。

2.2 動態(tài)調整慣性權重參數(shù)的PSO算法[DPT-PSO]

粒子搜索過程中，速度大有利于全局搜索而不致陷入局部最優(yōu)。當速度小時更有利于局部搜索得到更加精確的解.文獻[5]根據(jù)這種思想提出了一種根據(jù)理想速度不斷調整慣性權重的方法[Dynamic parameter tuning of Particle Swarm Optimization 記為[DPT-PSO]。

3 改進學習因子的PSO算法

粒子在搜索的過程中，初期希望粒子的速度大一些，能盡量搜索到整個空間，到了后期希望粒子的速度降下來，使得粒子能搜索到精確的位置。從公式（1）可以看到讓慣性權重ω初期較大，后期變小。與此同時我們也可以讓學習因子隨著搜索狀態(tài)變化而變化。在搜索的前階段c1取較大值，c2取較小值，讓粒子群向自身最好位置pbest學習，增強全局搜索能力，到了后階段c1取較小值，c2取較大的值，讓粒子向全局最好位置gbest學習，增強局部搜索能力?，F(xiàn)對學習因子c1和c2的改進如下：

其中k是當前迭代次數(shù)，itermax是最大迭代次數(shù)。

4 對比試驗

4.1 實驗設計

為了分析修改學習因子對算法優(yōu)化的效果，本文進行如下對比試驗。為了記法方便進行幾點說明。

對五個測試函數(shù)僅采用DPT-PSO的情形，記為B1。

對五個測試函數(shù)采用DPT-PSO算法對進行的調整，在此基礎上采用本文提出對粒子的初始化和改進學習因子的算法，記為B2。

本文五個測試函數(shù)（如表1）分別設置從90和100維，每個函數(shù)獨立運行30次，每次迭代3000次，微粒個數(shù)為50。在DPT-PSO中初始速度和理想速度設置為搜索范圍的10%，Tend=900。評估算法的效果從最小值（Min），最大值（Max），平均值（Avg），標準方差（SD）進行比較。

4.2 實驗結果及其分析

表2的數(shù)據(jù)是分別采用DPT-PSO算法和在DPT-PSO算法基礎上改進學習因子的算法得到的，測試了五個基準函數(shù)，其中F1、F2是單模函數(shù)，F(xiàn)3，F(xiàn)4是多模態(tài)函數(shù)。F1（Rosenbrock）函數(shù)它是主要考查局部開發(fā)能力，而F4（Rastrigin）函數(shù)具有大量局部最小值，是考查算法避免陷入局部最優(yōu)，進行全局探索的能力，從表2中不難發(fā)現(xiàn)這兩個基準函數(shù)改進后的算法在最大、最小、平均值和方差這四個方面的效果得到了很大提高。在F1函數(shù)的有些維數(shù)出現(xiàn)了結果變壞的情形，而其它四個函數(shù)在每維的效果都有不同程度的改進，F(xiàn)4、F2改進后的效果最為明顯。

5 結束語

在粒子群算法的速度更新中，學習因子也會對粒子搜索能力有一定影響。在搜索初期粒子需要有較好的全局搜索能力，因此需要自身學習因子取較大的值，而到后期則更需較小的速度讓粒子具有較強的局部搜索能力。本文在已有動態(tài)調整慣性權重的基礎上對學習因子進行改進，通過最小、大值、平均值和方差這四個指標的比較，改進學習因子后算法的得到的結果更優(yōu)。

參考文獻

[1] Kennedy J，Eberhart R C. Pacticle swarm optimization [C].IEEE International Conference on Neural Networks.Perth ，1995：1942-1948.

[2] 胡建秀.微粒群算法中慣性權重的調整策略[J].計算機工程，2007，33（11）：193-195.

[3] 馮婷等.改進收斂條件的動態(tài)調整慣性權重PSO算法[J].計算機工程與應用，2009，45（3） ：175-177.

[4] Nobuhiro Iwasaki，Keiichiro Yasuda，Genki Ueno.Dynamic Parameter Tuning of Particle Swarm Optimization [J].IEEJ Trans on Electrical and Electronic，2006，1（1）：353-363.

[5] 陳貴敏，賈建援，韓琪.粒子群優(yōu)化算法的慣性權值遞減策略研究[J].西安交通大學學報，2006，40（1）：53-56.

[6] 顏俊華，張敏等. 基于遺傳算法的智能粒子群優(yōu)化算法[J].西南大學學報，2010，32（11）：135-139.

[7] 朱海梅，吳永萍.一種高速收斂粒子群優(yōu)化算法[J].控制與決策，2010，25（1）：20-24.

[8] 徐生兵，夏文杰，代安定.一種改進學習因子的粒子群算法[J].信息安全與技術，2012，3（7）：17-19.

基金項目：

東莞理工學院城市學院青年教師基金項目（ZR15）。

作者簡介：

徐生兵（1980-），男，湖北荊門人，碩士；主要研究方向和關注領域：智能計算。endprint

【 摘 要 】 粒子群算法針對高維復雜函數(shù)常存在早熟收斂問題，本文提出一種在已有動態(tài)調整慣性權重的基礎上對學習因子進行改進的粒子群算法，使學習因子隨著搜索的不同階段改變認知學習因子和社會學習因子。比較五個標準測試函數(shù)的實驗結果，表明改進后的算法得到的結果更優(yōu)。

【 關鍵詞 】 粒子群算法；動態(tài)調整慣性權重；學習因子；全局搜索

【 中圖分類號 】 TP18 【 文獻標識碼 】 A

1 引言

模擬昆蟲、鳥群和魚群等群集行為，Eberhart 和Kennedy提出粒子群算法。PSO算法作為一種隨機搜索算法，由于其算法程序設計簡單，便于操作而得到廣泛應用。胡建秀等人對粒子群算法的慣性權重做了深入探討，文獻[3， 4，5]給出了一些慣性權重修改的方法，文獻[6，7]采用變異或者是和其他算法結合增強種群在搜索過程中多樣性。也有研究者將混沌理論用于粒子群算法的粒子初始化。文獻[8]從學習因子上對算法進行改進。本文是建立在文獻[4]動態(tài)調整慣性權重基礎上對學習因子進行改進。通過具體的仿真實驗，本文提出的改進方法使得算法的最優(yōu)值更加的接近真實值。

2 粒子群算法

2.1 標準的PSO算法

粒子根據(jù)如下兩個方程來更新自己：

（1）

（2）

其中，C1，C2分別是自身學習因子和社會學習因子，一般都取值為2， r1，r2是（0，1）區(qū)間內的隨機數(shù)，pbestki是第i個微粒前k次的最好位置，gbestki是前k次所有微粒的最好位置，ω是慣性權重，一般取值0.1到0.9之間。

2.2 動態(tài)調整慣性權重參數(shù)的PSO算法[DPT-PSO]

粒子搜索過程中，速度大有利于全局搜索而不致陷入局部最優(yōu)。當速度小時更有利于局部搜索得到更加精確的解.文獻[5]根據(jù)這種思想提出了一種根據(jù)理想速度不斷調整慣性權重的方法[Dynamic parameter tuning of Particle Swarm Optimization 記為[DPT-PSO]。

3 改進學習因子的PSO算法

粒子在搜索的過程中，初期希望粒子的速度大一些，能盡量搜索到整個空間，到了后期希望粒子的速度降下來，使得粒子能搜索到精確的位置。從公式（1）可以看到讓慣性權重ω初期較大，后期變小。與此同時我們也可以讓學習因子隨著搜索狀態(tài)變化而變化。在搜索的前階段c1取較大值，c2取較小值，讓粒子群向自身最好位置pbest學習，增強全局搜索能力，到了后階段c1取較小值，c2取較大的值，讓粒子向全局最好位置gbest學習，增強局部搜索能力?，F(xiàn)對學習因子c1和c2的改進如下：

其中k是當前迭代次數(shù)，itermax是最大迭代次數(shù)。

4 對比試驗

4.1 實驗設計

為了分析修改學習因子對算法優(yōu)化的效果，本文進行如下對比試驗。為了記法方便進行幾點說明。

對五個測試函數(shù)僅采用DPT-PSO的情形，記為B1。

對五個測試函數(shù)采用DPT-PSO算法對進行的調整，在此基礎上采用本文提出對粒子的初始化和改進學習因子的算法，記為B2。

本文五個測試函數(shù)（如表1）分別設置從90和100維，每個函數(shù)獨立運行30次，每次迭代3000次，微粒個數(shù)為50。在DPT-PSO中初始速度和理想速度設置為搜索范圍的10%，Tend=900。評估算法的效果從最小值（Min），最大值（Max），平均值（Avg），標準方差（SD）進行比較。

4.2 實驗結果及其分析

表2的數(shù)據(jù)是分別采用DPT-PSO算法和在DPT-PSO算法基礎上改進學習因子的算法得到的，測試了五個基準函數(shù)，其中F1、F2是單模函數(shù)，F(xiàn)3，F(xiàn)4是多模態(tài)函數(shù)。F1（Rosenbrock）函數(shù)它是主要考查局部開發(fā)能力，而F4（Rastrigin）函數(shù)具有大量局部最小值，是考查算法避免陷入局部最優(yōu)，進行全局探索的能力，從表2中不難發(fā)現(xiàn)這兩個基準函數(shù)改進后的算法在最大、最小、平均值和方差這四個方面的效果得到了很大提高。在F1函數(shù)的有些維數(shù)出現(xiàn)了結果變壞的情形，而其它四個函數(shù)在每維的效果都有不同程度的改進，F(xiàn)4、F2改進后的效果最為明顯。

5 結束語

在粒子群算法的速度更新中，學習因子也會對粒子搜索能力有一定影響。在搜索初期粒子需要有較好的全局搜索能力，因此需要自身學習因子取較大的值，而到后期則更需較小的速度讓粒子具有較強的局部搜索能力。本文在已有動態(tài)調整慣性權重的基礎上對學習因子進行改進，通過最小、大值、平均值和方差這四個指標的比較，改進學習因子后算法的得到的結果更優(yōu)。

參考文獻

[1] Kennedy J，Eberhart R C. Pacticle swarm optimization [C].IEEE International Conference on Neural Networks.Perth ，1995：1942-1948.

[2] 胡建秀.微粒群算法中慣性權重的調整策略[J].計算機工程，2007，33（11）：193-195.

[3] 馮婷等.改進收斂條件的動態(tài)調整慣性權重PSO算法[J].計算機工程與應用，2009，45（3） ：175-177.

[4] Nobuhiro Iwasaki，Keiichiro Yasuda，Genki Ueno.Dynamic Parameter Tuning of Particle Swarm Optimization [J].IEEJ Trans on Electrical and Electronic，2006，1（1）：353-363.

[5] 陳貴敏，賈建援，韓琪.粒子群優(yōu)化算法的慣性權值遞減策略研究[J].西安交通大學學報，2006，40（1）：53-56.

[6] 顏俊華，張敏等. 基于遺傳算法的智能粒子群優(yōu)化算法[J].西南大學學報，2010，32（11）：135-139.

[7] 朱海梅，吳永萍.一種高速收斂粒子群優(yōu)化算法[J].控制與決策，2010，25（1）：20-24.

[8] 徐生兵，夏文杰，代安定.一種改進學習因子的粒子群算法[J].信息安全與技術，2012，3（7）：17-19.

基金項目：

東莞理工學院城市學院青年教師基金項目（ZR15）。

作者簡介：

徐生兵（1980-），男，湖北荊門人，碩士；主要研究方向和關注領域：智能計算。endprint