基于粒子群優(yōu)化的Elman神經(jīng)網(wǎng)絡無模型控制

張俊玲，陳增強,，張青

(1.南開大學 計算機與控制工程學院，天津 300071； 2.中國民航大學 理學院，天津 300300)

基于粒子群優(yōu)化的Elman神經(jīng)網(wǎng)絡無模型控制

張俊玲1，陳增強1,2，張青2

(1.南開大學 計算機與控制工程學院，天津 300071； 2.中國民航大學 理學院，天津 300300)

摘要：針對一類無法建?；蚴墙＿^程比較復雜的離散SISO非線性離散系統(tǒng)，提出了一種基于Elman神經(jīng)網(wǎng)絡和粒子群優(yōu)化算法的無模型控制方法。該控制方法是在無需知道被控對象動力學模型的情況下，以Elman神經(jīng)網(wǎng)絡作為控制器結(jié)構(gòu)，利用粒子群優(yōu)化算法在線學習控制器中的所有權(quán)值參數(shù)，既而得到每一離散時刻的最優(yōu)控制量。仿真研究表明，該方法控制下的非線性系統(tǒng)輸出信號具有較快的反應速度和較小的跟蹤誤差，同時控制量信號有較好的收斂性與控制精度，這說明了所提出的基于粒子群的Elman神經(jīng)網(wǎng)絡無模型控制方法是有效與合理的。

關(guān)鍵詞：非線性系統(tǒng)；非線性離散系統(tǒng)；無模型控制；控制器；Elman神經(jīng)網(wǎng)絡；粒子群優(yōu)化算法

中文引用格式：張俊玲，陳增強，張青.基于粒子群優(yōu)化的Elman神經(jīng)網(wǎng)絡無模型控制[J]. 智能系統(tǒng)學報， 2016, 11(1): 49-54.

英文引用格式：ZHANG Junling, CHEN Zengqiang, ZHANG Qing. Elman model-free control method based on particle swarm optimization algorithm[J]. CAAI Transactions on Intelligent Systems, 2016, 11(1): 49-54.

現(xiàn)如今無論是基于傳遞函數(shù)的經(jīng)典控制理論，還是基于狀態(tài)空間模型的現(xiàn)代控制理論，大部分控制器的設(shè)計都是基于模型的。然而基于模型的控制理論不可避免地需要對被控對象進行建模，但是建立被控對象的數(shù)學模型并不是一件易事，尤其是對于非線性系統(tǒng)來說，需要耗費巨大的人力物力。無模型控制思想的提出恰恰能解決上述基于模型的控制方法存在的問題。無模型控制就是無需建立被控對象的數(shù)學模型而能實現(xiàn)控制的一種方法。其實在工業(yè)應用中最廣泛的PID控制方法就是最原始的無模型控制思想的應用，然而PID方法最大的缺點就是控制器參數(shù)不易調(diào)節(jié)。無模型控制方法現(xiàn)階段沒有固定的控制器結(jié)構(gòu)與設(shè)計方式，廣義上來說，所有不基于數(shù)學模型設(shè)計控制器的方法都可稱之為無模型控制。

現(xiàn)在無模型控制方法得到了越來越多國內(nèi)外專家的重視，有的已經(jīng)在工業(yè)過程中得以應用。文獻[1-3]為基于動態(tài)線性化的無模型控制方法，在每一離散時刻對系統(tǒng)進行線性化處理，然后可以利用線性系統(tǒng)理論求解問題。在無模型控制方法中，神經(jīng)網(wǎng)絡因其結(jié)構(gòu)的特殊性，發(fā)揮著巨大的作用。如文獻[4]中提出以函數(shù)近似結(jié)構(gòu)(可采用神經(jīng)網(wǎng)絡)作為其控制器，以同時擾動隨機逼近算法估計梯度的無模型控制方法。文獻[5]以前饋神經(jīng)網(wǎng)絡作為無模型自適應控制器結(jié)構(gòu)，運用BP算法訓練控制器參數(shù)，所設(shè)計控制器已廣泛應用于工業(yè)過程控制中。文獻[6]介紹了基于數(shù)據(jù)的自學習優(yōu)化控制方法，采用函數(shù)近似結(jié)構(gòu)來估計系統(tǒng)性能指標函數(shù)，然后依據(jù)最優(yōu)性原理來獲得最優(yōu)的控制策略。文獻[7]采用雙神經(jīng)元作為控制器結(jié)構(gòu)，主神經(jīng)元控制器用來控制PH過程,子神經(jīng)元控制器用來補償其非線性。本文則采用遞歸神經(jīng)網(wǎng)絡中的Elman網(wǎng)絡作為控制器結(jié)構(gòu)，并且采用粒子群優(yōu)化算法訓練神經(jīng)網(wǎng)絡權(quán)值參數(shù)，從而得到控制量，無需從被控對象的數(shù)學模型出發(fā)設(shè)計控制器，實現(xiàn)系統(tǒng)的無模型控制。

1Elman無模型控制系統(tǒng)

下面以SISO離散非線性系統(tǒng)作為被控對象，

(1)

式(1)中f(·)未知，無模型控制系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1　Elman無模型控制系統(tǒng)Fig.1　Elman model-free control system

設(shè)計控制器的原則是，在每一個離散時刻尋找一組最優(yōu)的控制器參數(shù)(權(quán)值參數(shù))，使得以下控制性能指標函數(shù)達到最小。

(2)

也就是說控制器能在每個離散時刻k產(chǎn)生一個控制量u(k)，使得實際輸出y(k)跟隨設(shè)定值r(k)變化。這里采用遞歸神經(jīng)網(wǎng)絡中的典型結(jié)構(gòu)Elman網(wǎng)絡作為控制器的結(jié)構(gòu)，如圖2所示，其中網(wǎng)絡的結(jié)構(gòu)固定，不隨時間變化，網(wǎng)絡的權(quán)值參數(shù)可以隨時間不斷進行更新學習。

圖2　Elman無模型控制器Fig.2　Elman model-free controller

Elman網(wǎng)絡是由J.L Elman于1990年針對語音問題提出來的一種多層動態(tài)神經(jīng)網(wǎng)絡[8]。由于其結(jié)構(gòu)具有動態(tài)遞歸的特點，對非線性函數(shù)有很好的逼近能力，因此被廣泛應用于控制系統(tǒng)的設(shè)計中[9-10]。Elman網(wǎng)絡分為4層：輸入層、隱含層、輸出層和保留層。其輸入層、隱含層和輸出層的連接類似于前饋網(wǎng)絡，區(qū)別在于增加了保留層，用來存儲隱含層神經(jīng)元上一時刻的輸出值。隱含層的輸出通過保留層的延遲與存儲，重新作為隱含層的輸入，這種連接方式使得網(wǎng)絡對歷史狀態(tài)的數(shù)據(jù)具有記憶功能，從而增加了網(wǎng)絡處理動態(tài)信息的能力。其數(shù)學描述如下：

(3)

(4)

(5)

最優(yōu)控制量u(k)的產(chǎn)生依靠Elman神經(jīng)網(wǎng)絡自身權(quán)值參數(shù)的不斷學習產(chǎn)生，最常見的基于梯度的學習算法(如BP算法)需要求取性能指標函數(shù)對權(quán)值向量(網(wǎng)絡中所有權(quán)值參數(shù))的偏導。由于被控對象的數(shù)學模型未知，其中y(k+1)對u(k)的偏導數(shù)是未知的，所以基于梯度的學習算法需要預先估計其梯度值，而且梯度算法需要分別求解目標函數(shù)對各層權(quán)值的偏導，無法整體統(tǒng)一更新學習，計算略微復雜。針對這一問題，我們引入了粒子群優(yōu)化算法(particle swarm optimization)來實現(xiàn)權(quán)值尋優(yōu)。

2粒子群優(yōu)化算法

PSO算法是由Kenny和Eberhart于1995年提出的一種群智能優(yōu)化算法[11]。它的思想起源于鳥群覓食行為，通過集體協(xié)作使群體達到最優(yōu)，具有高效的全局搜索能力和魯棒性。這是一種隨機、并行的優(yōu)化算法，不要求目標函數(shù)具有可微、可導、連續(xù)等性質(zhì)，也不需要去求解目標函數(shù)的導數(shù)，所有待優(yōu)化參數(shù)可以整體統(tǒng)一更新學習，恰恰解決了梯度學習算法所存在的問題。

2.1算法介紹

粒子群優(yōu)化算法因其算法自身的優(yōu)越性在許多領(lǐng)域具有廣泛的用途，如函數(shù)優(yōu)化、神經(jīng)網(wǎng)絡訓練、多目標優(yōu)化等[12-14]。

在粒子群優(yōu)化算法中，被優(yōu)化問題的解可以想象成搜索空間中的一個“粒子”，也就是說每個粒子的位置就是一個潛在的解。每個粒子都有一個適應度值，由相應的被優(yōu)化函數(shù)決定，還有一個決定其方向和距離的速度向量。在迭代尋找最優(yōu)解的過程中，通過適應度函數(shù)估計每個粒子的適應度值，從而獲得兩個極值，一個是整個種群目前找到的最優(yōu)解，即全局極值;另一個是各個粒子目前找到的最優(yōu)解，即個體極值[15]。

假設(shè)搜索空間為D維，一個由若干粒子組成的群體在搜索空間中飛行，粒子i的位置表示為：xi=(xi1,xi2,…,xiD)；粒子i的速度表示為：vi=(vi1,vi2,…,viD)；粒子i個體歷史最優(yōu)位置表示為：pi=(pi1,pi2,…,piD)；群體內(nèi)所有粒子經(jīng)歷的最優(yōu)位置表示為：pg=(pg1,pg2,…,pgD)。

粒子速度和位置的更新方程為

(7)

式中:i=1,2,…,m；d=1,2,…,D；n為迭代次數(shù)；m為群體中粒子數(shù)；r1,r2為[0,1]的隨機數(shù)，用來保持群體的多樣性；c1,c2為學習因子，取正常數(shù)，使粒子能夠不斷自我學習以及向群體中優(yōu)秀個體學習；ωn是調(diào)整權(quán)值變化的函數(shù)，依照慣性權(quán)重法按式(8)調(diào)整：

(8)

式中：ωmax是迭代開始的最大權(quán)重，ωmin是達到最大迭代次數(shù)時的最小權(quán)重，采用慣性權(quán)重是為了保證進化初期的快速性和后期的精細性。

2.2粒子群算法流程

1)在搜索空間中隨機生成粒子種群，初始化粒子的位置和速度；

2)在第n次迭代中，根據(jù)適應度函數(shù)計算每個粒子的適應度，這里以式(2)作為其適應度函數(shù)，其中λ=0.5，找出本次迭代中的個體最優(yōu)位置和群體最優(yōu)位置；

3)根據(jù)位置速度更新式(6)～(8)更新每個粒子的速度和位置；

4)判斷是否達到終止條件，即迭代次數(shù)是否達到最大迭代次數(shù)，如果是則結(jié)束迭代;否則n=n+1，轉(zhuǎn)步驟2。

2.3控制算法流程

1)在k時刻，根據(jù)給定參考量r(k+1)和輸出量y(k)，計算當前時刻輸出信號與下一時刻參考輸入信號的偏差e(k+1)=r(k+1)-y(k)；

2)以e(k+1)作為Elman網(wǎng)絡輸入，基于上一時刻保存的最優(yōu)權(quán)值參數(shù)下，判斷所得的控制量u(k)是否達到目標要求，如果是則轉(zhuǎn)4)，否則就轉(zhuǎn)3)；

3)以e(k+1)作為Elman網(wǎng)絡輸入，利用PSO優(yōu)化算法得到最優(yōu)權(quán)值參數(shù)向量，從而得到k時刻的控制量u(k);

4)將所得最優(yōu)控制量u(k)施加到被控對象，得到輸出y(k+1);

5)令k=k+1，轉(zhuǎn)1)。

3仿真研究

為了驗證基于粒子群算法的Elman無模型控制方法的有效性，本文選取了2個典型離散非線性系統(tǒng)，對它們的控制性能進行了仿真實驗，離散非線性系統(tǒng)分別來自文獻[16]和[17]。

本文中Elman 網(wǎng)絡輸入層就一個神經(jīng)元，為偏差信號e(k+1)，隱含層與保留層神經(jīng)元取為4，輸出層神經(jīng)元為1，輸出控制量u(k)；網(wǎng)絡所有權(quán)值數(shù)量(即粒子向量維數(shù))為24(4+4×4+4=24)。初始輸入輸出：y(3)=0，y(2)=0，y(1)=0，u(2)=0，u(1)=0。

3.1仿真模型1

離散非線性對象如下：

參考控制信號如下：

參考輸出信號yr(k)即參考控制輸入下所產(chǎn)生的輸出值。

控制器參數(shù)設(shè)置如下：粒子數(shù)量取為5，最大迭代次數(shù)取為50，微粒初始位置、微粒初始速度隨機給定，范圍為[-1,1]，為了防止搜索時步長過大，速度前面乘以系數(shù)0.1，kc=2，c1=c2=2。

仿真結(jié)果如圖3～5所示。

圖3　模型1中的輸出跟蹤信號曲線Fig.3　Tracking performance curve in model 1

圖4　模型1中的跟蹤誤差信號曲線Fig.4　Tracking error curve in model 1

圖5　模型1中的控制輸入信號曲線Fig.5　Control input curve in model 1

本文為了體現(xiàn)Elman神經(jīng)網(wǎng)絡+PSO控制器算法優(yōu)越的控制性能，以模型1為例，與BP神經(jīng)網(wǎng)絡+BP算法的傳統(tǒng)組合模式進行了比較，網(wǎng)絡輸入神經(jīng)元個數(shù)為5，隱含層神經(jīng)元個數(shù)為4，網(wǎng)絡權(quán)值個數(shù)24(5×4+4=24), 其他參數(shù)調(diào)節(jié)至最優(yōu)。其仿真結(jié)果如圖6、7所示。

圖6　BP神經(jīng)網(wǎng)絡+BP算法無模型控制方法的輸出跟蹤信號曲線Fig.6　Tracking performance curve of MFC method with BPNN +BP algorithm

圖7　BP神經(jīng)網(wǎng)絡+BP算法無模型控制方法的控制輸入信號曲線Fig.7　Control input curve of MFC method with BPNN+BP algorithm

3.2仿真模型2

離散非線性對象如下：

參考控制信號如下：

參考輸出信號采用在參考控制輸入下所產(chǎn)生的輸出值?？刂破鲄?shù)設(shè)置同模型1，仿真結(jié)果如圖8～10所示。

圖8　模型2中的輸出跟蹤信號曲線Fig.8　Tracking performance curve in model 2

圖9　模型2中的跟蹤誤差信號曲線Fig.9　Tracking error curve in model 2

圖10　模型2中的控制輸入信號曲線Fig.10　Control input curve of model 2

從以上2個非線性系統(tǒng)模型的仿真結(jié)果來看，當參考信號為方波或正弦函數(shù)時，通過粒子群算法學習得到Elman無模型控制器的最優(yōu)網(wǎng)絡權(quán)值，最后得到的控制量與期望的控制量信號誤差較小，并且能很好地實現(xiàn)對模型輸出參考信號的實時跟蹤，把輸出誤差控制在合理范圍內(nèi)，具有良好的收斂性。與基于BP網(wǎng)絡+BP算法的無模型控制方法相比，擁有較快的響應速度和較好的控制精度。由此證明了基于Elman網(wǎng)絡與粒子群算法的無模型控制方法是有效與合理的。

4結(jié)束語

本文針對一類單輸入單輸出離散非線性系統(tǒng)，提出基于Elman網(wǎng)絡結(jié)構(gòu)的無模型控制方法，利用粒子群優(yōu)化算法對控制器的參數(shù)進行優(yōu)化學習，通過兩個仿真模型的跟蹤控制，結(jié)果證明了該方法的有效性。該方法的優(yōu)點在于：1) 控制器的設(shè)計不依賴于被控對象的具體數(shù)學模型，依賴的僅僅是系統(tǒng)的輸入輸出數(shù)據(jù)；2)控制器網(wǎng)絡結(jié)構(gòu)中的參數(shù)向量使粒子群算法進行優(yōu)化，避免了梯度算法中需要求解偏導數(shù)的問題，所有參數(shù)統(tǒng)一更新學習，簡單便捷。

參考文獻:

[1]侯忠生, 韓志剛. 非線性系統(tǒng)魯棒無模型學習自適應控制[J]. 控制與決策, 1995, 10(2): 137-142.

HOU Zhongsheng, HAN Zhigang. Robust modelless learning adaptive control of nonlinear systems[J]. Control and decision, 1995, 10(2): 137-142.

[2]李秀英, 李桂英, 毛琳, 等. 采用改進粒子群算法的非線性大時滯系統(tǒng)無模型控制[J]. 智能系統(tǒng)學報, 2013, 8(3): 254-260.

LI Xiuying, LI Guiying, MAO Lin, et al. Model-free control method for a nonlinear system with large time-delay based on IPSO[J]. CAAI transactions on intelligent systems, 2013, 8(3): 254-260.

[3]LEE K Y, KO H S, KIM H C, et al. A free model based intelligent controller design and its application to power system stabilization[C]//Proceedings of the IEEE Power Engineering Society Summer Meeting. Seattle, WA, USA, 2000, 4: 1985-1989.

[4]SPALL J C, CRISTION J A. Model-free control of nonlinear stochastic systems in discrete time[C]//Proceedings of the 34th IEEE International Conference on Decision and Control. New Orleans, LA, USA, 1995, 3: 2199-2204.

[5]CHENG G S. Model-free adaptive (MFA) control[J]. Computing & Control Engineering, 2004, 15(3): 28-33.

[6]劉德榮, 李宏亮, 王鼎. 基于數(shù)據(jù)的自學習優(yōu)化控制: 研究進展與展望[J]. 自動化學報, 2013, 39(11): 1858-1870.

LIU Derong, LI Hongliang, WANG Ding. Data-based self-learning optimal control: research progress and prospects[J]. Acta automatica sinica, 2013, 39(11): 1858-1870.

[7]ZHANG L, WANG N. Double neuron model-free control for pH processes[C]//Proceedings of 2010 Chinese Control and Decision Conference. Xuzhou, China, 2010: 2867-2871.

[8]ELMAN J L. Finding structure in time[J]. Cognitive science, 1990, 14(2): 179-211.

[9]LI Xiang, CHEN Zengqiang, YUAN Zhuzhi. Nonlinear stable adaptive control based upon Elman networks[J]. Applied mathematics: a Journal of Chinese universities, 2000, 15(3): 332-340.

[10]王儉臣, 齊曉慧, 單甘霖. 基于EPSO-BP的Elman網(wǎng)絡及其在飛行軌跡預測中的應用[J]. 控制與決策, 2013, 28(12): 1884-1888.

WANG Jianchen, QI Xiaohui, SHAN Ganlin. Elman network based on EPSO-BP and its application in flight trajectory prediction[J]. Control and decision, 2013, 28(12): 1884-1888.

[11]KENNEDY J, EBERHART R. Particle swarm optimization[C]//Proceedings of the IEEE International Conference on Neural Networks. Perth, WA, USA, 1995, 4: 1942-1948.

[12]趙勇, 岳繼光, 李炳宇, 等. 一種新的求解復雜函數(shù)優(yōu)化問題的并行粒子群算法[J]. 計算機工程與應用, 2005, 41(16): 58-60, 64.

ZHAO Yong, YUE Jiguang, LI Bingyu, et al. A parallel particle swarm optimization algorithm based on multigroup for solving complex functions optimization[J]. Computer engineering and applications, 2005, 41(16): 58-60, 64.

[13]岑翼剛, 秦元慶, 孫德寶, 等. 粒子群算法在小波神經(jīng)網(wǎng)絡中的應用[J]. 系統(tǒng)仿真學報, 2004, 16(12): 2783-2785, 2788.

CEN Yigang, QIN Yuanqing, SUN Debao, et al. Application of PSO algorithm in wavelet neural network[J]. Acta simulata systematica sinica, 2004, 16(12): 2783-2785, 2788.

[14]李寧, 鄒彤, 孫德寶, 等. 基于粒子群的多目標優(yōu)化算法[J]. 計算機工程與應用, 2005, 41(23): 43-46.

LI Ning, ZOU Tong, SUN Debao, et al. Multi-objective optimization utilizing particle swarm[J]. Computer engineering and applications, 2005, 41(23): 43-46.

[15]孫勝永, 胡雙演, 李釗, 等. 基于粒子群優(yōu)化算法的BP神經(jīng)網(wǎng)絡圖像復原[J]. 無線電工程, 2014, 44(10): 5-7.

SUN Shengyong, HU Shuangyan, LI Zhao, et al. BP Neural Network for image restoration based on Particle Swarm Optimization[J]. Radio engineering, 2014, 44(10): 5-7.

[16]金尚泰, 侯忠生, 池榮虎, 等. 侯離散時間非線性系統(tǒng)的數(shù)據(jù)驅(qū)動無模型自適應迭代學習控制[J]. 控制理論與應用, 2012, 29(8): 1001-1009.

JIN Shangtai, HOU Zhongsheng, CHI Ronghu, et al. Data-driven model-free adaptive iterative learning control for a class of discrete-time nonlinear systems[J]. Control theory & applications, 2012, 29(8): 1001-1009.

[17]NARENDRA K S, MUKHOPADHYAY S. Adaptive control using neural networks and approximate models[J]. IEEE transactions on neural networks, 1997, 8(3): 475-485.

Elman model-free control method based on particle swarm optimization algorithm

ZHANG Junling1, CHEN Zengqiang1,2, ZHANG Qing2

(1. College of Computer and Control Engineering, Nankai University, Tianjin 300071, China; 2. College of Science, Civil Aviation University of China, Tianjin 300300, China)

Abstract：In this paper, we propose amodel-free control method, based on the Elman neural network and the particle swarm optimization algorithm, for a class of single-input single-output (SISO) discrete nonlinear systems, whose mathematical model cannot be established or is not easily modeled. In the model-free control system, it is not necessary to establish a mathematical model for each object. The Elman neural network is the controller and all the online weight parameters are learned using the particle swarm optimization algorithm.Using the proposed method, we obtain the optimal control variable at each discrete time.Them odel-free control method simulation results demonstrate that the nonlinear system output signal has a fast response rate and few tracking errors. Moreover, the control variable has good convergence and high control accuracy. These results prove that the proposed method is reasonable and effective.

Keywords：nonlinear system; discrete nonlinear system; model-free control; controller; Elman neural network; particle swarm optimization algorithm

DOI:10.11992/tis.201507025

收稿日期：2015-07-20. 網(wǎng)絡出版日期：2015-12-29.

基金項目：國家自然科學基金資助項目(61174094)；天津市自然科學基金資助項目(14JCYBJC18700).

通信作者：陳增強. E-mail: chenzq@nankai.edu.cn.

中圖分類號：TP18; TP301.6

文獻標志碼：A

文章編號：1673-4785(2016)01-0049-06

作者簡介：

張俊玲，女，1990年生，碩士研究生，主要研究方向為無模型控制、智能優(yōu)化算法。

陳增強，男，1964年生，教授，博士生導師，主要研究方向為智能控制、智能信息處理，曾獲天津市自然科學二等獎，發(fā)表學術(shù)論文100余篇。

張青，女，1965年生，教授，主要研究方向為復雜系統(tǒng)建模與控制、多智能體系統(tǒng)，發(fā)表學術(shù)論文30余篇。

網(wǎng)絡出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20151229.0837.004.html