基于Hopfield神經(jīng)網(wǎng)絡(luò)和PSO的線性系統(tǒng)辨識方法

摘要：研究了一種基于連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)和粒子群優(yōu)化（PSO）的線性系統(tǒng)辨識方法。首先建立了系統(tǒng)的預(yù)測模型以及辨識誤差函數(shù)，然后將誤差函數(shù)近似為連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)的能量函數(shù)。利用神經(jīng)網(wǎng)絡(luò)的自我演化，得到近似的辨識參數(shù)。通過引入PSO機制，緩解了Hopfield神經(jīng)網(wǎng)絡(luò)在辨識過程可能陷入局部極小值的缺陷，增強了辨識的效果。最后，仿真研究驗證了所提方法的有效性。

關(guān)鍵詞：Hopfield神經(jīng)網(wǎng)絡(luò)；系統(tǒng)辨識；粒子群優(yōu)化算法

一、 前言

在現(xiàn)代復(fù)雜控制系統(tǒng)中，系統(tǒng)通常具有規(guī)模大、階次高和數(shù)學(xué)模型未知等特點，給控制器的設(shè)計帶來了挑戰(zhàn)。系統(tǒng)辨識是一種基于數(shù)據(jù)驅(qū)動的方法，只需利用系統(tǒng)的輸入輸出數(shù)據(jù)便可以得到系統(tǒng)的近似模型，是一種重要的系統(tǒng)分析方法[1]。文獻[2]針對離散型線性系統(tǒng)，提出了基于粒子群優(yōu)化（Particle Swarm Optimization， PSO） 的參數(shù)精確辨識方法，相比傳統(tǒng)的最小二乘遺傳遞推算法，具有更高的辨識精確度。文獻[3]提出了一種基于人工蜂群算法的線性系統(tǒng)辨識方法，算法具有實現(xiàn)簡單、尋優(yōu)能力較強和辨識精度較高等特點。

近年來，得益于人工智能的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)引起了學(xué)者們的關(guān)注。其中，反向傳播（Back Propagation， BP）神經(jīng)網(wǎng)絡(luò)的應(yīng)用最為廣泛。文獻[4]利用BP神經(jīng)網(wǎng)絡(luò)對壓電泵系統(tǒng)進行參數(shù)辨識，實驗表明了基于BP神經(jīng)網(wǎng)絡(luò)的方法具有良好的辨識能力，泛化能力高的優(yōu)點。然而，BP神經(jīng)網(wǎng)絡(luò)是全局逼近網(wǎng)絡(luò)，結(jié)構(gòu)相對復(fù)雜，具有訓(xùn)練效率不高，訓(xùn)練容易陷入局部極小值，學(xué)習(xí)速度難以滿足實時性要求等缺點。文獻[5]針對BP網(wǎng)絡(luò)的上述缺點，提出了基于降低網(wǎng)絡(luò)靈敏度的改進方法，動態(tài)地將全局傳播轉(zhuǎn)換為局部傳播，提高了學(xué)習(xí)速率。此外還結(jié)合了小波變換方法，繼承了小波變換和神經(jīng)網(wǎng)絡(luò)兩者的優(yōu)點，提高了識別精度。

為了探究更優(yōu)的神經(jīng)架構(gòu)，一些新的神經(jīng)網(wǎng)絡(luò)也被提出。Hopfield神經(jīng)網(wǎng)絡(luò)是一種單層反饋型非線性神經(jīng)網(wǎng)絡(luò)，它是由美國物理學(xué)家Hopfield于1982年首先提出的[6]。不同于多層前饋神經(jīng)網(wǎng)絡(luò)，Hopfield神經(jīng)網(wǎng)絡(luò)由一組互相連接的神經(jīng)元組成，每個神經(jīng)元的輸出都通過連接權(quán)重傳遞給其他神經(jīng)元作為輸入，由此組成了一個動態(tài)反饋系統(tǒng)。應(yīng)用連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)求解優(yōu)化問題，需要把待優(yōu)化的目標(biāo)函數(shù)轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)的能量函數(shù)，進而把待優(yōu)化的變量作為神經(jīng)元的輸出，即Hopfield神經(jīng)網(wǎng)絡(luò)的狀態(tài)。用Hopfield神經(jīng)網(wǎng)絡(luò)完成動態(tài)系統(tǒng)參數(shù)的辨識是利用其自身的動力學(xué)機制，使網(wǎng)絡(luò)的狀態(tài)即神經(jīng)元的輸出對應(yīng)待辨識的系統(tǒng)參數(shù)，那么神經(jīng)網(wǎng)絡(luò)趨于穩(wěn)定的過程，就是完成參數(shù)辨識的過程。

PSO算法是一種群體智能優(yōu)化算法，是一種結(jié)構(gòu)簡單、參數(shù)少且高效的方法，是解決復(fù)雜函數(shù)優(yōu)化問題的強有力工具[7]。為了緩解Hopfield神經(jīng)網(wǎng)絡(luò)可能陷入局部極小值的缺陷，本文提出了一種基于粒子群優(yōu)化和連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)（PSOCHNN）方法，用于解決線性系統(tǒng)的參數(shù)辨識問題。

二、 基于PSOCHNN的線性系統(tǒng)參數(shù)辨識

（一）連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)

對于連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)（CHNN），采用微分方程建立其輸入輸出關(guān)系，可得

其中是CHNN的內(nèi)部動態(tài)變量，是神經(jīng)元反饋連接的權(quán)重矩陣，通常為實對稱矩陣的形式，是神經(jīng)元的輸入偏置量。是激活函數(shù)，通常取為雙曲正切函數(shù)，即，其具體的形式如下：

其中是超參數(shù)，需依照專家經(jīng)驗提前指定。

為了描述CHNN的動態(tài)穩(wěn)定性，需要定義能量函數(shù)

當(dāng)CHNN的演化過程穩(wěn)定時，CHNN的狀態(tài)總是朝著能量函數(shù)減小的方向轉(zhuǎn)移。由系統(tǒng)動力學(xué)性質(zhì)可知，只要證明神經(jīng)網(wǎng)絡(luò)的能量函數(shù)隨著時間單調(diào)遞減就可以證明CHNN的系統(tǒng)狀態(tài)是趨于穩(wěn)定的，也就可以得到一個穩(wěn)定的系統(tǒng)狀態(tài)和輸出。CHNN自身的演化過程需要一定的時間，當(dāng)動態(tài)系統(tǒng)的參數(shù)變化劇烈時，Hopfield神經(jīng)網(wǎng)絡(luò)的變化幅度和頻率可能很大，此時能量函數(shù)可能不會收斂。文獻[8]討論了Hopfield神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，并給出了全局穩(wěn)定性和全局指數(shù)穩(wěn)定的充分條件。

值得注意的是， CHNN在學(xué)習(xí)的過程不需要調(diào)整自身的權(quán)重和偏置量，而前饋型神經(jīng)網(wǎng)絡(luò)一般是通過誤差反向傳播對參數(shù)進行更新。

（二）系統(tǒng)描述以及預(yù)測模型的建立

考慮一類線性系統(tǒng)，其狀態(tài)方程如下：

至此，完成了系統(tǒng)參數(shù)辨識到CHNN模型之間的映射。當(dāng)CHNN的能量函數(shù)的導(dǎo)數(shù)小于零時，能量函數(shù)是單調(diào)遞減的，即辨識得到的參數(shù)估計與真實系統(tǒng)的誤差也是單調(diào)遞減的，因此最終得到的輸出就是參數(shù)辨識的結(jié)果。

然而該方法需要忽略中的項，這會給辨識帶來一定的剩余誤差。此外，CHNN的演化仍然是局部優(yōu)化的過程，因此不可避免地會陷入局部最優(yōu)?；谝陨系脑?，本文將粒子群優(yōu)化算法和CHNN有機結(jié)合以緩解上述缺陷。

（三） PSO算法

PSO算法中包含大量粒子的隨機向量，并且是在全局解空間里進行優(yōu)化。利用PSO算法時，需要構(gòu)造一個包含K個粒子的種群。每個粒子表示為一個二元組，其中為粒子的位置向量。為每個粒子的速度向量。粒子根據(jù)自身的位置以及速度進行演化，每個粒子的演化不僅利用了自身的歷史信息，而且也考慮了整個種群的共享信息。粒子速度向量的更新由個體最佳位置和全局最佳位置決定。粒子通過如下公式迭代地更新位置和速度

其中是迭代索引，最大迭代次數(shù)。

粒子位置的好壞通過適應(yīng)度函數(shù)衡量，適應(yīng)度函數(shù)應(yīng)該選取單調(diào)且同符號的函數(shù)，例如平方損失函數(shù)。為了盡量讓辨識的估計值接近于實際值，選取辨識誤差函數(shù)作為適應(yīng)度函數(shù)。當(dāng)粒子的位置和速度得到更新后，相應(yīng)的個體最佳位置和全局最佳位置也需要進行更新。

值得注意的是，PSO的動態(tài)特性和最終搜索效果取決于參數(shù)的選取。例如，如果粒子速度太快，錯過更好位置的概率將增大，因此難以搜尋到更好的位置。反之，如果粒子的速度太慢，種群的搜索空間可能十分受限，算法不能得到充分的探索，因此也容易陷入局部最優(yōu)當(dāng)中。

（四）基于PSOCHNN的系統(tǒng)辨識方法

本文在CHNN模型的基礎(chǔ)上，引入了PSO算法，用于提高系統(tǒng)辨識優(yōu)化算法的全局搜索能力，避免CHNN網(wǎng)絡(luò)陷入局部極小值。所提的基于PSOCHNN的系統(tǒng)辨識方法流程歸納如下：

1. 初始化：選取CHNN的超參數(shù)和，選取粒子數(shù)，慣性因子，以及學(xué)習(xí)因子，，設(shè)定算法的精度，迭代索引。

2. CHNN搜索過程：根據(jù)（1），（10）和（11）搜索出一個可行解。

3. PSO搜索過程：根據(jù)更新每一個粒子的位置和速度向量，并通過更新慣性因子。

4. 若，停止，獲得預(yù)測模型的近似最優(yōu)參數(shù)；否則，令，回到2。

三、實驗與分析

本節(jié)通過仿真實驗來驗證所提方法的有效性。數(shù)值仿真基于MATLAB和Simulink平臺進行設(shè)計和實驗。

考慮如所示的一類二階線性定常系統(tǒng)，其中

選取正弦持續(xù)激勵信號作為控制輸入，系統(tǒng)的初始狀態(tài)為，剩余的參數(shù)設(shè)置如表1所示。為了盡可能利用PSO的特性，在PSO優(yōu)化的初始時刻，希望粒子種群具有更強的全局搜尋能力，因此設(shè)定相對較大的慣性因子。隨后，慣性因子通過式進行遞減，使得算法具有更強的局部搜索能力，以此獲得更精確的解。在本例中，和依照經(jīng)驗值進行選取。為了進一步驗證PSO算法對于尋找更優(yōu)參數(shù)的效果，分別針對不同參數(shù)的系統(tǒng)，采用了普通CHNN優(yōu)化算法以及所提的PSOCHNN方法進行對比實驗，兩種方法的所有參數(shù)設(shè)置均與表1相同。實驗結(jié)果如表2所示，可以看出，所提的PSOCHNN方法在一定程度上緩解了CHNN容易陷入局部極小值的缺陷。值得注意的是，超參數(shù)和分別影響激活函數(shù)的幅值和斜率，為了滿足CHNN的穩(wěn)定性要求[8]，要大于待辨識的最大參數(shù)的絕對值，同時的取值不能太小，否則會導(dǎo)致某些時刻能量函數(shù)對時間的導(dǎo)數(shù)大于0，使得最終的結(jié)果不收斂。

根據(jù)上述的結(jié)果及分析，所提基于PSOCHNN的辨識方法有效。未來可以將此方法運用到更為復(fù)雜的仿射型或非仿射型非線性系統(tǒng)。

四、結(jié)語

隨著人工智能和計算機技術(shù)的快速發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的系統(tǒng)辨識方法得到了廣泛的研究。其中，由于Hopfield神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)的過程不需要調(diào)整自身的權(quán)重和偏置量，因此采用Hopfield神經(jīng)網(wǎng)絡(luò)進行系統(tǒng)辨識是一種結(jié)構(gòu)簡單且效率高的方法。然而，Hopfield神經(jīng)網(wǎng)絡(luò)的動態(tài)演化過程可能陷入局部極小值。論文提出了一種基于連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)和粒子群優(yōu)化方法（PSOCHNN） 的系統(tǒng)辨識方法。通過給出了線性系統(tǒng)參數(shù)辨識的仿真例子，驗證了算法的可行性。從結(jié)果可以看出，所提的PSOCHNN能更好地完成參數(shù)的辨識。未來可以引入更加高效的群體智能算法，并且把該方法運用到非線性系統(tǒng)的參數(shù)辨識和最優(yōu)控制中。

參考文獻

[1] 李昱， 袁磊. 線性系統(tǒng)的系統(tǒng)辨識綜述[J]. 探測與控制學(xué)報，2021，43（3）：22-29.

[2] 李珍， 魏利勝， 程運昌. 基于PSO 的一類線性系統(tǒng)參數(shù)辨識方法研究[J]. 重慶工商大學(xué)學(xué)報（ 自然科學(xué)版），2016，33（2）：8-13.

[3] 林振敏. 基于人工蜂群算法的線性系統(tǒng)辨識[J]. 儀器儀表用戶，2020，27（9）：95-98.

[4] 程光明， 朱志偉， 孟凡玉， 等. 基于BP 神經(jīng)網(wǎng)絡(luò)壓電泵輸入輸出系統(tǒng)的辨識[J]. 機床與液壓，2010，38（7）：95-98.

[5] 陳君， 郭玉兵， 曹惠芳， 等. 基于改進的 BP 神經(jīng)網(wǎng)絡(luò)算法的控制系統(tǒng)在線辨識方法[J]. 科技導(dǎo)報，2012，30（6）：62-65.

[6]HOPFIELD J. Neural networks and physical systems with emergent collective computational abilities [J]. Proceedings of National Academy of Science， 1982， 79： 2554-2558.

[7] 張?zhí)旒眩?楊永勝. 基于并行結(jié)構(gòu)的多種群粒子群優(yōu)化算法[J]. 傳感器與微系統(tǒng)，2020，39（9）：119-121.

[8]LIU X， CHEN T. A new result on the global convergence of Hopfield neural networks [J]. IEEE Transactions on Circuits and Systems I： Fundamental Theory and Applications， 2002，49（10）：1514-1516.

（作者單位：廣東工業(yè)大學(xué)自動化學(xué)院）