模糊神經(jīng)網(wǎng)絡(luò)的優(yōu)化及其應(yīng)用

李浩楠　劉勇

摘 要：為了提高模糊神經(jīng)網(wǎng)絡(luò)的泛化能力和收斂速度，以及減小誤差，提出了采用動(dòng)量梯度下降算法和RMSprop優(yōu)化算法模糊神經(jīng)網(wǎng)絡(luò)的方法，研究并設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的參數(shù)調(diào)整的自適應(yīng)過程，在代價(jià)函數(shù)中加入正則項(xiàng)，實(shí)現(xiàn)參數(shù)的更新，同時(shí)保證模糊神經(jīng)網(wǎng)絡(luò)的收斂速度，對(duì)預(yù)測(cè)輸出和實(shí)際輸出的擬合效果和誤差進(jìn)行比較。將二種優(yōu)化模糊神經(jīng)網(wǎng)絡(luò)的算法應(yīng)用于非線性函數(shù)逼近、Mackey-Glass混沌時(shí)間序列和水質(zhì)等級(jí)評(píng)價(jià)的輸出預(yù)測(cè)中，實(shí)驗(yàn)結(jié)果表明，RMSprop的預(yù)測(cè)輸出和實(shí)際輸出的誤差和擬合效果優(yōu)于動(dòng)量梯度下降算法。

關(guān)鍵詞：梯度下降;模糊神經(jīng)網(wǎng)絡(luò);正則化;優(yōu)化算法

DOI：10.15938/j.jhust.2020.06.021

中圖分類號(hào)： TP273

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1007-2683（2020）06-0142-08

Optimization and Application of Fuzzy Neural Network

LI Hao-nan， LIU Yong

（College of Electronic Engineering， Heilongjiang University， Harbin 150080）

Abstract：In order to improve the generalization ability， convergence speed and reduce the error of the fuzzy neural network， the method of using momentum gradient descent algorithm and RMSprop optimization algorithm to optimize the fuzzy neural network is proposed. The adaptive process of parameter adjustment of the neural network is studied and designed. Regular terms are added to the cost function to update the parameters， and the convergence speed of the fuzzy neural network is guaranteed. The fitting effect and error between the predicted output and the actual output are compared. The two optimization algorithms of fuzzy neural network are applied to output prediction of non-linear function approximation， Mackey-Glass chaotic time series and water quality grade evaluation. The experimental results show that the error and fitting effect of RMSprop′s predicted output and actual output are better than that of momentum gradient descent algorithm.

Keywords：gradient descent;fuzzy neural network;regularization;optimization algorithm

0 引 言

模糊神經(jīng)網(wǎng)絡(luò)將模糊邏輯系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)相結(jié)合，兼有良好的知識(shí)表達(dá)能力和強(qiáng)大的自學(xué)習(xí)能力，是神經(jīng)網(wǎng)絡(luò)與模糊系統(tǒng)領(lǐng)域重要分支之一[1-2]。將其用于控制領(lǐng)域，如工業(yè)控制系統(tǒng)，機(jī)器人控制系統(tǒng)、農(nóng)業(yè)控制領(lǐng)域等。喬俊飛等[3]提出了

一種自適應(yīng)聚類方法建立起網(wǎng)絡(luò)的結(jié)構(gòu)，賦予各參數(shù)的初值，用于水質(zhì)的檢測(cè)，得到了理想的效果。朱巖[4]分析了自控溫室系統(tǒng)中的氣候控制問題，并對(duì)溫室環(huán)境控制系統(tǒng)進(jìn)行了總體設(shè)計(jì)。郝琪[5]將神經(jīng)網(wǎng)絡(luò)和模糊補(bǔ)償解耦控制配合使用，實(shí)現(xiàn)了溫室的智能控制。帥知春等[6]將模糊神經(jīng)網(wǎng)絡(luò)用于溫室熱氧化碳的控制，克服了現(xiàn)有控制方法需要大量的數(shù)據(jù)傳輸、準(zhǔn)確的數(shù)學(xué)模型等缺陷。夏江南等[7]將粒子群優(yōu)化算法引入模糊神經(jīng)網(wǎng)絡(luò)中，提高了訓(xùn)練的效率。

上述研究均表明模糊神經(jīng)網(wǎng)絡(luò)能夠結(jié)合多種特征用于控制領(lǐng)域，能夠改善傳統(tǒng)控制效率低、耗能大、周期長的問題。模糊神經(jīng)網(wǎng)絡(luò)利用神經(jīng)網(wǎng)絡(luò)對(duì)模糊規(guī)則進(jìn)行訓(xùn)練，并將訓(xùn)練得到的模型表示為易于理解的模糊規(guī)則。而現(xiàn)有的研究表明，模糊神經(jīng)網(wǎng)絡(luò)對(duì)控制量的模糊化過程，會(huì)造成一定的誤差，并包含了大量的模糊規(guī)則，降低了模型的可解釋性。

針對(duì)存在的不足，本文一方面對(duì)損失函數(shù)進(jìn)行了改進(jìn)，同時(shí)引入正則化項(xiàng);另一方面，采取不同的優(yōu)化算法對(duì)模糊神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化，實(shí)現(xiàn)了模糊神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)的自適應(yīng)調(diào)整，從而減小誤差，提高模型的可解釋性。動(dòng)量梯度下降法和RMSprop算法是深度學(xué)習(xí)應(yīng)用非常廣泛的優(yōu)化算法，尤其是在計(jì)算機(jī)視覺和文本處理方面，取得了不錯(cuò)的效果，但是在模糊神經(jīng)網(wǎng)絡(luò)方面其應(yīng)用較少，多數(shù)情況下，使用的標(biāo)準(zhǔn)梯度下降方法[8-9]。本文將動(dòng)量（Momentum）梯度下降算法和RMSprop算法引入模糊神經(jīng)網(wǎng)絡(luò)，對(duì)其優(yōu)化結(jié)果進(jìn)行對(duì)比，并利用其分別對(duì)非線性函數(shù)逼近、Mackey-Glass混沌時(shí)間序列和水質(zhì)等級(jí)評(píng)價(jià)經(jīng)典例子進(jìn)行了參數(shù)建模，證明了2種優(yōu)化算法的有效性和對(duì)比性。

1 模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及算法

模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，分為5層，包括輸入層、模糊化層、規(guī)則層、歸一層和輸出層。

輸入層：輸入向量為x=[x1，x2，…，xn]，各個(gè)分量xi分別與網(wǎng)絡(luò)的該層節(jié)點(diǎn)直接相連，Net1i是輸入層的輸出;

Net1i=u1i=xi，i=1，2，…，n（1）

模糊化層：將輸入向量模糊化，其中每個(gè)節(jié)點(diǎn)代表一個(gè)隸屬度函數(shù)，此處隸屬度函數(shù)通常取為高斯函數(shù)，

Net2ij=uij=exp[（uij-cij）2bij2]（2）

式中，i=1，…，n，j=1，…，mi ，n是輸入向量的個(gè)數(shù)，mi是模糊規(guī)則數(shù);cij，bij分別是高斯函數(shù)的中心和寬度;Net2ij是模糊化層的輸出。

規(guī)則層：對(duì)模糊規(guī)則的If條件語句進(jìn)行描述，模糊神經(jīng)網(wǎng)絡(luò)的輸出為每條語句的適應(yīng)度值，Net3h是規(guī)則層的輸出，即：

Neth3=u1i1·u2i2…unin（3）

式中：ij=1，2，…，mj，h=1，2，…，m，m=∏nj=1mj

歸一化：對(duì)規(guī)則層的輸出進(jìn)行歸一化，該層的節(jié)點(diǎn)數(shù)等于規(guī)則層的節(jié)點(diǎn)數(shù)，其歸一化公式為，Net4h是歸一化層的輸出：

Neth4=Neth3∑mh=1Neth3（4）

輸出層：采用重心法實(shí)現(xiàn)清晰化和去模糊化處理，所以網(wǎng)絡(luò)的輸出是

yk=Netk5=∑mh=1wkhNeth4=∑mh=1wkhNeth3∑mh=1Neth3（5）

式中：k=1，…，r，r是輸出層的節(jié)點(diǎn)數(shù);yk是輸出層的結(jié)果。

在反向傳播的過程中，傳統(tǒng)經(jīng)驗(yàn)函數(shù)為

e=12（Yk-yk）2（6）

其中Yk為模糊神經(jīng)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)實(shí)例的預(yù)測(cè)值，而yk是實(shí)際值。在隸屬度函數(shù)求解合并中，相似的隸屬度函數(shù)要合并到同一集合。通過加入正則項(xiàng)Ω，即可以實(shí)現(xiàn)隸屬度函數(shù)和其所在集合盡可能相似，而且使隸屬度函數(shù)集合數(shù)量盡可能少，最后訓(xùn)練得到的模型中的模糊規(guī)則也較少[10]。加入正則項(xiàng)的損失函數(shù)為

J=e+λ*Ω（7）

Ω=∑ni=1∑mij=1（cij-1）2+∑ni=1∑mij=1bij2（8）

2 優(yōu)化算法對(duì)模糊神經(jīng)網(wǎng)絡(luò)的改進(jìn)

2.1 模糊神經(jīng)網(wǎng)絡(luò)后相傳播

建立模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)后，基于梯度下降算法對(duì)各參數(shù)進(jìn)行優(yōu)化學(xué)習(xí)，從而得到完整的模糊神經(jīng)網(wǎng)絡(luò)。標(biāo)準(zhǔn)梯度下降算法存在以下缺點(diǎn)：

1）難以選擇合適的學(xué)習(xí)速率，如果學(xué)習(xí)速率選擇過小會(huì)造成網(wǎng)絡(luò)收斂太慢，但是設(shè)得太大可能使得損失函數(shù)在最小點(diǎn)周圍不斷搖擺而永遠(yuǎn)達(dá)不到最小點(diǎn);

2）在訓(xùn)練開始時(shí)設(shè)置一個(gè)較大的學(xué)習(xí)率，然后每訓(xùn)練若干個(gè)周期后按比例降低學(xué)習(xí)率，雖然這個(gè)方法有一些作用，但是由于降低學(xué)習(xí)率的周期是人為事先設(shè)定的，所以它不能很好地適應(yīng)數(shù)據(jù)內(nèi)在的規(guī)律;

3）難以逃脫鞍點(diǎn)，鞍點(diǎn)既不是最大點(diǎn)也不是最小點(diǎn)，在這個(gè)點(diǎn)附近，所有方向上的梯度都接近于0，標(biāo)準(zhǔn)梯度下降算法很難逃離它[11]。

動(dòng)量梯度下降法和RMSprop優(yōu)化算法均是在標(biāo)準(zhǔn)梯度下降法基礎(chǔ)上發(fā)展出的優(yōu)化算法。

利用梯度下降法進(jìn)行誤差反向傳播計(jì)算Ewkh，Ecij，Ebij[12-13]。

Ewkh=-δk5·Neth4（9）

δh4=∑rk=1δk5·wkh（10）

δh3=δh4·∑s=1s≠hNeth3（∑mh=1Neth3）2（11）

δij2=δh3·sij·e（xi-cij）2bij2（12）

當(dāng)uji是第k個(gè)規(guī)則的最小值時(shí)，sij=1，否則，sij=0。

Ecij=-δij2·2（xi-cij）bij（13）

Ebij=-δij2·2（xi-cij）2bij3（14）

標(biāo)準(zhǔn)梯度下降算法中，代入式（10）～（12），模糊神經(jīng)網(wǎng)絡(luò)的參數(shù)調(diào)整為：

wkh=wkh-α·Ewkh（15）

cij=cij-α·Ecij（16）

bij=bij-α·Ebij（17）

動(dòng)量梯度下降法基本思想是計(jì)算梯度的指數(shù)加權(quán)平均數(shù)，并利用梯度來更新權(quán)重。采用動(dòng)量梯度下降法對(duì)參數(shù)更新原理如下，β1是動(dòng)量系數(shù)，一般為0.9，β*V是動(dòng)量項(xiàng)，V表示為本次的梯度下降量（1-V）*dc與部分上次更新量的矢量和，再乘以學(xué)習(xí)衰減率α，便為參數(shù)更新量，與當(dāng)前的變量值c、b、w相加，得到下一步的變量值：

Vdc=β1*Vdc+（1-Vdc）*dc（18）

Vdb=β1*Vdb+（1-Vdb）*db（19）

Vdw=β1*Vdw+（1-Vdw）*dw（20）

c=c+α*Vdc（21）

b=b+α*Vdb（22）

w=w+α*Vdw（23）

在上面公式中，將損失函數(shù)想象為一個(gè)碗狀，從頂部往下滾球，其中微分項(xiàng)dw，db是為球提供加速度，動(dòng)量Vdw、Vdb是速度。小球在向下滾動(dòng)時(shí)，由于有加速度存在，使得速度會(huì)很快，但是存在β1 小于1，可以認(rèn)為是摩擦力，所以小球不會(huì)無限加速，這便是動(dòng)量梯度下降法的本質(zhì)。

為了進(jìn)一步優(yōu)化損失函數(shù)在更新中存在擺動(dòng)幅度過大的問題，并且進(jìn)一步加快函數(shù)的收斂速度，RSMprop算法對(duì)c、b、w使用了微分平方加權(quán)平均數(shù)。采用RSMprop優(yōu)化算法對(duì)參數(shù)更新如下公式：

Sdc=β2*Sdc+（1-β2）*dc2（24）

Sdb=β2*Sdb+（1-β2）*db2（25）

Sdw=β2*Sdw+（1-β2）*dw2（26）

c=c+α*dcSdc+ε（27）

b=b+α*dbSdb+ε（28）

w=w+α*dwSdw+ε（29）

在上述的公式中Sdc、Sdb和Sdw分別是損失函數(shù)在前t-1輪迭代過程中累積的梯度動(dòng)量，β2是梯度累積的一個(gè)指數(shù)。所不同的是，RMSProp算法對(duì)梯度計(jì)算了微分平方加權(quán)平均數(shù)，然后使用平方根進(jìn)行梯度更新。這種做法用來修正擺動(dòng)幅度，消除擺動(dòng)幅度過大的方向，使得各個(gè)維度的擺動(dòng)幅度都基本一致。另一方面也使得網(wǎng)絡(luò)函數(shù)收斂更快。為了防止分母為零，使用了一個(gè)很小的數(shù)值ε來進(jìn)行平滑，一般取值為10-8。

在動(dòng)量梯度下降和RMSprop梯度下降中的dc=Ec、db=Eb、dw=Ew，在高等數(shù)學(xué)它們是近似關(guān)系。

2.2 優(yōu)化的模糊神經(jīng)網(wǎng)絡(luò)具體流程

為評(píng)定模糊神經(jīng)網(wǎng)絡(luò)的性能，采用均方根誤差（root mean squared error，RMSE）作為其評(píng)定指標(biāo)：

RMSE=∑rk=1J2r（30）

根據(jù)以上對(duì)模糊神經(jīng)網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)，其具體流程為以下4步。

步驟1 初始化參數(shù)。學(xué)習(xí)率α=0.09，動(dòng)量梯度下降中β1=0.9，RMSprop梯度下降中β2=0.999，隸屬度函數(shù)中心c、寬度b，輸出層權(quán)值。

步驟2 在模糊神經(jīng)網(wǎng)絡(luò)的訓(xùn)練階段，由式（1）～（5）計(jì)算出輸出值yk，式（8）算出正則項(xiàng)。式（9）～（17）為梯度下降過程，從而得到參數(shù)變化量（即一階導(dǎo)數(shù)）。

步驟3 式（9）～（17）是標(biāo)準(zhǔn)梯度下降計(jì)算參數(shù)的更新值;式（18）～（23）是動(dòng)量梯度下降計(jì)算參數(shù)的更新值;式（24）～（29）是RMSprop梯度下降計(jì)算參數(shù)的更新值。

步驟4 判斷誤差是否滿足條件或是否滿足最大迭代數(shù)，若滿足則停止計(jì)算，否則，跳轉(zhuǎn)到步驟2繼續(xù)執(zhí)行步驟。

3 仿真實(shí)驗(yàn)

為驗(yàn)證2種梯度下降算法對(duì)模糊神經(jīng)網(wǎng)絡(luò)的參數(shù)模型的優(yōu)化能力，將其應(yīng)用于污水處理過程關(guān)鍵水質(zhì)參數(shù)預(yù)測(cè)和Mackey-Glass混沌時(shí)間序列預(yù)測(cè)經(jīng)典案例中，以及非線性函數(shù)的逼近中，在測(cè)試誤差和收斂速度方面，將優(yōu)化后的模糊神經(jīng)網(wǎng)絡(luò)與他人優(yōu)化算法進(jìn)行對(duì)比。

3.1 非線性函數(shù)的逼近

選取式（31）給出的非線性函數(shù)：

y=0.6sin（πx）+0.3sin（3πx）（31）

式中x∈[-1，1]，在該定義域內(nèi)隨機(jī)產(chǎn)生200組數(shù)據(jù)，其中100組數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，另外100組數(shù)據(jù)作為測(cè)試數(shù)據(jù)，分別利用動(dòng)量梯度下降和RMSprop對(duì)模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化逼近。仿真結(jié)果如圖2～5所示。

圖2為兩種優(yōu)化算法對(duì)非線性函數(shù)RMSE迭代的結(jié)果，隨著迭代次數(shù)的增加，RMSE的值趨向于零，但是RMSProp的起始值遠(yuǎn)小于動(dòng)量梯度下降。圖3為動(dòng)量梯度下降優(yōu)化的預(yù)測(cè)輸出與實(shí)際輸出的擬合程度，可以看出，在前一部分樣本里其擬合效果非常差，后一部分的擬合效果相對(duì)較好。圖4為RMSprop優(yōu)化算法的預(yù)測(cè)輸出和實(shí)際輸出的擬合程度，由圖可以看出，二者的擬合效果好于動(dòng)量梯度下降的優(yōu)化。圖5為動(dòng)量梯度下降和RMSprop優(yōu)化模糊神經(jīng)網(wǎng)絡(luò)得預(yù)測(cè)輸出和實(shí)際輸出之間的誤差，RMSprop優(yōu)化算法的誤差分布在零的附近，且小于0.03，而動(dòng)量梯度下降的誤差比較大，即便是后一部分的誤差較小，但是也大于RMSprop優(yōu)化后的誤差。所以，可以得出RMSprop更適合優(yōu)化模糊神經(jīng)網(wǎng)絡(luò)。

3.2 Mackey-Glass混沌時(shí)間序列

Mackey-Glass混沌時(shí)間序列模型：

x（t+1）=1+ax（t-τ）1+x10（t-τ）-bx（t）（32）

其中a=0.2，b=0.1，τ=17，x的初始向量為x0=0.1，選擇250組樣本作為訓(xùn)練樣本，250組樣本作為測(cè)試樣本。

仿真結(jié)果如圖6～9所示，圖6為動(dòng)量梯度下降法和RSMprop優(yōu)化算法對(duì)Mackey-Glass混沌時(shí)間序列訓(xùn)練的RMSE，在其他條件一致的情況下，RSMprop的收斂速度和動(dòng)量梯度下降相差不多，甚至在10代以前，RSMprop的收斂速度更快，而且RSMprop由更小的誤差開始迭代下降。圖7和圖8分別為動(dòng)量梯度下降的輸出和實(shí)際輸出的擬合圖與RSMprop優(yōu)化算法的輸出與實(shí)際輸出的擬合圖，由圖可以看出動(dòng)量梯度下降的擬合效果較差，而RSMprop的擬合效果較好。圖9為動(dòng)量梯度下降和RMSprop的誤差對(duì)比圖，動(dòng)量梯度下降的誤差遠(yuǎn)遠(yuǎn)大于RMSprop。

表1為基于不同網(wǎng)絡(luò)對(duì)Mackey-Glass時(shí)間序列的訓(xùn)練RMSE結(jié)果。對(duì)比試驗(yàn)選取基于支持向量回歸的局部遞歸模糊神經(jīng)網(wǎng)絡(luò)（locally recurrent fuzzy neuralnetwork with support vector regression，LRFNN-SVR）[14]、基于功能鏈接的文化協(xié)同粒子群模糊神經(jīng)網(wǎng)絡(luò)（functional-link-based neural fuzzy net-work with cultural cooperative particle swarmoptimization，F(xiàn)LNFN-CCPSO）[15]、快速在線自組織簡(jiǎn)約模糊神經(jīng)網(wǎng)絡(luò)（fast and accurate online self-organizing scheme for parsimonious fuzzy neu-ral networks，F(xiàn)AOS-PFNN）[16]、基于小波變換-模糊馬爾科夫鏈算法的遞歸模糊神經(jīng)網(wǎng)絡(luò)（wavelettransform fuzzy markov chain RFNN，WTFMC-RFNN）[17]和遞歸模糊神經(jīng)網(wǎng)絡(luò)（recurrent fuzzy neural network，RFNN）進(jìn)行了比較，可以看出RMSprop的均方差更小、更加適用于對(duì)模糊神經(jīng)網(wǎng)絡(luò)的梯度下降。

3.3 水質(zhì)評(píng)價(jià)模型

將動(dòng)量梯度下降和RMSprop優(yōu)化后的模糊神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于經(jīng)典的水質(zhì)評(píng)價(jià)模型，在matlab中進(jìn)行仿真。

仿真結(jié)果如圖10～13所示。圖10為水質(zhì)評(píng)價(jià)模糊的訓(xùn)練樣本RMSE的迭代效果，動(dòng)量梯度下降優(yōu)化算法隨著迭代次數(shù)的增加基本保持穩(wěn)定，甚至略有下降，且絕對(duì)值在增加。RMSprop優(yōu)化算法隨著迭代逐漸趨于零，其迭代效果好于動(dòng)量梯度下降算法。圖11為動(dòng)量梯度下降的預(yù)測(cè)輸出與實(shí)際輸出的擬合圖，由圖可以看出，其擬合效果比較差。圖12為RMSprop優(yōu)化的預(yù)測(cè)輸出和實(shí)際輸出的擬合情況，擬合效果遠(yuǎn)好于動(dòng)量梯度下降算法。圖13為兩種優(yōu)化算法的預(yù)測(cè)輸出和實(shí)際輸出的誤差對(duì)比，動(dòng)量梯度下降優(yōu)化模糊神經(jīng)網(wǎng)絡(luò)的誤差比較大，而RMSprop優(yōu)化的誤差遠(yuǎn)小于動(dòng)量梯度下降，更適合優(yōu)化模糊神經(jīng)網(wǎng)絡(luò)。

表2為基于不同網(wǎng)絡(luò)對(duì)水質(zhì)等級(jí)的訓(xùn)練RMSE結(jié)果，對(duì)比試驗(yàn)選取了遞歸模糊神經(jīng)網(wǎng)絡(luò)（recurrent fuzzy neural network，RFNN）、小波變換遞歸模糊神經(jīng)網(wǎng)絡(luò)（wavelet-based recurrent fuzzy neural network，WRFNN）[18]、高階遞歸神經(jīng)模糊系統(tǒng)（high-order recurrent neuro-fuzzy system，HO-RNFS）[19]、有監(jiān)督學(xué)習(xí)的TSK型 遞歸 模 糊 網(wǎng) 絡(luò)（TSK-type recurrent fuzzy net-work with supervised learning，TRFN-S）[20]，可以發(fā)現(xiàn)基于RMSprop優(yōu)化算法的精度更高，更適合模糊神經(jīng)網(wǎng)絡(luò)的梯度優(yōu)化。

4 結(jié) 論

為了提高模糊神經(jīng)網(wǎng)絡(luò)的收斂速度和泛化能力，本文提出了將動(dòng)量梯度下降和RMSprop優(yōu)化算法應(yīng)用到模糊神經(jīng)網(wǎng)絡(luò)中，在保證收斂速度的前提下，對(duì)參數(shù)進(jìn)行調(diào)整，提高神經(jīng)網(wǎng)絡(luò)的自適應(yīng)能力。通過非線性函數(shù)逼近、Mackey-Glass混沌時(shí)間序列和水質(zhì)等級(jí)評(píng)價(jià)的建模，對(duì)動(dòng)量梯度下降和RMSprop的擬合程度、預(yù)測(cè)輸出與實(shí)際輸出之間的誤差進(jìn)行仿真輸出，得到下面的結(jié)論：

1）提出了利用動(dòng)量梯度下降和RMSprop對(duì)模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行參數(shù)優(yōu)化。

2）相對(duì)動(dòng)量梯度下降，RMSprop優(yōu)化算法的擬合效果更好，誤差更小，更適合對(duì)模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，同時(shí)證明了網(wǎng)絡(luò)的有效性。

參考文獻(xiàn)：

[1] 喬俊飛，丁海旭，李文靜.基于WTFMC算法的遞歸模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)[J/OL].自動(dòng)化學(xué)報(bào)：1-12[2019-10-11].https：//doi.org/10.16383/j.aas.c180847.

QIAO Junfei， DING Haixun， LI Wenjing.Structure Design of Recurrent Fuzzy Neural Network Based onWTFMC Algorithm[J/OL].Acta Automatica Sinica：1-12[2019-10-11].https：//doi.org/10.16383/j.aas.c180847.

[2] 武俊峰，艾嶺.一種基于改進(jìn)聚類算法的模糊模型辨識(shí)[J].哈爾濱理工大學(xué)學(xué)報(bào)，2010，15（3）：1.

WU Junfei， AI Ling. Fuzzy Model Identification Based on Improved Clustering Algorithm[J]. Journal of Harbin University of Science and Technology，2010，15（3）：1.

[3] 喬俊飛，王會(huì)東.模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)自組織算法及應(yīng)用[J].控制理論與應(yīng)用，2008（4）：703.

QIAO Junfei， WANG Huidong. Structure Self Organizing Algorithm of Fuzzy Neural Network and Its Application[J].Control Theory & Applications，2008（4）：703.

[4] 朱巖. 基于模糊神經(jīng)網(wǎng)絡(luò)的溫室自動(dòng)控制研究[D].天津：河北工業(yè)大學(xué)，2005.

[5] 郝琪. 智能溫室遠(yuǎn)程控制系統(tǒng)研究與設(shè)計(jì)[D].秦皇島：燕山大學(xué)，2011.

[6] 帥知春，林偉.基于模糊神經(jīng)網(wǎng)絡(luò)的溫室二氧化碳控制[J].現(xiàn)代計(jì)算機(jī)，2006（9）：7.

SUAI Zhichun，LIN Wei.Greenhouse Carbon Dioxide Control Based on Fuzzy Neural Network[J].Modern Computer，2006（9）：7.

[7] 夏江南，王杜娟，王延章，等.基于結(jié)構(gòu)自適應(yīng)模糊神經(jīng)網(wǎng)絡(luò)的前列腺癌診斷方法[J].系統(tǒng)工程理論與實(shí)踐，2018，38（5）：1331.

XIA Jiangnan，WANG Dujuan，WANG Yanzhang，et al. Prostate Cancer Diagnosis Method Based on Structure Adaptive Fuzzy Neural Network[J].Systems Engineering-Theory & Practice，2018，38（5）：1331.

[8] 鄧子云.基于有動(dòng)量和自適應(yīng)lr梯度下降法BP神經(jīng)網(wǎng)絡(luò)的城市用電量預(yù)測(cè)技術(shù)[J].江蘇科技信息，2018，35（3）：32.

DEGN Ziyun. Urban Electricity Consumption Forecasting Technology Based on Momentum and Adaptive LR Gradient Descent BP Neural Network[J]. Jiangsu Science & Technology Information，2018，35（3）：32.

[9] 沈卉卉，李宏偉.基于動(dòng)量方法的受限玻爾茲曼機(jī)的一種有效算法[J].電子學(xué)報(bào)，2019，47（1）：176.

SHEN Huihui，LI Hongwei. An Efficient Algorithm for Constrained Boltzmann Machine Based on Momentum Method[J]. Acta Electronica Sinica，2019，47（1）：176.

[10]黃磊，杜昌順.融合群稀疏與排他性稀疏正則項(xiàng)的神經(jīng)網(wǎng)絡(luò)壓縮情感分析方法[J].北京化工大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，46（2）：103.

HUANG Lei， DU Changshun. Neural Network Compressed Sentiment Analysis Method Combining Group Sparsity and Exclusive Sparse Regularities[J]. Journal of Beijing University of Chemical Technology（Natural Science Edition），2019，46（2）：103.

[11]沈海龍，趙穎，邵新慧.一種求解鞍點(diǎn)問題的PGSS方法[J].東北師大學(xué)報(bào)（自然科學(xué)版），2019，51（3）：46.

SHEN Hailong，ZHAO Ying，SHAO Xinhui. A PGSS Method for Solving Saddle Point Problem[J]. Journal of Northeast Normal University（Natural Science Edition），2019，51（3）：46.

[12]常永虎，李虎陽.基于梯度的優(yōu)化算法研究[J].現(xiàn)代計(jì)算機(jī)，2019（17）：3.

CHANG Yonghu，LI Huyang. Research on Gradient Based Optimization Algorithm[J]. Modern Computer，2019（17）：3.

[13]彭章友，夏海琴.無源雷達(dá)目標(biāo)跟蹤的線性回歸-梯度下降算法[J].電子測(cè)量技術(shù)，2019，42（15）：1.

PENG Zhangyou，XIA Haiqin. Linear Regression Gradient Descent Algorithm for Passive Radar Target Tracking[J]. Electronic Measurement Technology，2019，42（15）：1.

[14]LIN C J， CHEN C H， LIN C T. AHybrid of Cooperative Particle Swarm Optimization and Cultural Algorithm for Neural Fuzzy Networks and Its Prediction Applications[J]. IEEE Transactionson Systems， Man， and Cybernetics， Part C （Applications and Reviews）， 2009， 39（1）：55.

[15]WANG N， ER M J， MENG X. A Fast AndAccurate Online Self-Organizing Scheme for Parsimonious Fuzzy Neural Networks[J].Neurocomputing， 2009， 72（16/18）：3818.

[16]孫冬璞，譚潔瓊.一種快速全局中心模糊聚類方法[J].哈爾濱理工大學(xué)學(xué)報(bào)，2019，24（4）：110.

SUN Dongpu，TAN Jieqiong. A Fast Global Center Fuzzy Clustering Method[J]. Journal of Harbin University of Science and Technology，2019，24（4）：110.

[17]LIN C J， CHIN C C. Prediction and Identification Using Wavelet-Based Recurrent Fuzzy Neural Networks[J]. IEEE Transactions on Systems， Man， and Cybernetics， Part B （Cyber-netics）， 2004， 34（5）：2144.

[18]THEOCHARIS J B. A Highorder Recurrent Neurofuzzy System With Internal Dynamics：Application to the Adap-Tive Noise Cancellation[J]. Fuzzy Sets and Systems， 2006，157（4）：471.

[19]JUANG C F. A TSK-typeRecurrent Fuzzy Network for Dynamic Systems Processing By Neural Network and Genetic Algorithms[J]. Fuzzy Systems IEEE Transactions on， 2002，10（2）：155.

[20]JUANG C F， HSIEH C D. A Locally RecurrentFuzzy Neural Network with Support Vector Regression for Dynamic System Modeling[J]. IEEE Transactions on Fuzzy Systems，2010， 18（2）：261.

（編輯：溫澤宇）

收稿日期： 2019-05-07

基金項(xiàng)目： 國家自然科學(xué)基金（61501176）;黑龍江省自然科學(xué)基金（F2018025）.

作者簡(jiǎn)介：

李浩楠（1994—），男，碩士研究生.

通信作者：

劉 勇（1970—），男，副教授，碩士研究生導(dǎo)師，E-mail：liuyong@hlju.edu.cn.