列主元SVD-QR方法修剪策略參數(shù)調(diào)整的D-FNN算法研究*

張德豐，馬子龍

(1.佛山科學(xué)技術(shù)學(xué)院計(jì)算機(jī)系，廣東佛山 528000;2.哈爾濱工業(yè)大學(xué)電子工程系，黑龍江哈爾濱 150001）

模糊神經(jīng)網(wǎng)絡(luò)控制在控制領(lǐng)域里目前已經(jīng)成為一個(gè)研究熱點(diǎn)，把神經(jīng)網(wǎng)絡(luò)應(yīng)用于模糊系統(tǒng)，可以解決模糊系統(tǒng)中的知識抽取問題;把模糊系統(tǒng)應(yīng)用于神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)就不再是黑箱了，人類的知識就很容易融合到神經(jīng)網(wǎng)絡(luò)中。將模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)適當(dāng)?shù)亟Y(jié)合起來，吸取兩者的長處，則可組成比單獨(dú)的神經(jīng)網(wǎng)絡(luò)系統(tǒng)或單獨(dú)的模糊系統(tǒng)性能更好的系統(tǒng)。由于二者既有共性又有互補(bǔ)性，將兩者有機(jī)地結(jié)合起來，發(fā)揮各自的優(yōu)勢，是智能控制領(lǐng)域研究的主要方向和發(fā)展趨勢之一。

1 算法的理論分析與確定

1.1 列主元SVD-QR方法修剪策略

修剪技術(shù)對于動態(tài)時(shí)變非線性系統(tǒng)的辨識是非常必要的。如果在學(xué)習(xí)進(jìn)行時(shí)，檢測到不活躍的模糊規(guī)則并加以剔除，則可獲得更為緊湊的D-FNN結(jié)構(gòu)。在本文中我們將采用列主元SVD-QR方法作為一種修剪技術(shù)來選擇重要的模糊規(guī)則。

列主元SVD-QR方法最初由Golub等［1］提出，以解決回歸分析中的子集選擇問題，在本文中用這種方法從給定的規(guī)則庫中提取最重要的模糊規(guī)則。這種方法的基本思想是用H(b)θ(b)替換如下線性回歸問題中的Hθ

其中，H(b)∈Rn×b由H的b個(gè)列構(gòu)成，這b個(gè)列在H中的位置決定了用規(guī)則庫中哪些規(guī)則來逼近向量D。

假設(shè)H∈Rn×v的SVD有式H=U∑ST給定，并且通過式 (2)來定義矩陣

其中，Π∈Rv×v是一個(gè)交換矩陣。Golub等人證明［2］:如果

其中，σb(H(b))和σb(H)分別為H(b)和H的第b個(gè)奇異值。

這個(gè)結(jié)果表明，為了獲得充分獨(dú)立的列子集，即對應(yīng)于模糊規(guī)則中最重要的子集，交換矩陣Π的選擇使得產(chǎn)生的S'11子矩陣應(yīng)不是病態(tài)的，從而‖(S'11)－1‖2盡可能地小。這意味著計(jì)算的子集H(b)趨向于使它的最小奇異值σb(H(b))最大化［3］。解決這個(gè)問題可以采用Golub等人提出的方法，即通過計(jì)算矩陣列主元的QR分解來解決［4］，其中∈和∈由下式來定義:

特別地，如果用列主元的QR分解來計(jì)算［5］:= ［R11R12］b v－ b (6)其中，Q∈Rb×b是正交矩陣，Π∈ Rv×v是交換矩陣，且R11∈Rb×b是上三角矩陣，則式 (3)意味著:

注意到 R11為非奇異，而且 ‖(S'11)－1‖2=。因此列主元法可產(chǎn)生一個(gè)非病態(tài)的R11和S'11。

矩陣Π的每一列只含有一個(gè)“1”(其他的元都為0)?！?”在Π中的位置決定了H的列在HΠ中的位置及其在規(guī)則庫中的位置。為了說明這個(gè)問題，假設(shè)

如果想用兩條模糊規(guī)則建立一個(gè)模型，則應(yīng)該選擇第二和第三個(gè)規(guī)則［6］。

b個(gè)最重要的模糊規(guī)則的候選者可以通過求解如下簡化方程得到:

其中，θ(b)= ［θ1，θ2，…，θb］T且 H(b)需要像前面一樣通過使用b個(gè)最重要的模糊規(guī)則進(jìn)行歸一化處理［7］。

列主元的SVD-QR方法可以歸納成如下幾個(gè)步驟:

1)計(jì)算H的SVD，也即H=UΣST同時(shí)保存Σ和S。

2)檢查 Σ =diag(σ1，σ2，…，σv)中的奇異值，確定用來構(gòu)建模型的模糊規(guī)則數(shù) b，其中 b≤rank(H)。

4)基于b個(gè)最重要的模糊規(guī)則構(gòu)造歸一化矩陣 H(r)∈ Rn×b

5)用SVD方法求解H(b)θ(b)=D得到θ(b)。

SVD-QR算法不需要明確地構(gòu)造相關(guān)矩陣，因此，避免了不必要的數(shù)字和舍入誤差。此外，眾所周知，與特征值相比，奇異值的計(jì)算更有效，且具有更高的數(shù)值計(jì)算穩(wěn)定性。因此，從應(yīng)用的角度來看，SVD-QR算法優(yōu)于ED(特征值分解)算法［8］。

1.2 D-FNN參數(shù)調(diào)整方法

卡爾曼濾波 (Kalman filter，KF)算法可以用于結(jié)果參數(shù)調(diào)整。本文中，我們還選擇擴(kuò)展的卡爾曼濾波方法 (extended Kalman filter，EKF)來調(diào)整這些參數(shù)。作為一種非線性更新算法，EKF方法可以用來調(diào)節(jié)D-FNN的所有參數(shù)。由于全局的方法將涉及大矩陣運(yùn)算，遇到巨大計(jì)算負(fù)擔(dān)以及占用大量的內(nèi)存，因此，這種全局方法可以被劃分為一系列可處理的子問題。在實(shí)際應(yīng)用中，可以用卡爾曼濾波 (KF)方法來調(diào)節(jié)結(jié)果參數(shù)，同時(shí)，EKF方法用于更新前提參數(shù)的中心和寬度，從而使得所有參數(shù)都被修正。這一思想等價(jià)于把全局算法分解為一系列解耦的算法［9］。

圖1所示為EKF用于D-FNN參數(shù)調(diào)整的原理圖。實(shí)驗(yàn)結(jié)果表明，高斯中心對系統(tǒng)性能影響不大，因此只對高斯寬度進(jìn)行更新。

圖1 EKF用于D-FNN參數(shù)調(diào)整的原理圖Fig.1 EKF for D-FNN parameter adjustment principle diagram

結(jié)果參數(shù)的更新是線性的，而高斯寬度的更新是非線性的，可以用EKF作如下優(yōu)化:

初始條件為∑0＞0以及S0=ρI，其中，ρ為一個(gè)小的正數(shù)，是i第次觀測的增益矩陣，Si是第i次觀測誤差協(xié)方差矩陣，∑i=(σ1，σ2，…，σu)表示經(jīng)過i次迭代后的高斯寬度向量，F(xiàn)i=(δσ1，…，δσj，…，δσu)是第 i次觀測寬度的梯度向量。

其中，Cj和wj分別是中心和第j個(gè)RBF單元的權(quán)值，ψj是第 j個(gè)歸一化層的輸出［10］。

需要強(qiáng)調(diào)的是，KF或EKF算法用于D-FNN，當(dāng)一條規(guī)則產(chǎn)生/去除或者寬度有任何的調(diào)整時(shí)，將產(chǎn)生額外的計(jì)算負(fù)擔(dān)，即在這些情況下，迭代將必須從第一個(gè)樣本開始。

2 實(shí)驗(yàn)結(jié)果與分析

在本文中，我們的目的是驗(yàn)證采用列主元SVD-QR方法修剪策略與卡爾曼濾波方法來調(diào)整這些參數(shù)的D-FNN系統(tǒng)能否逼近一個(gè)動態(tài)而且是時(shí)變的系統(tǒng)，通過藥物注射系統(tǒng)的直接逆控制來驗(yàn)證我們所采用算法的有效性。

當(dāng)D-FNN在藥物注射系統(tǒng)中作為控制器時(shí)，我們的目標(biāo)是得到適當(dāng)?shù)目刂菩袨閡(t)，使輸出值y(t)逼近期望值r(t)，為了實(shí)現(xiàn)這個(gè)目標(biāo)，涉及到學(xué)習(xí)和應(yīng)用兩個(gè)階段。在學(xué)習(xí)階段，潛在對象的時(shí)變動態(tài)逆模型被D-FNN辨識，然后，D-FNN在應(yīng)用階段作為控制器產(chǎn)生控制行為［11］。

逆模型通常由式 (13)表示的NARX模型經(jīng)過簡單推導(dǎo)得到式 (14):

由式 (14)可以看到u(t)的產(chǎn)生還需要知道未來的值y(t+1)。為了克服這個(gè)問題，通常用r(t+1)代替y(t+1)。這個(gè)假設(shè)是合理的，因?yàn)閞(t)與參考信號有關(guān)，通常被稱為前一步［12］。

而另一個(gè)問題是逆映射f－1是否一直存在?這里暫不考慮式 (14)中的逆模型是否存在，可以用NARX模型直接構(gòu)造如下的逆模型:

從而g≈f－1。應(yīng)當(dāng)指出，在物理意義上g不是f的準(zhǔn)確逆模型，它只是數(shù)學(xué)上逼近這個(gè)逆映射［13］。

一般的病人響應(yīng)模型描述如下［14］

為了產(chǎn)生訓(xùn)練數(shù)據(jù)，藥物注射率u(k)取為:

設(shè)A=50，初始條件為:當(dāng)t≤0時(shí)，Δp(t)=0，u(t)=0，根據(jù)式 (16)和式 (17)提取200個(gè)樣本。式 (16)的逆模型取為:

其中，f是D-FNN，它代表式 (16)的逆映射?；诹兄髟猄VD-QR方法參數(shù)調(diào)整的D-FNN控制器訓(xùn)練的結(jié)果如圖2所示。

圖2(a)是訓(xùn)練階段的輸出誤差;圖2b是訓(xùn)練階段的均方根誤差;圖2(c)是訓(xùn)練階段期望和實(shí)際的注射率;圖2(d)是訓(xùn)練階段期望與實(shí)際注射的誤差。

圖2 訓(xùn)練階段參數(shù)變化模型訓(xùn)練結(jié)果Fig.2 Training phase parameter changes in model training results

然后，把訓(xùn)練好的D-FNN用于控制對象。假定采樣時(shí)間是15 s，病人初始的血壓設(shè)為140 mm-Hg(1 mmHg=133.322 Pa)，最后的血壓要求降低到100 mmHg，如圖3a所示。如果期望的血壓變化中含有方差為1 mmHg的白噪聲，如圖3b所示。圖3c顯示了在噪聲環(huán)境下的血壓誤差，藥物注射率和血壓之間的關(guān)系如圖3d所示。由仿真結(jié)果可以看到血壓隨著藥物注射的變化而平穩(wěn)地變化，并沒有明顯的延遲，這表明D-FNN對系統(tǒng)進(jìn)行了很好的建模。仿真的結(jié)果如下:

血壓變化量 Δpmax=5.91;平均動脈血壓MAPmin=97.3;平均動脈血壓變化量ΔMAPmax=2.63

由上述仿真結(jié)果可以看到:血壓的變化很好地滿足了藥物注射系統(tǒng)的約束條件。

為了跟蹤模型的時(shí)變特性，對一種參數(shù)和結(jié)構(gòu)都隨時(shí)間變化的復(fù)雜時(shí)變系統(tǒng)進(jìn)行仿真。D-FNN的性能根據(jù)Δpmax和 RMSE進(jìn)行了評估，結(jié)果如表1所示。

圖3 測試階段參數(shù)變化模型測試結(jié)果Fig.3 Parameter changes in the model test results of the testing phase

表1 D-FNN控制器的性能Table 1 The performance of the D-FNN controller

文獻(xiàn) ［15］中的結(jié)果列于表2中。與文獻(xiàn)［15］的方法 IANC相比，我們的測試結(jié)果 (圖3d)非常穩(wěn)定，即使在噪聲環(huán)境下也沒有大的振蕩。D-FNN控制器的性能根據(jù)期望和實(shí)際MAP變化的最大誤差 Δpmax來評估，同時(shí)，與文獻(xiàn) ［15］相比較的結(jié)果列于表2中。

表2 IANC與D-FNN的性能比較Table 2 Performance comparison of IANC with D-FNN

從仿真結(jié)果來看，由于使用了列主元SVD-QR方法修剪技術(shù)，規(guī)則數(shù)很快達(dá)到穩(wěn)定，使得網(wǎng)絡(luò)結(jié)構(gòu)沒有持續(xù)增長，避免了過擬合及過訓(xùn)練現(xiàn)象，因而確保了系統(tǒng)的泛化能力。

考慮系統(tǒng)作為時(shí)變結(jié)構(gòu)，從表2、圖3d來看，仿真結(jié)果表明D-FNN控制器具有良好的性能，沒有出現(xiàn)明顯的延遲和震蕩，這也表明D-FNN很好地學(xué)習(xí)了模型特性，也說明D-FNN控制器優(yōu)于文獻(xiàn) ［16］的方法。

3 結(jié)論

一個(gè)規(guī)則可能最初是活躍的，但逐漸對系統(tǒng)幾乎沒有貢獻(xiàn)了。因此，修剪技術(shù)對于動態(tài)時(shí)變非線性系統(tǒng)的辨識是非常必要的。如果在學(xué)習(xí)進(jìn)行時(shí)，檢測到不活躍的模糊規(guī)則并加以剔除，則可獲得更為緊湊的D-FNN結(jié)構(gòu)?？梢杂肒F方法來調(diào)節(jié)結(jié)果參數(shù)，同時(shí)，EKF方法用于更新前提參數(shù)的中心和寬度，從而使得所有參數(shù)都被修正。EKF是基于在線的學(xué)習(xí)算法，該算法可用于平滑、濾波或者預(yù)測非線性動態(tài)系統(tǒng)的狀態(tài)，同其他基于梯度的在線算法相比，EKF可以加快收斂速度。仿真結(jié)果表明，由于使用了列主元修剪策略與參數(shù)調(diào)整算法使得D-FNN具有更緊湊的系統(tǒng)結(jié)構(gòu)、強(qiáng)大的泛化能力以及快速的學(xué)習(xí)速度。

［1］PLATT J.A resource-allocating network for function interpolation［J］.Neural Computation，2007，19(2):213－225.

［2］BRUNELLI R，POGGIO T.Face recognition:features versus templates［J］.IEEE Trans Pattern Analysis and Machine Intelligence，2010，25(10):1042－1053.

［3］馬莉，張德豐，馬子龍.滑動窗與修剪技術(shù)的動態(tài)模糊神經(jīng)網(wǎng)絡(luò)方法研究［J］.中山大學(xué)學(xué)報(bào):自然科學(xué)版，2010，49(1):48－52.

［4］HONG Z.Algebraic feature extraction of image for recognition［J］.Patt Recog，2009，24(2):211 －219.

［5］TURK M A，PENTLAND A P.Eigenfaces for recognition［J］.Cognitive Neuroscience，2008，3(1):71 －86.

［6］WANG L X，MENDEL J M.Fuzzy basis function，universal approximation，and orthogonal least squares learning［J］.IEEE Trans Neural Networks，2009，3:907 －914.

［7］EICKELER S，MUELLER S，RIGOLL G.High quality face recognition in JPEG compressed images［C］.Proc IEEE Int Conf Image Processing，2008:672－676.

［8］WU S Q，ER M J.Dynamic fuzzy neural networks:a novel approach to function approximation［J］.IEEE Trans Syst Man Cybern Part:B，2010，30:358 －364.

［9］LU Y，SUNDARARAJAN N，SARATCHANDRAN P.A sequential learning scheme for function approximation by Using minimal radial basis function networks［J］.Neural Computation，2009，19(2):461－478.

［10］任愛紅.模糊隨機(jī)過程函數(shù)列均方差一致Henstock積分的可積性［J］.中山大學(xué)學(xué)報(bào):自然科學(xué)版，2010，51(4):41－44.

［11］CHELLAPPA R，WILSON C L，SIROHEY S.Human and machine recognition of faces:a survey［J］.Proc IEEE，2009，93(2):705 －740.

［12］VALENTIN D，ABDI H，O’Toole A J，et al.Connectionist models of face processing:a survey［J］.Patt Recog，2009，27(4):1209 －1230.

［13］JANG J-S R.ANFIS:adaptive-network-based Fuzzy inference system［J］.IEEE Trans Syst Man Cybern，1993，23(3):665－684.

［14］KADIRKAMANATHAN V，NIRANJAN M.A function estimation approach to sequential learning with neural networks［J］.Neural Computation，2008，16(4):954－975.

［15］POLYCARPOU M M，CONWAY J Y.Indirect adaptive nonlinear control of drug delivery systems［J］.IEEE Trans Automat Contr，2010，43:849 －856.

［16］BEHBEHANI K，CROSS R R.A controller for regulation of mean arterial blood pressure using optimum nitroprusside infusion rate［J］.IEEE Trans Biomedical Engineering，2010，47:513 －521.