LMBP和RBF在ECS特性曲線擬合中對比研究

丁 碩, 常曉恒, 巫慶輝

(渤海大學 工學院, 遼寧 錦州 121013)

0 引 言

數(shù)字式渦流傳感器ECS(Eddy Current Sensors)工作在正常條件下, 且在保持某些參數(shù)值恒定不變的前提下, 線圈等效電感L就是位移d的單值函數(shù)。因此, 傳感器輸出信號的頻率f與微小位移信號d之間呈現(xiàn)正比例關系。若被測試件位移產生變化時, 數(shù)字式渦流傳感器頻率f的變化將直接反映被測試件位移d的情況。但在實際中利用渦流傳感器進行位移測量時, 輸入和輸出特性曲線存在較為嚴重的非線性關系, 影響到傳感器的測量精度。為準確反映數(shù)字式渦流傳感器d-f間的非線性關系, 實現(xiàn)精確測量, 需要擬合一條曲線, 使其盡可能逼近數(shù)字式渦流傳感器實際的輸入、 輸出特性。實際中經常通過計算機利用最小二乘法、 查表法和線性插值等方法解決非線性問題。由于人工神經網絡具有大規(guī)模并行處理、 自適應性和容錯性等優(yōu)點[1], 其發(fā)展為渦流傳感器的特性曲線擬合提供了有效的方法, 只要恰當選擇網絡, 就能逼近任何非線性函數(shù)。其中兩種前饋反向傳播BP(Back Propagation)神經網絡和徑向基函數(shù)RBF(Radial Basis Function)神經網絡較為流行, 并且取得了一定的效果。但神經網絡的類型種類繁多, 不同類型網絡對數(shù)字式渦流傳感器的非線性特性的擬合效果不同, 而且各自所適合的場合以及計算量、 仿真過程都有很大不同。因為標準的BP網絡存在學習收斂速度較慢、 穩(wěn)定性差、 易陷入局部極小等缺點[2,3]。筆者以標準BP算法為基礎, 利用收斂速度相對較快、 擬合精度較高且性能穩(wěn)定的LM(Levenberg-Marquart)算法構建LMBP神經網絡, 同時構建了RBF神經網絡, 分別對渦流傳感器的特性曲線進行擬合, 并對結果進行比較分析, 得出二者各自所適應的仿真計算過程。

1 LMBP網絡的結構與學習算法

由于傳統(tǒng)BP神經網絡算法反向傳播算法迭代速度慢, 且易陷入局部最小點, 計算機的內存足夠大時, 對中小型結構的網絡一般使用非線性阻尼最小二乘法(Levenberg-Marquardt Algorithm)的改進方法。LM算法是一種非常有效的優(yōu)化設計方法, 從收斂速度和收斂性來看, 它結合了神經網絡的梯度下降法和高斯-牛頓法的優(yōu)點, 是在牛頓法和最速下降法之間進行平滑調和的結合算法。LM算法尤其適用于目標函數(shù)為誤差平方和最小化的情況, 因其具有二階收斂速度、 所需的迭代次數(shù)很少的優(yōu)點[4,5], 所以可大幅度提高其收斂速度, 并可提高其算法的穩(wěn)定性以及避免陷入局部最小點。

在多層前向神經網絡中, 前一層的輸出為下一層的輸入, 輸入與輸出之間函數(shù)表達式為

am+1=fm+1(wm+1am+1+bm+1),m=0,1,2,…,M-1

(1)

其中a為某層的輸出,b為閾值,f為激活函數(shù),m為網絡層數(shù), 相應的權值矩陣為

(2)

其中wij表示前一層第j個神經元輸入到后一層第i個神經元的權值。

設神經網絡的誤差指標函數(shù)為

(3)

其中Q為目標向量元素數(shù)目,ejq為第q個輸入輸出樣本對的誤差,ei(w)為誤差向量,N為輸出層的神經元數(shù)目。令J(w)為E(w)的Jacobian矩陣, 表示為

(4)

誤差矩陣

2ei(w)

(5)

E(w)的梯度

E(w)=2JT(w)e(w)

(6)

E(w)的Hessian矩陣

2E(w)=2JT(w)J(w)+S(w)

(7)

當接近誤差指標函數(shù)的最小值時, 則誤差矩陣S(w)中的元素很小, 于是可取Hessian矩陣近似值

2E(w)=2JT(w)J(w)

(8)

由于矩陣JT(w)J(w)可能奇異, 故Hessian矩陣可表示為

2E(w)=2JT(w)J(w)+μI

(9)

其中μ為比例系數(shù), 當μ≈0時, LM算法接近高斯-牛頓法； 當μ?0, LM算法近似于最速下降法。由此得出LM算法

Δw=-[JT(w)J(w)+μI]-1JT(w)e(w)

(10)

其中I為單位矩陣。

根據上述的推理可看出, 由于LM算法采用二階近似偏導數(shù), 所以收斂速度相對梯度下降法而言快很多且JT(w)J(w)+μI是正定陣, 所以其解總是存在的[6,7]。

2 RBF網絡的結構與學習算法

RBF神經網絡是一種典型的局部逼近神經網絡。RBFNN(Radial Basis Function Artificial Neural Networks)由3層組成: 輸入層節(jié)點的作用是傳遞信號到隱層； 隱層節(jié)點由徑向基函數(shù)構成； 輸出層節(jié)點通常是簡單的線性函數(shù)。在RBFNN中, 從輸入層到隱層的變換是非線性的, 隱層的作用是對輸入向量進行非線性變換, 而從隱層到輸出層的變換是線性的, 即網絡的輸出是隱節(jié)點輸出的線性加權和[8-10]。通過分析RBFNN結構的特點可發(fā)現(xiàn), 主要有兩個因素決定RBFNN結構: 網絡隱層神經元個數(shù)及其中心、 隱層與輸出層連接權值。所以, 一般的算法都是利用RBFNN的3層結構特點設計學習算法。第1步確定網絡隱層神經元個數(shù)與其中心； 第2步確定網絡的權值。由于在第2步可以直接利用線性優(yōu)化算法, 從而可以加快學習速度和避免局部最優(yōu)[11]。

徑向基網絡傳遞函數(shù)的原型函數(shù)為

radbas(n)=exp(-n2)

(11)

當輸入自變量為0時, 傳遞函數(shù)取得最大值為1。隨著權值和輸入向量之間距離的減少, 網絡輸出是遞增的。當輸入向量和加權向量一致時, 神經元輸出為1。徑向基函數(shù)網絡隱含層采用徑向基函數(shù)作為激勵函數(shù), 該徑向基函數(shù)一般為高斯函數(shù)。隱層每個神經元與輸入層相連的權值向量w1i和輸入矢量Xq之間的距離乘以閾值b1i作為本身的輸入。由此可得隱含層的第i個神經元的輸入為[12]

(12)

輸出為

(13)

徑向基函數(shù)的閾值b1可以調節(jié)函數(shù)的靈敏度, 但在實際工作中更常用另一參數(shù)C。兩者的關系有多種確定方式。在Matlab神經網絡工具箱中,b1和C的關系為:b1i=0.832 6/C, 此時隱含層神經元的輸出變?yōu)?/p>

(14)

C值的大小實際反映了輸出對輸入的響應寬度,C值越大, 隱含層神經元對輸入矢量的響應范圍越大, 且神經元間的平滑度也越好。輸出層的輸入為各隱含層神經元輸出的加權求和。由于激勵函數(shù)為純線性函數(shù), 因此輸出為

(15)

在RBF網絡訓練中, 隱含層神經元數(shù)量的確定是關鍵問題, 傳統(tǒng)的做法是使其與輸入向量的元素相等。顯然, 在輸入矢量很多時, 過多的隱含層單元數(shù)難以讓人接受。因此, 筆者提出了改進方法, 基本原理是從0個神經元開始訓練, 通過檢查輸出誤差使網絡自動增加神經元。每次循環(huán)使用, 使網絡產生的最大誤差所對應的輸入向量作為權值向量w1i產生一個新的隱含層神經元, 然后檢查新網絡的誤差, 重復過程直到達到誤差要求或最大隱含層神經元數(shù)為止[13-15]。由此可見, 徑向基函數(shù)網絡具有結構自適應確定、 輸出與初始權值無關等特點。

3 仿真實驗

該實驗采用型號為MLW-Y330008的數(shù)字式渦流傳感器, 完成系統(tǒng)硬件連接, 并對系統(tǒng)進行調試, 采用機械放大桿并配合使用杠桿千分尺的形式獲得微小位移信號。為了真正反映傳感器的輸入輸出特性曲線, 在標準室溫條件下, 且在MLW-Y330008傳感器測試量程允許范圍內, 采用正反行程(正向行程、 反向行程各10次)多次測量, 最后取平均值的方法獲得傳感器的輸出頻率與被測位移量之間的輸入-輸出數(shù)據(見表1)。由實驗數(shù)據可知:d-f變化趨勢在被測試件位移量較小時基本上成線性關系； 但在被測試件位移量較大時, 線性度較差, 呈現(xiàn)非線性關系。影響傳感器特性的因素有很多： 被測試件表面平整度、 表面磁效應、 表面鍍層、 表面尺寸以及傳感器的安裝和工作溫度等諸多因素都會對渦流傳感器的特性產生影響。在Matlab7.0環(huán)境下, 將實驗測得數(shù)據進行歸一化處理, 將所收集的數(shù)據映射到指定的區(qū)間[0,1]中, 根據上述過程利用Matlab語言編程建立BP神經網絡、 對網絡初始化并分別對LMBP網絡和RBF網絡進行訓練, 將表1中實際測量所得的數(shù)據分別作為經過訓練后的兩種網絡的測試數(shù)據(數(shù)字式渦流傳感器輸入位移量d變化范圍： 0～1.208 34 mm; 數(shù)字式渦流傳感器輸出頻率f變化范圍： 382.016～393.958 Hz)。LMBP網絡選擇3層結構, 隱層單元數(shù)13個。RBF網絡選用高斯函數(shù)作為隱層單元的徑向基函數(shù)。隱層單元數(shù)與輸入的訓練樣本數(shù)一致, RBF的中心在輸入樣本中隨機選取, 參數(shù)C由相鄰樣本數(shù)據的最大距離確定, 筆者實驗時C取0.06。當網絡平方和誤差取為0.000 1時, 采用上述學習算法, 其性能對比如表1所示。

表1 LMBP網絡與RBF網絡擬合結果

圖1和圖2分別是LMBP網絡和RBF網絡的訓練誤差變化曲線。從圖1和圖2可看出, 若目標精度為0.000 1, LMBP網絡經過66個周期才達到所需精度, 而RBF神經網絡只需要28個周期, 可見RBF網絡的收斂速度遠高于LMBP網絡。

圖1 LMBP網絡訓練誤差變化曲線 圖2 RBF網絡訓練誤差變化曲線

圖3是兩種網絡在各測量點的相對誤差變化曲線。由圖3可看出RBF網絡比LMBP網絡收斂快, 擬合誤差比LMBP網絡小。由于LMBP網絡隱層激活函數(shù)是全局的, 如果要進一步提高擬合精度, 可以通過增加隱層單元數(shù)或選擇多個隱層結構網絡的方法, 但這樣很容易導致擬合的局部振蕩, 會影響網絡的泛化能力。相比之下, RBF網絡對測試數(shù)據幾乎達到了完全逼近, 只有最后的幾個測試數(shù)據有較小誤差, 但誤差不超過0.524 1%； LMBP網絡有較大誤差, 且誤差波動較大, 其最大殘差不超過0.701 5%。

LMBP網絡與RBF網絡對于某渦流傳感器的輸入、 輸出測量數(shù)據的擬合效果如圖4所示。經分析可發(fā)現(xiàn)兩種都實現(xiàn)了對某渦流傳感器測量數(shù)據的擬合。RBF網絡基本上和測量點數(shù)據完全吻合, 而LMBP網絡則在多個函數(shù)段上有不吻合現(xiàn)象, 且RBF網絡擬合曲線更平滑。因此RBF網絡在整體擬合效果上也要優(yōu)于LMBP網絡。LMBP網絡與RBF網絡性能對比結果由表2所示, 在對某渦流傳感器的測量數(shù)據進行擬合時, RBF網絡的綜合性能較LMBP網絡更為優(yōu)越。

圖3 測量點相對誤差變化曲線 圖4 LMBP網絡與RBF網絡對于某 渦流傳感器的擬合效果

表2 LMBP網絡與RBF網絡性能對比結果

4 結 語

利用神經網絡的非線性映射關系可實現(xiàn)任意數(shù)據的函數(shù)逼近且無需知道數(shù)據的數(shù)學模型。LMBP網絡和RBF網絡對訓練樣本均有很高的擬合精度, 但RBF網絡的精度稍高于LMBP網絡, 幾乎達到了完全逼近, 而且設計更方便, 網絡可以自動增加神經元直到滿足精度要求為止。當訓練樣本過多時, RBF網絡的結構過于龐大, 從而運算量也有所增加, 復雜程度會隨之增大, 而LMBP網絡則不會出現(xiàn)此問題, 這時選用網絡能更好地滿足工程需要。LMBP網絡在訓練過程中需要對網絡的所有權值和閾值進行修正, 是全局逼近網絡, 訓練速度較慢, 所以在對實時性較高的場合不宜用LMBP網絡擬合渦流傳感器特性曲線。RBF網絡是利用高斯函數(shù)對非線性輸入輸出映射進行局部逼近, 對每個訓練樣本只需要對少量的權值和閾值進行修正, 訓練速度很快。所以, RBF網絡適宜應用于實時仿真計算、 實時控制等對時間要求比較高的場合。在測試數(shù)據較容易獲取的情況下, 要盡可能地將測試點范圍劃分更細些, 這樣局部擬合計算精度將更進一步提高。

參考文獻：

[1]蔣良孝, 李超群. 基于BP神經網絡的函數(shù)逼近方法及其MATLAB實現(xiàn) [J]. 微型機與應用, 2004, 23(1)： 52-53.

JIANG Liang-xiao, LI Chao-qun. Function Approach Method Based on BP Neural and Its Implement with MATLAB [J]. Microcomputer & Its Applications, 2004, 23(1)： 52-53.

[2]余妹蘭, 匡芳君. BP神經網絡學習算法的改進及應用 [J]. 沈陽農業(yè)大學學報, 2011, 42(3)： 382-384.

YU Mei-lan, KUANG Fang-jun. Improved Learning Algorithms for BP Neural Network and Application [J]. Journal of Shenyang Agricultural University, 2011, 42(3)： 382-384.

[3]賀清碧. BP神經網絡及應用研究 [D]. 重慶： 重慶交通大學信息科學與工程學院, 2004.

HE Qing-bi. Back Propagation Neural Network and Applications [D]. Chongqing: College of Information Science and Engineering, Chongqing Jiaotong University, 2004.

[4]史步海, 朱學峰. LMBP神經網絡改進算法的研究 [J]. 控制工程, 2008, 15(2)： 164-167.

SHI Bu-hai, ZHU Xue-feng. On Improved Algorithm of LMBP Neural Networks [J]. Control Engineering of China, 2008, 15(2)： 164-167.

[5]WANG Wei-peng. An Inventory Optimization Model Based on BP Neutral Network [C]∥2011 2nd IEEE International Conference on Software Engineering and Service Science. Beijing, China: IEEE, 2011: 415-418.

[6]李業(yè)麗, 馮超, 陸利坤. 一種基于共軛梯度的LMBP改進學習算法 [J]. 計算機工程與應用, 2008, 44(21): 106-108.

LI Ye-li, FENG Chao, LU Li-kun. Improved Learning Algorithm for LMBP Based on Conjugate Gradient Methods [J]. Computer Engineering and Applications, 2008, 44(21)： 106-108.

[7]王彥, 劉宏立, 楊珂. LMBP神經網絡PID控制器在暖通空調系統(tǒng)中的應用研究 [J]. 湖南大學學報: 自然科學版, 2010, 37(3): 49-52.

WANG Yan, LIU Hong-li, YANG Ke. Study on Application of LMBP Neural Network PID Controller in HVAC System [J]. Journal of Hunan University： Natural Sciences, 2010, 37(3): 49-52.

[8]郭新辰, 吳希, 陳書坤, 等. 基于RBFNN和PSO求解第二類Volterra積分方程的混合方法 [J]. 吉林大學學報： 理學版, 2010, 48(5)： 488-491.

GUO Xin-chen, WU Xi, CHEN Shu-kun, et al. Hybird Method Based on RBFNN and PSO for Solving Linear Volterra Integral Equations of the Second Kind[J]. Journal of Jilin University： Science Edition, 2010, 48(4)： 658-661.

[9]張一農, 劉伯龍, 王文婷. 基于神經網絡的客服中心話務量預測模型 [J]. 吉林大學學報： 信息科學版, 2011, 29(2)： 98-101.

ZHANG Yi-nong, LIU Bo-long, WANG Wen-ting. Neural Network Based Traffic Prediction Model of Customer Service Center [J]. Journal of Jilin University： Information Science Edition, 2011, 29(2)： 98-101.

[10]孫丹, 萬里明, 孫延風, 等. 一種改進的RBF神經網絡混合學習算法 [J]. 吉林大學學報： 理學版, 2010, 48(5)： 817-822.

SUN Dan, WAN Li-ming, SUN Yan-feng, et al. An Improved Hybrid Learning Algorithm for RBF Neural Network [J]. Journal of Jilin University: Science Edition, 2010, 48(5)： 817-822.

[11]李彬. 徑向基函數(shù)神經網絡的學習算法研究 [D]. 威海： 山東大學威海分校信息工程學院, 2005.

LI Bin. Research on Learning Algorithms of Radial Basis Function Neural Networks [D]. Weihai: School of Information Engineering, Shandong University at Weihai, Shandong University, 2005.

[12]劉延喜, 李忠范. RBF神經網絡非對稱損失改進及應用 [J]. 吉林大學學報: 信息科學版, 2010, 28(5)： 488-491.

LIU Yan-xi, LI Zhong-fan. Improving RBF Neural Network under Asymmetric Loss and Its Application [J]. Journal of Jilin University: Information Science Edition, 2010, 28(5)： 488-491.

[13]劉瑞年. 汽車銷售預測模型應用研究 [D]. 武漢： 武漢理工大學管理學院, 2009.

LIU Rui-nian. A Research on the Implement of Automobile Sales Forecast Models [D]. Wuhan: School of Management, Wuhan University of Technology, 2009.

[14]李濤, 伯曉晨. MATLAB工具箱應用指南 [M]. 北京： 電子工業(yè)出版社, 2000.

LI Tao, BO Xiao-chen. MATLAB Toolbox Application Guide [M]. Beijing: Publishing House of Electronics Industry, 2000.

[15]王曉茹. 影響徑向基神經網絡分類性能的因素 [J]. 吉林大學學報: 信息科學版, 2009, 27(2): 191-194.

WANG Xiao-ru. Influencing Element of RBFN’s Classification Performance [J]. Journal of Jilin University: Information Science Edition, 2009, 27(2): 191-194.