小波神經(jīng)網(wǎng)絡(luò)

左東廣，周 帥，張欣豫

(第二炮兵工程大學(xué) 一系，西安 710025)

小波分析是20 世紀80年代中期發(fā)展起來的一門新的數(shù)學(xué)理論和方法，是時間―頻率分析領(lǐng)域的一種新技術(shù)。小波分析的基本思想類似于傅里葉變換，用信號在一簇基函數(shù)張成的空間上的投影表征該函數(shù)。神經(jīng)網(wǎng)絡(luò)起源于20 世紀40年代，是由大量的、簡單的處理單元(神經(jīng)元)廣泛地互相連接形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，它反映了人腦功能的許多基本特征，是一個高度復(fù)雜的非線性動力學(xué)系統(tǒng)［1］。由于小波變換能夠反映信號的時頻局部特性和聚焦特性，而神經(jīng)網(wǎng)絡(luò)在信號處理方面具有自學(xué)習(xí)、自適應(yīng)、魯棒性、容錯性等能力。如何把二者的優(yōu)勢結(jié)合起來一直是人們所關(guān)心的問題，而小波神經(jīng)網(wǎng)絡(luò)就是小波分析和神經(jīng)網(wǎng)絡(luò)相結(jié)合的產(chǎn)物。

1 小波神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)

小波變換被認為是傅里葉發(fā)展史上一個新的里程碑，它克服了傅里葉分析不能作局部分析的缺點，是傅里葉分析劃時代發(fā)展的結(jié)果［2］。隨著小波理論日益成熟，其應(yīng)用領(lǐng)域也變得十分廣泛，特別是在信號處理、數(shù)值計算、模式識別、圖像處理、語音分析、量子物理、生物醫(yī)學(xué)工程、計算機視覺、故障診斷及眾多非線性領(lǐng)域等，小波變換都在不斷發(fā)展之中。

神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)學(xué)的研究基礎(chǔ)上發(fā)展起來的一種模仿人腦信息處理機制的網(wǎng)絡(luò)系統(tǒng)，它具有自組織、自學(xué)習(xí)和極強的非線性處理能力，能夠完成學(xué)習(xí)、記憶、識別和推理等功能［3］。神經(jīng)網(wǎng)絡(luò)的崛起，對認知和智力本質(zhì)的基礎(chǔ)研究乃至計算機產(chǎn)業(yè)都產(chǎn)生了空前的刺激和極大的推動作用。

目前，小波分析與神經(jīng)網(wǎng)絡(luò)主要有2 種結(jié)合方式［4］:一種是“松散型”，如圖1 所示，即先用小波分析對信號進行預(yù)處理，然后再送入神經(jīng)網(wǎng)絡(luò)處理;另一種是“緊致型”，如圖2所示，即小波神經(jīng)網(wǎng)絡(luò)(wavelet neural network)或小波網(wǎng)絡(luò)，它是結(jié)合小波變換理論與神經(jīng)網(wǎng)絡(luò)的思想而構(gòu)造的一種新的神經(jīng)網(wǎng)路模型。其方法是將神經(jīng)網(wǎng)絡(luò)隱含層中神經(jīng)元的傳遞激發(fā)函數(shù)用小波函數(shù)來代替，充分繼承了小波變換良好的時頻局部化性質(zhì)及神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能的特點，被廣泛運用于信號處理、數(shù)據(jù)壓縮、模式識別和故障診斷等領(lǐng)域?！熬o致型”小波神經(jīng)網(wǎng)絡(luò)具有更好的數(shù)據(jù)處理能力，是小波神經(jīng)網(wǎng)絡(luò)的研究方向。在圖2 中，有輸入層、隱含層和輸出層，輸出層采用線性輸出，輸入層有m(m =1，2，…，M)個神經(jīng)元，隱含層有k(k=1，2，…，K)個神經(jīng)元，輸出層有n(n =1，2，…，N)個神經(jīng)元。

根據(jù)基函數(shù)gk(x)和學(xué)習(xí)參數(shù)的不同，圖2 中小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可分3 種形式［5］:

1)連續(xù)參數(shù)的小波神經(jīng)網(wǎng)絡(luò)。這是小波最初被提出采用的一種形式。令圖2 中基函數(shù)為

則網(wǎng)絡(luò)輸出為

2)由框架作為基函數(shù)的小波神經(jīng)網(wǎng)絡(luò)。由于不考慮正交性，小波函數(shù)的選取有很大自由度。令圖2 中的基函數(shù)為

則網(wǎng)絡(luò)輸出為

根據(jù)函數(shù)f 的時頻特性確定j、k 的取值范圍后，網(wǎng)絡(luò)的可調(diào)參數(shù)只有權(quán)值，其與輸出呈線性關(guān)系，可通過最小二乘法或其他優(yōu)化法修正權(quán)值，使網(wǎng)絡(luò)能充分逼近f(x)。

這種形式的網(wǎng)絡(luò)雖然基函數(shù)選取靈活，但由于框架可以是線性相關(guān)的，使得網(wǎng)絡(luò)函數(shù)的個數(shù)有可能存在冗余，對過于龐大的網(wǎng)絡(luò)需考慮優(yōu)化結(jié)構(gòu)算法。

3)基于多分辨分析的正交基小波網(wǎng)絡(luò)。網(wǎng)絡(luò)隱節(jié)點由小波節(jié)點Ψ 和尺度函數(shù)節(jié)點φ 構(gòu)成，網(wǎng)絡(luò)輸出為

當尺度L 足夠大時，忽略式(5)右端第2 項表示的小波細節(jié)分量，這種形式的小波網(wǎng)絡(luò)的主要依據(jù)是Daubechies 的緊支撐正交小波及Mallat 的多分辨分析理論［6］。

盡管正交小波網(wǎng)絡(luò)在理論上研究較為方便，但正交基函數(shù)的構(gòu)造復(fù)雜，不如一般的基于框架的小波網(wǎng)絡(luò)實用。

2 小波神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法

小波神經(jīng)網(wǎng)絡(luò)最早是由法國著名的信息科學(xué)機構(gòu)IRISA的Zhang Qinghua 等［7］于1992年提出的，是在小波分析的基礎(chǔ)上提出的一種多層前饋模型網(wǎng)絡(luò)，可以使網(wǎng)絡(luò)從根本上避免局部最優(yōu)并且加快了收斂速度，具有很強的學(xué)習(xí)和泛化能力。小波神經(jīng)網(wǎng)絡(luò)是用非線性小波基取代通常的非線性sigmoid 函數(shù)，其信號表述是通過將所選取的小波基進行線性疊加來表現(xiàn)的［8］。

設(shè)小波神經(jīng)網(wǎng)絡(luò)有m 個輸入節(jié)點、N 個輸出節(jié)點、n 個隱層節(jié)點。網(wǎng)絡(luò)的輸入和輸出數(shù)據(jù)分別用向量X 和Y 來表示，即:

若設(shè)xk為輸入層的第k 個輸入樣本，yi為輸出層的第i個輸出值，wij為聯(lián)接輸出層節(jié)點i 和隱含層節(jié)點j 的權(quán)值，wjk為連接隱含層節(jié)點j 和輸入層節(jié)點k 的權(quán)值。令wi0是第j 個輸出層節(jié)點閾值，wj0是第j 個隱含層節(jié)點閾值(相應(yīng)的輸入x0= -1)，aj為第j 個隱含層節(jié)點的伸縮因子，bj為第j 個隱含層節(jié)點的平移因子，則小波神經(jīng)網(wǎng)絡(luò)模型［9］為

式中:di為網(wǎng)絡(luò)的輸出向量;W 為網(wǎng)絡(luò)中所有權(quán)值組成的權(quán)向量，W∈Rt。網(wǎng)絡(luò)的學(xué)習(xí)可以歸結(jié)為如下的無約束最優(yōu)化問題:

小波神經(jīng)網(wǎng)絡(luò)采用梯度法，即最快下降法來求解該問題，那么小波網(wǎng)絡(luò)的權(quán)值的調(diào)整規(guī)則處理過程分為2 個階段:一是從網(wǎng)絡(luò)的輸入層開始逐層向前計算，根據(jù)輸入樣本計算各層的輸出，最終求出網(wǎng)絡(luò)輸出層的輸出，這是前向傳播過程;二是對權(quán)值的修正，從網(wǎng)絡(luò)的輸出層開始逐層向后進行計算和修正，這是反向傳播過程。2 個過程反復(fù)交替，直到收斂為止。通過不斷修正權(quán)值W，使E(W)達到最小值。

則可以計算得到下列偏導(dǎo)數(shù):

為了加快算法的收斂速度，引入動量因子α，因此，權(quán)向量的迭代公式為:

在網(wǎng)絡(luò)權(quán)值的調(diào)整過程中，往往是在學(xué)習(xí)的初始階段，學(xué)習(xí)步長選擇大一些，以使學(xué)習(xí)速度加快;當接近最佳點時，學(xué)習(xí)速率選擇小一些，否則連接權(quán)值將產(chǎn)生振蕩而難以收斂。學(xué)習(xí)步長調(diào)整的一般規(guī)則是:在連續(xù)迭代幾步過程中，若新誤差大于舊誤差，則學(xué)習(xí)速率減小;若新誤差小于舊誤差，則增大學(xué)習(xí)步長。

3 小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

3.1 小波函數(shù)的選擇

小波的選擇具有相對的靈活性，對不同的數(shù)據(jù)信號，需要選擇恰當?shù)男〔ㄗ鳛榉纸饣Ｐ〔ㄗ儞Q不像傅里葉變換是由正弦函數(shù)唯一決定的，小波基可以有很多種，不同的小波適合不同的信號。

1)Mexican hat 和Morlet 小波基沒有尺度函數(shù)，是非正交小波基。其優(yōu)點是函數(shù)對稱且表達式清楚簡單，缺點是無法對分解后的信號進行重構(gòu)。采用Morlet 小波(r 通常取值為1.75)構(gòu)造的小波網(wǎng)絡(luò)已經(jīng)被用于各種領(lǐng)域。

2)Daubechies 是一種具有緊支撐的正交小波，隨著N 的增加，dbN 小波的時域支撐長度變長;矩陣階數(shù)增加;特征正則性增加，幅頻特性也越接近理想。當選取N 值越大的高階db 小波時，其構(gòu)成可近似看成一個理想的低通濾波器和理想的帶通濾波器，且具有能量無損性。

通常在信號的近似和估計作用中，小波函數(shù)選擇應(yīng)與信號的特征匹配，應(yīng)考慮小波的波形、支撐大小和消失矩陣的數(shù)目。連續(xù)小波基函數(shù)都在有效支撐區(qū)域之外快速衰減。有效支撐區(qū)域越長，頻率分辨率越好;有效支撐區(qū)域越短，時間分辨率越好。如果進行時頻分析，則要選擇光滑的連續(xù)小波，因為時域越光滑的基函數(shù)，在頻域的局部化特性越好。如果進行信號檢測，則應(yīng)盡量選擇與信號波形相近似［10］的小波。

3.2 隱含層節(jié)點的選取

隱含層節(jié)點的作用是從樣本中提取并存儲其內(nèi)在規(guī)律，每個隱含層節(jié)點有若干個權(quán)值，而每個權(quán)值都是增強網(wǎng)絡(luò)映射能力的參數(shù)。隱含層節(jié)點數(shù)量太少，網(wǎng)絡(luò)從樣本中獲取信息的能力就差，不足以概括和體現(xiàn)訓(xùn)練集中的樣本規(guī)律;隱含層節(jié)點數(shù)量太多，又可能把樣本中非規(guī)律性的內(nèi)容也會牢記，從而出現(xiàn)所謂的“過擬合”問題，反而降低了網(wǎng)絡(luò)的泛化能力。此外，隱含層節(jié)點數(shù)過多會增加神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間。

4 仿真與結(jié)果分析

采用指數(shù)函數(shù)驗證小波神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)擬合能力，自變量范圍為［-5，5］，采樣間隔為0.1，共101 個樣本點，其中前70 個樣本點作為訓(xùn)練樣本，后31 個樣本點作為檢驗樣本。小波神經(jīng)網(wǎng)絡(luò)采用“緊致型”結(jié)構(gòu)，將神經(jīng)網(wǎng)絡(luò)隱含層中的神經(jīng)元傳遞函數(shù)用小波函數(shù)來代替，采用通常用于信號分類的小波基函數(shù)Morlet 小波函數(shù)(r 通常取值為1.75)作為網(wǎng)絡(luò)隱含層的激勵函數(shù)，即:

式中t 為函數(shù)的輸入，其小波函數(shù)的圖形如圖3。

圖3 Morlet 小波函數(shù)

經(jīng)過Mablab 編程仿真得到的指數(shù)函數(shù)的逼近結(jié)果如圖4。從預(yù)測結(jié)果來看，小波神經(jīng)網(wǎng)絡(luò)具有擬合能力較強、計算速度較快、精度高等優(yōu)點，具有廣泛的應(yīng)用前景，但是該算法還存在著網(wǎng)絡(luò)權(quán)值、尺度因子和平移因子的初值選取困難等缺點，有待于進一步研究。

圖4 小波神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果

5 結(jié)束語

小波神經(jīng)網(wǎng)絡(luò)是小波分析和神經(jīng)網(wǎng)絡(luò)理論相結(jié)合的產(chǎn)物，繼承了小波變換良好的時頻局部化性質(zhì)及神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能的特點，它最初應(yīng)用于函數(shù)逼近和語音識別，隨后應(yīng)用領(lǐng)域逐漸推廣到非參數(shù)估計、天氣預(yù)報、多屬性決策、故障診斷與檢測、系統(tǒng)辨識、數(shù)據(jù)壓縮等。雖然小波分析理論和神經(jīng)網(wǎng)絡(luò)理論為小波網(wǎng)絡(luò)的研究應(yīng)用提供了堅實的理論基礎(chǔ)，但小波網(wǎng)絡(luò)的理論研究畢竟剛剛起步，迄今還存在許很大的發(fā)展空間。

［1］董長虹.Matlab 神經(jīng)網(wǎng)絡(luò)與應(yīng)用［M］.北京:國防工業(yè)出版社，2007:6-13.

［2］張紅英，吳斌.小波神經(jīng)網(wǎng)絡(luò)的研究及其展望［J］.西南工學(xué)院學(xué)報，2002(2):8-10.

［3］王永慶.人工智能原理與方法［M］.西安:西安交通大學(xué)出版社，1998:412-419.

［4］虞和濟.基于神經(jīng)網(wǎng)絡(luò)的智能診斷［M］.北京:冶金工業(yè)出版社，2000.

［5］李洋.小波過程神經(jīng)網(wǎng)絡(luò)相關(guān)理論及其應(yīng)用研究［D］.哈爾濱:哈爾濱工業(yè)大學(xué)，2008.

［6］秦前清，楊宗凱.實用小波分析［M］.西安:西安電子科技大學(xué)出版社，1998.

［7］Zhang Qinghua，Bmvenlste A.Wavelet networks［J］.IEEE Trans.On Nellml Networks，1992，3(6):889-898.

［8］王鴻斌，陳惠明.一種小波神經(jīng)網(wǎng)絡(luò)的優(yōu)化算法［J］.忻州師范學(xué)院學(xué)報，2006(3):40-42.

［9］許慧，申東日.一種用于非線性函數(shù)逼近的小波神經(jīng)網(wǎng)絡(luò)［J］.自動化與儀器儀表，2003(4):4-6.

［10］侯木舟.基于構(gòu)造型前饋神經(jīng)網(wǎng)絡(luò)的函數(shù)逼近與應(yīng)用［D］.長沙:中南大學(xué)，2009.

［11］高雋.人工神經(jīng)網(wǎng)絡(luò)原理及仿真實例［M］.北京:機械工業(yè)出版社，2003.