人工神經(jīng)網(wǎng)絡在計算機中的應用前景分析

曲 川

摘要:神經(jīng)網(wǎng)絡是人們在模仿人腦處理問題的過程中發(fā)展起來的一種新型智能信息處理理論,它通過大量的稱為神經(jīng)元的簡單處理單元構(gòu)成非線性動力學系統(tǒng),對人腦的形象思維、聯(lián)想記憶等進行模擬和抽象,實現(xiàn)與人腦相似的學習、識別、記憶等信息處理能力。神經(jīng)網(wǎng)絡在經(jīng)歷了40多年的曲折發(fā)展之后,在信息科學領域等許多應用方面己顯示出巨大潛力和廣闊的應用前景。

關鍵詞:神經(jīng)網(wǎng)絡;計算機;智能信息;應用

中圖分類號:TP183

文獻標識碼:A

文章編號:16723198(2009)20028602お

1神經(jīng)網(wǎng)絡的定義

一般情況下,人工神經(jīng)元網(wǎng)絡是作為信息處理單元來模仿大腦,執(zhí)行特定的任務或完成感興趣的功能。關于它的定義有很多種,而下面的Hecht睳ielsen給出的神經(jīng)網(wǎng)絡定義最具有代表意義: 神經(jīng)網(wǎng)絡是一種并行的分布式信息處理結(jié)構(gòu),它通過稱為連接的單向信號通路將一些處理單元互連而成。每一個處理單元都有一個單輸出到所期望的連接。每一個處理單元傳送相同的信號——處理單元輸出信號。處理單元的輸出信號可以是任一種所要求的數(shù)學類型。在每一個處理單元中執(zhí)行的信息處理在它必須完全是局部的限制下可以被任意定義,即它必須只依賴于處理單元所接受的輸入激勵信號的當前值和處理單元本身所存儲記憶的值。

2神經(jīng)網(wǎng)絡的基本屬性

(1)非線性: 人腦的思維是非線性的,故人工神經(jīng)網(wǎng)絡模擬人的思維也應是非線性的。

(2)非局域性: 非局域性是人的神經(jīng)系統(tǒng)的一個特性,人的整體行為是非局域性的最明顯體現(xiàn)。神經(jīng)網(wǎng)絡以大量的神經(jīng)元連接模擬人腦的非局域性,它的分布存儲是非局域性的一種表現(xiàn)。

(3)非定常性: 神經(jīng)網(wǎng)絡是模擬人腦思維運動的動力學系統(tǒng),它應按不同時刻的外界刺激對自己的功能進行修改,故而它是一個時變的系統(tǒng)。

(4)非凸性:神經(jīng)網(wǎng)絡的非凸性即是指它有多個極值,也即系統(tǒng)具有不只一個的較穩(wěn)定的平衡狀態(tài)。這種屬性會使系統(tǒng)的演化多樣化。

3神經(jīng)網(wǎng)絡模型的分類

(1)按照網(wǎng)絡的結(jié)構(gòu)區(qū)分,則有前向網(wǎng)絡和反饋網(wǎng)絡。

(2)按照學習方式區(qū)分,則有教師學習和無教師學習網(wǎng)絡。

(3)按照網(wǎng)絡性能區(qū)分,則有連續(xù)型和離散性網(wǎng)絡,隨機型和確定型網(wǎng)絡。

(4)按照突觸性質(zhì)區(qū)分,則有一階線性關聯(lián)網(wǎng)絡和高階非線性關聯(lián)網(wǎng)絡。

(5)按對生物神經(jīng)系統(tǒng)的層次模擬區(qū)分,則有神經(jīng)元層次模型,組合式模型,網(wǎng)絡層次模型,神經(jīng)系統(tǒng)層次模型和智能型模型。

通常人們較多地考慮神經(jīng)網(wǎng)絡的互連結(jié)構(gòu)。一段而言,神經(jīng)網(wǎng)絡有分層網(wǎng)絡、層內(nèi)連接的分層網(wǎng)絡、反饋連接的分層網(wǎng)絡、互連網(wǎng)絡等4種互連結(jié)構(gòu)。在人們提出的幾十種神經(jīng)網(wǎng)絡模型中,人們較多用的是Hopfield網(wǎng)絡、BP網(wǎng)絡、Kohonen網(wǎng)絡和AR雙自適應共振理論網(wǎng)絡。

Hopfield網(wǎng)絡是最典型的反饋網(wǎng)絡模型,它是目前人們研究得最多的模型之一。Hopfield網(wǎng)絡是由相同的神經(jīng)元構(gòu)成的單層,并且不具學習功能的自聯(lián)想網(wǎng)絡。它需要對稱連接。這個網(wǎng)絡習以完成制約優(yōu)化和聯(lián)想記憶等功能。

BP網(wǎng)絡是誤差反向傳播(Back Propagation)網(wǎng)絡。它是一種多層前向網(wǎng)絡,采用最小均方差學習方式。這是一種最廣泛應用的網(wǎng)絡。它可用于語言綜合,識別和自適應控制等用途。BP網(wǎng)絡需有教師訓練。

Kohonen網(wǎng)絡是典型的自組織神經(jīng)網(wǎng)絡,這種網(wǎng)絡也稱為自組織特征映射網(wǎng)絡SOM。它的輸入層是單層單維神經(jīng)元;而輸出層是二維的神經(jīng)元,神經(jīng)元之間存在以“墨西哥帽”形式進行側(cè)向交互的作用。因而,在輸出層中,神經(jīng)元之間有近揚遠抑的反饋特性,從而使Kohonen網(wǎng)絡可以作為模式特征的檢測器。

ART網(wǎng)絡也是一種自組織網(wǎng)絡模型。這是一種無教師學習網(wǎng)絡。它能夠較好地協(xié)調(diào)適應性,穩(wěn)定性和復雜性的要求。在ART網(wǎng)絡中,通常需要兩個功能互補的子系統(tǒng)相互作用.這兩個子系統(tǒng)稱注意子系統(tǒng)和取向子系統(tǒng)。ART網(wǎng)絡主要用于模式識別,它不足之處是在于對轉(zhuǎn)換、失真和規(guī)模變化較敏感。

4誤差反向傳播的前饋網(wǎng)絡(BP網(wǎng)絡)

學習是神經(jīng)網(wǎng)絡一種最重要也最令人注目的特點。自從40年代Hebb提出的學習規(guī)則以來,人們相繼提出了各種各樣的學習算法。其中以在1986年Rumelhart等提出的誤差反向傳播法,即BP(error BackPropagation)法影響最為廣泛。直到今天,BP算法仍然是最重要、應用最多的有效算法。

(1)神經(jīng)網(wǎng)絡的學習機理和機構(gòu):在神經(jīng)網(wǎng)絡中,對外部環(huán)境提供的模式樣本進行學習訓練,并能存儲這種模式,則稱為感知器,感知器采用有教師信號進行學習。感知器的學習是神經(jīng)網(wǎng)絡最典型的學習。這種學習系統(tǒng)分成三個部分:輸入部,訓練部和輸出部。

輸入部接收外來的輸入樣本X,由訓練部進行網(wǎng)絡的權(quán)值W調(diào)整,然后由輸出部輸出結(jié)果。在這個過程中,期望的輸出信號可以作為教師信號輸入,由該教師信號與實際輸出進行比較,產(chǎn)生的誤差去控制修改權(quán)值W。

(2)神經(jīng)網(wǎng)絡學習的梯度算法:從感知器的學習算法可知,學習的目的是在于修改網(wǎng)絡中的權(quán)值,使到網(wǎng)絡對于所輸入的模式樣本能正確分類。當學習結(jié)束時,也即神經(jīng)網(wǎng)絡能正確分類時,顯然權(quán)值就反映了同類輸人模式樣本的共同特征。換句話講,權(quán)值就是存儲了的輸人模式。由于權(quán)值是分散存在的,故神經(jīng)網(wǎng)絡自然而然就有分布存儲的特點。

感知器學習算法相當簡單,當函數(shù)不是線性可分時求不出結(jié)果,而且不能推廣到一般前饋網(wǎng)絡中,為此出現(xiàn)了另一種算法-梯度算法((LMS)。梯度算法把神經(jīng)元的激發(fā)函數(shù)改為可微分函數(shù),例如非對稱Sigmoid函數(shù)為f (x) = l/(1 + e-x ),或?qū)ΨQSigmoid函數(shù)f (x) = (1 - e-x )/ (1 + e-x ) 梯度法比原來感知器的學習算法進了一大步。

(3)反向傳播學習的BP算法:感知機學習算法是一種單層網(wǎng)絡的學習算法。在多層網(wǎng)絡中,它只能改變最后權(quán)值。因此,感知機學習算法不能用于多層神經(jīng)網(wǎng)絡的學習。1986年,Rumelhart提出了反向傳播學習算法,即BP算法。這種算法可以對網(wǎng)絡中各層的權(quán)值進行修正,故適用于多層網(wǎng)絡的學習。

它含有輸人層、輸出層以及處于輸入輸出層之間單層或多層的中間層,即隱含層。隱含層雖然和外界不連接,但是,它們的狀態(tài)則影響輸入輸出之間的關系。這也是說,改變隱含層的權(quán)值,可以改變整個多層神經(jīng)網(wǎng)絡的性能。

5結(jié)語

神經(jīng)網(wǎng)絡模式識別方法是近幾年興起的模式識別領域的一個新的研究方向。由于神經(jīng)網(wǎng)絡的高速并行處理、分布存貯信息等特性符合人類視覺系統(tǒng)的基本工作原則,具有很強的自學習性、自組織性、容錯性、高度非線性、高魯棒性、聯(lián)想記憶功能和推理意識功能等,能夠?qū)崿F(xiàn)目前基于計算理論層次上的模式識別理論所無法完成的模式信息處理工作,所以,采用神經(jīng)網(wǎng)絡進行模式識別,突破了傳統(tǒng)模式識別技術(shù)的束縛,開辟了模式識別發(fā)展的新途徑。同時,神經(jīng)網(wǎng)絡模式識別也成為神經(jīng)網(wǎng)絡最成功和最有前途的應用領域之一。