淺析人工神經(jīng)元網(wǎng)絡(luò)模型

李坤模

摘要：隨著控制理論的不斷發(fā)展，傳統(tǒng)控制理論已不能滿(mǎn)足生產(chǎn)生活所需，智能控制理論的出現(xiàn)解決了這一難題。本文將以人工神經(jīng)元為例進(jìn)行分析，進(jìn)而加深對(duì)于智能控制理論的理解與掌握。

關(guān)鍵詞：人工神經(jīng)元;神經(jīng)網(wǎng)絡(luò);智能控制

前言：

人工神經(jīng)元模型是人工神經(jīng)網(wǎng)絡(luò)的系統(tǒng)模型，主要是模擬人腦神經(jīng)細(xì)胞的工作特點(diǎn)而建立。學(xué)習(xí)并掌握人工神經(jīng)元的組成機(jī)制以及學(xué)習(xí)特點(diǎn)有助于發(fā)展智能控制理論，尤其在機(jī)器學(xué)習(xí)領(lǐng)域?qū)⒂芯薮蟮拇龠M(jìn)作用。

1 神經(jīng)元模型

1.1模型建立

神經(jīng)元模型的建立經(jīng)歷近半個(gè)多世紀(jì)，尤其在最近十多年間人工神經(jīng)元網(wǎng)絡(luò)研究取得很大進(jìn)展。人工神經(jīng)元網(wǎng)絡(luò)并不是簡(jiǎn)單的數(shù)學(xué)模型，而是一個(gè)巨大的復(fù)雜的非線性動(dòng)力學(xué)系統(tǒng)。為了方便研究，將其拆分為一個(gè)個(gè)神經(jīng)元模型進(jìn)行研究，然后將一個(gè)個(gè)單元進(jìn)行組合分析其綜合作用。類(lèi)似于人腦的神經(jīng)元結(jié)構(gòu)，人工建立的神經(jīng)元模型是一個(gè)具有非線性且具有多個(gè)輸入單個(gè)輸出的器件。不同的神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)具有不同的功能，但均具有學(xué)習(xí)的功能。從數(shù)學(xué)角度分析人工神經(jīng)元不難得出其輸入與輸出間的數(shù)值關(guān)系，依據(jù)這些數(shù)值關(guān)系可以建立不同的數(shù)學(xué)模型，例如Tan函數(shù)型、Sigmoid函數(shù)型等等，這些數(shù)學(xué)函數(shù)模型的建立有利于分析人工神經(jīng)元的工作特點(diǎn)，進(jìn)而得出神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)特點(diǎn)。

1.2模型分類(lèi)

由于神經(jīng)網(wǎng)絡(luò)的復(fù)雜性以及算法的多樣性，神經(jīng)網(wǎng)絡(luò)模型也各式各樣，如CMAC小腦模型、Blotzman機(jī)網(wǎng)絡(luò)等。通過(guò)神經(jīng)元的互相連接協(xié)調(diào)構(gòu)成了龐大而復(fù)雜的神經(jīng)元網(wǎng)絡(luò)。目前的神經(jīng)網(wǎng)絡(luò)大致可以分為前向型網(wǎng)絡(luò)（各級(jí)神經(jīng)元之間不存在反饋關(guān)系）、反饋型網(wǎng)絡(luò)（網(wǎng)絡(luò)的輸入層和輸出層之間的神經(jīng)元之間具有反饋聯(lián)系，其它層不存在）、混合型網(wǎng)絡(luò)（同一層的神經(jīng)元可以產(chǎn)生橫向抑制或者興奮效應(yīng)）、互相結(jié)合型網(wǎng)絡(luò)（此種模型的任何神經(jīng)元之間均可能存在聯(lián)系）。

1.3神經(jīng)元特征

通過(guò)對(duì)于人體神經(jīng)元的研究，人體神經(jīng)元具有很多生物特征，建立的人工神經(jīng)元模型正是基于生物神經(jīng)元的特征而建立起來(lái)的。最明顯的特征有記憶以及記憶信息的儲(chǔ)藏功能，由此部分神經(jīng)元的損傷并不會(huì)丟失全部信息。人體神經(jīng)元猶如多臺(tái)并行工作的計(jì)算機(jī)一樣處理著各種復(fù)雜多變的信息，這需要各個(gè)神經(jīng)元的協(xié)調(diào)且高度的配合。此外，執(zhí)行智能行為時(shí)需要很多部分的神經(jīng)元配合，即分散性控制。談到機(jī)器學(xué)習(xí)，最重要的功能是自學(xué)習(xí)的功能，即不需要過(guò)多干預(yù)機(jī)器能夠自主學(xué)習(xí)并適應(yīng)環(huán)境，通過(guò)聯(lián)想及以往經(jīng)驗(yàn)從而做出正確的決策，并且做出的決定是具有一定的容錯(cuò)性質(zhì)的。

2 學(xué)習(xí)算法

2.1分類(lèi)

人工神經(jīng)元正如人體學(xué)習(xí)過(guò)程一樣，分為有指導(dǎo)和無(wú)指導(dǎo)兩大類(lèi)型。在進(jìn)行人體神經(jīng)元的研究中，結(jié)合建立的人工神經(jīng)元模型，引入期望這一概念。如果人工神經(jīng)元學(xué)習(xí)的結(jié)果能夠按照期望發(fā)展，并且當(dāng)結(jié)果與期望值有一定的誤差時(shí)，神經(jīng)網(wǎng)絡(luò)能夠及時(shí)調(diào)整學(xué)習(xí)的方式（即調(diào)整相互之間的權(quán)值），這樣的學(xué)習(xí)方式稱(chēng)為有導(dǎo)師的學(xué)習(xí)。相反，沒(méi)有給予神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)，但是建立一個(gè)能夠間接評(píng)估學(xué)習(xí)效果的體系，這種學(xué)習(xí)模式稱(chēng)為無(wú)導(dǎo)師學(xué)習(xí)。如果按照神經(jīng)元之間聯(lián)系權(quán)重的更改方式又可以分為糾錯(cuò)學(xué)習(xí)、相關(guān)學(xué)習(xí)、無(wú)導(dǎo)師學(xué)習(xí)等。

2.2泛化能力

人腦能夠適應(yīng)萬(wàn)千世界中的各種事物離不開(kāi)人腦具有泛化能力這一重要特征。例如，當(dāng)輸入量中夾雜著部分噪聲時(shí)，人腦依舊能夠從中獲取到其所需的有用信息而不受噪聲所影響，人工神經(jīng)元網(wǎng)絡(luò)也應(yīng)達(dá)到當(dāng)輸入存在差異時(shí)其輸出能夠同樣準(zhǔn)確而全面的效果。在有導(dǎo)師學(xué)習(xí)的模式下，選取具有一定概率特征的樣本的部分作為人工神經(jīng)元的訓(xùn)練模板，經(jīng)過(guò)學(xué)習(xí)，人工神經(jīng)元的輸出與期望值之間會(huì)存在一定的偏差。同時(shí)，從樣本中再選一部分來(lái)驗(yàn)證人工神經(jīng)元的學(xué)習(xí)效果，驗(yàn)證過(guò)后會(huì)和期望值間產(chǎn)生一個(gè)新的誤差，此時(shí)的誤差與訓(xùn)練的誤差間的差值可以作為評(píng)價(jià)人工神經(jīng)元的泛化能力。這種能力和人工神經(jīng)網(wǎng)絡(luò)的輸入、網(wǎng)絡(luò)節(jié)點(diǎn)及訓(xùn)練樣本等密切相關(guān)。

在進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)會(huì)涉及到一種數(shù)學(xué)方法，即梯度法，這只是一種求解無(wú)約束最優(yōu)化問(wèn)題的解決方法，主要利用函數(shù)的解析性質(zhì)使之不斷收斂從而求得最優(yōu)解。人工神經(jīng)元在建立模型的時(shí)候會(huì)建立數(shù)學(xué)函數(shù)，在訓(xùn)練過(guò)程中往往需要用到這種方法。首先需要確定搜索方向與搜索的步長(zhǎng)，在給定初始點(diǎn)的情況下通過(guò)計(jì)算搜索方向一步步進(jìn)行迭代最終求解。

3 前向神經(jīng)網(wǎng)絡(luò)

前向神經(jīng)網(wǎng)絡(luò)在人工神經(jīng)網(wǎng)絡(luò)中應(yīng)用廣泛，每一層神經(jīng)元的輸出作為下一層神經(jīng)元的輸入，通常分析按照單一、單層、多層的不同層次進(jìn)行，單一神經(jīng)元是研究其他層次的理論基礎(chǔ)。單一神經(jīng)元的輸出受到多種因素的影響，加之自身存在閾值，故通常建立數(shù)學(xué)函數(shù)來(lái)描述單一神經(jīng)元的工作特點(diǎn)。引入激勵(lì)函數(shù)作為數(shù)學(xué)模型的表達(dá)方式，單一神經(jīng)元的輸出可以看做是多個(gè)外界輸入和自身閾值的綜合的激勵(lì)函數(shù)表達(dá)式。這樣單層神經(jīng)元的數(shù)學(xué)表達(dá)式便是單層神經(jīng)元的綜合效果，即累加模式。由于多層神經(jīng)元的各層輸入與上一層的神經(jīng)元輸出密切相關(guān)，故需要一層層計(jì)算當(dāng)層神經(jīng)元的輸出進(jìn)行遞進(jìn)求得最終輸出層神經(jīng)元的輸出。在實(shí)際的研究過(guò)程中，為了解決問(wèn)題的方便，通?？梢约僭O(shè)每一層神經(jīng)元的激勵(lì)函數(shù)的表達(dá)式均是相同的，即共用一個(gè)激勵(lì)函數(shù)，這樣最終神經(jīng)元的輸出表達(dá)式便得到統(tǒng)一。

在進(jìn)行前向神經(jīng)網(wǎng)絡(luò)的研究中，BP學(xué)習(xí)算法得到了廣泛應(yīng)用。前向神經(jīng)網(wǎng)絡(luò)通常利用網(wǎng)絡(luò)的實(shí)際輸出與期望輸出進(jìn)行對(duì)比從而調(diào)整網(wǎng)絡(luò)權(quán)陣進(jìn)行訓(xùn)練。BP學(xué)習(xí)算法通常給定一定量的學(xué)習(xí)樣本來(lái)訓(xùn)練網(wǎng)絡(luò)，最終根據(jù)網(wǎng)絡(luò)的輸出與期望的誤差來(lái)倒調(diào)網(wǎng)絡(luò)權(quán)重，如此反復(fù)進(jìn)行最終達(dá)到訓(xùn)練目標(biāo)。具體過(guò)程為輸入信號(hào)經(jīng)過(guò)逐層的傳播，每一層的神經(jīng)元的狀態(tài)影響下一層神經(jīng)元的狀態(tài)，在這過(guò)程中神經(jīng)網(wǎng)絡(luò)間的權(quán)重是不發(fā)生改變的;當(dāng)達(dá)到最終的輸出層時(shí)，如果訓(xùn)練的結(jié)果達(dá)不到預(yù)期，則需要神經(jīng)網(wǎng)絡(luò)的誤差信號(hào)向后傳播來(lái)逐層調(diào)節(jié)權(quán)重從而使最終的實(shí)際輸出更接近期望值。需要注意的是，在應(yīng)用BP算法時(shí)，權(quán)重的初值、學(xué)習(xí)方式以及學(xué)習(xí)速率的選取都會(huì)影響學(xué)習(xí)效果，而且局部最小問(wèn)題會(huì)造成在學(xué)習(xí)過(guò)程中出現(xiàn)振蕩現(xiàn)象從而不能很好地趨于最優(yōu)解。于是，需要對(duì)BP算法進(jìn)行改進(jìn)與完善以便于更符合人們的預(yù)期。

4 動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)

動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的引入對(duì)于更深入地研究神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用具有重要意義。動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)中有一類(lèi)單層反饋型神經(jīng)網(wǎng)絡(luò)成為Hopfield神經(jīng)網(wǎng)絡(luò)，分為DHNN與CHNN兩大類(lèi)。當(dāng)神經(jīng)網(wǎng)絡(luò)的連接權(quán)重是齊次對(duì)稱(chēng)時(shí)，此時(shí)神經(jīng)網(wǎng)絡(luò)在任何輸入條件下都能趨于穩(wěn)定狀態(tài)。當(dāng)規(guī)定每個(gè)神經(jīng)元只有興奮和抑制兩種狀態(tài)并且每個(gè)神經(jīng)元之間都存在相互連接時(shí)即構(gòu)成二值型Hopfield網(wǎng)絡(luò)。在研究此類(lèi)網(wǎng)絡(luò)時(shí)，可以采取同步或者異步兩種方式，即神經(jīng)元的狀態(tài)調(diào)整并行與否。通過(guò)利用動(dòng)力學(xué)中的能量觀點(diǎn)來(lái)觀察此類(lèi)神經(jīng)網(wǎng)絡(luò)時(shí)可以發(fā)現(xiàn)每個(gè)神經(jīng)元的狀態(tài)最終會(huì)趨于穩(wěn)定的狀態(tài)，而且穩(wěn)定狀態(tài)與能量函數(shù)在狀態(tài)空間的局部極小狀態(tài)是相對(duì)應(yīng)的。由此可以引入學(xué)習(xí)方法來(lái)訓(xùn)練此網(wǎng)絡(luò)，常見(jiàn)的有Hebb學(xué)習(xí)規(guī)則，此外，Hopfield神經(jīng)網(wǎng)絡(luò)還具有聯(lián)想記憶功能。

5 總結(jié)

人工神經(jīng)元網(wǎng)絡(luò)的研究會(huì)隨著社會(huì)的發(fā)展與科學(xué)技術(shù)的進(jìn)步而不斷完善，如何進(jìn)一步深入人工神經(jīng)元網(wǎng)絡(luò)的研究并廣泛應(yīng)用其研究成果還需要投入更多的時(shí)間和精力。

參考文獻(xiàn)：

[1]張遠(yuǎn)望.人工智能與應(yīng)用 [J].中國(guó)科技縱橫，2015，（20）：22.

[2]曾紅玉.基于神經(jīng)網(wǎng)絡(luò)BP算法的改進(jìn)[D].烏魯木齊：新疆大學(xué)，2003.

[3]蔣宗禮.人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論[M].北京：高等教育出版社，2001.