人工神經(jīng)網(wǎng)絡(luò)初探

杜秉航

摘 要 本文重點(diǎn)總結(jié)了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程，并闡述了它的仿生學(xué)原理、BP算法步驟及其改進(jìn)，最后分析了人工神經(jīng)網(wǎng)絡(luò)在具體領(lǐng)域的應(yīng)用并展望了它的前景。

關(guān)鍵詞 人工神經(jīng)網(wǎng)絡(luò)；發(fā)展；應(yīng)用；BP算法

中圖分類號 TP3 文獻(xiàn)標(biāo)識碼 A 文章編號 1674-6708（2018）203-0066-03

1 人工神經(jīng)網(wǎng)絡(luò)發(fā)展背景分析

人工神經(jīng)網(wǎng)絡(luò)是一門人工智能領(lǐng)域的新興信息系統(tǒng)，運(yùn)用了模仿人腦結(jié)構(gòu)的仿生學(xué)原理，它得天獨(dú)厚的非線性信息的處理、整合的強(qiáng)大功能，使之在信息、醫(yī)學(xué)、經(jīng)濟(jì)、交通、控制、心理學(xué)等領(lǐng)域具有極其廣闊的發(fā)展前景。它的發(fā)展可概括為四個歷史時期：起步時期、低迷時期、恢復(fù)時期、新發(fā)展時期。

1.1 啟蒙時期：20世紀(jì)40年代—20世紀(jì)60年代

人工神經(jīng)網(wǎng)絡(luò)發(fā)展的奠基時期。

1943年，開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的是一個神經(jīng)元模型（M-P模型）。

1952年，英國生物學(xué)家 Hodgkin和Huxley建立著名的H-H方程。這一方程廣泛用于描述神經(jīng)膜中的非線性現(xiàn)象，有重大歷史意義。

1960年，Widrow和Hoff提出激起許多學(xué)者興趣Adaline網(wǎng)絡(luò)模型，可用于自適應(yīng)系統(tǒng)。上述成果足以表明初期人工神經(jīng)網(wǎng)絡(luò)所取得的奠基性成就。

1.2 低谷時期

正當(dāng)人們受到極大的鼓舞努力追求神經(jīng)網(wǎng)絡(luò)那美好的目標(biāo)但卻忽視其本身的局限性時，人工智能的創(chuàng)始人之一Minskyh和Papert經(jīng)過多年的深入研究，于1969年在《Percep2trons》一書中，明確指出當(dāng)前的網(wǎng)絡(luò)只能應(yīng)用于簡單的線性問題而不能有效地應(yīng)用于多層網(wǎng)絡(luò)的巨大局限。由此，美蘇的科研機(jī)構(gòu)紛紛撤資，從而形成了長達(dá)10年的發(fā)展低谷?？上驳氖牵诘凸戎腥杂幸恍┛茖W(xué)家不忘初心，鍥而不舍地追求人工神經(jīng)網(wǎng)絡(luò)的研究，使它出現(xiàn)了灰色時期的微馨。

先輩們持之以恒的工作精神值得我們后來者學(xué)習(xí)，杰出的成果更是為日后神經(jīng)網(wǎng)絡(luò)研究打下了極其堅(jiān)固的地基。

1.3 復(fù)興時期

1986年，美國Rumelhart和McCkekkand提出PDP網(wǎng)絡(luò)思想，進(jìn)一步被推動神經(jīng)網(wǎng)絡(luò)發(fā)展同時對BP算法進(jìn)行了極具歷史性的整合總結(jié)。

20世紀(jì)90年代中后期，神經(jīng)網(wǎng)絡(luò)研究在已有理論不斷深化的基礎(chǔ)上達(dá)到了一個新的高度，新的理論和方法不斷出現(xiàn)并被投入使用。

1.4 迅速發(fā)展時期

20世紀(jì)80年代，伴隨著人工神經(jīng)網(wǎng)絡(luò)在世界范圍內(nèi)的不斷興起、復(fù)蘇，中國也逐步開始研究神經(jīng)網(wǎng)絡(luò)。

1990年2月，中國8個頂尖學(xué)會聯(lián)合在北京召開“中國神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)會議”。經(jīng)過二十幾年的不斷發(fā)展，中國的研究取得了萬眾矚目的輝煌成就。

2 理論分析

2.1 人工神經(jīng)網(wǎng)絡(luò)仿生學(xué)原理

人工神經(jīng)結(jié)構(gòu)網(wǎng)絡(luò)運(yùn)用了仿生學(xué)原理。大家都知道，人類的大腦是一個十分神秘的器官，可以說有無限的開發(fā)潛能。據(jù)美國著名大腦專家東尼博贊統(tǒng)計(jì)，如果一個人從出生開始以每秒10條信息的速度向大腦輸入信息，那么到這個人將去世的時候，他的大腦所儲存的信息也不到總腦容量的一半。再舉一個現(xiàn)實(shí)中的例子：聞名遐邇的科學(xué)家阿爾伯特·愛因斯坦的大腦開發(fā)量也不超過4%。所以人工神經(jīng)結(jié)構(gòu)網(wǎng)絡(luò)就是在這樣一種令人驚異的人腦基礎(chǔ)上展開研究的，經(jīng)過一個世紀(jì)的研究，展現(xiàn)出了難以估量的潛力和誘人的前景，吸引無數(shù)專家學(xué)者“沉溺”其中，推動著它不斷縱向和橫向發(fā)展。

人工神經(jīng)網(wǎng)絡(luò)的仿生起點(diǎn)，是神經(jīng)元的信號傳遞方式，一個神經(jīng)元就是一個神經(jīng)細(xì)胞，它是神經(jīng)系統(tǒng)的基本組成單位，神經(jīng)元之間通過突觸連接，構(gòu)成了極其復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。

初期的人工神經(jīng)網(wǎng)絡(luò)通過模仿一個簡單神經(jīng)元的工作過程：來自外界或其他細(xì)胞的信號通過突觸傳導(dǎo)給神經(jīng)元，當(dāng)細(xì)胞收到的信號總和達(dá)到一定的閾值后細(xì)胞釋放神經(jīng)遞質(zhì)，通過軸突向下一個細(xì)胞發(fā)送電信號。這個過程就蘊(yùn)藏著細(xì)胞對外界信息加工的過程。

人工神經(jīng)網(wǎng)絡(luò)研究的愿景與靈感大抵如上所述。

2.2 人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)

2.2.1 McCulloch-pitts模型

由W.S. McCulloch和W.H.Pitts于1943年提出此模型。

神經(jīng)元是此模型中的功能是將輸入信號加權(quán)求和，當(dāng)求和值超過閾值時神經(jīng)元進(jìn)入激活狀態(tài)，輸出值為1，如果不超過閾值，輸出值為0，這個模型可用公式：

θj稱為閾值邏輯單元，若要使輸出值為1或-1，則可用符號函數(shù)sgh（.）替代θ（.）

很顯然，這個模型是高度簡化的，只是反映出神經(jīng)元的最簡單的功能特征，但是作為一種極度的抽象形式，這一科技模型反映著神經(jīng)結(jié)構(gòu)網(wǎng)絡(luò)的研究出發(fā)點(diǎn)，是人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。

它作為一種最簡單的可學(xué)習(xí)機(jī)器，只能完成線性可分?jǐn)?shù)據(jù)分類問題，對于非線性問題它無能為力。但當(dāng)多個基礎(chǔ)模型交錯組合形成的一般神經(jīng)網(wǎng)絡(luò)就具備了很強(qiáng)的非線性問題處理能力。

2.2.2 BP算法的建立及其改進(jìn)

毫不夸張地說，BP神經(jīng)網(wǎng)絡(luò)模型是人工神經(jīng)結(jié)構(gòu)網(wǎng)絡(luò)的左膀右臂，實(shí)際上是一個多元函數(shù)的優(yōu)化問題，即以連接權(quán)系數(shù)為變量，將誤差函數(shù)最小化作為目標(biāo)的優(yōu)化問題。

BP算法上的突破主要源于著名的Singmoid函數(shù)（S形函數(shù)）來代替初期感知器中的閾值函數(shù)來構(gòu)建神經(jīng)網(wǎng)絡(luò)。如圖1。

Sigmoid函數(shù)可表示為其值域?yàn)椋?，1），由于處處可導(dǎo)，則可以看作是對階躍函數(shù)的逼近，Sigmoid函數(shù)的構(gòu)建實(shí)現(xiàn)了誤差的逆?zhèn)鞑?，從而使得反向傳播過程中根據(jù)輸出節(jié)點(diǎn)的實(shí)際輸出和理想輸出的誤差逐層修改權(quán)值成為可能，自主尋找并提取解決問題的求解規(guī)劃，很對人工智能自學(xué)的胃口。由此，可以認(rèn)為BP算法的建立是人工神經(jīng)網(wǎng)絡(luò)的一個飛躍式進(jìn)步。endprint

2.3 BP算法的基本步驟

BP算法的目標(biāo)函數(shù)（誤差函數(shù)）是神經(jīng)網(wǎng)絡(luò)在所有樣本上期望輸出與預(yù)測輸出的切方誤差，通過采用梯度下降法來調(diào)整各層權(quán)值求目標(biāo)函數(shù)的最小化。

具體步驟如下：

1）隨機(jī)賦予各權(quán)值的一定初值。

2）前向過程：當(dāng)某個具體樣本作用在輸出端后，利用當(dāng)前權(quán)值計(jì)算輸出，即一個信號從輸入到隱層再到輸出。

3）誤差逆轉(zhuǎn)修正權(quán)值。計(jì)算所得到的輸出與樣本已知正確輸出之間誤差，并根據(jù)誤差對節(jié)點(diǎn)權(quán)值的偏導(dǎo)數(shù)修正權(quán)值，直到把各層權(quán)值都修正一次。

選擇另一樣本重復(fù)上述過程。

4）訓(xùn)練中總的誤差水平達(dá)到預(yù)先設(shè)定閾值或訓(xùn)練時間達(dá)到預(yù)定上限時終止學(xué)習(xí)。

BP算法的關(guān)鍵在于能夠?qū)⒄`差反向傳播到各隱層節(jié)點(diǎn)，從而對中間各層權(quán)值進(jìn)行學(xué)習(xí)。

BP算法的局限性：BP算法的本質(zhì)是梯度下降法，它所要的最小化目標(biāo)函數(shù)非常復(fù)雜，因此算法可能陷入目標(biāo)函數(shù)的局部最小點(diǎn)，即出現(xiàn)“鋸齒形現(xiàn)象”，所以不能保證收斂到全局最優(yōu)點(diǎn)，這同時也注定BP算法是低效的。

BP算法的優(yōu)化：BP人工神經(jīng)網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)算法。

優(yōu)化點(diǎn)（一）初始權(quán)值的選取。

未改進(jìn)的BP算法采用隨機(jī)抽取思想，產(chǎn)生大量隨機(jī)初始點(diǎn)，逐步迭代，最終選出最優(yōu)解，但其具有一定的隨機(jī)盲目性。我們可以采用逐步搜索法即將初值區(qū)域n等分，在這幾個區(qū)域分別產(chǎn)生初始權(quán)值進(jìn)行學(xué)習(xí)，選取誤差最小的區(qū)域再進(jìn)行n等分，分別學(xué)習(xí)，直到誤差不能再小時終止。經(jīng)檢驗(yàn)，只要區(qū)域足夠小，這種方法可避免局部行為。

優(yōu)化點(diǎn)（二）輸入層節(jié)點(diǎn)數(shù)目確定。

由于BP網(wǎng)絡(luò)是解決非線性復(fù)雜問題，其因變量受多個自變量影響，我們可以先用自組織算法（應(yīng)用不完全歸納法，使用線生逼近得結(jié)果）盡量全面廣泛，不必經(jīng)專門主觀篩選地找出輸入變量，再利用BP算法進(jìn)行學(xué)習(xí)，二者取長補(bǔ)短，增強(qiáng)BP網(wǎng)絡(luò)對復(fù)雜系統(tǒng)建模處理能力。

優(yōu)化點(diǎn)（三）網(wǎng)絡(luò)隱層層數(shù)與隱節(jié)點(diǎn)數(shù)目確定。

Lippmann和Cyberko指出只需兩個隱層就可解決任何形式分類問題，而且Robert Hecht Nielson也通過研究指出：只有一個隱層的神經(jīng)網(wǎng)絡(luò)，只要有足夠多的隱節(jié)點(diǎn)，就可以以任意精度逼近一個非線性函數(shù)。所以為了尋找合適的隱節(jié)點(diǎn)數(shù)要在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程中根據(jù)環(huán)境的要求，自適應(yīng)地調(diào)整自己的結(jié)構(gòu)，最終獲得一個大小合適的人工神經(jīng)網(wǎng)絡(luò)模型。

3 人工神經(jīng)網(wǎng)絡(luò)前景展望及應(yīng)用

經(jīng)過近一個世紀(jì)的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)以其與其他各門科學(xué)技術(shù)緊密結(jié)合的廣泛應(yīng)用性及工作時高速度和潛在的超高速的強(qiáng)大性能吸引了無數(shù)學(xué)者和工程人員投入其中。

3.1 應(yīng)用

3.1.1 信息領(lǐng)域

信息的來源十分不完整，并且在一定程度上包含虛假信息，決策規(guī)則很多時候非常蕪雜，十分繁復(fù)導(dǎo)致在處理許多問題時寸步難行。而神經(jīng)網(wǎng)絡(luò)的仿生原理使其具備結(jié)構(gòu)上的兩大特性—數(shù)據(jù)數(shù)理的越大規(guī)模并行性和數(shù)據(jù)存儲的分布性，使人工神經(jīng)網(wǎng)絡(luò)具有模仿或代替人的思維的優(yōu)良性能，從而形成與傳統(tǒng)方法有著天壤之別的獨(dú)到處理方法。

此外，即使在戰(zhàn)爭中線路遭到十分嚴(yán)重的破壞，由于人工神經(jīng)網(wǎng)絡(luò)具有極強(qiáng)的容錯容差能力及自組織性，所以，它仍能維持在優(yōu)化工作狀態(tài)。這使得它在軍事系統(tǒng)電子設(shè)備中大顯身手，由此它被引入報警系統(tǒng)、自動控制制導(dǎo)系統(tǒng)和自動跟蹤監(jiān)測儀器系統(tǒng)等領(lǐng)域。

3.1.2 經(jīng)濟(jì)領(lǐng)域

預(yù)測社會消費(fèi)品零售總額和分析商品價格的變動等問題需要考慮多種因素的不同影響并對這類問題進(jìn)行綜合性分析。人工神經(jīng)網(wǎng)絡(luò)中的BP神經(jīng)網(wǎng)絡(luò)模型就是一個多元函數(shù)的優(yōu)化，對于這種不完整的、模糊不確定的數(shù)據(jù)有獨(dú)到的處理方法，相對于傳統(tǒng)方法來說其有無法比擬的巨大優(yōu)勢，從而可以大大增加了得到準(zhǔn)確評價結(jié)果的可能性。

3.1.3 控制領(lǐng)域

人工神經(jīng)網(wǎng)絡(luò)以其特有固有的非線性問題處理能力，以及高度的魯棒性等令人驚異的突出特征，使迅猛發(fā)展的控制領(lǐng)域如虎添翼。最優(yōu)決策控制、監(jiān)督控制、內(nèi)?？刂啤㈩A(yù)測控制等都是基本的控制結(jié)構(gòu)。

3.2 前景展望

人工神經(jīng)網(wǎng)絡(luò)或許無法代替人類大腦，或許它也只是對數(shù)字計(jì)算機(jī)的補(bǔ)充，而非替代，但它確確實(shí)實(shí)地拓展了人們對外部環(huán)境的識知和控制處理能力，它特有的非線性適應(yīng)性信息處理能力使之與各門科學(xué)技術(shù)相互交錯，共同發(fā)展。

人工智能可能的發(fā)展趨勢如下：

1）人工神經(jīng)網(wǎng)絡(luò)正奔跑在模擬人類認(rèn)識的道路上。

2）通過光電結(jié)合的神經(jīng)計(jì)算機(jī)創(chuàng)造出功能更強(qiáng)大、應(yīng)用更廣泛的人工神經(jīng)網(wǎng)絡(luò)，同時研究更加高效簡潔的網(wǎng)絡(luò)結(jié)構(gòu)，擴(kuò)大神經(jīng)元芯片的作用范圍。

3）實(shí)現(xiàn)智能機(jī)器人的自然口譯、與人流暢談話和用自然語言與計(jì)算機(jī)對話也是其發(fā)展方向之一。

4 結(jié)論

本文通過背景回顧、理論分析、應(yīng)用前景3個方面，系統(tǒng)地介紹了人工神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)以其強(qiáng)大的非線性、自學(xué)習(xí)、自適應(yīng)能力激勵著我們這些后學(xué)者們投入對它的探索。筆者堅(jiān)信，人工神經(jīng)網(wǎng)絡(luò)定會以其廣泛的應(yīng)用前景在不久的將來變得家喻戶曉。

參考文獻(xiàn)

[1]毛健，趙紅東，姚婧婧.人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及應(yīng)用[J].電子設(shè)計(jì)工程，2011，19（24）：62-65.

[2]楊曉帆，陳延槐.人工神經(jīng)網(wǎng)絡(luò)固有的優(yōu)點(diǎn)和缺點(diǎn)[J].計(jì)算機(jī)科學(xué)，1994，21（2）：23-26.

[3]李曉峰，徐玖平，王蔭清，等.BP人工神經(jīng)網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)算法的建立及其應(yīng)用[J].系統(tǒng)工程理論與實(shí)踐，2004，24（5）：1-8.endprint