淺析簡單神經(jīng)網(wǎng)絡(luò)的發(fā)展及簡單模型

陳曉燕

摘要：隨著人工智能的興起和對深度學(xué)習(xí)的深入研究，神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的算法之一，再次成為一個(gè)熱門的研究課題。近年來，隨著神經(jīng)網(wǎng)絡(luò)研究的不斷推進(jìn)，解決了很多領(lǐng)域中的一些瓶頸的問題，同時(shí)還體現(xiàn)出其良好的智能性。本文主要從人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史、結(jié)構(gòu)和簡單模型等方面進(jìn)行了講述。

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò);發(fā)展歷程;結(jié)構(gòu)

中圖分類號：TP183 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2019）05-0223-02

0 引言

1956年，科學(xué)家麥卡錫和明斯基在美國相遇;在這次會(huì)面中他們提出“如何用機(jī)器模擬人類智能”，因此，“人工智能”的概念首次被提出，同時(shí)也標(biāo)志著人工智能這一門學(xué)科的誕生。在此之后，“人工智能”的概念被迅速傳開。人工智能是指人類各種智力勞動(dòng)或智能行為，如判斷、推理、證明、鑒定、感知、理解、交流、學(xué)習(xí)、解決問題等思維活動(dòng)。它可以被一些智能機(jī)器人工實(shí)現(xiàn)。例如：語音識別、機(jī)器翻譯、圖像識別、人機(jī)對話、人機(jī)游戲、知識表示等。人工神經(jīng)網(wǎng)絡(luò)作為人工智能中的重要算法，在模式識別、智能機(jī)器人、自動(dòng)控制、預(yù)測估計(jì)、生物學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)等領(lǐng)域都取得了重大突破。

1 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展

神經(jīng)網(wǎng)絡(luò)的概念起源于Maiqialuoke和皮茨在1943年提出的“明迪克馬欽”想法，“明迪克馬欽”指的是一種類似生物神經(jīng)元特征互連模型的機(jī)器。他們構(gòu)建了一個(gè)神經(jīng)元模型，它代表了大腦的基本組成部分，并顯示了邏輯系統(tǒng)的共性。隨著人工神經(jīng)網(wǎng)絡(luò)研究的深入，研究目標(biāo)從“腦機(jī)”轉(zhuǎn)變?yōu)椤皩W(xué)習(xí)機(jī)”。這時(shí)，一個(gè)一直關(guān)注神經(jīng)系統(tǒng)的科學(xué)家——Hebb提出來學(xué)習(xí)模型。直到20世紀(jì)60年代初，Widrow提出了自適應(yīng)線性元素。

到了20世紀(jì)70年代，Grossberg和Kehuoen已經(jīng)為神經(jīng)網(wǎng)絡(luò)編碼的研究做出了重要的貢獻(xiàn)。通過生物學(xué)和心理學(xué)的一些知識，Grossberg提出了幾種具有新特性的非線性動(dòng)態(tài)系統(tǒng)結(jié)構(gòu)。Werbos在1970年代發(fā)展出反向繁殖的方法。在神經(jīng)元的相互作用下，Huopufeierde引入了一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)，即著名的休普費(fèi)爾德網(wǎng)絡(luò)。20世紀(jì)80年代中期，帕克和Lumeierhat重新發(fā)現(xiàn)了反向傳播算法。在過去的十年里，神經(jīng)網(wǎng)絡(luò)已經(jīng)應(yīng)用到了人們生活的方方面面，包括圖像處理、信號處理、商業(yè)、醫(yī)藥等。

2 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

基本處理單元的連接決定了神經(jīng)元的結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)僅由多個(gè)“神經(jīng)元”組成，每個(gè)神經(jīng)元包括多個(gè)輸入x1、x2 ……xn、偏移量和輸出。下面是這個(gè)簡單“神經(jīng)元”的結(jié)構(gòu)，如圖1所示。

這個(gè)"神經(jīng)元"是一個(gè)x1，x2...xn和偏移Θ為輸入值的操作單元。其輸出為 f（t）=f（x1*wj1+x2*wj2+...+ xn*wjn-Θ）。其中，Θ是神經(jīng)單元的偏置，wj是權(quán)重，神經(jīng)元在權(quán)重為正時(shí)處于興奮狀態(tài)，在權(quán)重為負(fù)時(shí)處于抑制狀態(tài)。n是輸入的個(gè)數(shù)，yj是輸出，f（_）是“激發(fā)函數(shù)”，而激發(fā)函數(shù)通常是非線性函數(shù)，這樣就可以實(shí)現(xiàn)對各種復(fù)雜函數(shù)的逼近。常用的激發(fā)函數(shù)是二值函數(shù)、S形函數(shù)或雙曲切線函數(shù)。S形函數(shù)為：

雙曲正切函數(shù)為：

從函數(shù)表達(dá)式可以看出，S形函數(shù)的輸出總是位于x軸上方，雙曲切線函數(shù)的輸出可以位于x軸上方，也可以位于x軸下方?？梢钥闯觯@種單一的“神經(jīng)元”輸入輸出映射關(guān)系實(shí)際上是一種邏輯回歸。

3 神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)將許多神經(jīng)元連接在一起。這些神經(jīng)元有一個(gè)單獨(dú)的輸出，并與其他神經(jīng)元相連。一個(gè)神經(jīng)元的輸出也可以作為另一個(gè)神經(jīng)元的輸入，因此有許多不同的連接方法。不同的連接方法對應(yīng)不同的權(quán)系數(shù)。輸入層、隱藏層和輸出層通常組成一個(gè)經(jīng)典的神經(jīng)網(wǎng)絡(luò)。輸入層和輸出層的節(jié)點(diǎn)經(jīng)常固定，中間的隱藏層經(jīng)常不固定。箭頭表示數(shù)據(jù)的傳輸?shù)姆较?，如圖2所示。

由圖2可知，神經(jīng)元的模型還可以看做一個(gè)有向圖：對于每個(gè)節(jié)點(diǎn)都存在一個(gè)狀任意兩個(gè)節(jié)點(diǎn)間的連線都含有權(quán)值wii，對于每個(gè)節(jié)點(diǎn)都存在一個(gè)閾值。在每個(gè)節(jié)點(diǎn)上定義了一個(gè)變換函數(shù)f（）。

4 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法

人工神經(jīng)網(wǎng)絡(luò)主要包含三種學(xué)習(xí)算法：有師學(xué)習(xí)、無師學(xué)習(xí)和監(jiān)督學(xué)習(xí)。

有師學(xué)習(xí)是指可以根據(jù)期望值與實(shí)際輸出之間的差異來改變權(quán)重，從而使實(shí)際結(jié)果接近期望的結(jié)果。因此，有師學(xué)習(xí)需要一位教師來提供期望的結(jié)果。無師的學(xué)習(xí)，即不需要提供期望和產(chǎn)出。只是向神經(jīng)網(wǎng)絡(luò)提供輸入模式，神經(jīng)網(wǎng)絡(luò)能自動(dòng)適應(yīng)具有相似特性的輸入并分組。增強(qiáng)學(xué)習(xí)仍然有教師，但教師并不提供期望值，而是當(dāng)輸出正確的結(jié)果時(shí)給予相應(yīng)的響應(yīng)。

5 結(jié)語

人工智能不斷深入到各行各業(yè)，其身后的神經(jīng)網(wǎng)絡(luò)算法所帶來的益處更是影響到了人們生活的各個(gè)方面。人工神經(jīng)網(wǎng)絡(luò)獨(dú)特的非線性自適應(yīng)信息處理能力已成功地應(yīng)用于神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預(yù)測等領(lǐng)域。將人工神經(jīng)網(wǎng)絡(luò)與其他研究方法相結(jié)合，將促進(jìn)科技的快速發(fā)展。

參考文獻(xiàn)

[1] 李俊杰.淺談人工智能在生活中的應(yīng)用[J].科技風(fēng)，2019（15）：84.