人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及展望

（山西藥科職業(yè)學(xué)院，山西太原 030031）

人工神經(jīng)網(wǎng)絡(luò)作為人工智能的核心技術(shù)，在人臉識別、語音識別、圖像識別、自動(dòng)駕駛等領(lǐng)域得到廣泛應(yīng)用，隨著人工智能技術(shù)的發(fā)展，其重要性日益凸顯，值得深入研究。

1 人工神經(jīng)網(wǎng)絡(luò)含義

人工神經(jīng)網(wǎng)絡(luò)（artificial neural networks，ANN）是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。人工神經(jīng)網(wǎng)絡(luò)利用計(jì)算機(jī)技術(shù)，參考動(dòng)物大腦神經(jīng)網(wǎng)絡(luò)進(jìn)行信息處理的系統(tǒng)，其核心是數(shù)學(xué)算法，通過計(jì)算機(jī)軟、硬件實(shí)現(xiàn)。

人工神經(jīng)單元的數(shù)學(xué)模型：

式中：a——激活函數(shù)；wi——第i個(gè)輸入的權(quán)重，i∈［1，n］；xi——第i個(gè)輸入，i∈［1，n］；b——神經(jīng)單元對信號的反應(yīng)靈敏度；y——神經(jīng)單元的輸出。

大腦神經(jīng)細(xì)胞如圖1所示，神經(jīng)系統(tǒng)如圖2所示。

圖1 大腦神經(jīng)細(xì)胞

圖2 大腦神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)如圖3所示。

圖3 人工神經(jīng)網(wǎng)絡(luò)

由圖1～圖3可知，人工神經(jīng)單元的運(yùn)作方式模擬了大腦神經(jīng)細(xì)胞的運(yùn)作方式，大腦神經(jīng)網(wǎng)絡(luò)的組織結(jié)構(gòu)也是人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生的重要靈感來源[1]。

2 人工神經(jīng)網(wǎng)絡(luò)應(yīng)用

人工神經(jīng)網(wǎng)絡(luò)能夠解決較多問題，主要是回歸和分類兩大類問題。分類是按照某種特定規(guī)則，將數(shù)據(jù)劃分為若干類，與傳統(tǒng)分類不同的是，人工神經(jīng)網(wǎng)絡(luò)能夠自行尋找規(guī)則，不需要事先指定。回歸是進(jìn)行數(shù)據(jù)擬合，尋找數(shù)據(jù)變化的規(guī)律，進(jìn)行未知數(shù)據(jù)的預(yù)測。

常見的人臉識別、圖像分割、垃圾電子郵件標(biāo)注、自動(dòng)垃圾分類等屬于分類問題，通過人臉判斷年齡、通過前幾次的比賽成績預(yù)測下一次的成績、通過一只股票的歷史數(shù)據(jù)預(yù)測未來的走勢屬于回歸問題。

現(xiàn)階段，人工神經(jīng)網(wǎng)絡(luò)還應(yīng)用于語音識別翻譯、圖像識別、文本分析、智能機(jī)器人、企業(yè)管理、市場分析、決策優(yōu)化、自動(dòng)駕駛等方面。

3 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史

人工神經(jīng)網(wǎng)絡(luò)的發(fā)展過程從1943誕生以來經(jīng)歷過若干次的高潮與低谷。

3.1 誕生

1943年，沃倫·麥卡洛克和沃爾特·皮茨發(fā)表了名為《神經(jīng)活動(dòng)中內(nèi)在思想的邏輯演算》的論文，在論文中提出了人工神經(jīng)網(wǎng)絡(luò)的概念以及人工神經(jīng)元的數(shù)學(xué)模型（MP模型）[2]。普遍認(rèn)為，MP模型是人工神經(jīng)網(wǎng)絡(luò)的起點(diǎn)，為了紀(jì)念，MP模型以麥卡洛克和皮茨的單詞首字母命名。

最初的MP模型沒有調(diào)整權(quán)值的算法。1949年，赫布出版了《行為的組織》一書，在書中提出了神經(jīng)網(wǎng)絡(luò)中的信息是通過連接權(quán)值進(jìn)行存儲的。自此之后，權(quán)值的調(diào)整算法的研究得以展開，目前的神經(jīng)網(wǎng)絡(luò)，其不同功能的實(shí)現(xiàn)是通過調(diào)整人工神經(jīng)網(wǎng)絡(luò)的權(quán)值實(shí)現(xiàn)的。

3.2 第一次研究熱潮

1957年，羅森布拉特提出了“感知器”的概念。本質(zhì)上，感知器仍然是MP模型，但引入了學(xué)習(xí)的概念，通過誤差學(xué)習(xí)算法由人工調(diào)整權(quán)值，不斷優(yōu)化感知器的輸出，使預(yù)測結(jié)果與實(shí)際結(jié)果逐漸接近，直至一致?？梢哉J(rèn)為感知器是第一個(gè)真正意義上的人工神經(jīng)網(wǎng)絡(luò)。感知器的提出，掀起了20世紀(jì)60年代的神經(jīng)網(wǎng)絡(luò)研究熱潮。當(dāng)時(shí)人們認(rèn)為只要將大量的神經(jīng)單元組合在一起就可以解決任何問題。

3.3 第一次低潮

1969年，明斯基和佩珀特出版了《感知器》一書，在書中明斯基指出，感知器只能解決簡單的線性問題，解決非線性問題必須使用多層網(wǎng)絡(luò)，而多層網(wǎng)絡(luò)的實(shí)際作用無法證明。由于明斯基在人工智能領(lǐng)域的巨大影響力，這一觀點(diǎn)對人工神經(jīng)網(wǎng)絡(luò)的研究造成了直接沖擊，相關(guān)研究迅速進(jìn)入低潮。

3.4 第二次研究熱潮

1982年，霍普菲爾德提出了Hopfield神經(jīng)網(wǎng)絡(luò)（HNN），并于1984年設(shè)計(jì)出了該網(wǎng)絡(luò)的電子線路，為模型的可用性提供了物理證明。

1985年，辛頓和塞諾夫斯基提出了玻爾茲曼機(jī)（BM），并于1986年提出了改進(jìn)后的受限玻爾茲曼機(jī)（RBM）。RBM實(shí)際上是兩層的神經(jīng)網(wǎng)絡(luò)，在此基礎(chǔ)上又發(fā)展出了深度玻爾茲曼機(jī)（DBM，堆疊的受限玻爾茲曼機(jī)）和深度置信網(wǎng)絡(luò)（DBN，堆疊的受限玻爾茲曼機(jī)加BP算法）。

1986年，魯梅爾哈特、辛頓和威廉姆斯發(fā)表了《利用誤差反向傳播進(jìn)行學(xué)習(xí)表征》，重新發(fā)現(xiàn)了BP算法（誤差反向傳播算法）[3]。誤差反向傳播算法目前仍是人工神經(jīng)網(wǎng)絡(luò)中非?；A(chǔ)的算法之一，在現(xiàn)有人工神經(jīng)網(wǎng)絡(luò)模型中得到了廣泛應(yīng)用。

3.5 第二次低潮

BP算法使人工神經(jīng)網(wǎng)絡(luò)具有了自學(xué)能力和概括能力，但也存在明顯的缺陷，即在網(wǎng)絡(luò)層數(shù)較多時(shí)，容易陷入局部最優(yōu)解，也容易產(chǎn)生過擬合，并且當(dāng)時(shí)的計(jì)算機(jī)系統(tǒng)也不能支持龐大的數(shù)據(jù)集運(yùn)算。

1995年，科琳娜·科爾特斯和弗拉基米爾·瓦普尼克提出了支持向量機(jī)（SVM），該方法沒有局部最優(yōu)問題，并且可以在樣本數(shù)量較少的情況下，也能獲得較為理想的結(jié)果，因此在BP算法發(fā)展遇到瓶頸時(shí)，部分研究人員轉(zhuǎn)向了SVM的研究。

3.6 第三次研究熱潮

2006年，杰夫·辛頓（即之前提出BP算法的辛頓）研究小組提出了深度網(wǎng)絡(luò)（deep network）和深度學(xué)習(xí)（deep learning）概念，深度網(wǎng)絡(luò)即多層次的人工神經(jīng)網(wǎng)絡(luò)。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，計(jì)算機(jī)的計(jì)算速度有了極大提高，大數(shù)據(jù)、云計(jì)算成為現(xiàn)實(shí)。

實(shí)際上在人工神經(jīng)網(wǎng)絡(luò)發(fā)展的低潮期，還有很多研究者在堅(jiān)持相關(guān)的研究工作。卷積神經(jīng)網(wǎng)絡(luò)的發(fā)明人楊立昆堅(jiān)持研究人工神經(jīng)網(wǎng)絡(luò)，并于1998年發(fā)表了《基于梯度學(xué)習(xí)的文件識別》[4]，也因此被稱為卷積神經(jīng)網(wǎng)絡(luò)之父。

目前，已經(jīng)提出的深度網(wǎng)絡(luò)模型主要有卷積神經(jīng)網(wǎng)絡(luò)CNN、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN及LSTM、遞歸張量神經(jīng)網(wǎng)絡(luò)RNTN、自動(dòng)編碼器AutoEncoder、生成對抗網(wǎng)絡(luò)GAN、圖神經(jīng)網(wǎng)絡(luò)（GNN）等。深度網(wǎng)絡(luò)模型都可以應(yīng)用于生產(chǎn)實(shí)際，并取得了良好的效果，如人臉支付、自動(dòng)門禁、自動(dòng)駕駛等各類應(yīng)用。根據(jù)目前的情況分析，此次研究熱潮還將持續(xù)一段時(shí)間。

4 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展方向

（1）現(xiàn)有人工神經(jīng)網(wǎng)絡(luò)在神經(jīng)單元的激活與抑制中處于靜態(tài)，即網(wǎng)絡(luò)參數(shù)確定之后，對于同樣的輸入，神經(jīng)單元的輸出是固定的。但從人腦的神經(jīng)系統(tǒng)運(yùn)行過程分析，神經(jīng)元的激活與抑制是動(dòng)態(tài)的，在不同的狀態(tài)下，即使輸入相同，神經(jīng)元的激活與抑制也會發(fā)生變化，產(chǎn)生不同的結(jié)果。人工神經(jīng)網(wǎng)絡(luò)下一步也應(yīng)實(shí)現(xiàn)動(dòng)態(tài)的激活與抑制機(jī)制，以實(shí)現(xiàn)更完善的功能。

（2）由于大腦神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，目前神經(jīng)科學(xué)研究仍未能揭示大腦神經(jīng)網(wǎng)絡(luò)的詳細(xì)工作機(jī)理，因此人工神經(jīng)網(wǎng)絡(luò)并不是對大腦神經(jīng)網(wǎng)絡(luò)的全真模擬，而是利用數(shù)學(xué)技術(shù)結(jié)合計(jì)算機(jī)編程所建立的智能系統(tǒng)，能夠在某一方面產(chǎn)生類似大腦神經(jīng)網(wǎng)絡(luò)的功能。

神經(jīng)科學(xué)的研究會為人工神經(jīng)網(wǎng)絡(luò)的構(gòu)建提供靈感，人工神經(jīng)網(wǎng)絡(luò)技術(shù)也會為神經(jīng)科學(xué)的研究提供一些思路或啟發(fā)，兩者相輔相成，互相促進(jìn)發(fā)展。

（3）人工神經(jīng)網(wǎng)絡(luò)發(fā)展已有近80年歷史，近年來人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用呈現(xiàn)出爆發(fā)式增長的態(tài)勢，但并沒有產(chǎn)生過多的創(chuàng)新算法。目前使用的算法多數(shù)都是多年前提出的，是在經(jīng)典模型上的擴(kuò)展設(shè)計(jì)而來，全新模型的建立比較少。未來應(yīng)在人工神經(jīng)網(wǎng)絡(luò)模型創(chuàng)新方面進(jìn)一步研究。