人工神經(jīng)網(wǎng)絡(luò)綜述

趙崇文

(河海大學(xué)，江蘇 南京 211100)

0 引言

很久以來(lái)，計(jì)算機(jī)的計(jì)算能力遠(yuǎn)超人類，如計(jì)算機(jī)可以在一秒鐘內(nèi)進(jìn)行數(shù)十億萬(wàn)次加減法運(yùn)算。然而，在許多判斷、分類、未明確定義的問(wèn)題上，計(jì)算機(jī)常常不能作為有效的輔助工具，如數(shù)據(jù)預(yù)測(cè)，圖像分類等。

1) 人工智能的出現(xiàn)

1956年，以麥卡賽、明斯基、羅切斯特和申農(nóng)等為首的一批有遠(yuǎn)見卓識(shí)的年輕科學(xué)家，在探討了一系列有關(guān)機(jī)器智慧的問(wèn)題后，提出了“人工智能”的概念。人工智能的定義有很多，麻省理工學(xué)院教授溫斯頓定義為：“人工智能就是研究如何使計(jì)算機(jī)去做過(guò)去只有人才能做的智能工作?！比斯ぶ悄苤饕ㄗ匀徽Z(yǔ)言處理、智能搜索、推理、規(guī)劃、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等等一系列的方向，是目前計(jì)算機(jī)科學(xué)家們不斷追求的目標(biāo)。

2) 人工神經(jīng)網(wǎng)絡(luò)

2016年3月，阿爾法圍棋與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，以4比1的總比分獲勝。這條新聞?lì)D時(shí)引起了軒然大波。AlphaGo采用了很多新技術(shù)，其中最重要之一的就是人工神經(jīng)網(wǎng)絡(luò)。作為人工智能的一個(gè)重要分支，神經(jīng)網(wǎng)絡(luò)可以模擬人腦處理一些需要高強(qiáng)度學(xué)習(xí)和計(jì)算的問(wèn)題，從而更好地實(shí)現(xiàn)人工智能。

人工神經(jīng)網(wǎng)絡(luò)(ANN)，又稱神經(jīng)網(wǎng)絡(luò)或者類神經(jīng)網(wǎng)絡(luò)，通過(guò)模擬信息在人類大腦中的處理方式實(shí)現(xiàn)的模擬邏輯算法。每個(gè)連接類似于神經(jīng)元之間的突觸，用于神經(jīng)元之間進(jìn)行信息傳遞；神經(jīng)元和神經(jīng)元互聯(lián)組成神經(jīng)網(wǎng)絡(luò)，從而得到最終的反饋。

1 關(guān)于人工神經(jīng)網(wǎng)絡(luò)

1.1 人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

目前人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包含輸入層、隱藏層、輸出層。相關(guān)結(jié)構(gòu)如圖1。輸入層負(fù)責(zé)接收外部的信息和數(shù)據(jù)；隱藏層負(fù)責(zé)對(duì)信息進(jìn)行處理，不斷調(diào)整神經(jīng)元之間的連接屬性，如權(quán)值、反饋等；輸出層負(fù)責(zé)對(duì)計(jì)算的結(jié)果進(jìn)行輸出。其中，權(quán)值反映了單元間的連接強(qiáng)度；反饋反映了單元間的正負(fù)相關(guān)性，在單元間的連接關(guān)系中，通過(guò)這些信息反應(yīng)出信息的處理過(guò)程。由于對(duì)整體結(jié)果的未知，在隱藏層的權(quán)值和反饋需要不斷地調(diào)整，最終達(dá)到最好的擬合的結(jié)果。

圖1 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

2 人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷程

心理學(xué)家McCulloch和邏輯學(xué)家Pitts在1943年提出了一種通過(guò)模擬生物學(xué)上的神經(jīng)細(xì)胞來(lái)進(jìn)行數(shù)學(xué)的研究，稱為M-P模型。這個(gè)模型的提出標(biāo)志著人工神經(jīng)網(wǎng)絡(luò)的誕生。1969年，Minsky等出版了《Perceptron》一書，指出感知器不能處理高階謂詞問(wèn)題和電子線路交叉困難，神經(jīng)網(wǎng)絡(luò)無(wú)法對(duì)大數(shù)量的神經(jīng)元進(jìn)行計(jì)算，人工神經(jīng)網(wǎng)絡(luò)進(jìn)入了發(fā)展的低谷，人工神經(jīng)網(wǎng)絡(luò)發(fā)展逐漸止步不前。

20世紀(jì)80年代，ART網(wǎng)、認(rèn)知機(jī)網(wǎng)絡(luò)、玻爾茲曼機(jī)理論、并行分布處理等新理論不斷被提出，解決了Minsky提出的兩個(gè)問(wèn)題，人工神經(jīng)網(wǎng)絡(luò)進(jìn)入了發(fā)展的新時(shí)代。1986年，Hinton等人發(fā)展了BP算法，即多層前饋網(wǎng)絡(luò)。BP算法包括了信號(hào)的正向傳播與誤差的反向傳播，這種雙向的反饋結(jié)構(gòu)可以使誤差信號(hào)減小到當(dāng)時(shí)的最低限度。90年代，Vapnik等科學(xué)家提出了SVM算法，即支持向量機(jī)的概念。2006年，Hinton通過(guò)使用預(yù)訓(xùn)練的方法緩解了ANN的局部最優(yōu)解問(wèn)題。

3 人工神經(jīng)網(wǎng)絡(luò)現(xiàn)狀

目前，人工神經(jīng)網(wǎng)絡(luò)穩(wěn)步發(fā)展，有關(guān)應(yīng)用也廣泛地運(yùn)用到了各個(gè)領(lǐng)域。2016年，AlphaGo擊敗圍棋冠軍李世石的新聞刷爆了各個(gè)新聞媒體，人們對(duì)人工神經(jīng)網(wǎng)絡(luò)的熱情繼續(xù)上升。今天，人工神經(jīng)網(wǎng)絡(luò)已經(jīng)衍生出了上百種模型，通過(guò)模擬其他行業(yè)，如熱力學(xué)、數(shù)學(xué)、醫(yī)學(xué)等實(shí)現(xiàn)數(shù)據(jù)分析和利用。下面本文將介紹目前使用最多的兩類神經(jīng)網(wǎng)絡(luò)：遞歸神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)。

3.1 遞歸神經(jīng)網(wǎng)絡(luò)

遞歸神經(jīng)網(wǎng)絡(luò)具有樹狀階層結(jié)構(gòu)，以連接順序?qū)斎胄畔⑦f歸，帶有信息反饋功能。訓(xùn)練算法主要采用長(zhǎng)短期記憶法和結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)法。在實(shí)際運(yùn)用中，由于遞歸神經(jīng)網(wǎng)絡(luò)有可變的拓?fù)浣Y(jié)構(gòu)且權(quán)重共享，常常被用于包含結(jié)構(gòu)關(guān)系的任務(wù)中。

3.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計(jì)算的具有深度結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。這種神經(jīng)網(wǎng)絡(luò)模擬生物的視知覺(jué)：視知覺(jué)細(xì)胞從視網(wǎng)膜上接收光信號(hào)，但單個(gè)細(xì)胞不會(huì)接收所有信號(hào)的信息，只有感受到支配區(qū)域內(nèi)的刺激才能激活，通過(guò)多個(gè)細(xì)胞的疊加從而產(chǎn)生視覺(jué)空間。

最近，對(duì)神經(jīng)網(wǎng)絡(luò)算法的研究也正在如火如荼地進(jìn)行中。KaimingHe等通過(guò)使用殘留的學(xué)習(xí)框架成功訓(xùn)練了ResNet(ResidualNeuralNetwork)。ResNet具有152層，比VGGNet深八倍，而參數(shù)量卻比VGGNet低，其在ILSVRC2015比賽中獲得了第一名，錯(cuò)誤率為3.57%。DenseNet等提出了密集卷積網(wǎng)絡(luò)(DenseNet)，其在ResNet結(jié)構(gòu)的基礎(chǔ)上進(jìn)一步擴(kuò)展了網(wǎng)絡(luò)連接。該模型在大多數(shù)測(cè)試集中，取得了相對(duì)于最新技術(shù)的顯著改進(jìn)，減少了需要的計(jì)算量，實(shí)現(xiàn)了更高的性能。

4 人工神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例

4.1 人臉識(shí)別

人工神經(jīng)網(wǎng)絡(luò)是人臉識(shí)別常用的方法。人臉識(shí)別以信息論為基礎(chǔ)，模擬人類大腦的邏輯思維過(guò)程對(duì)信息進(jìn)行處理。傳統(tǒng)的人臉識(shí)別算法如PCA，在精度和特征等方面有一定不足。由于CNN有權(quán)值共享、神經(jīng)元連接的特性，特別適合處理高維數(shù)據(jù)[1]。

4.2 智慧城市

智慧城市是在創(chuàng)新2.0時(shí)代提出的目標(biāo)，致力于提升資源運(yùn)用效率，改善市民生活質(zhì)量。在智慧城市落地的過(guò)程中，需要利用人工智能處理大量的問(wèn)題[2]，如垃圾分類、闖紅燈檢測(cè)、景區(qū)人數(shù)控制等，而人工神經(jīng)網(wǎng)絡(luò)可以通過(guò)數(shù)據(jù)的分析、信息的網(wǎng)絡(luò)式傳播，實(shí)現(xiàn)基于圖像或視頻的數(shù)據(jù)分析。

4.3 經(jīng)濟(jì)學(xué)預(yù)測(cè)

傳統(tǒng)的統(tǒng)計(jì)學(xué)方法因?yàn)橛袛?shù)據(jù)不變的局限性，難以對(duì)未來(lái)的變動(dòng)進(jìn)行預(yù)測(cè)。而人工神經(jīng)網(wǎng)絡(luò)容易處理不完整的、規(guī)律不明顯的數(shù)據(jù)，所以在經(jīng)濟(jì)學(xué)上使用人工神經(jīng)網(wǎng)絡(luò)是對(duì)未來(lái)價(jià)格、風(fēng)險(xiǎn)進(jìn)行評(píng)估和預(yù)測(cè)[3]的更科學(xué)的依據(jù)。利用目標(biāo)人群的人數(shù)、收入、地理位置等復(fù)雜多變的因素進(jìn)行建模，從而得到相對(duì)穩(wěn)定的收斂的結(jié)果。

4.4 醫(yī)學(xué)領(lǐng)域

傳統(tǒng)的醫(yī)學(xué)數(shù)據(jù)由于需要將所有的臨床案例存儲(chǔ)，用分類的方法對(duì)癥下藥，所以對(duì)數(shù)據(jù)庫(kù)的大小要求很高。引入人工神經(jīng)網(wǎng)絡(luò)后，可以有效地對(duì)案例模型進(jìn)行分析和分類，提高了數(shù)據(jù)的組織能力。另外，對(duì)于案例中模糊的生物信號(hào)可以有效地還原[4]，有助于專家進(jìn)行診斷。

5 人工神經(jīng)網(wǎng)絡(luò)面對(duì)的挑戰(zhàn)和對(duì)策

5.1 建模問(wèn)題

利用大數(shù)據(jù)來(lái)學(xué)習(xí)特征，比通過(guò)人工規(guī)則來(lái)構(gòu)造規(guī)則更能刻畫數(shù)據(jù)的內(nèi)在信息。那么，在推進(jìn)深度學(xué)習(xí)的學(xué)習(xí)理論與計(jì)算理論時(shí)，能不能提出新的具有強(qiáng)大表示能力的分層模型呢？

Chen等人[5]建立了時(shí)變輸入輸出過(guò)程神經(jīng)元網(wǎng)絡(luò)和離散過(guò)程神經(jīng)元網(wǎng)絡(luò)兩種網(wǎng)絡(luò)模型,對(duì)其性質(zhì)進(jìn)行了分析和證明,推導(dǎo)出了具體的學(xué)習(xí)算法。通過(guò)這種算法，可以有效地進(jìn)行在時(shí)變輸入輸出過(guò)程中神經(jīng)元網(wǎng)絡(luò)的系統(tǒng)辨識(shí)。

5.2 數(shù)據(jù)問(wèn)題

對(duì)于從事深度學(xué)習(xí)技術(shù)研發(fā)的人來(lái)說(shuō)，首先要解決的是利用并行計(jì)算平臺(tái)來(lái)實(shí)現(xiàn)海量數(shù)據(jù)訓(xùn)練的問(wèn)題。深度學(xué)習(xí)需要頻繁迭代，傳統(tǒng)的大數(shù)據(jù)平臺(tái)無(wú)法適應(yīng)這一點(diǎn)，而現(xiàn)有的DNN訓(xùn)練技術(shù)通常所采用的隨機(jī)梯度法，不能在多個(gè)計(jì)算機(jī)之間并行。采用CPU進(jìn)行傳統(tǒng)的DNN模型訓(xùn)練，訓(xùn)練時(shí)間非常漫長(zhǎng)，一般訓(xùn)練聲學(xué)模型就需要幾個(gè)月的時(shí)間。這樣緩慢的訓(xùn)練速度明顯不能滿足互聯(lián)網(wǎng)服務(wù)應(yīng)用的需要。

目前，提升模型訓(xùn)練速度，成為許多大公司研發(fā)者的主攻方向。比如谷歌公司，搭建起了DistBelief并行計(jì)算平臺(tái)。通過(guò)采用異步算法，實(shí)現(xiàn)隨機(jī)梯度下降算法的并行化，從而加快模型訓(xùn)練速度。不過(guò)，工程方面盡管取得了一定的進(jìn)展，但對(duì)解決各種服務(wù)需求來(lái)說(shuō)，仍然有很長(zhǎng)的一段路要走。

5.3 理論問(wèn)題

深度學(xué)習(xí)的理論問(wèn)題主要體現(xiàn)在統(tǒng)計(jì)學(xué)和計(jì)算兩個(gè)方面。對(duì)于任意一個(gè)非線性函數(shù)，都能找到一個(gè)淺層網(wǎng)絡(luò)和深度網(wǎng)絡(luò)來(lái)表示。深度模型比淺層模型對(duì)非線性函數(shù)具有更好的表現(xiàn)能力。但深度網(wǎng)絡(luò)的可表示性并不代表可學(xué)習(xí)性。由于深度模型都是非凸函數(shù)，也就讓深度學(xué)習(xí)在這方面的理論研究變得非常困難。

Xu等人[6]借鑒罰函數(shù)的思想,基于拉格朗日乘子理論,提出了一種新型的拉格朗日神經(jīng)網(wǎng)絡(luò)模型。該模型針對(duì)收斂速度慢的問(wèn)題,設(shè)定固定的罰因子,且在傳統(tǒng)拉格朗日函數(shù)的基礎(chǔ)上增加懲罰項(xiàng),既可以克服病態(tài)問(wèn)題,又能使網(wǎng)絡(luò)軌跡收斂加快。該模型能夠找到優(yōu)化問(wèn)題的解,并且收斂軌跡最終趨于關(guān)鍵點(diǎn)集。

6 人工神經(jīng)網(wǎng)絡(luò)未來(lái)展望

6.1 人工神經(jīng)網(wǎng)絡(luò)與邊緣計(jì)算的協(xié)同發(fā)展

在技術(shù)的發(fā)展中，邊緣計(jì)算是發(fā)展的趨勢(shì)之一。邊緣計(jì)算作為物聯(lián)網(wǎng)的核心[7]，會(huì)接收到大量的本地?cái)?shù)據(jù)。這些本地?cái)?shù)據(jù)在邊緣服務(wù)器中需要進(jìn)行處理。在邊緣服務(wù)器中搭載人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)，可以更快的對(duì)數(shù)據(jù)進(jìn)行分析，從而更快地輸出信號(hào)。

6.2 人工神經(jīng)網(wǎng)絡(luò)與人工智能芯片的協(xié)同發(fā)展

芯片架構(gòu)是一款模擬人腦的神經(jīng)網(wǎng)絡(luò)模型的新型芯片編程架構(gòu)，這一系統(tǒng)可以模擬人腦功能進(jìn)行感知方式、行為方式和思維方式。ASIC是目前人工智能芯片的一個(gè)主要發(fā)展方向，但真正的人工智能芯片未來(lái)發(fā)展的方向是類腦芯片。類腦芯片研究是非常艱難的，IBM、高通、英特爾等公司的芯片策略都是用硬件來(lái)模仿人腦的神經(jīng)突觸。

6.3 人工神經(jīng)網(wǎng)絡(luò)與其他領(lǐng)域模擬算法的協(xié)同發(fā)展

將神經(jīng)網(wǎng)絡(luò)與其他領(lǐng)域的理論相結(jié)合也是當(dāng)今發(fā)展方向之一。如模擬人類對(duì)模糊問(wèn)題的模糊處理方法而提出的混沌神經(jīng)網(wǎng)絡(luò)理論，還有與量子學(xué)理論結(jié)合產(chǎn)生的量子神經(jīng)網(wǎng)絡(luò)等。通過(guò)對(duì)其他領(lǐng)域相關(guān)模型的模擬，幫助我們?cè)诩?xì)化領(lǐng)域里訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，有更優(yōu)的性能和更高的魯棒性，從而優(yōu)化神經(jīng)網(wǎng)絡(luò)在專業(yè)領(lǐng)域內(nèi)的應(yīng)用。

7 結(jié)束語(yǔ)

人工神經(jīng)網(wǎng)絡(luò)自上世紀(jì)50年代至今已有數(shù)十年的歷史。這幾十年中，人工神經(jīng)網(wǎng)絡(luò)已經(jīng)發(fā)展成為一門理論相對(duì)完善、應(yīng)用逐漸全面的技術(shù)。人工神經(jīng)網(wǎng)絡(luò)作為智能化時(shí)代解決模糊問(wèn)題的范式，已經(jīng)為智能化時(shí)代提供了很多的應(yīng)用實(shí)例。在未來(lái)，隨著硬件技術(shù)的發(fā)展，云服務(wù)的碎片化、邊緣化，城市的智慧化、信息化，人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用將會(huì)越來(lái)越多。需要注意的是，如何在一個(gè)例子中解決建模問(wèn)題、數(shù)據(jù)問(wèn)題、理論發(fā)展問(wèn)題仍然需要現(xiàn)在的科學(xué)家們繼續(xù)努力。