人工神經(jīng)網(wǎng)絡(luò)綜述

桂林電子科技大學(xué)信息與通信學(xué)院 廣西 桂林 541004

引言

自計(jì)算機(jī)產(chǎn)生以來(lái)，計(jì)算機(jī)的計(jì)算能力已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)人類的能力。例如，一臺(tái)計(jì)算機(jī)可以在一秒鐘內(nèi)完成數(shù)十億次的加減運(yùn)算，但在許多未定義、未分類的人類高級(jí)活動(dòng)中，計(jì)算機(jī)并不能發(fā)揮有效的輔助作用。于是“人工智能”的概念就出現(xiàn)了，麻省理工學(xué)院教授溫斯頓曾說(shuō)過(guò)：“人工智能就是研究如何使計(jì)算機(jī)去做過(guò)去只有人才能做的智能工作。”人工智能主要包括自然語(yǔ)言處理、智能搜索、推理、規(guī)劃、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等等一系列的方向，是目前計(jì)算機(jī)科學(xué)家們不斷追求的目標(biāo)，其中神經(jīng)網(wǎng)絡(luò)更是重中之重。

人工神經(jīng)網(wǎng)絡(luò)(ANN)，又稱神經(jīng)網(wǎng)絡(luò)或者類神經(jīng)網(wǎng)絡(luò)，通過(guò)模擬信息在人類大腦中的處理方式實(shí)現(xiàn)的模擬邏輯算法。每個(gè)連接類似于神經(jīng)元之間的突觸，用于神經(jīng)元之間進(jìn)行信息傳遞；神經(jīng)元和神經(jīng)元互聯(lián)組成神經(jīng)網(wǎng)絡(luò)，從而得到最終的反饋。

2016年舉世矚目的圍棋之戰(zhàn)，阿爾法圍棋（AlphaGo）與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，以4比1的總比分獲勝。這條新聞?lì)D時(shí)引起了軒然大波。AlphaGo采用了很多新技術(shù)，其中最重要之一的就是人工神經(jīng)網(wǎng)絡(luò)。作為人工智能的一個(gè)重要分支，神經(jīng)網(wǎng)絡(luò)可以模擬人腦處理一些需要高強(qiáng)度學(xué)習(xí)和計(jì)算的問題，從而更好地實(shí)現(xiàn)人工智能。

1 關(guān)于人工神經(jīng)網(wǎng)絡(luò)

1.1 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造

1943年著名學(xué)者M(jìn)cCulloch和Pitts提出了一種M-P模型，它是模擬人體生物學(xué)上的神經(jīng)細(xì)胞的數(shù)學(xué)研究。這一個(gè)模型的出現(xiàn)標(biāo)志這人工神經(jīng)網(wǎng)絡(luò)的誕生。隨著BP算法、SVM算法的提出人工神經(jīng)網(wǎng)絡(luò)發(fā)展迅速。

目前的人工神經(jīng)網(wǎng)絡(luò)大致可以分為三個(gè)層次[1]，輸入層，隱藏層，輸出層。接收外部信息與數(shù)據(jù)的為輸入層，隱藏層是負(fù)責(zé)對(duì)信息進(jìn)行處理，不斷調(diào)整神經(jīng)元之間的連接屬性，如權(quán)值、反饋等；輸出層負(fù)責(zé)對(duì)計(jì)算的結(jié)果進(jìn)行輸出。其中，權(quán)值反映了單元間的連接強(qiáng)度;反饋反映了單元間的正負(fù)相關(guān)性，在單元間的連接關(guān)系中，通過(guò)這些信息反映出信息的處理過(guò)程。由于對(duì)整體結(jié)果的未知，在隱藏層的權(quán)值和反饋需要不斷地調(diào)整，最終達(dá)到最好的擬合的結(jié)果。

2 人工神經(jīng)網(wǎng)絡(luò)重要模型

2.1 卷積人工神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一種多層神經(jīng)網(wǎng)絡(luò)，它是一種含有卷積計(jì)算的具有深層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)是由對(duì)個(gè)單層卷積神經(jīng)網(wǎng)絡(luò)組成的可訓(xùn)練的多層網(wǎng)絡(luò)結(jié)構(gòu)，可把特征提取、下采樣和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)整合起來(lái)，從而形成一個(gè)新的網(wǎng)絡(luò)。與其他神經(jīng)網(wǎng)絡(luò)相比，它能夠直接使用圖像的像素進(jìn)行模式識(shí)別，有效降低了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取計(jì)算過(guò)程。與此同時(shí)，卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像的平移、縮放和旋轉(zhuǎn)具有較好的魯棒性。

2.2 遞歸人工神經(jīng)網(wǎng)絡(luò)模型

遞歸網(wǎng)絡(luò)(Recurrent Neural Network，RNN)中由于存在輸出變量到輸入端的反饋，因而其變量中包含時(shí)間延時(shí)網(wǎng)絡(luò)，是真正的動(dòng)態(tài)網(wǎng)絡(luò)系統(tǒng)[2]。遞歸網(wǎng)絡(luò)與靜態(tài)神經(jīng)網(wǎng)絡(luò)比較，遞歸網(wǎng)絡(luò)不需要預(yù)先假定系統(tǒng)的階次，為動(dòng)態(tài)系統(tǒng)的辨識(shí)與控制開辟了一個(gè)極有前途的領(lǐng)域。動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)因其固有的反饋結(jié)構(gòu)，一般只需單層的網(wǎng)絡(luò)就可以較好的表達(dá)一個(gè)復(fù)雜的動(dòng)態(tài)系統(tǒng)，逼近系統(tǒng)的動(dòng)態(tài)過(guò)程。

3 人工神經(jīng)網(wǎng)絡(luò)實(shí)際應(yīng)用

3.1 機(jī)器人導(dǎo)航領(lǐng)域

近年來(lái)，由于神經(jīng)網(wǎng)絡(luò)的強(qiáng)大的表征能力，尤其是強(qiáng)化學(xué)習(xí)與深度神經(jīng)網(wǎng)絡(luò)的結(jié)合使得深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning，簡(jiǎn)稱為DRL）廣泛應(yīng)用到機(jī)器人導(dǎo)航領(lǐng)域。然而DRL基于當(dāng)前感知做出決策，很難具有泛化性和推理能力，并且很難應(yīng)用于部分觀測(cè)環(huán)境中，近三年涌現(xiàn)出了各種的記憶神經(jīng)網(wǎng)絡(luò)(Memory Neural Networks，簡(jiǎn)稱為MNN)模型，MNN采用外部記憶矩陣實(shí)現(xiàn)，將記憶與計(jì)算分離開來(lái)，采用可微的讀寫機(jī)制訪問外部記憶網(wǎng)絡(luò)，整個(gè)系統(tǒng)可微，允許端對(duì)端的訓(xùn)練。MNN與DRL結(jié)合非常適合解決時(shí)序列決策問題，將其用于導(dǎo)航領(lǐng)域是非常有前景的新興研究領(lǐng)域。Sukhbaatar曾經(jīng)提出過(guò)MemNN，它是一種無(wú)寫操作的記憶結(jié)構(gòu)，記憶存儲(chǔ)是固定的。網(wǎng)絡(luò)學(xué)到的內(nèi)容是如何從固定記憶池中去訪問和讀取信息，而不是如何去改寫內(nèi)容。后續(xù)國(guó)外有人首次將MemNN與DRL相結(jié)合并在三維Minecraft環(huán)境中實(shí)現(xiàn)導(dǎo)航任務(wù)。MemNN+DRL結(jié)構(gòu)采用一個(gè)遞歸控制器DRL與外部記憶MemNN進(jìn)行交互，基于時(shí)間上下文實(shí)現(xiàn)尋址機(jī)制，有效處理了部分觀測(cè)、長(zhǎng)時(shí)依賴導(dǎo)航策略以及相似地圖的知識(shí)遷移問題。MemNN+DRL的導(dǎo)航工作機(jī)理如下：將機(jī)器人最近遇到的M步觀察經(jīng)過(guò)編碼寫入到MemNN中，相當(dāng)于M步的情節(jié)記憶，采用強(qiáng)化學(xué)習(xí)算法端對(duì)端訓(xùn)練參數(shù)，最終獲得導(dǎo)航能力。

3.2 人臉識(shí)別

人工神經(jīng)網(wǎng)絡(luò)是人臉識(shí)別常用的方法。人臉識(shí)別以信息論為基礎(chǔ)，模擬人類大腦的邏輯思維過(guò)程對(duì)信息進(jìn)行處理。傳統(tǒng)的人臉識(shí)別算法如PCA，在精度和特征等方面有一定不足。由于CNN有權(quán)值共享、神經(jīng)元連接的特性，特別適合處理高維數(shù)據(jù)。

3.3 天然地震預(yù)測(cè)

人工神經(jīng)網(wǎng)絡(luò)在處理大量無(wú)明顯關(guān)聯(lián)的數(shù)據(jù)集時(shí)有著自我學(xué)習(xí)、自我適應(yīng)的特點(diǎn)，因此，人工神經(jīng)網(wǎng)絡(luò)可以在天然地震預(yù)測(cè)中充當(dāng)不可或缺的角色。在天然地震預(yù)測(cè)中利用BP神經(jīng)網(wǎng)絡(luò)算法的基本原理[3]“梯度下降法”和反饋傳播，通過(guò)不斷地調(diào)整權(quán)值使網(wǎng)絡(luò)的總誤差縮小到目標(biāo)誤差范圍內(nèi)。對(duì)數(shù)據(jù)進(jìn)行歸一化處理，將數(shù)據(jù)輸入到網(wǎng)絡(luò)，讓網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將地震數(shù)據(jù)作為測(cè)試樣本輸入網(wǎng)絡(luò)，經(jīng)過(guò)反歸一化的處理，成功得到目標(biāo)輸出，最后得到預(yù)測(cè)數(shù)據(jù)。

3.4 高速通信網(wǎng)智能控制

神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自適應(yīng)學(xué)習(xí)能力，它可以從實(shí)際測(cè)量或網(wǎng)絡(luò)運(yùn)行過(guò)程的實(shí)例中學(xué)習(xí)，硬件設(shè)備可以進(jìn)行大規(guī)模的并行運(yùn)算，計(jì)算速度非?？欤疑窠?jīng)網(wǎng)絡(luò)能使學(xué)習(xí)結(jié)果從普遍到前所未有的情況。因?yàn)樵趯W(xué)習(xí)擁塞控制的動(dòng)態(tài)環(huán)境中所做的觀察可能是不完整的、延遲的或只是部分可用的。分布式處理的特性使控制系統(tǒng)具有高可靠性或容錯(cuò)性。另外，利用神經(jīng)網(wǎng)絡(luò)可以方便地設(shè)計(jì)出一種能夠自動(dòng)適應(yīng)網(wǎng)絡(luò)新情況的算法。這是利用神經(jīng)網(wǎng)絡(luò)作為工具來(lái)測(cè)量交通量。將流量劃分為統(tǒng)計(jì)特性相似、服務(wù)質(zhì)量要求相近的幾個(gè)類別，以預(yù)測(cè)某一監(jiān)測(cè)時(shí)段內(nèi)ATM網(wǎng)絡(luò)的未來(lái)特征。神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)輸入輸出真值之間非線性變換的能力。神經(jīng)網(wǎng)絡(luò)自適應(yīng)學(xué)習(xí)（并建立模型）非線性多元函數(shù)的能力可用于信號(hào)非線性預(yù)測(cè)。ATM業(yè)務(wù)控制器使用神經(jīng)網(wǎng)絡(luò)進(jìn)行呼叫級(jí)控制，如連接接納控制（CAC），信元級(jí)控制（如流量測(cè)量）、業(yè)務(wù)管理和網(wǎng)絡(luò)接入點(diǎn)的擁塞控制，用于網(wǎng)絡(luò)級(jí)控制。

3.5 土面區(qū)壓測(cè)量

在基于神經(jīng)網(wǎng)絡(luò)的土密實(shí)度檢測(cè)[4]一文中，學(xué)者李細(xì)榮明確提出了人工神經(jīng)網(wǎng)絡(luò)在基于神經(jīng)網(wǎng)絡(luò)的土壤壓實(shí)度檢測(cè)中的可行性。采用土的激光圖像提取數(shù)個(gè)特征參數(shù)如土的吸收系數(shù)、散射系數(shù)、激光圖像的紋理特征參量，從中提取主要成分因子以此作為輸入特征，在運(yùn)用BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)密實(shí)度。相較于傳統(tǒng)的環(huán)刀法，運(yùn)用神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)土密實(shí)度測(cè)量可以進(jìn)行無(wú)損測(cè)量，且相較于環(huán)刀法的隨機(jī)檢測(cè)不能代表整層土壤密實(shí)度，神經(jīng)網(wǎng)絡(luò)檢測(cè)可以全面檢測(cè)，不存在漏檢等問題。

3.6 旋轉(zhuǎn)變形驗(yàn)證碼識(shí)別

驗(yàn)證碼是用來(lái)區(qū)分人類和計(jì)算機(jī)，防止惡意程序攻擊的。驗(yàn)證碼的識(shí)別研究既可以發(fā)現(xiàn)驗(yàn)證碼存在的缺陷，為驗(yàn)證碼生成程序提供改進(jìn)意見，又能促進(jìn)人工智能技術(shù)的發(fā)展。字符型驗(yàn)證碼是目前使用較多的一種驗(yàn)證碼，為了防止被機(jī)器識(shí)別，一般都要加入一些旋轉(zhuǎn)變形等處理。而卷積神經(jīng)網(wǎng)絡(luò)就可以實(shí)現(xiàn)一種用于識(shí)別具有旋轉(zhuǎn)和變形特點(diǎn)的字符型驗(yàn)證碼，它分別采用小類和大類字符集的方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，再使用不同的學(xué)習(xí)速率和樣本數(shù)量進(jìn)行訓(xùn)練。在使用大類神經(jīng)網(wǎng)絡(luò)，選擇適當(dāng)?shù)膶W(xué)習(xí)參數(shù)，并且增大樣本數(shù)量的情況下，可以有效提高識(shí)別率。

4 人工神經(jīng)網(wǎng)絡(luò)發(fā)展現(xiàn)狀

4.1 發(fā)展現(xiàn)狀

人工神經(jīng)網(wǎng)絡(luò)快速發(fā)展，它與現(xiàn)代各門科學(xué)與技術(shù)緊密結(jié)合，相互合作，且在工作時(shí)具有高速度和潛在的超高速，具有容錯(cuò)、容差能力，適合求解難于找到好的求解規(guī)則的問題（例如模式識(shí)別）。人工神經(jīng)網(wǎng)絡(luò)同樣存在缺點(diǎn)，它難于精確地分析各項(xiàng)性能指標(biāo)，很難運(yùn)用于追求正確答案的計(jì)算[5]。就BP算法為例，BP網(wǎng)絡(luò)能通過(guò)學(xué)習(xí)帶正確答案的實(shí)例集自動(dòng)求解合理的規(guī)則，并且具有一定的推廣能力，學(xué)習(xí)有被“固化”的潛在可能，但它難以解決應(yīng)用問題的實(shí)際規(guī)模和網(wǎng)絡(luò)規(guī)模之間的矛盾。

目前，人工神經(jīng)網(wǎng)絡(luò)正在穩(wěn)步發(fā)展，其應(yīng)用已經(jīng)在各個(gè)領(lǐng)域普及，2016年阿爾法圍棋擊敗李世石大師的消息，席卷了新聞媒體，如今，人工神經(jīng)網(wǎng)絡(luò)通過(guò)模擬熱力學(xué)、數(shù)學(xué)、醫(yī)學(xué)等其他行業(yè)，已經(jīng)衍生出上百種模型，以獲得數(shù)據(jù)分析和開發(fā)。

近年來(lái)，神經(jīng)網(wǎng)絡(luò)算法的研究正在如火如荼地進(jìn)行。Kaiminghe[1]等人利用殘差學(xué)習(xí)框架成功地訓(xùn)練了RESNET（殘差神經(jīng)網(wǎng)絡(luò)）。RESNET有152層，比VGGNET深8倍，但其參數(shù)低于GGNET。它以3.57%的錯(cuò)誤率在ILSVRC2015的比賽中獲得第一名。DenseNet等人提出了密集卷積網(wǎng)絡(luò)（DenseNet），在RESNET結(jié)構(gòu)的基礎(chǔ)上進(jìn)一步擴(kuò)展了網(wǎng)絡(luò)連接。與最新技術(shù)相比，該模型在大多數(shù)測(cè)試集上取得了顯著的改進(jìn)，減少了所需的計(jì)算量，獲得了更高的性能。

4.2 未來(lái)發(fā)展趨勢(shì)

人工神經(jīng)網(wǎng)絡(luò)與邊緣計(jì)算的協(xié)同發(fā)展，在技術(shù)的發(fā)展中，邊緣計(jì)算是發(fā)展的趨勢(shì)之一。邊緣計(jì)算作為物聯(lián)網(wǎng)的核心，會(huì)接收到大量的本地?cái)?shù)據(jù)。這些本地?cái)?shù)據(jù)在邊緣服務(wù)器中需要進(jìn)行處理。將神經(jīng)網(wǎng)絡(luò)系統(tǒng)安裝在外圍服務(wù)器上，從而能夠更快速地分析數(shù)據(jù)，從而能夠更快地輸出信號(hào)。

人工神經(jīng)網(wǎng)絡(luò)與人工智能芯片的協(xié)同發(fā)展，芯片結(jié)構(gòu)是模特神經(jīng)網(wǎng)絡(luò)模型的新芯片編程框架，可模擬人腦的感覺、行為和思維。ASIC目前是芯片開發(fā)的主要方向之一。但真正的人工智能芯片未來(lái)發(fā)展的方向是類腦芯片。類腦芯片研究是非常艱難的，IBM、高通、英特爾等公司的芯片策略都是用硬件來(lái)模仿人腦的神經(jīng)突觸。

人造神經(jīng)網(wǎng)絡(luò)與其他領(lǐng)域的模擬算法的協(xié)同發(fā)展，以及將神經(jīng)網(wǎng)絡(luò)與其他領(lǐng)域的結(jié)合，也是目前的方向之一。如模擬人類對(duì)模糊問題的模糊處理方法而提出的混沌神經(jīng)網(wǎng)絡(luò)理論，還有與量子學(xué)理論結(jié)合產(chǎn)生的量子神經(jīng)網(wǎng)絡(luò)等。通過(guò)對(duì)其他領(lǐng)域相關(guān)模型的模擬，幫助我們?cè)诩?xì)化領(lǐng)域里訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，有更優(yōu)的性能和更高的魯棒性，從而優(yōu)化神經(jīng)網(wǎng)絡(luò)在專業(yè)領(lǐng)域內(nèi)的應(yīng)用。

5 結(jié)束語(yǔ)

人工神經(jīng)網(wǎng)絡(luò)，從提出到現(xiàn)在已經(jīng)經(jīng)過(guò)了數(shù)十年的長(zhǎng)久發(fā)展在一定方面已經(jīng)逐漸趨于完善，慢慢地形成一門完善且全面的技術(shù)，為時(shí)代發(fā)展提供了有力的幫助。在未來(lái)，隨著硬件技術(shù)的發(fā)展，云服務(wù)的碎片化、邊緣化，城市的智慧化、信息化，人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用將會(huì)越來(lái)越多，應(yīng)用的范圍也會(huì)變得越來(lái)越廣泛，人工神經(jīng)網(wǎng)絡(luò)在時(shí)代的發(fā)展將會(huì)扮演一個(gè)不可或缺的角色。