神經(jīng)網(wǎng)絡(luò)技術(shù)初探

山東省青島市第二中學(xué) 張 瑞

神經(jīng)網(wǎng)絡(luò)技術(shù)初探

山東省青島市第二中學(xué) 張 瑞

隨著信息科學(xué)的快速發(fā)展，人工智能得到了研究者的廣泛關(guān)注。作為人工智能中的主要實(shí)現(xiàn)手段，人工神經(jīng)網(wǎng)絡(luò)受神經(jīng)元工作原理啟發(fā)，而建立的一種對(duì)信息處理的數(shù)學(xué)模型。近年來，隨著深度學(xué)習(xí)的發(fā)展，對(duì)它的研究取得了一系列進(jìn)展，并得到廣泛的商業(yè)應(yīng)用。本文將簡(jiǎn)述神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史及現(xiàn)狀，基本原理及對(duì)其未來的展望。

人工智能；人工神經(jīng)網(wǎng)絡(luò)

一、引言

自從第一代電子計(jì)算機(jī)問世以來，計(jì)算機(jī)科學(xué)技術(shù)便得到了快速的發(fā)展，從最早被應(yīng)用到科學(xué)計(jì)算，到利用計(jì)算機(jī)程序進(jìn)行數(shù)據(jù)處理及輔助設(shè)計(jì)，以及最為廣泛應(yīng)用的無紙化辦公，計(jì)算機(jī)已被應(yīng)用到我們社會(huì)生產(chǎn)生活的方方面面。傳統(tǒng)上我們?cè)诶糜?jì)算機(jī)處理實(shí)際問題時(shí)，我們通過將目標(biāo)任務(wù)分解成一條條簡(jiǎn)單可執(zhí)行的步驟，并將其用相應(yīng)的編程語句記錄下來，并利用相應(yīng)的軟件解釋執(zhí)行。原則上我們可以給出每一個(gè)任務(wù)的分解，但是許多現(xiàn)實(shí)問題過于復(fù)雜以至于我們沒有辦法給出有效的具有普遍性的分解，如面部識(shí)別，語音識(shí)別，自動(dòng)駕駛，機(jī)器翻譯。上個(gè)世紀(jì)，由生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而建立起來的人工神經(jīng)網(wǎng)絡(luò)模型，經(jīng)過幾十年的發(fā)展，已被證明在處理類似傳統(tǒng)編程方法難以解決的問題上具有明顯的優(yōu)勢(shì)。與傳統(tǒng)的方法相比，它不需要事先就準(zhǔn)確地將相應(yīng)任務(wù)的程序編寫完成，允許其具有一定的較大的誤差，通過大量樣本的學(xué)習(xí)而最終以極高的成功率完成目標(biāo)任務(wù)。近年來，神經(jīng)網(wǎng)絡(luò)的技術(shù)有了極大的發(fā)展，尤其是深度學(xué)習(xí)技術(shù)的廣泛而深入的研究推動(dòng)了神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用，如智能手機(jī)中的語音助手，不久前在圍棋上擊敗人類棋手的Alpha Go 等。

在本文中，我們將通過分三個(gè)部分對(duì)神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行初步的闡述。首先我們對(duì)神經(jīng)網(wǎng)絡(luò)發(fā)展的歷史及現(xiàn)狀進(jìn)行闡述，接著我們介紹了神經(jīng)網(wǎng)絡(luò)的基本原理，最后我們給出神經(jīng)網(wǎng)絡(luò)技術(shù)的張望，以及其對(duì)人類社會(huì)文明可能帶來的影響。

二、神經(jīng)網(wǎng)絡(luò)發(fā)展歷史及現(xiàn)狀

人工神經(jīng)網(wǎng)絡(luò)的研究萌芽于上個(gè)世紀(jì)四十年代，神經(jīng)學(xué)家Warran McCulloch及數(shù)學(xué)家Walter Pitts所構(gòu)建的用來解釋神經(jīng)元工作原理的電流神經(jīng)元模型。在這之后Donald Hebb 提出兩個(gè)神經(jīng)元之間的連接會(huì)在其每次有傳導(dǎo)的時(shí)候而增強(qiáng)，并認(rèn)為這也是人腦學(xué)習(xí)過程的基本原理。到了五十年代，Rosenblatt提出了感知器的模型，并證明對(duì)于線性可分的系統(tǒng)，其學(xué)習(xí)算法一定收斂。感知器模型在處理簡(jiǎn)單分類模型時(shí)極其有效，它可以看作是最早的人工神經(jīng)網(wǎng)絡(luò)，它的提出極大推動(dòng)了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展。但同時(shí)由于其單層結(jié)構(gòu)模型過于簡(jiǎn)單，它也有著較大的局限性，它對(duì)于經(jīng)典的二進(jìn)制問題都無法處理。同時(shí)由于當(dāng)時(shí)計(jì)算機(jī)技術(shù)水平所限，以及傳統(tǒng)編程方法的快速發(fā)展，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展進(jìn)入了低潮。直到上個(gè)世紀(jì)八十年代初，加州理工教授J.J.Hopfield提出了一種單層反饋網(wǎng)絡(luò)Hopfield的網(wǎng)絡(luò)，并成功用它解決了旅行商問題，同時(shí)由于國際上對(duì)于第五代計(jì)算機(jī)研發(fā)的競(jìng)爭(zhēng)使得更多的資金涌入這一領(lǐng)域，從而推動(dòng)了人工神經(jīng)網(wǎng)絡(luò)這一領(lǐng)域的復(fù)興。之后反向傳播法被提出用于多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，從而解決異或邏輯的處理。

在長期的研究后，人們逐漸達(dá)成共識(shí)層數(shù)越多網(wǎng)絡(luò)能完成的任務(wù)越多。但是，層數(shù)越多也就意味網(wǎng)絡(luò)的訓(xùn)練越困難。對(duì)這一問題的研究產(chǎn)生了深度學(xué)習(xí)這一領(lǐng)域。1984年,日本學(xué)者福島邦彥提出了卷積神經(jīng)網(wǎng)絡(luò)的原始模型神經(jīng)感知機(jī)，1998年，Y. LeCun提出了深度學(xué)習(xí)常用模型之一卷積神經(jīng)網(wǎng)絡(luò)。到了2006年G. Hinton提出了深度學(xué)習(xí)的概念，隨后與其團(tuán)隊(duì)提出了深度學(xué)習(xí)模型之一，深度信念網(wǎng)絡(luò)，并給出了一種高效的半監(jiān)督算法：逐層貪心算法，來訓(xùn)練深度信念網(wǎng)絡(luò)的參數(shù)，打破了長期以來深度網(wǎng)絡(luò)難以訓(xùn)練的僵局，并在政府機(jī)構(gòu)，研究機(jī)構(gòu)，公司中掀起了對(duì)深度學(xué)習(xí)的研究。時(shí)至今日利用深度學(xué)習(xí)訓(xùn)練的深度網(wǎng)絡(luò)已進(jìn)入我們生活的方方面面，如機(jī)器翻譯，語音助手，人臉解鎖，步態(tài)識(shí)別等等。

三、神經(jīng)網(wǎng)絡(luò)基本原理

人工神經(jīng)網(wǎng)絡(luò)是受神經(jīng)元的工作原理啟發(fā)而來的。圖1展示了神經(jīng)元的基本結(jié)構(gòu)，一個(gè)神經(jīng)元由樹突，細(xì)胞核，細(xì)胞核，細(xì)胞體及突觸組成。每一個(gè)神經(jīng)元細(xì)胞通過樹突接受從其他神經(jīng)元細(xì)胞傳來的電化學(xué)信號(hào)。當(dāng)電化學(xué)信號(hào)的總強(qiáng)度達(dá)到一定閾值時(shí)，神經(jīng)元便可以被激活，當(dāng)神經(jīng)元被激活后，電化學(xué)信號(hào)通過突觸被傳送到與之相連的神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)便是基于神經(jīng)元工作的模型構(gòu)建出來的。

圖1 神經(jīng)元基本結(jié)構(gòu)圖

將多個(gè)這樣的單元組成一組作為一層并把每個(gè)層相互連接成網(wǎng)絡(luò)則形成人工神經(jīng)網(wǎng)絡(luò)。一個(gè)人工神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)示意圖如圖3所示。它由輸入層隱含層以及輸出層組成。數(shù)據(jù)通過輸入層輸入，經(jīng)過隱含層而處理，最后由輸出層輸出。對(duì)于中間的隱含層前一層的輸出就是下一層的輸入。

在人類學(xué)習(xí)的過程中，我們不斷接觸具有相同特征的事物，做大量的練習(xí)，通過正反饋使得相應(yīng)神經(jīng)元之間的連接得到增強(qiáng)，從而使得我們學(xué)會(huì)相應(yīng)的任務(wù)。對(duì)于人工神經(jīng)網(wǎng)絡(luò)，其學(xué)習(xí)過程也類似，我們通過改變連接系數(shù)，不斷的使得網(wǎng)絡(luò)學(xué)到的結(jié)果和我們希望它學(xué)習(xí)的內(nèi)容直接的差異不斷減小而完成其學(xué)習(xí)過程。主要的學(xué)習(xí)方法有。

四、神經(jīng)網(wǎng)絡(luò)的發(fā)展展望

今日，在深度學(xué)習(xí)及硬件性能提升的基礎(chǔ)上，人工神經(jīng)網(wǎng)絡(luò)尤其是深度網(wǎng)絡(luò)得到廣泛的研究和應(yīng)用。但是仍然存在著許多困難阻礙其更進(jìn)一步實(shí)際的應(yīng)用。首先，由于一般的實(shí)際問題都需要是要使用多層的網(wǎng)絡(luò)，隨著層數(shù)的變多，可以修改的參數(shù)也隨之成倍增加，這樣一來，利用傳統(tǒng)的梯地下降法進(jìn)行訓(xùn)練，其收斂的速度極慢。同時(shí)訓(xùn)練對(duì)于神經(jīng)網(wǎng)絡(luò)的應(yīng)用極其重要，因此我們首先要提供合適的樣本以供訓(xùn)練。為了得到較好的學(xué)習(xí)效果，一般會(huì)采用監(jiān)督學(xué)習(xí)，及對(duì)于每一個(gè)樣本均有相應(yīng)的標(biāo)簽，在訓(xùn)練的過程中，通過改變連接系數(shù)減小網(wǎng)絡(luò)預(yù)測(cè)值與標(biāo)簽的誤差?，F(xiàn)實(shí)應(yīng)用中需要大量的樣本，樣本標(biāo)簽的獲得需要人力物力，提高了應(yīng)用的成本。

為了解決訓(xùn)練速度的問題，一方面可以通過提出更易于訓(xùn)練的新型網(wǎng)絡(luò)和學(xué)習(xí)方法來解決，另一方面可以通過構(gòu)建人工神經(jīng)網(wǎng)絡(luò)專用的處理器，來提高訓(xùn)練及運(yùn)行速度。由于無標(biāo)簽的樣本較容易獲得，不需要過多數(shù)據(jù)加工，因此讓網(wǎng)絡(luò)從沒有標(biāo)簽的樣本中自己學(xué)習(xí)即無監(jiān)督學(xué)習(xí)可以減小標(biāo)記樣本的成本。但是無監(jiān)督算法較難實(shí)現(xiàn)，而通過在樣本中進(jìn)行少量的標(biāo)記而進(jìn)行的半監(jiān)督學(xué)習(xí)則較為容易實(shí)現(xiàn)，因此半監(jiān)督學(xué)習(xí)算法及無監(jiān)督學(xué)習(xí)算法的發(fā)展將推動(dòng)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展及進(jìn)一步應(yīng)用。

五、總結(jié)

人工神經(jīng)網(wǎng)絡(luò)是以神經(jīng)元模型為基礎(chǔ)而構(gòu)建的一種數(shù)學(xué)模型，它通過訓(xùn)練過程調(diào)整每個(gè)神經(jīng)元之間的連接系數(shù)，從而學(xué)會(huì)某一任務(wù)。相比于傳統(tǒng)的編程方法，它更擅長處理一些人類很容易完成，但傳統(tǒng)計(jì)算機(jī)難以解決的問題，如語音識(shí)別，機(jī)器翻譯，人臉識(shí)別等等。自從近年來深度學(xué)習(xí)算法的提出，人工神經(jīng)網(wǎng)絡(luò)已漸漸地投入實(shí)際應(yīng)用中，如手機(jī)語音助手，百度在線翻譯等等，相信隨著更優(yōu)化的算法進(jìn)一步提出，以及計(jì)算機(jī)性能的提高，人工神經(jīng)網(wǎng)絡(luò)最終將極大地推動(dòng)生產(chǎn)力的發(fā)展甚至的社會(huì)變革。

[1]鄒蕾,張先鋒.人工智能及其發(fā)展應(yīng)用[J].信息網(wǎng)絡(luò)安全,2012(2):11-13.

[2]焦李成,楊淑媛,劉芳,等.神經(jīng)網(wǎng)絡(luò)七十年:回顧與展望[J].計(jì)算機(jī)學(xué)報(bào),2016,39(8):1697-1716.

[3]孫志軍,薛磊,許陽明,等.深度學(xué)習(xí)研究綜述[J].計(jì)算機(jī)應(yīng)用研究,2012,29(8):2806-2810.