基于深度學(xué)習(xí)的典型神經(jīng)網(wǎng)絡(luò)對比分析

苑方

摘 要：深度學(xué)習(xí)作為計算機(jī)領(lǐng)域快速研究與發(fā)展的重要方向，近年來受到了人們的廣泛關(guān)注，且在諸多方面已經(jīng)取得了一些進(jìn)展。本文為進(jìn)一步了解深度學(xué)習(xí)，首先闡述了深度學(xué)習(xí)的基本概念與深度學(xué)習(xí)方法，接著對幾種典型深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)具體內(nèi)容進(jìn)行了分析，主要包括對前饋深度學(xué)習(xí)網(wǎng)絡(luò)、反饋深度學(xué)習(xí)網(wǎng)絡(luò)與雙向深度學(xué)習(xí)網(wǎng)絡(luò)的基本結(jié)構(gòu)與功能等方面進(jìn)行闡述與對比分析，相信通過深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展完善，將會為人工智能技術(shù)發(fā)展帶來新機(jī)。

關(guān)鍵詞：深度學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)；前饋深度學(xué)習(xí)網(wǎng)絡(luò)；反饋深度學(xué)習(xí)網(wǎng)絡(luò)；雙向深度學(xué)習(xí)網(wǎng)絡(luò)

中圖分類號：TN91 文獻(xiàn)標(biāo)識碼：A 文章編號：1671-2064（2018）19-0009-02

1 引言

隨著科技的迅猛發(fā)展，深度學(xué)習(xí)是人工智能研究中的一個新的研究方向。它的目的是用機(jī)器模擬大腦進(jìn)行圖形等相關(guān)數(shù)據(jù)分析，從而使計算機(jī)和人類一樣具有學(xué)習(xí)能力。這其中有幾種典型神經(jīng)網(wǎng)絡(luò)是人工智能技術(shù)研究的重要基礎(chǔ)，比如：前饋深度網(wǎng)絡(luò)、反饋深度網(wǎng)絡(luò)、雙向深度網(wǎng)絡(luò)等神經(jīng)自學(xué)習(xí)網(wǎng)絡(luò)。基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)通常都是以實(shí)現(xiàn)優(yōu)化計算、模式識別、數(shù)據(jù)聚類等智能算法來實(shí)現(xiàn)模擬人腦的工作過程，因此其主要廣泛應(yīng)用于智能機(jī)器人、統(tǒng)計數(shù)據(jù)分析相關(guān)領(lǐng)域。

正是由于基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)已經(jīng)得到了一定應(yīng)用，且具有廣泛的前景，本文針對深度學(xué)習(xí)的基本模型，對比分析了幾種典型的神經(jīng)自學(xué)習(xí)網(wǎng)絡(luò)，并從其結(jié)構(gòu)、功能、效率等角度進(jìn)行了深入研究，以此深入了解人工智能技術(shù)。

2 深度學(xué)習(xí)概況

作為機(jī)器學(xué)習(xí)的一個重要分支，深度學(xué)習(xí)主要克服在對象特征的選擇與提取所遇到的困難，而發(fā)展起來的一種自動特征提取的無監(jiān)督學(xué)習(xí)機(jī)制。

所謂深度學(xué)習(xí)是相對于之前傳統(tǒng)的淺層學(xué)習(xí)的一個新方法，其概念在G.E.Hinton教授的有關(guān)深度自信網(wǎng)絡(luò)的快速算法中提出。主要通過自主學(xué)習(xí)對象特征，并且?guī)椭祟愡M(jìn)行特征選取工作的一種方法，它是通過構(gòu)建大量訓(xùn)練數(shù)據(jù)從而提升分類、預(yù)測的準(zhǔn)確性。它的思想來源于對人工神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用，所以在結(jié)構(gòu)上比較類似，但它與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)之間又具有本質(zhì)的區(qū)別。相同點(diǎn)是二者均采用了相似的分層結(jié)構(gòu)，且對應(yīng)的各種網(wǎng)絡(luò)結(jié)構(gòu)很接近人腦的神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)。而不同點(diǎn)在于，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)采用的是BP（Back Propagation）的方式，而深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)采用的是分層的訓(xùn)練模型與訓(xùn)練機(jī)制。

其分層訓(xùn)練模型主要體現(xiàn)在其采用的各種神經(jīng)網(wǎng)絡(luò)一般均采用了輸入層、隱藏層與輸出層，其中隱藏層可能是多層結(jié)構(gòu)，在訓(xùn)練模型中只有相鄰層節(jié)點(diǎn)之間具有信息傳遞，同一層內(nèi)的節(jié)點(diǎn)之間、非相鄰層的節(jié)點(diǎn)之間沒有信息傳遞，每一層可以看成一個獨(dú)立的數(shù)據(jù)邏輯處理模型。對應(yīng)的分層訓(xùn)練機(jī)制是通過對這種多層神經(jīng)網(wǎng)絡(luò)進(jìn)行大規(guī)模數(shù)據(jù)訓(xùn)練，對對象原始信息進(jìn)行依次逐層的特征分析與變換，并自動地學(xué)習(xí)獲取各層特征，通過對特征信息的描述，進(jìn)而實(shí)現(xiàn)對對象的識別學(xué)習(xí)。

3 典型深度神經(jīng)網(wǎng)絡(luò)及其對比

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)是現(xiàn)今人工智能技術(shù)的主要研究對象，其結(jié)構(gòu)內(nèi)部類似神經(jīng)元之間的連接方式是受到動物視覺皮層組織的啟發(fā)。深度學(xué)習(xí)所使用的深度網(wǎng)絡(luò)中含有大量的類似神經(jīng)元的節(jié)點(diǎn)，它們之間相互連接，且由多個單層非線性網(wǎng)絡(luò)疊加形成，其強(qiáng)度在學(xué)習(xí)過程中得到不斷修改，以此決定學(xué)習(xí)網(wǎng)絡(luò)的功能，此深度網(wǎng)絡(luò)的結(jié)構(gòu)符合神經(jīng)網(wǎng)絡(luò)的特征，所以稱之為深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network：DNN）。通常神經(jīng)網(wǎng)絡(luò)的編碼情況可以劃分為三類：只含編碼器、只含解碼器、同時含有編碼解碼器，按照神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)編碼方式的不同，深度神經(jīng)網(wǎng)絡(luò)可以分為：前饋深度學(xué)習(xí)網(wǎng)絡(luò)（Feed Forward Deep Network：FFDN），反饋深度學(xué)習(xí)網(wǎng)絡(luò)（Feed Back Deep Network：FBDN）和雙向深度學(xué)習(xí)網(wǎng)絡(luò)（Bi-Directional Deep Network：BDDN）。

3.1 前饋深度學(xué)習(xí)網(wǎng)絡(luò)

所謂前饋深度學(xué)習(xí)網(wǎng)絡(luò)是指在神經(jīng)網(wǎng)絡(luò)中只有編碼器，是一種前向網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)信息只能沿輸入端到輸出端進(jìn)行傳輸。前饋學(xué)習(xí)網(wǎng)絡(luò)分為兩類：單層前饋神經(jīng)網(wǎng)絡(luò)和多層前饋神經(jīng)網(wǎng)絡(luò)。其中單層前饋神經(jīng)網(wǎng)絡(luò)是最簡單的一種人工神經(jīng)網(wǎng)絡(luò)，只含一個輸出層。多層前饋神經(jīng)網(wǎng)絡(luò)有一個輸入層、中間有若干個隱含層、一個輸出層。

其特點(diǎn)結(jié)構(gòu)簡單，應(yīng)用廣泛，能夠以精確精度逼近任意連續(xù)函數(shù)以及平方可積函數(shù)。從系統(tǒng)來看，前饋網(wǎng)絡(luò)屬于靜態(tài)非線性映射，擁有復(fù)雜的非線性處理能力，但從計算來看，缺乏動力學(xué)行為。前饋網(wǎng)絡(luò)中大多都是學(xué)習(xí)網(wǎng)絡(luò)，它的分類、模式識別能力均強(qiáng)于反饋網(wǎng)絡(luò)。

另外，還有幾種前饋神經(jīng)網(wǎng)絡(luò)，如：感知器網(wǎng)絡(luò)——用于模式分類，BP網(wǎng)絡(luò)（Back Propagation）——可實(shí)現(xiàn)從輸入到輸出的非線性映射，RBF網(wǎng)絡(luò)（Radial Basis Function，徑向基函數(shù)）——由線性神經(jīng)元組成的輸出層。

3.2 反饋深度學(xué)習(xí)網(wǎng)絡(luò)

所謂反饋深度學(xué)習(xí)網(wǎng)絡(luò)是指在神經(jīng)網(wǎng)絡(luò)中只有解碼器，這恰好與前饋神經(jīng)網(wǎng)絡(luò)不同，反饋網(wǎng)絡(luò)是對輸入信號進(jìn)行解碼，通過對反卷積的解或數(shù)據(jù)集的基進(jìn)行求解實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的反饋學(xué)習(xí)。反饋深度學(xué)習(xí)網(wǎng)絡(luò)按照反饋程度分為兩大類：全反饋網(wǎng)絡(luò)和部分反饋網(wǎng)絡(luò)。在全反饋網(wǎng)絡(luò)中，1982年發(fā)明的Hopfield網(wǎng)絡(luò)是其中最簡單、應(yīng)用最廣的模型。它具有單層且對稱的結(jié)構(gòu)，每一個神經(jīng)元是輸入也是輸出，將自己的信息傳遞給其他神經(jīng)元的同時也接受其他神經(jīng)元傳送過來的信息。它有兩種工作的方式：離散型——處理聯(lián)想記憶方面問題；連續(xù)性霍普菲爾德神經(jīng)網(wǎng)絡(luò)——解決TSP問題。另外由于這種神經(jīng)網(wǎng)絡(luò)是全鏈接，而其結(jié)構(gòu)中缺少隱含層，所以在面對一些非線性系統(tǒng)中，會對其應(yīng)用產(chǎn)生影響。

為了簡化結(jié)構(gòu)繁雜的全反饋網(wǎng)絡(luò)，往往用部分反饋網(wǎng)絡(luò)。其中有幾個典型的例子：Elman網(wǎng)絡(luò)、Jordan網(wǎng)絡(luò)。Elman網(wǎng)絡(luò)的結(jié)構(gòu)由輸入層、隱含層、輸出層組成，另外還有一種特殊的隱含層——關(guān)聯(lián)層，他接收從隱含層傳來的反饋信號，用來記憶隱含層中神經(jīng)元在上一時段的輸出值，然后關(guān)聯(lián)層神經(jīng)元的輸出經(jīng)過存儲后再次輸入至隱含層，這樣以達(dá)到加強(qiáng)自身處理信息的能力。Jordan網(wǎng)絡(luò)不同于Elman網(wǎng)絡(luò)，它是將輸出層的輸出信息再反饋至輸入層。

從上面幾種反饋神經(jīng)網(wǎng)絡(luò)可以看出，反饋神經(jīng)網(wǎng)絡(luò)是通過增加隱含層或?qū)⑤敵鰧拥男畔⒎祷剌斎雽拥姆绞絹碓黾幼陨砭W(wǎng)絡(luò)的動態(tài)性能，但同時也增加了網(wǎng)絡(luò)的復(fù)雜度。

3.3 雙向深度學(xué)習(xí)網(wǎng)絡(luò)

所謂雙向深度學(xué)習(xí)網(wǎng)絡(luò)是指在神經(jīng)網(wǎng)絡(luò)中既有編碼器又有解碼器，這時單層可能有三種數(shù)據(jù)處理方式，即只有編碼過程、只有解碼過程、同時具有編碼與解碼過程，可見是結(jié)合了前饋網(wǎng)絡(luò)與反饋網(wǎng)絡(luò)的功能，網(wǎng)絡(luò)功能相對更加豐富，但網(wǎng)絡(luò)結(jié)構(gòu)也更加復(fù)雜。在雙向深度學(xué)習(xí)網(wǎng)絡(luò)中有幾個典型的網(wǎng)絡(luò)，如：波爾茲曼機(jī)雙向深度學(xué)習(xí)網(wǎng)絡(luò)、深度信念雙向深度學(xué)習(xí)網(wǎng)絡(luò)與帶棧式自編碼器雙向深度學(xué)習(xí)網(wǎng)絡(luò)。

波爾茲曼機(jī)雙向深度學(xué)習(xí)網(wǎng)絡(luò)（BM），由Hinton等人在1983至1986年間提出并不斷完善，是一種隨機(jī)遞歸神經(jīng)網(wǎng)絡(luò)，并可分為限制波爾茲曼機(jī)雙向深度學(xué)習(xí)網(wǎng)絡(luò)與深度波爾茲曼機(jī)雙向深度學(xué)習(xí)網(wǎng)絡(luò)。限制波爾茲曼機(jī)（RBM）在原有波爾茲曼機(jī)的基礎(chǔ)上使隱含層減少一點(diǎn)，這樣提高其自身效率。而多個限制波爾茲曼機(jī)疊加，并將一層的輸出用作下面一層的輸入，這樣就形成了深度波爾茲曼機(jī)，其每層間的節(jié)點(diǎn)都是雙向的。

深度信念雙向深度學(xué)習(xí)網(wǎng)絡(luò)（DBN），是由多個RBM疊加得到的，前一層的輸出為下一層的輸入。在訓(xùn)練過程中，需要充分地逐層訓(xùn)練到最后一層，這樣的方式解決了之前多層網(wǎng)絡(luò)訓(xùn)練時出現(xiàn)的問題，以達(dá)到更好的效果。

帶棧式自編碼器雙向深度學(xué)習(xí)網(wǎng)絡(luò)也具有相類似的結(jié)構(gòu)，是一個由多層稀疏自編碼器組成，前一層的自編碼器輸出直接作為后一層自編碼器的輸入，而對應(yīng)的解碼過程是從后向前進(jìn)行的，與編碼過程恰好相反，如果結(jié)合反向傳播算法實(shí)現(xiàn)對訓(xùn)練參數(shù)的微調(diào)會得到局部最優(yōu)的結(jié)果。

4 結(jié)語

由淺層學(xué)習(xí)發(fā)展而來的深度學(xué)習(xí)已經(jīng)給生活帶來了一些巨大的改變，越來越多的人也都正在或?qū)⒁劢股疃葘W(xué)習(xí)領(lǐng)域，雖然深度學(xué)習(xí)還剛剛處于發(fā)展初期，但自從深度學(xué)習(xí)概念的提出到如今一些理論的形成與成果的應(yīng)用給機(jī)器學(xué)習(xí)及其人工智能技術(shù)產(chǎn)生了深遠(yuǎn)影響。但深度學(xué)習(xí)領(lǐng)域還有大量的工作要做，如如何縮小網(wǎng)絡(luò)規(guī)模、縮短訓(xùn)練時間、提高網(wǎng)絡(luò)工作效率等問題，以及借助深度學(xué)習(xí)網(wǎng)絡(luò)優(yōu)化傳統(tǒng)算法的性能等。

參考文獻(xiàn)

[1]尹寶才，王文通，王立春.深度學(xué)習(xí)研究綜述[J].北京工業(yè)大學(xué)學(xué)報，2015，41（1）：48-60.

[2]李海峰，李純果.深度學(xué)習(xí)結(jié)構(gòu)和算法比較分析[J].河北大學(xué)學(xué)報（自然科學(xué)版），2012，32（5）：538-544.

[3]毛勇華，桂小林，李前，賀興時.深度學(xué)習(xí)應(yīng)用技術(shù)研究[J].計算機(jī)應(yīng)用研究，2016，33（11）：3201-3215.

[4]孫志軍，薛磊，許陽明，王正.深度學(xué)習(xí)研究綜述[J].計算機(jī)應(yīng)用研究，2012，29（8）：2806-2810.

[5]吳曉紅.反饋神經(jīng)網(wǎng)絡(luò)的一種反向傳播算法[J].系統(tǒng)工程與電子技術(shù)，1999，21（9）：65-68.

[6]周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機(jī)學(xué)報，2017，40（6）：1229-1250.