深度學(xué)習(xí)的研究與發(fā)展

張建明，詹智財(cái)，成科揚(yáng)，詹永照

(江蘇大學(xué)計(jì)算機(jī)科學(xué)與通信工程學(xué)院，江蘇 鎮(zhèn)江 212013)

從2006年開(kāi)始，深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)領(lǐng)域中對(duì)模式(音頻、圖像、文本等)進(jìn)行建模的一種方法已經(jīng)成為機(jī)器學(xué)習(xí)研究的一個(gè)新領(lǐng)域.深度學(xué)習(xí)旨在使機(jī)器學(xué)習(xí)能夠更加地接近其最初的目標(biāo)——人工智能［1］.

近年來(lái)，隨著深度學(xué)習(xí)的出現(xiàn)，許多研究者致力于深度學(xué)習(xí)原理和應(yīng)用的研究，主要體現(xiàn)在各大會(huì)議、高校研究組和企業(yè)應(yīng)用上的熱潮.會(huì)議包括:2013年聲學(xué)，語(yǔ)音和信號(hào)處理國(guó)際會(huì)議(international conference on acoustics，speech，and signal processing，ICASSP)討論關(guān)于語(yǔ)音識(shí)別和相關(guān)應(yīng)用的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的新類(lèi)型;2010，2011和2012年神經(jīng)信息處理系統(tǒng)(neural information processing systems，NIPS)討論關(guān)于深度學(xué)習(xí)和無(wú)監(jiān)督特征學(xué)習(xí);2011，2013年機(jī)器學(xué)習(xí)國(guó)際會(huì)議(international conference on machine learning，ICML)討論關(guān)于音頻，語(yǔ)音和視覺(jué)信息處理的學(xué)習(xí)結(jié)構(gòu)，表示和最優(yōu)化［2］.高校團(tuán)隊(duì)有:多倫多大學(xué)的Geoffrey Hinton研究組;斯坦福大學(xué)的Andrew Ng研究組;加拿大蒙特利爾大學(xué)的 Yoshua Bengio研究組;紐約大學(xué)的Yann LeCun研究組等［3］.企業(yè)團(tuán)隊(duì)有:百度公司的Andrew Ng與余凱團(tuán)隊(duì);微軟公司的鄧力團(tuán)隊(duì);Google公司的Geoffrey Hinton團(tuán)隊(duì)和阿里巴巴，科大訊飛以及中科院自動(dòng)化所等公司或研究單位.

在深度學(xué)習(xí)中，深度指代在學(xué)到的函數(shù)中非線(xiàn)性操作組成的層次的數(shù)目.早在1969年Minsky和Papert在所著的《感知機(jī)》中就指出:單層感知機(jī)(淺層結(jié)構(gòu))不能實(shí)現(xiàn)“異或”(XOR)功能，即不能解決線(xiàn)性不可分問(wèn)題.而多層感知機(jī)，即深度結(jié)構(gòu)是可以求解線(xiàn)性不可分的問(wèn)題的，深度結(jié)構(gòu)將低等級(jí)特征組合或者變換得到更高等級(jí)形式的特征，并從中學(xué)習(xí)具有層次結(jié)構(gòu)的特征，這種特有的結(jié)構(gòu)允許系統(tǒng)在多層次的抽象中自動(dòng)的學(xué)習(xí)并能夠擬合復(fù)雜的函數(shù).因?yàn)闊o(wú)監(jiān)督自動(dòng)學(xué)習(xí)數(shù)據(jù)中隱藏的高等級(jí)特征的能力會(huì)隨著數(shù)據(jù)的規(guī)模的擴(kuò)大和機(jī)器學(xué)習(xí)方法的應(yīng)用范圍增大而變得越來(lái)越重要，深度學(xué)習(xí)也會(huì)被越來(lái)越多的研究者重視.文中意在通過(guò)對(duì)深度學(xué)習(xí)的基本模型的介紹以及在幾大領(lǐng)域上的應(yīng)用，使讀者能夠?qū)ι疃葘W(xué)習(xí)有大致的了解［4］.

1 深度學(xué)習(xí)的發(fā)展歷程

機(jī)器學(xué)習(xí)的發(fā)展歷程可以大致分為2個(gè)階段:淺層學(xué)習(xí)和深度學(xué)習(xí).直到近些年，大多數(shù)機(jī)器學(xué)習(xí)的方法都是利用淺層結(jié)構(gòu)來(lái)處理數(shù)據(jù)，這些結(jié)構(gòu)模型最多只有1層或者2層非線(xiàn)性特征轉(zhuǎn)換層.典型的淺層結(jié)構(gòu)有:高斯混合模型(GMMs)［5］、支持向量機(jī)(SVM)［6］、邏輯回歸等等.在這些淺層模型中，最為成功的就是SVM模型，SVM使用一個(gè)淺層線(xiàn)性模式分離模型，當(dāng)不同類(lèi)別的數(shù)據(jù)向量在低維空間中無(wú)法劃分時(shí)，SVM會(huì)將它們通過(guò)核函數(shù)映射到高維空間中并尋找分類(lèi)最優(yōu)超平面.到目前為止，淺層結(jié)構(gòu)已經(jīng)被證實(shí)能夠高效地解決一些在簡(jiǎn)單情況下或者給予多重限制條件下的問(wèn)題，但是當(dāng)處理更多復(fù)雜的真實(shí)世界的問(wèn)題時(shí)，比如涉及到自然信號(hào)的人類(lèi)語(yǔ)音、自然聲音、自然語(yǔ)言和自然圖像以及視覺(jué)場(chǎng)景時(shí)他們的模型效果和表達(dá)能力就會(huì)受到限制，無(wú)法滿(mǎn)足要求［2］.

早在1974年P(guān)aul Werbos提出了反向傳播(back propagation，BP)算法［7］，解決了由簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型推廣到復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型中線(xiàn)性不可分的問(wèn)題，但反向傳播算法在神經(jīng)網(wǎng)絡(luò)的層數(shù)增加的時(shí)候參數(shù)優(yōu)化的效果無(wú)法傳遞到前層，容易使得模型最后陷入局部最優(yōu)解，也比較容易過(guò)擬合.在很長(zhǎng)一段時(shí)間里，研究者們不知道在有著多層全連接的神經(jīng)網(wǎng)絡(luò)上怎樣高效學(xué)習(xí)特征的深度層次結(jié)構(gòu).

2006年，Hinton提出了深度置信網(wǎng)絡(luò)(deep belief network，DBN)［8］，這個(gè)網(wǎng)絡(luò)可以看作是由多個(gè)受限玻爾茲曼機(jī)(restricted boltzmann machines，RBM)［9］疊加而成.從結(jié)構(gòu)上來(lái)說(shuō)，深度置信網(wǎng)絡(luò)與傳統(tǒng)的多層感知機(jī)區(qū)別不大，但是在有監(jiān)督學(xué)習(xí)訓(xùn)練前需要先無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練，然后將學(xué)到的參數(shù)作為有監(jiān)督學(xué)習(xí)的初始值.正是這種學(xué)習(xí)方法的變革使得現(xiàn)在的深度結(jié)構(gòu)能夠解決以往的BP不能解決的問(wèn)題.

隨后深度結(jié)構(gòu)的其他算法模型被不斷地提出，并在很多數(shù)據(jù)集上刷新了之前的一些最好的記錄，例如2013年 Wan Li等［10］提出的 drop connect規(guī)范網(wǎng)絡(luò)，其模型在數(shù)據(jù)集CIFAR-10上的錯(cuò)誤率為9.32%，低于此前最好的結(jié)果9.55%，并在SVHN上獲得了1.94%的錯(cuò)誤率，低于此前最好的結(jié)果2.8%等等.

2 深度學(xué)習(xí)的基礎(chǔ)模型及其改進(jìn)

深度學(xué)習(xí)出現(xiàn)的時(shí)間還不算長(zhǎng)，所以大部分模型都是以最基礎(chǔ)的幾種核心模型為基元，例如RBM，AE(atuo encoders)［11］，卷積神經(jīng)網(wǎng)絡(luò)(convo-lutional neural networks，CNN)［12］等進(jìn)行改進(jìn)而得到的.文中首先介紹這幾種基礎(chǔ)的模型，然后介紹這幾種基礎(chǔ)模型上的深度結(jié)構(gòu)模型或者其改進(jìn)模型.

2.1 受限玻爾茲曼機(jī)

RBM有著一個(gè)豐富的原理架構(gòu)，是由1985年D.H.Ackley等［13］提出的統(tǒng)計(jì)力學(xué)的隨機(jī)神經(jīng)網(wǎng)絡(luò)實(shí)例玻爾茲曼機(jī)(boltzmann machines，BM)發(fā)展而來(lái)的.BM具有強(qiáng)大的無(wú)監(jiān)督學(xué)習(xí)能力，能夠?qū)W習(xí)數(shù)據(jù)中復(fù)雜的規(guī)則.但是，它無(wú)法確切計(jì)算BM所表示的分布.為了解決這個(gè)問(wèn)題，Smolensky引入了受限玻爾茲曼機(jī)，他將BM原來(lái)的層間連接進(jìn)行限定，使得同一層中不同的節(jié)點(diǎn)互相獨(dú)立，只有層與層之間的節(jié)點(diǎn)才有連接，這樣就可以較為容易地求得它的概率分布函數(shù)［14-15］.本節(jié)介紹RBM的原理及基于RBM的2個(gè)深度結(jié)構(gòu):DBN和深度玻爾茲曼機(jī)(deep boltzmann machine，DBM)［16］.

2.1.1 受限玻爾茲曼機(jī)原理

RBM是有著2層結(jié)構(gòu)的馬爾可夫隨機(jī)場(chǎng)的特殊情況［17］(見(jiàn)圖1)，它包含了由 m個(gè)可視的單元V=(v1，v2，…，vm)構(gòu)成的可視層，一般是服從伯努利或者高斯分布;n個(gè)隱藏的單元H=(h1，h2，…，hn)構(gòu)成的隱藏層，一般是服從伯努利分布.圖1中上層表示n個(gè)隱藏單元構(gòu)成的隱藏(輸出)層，下層表示m個(gè)可視單元構(gòu)成的可視(輸入)層.

圖1 受限玻爾茲曼機(jī)

如圖1所示，RBM的可視單元層和隱藏單元層間有權(quán)值連接，但層內(nèi)單元之間無(wú)連接.

統(tǒng)計(jì)力學(xué)中能量函數(shù)［8-9，11］可估算一個(gè)系統(tǒng)的能量，當(dāng)系統(tǒng)按其內(nèi)動(dòng)力規(guī)則進(jìn)行演變時(shí)，其能量函數(shù)總是朝減少的方向變化，或停留在某一固定值，最終趨于穩(wěn)定.所以可以借由能量函數(shù)來(lái)對(duì)RBM進(jìn)行狀態(tài)的估計(jì).一個(gè)RBM中，在當(dāng)給定模型的參數(shù)θ(即為權(quán)重w，可視層偏置b，隱藏層偏置c)的情況下，它關(guān)于可是單元v和隱藏單元h的聯(lián)合分布p(v，h;θ)可以由能量函數(shù) E(v，h;θ)給出，即為

對(duì)于一個(gè)伯努利-伯努利RBM模型來(lái)說(shuō)，其能量函數(shù)為

式中:i∈{1，2，…，n};j∈{1，2，…，m};wij為一個(gè)介于單元vj和單元hi之間的邊的實(shí)數(shù)權(quán)重;bj和ci為第j個(gè)可視變量和第i個(gè)隱藏變量各自的實(shí)數(shù)偏置項(xiàng).模型的條件概率為

同樣地，對(duì)于高斯-伯努利RBM來(lái)說(shuō)，其能量函數(shù)為

與它相對(duì)應(yīng)的條件概率為

輸入:RBM(v1，v2，…，vm，h1，h2，…，hn)的訓(xùn)練集S.

輸出:Δwij，Δbj，Δci的近似梯度結(jié)果，i=1，2，…，n，j=1，2，…，m.

2.1.2 基于受限玻爾茲曼機(jī)的深度結(jié)構(gòu)

圖1為一個(gè)RBM結(jié)構(gòu)，其中下層為輸入層，上層為輸出層，當(dāng)在上面再增加一個(gè)相同的RBM結(jié)構(gòu)時(shí)就形成了部分的DBN結(jié)構(gòu)，即在預(yù)訓(xùn)練階段將一個(gè)RBM的輸出作為另一個(gè)RBM的輸入，然后采用BP微調(diào)來(lái)進(jìn)行權(quán)值更好的訓(xùn)練.本節(jié)將基于RBM介紹DBN和DBM，并簡(jiǎn)要的分析二者的不同.

2.1.2.1 深度置信網(wǎng)

深度置信網(wǎng)(Deep Belief Networks，DBN)即為若干個(gè)RBM模型的疊加，是有著多層隱藏解釋因子的神經(jīng)網(wǎng)絡(luò)，由G.E.Hinton等［19］在2006年提出.

一個(gè)有著l層的DBN模型，可對(duì)介于可視變量vj和 l 層隱藏層 h(k)，k=1，2，…，l 間的聯(lián)合分布進(jìn)行建模，其中每一層隱藏層由二值單元h(k)i構(gòu)成，整個(gè) DBN 的聯(lián)合概率 p(v，h(1)，h(2)，…h(huán)(t))為

式中v=h(0)，P(h(k)|h(k+1))為k層與第k+1層間的階乘條件分布:

簡(jiǎn)要來(lái)說(shuō)就是通過(guò)預(yù)訓(xùn)練和反向微調(diào)來(lái)訓(xùn)練整個(gè)DBN:在預(yù)訓(xùn)練的時(shí)候是先單獨(dú)訓(xùn)練每一個(gè)RBM，逐層疊加將下一層的RBM的輸出作為上一層RBM的輸入;在反向微調(diào)的時(shí)候可以通過(guò)BP訓(xùn)練根據(jù)誤差函數(shù)進(jìn)行反向調(diào)節(jié).

評(píng)估一個(gè)模型優(yōu)劣的標(biāo)準(zhǔn)是模型的性能瓶頸，例如在一個(gè)分類(lèi)任務(wù)上的測(cè)試，DBN可以在預(yù)訓(xùn)練后使用標(biāo)簽數(shù)據(jù)并使用BP算法去微調(diào)模型，提升預(yù)測(cè)性能.這里需要說(shuō)的是BP算法在這里只用在DBN中與傳統(tǒng)的前向神經(jīng)網(wǎng)絡(luò)相關(guān)的局部權(quán)重微調(diào)上，使之加快訓(xùn)練速度和縮短收斂所需時(shí)間.當(dāng)Hinton在MNIST手寫(xiě)特征識(shí)別任務(wù)上使用DBN時(shí)，試驗(yàn)結(jié)果證實(shí)了DBN優(yōu)于傳統(tǒng)的前向網(wǎng)絡(luò)的提升效果.在文獻(xiàn)［11］中Bengio首先通過(guò)分析Hinton提出的DBN模型的成功之處，并針對(duì)原有的DBN的輸入只能是二值數(shù)據(jù)，通過(guò)將第1層的伯努力分布的輸入改成高斯分布的輸入，從而擴(kuò)展成可以輸入任意值來(lái)進(jìn)行學(xué)習(xí)和訓(xùn)練.自從深度置信網(wǎng)被提出后，研究者們針對(duì)DBN已經(jīng)發(fā)展了很多的變種，比如卷積深度置信網(wǎng)(Convolutional Deep Belief Networks，CDBN)［20］，稀疏深度置信網(wǎng) (Sparse Deep Belief Networks，SDBN)［21］等等.

2.1.2.2 深度玻爾茲曼機(jī)

DBM是包含輸入層為D個(gè)可視單元的v∈{0，1}D集，和 Fi個(gè)隱藏單元組成的 hi∈{0，1}Fi集，hi∈{0，1}Fi集按序排列，如 h1∈{0，1}F1，h2∈{0，1}F2，…，hL∈{0，1}FL.在相鄰層間只有隱藏單元之間才有連接，就像第1層中可視單元和與它相近的隱藏單元之間一樣.考慮到一個(gè)3層隱藏層的DBM(圖2b)，這個(gè)狀態(tài){v，h}的能量被定義成:

式中:h={h1，h2，h3}為隱藏單元集;θ ={W1，W2，W3}為這個(gè)模型的相對(duì)應(yīng)的權(quán)重參數(shù)［16］.

圖2 深度置信網(wǎng)與深度玻爾茲曼機(jī)結(jié)構(gòu)圖

對(duì)于單層RBM來(lái)說(shuō)，如果把RBM隱藏層的層數(shù)增加，就可以得到圖2b所示的DBM結(jié)構(gòu);如果在靠近可視層的部分使用貝葉斯置信網(wǎng)絡(luò)(即有向圖模型)，而在輸出層的部分使用RBM，可以得到圖2a所示的DBN結(jié)構(gòu).DBM有潛力去學(xué)習(xí)那些越來(lái)越復(fù)雜的內(nèi)在的表征，這被認(rèn)為是在處理對(duì)象識(shí)別和語(yǔ)音識(shí)別問(wèn)題上一個(gè)新的方法，有可能提升深度學(xué)習(xí)領(lǐng)域在這方面的應(yīng)用.此外，DBM能從大量無(wú)標(biāo)簽的自然信息數(shù)據(jù)(自然世界中存在的信息)中構(gòu)建高等級(jí)表征，通過(guò)使用人為定義的有標(biāo)簽數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)，從而進(jìn)一步達(dá)到期望的分類(lèi)結(jié)果.再之，除了都是自下而上的生成結(jié)構(gòu)且都能夠進(jìn)行自頂向下的反饋外，DBM允許更魯棒性地處理模糊的輸入數(shù)據(jù)且更好地進(jìn)行傳播，減少傳播造成的誤差［22］.

2.2 自動(dòng)編碼器

Y.Bengio等［11］在2007年通過(guò)理解 DBN的訓(xùn)練策略的成功之處，即通過(guò)無(wú)監(jiān)督預(yù)訓(xùn)練來(lái)更好地初始化所有層的權(quán)值從而減緩深度網(wǎng)絡(luò)的優(yōu)化困難的問(wèn)題，并通過(guò)將DBN結(jié)構(gòu)中的RBM建筑塊替換成AE來(lái)驗(yàn)證這個(gè)想法.本節(jié)先介紹AE的基本原理，然后再介紹基于AE的堆疊自動(dòng)編碼器(stacked auto encoders，SAE)［23］.

2.2.1 自動(dòng)編碼器的原理

AE通過(guò)將可視層的輸入變換到隱藏的輸出層，然后通過(guò)隱藏層進(jìn)行重構(gòu)使得自動(dòng)編碼器的目標(biāo)輸出與原始輸入自身幾乎相等，如圖3a所示.AE的目標(biāo)函數(shù)為

圖3 自動(dòng)編碼器的基本結(jié)構(gòu)及其基本原理

式中:n為樣本數(shù)據(jù)的大小;x為原始輸入向量;z為重構(gòu)向量.依據(jù)輸入輸出的不同，損失函數(shù)L可以是連續(xù)值的傳統(tǒng)的方差損失函數(shù)L(x，z)=‖x-z‖2或者是二值的交叉熵?fù)p失函數(shù)L(x，z)=

另外，為了防止過(guò)擬合，通過(guò)將權(quán)重衰減項(xiàng)作為正則化項(xiàng)加入到目標(biāo)函數(shù)中，即為公式(11)的第2項(xiàng).權(quán)重衰減參數(shù)λ表明這個(gè)重構(gòu)誤差和權(quán)重衰減項(xiàng)的相關(guān)重要性.

2.2.2 基于自動(dòng)編碼器的深度結(jié)構(gòu)

AE結(jié)構(gòu)簡(jiǎn)單，而且其數(shù)學(xué)表示通俗易懂，加之能夠很好地進(jìn)行堆疊形成深層結(jié)構(gòu)，本節(jié)將介紹基于AE形成的SAE結(jié)構(gòu).

文獻(xiàn)［4，11］中自動(dòng)編碼器的訓(xùn)練過(guò)程是和RBM一樣使用貪心逐層預(yù)訓(xùn)練算法，但因?yàn)槭峭ㄟ^(guò)重構(gòu)誤差來(lái)進(jìn)行訓(xùn)練，相比較而言比訓(xùn)練RBM容易，所以常常用來(lái)代替RBM構(gòu)建深度結(jié)構(gòu).通過(guò)將DBN中的RBM替換成AE，形成SAE.SAE的特點(diǎn)就是它與RBM一樣也是一個(gè)生成模型，但是數(shù)據(jù)樣本在作為SAE的輸入的同時(shí)還能夠作為SAE的輸出目標(biāo)，從而檢測(cè)SAE中間層學(xué)到的特征是否符合要求，通過(guò)逐個(gè)AE的訓(xùn)練，最終完成對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.

堆疊自動(dòng)編碼器(見(jiàn)圖4)是由多層自動(dòng)編碼器構(gòu)成的深層神經(jīng)網(wǎng)絡(luò)，它被廣泛地用于深度學(xué)習(xí)方法中的維數(shù)約簡(jiǎn)［25］和特征學(xué)習(xí)［26］.

圖4 堆疊自動(dòng)編碼器

正如圖4中展現(xiàn)的，假設(shè)有h個(gè)自動(dòng)編碼器，并以從底向上的順序逐層進(jìn)行訓(xùn)練.具體的訓(xùn)練過(guò)程如下［4］:① 訓(xùn)練第1個(gè)AE，最小化其原始輸入(圖4中黑色部分)的重構(gòu)誤差;②將上一個(gè)AE的輸出用作下一個(gè)AE的輸入，按照步驟②中的方式進(jìn)行訓(xùn)練;③重復(fù)②步的過(guò)程，直到完成下面層的訓(xùn)練;④將最后一層隱藏層的輸出作為一個(gè)有監(jiān)督層的輸入，初始化其參數(shù)(保持剩余層的參數(shù)固定，最頂層的參數(shù)可以是隨機(jī)或者有監(jiān)督訓(xùn)練得到);⑤按照有監(jiān)督的標(biāo)準(zhǔn)，可以對(duì)所有層進(jìn)行微調(diào)，或者僅對(duì)最高層進(jìn)行微調(diào).

最頂層AE的隱藏層就是這個(gè)SAE的輸出，這個(gè)結(jié)果能夠饋送到其他應(yīng)用中去，例如在輸出端使用一個(gè)SVM分類(lèi)器.這個(gè)無(wú)監(jiān)督預(yù)訓(xùn)練能夠自動(dòng)地利用大規(guī)模的無(wú)標(biāo)簽數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)中獲得比傳統(tǒng)隨機(jī)初始化更好的權(quán)重初始化.

若干個(gè)自動(dòng)編碼器的堆疊就成為了深層結(jié)構(gòu)，如果在每個(gè)自動(dòng)編碼器的損失函數(shù)上加上一個(gè)稀疏懲罰值，那么就成為了稀疏堆疊自動(dòng)編碼器(stacked sparse auto encoders，SSAE)［27］:

2.3 卷積神經(jīng)網(wǎng)絡(luò)

在1989年Yan Lecun等基于前人工作，提出了一個(gè)可以將BP成功用于訓(xùn)練深度網(wǎng)絡(luò)的結(jié)構(gòu):CNN，它組合局部感受野、權(quán)重共享、和空間或時(shí)間上的子采樣這3種結(jié)構(gòu)去確保平移和變形上的不變性，一個(gè)典型的CNN網(wǎng)絡(luò)如圖5所示.

圖5 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

局部感受野:圖5中第1個(gè)隱藏層有著6個(gè)特征圖，每個(gè)對(duì)應(yīng)于輸入層中的小方框就是一個(gè)局部感受野，也可以稱(chēng)之為滑動(dòng)窗口.

權(quán)值共享:這里f是一個(gè)非線(xiàn)性函數(shù)，通常是tanh函數(shù)或是sigmoid函數(shù)，是第l層的第j個(gè)單元的偏置值，是l-1層中特征映射i的索引向量，而在第l層中特征映射j是需要累加的，*是一個(gè)2維卷積操作且是作用在第l-1層中的特征映射i上的卷積核心，能夠生成第l層中特征映射j的累加的輸入部分.一個(gè)卷積層通常由幾個(gè)特征圖構(gòu)成，而這里的即為權(quán)重，在同一個(gè)特征圖中是相同的，這樣就減少了自由參數(shù)的數(shù)量.

子采樣:如果平移這個(gè)卷積層的輸入將會(huì)平移其輸出，但是卻不會(huì)改變它，而且一旦一個(gè)特征被檢測(cè)到，其準(zhǔn)確的位置就會(huì)不那么重要了，只要相對(duì)于其他特征的近似位置被保存即可.因此，每個(gè)卷積層后面會(huì)有一個(gè)額外的層去執(zhí)行局部的均值化，即子采樣［30-31］去減少輸出時(shí)關(guān)于平移和變形的靈敏度.對(duì)于一個(gè)子采樣層l中的特征映射j，有

式中:down為基于因子Nl進(jìn)行下采樣的函數(shù);Nl為第l層子采樣層所需要的窗口邊界大小，然后對(duì)大小為Nl×Nl的窗口非重疊區(qū)域進(jìn)行均值計(jì)算.假設(shè)神經(jīng)元的輸出層為C維，那么就能對(duì)C類(lèi)進(jìn)行的鑒別，輸出層是前層的連接特征映射的輸出表征:

式中:bo為偏置向量;Wo為權(quán)重矩陣;fv為特征向量，模型的參數(shù)是{，bo，Wo}.卷積層和子采樣層通常是逐層交替，而特征圖的數(shù)量是隨著空間解析度的減少而增加.

在CNN的應(yīng)用上一個(gè)很成功的實(shí)例是Y.Le-Cun等［32］于1995年提出的LeNet-5系統(tǒng)，在MNIST上得到了0.9%的錯(cuò)誤率，并在20世紀(jì)90年代就已用于銀行的手寫(xiě)支票識(shí)別.

近年來(lái)，關(guān)于CNN的模型逐漸成為研究的熱點(diǎn).2012年A.Krizhevsky等［33］將CNN構(gòu)造成深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural network，DCNN)，在ILSVRC-2012數(shù)據(jù)集上獲得了top-5測(cè)試錯(cuò)誤率為15.3%的好結(jié)果.2014年Zheng Yi等提出的多通道深度卷積神經(jīng)網(wǎng)絡(luò)(multi-channels deep convolutional neural networks，MC-DCNN)［34］在 BIDMC數(shù)據(jù)集上獲得最好的準(zhǔn)確度(94.67%)，優(yōu)于之前這個(gè)數(shù)據(jù)集上的最好結(jié)果.

3 深度學(xué)習(xí)的應(yīng)用

深度學(xué)習(xí)從2006年開(kāi)始在語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和信息檢索上面都取得了較好效果，在不同的數(shù)據(jù)集以及工業(yè)應(yīng)用上都表現(xiàn)出遠(yuǎn)超以往淺層學(xué)習(xí)所能達(dá)到的最好的效果.

3.1 語(yǔ)音識(shí)別

在過(guò)去幾十年中，語(yǔ)音識(shí)別領(lǐng)域的研究者們都把精力用在基于HMM-GMM的系統(tǒng)［35］，而忽略了原始語(yǔ)音數(shù)據(jù)內(nèi)部原有的結(jié)構(gòu)特征.深度神經(jīng)網(wǎng)絡(luò)DNN在2010年開(kāi)始被引入處理語(yǔ)音識(shí)別問(wèn)題，因?yàn)镈NN對(duì)數(shù)據(jù)之間的相關(guān)性有較大的容忍度，使得當(dāng)GMM被DNN替換時(shí)，效果明顯有了飛躍.

2012年，微軟公司一個(gè)基于深度學(xué)習(xí)的語(yǔ)音視頻檢索系統(tǒng)(Microsoft audio video indexing service，MAVIS)成功問(wèn)世，將單詞錯(cuò)誤率降低了30%(從27.4%到18.5%)［36］.2014年IBM的沃森研究中心的T.N.Sainath［37］的工作結(jié)果顯示DNN比以往過(guò)去的GMM-HMM模型有8% ～15%的提升，而CNN相比于一般DNN來(lái)說(shuō)能對(duì)數(shù)據(jù)間強(qiáng)烈的相關(guān)性有更強(qiáng)的適應(yīng)力，同時(shí)足夠深的網(wǎng)絡(luò)還有對(duì)數(shù)據(jù)的平移不變性的特性.

3.2 計(jì)算機(jī)視覺(jué)

深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)上的成功應(yīng)用，主要體現(xiàn)在對(duì)象識(shí)別［38］和人臉識(shí)別領(lǐng)域［39］上.過(guò)去很長(zhǎng)一段時(shí)間，機(jī)器視覺(jué)中的對(duì)象識(shí)別一直依賴(lài)于人工設(shè)計(jì)的特征，例如尺度不變特征轉(zhuǎn)換(scale invariant feature transform，SIFT)［40］和方向梯度直方圖 (histogram of oriented gradients，HOG)［41］，然而像 SIFT 和 HOG 這樣的特征只能抓取低等級(jí)的邊界信息.

針對(duì)以往小規(guī)模樣本所無(wú)法表現(xiàn)的真實(shí)環(huán)境中更復(fù)雜的信息，2010年人們引入了更大的數(shù)據(jù)集，例如ImageNet數(shù)據(jù)集中有著15百萬(wàn)的標(biāo)記高分辨率圖像和超過(guò)2萬(wàn)2千個(gè)類(lèi)別.A.Krizhevsky等［33］在2012年通過(guò)訓(xùn)練一個(gè)大的深度神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)ImageNet LSVRC-2010中包含著1000個(gè)不同類(lèi)別的1.2百萬(wàn)個(gè)高分辨率圖像進(jìn)行分類(lèi).在測(cè)試數(shù)據(jù)中，他們?cè)趖op-1和top-5上的錯(cuò)誤率是37.5%和17.0%，刷新了這個(gè)數(shù)據(jù)集的最好記錄.

2014年Sun Yi等［42］提出了深度隱藏身份特征(deep hidden identity feature，DeepID)的方法去學(xué)習(xí)高等級(jí)特征表征來(lái)進(jìn)行人臉識(shí)別.通過(guò)將人臉部分區(qū)域作為每個(gè)卷積網(wǎng)絡(luò)的輸入，在底層中提取局部低等級(jí)特征，并在深度卷積網(wǎng)絡(luò)的最后一層隱藏層的神經(jīng)元激活值中形成DeepID特征，試驗(yàn)結(jié)果顯示Yi等在LFW上獲得了97.45%的準(zhǔn)確度.

3.3 自然語(yǔ)言處理

自然語(yǔ)言處理(natural language processing，NLP)［43］意在將人類(lèi)語(yǔ)言轉(zhuǎn)換到能夠容易地被計(jì)算機(jī)操作的表征的過(guò)程.大多數(shù)的研究者將這些問(wèn)題分離式考慮，例如詞性標(biāo)注、分塊、命名實(shí)體識(shí)別、語(yǔ)義角色標(biāo)注、語(yǔ)言模型和語(yǔ)義相關(guān)詞等，而沒(méi)有注重到整體性，使得自然語(yǔ)言處理領(lǐng)域中的進(jìn)展不是很樂(lè)觀.具體來(lái)說(shuō)現(xiàn)有的系統(tǒng)有3個(gè)缺陷［44］:① 它們都是淺層結(jié)構(gòu)，而且分類(lèi)器通常是線(xiàn)性的;② 對(duì)于一個(gè)效果好的線(xiàn)性分類(lèi)器來(lái)說(shuō)，它們必須事先用許多人工特征來(lái)預(yù)處理;③從幾個(gè)分離的任務(wù)中進(jìn)行串聯(lián)特征以至于誤差會(huì)在傳播過(guò)程中增大.

2008年R.Collobert等［44］通過(guò)將一個(gè)普通的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于NLP，在“學(xué)習(xí)一個(gè)語(yǔ)言模式”和“對(duì)語(yǔ)義角色標(biāo)簽”任務(wù)上通過(guò)將重點(diǎn)關(guān)注到語(yǔ)義角色標(biāo)簽的問(wèn)題上進(jìn)行了沒(méi)有人工設(shè)計(jì)特征參與的訓(xùn)練，其錯(cuò)誤率為14.3%的結(jié)果刷新了最好記錄.

3.4 信息檢索

信息檢索(information retrieval，IR)就是用戶(hù)輸入一個(gè)查詢(xún)到一個(gè)包含著許多文檔的計(jì)算機(jī)系統(tǒng)，并從中取得與用戶(hù)要求所需最接近的文檔［2］.深度學(xué)習(xí)在IR上的應(yīng)用主要是通過(guò)提取有用的語(yǔ)義特征來(lái)進(jìn)行子序列文檔排序，由R.Salakhutdinov等［25］在2009年提出，他們針對(duì)當(dāng)時(shí)最廣泛被使用在文檔檢索上的系統(tǒng)TF-IDF［25］上的分析，認(rèn)為T(mén)F-IDF系統(tǒng)有著以下的缺陷:在詞計(jì)數(shù)空間中直接計(jì)算文檔的相似性，這使得在大詞匯量下會(huì)很慢;沒(méi)有使用詞匯間的語(yǔ)義相似性.因?yàn)樵贒NN模型的最后一層中的隱藏變量不但在使用基于前向傳播的訓(xùn)練后容易推導(dǎo)，而且在基于詞計(jì)數(shù)特征上給出了對(duì)每個(gè)文檔更好的表征，他們使用從深度自動(dòng)編碼器得到的緊湊的編碼，使得文檔能夠映射到一個(gè)內(nèi)存地址中，在這個(gè)內(nèi)存地址中語(yǔ)義上相似的文檔能夠被歸類(lèi)到相近的地址方便快速的文檔檢索.從詞計(jì)數(shù)向量到緊湊編碼的映射使得檢索變得高效，只需要更便捷的計(jì)算，更少的時(shí)間.

2014年Shen Yelong等［45］提出了卷積版的深度結(jié)構(gòu)語(yǔ)義模型(convolutional deep-structured semantic modeling，C-DSSM)，C-DSSM能將上下文中語(yǔ)義相似的單詞通過(guò)一個(gè)卷積結(jié)構(gòu)投影到上下文特征空間向量上，從之前43.1%的準(zhǔn)確率提高到了44.7%.

不同于以往淺層結(jié)構(gòu)只能解決許多簡(jiǎn)單的或者許多約束條件下的問(wèn)題，深度結(jié)構(gòu)能夠處理許多復(fù)雜的真實(shí)世界中的問(wèn)題，例如人類(lèi)語(yǔ)音、自然聲音和語(yǔ)言、自然圖像、可視場(chǎng)景等問(wèn)題，它們可以直接從數(shù)據(jù)中提取數(shù)據(jù)所包含的特征而不受具體模型的約束，從而更具有泛化能力.

4 深度學(xué)習(xí)的研究展望

隨著研究的深入，深度學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)中一個(gè)不可或缺的領(lǐng)域，然而，關(guān)于深度學(xué)習(xí)的研究現(xiàn)在仍然才處于萌芽狀態(tài)，很多問(wèn)題仍然沒(méi)有找到滿(mǎn)意的答案［46］.如對(duì)在線(xiàn)學(xué)習(xí)的能力的提升，以及在大數(shù)據(jù)方面的適應(yīng)能力以及在深度層次結(jié)構(gòu)上的改進(jìn).

在線(xiàn)學(xué)習(xí)方面:當(dāng)前幾乎所有的深度學(xué)習(xí)所應(yīng)用到的深度結(jié)構(gòu)訓(xùn)練的算法都是先在搭建好的結(jié)構(gòu)上進(jìn)行逐層訓(xùn)練，并在逐層訓(xùn)練之后加上一個(gè)全局微調(diào)得到更好的擬合數(shù)據(jù)的參數(shù)集.這種訓(xùn)練算法在純粹的在線(xiàn)環(huán)境下不是很適用，因?yàn)樵诰€(xiàn)數(shù)據(jù)的數(shù)據(jù)集是在不斷擴(kuò)充的，一旦在在線(xiàn)環(huán)境下引入全局微調(diào)的方法，那么結(jié)果極有可能陷入局部最小.如何將深度學(xué)習(xí)用于在線(xiàn)環(huán)境是值得思考的一個(gè)問(wèn)題.

在對(duì)大數(shù)據(jù)的適應(yīng)能力上:大數(shù)據(jù)中包含著很多有價(jià)值的信息，但是如何從大數(shù)據(jù)中找到能夠表達(dá)這個(gè)數(shù)據(jù)的表征是研究者關(guān)心的問(wèn)題.2012年的Google大腦團(tuán)隊(duì)在一個(gè)超大多節(jié)點(diǎn)的計(jì)算機(jī)網(wǎng)絡(luò)上并行地訓(xùn)練深度網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)果顯示數(shù)據(jù)仍然呈現(xiàn)欠擬合的狀態(tài)［47］.對(duì)此，如何衡量訓(xùn)練復(fù)雜度與任務(wù)復(fù)雜度的關(guān)系，使得深度學(xué)習(xí)可以充分地用在大數(shù)據(jù)上，還有待于研究和實(shí)踐.

在深度結(jié)構(gòu)的改進(jìn)上:深度結(jié)構(gòu)的層次模型雖然比淺層模型在結(jié)構(gòu)上具有突破，模擬了生物的視覺(jué)系統(tǒng)分層結(jié)構(gòu)，但是未能完全匹配皮層的信息處理結(jié)構(gòu).比如研究者們發(fā)現(xiàn)現(xiàn)有的主流的深度結(jié)構(gòu)并未考慮到時(shí)間序列對(duì)學(xué)習(xí)的影響，而作為真正的生物皮層在處理信息上來(lái)說(shuō)，對(duì)信息數(shù)據(jù)的學(xué)習(xí)不是獨(dú)立靜態(tài)的，而是隨著時(shí)間有著上下文的聯(lián)系的.

人類(lèi)的信息處理機(jī)制表明深度結(jié)構(gòu)可以從豐富的感知信息中提取復(fù)雜的結(jié)構(gòu)和建立數(shù)據(jù)中內(nèi)在的表征.因?yàn)樯疃葘W(xué)習(xí)尚在初步階段，很多問(wèn)題還沒(méi)有解決，所以還無(wú)法真正達(dá)到人工智能的標(biāo)準(zhǔn)，但是深度學(xué)習(xí)現(xiàn)有的成功和發(fā)展表明，深度學(xué)習(xí)是向人工智能邁進(jìn)的一大步.

5 總結(jié)

1)文中首先通過(guò)對(duì)現(xiàn)有的深度學(xué)習(xí)所使用的深度結(jié)構(gòu)的分類(lèi)，介紹了RBM，AE，CNN等深度學(xué)習(xí)所使用的幾大基礎(chǔ)模型具有的原理及特點(diǎn)，并相對(duì)應(yīng)地分析了如何在這幾個(gè)模型的基礎(chǔ)上來(lái)得到DBN、DBM以及SAE等真正的深度層次結(jié)構(gòu)模型.

2)通過(guò)在語(yǔ)音識(shí)別、計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理和信息檢索幾大領(lǐng)域上深度學(xué)習(xí)應(yīng)用的介紹，說(shuō)明了深度學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域有相比較于其他淺層結(jié)構(gòu)學(xué)習(xí)具有更好的優(yōu)越性和更少的錯(cuò)誤率.

3)通過(guò)對(duì)深度學(xué)習(xí)在在線(xiàn)學(xué)習(xí)方面和大數(shù)據(jù)上的適應(yīng)能力以及對(duì)深度結(jié)構(gòu)的改進(jìn)等方面對(duì)當(dāng)前深度學(xué)習(xí)所面臨的問(wèn)題作了總結(jié)和思考.當(dāng)前深度學(xué)習(xí)還尚未成熟，仍有大量的工作需要研究，但是其展現(xiàn)的強(qiáng)大的學(xué)習(xí)能力和泛化能力表明，今后它將是機(jī)器學(xué)習(xí)領(lǐng)域中研究的重點(diǎn)和熱點(diǎn).

References)

［1］孫志軍，薛 磊，許陽(yáng)明，等.深度學(xué)習(xí)研究綜述［J］.計(jì)算機(jī)應(yīng)用研究，2012，29(8):2806-2810.Sun Zhijun，Xue Lei，Xu Yangming，et al.Overview of deep learning［J］.Application Research of Computers，2012，29(8):2806-2810.(in Chinese)

［2］Deng Li，Yu Dong.Deep learning for signal and information processing［R］.Microsoft Research，2013.

［3］胡曉林，朱 軍.深度學(xué)習(xí)——機(jī)器學(xué)習(xí)領(lǐng)域的新熱點(diǎn)［J］.中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊，2013，9(7):64-69.Hu Xiaolin，Zhu Jun.Deep learning—new hot spot in the field of maching earning［J］.Communications of the CCF，2013，9(7):64-69.(in Chinese)

［4］Bengio Yoshua.Learning deep architectures for AI［J］.Foundations and Trends in Machine Learning，2009，2(1):1-27.

［5］Duarte-Carvajalino J M，Yu G S，Carin L，et al.Taskdriven adaptive statistical compressive sensing of gaussian mixture models［J］.IEEE Transactions on Signal Processing，2013，61(3):585-600.

［6］Abdel-Rahman E M，Mutanga O，Adam E，et al.Detecting sirex noctilio grey-attacked and lightning-struck pine trees using airborne hyperspectral data，random forest and support vector machines classifiers［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2014，88:48-59.

［7］劉國(guó)海，肖夏宏，江 輝，等.基于 BP-Adaboost的近紅外光譜檢測(cè)固態(tài)發(fā)酵過(guò)程 pH值［J］.江蘇大學(xué)學(xué)報(bào):自然科學(xué)版，2013，34(5):574-578.Liu Guohai，Xiao Xiahong，Jiang Hui，et al.Detection of PH variable in solid-state fermentation process by FTNIR spectroscopy and BP-Adaboost［J］.Journal of Jiangsu University:Natural Science Edition，2013，34(5):574-578.(in Chinese)

［8］Sarikaya R，Hinton G E，Deoras A.Application of deep belief networks for natural language understanding［J］.IEEE Transactions on Audio，Speech and Language Processing，2014，22(4):778-784.

［9］Fischer A，Igel C.Training restricted Boltzmann machines:an introduction［J］.Pattern Recognition，2014，47(1):25-39.

［10］Wan L，Zeiler M，Zhang S X，et al.Regularization of neural networks using dropconnect［C］∥Proceedings of the 30th International Conference on Machine Learning.Atlanta:IMLS，2013:2095-2103.

［11］Bengio Y，Lamblin P，Popovici D，et al.Greedy layerwise training of deep networks［C］∥Proceedings of 20th Annual Conference on Neural Information Processing Systems.Vancouver:Neural information processing system foundation，2007:153-160.

［12］Palm R B.Prediction as a candidate for learning deep hierarchical models of data［D］.Technical University of Denmark，Denmark，2012.

［13］Ackley D H，Hinton G E，Sejnowski T J.A learning algorithm for Boltzmann machines［J］.Cognitive Science，1985，9:147-169.

［14］Yu Dong，Deng Li.Deep learning and its applications to signal and information processing ［J］.IEEE Signal Processing Magazine，2011，28(1):145-149，154.

［15］Cho K Y.Improved learning algorithms for restricted Boltzmann machines［D］.Espoo:School of Science，Aalto University，2011.

［16］Cho K H，Raiko T，Ilin A，et al.A two-stage pretraining algorithm for deep boltzmann machines［C］∥Proceedings of 23rd International Conference on Artificial Neural Networks.Sofia:Springer Verlag，2013:106-113.

［17］Shu H，Nan B，Koeppe R，et al.Multiple testing for neuroimaging via hidden markov random field［DB/OL］.［2014-05-08］.http:∥arxiv.org/pdf/1404.1371.pdf.

［18］Hjelm R D，Calhoun V D，Salakhutdinov R，et al.Restricted Boltzmann machines for neuroimaging:an application in identifying intrinsic networks［J］.Neuro-Image，2014，96:245-260.

［19］Hinton G E，Osindero S，Teh Y W.A fast learning algorithm for deep belief nets［J］.Neural Computation，2006，18(7):1527-1554.

［20］Lee H，Grosse R，Ranganath R，et al.Unsupervised learning of hierarchical representations with convolutional deep belief networks［J］.Communications of the ACM，2011，54(10):95-103.

［21］Halkias X C，Paris S，Glotin H.Sparse penalty in deep belief networks:using the mixed norm constraint［DB/OL］.［2014-05-08］.http:∥arxiv.org/pdf/1301.3533.pdf.

［22］Poon-Feng K，Huang D Y，Dong M H，et al.Acoustic emotion recognition based on fusion of multiple featuredependent deep Boltzmann machines［C］∥Proceedings of the 9th International Symposium on Chinese Spoken Language Processing.Singapore:IEEE，2014:584-588.

［23］Wang W，Ooi B C，Yang X Y，et al.Effective multimodal retrieval based on stacked auto-encoders［J］.Proceedings of the VLDB Endowment，2014，7(8):649-660.

［24］Arnold L，Rebecchi S，Chevallier S，et al.An introduction to deep learning［C］∥Proceedings of the 18th European Symposium on Artificial Neural Networks，ComputationalIntelligence and Machine Learning.［S.l.］:i6doc.com publication，2010:477-478.

［25］Salakhutdinov R，Hinton G.Semantic hashing［J］.International Journal of Approximate Reasoning，2009，50(7):969-978.

［26］Goroshin R，LeCun Y.Saturating auto-encoders［DB/OL］.［2014-05-08］.http:∥arxiv.org/pdf/1301.3577.pdf.

［27］Jiang Xiaojuan，Zhang Yinghua，Zhang Wensheng，et al.A novel sparse auto-encoder for deep unsupervised learning［C］∥Proceeding of 2013 Sixth International Conferenceon Advanced ComputationalIntelligence.Hangzhou:IEEE Computer Society，2013:256-261.

［28］Vincent P，Larochelle H，Lajoie I，et al.Stacked denoising autoencoders:learning useful representations in a deep network with a local denoising criterion［J］.Journal of Machine Learning Research，2010，11:3371-3408.

［29］Masci J，Meier U，Cire?an D，et al.Stacked convolutional auto-encoders for hierarchical feature extraction［C］∥Proceedings of 21st International Conference on Artificial Neural Networks.Espoo:Springer Verlag，2011:52-59.

［30］Pinheiro P O，Collobert R.Recurrent convolutional neural networks for scene labeling［C］∥Proceedings of the 31st International Conference on Machine Learning.Beijing:IMLS，2014:82-90.

［31］Zeiler M D，F(xiàn)ergus R.Stochastic pooling for regularization of deep convolutional neural networks［DB/OL］.［2014-05-08］.http:∥arxiv.org/pdf/1301.3557.pdf.

［32］LeCun Y，Jackel L D，Bottou L，et al.Learning Algorithms for Classification:A Comparison on Handwritten Digit Recognition［M］.Korea:World Scientific，1995，261-276.

［33］Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks［C］∥Proceeding of 26th Annual Conference on Neural Information Processing Systems.Lake Tahoe:Neural information processing system foundation，2012:1097-1105.

［34］Zheng Yi，Liu Qi，Chen Enhong，et al.Time series classification using multi-channels deep convolutional neural networks［C］∥Proceedings of 15th International Conference on Web-Age Information Management.Macau:Springer Verlag，2014:298-310.

［35］Mohamed A R，Dahl G E，Hinton G.Acoustic modeling using deep belief networks［J］.IEEE Transactions on Audio，Speech and Language Processing，2012，20(1):14-22.

［36］Bengio Y，Courville A，Vincent P.Representation learning:a review and new perspectives［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(8):1798-1828.

［37］Sainath T N.Improvements to deep neural networks for large vocabulary continuous speech recognition tasks［R］.IBM T.J.Watson Research Center，2014.

［38］Sohn K，Jung D Y，Lee H，et al.Efficient learning of sparse，distributed，convolutional feature representations for object recognition［C］∥Proceeding of 2011 IEEE International Conference on Computer Vision.Barcelona:IEEE，2011:2643-2650.

［39］Cui Zhen，Chang Hong，Shan Shiguang，et al.Joint sparse representation for video-based face recognition［J］.Neurocomputing，2014，135:306-312.

［40］關(guān)海鷗，杜松懷，許少華，等.基于改進(jìn)投影尋蹤技術(shù)和模糊神經(jīng)網(wǎng)絡(luò)的未受精種蛋檢測(cè)模型［J］.江蘇大學(xué)學(xué)報(bào):自然科學(xué)版，2013，34(2):171-177.Guan Haiou，Du Songhuai，Xu Shaohua，et al.Detection model of un-fretilized egg based on improved projection pursuit and fuzzy neural network［J］.Journal of Jiangsu University:Natural Science Edition，2013，34(2):171-177.(in Chinese)

［41］王國(guó)林，周樹(shù)仁，李軍強(qiáng).基于模糊聚類(lèi)和形態(tài)學(xué)的輪胎斷面特征提取［J］.江蘇大學(xué)學(xué)報(bào):自然科學(xué)版，2012，33(5):513-517.Wang Guolin，Zhou Shuren，Li Junqiang.Feature extraction of tire section based on fuzzy clustering and morphology［J］.Journal of Jiangsu University:Natural Science Edition，2012，33(5):513-517.(in Chinese)

［42］Sun Yi，Wang Xiaogang，Tang Xiaoou.Deep learning face representation from predicting 10，000 classes［C］∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Columbus:IEEE Computer Society，2014:1891-1898.

［43］Cambria E，White B.Jumping NLP curves:a review of natural language processing research［J］.IEEE Computational Intelligence Magazine，2014，9(2):48-57.

［44］Collobert R，Weston J.A unified architecture for natural language processing:deep neural networks with multitask learning［C］∥Proceedings of 25th International Conference on Machine Learning.Helsinki，F(xiàn)inland:Association for Computing Machinery，2008:160-167.

［45］Shen Yelong，He Xiaodong，Gao Jianfeng，et al.Learning semantic representations using convolutional neural networks for Web search［C］∥Proceedings of the companion publication of the 23rd international conference on World wide web companion.Seoul:IW3C2，2014:373-374.

［46］Arel I，Rose D C，Karnowski T P.Deep machine learning a new frontier in artificial intelligence research［J］.IEEE Computational Intelligence Magazine，2010，5(4):13-18.

［47］Bengio Y.Deep learning of representations:looking forward［C］∥Proceedings of 1st International Conference on Statistical Language and Speech Processing.Tarragona，Spain:Springer Verlag，2013:1-37.