人工智能的新浪潮——深度學(xué)習(xí)

【摘 要】深度學(xué)習(xí)（Deep Learning）作為一種基于人工神經(jīng)網(wǎng)絡(luò)的無監(jiān)督學(xué)習(xí)方法，是近年來興起的一種新的混合機(jī)器學(xué)習(xí)模型，現(xiàn)成為人工智能領(lǐng)域中炙手可熱的研究技術(shù)。深度學(xué)習(xí)帶來了機(jī)器學(xué)習(xí)的一個(gè)新浪潮，受到學(xué)術(shù)界和工業(yè)界的廣泛重視，并帶來大數(shù)據(jù)的深度學(xué)習(xí)時(shí)代。本文結(jié)合大數(shù)據(jù)時(shí)代的具體需求，詳細(xì)闡述了深度學(xué)習(xí)的發(fā)展和應(yīng)用，突出了其在人工智能領(lǐng)域的重要地位。

【關(guān)鍵詞】人工智能；深度學(xué)習(xí)；大數(shù)據(jù)時(shí)代；機(jī)器學(xué)習(xí)

1.引言

近年來，深度學(xué)習(xí)逐步推動(dòng)了人工智能領(lǐng)域的新浪潮。2010年，美國國防部DARPA計(jì)劃首次資助深度學(xué)習(xí)項(xiàng)目；2011年來，微軟和Google研究人員先后采用深度學(xué)習(xí)技術(shù)降低語音識別錯(cuò)誤率20%～30%，取得該領(lǐng)域重大突破；2013年百度創(chuàng)始人兼CEO李彥宏高調(diào)宣布成立百度研究院，其第一個(gè)重點(diǎn)方向就是深度學(xué)習(xí)；2013年4月，《麻省理工學(xué)院技術(shù)評論》雜志將深度學(xué)習(xí)列為2013年十大突破性技術(shù)之首。在今天，Google、百度、微軟等知名高科技公司爭相投入資源，占領(lǐng)深度學(xué)習(xí)的技術(shù)制高點(diǎn)。

2.大數(shù)據(jù)時(shí)代的深度學(xué)習(xí)

大數(shù)據(jù)時(shí)代迫切需要深度學(xué)習(xí)。為了說明這個(gè)觀點(diǎn)，本文來談一下淺層學(xué)習(xí)和深度學(xué)習(xí)模型。

淺層模型有個(gè)重要特點(diǎn)——靠人工經(jīng)驗(yàn)來抽取樣本特征，而強(qiáng)調(diào)模型主要是負(fù)責(zé)分類或預(yù)測。所以，特征提取就成了整個(gè)系統(tǒng)性能的瓶頸，通常開發(fā)團(tuán)隊(duì)中更多的人力是投入到構(gòu)造更好的特征上去的，這就要求開發(fā)人員對待解決的問題有很深入的理解。而達(dá)到這個(gè)程度，往往需要反復(fù)摸索。因此，人工手動(dòng)構(gòu)造樣本特征，不是一個(gè)具有生命力的途徑。

深度學(xué)習(xí)的實(shí)質(zhì)，是通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同之處在于：一是強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點(diǎn)；二是明確突出了特征學(xué)習(xí)的重要性，即通過逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，使分類或預(yù)測更加容易。

3.深度學(xué)習(xí)的基本思想和常用方法

（1）Deep Learning的基本思想

假設(shè)我們有一個(gè)系統(tǒng)S，它有n層（S1，…Sn），它的輸入是I，輸出是O，形象地表示為：I=>S1=>S2=>…..=>Sn=>O，如果輸出O等于輸入I，即輸入I經(jīng)過這個(gè)系統(tǒng)變化之后沒有任何的信息損失，保持了不變性，這意味著輸入I經(jīng)過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示。現(xiàn)在回到我們的主題Deep Learning，我們需要自動(dòng)地學(xué)習(xí)特征，假設(shè)我們有一堆輸入I（如一堆圖像或者文本），假設(shè)我們設(shè)計(jì)了一個(gè)系統(tǒng)S（有n層），通過調(diào)整系統(tǒng)中的參數(shù)，使得它的輸出仍然是輸入I，那么我們就可以自動(dòng)地獲取得到輸入I的一系列層次特征，即S1，…，Sn。

另外，前面是假設(shè)輸出嚴(yán)格地等于輸入，這個(gè)限制太嚴(yán)格，我們可以略微地放松這個(gè)限制，例如我們只要使得輸入與輸出的差別盡可能地小即可，這個(gè)放松會(huì)導(dǎo)致另外一類不同的Deep Learning方法。

（2）Deep Learning的常用方法

AutoEncoder（自編碼），自編碼算法是一種基于神經(jīng)網(wǎng)絡(luò)算法的無監(jiān)督學(xué)習(xí)算法，它使用了神經(jīng)網(wǎng)絡(luò)中經(jīng)典的反向傳播算法，其特殊之處在于其目標(biāo)在于讓神經(jīng)網(wǎng)絡(luò)的輸出節(jié)點(diǎn)的輸出值等于網(wǎng)絡(luò)的輸入值，如在下面具有一個(gè)隱藏層（一般自編碼算法中會(huì)有多個(gè)隱藏層）的神經(jīng)網(wǎng)絡(luò)中，我們應(yīng)使得目標(biāo)輸出，自然地，其輸出節(jié)點(diǎn)數(shù)目與輸入節(jié)點(diǎn)的數(shù)目應(yīng)該相等。同時(shí)，自編碼算法的另外一個(gè)特征是隱藏層的節(jié)點(diǎn)數(shù)目一般少于輸入輸出節(jié)點(diǎn)的數(shù)目。這樣的意義在于，此時(shí)相當(dāng)于將輸入的特征通過神經(jīng)網(wǎng)絡(luò)的非線性變換到節(jié)點(diǎn)數(shù)更少的隱藏層，再由隱藏層通過非線性變換“無損”地恢復(fù)出輸入的信息，這樣實(shí)際上相當(dāng)于用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對于高維特征向量的一個(gè)特征提取和降維。如果輸入數(shù)據(jù)中隱含著一些特定的結(jié)構(gòu)，比如某些輸入特征是彼此相關(guān)的，那么這一算法就可以發(fā)現(xiàn)輸入數(shù)據(jù)中的這些相關(guān)性。由此，用這種特殊的神經(jīng)網(wǎng)絡(luò)對樣本進(jìn)行學(xué)習(xí)和訓(xùn)練，我們即可“自動(dòng)地”得到輸入數(shù)據(jù)的降維后的特征，即隱藏層的節(jié)點(diǎn)，省去了人工特征提取的麻煩。

（3）自編碼算法的實(shí)現(xiàn)過程

將已得到的某一樣本的特征向量（或）作為自編碼算法的輸入，即上面特征向量的每一個(gè)分量代表自編碼網(wǎng)絡(luò)中的一個(gè)輸入節(jié)點(diǎn)。令其輸出節(jié)點(diǎn)的期望類別向量賦值為（或）。

1）對于自編碼網(wǎng)絡(luò)中某一層，，令矩陣該層權(quán)重矩陣的修正矩陣為零矩陣，偏置向量的修正向量為零向量。

2）設(shè)有個(gè)訓(xùn)練樣本，對于每一個(gè)訓(xùn)練樣本到。

①調(diào)用反向傳播算法函數(shù)backwards_trans（）

計(jì)算訓(xùn)練自編碼網(wǎng)絡(luò)的準(zhǔn)則函數(shù)的梯度和。

②計(jì)算。

③計(jì)算

3）更新權(quán)重系數(shù)：

4）反復(fù)迭代上面過程直到達(dá)到要求。訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)最靠近輸出層的隱藏層的輸出值即為深度學(xué)習(xí)后自動(dòng)得到的新特征。

通過上面的學(xué)習(xí)訓(xùn)練，我們便可以得到一個(gè)具有深度學(xué)習(xí)功能的自編碼網(wǎng)絡(luò)。當(dāng)我們需要自動(dòng)提取數(shù)據(jù)包用戶數(shù)據(jù)的特征時(shí)，僅需要去掉上面的自編碼網(wǎng)絡(luò)的原來的輸出層，將原來最靠近輸出層的隱藏層作為新的輸出層，再將初始的特征向量輸入，此時(shí)的網(wǎng)絡(luò)輸出即為自動(dòng)提取的特征。

4.總結(jié)

近年，深度學(xué)習(xí)被逐漸應(yīng)用到語音識別、圖像識別、自然語言處理等領(lǐng)域，總之，深度學(xué)習(xí)帶來了機(jī)器學(xué)習(xí)的一個(gè)新浪潮，受到從學(xué)術(shù)界到工業(yè)界的廣泛重視，并帶來大數(shù)據(jù)的深度學(xué)習(xí)時(shí)代。深度學(xué)習(xí)在應(yīng)用方面的深度和廣度都將會(huì)得到更高程度的發(fā)展。同時(shí)，如果機(jī)器學(xué)習(xí)理論界取得突破，為深度學(xué)習(xí)提供強(qiáng)力的支撐，使之成為今后無論何種機(jī)器學(xué)習(xí)應(yīng)用都不得不采用的基石，那么，人工智能的夢想將不再遙遠(yuǎn)。

參考文獻(xiàn)：

[1]周志華，李航，朱軍.Deep Learning大家談[J].

[2]盧鶇翔.DNN與微軟同聲傳譯系統(tǒng)背后的故事[J].

[3]潘越，蔣丹寧.深度學(xué)習(xí)與認(rèn)知計(jì)算[J].

[4]DeepLearning深度學(xué)習(xí)相關(guān)入門文章匯摘[OL].http：//elevencitys.com/？p=1854.