深度學(xué)習(xí)技術(shù)及其應(yīng)用

方蕓 馬林梓

摘要：該文以深度學(xué)習(xí)技術(shù)的前身機(jī)器學(xué)習(xí)為切入點(diǎn)引出接下來的研究，隨后介紹了深度學(xué)習(xí)技術(shù)的基本概念，并通過圖示來讓晦澀難懂的概念更加簡潔明了;再通過有無監(jiān)督特征學(xué)習(xí)兩個(gè)方面來探討它未來發(fā)展方向及其應(yīng)用，主要是音、像的識別和自然語言的處理，并在不同的領(lǐng)域分別進(jìn)行舉例介紹;最后討論了在實(shí)踐過程中出現(xiàn)的挑戰(zhàn)以及未來的發(fā)展方向。

關(guān)鍵詞：深度學(xué)習(xí);機(jī)器學(xué)習(xí);大數(shù)據(jù)

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）05-0190-04

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

在大數(shù)據(jù)處理中，數(shù)據(jù)的計(jì)算、存儲(chǔ)和分析是它的核心技術(shù)，而對大數(shù)據(jù)的有效分析就是大數(shù)據(jù)的價(jià)值所在。所以，大數(shù)據(jù)處理中的最核心、最關(guān)鍵的部分就是數(shù)據(jù)分析。而這些大數(shù)據(jù)的主要來源之一是互聯(lián)網(wǎng)。每分每秒互聯(lián)網(wǎng)上都有大量的網(wǎng)頁和數(shù)不清的音視頻、圖像等數(shù)據(jù)產(chǎn)生?，F(xiàn)如今，大數(shù)據(jù)越來越與人們的工作和生活密切相互關(guān)聯(lián)，已經(jīng)影響到了人們的方方面面。比如，從淘寶、京東等互聯(lián)網(wǎng)上的電子商務(wù)交易到航空交通管制，從醫(yī)生接觸病人、診斷出什么疾病、并做出可治療方案到警察局接到報(bào)警電話出警，再從通過天氣預(yù)報(bào)來減少災(zāi)害的破壞到利用人民群眾的舉報(bào)來降低犯罪的發(fā)生等等，隨處可見大數(shù)據(jù)的身影。但是目前，由于技術(shù)有限，只能分析和利用極少數(shù)的數(shù)據(jù)。這就要求需要研發(fā)新的更智能的數(shù)據(jù)算法技術(shù)，在大量無序且復(fù)雜的數(shù)據(jù)中找出規(guī)律并發(fā)現(xiàn)新的模式，從而提取出新的、有用的知識，來幫助人類做出正確的決策或給出預(yù)測。所以，利用深度學(xué)習(xí)技術(shù)和機(jī)器學(xué)習(xí)技術(shù)去分析大數(shù)據(jù)，盡量讓機(jī)器代替人工分析數(shù)據(jù)，而這項(xiàng)技術(shù)也獲得了廣泛的應(yīng)用前景[1]。

1 深度學(xué)習(xí)技術(shù)概述

1.1機(jī)器學(xué)習(xí)的發(fā)展階段

要想領(lǐng)會(huì)、認(rèn)識深度學(xué)習(xí)技術(shù)，首先要領(lǐng)會(huì)與其前身機(jī)器學(xué)習(xí)的相干的基本知識。作為人工智能領(lǐng)域的一部分，在大多數(shù)特定的情況下，可以由機(jī)器學(xué)習(xí)來代替人工智能，機(jī)器學(xué)習(xí)便是經(jīng)由過程中出現(xiàn)很多分歧的算法，使得大量數(shù)據(jù)能被機(jī)器發(fā)現(xiàn)并學(xué)習(xí)其中的規(guī)律，從而對新總結(jié)出的數(shù)據(jù)樣本做出智能辨認(rèn)或者對將來可能產(chǎn)生的現(xiàn)象做出猜測。1980年前后，機(jī)器學(xué)習(xí)的大概發(fā)展階段主要是兩次，劃分是：shallow learning（淺層學(xué)習(xí)）、deep learning（深度學(xué)習(xí)）。

1.1.1第一階段：shallow learning

大概1980年前后，一種叫作反向傳播算法作用于人工神經(jīng)網(wǎng)絡(luò)的發(fā)現(xiàn)（也叫作BP算法），讓人們對機(jī)器學(xué)習(xí)技術(shù)燃起了新的希望。人們從中發(fā)現(xiàn)，在大批訓(xùn)練樣本中，該算法能夠通過運(yùn)用人工神經(jīng)網(wǎng)絡(luò)模型來學(xué)習(xí)并從中找出新的規(guī)律，從而對將來不可知的事務(wù)做出盡量精確的展望。而人工神經(jīng)網(wǎng)絡(luò)又是什么呢？可以先從最簡單的說起，最簡單的人工神經(jīng)網(wǎng)絡(luò)就是由一個(gè)神經(jīng)元組成，如圖1[2]。

而多個(gè)神經(jīng)元根據(jù)某些特定的方法互相結(jié)合起來，即這一個(gè)的輸入是另一個(gè)的輸出，就可以組成基本的人工神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)如圖2[2]，圖中的圓形代表神經(jīng)元的輸入內(nèi)容，最左邊是輸入層。

這類以數(shù)據(jù)統(tǒng)計(jì)為根本的機(jī)器學(xué)習(xí)方法，在很多方面要優(yōu)越于以前以人工法則為根本的體系。這時(shí)的人工神經(jīng)網(wǎng)絡(luò)，因?yàn)樵诙鄬泳W(wǎng)絡(luò)訓(xùn)練方面有很多困難，所以實(shí)際能被利用的大多數(shù)只是僅含有一層隱層節(jié)點(diǎn)的淺層學(xué)習(xí)模型。從1990年開始，提出了很多不同的機(jī)器淺層學(xué)習(xí)模型，比如support vector-machines，簡稱SVM（支撐向量機(jī)），以及最大熵方法等等。特別是從2000年開始，由于互聯(lián)網(wǎng)絡(luò)的發(fā)展，人們對大數(shù)據(jù)的需求變得更加急切，這也使得shallow learning在其互聯(lián)網(wǎng)的利用中獲得龐大的樂成。

1.1.2第二階段：deep learning

2006年，機(jī)器學(xué)習(xí)理論的專家Hinton（加拿大多倫多大學(xué)教授）和他的學(xué)生Salakhutdinov在《科學(xué)》上發(fā)表了文章[1]，正是這篇文章打開了深度學(xué)習(xí)在工業(yè)和學(xué)術(shù)界中研發(fā)的大門，從文章中可以大概得到兩個(gè)重要的信息，首先，很多隱層的不被人們發(fā)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)有著十分優(yōu)秀的特征學(xué)習(xí)能力.經(jīng)過特征學(xué)習(xí)得到的數(shù)據(jù)有著更加本質(zhì)性的刻畫，對于可視化和分類非常有利;其次，在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)上，可以使用“l(fā)ayeI-wise pre-training”（逐層初始化）來解決其中的難題，而逐層初始化可以經(jīng)由無監(jiān)督學(xué)習(xí)來實(shí)現(xiàn)。同時(shí)從文中也可以得到一個(gè)重要的論據(jù)，那就是之所以深度學(xué)習(xí)技術(shù)可以被研發(fā)、被應(yīng)用，是因?yàn)樵谀X神經(jīng)系統(tǒng)中，的確存在著異常復(fù)雜、繁多的層次結(jié)構(gòu)，從而使得深度學(xué)習(xí)的實(shí)現(xiàn)不再是空話。

所以，在當(dāng)今這個(gè)大數(shù)據(jù)當(dāng)家的時(shí)代，深度學(xué)習(xí)技術(shù)只能越來越炙手可熱，誰能更快的取得深度學(xué)習(xí)技術(shù)的制高點(diǎn)，誰將更好地適應(yīng)這個(gè)社會(huì)。

2 深度學(xué)習(xí)技術(shù)的分類

2.1 深度學(xué)習(xí)技術(shù)的分類簡述

在深度學(xué)習(xí)中，可以通過有無監(jiān)督特征學(xué)習(xí)兩個(gè)方面來探討它未來發(fā)展方向及其應(yīng)用，而有無監(jiān)督特征學(xué)習(xí)就可以作為深度學(xué)習(xí)技術(shù)的兩個(gè)分類的依據(jù)，再在不同分類的基礎(chǔ)上，研究它的特點(diǎn)和不同，以便人們更加方便的區(qū)分它們，并更加有效地利用它們，使它們在各自的領(lǐng)域發(fā)揮不同的功效，更好地為人類服務(wù)[3，4]。

2.1.1 無監(jiān)督特征學(xué)習(xí)

在深度學(xué)習(xí)技術(shù)的研發(fā)中，無監(jiān)督特征學(xué)習(xí)方法也稱無監(jiān)督的貪婪逐層學(xué)習(xí)方法，是最開始被提出來的中心思想：在深度結(jié)構(gòu)模型中，將低層輸出轉(zhuǎn)化為高層的輸入，然后無監(jiān)督地學(xué)習(xí)一層特征的變換，最后形成的深度模型的初始化權(quán)值，就是由通過學(xué)習(xí)得到的網(wǎng)絡(luò)權(quán)參數(shù)按順序一層一層地碼起來形成的，權(quán)參數(shù)在初始化時(shí)是在一個(gè)空間內(nèi)，而這個(gè)空間是比較接近輸入數(shù)據(jù)的流行空間的，因此在模型訓(xùn)練過程中，降低了陷入部分最小值問題的概率，這就像在過程中施加了正則化約束。

在訓(xùn)練數(shù)據(jù)過程中，有標(biāo)簽的數(shù)據(jù)數(shù)量比較少而無標(biāo)簽的數(shù)據(jù)數(shù)量較多時(shí)，可以采用無監(jiān)督特征學(xué)習(xí)方法。而rest-rict-ed Boltzmann machine，簡稱RBM（也就是受限波爾茲曼機(jī)）、au-to-encoder，簡稱AE（也就是自編碼模型）和sparse coding（稀疏編碼）就是此中最主要的三個(gè)構(gòu)成模塊。其中sparse coding最為特殊，可以通過圖片來了解它的原理，sparse coding的計(jì)算過程如圖3[2]。

2.1.2 有監(jiān)督特征學(xué)習(xí)

近年來，以有監(jiān)督特征為基礎(chǔ)的深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺的領(lǐng)域中取得了令人驚喜的研究成果，所以越來越多的人認(rèn)為將深度學(xué)習(xí)技術(shù)從理論研究到實(shí)際的大規(guī)模應(yīng)用是應(yīng)該的。其中最受重視的模型是convolutional neural network，簡稱CNN（也就是深度卷積神經(jīng)網(wǎng)絡(luò)），也是所有深度結(jié)構(gòu)模型最早獲得成功的，其中CNN包含了多階段的Hubel-Wiesel結(jié)構(gòu)，如圖4[4]。

專家LeCun研究的CNN是比較特殊的，該CNN是具有兩種類型的層結(jié)構(gòu)：卷積層和降抽樣層[8]。每一層都有一種拓?fù)鋱D結(jié)構(gòu)，例如，每個(gè)神經(jīng)元都對應(yīng)著輸入圖像上一個(gè)固定的坐標(biāo)，伴隨一個(gè)感受野（輸入圖像上影響神經(jīng)元活動(dòng)的區(qū)域）。在每層的每個(gè)位置處，都有很多不同的神經(jīng)元，每個(gè)神經(jīng)元都有它自己的輸入權(quán)值，連接著上層中一個(gè)立方體區(qū)域的神經(jīng)元。不同位置的神經(jīng)元都具有相同的一組權(quán)值，但對應(yīng)著不同位置的立方體區(qū)域。

3 深度學(xué)習(xí)技術(shù)的應(yīng)用

3.1 圖像識別

在深度學(xué)習(xí)技術(shù)中最開始被應(yīng)用的就是圖像領(lǐng)域。在1989年，紐約大學(xué)教授Le Cun等人就開始了關(guān)于convolutionneural networks，簡稱CNN f卷積神經(jīng)網(wǎng)絡(luò)）的相關(guān)研究工作[9]。而CNN這一結(jié)構(gòu)是如何被提出的呢？這多虧了在生物學(xué)領(lǐng)域的研究，人們正是在研究生物視覺行為時(shí)受到啟發(fā)才提出這一結(jié)構(gòu)，特別是通過研究在Hubel-wiesel模型中[10]，模仿兩個(gè)視覺皮層里的簡單細(xì)胞與復(fù)雜細(xì)胞之間的行為動(dòng)作時(shí)更加驗(yàn)證了這一結(jié)構(gòu)。在過去的一段時(shí)間，CNN僅限在手寫數(shù)字等小范圍的領(lǐng)域上，獲得了很好的體驗(yàn)結(jié)果，但在大范圍應(yīng)用上還沒有得到大家的重視。而這一現(xiàn)象的產(chǎn)生主要是因?yàn)?，CNN在大范圍圖像應(yīng)用上還存在著問題，因此在計(jì)算機(jī)視覺領(lǐng)域上沒有引起軒然大波。

這個(gè)低迷狀態(tài)直到2012年才有所好轉(zhuǎn)，在這一年圖像識別技術(shù)取得了令人驕傲的大進(jìn)步，而促進(jìn)這一進(jìn)步的正是加拿大多倫多的Hinton教授和他的學(xué)生們，他們在世界聞名的機(jī)器視覺識別問題上采用更加具有深度的CNN結(jié)構(gòu)模型[3]。該模型的識別流程如圖5。

在該識別模型中，全部像素的輸入都是由機(jī)器獨(dú)立完成的。隨后在2013年，人們首次在簡單圖片的識別領(lǐng)域中運(yùn)用了深度學(xué)習(xí)模型并取得了較大收獲。從已知經(jīng)驗(yàn)中可以看出，運(yùn)用該模型能夠從根本上解決一般模型識別正確率不高的缺點(diǎn)，從而減少了人們再返工的時(shí)間，大大節(jié)約了人力資源，這樣在線計(jì)算的正確率就可以很大程度的提高了[6]。

圖像識別也不僅僅是識別圖像，隨著研究的不斷深入，也可以進(jìn)行人臉識別、視頻分析以及圖像分類。其中人臉識別技術(shù)更加受到人們的追捧，因?yàn)槿四樧R別除了能夠確認(rèn)人臉之外，還能辨識不同身份的人臉，但由于不同的人有不同的身份，且相同的人由于在不同的場景拍照導(dǎo)致姿勢、光線甚至臉型的變化，使得這一技術(shù)的實(shí)現(xiàn)更加困難。

綜上所述，在未來深度學(xué)習(xí)技術(shù)一定會(huì)在圖像識別領(lǐng)域中占據(jù)主要地位，并引領(lǐng)潮流，而以前的相對依賴人工的學(xué)習(xí)技術(shù)就會(huì)慢慢地退出時(shí)代的舞臺(tái)。

3.2 語音識別

在人們開始使用語音識別系統(tǒng)的歷史中，比較容易被人們接受的就是GMM（也就是混合高斯模型），這種模型一直在該領(lǐng)域起著非常重要作用，主要原因就是它有比較容易獲得的區(qū)分度訓(xùn)練技術(shù)，有了這一技術(shù)的加持，再加上在進(jìn)行大數(shù)據(jù)訓(xùn)練時(shí)估計(jì)較簡單，所以更容易被人們接受[5]。但人無完人，同時(shí)這種模型也存在著許多弊端，比如，它從根本上來說就是一種網(wǎng)絡(luò)層比較淺的建模，而網(wǎng)絡(luò)層較淺就說明沒有足夠的深度來記錄它的空間分布，雖然這一缺點(diǎn)可以通過區(qū)分度訓(xùn)練來解決一部分，但能起作用的空間還只是很小的一部分。其后，人們又開始運(yùn)用DNN模型，但同樣有著很大的弊端和不足。

后來，根據(jù)這一缺點(diǎn)，微軟首先邁出第一步，比較有前瞻性的研究了以深度神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的語音識別系統(tǒng)，正是這一研究顛覆性的解決了原有的深度不夠這一缺點(diǎn)。新研發(fā)的系統(tǒng)，能夠?qū)⒃瓉聿贿B續(xù)的語音片段通過描述片段之間的相似性合并起來，從而形成一個(gè)新的高維度的片段特征。

在實(shí)際應(yīng)用過程中，這一技術(shù)，除了去其糟粕外，還取其精華，與原來的雖然不成熟但也有很多可取之處的語音識別技術(shù)相互聯(lián)結(jié)，不但提高了語音識別的正確率還節(jié)省了不必要的開支，正可謂一舉兩得。

可以通過一個(gè)表，從三個(gè)方面來看看這三種模型的不同之處，如表1。

隨后幾年，谷歌和百度也相繼采用了這一技術(shù)進(jìn)行語音識別，不得不說這兩大龍頭企業(yè)非常具有前瞻性，這也對將來其他公司的業(yè)務(wù)拓展提供了資料。

3.3 自然語言處理（NLP）

在上文中已經(jīng)了解到深度學(xué)習(xí)技術(shù)在音、像領(lǐng)域的應(yīng)用，接下來還要介紹它在其他相對陌生的領(lǐng)域的應(yīng)用，即自然語言的處理（NLP），顧名思義，它主要的研發(fā)方向就是通過自然語言使得原本溝通有障礙的人類和計(jì)算機(jī)之間能實(shí)現(xiàn)溝通，而自然語言的范疇也比較廣泛，既包括人類語言也包括計(jì)算機(jī)語言，同時(shí)還注重這兩者與數(shù)學(xué)之間的聯(lián)系，因此涉及范圍較廣。

在過去的歷史長河中，雖然以人工神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的NLP模型一直存在，但由于研發(fā)的力度不夠，使得人們只能一直應(yīng)用存在弊端的以統(tǒng)計(jì)為基礎(chǔ)的自然語言處理模型。隨后，緊接著有許多學(xué)者漸漸意識到人工神經(jīng)網(wǎng)絡(luò)的重要性，開始轉(zhuǎn)移了研究方向。直到2003年，Bengio（加拿大蒙特利爾大學(xué)教授）和他的同事首次提出用非線性神經(jīng)網(wǎng)絡(luò)代替原來的處理模型。而真正開始研究將深度學(xué)習(xí)技術(shù)應(yīng)用于自然語言處理的是在2008年，在美國NEC研究所，Collobert研究員和Weston研究員為了有效解決原始模型不能完成詞性標(biāo)注、程序分塊命名實(shí)體識別和語義角色標(biāo)注等在NLP領(lǐng)域經(jīng)常出現(xiàn)的問題，他們采用了通過嵌入多層的一維卷積結(jié)構(gòu)的方法。在該方法中值得一提的是，不論是一個(gè)模型完成一個(gè)任務(wù)還是完成不同任務(wù)，正確率都較高。

同時(shí)自然語言處理大體上分為英文和中文兩大方向，這兩個(gè)方向的研究領(lǐng)域都有不同。 從整體上來看，深度學(xué)習(xí)技術(shù)在自然語言處理領(lǐng)域上不像音、像領(lǐng)域那樣有較大的成績，但我堅(jiān)信在這一領(lǐng)域還有很大的發(fā)展空間，心急吃不了熱豆腐，同樣任何有價(jià)值的研究成果都不會(huì)因?yàn)闀r(shí)間的長短而止步不前。

3.4 搜索廣告的收益預(yù)估

眾所周知，搜索引擎收益的主要方式是通過用戶搜索廣告從而收費(fèi)來獲得，而計(jì)費(fèi)方式也有很多，其中最常用的就是cost per click，簡稱CPC（即按點(diǎn)擊付費(fèi)）。所以需要通過一個(gè)比率，在按點(diǎn)擊付費(fèi)這一方式下，來預(yù)估收益，這個(gè)比率就是clikthrough rate，簡稱CTR（即廣告點(diǎn)擊率），也就是人們點(diǎn)擊的廣告的次數(shù)與該廣告被檢索閱讀的次數(shù)的比率[11]。而這個(gè)比率越是精準(zhǔn)，就越說明某個(gè)廣告的點(diǎn)擊次數(shù)多，從而說明收益越高。

而一般情況下，都是通過機(jī)器學(xué)習(xí)技術(shù)來預(yù)測得到廣告的點(diǎn)擊率，但這就會(huì)導(dǎo)致點(diǎn)擊率的準(zhǔn)確性不是很高，所以提高點(diǎn)擊率的準(zhǔn)確性是當(dāng)務(wù)之急，這既可以提升用戶的體驗(yàn)同時(shí)也可以為搜索公司和廣告商帶來高額的收益。

一開始，許多搜索引擎公司大都以邏輯回歸模型（簡稱LR）進(jìn)行預(yù)估，但直到2012年才發(fā)現(xiàn)，LR模型由于自身結(jié)構(gòu)扁平的原因，使得對模型的分析和特征識別的效果大打折扣，人們這才知道廣告點(diǎn)擊率預(yù)估的準(zhǔn)確性與模型的結(jié)構(gòu)有著很大的關(guān)系[12]。為了解決這一問題，百度公司首次提出將DNN技術(shù)應(yīng)用到于廣告搜索領(lǐng)域，但在實(shí)施過程中卻遭遇了許多問題和挑戰(zhàn)，比如就目前的機(jī)器計(jì)算水平而言，還不能輸入像1011這么高級別的特征廣告，只能人為地將高級別特征數(shù)降低到一定水平，最后被DNN技術(shù)分析和學(xué)習(xí)[13]。而現(xiàn)在使用的廣告搜索引擎正是來源于上述所描述的DNN技術(shù)，這也為廣大網(wǎng)友提供了便利。

但是，DNN技術(shù)在該應(yīng)用領(lǐng)域的影響還沒有達(dá)到最大，在不久的將來，可以將DNN與遷移學(xué)習(xí)結(jié)合，這會(huì)大大提高點(diǎn)擊率的正確性;同時(shí)還可以將不同的廣告線聯(lián)系在一起，這樣不管再有多少不同的廣告，數(shù)據(jù)之間都可以互通，可以大大節(jié)省計(jì)算的時(shí)間。相信以后的DNN技術(shù)在搜索廣告領(lǐng)域中還會(huì)有更大的進(jìn)步。

4 實(shí)踐過程中出現(xiàn)的挑戰(zhàn)

4.1 理論問題

通過這么多年研究，不論已知的函數(shù)多么復(fù)雜且難以表達(dá)，都可以找到一個(gè)深度學(xué)習(xí)技術(shù)的模型將它表示出來[14]，但僅僅只是表示出來，還做不到完全可學(xué)習(xí)化，參數(shù)越復(fù)雜，過程越困難，也就是說必須要知道原始函數(shù)的復(fù)雜程度;另一方面，還需要更強(qiáng)大的計(jì)算能力幫助完成學(xué)習(xí)過程。對于這兩方面的理論研究還有著巨大的研究空間。

4.2 模型問題

隨著理論方面的更深入研究，在模型問題上也遇到了困難。首先，需要更強(qiáng)大的模型來處理，這個(gè)新型模型不但包含原來模型的基本功能，還要在原來基礎(chǔ)上表現(xiàn)出更強(qiáng)大的學(xué)習(xí)能力。

其次，在不同的應(yīng)用領(lǐng)域都需要不同的參數(shù)模型，這給日常建模造成了很大的麻煩，每次建模都需要重新定義參數(shù)，但這些模型也有一個(gè)共同點(diǎn)，那就是它們都是基于CNN理論的，所以能否找到一個(gè)通用的模型，不管應(yīng)用在哪個(gè)領(lǐng)域都可以直接使用。

4.3 實(shí)際問題

眾所周知，最開始只能在小范圍圖像數(shù)據(jù)領(lǐng)域應(yīng)用深度學(xué)習(xí)技術(shù)，但隨著研究的不斷深入，在大范圍數(shù)據(jù)領(lǐng)域也可以應(yīng)用這一技術(shù)了，但是兩個(gè)領(lǐng)域的最后處理結(jié)果幾乎可以說是大不相同，這多虧了現(xiàn)代硬件設(shè)施比如CPU、內(nèi)存等質(zhì)量的提高，以及在平時(shí)訓(xùn)練中采取的其他線性或非線性的函數(shù)方法等[15]。

但是在最終處理結(jié)果上，由深度學(xué)習(xí)技術(shù)處理得到的結(jié)果與人類大腦處理得到的結(jié)果還是存在著很大差距，所以，還必須進(jìn)一步去研究怎樣改變機(jī)器固化的結(jié)構(gòu)模型，并提高它們對數(shù)據(jù)處理能力的準(zhǔn)確性。而隨著數(shù)據(jù)量的持續(xù)增加，深度學(xué)習(xí)技術(shù)也不能故步不前，它們需要采用比原來更加繁雜、成熟的模型，通過提高自身的計(jì)算能力更加準(zhǔn)確地提取數(shù)據(jù)中的信息去適應(yīng)環(huán)境的變換。而做出這一改變最根本的就是，如何通過異步的更新模式將原本需要自身攜帶序列的學(xué)習(xí)算法，改進(jìn)成可以利用CPU處理的并行學(xué)習(xí)算法，這將會(huì)大大提高計(jì)算的準(zhǔn)確性。另外，大量的超參數(shù)在進(jìn)行訓(xùn)練時(shí)也是必不可少的，而至今為止還沒有明確的指導(dǎo)方法來告訴我們怎樣選擇超參數(shù)，所以在無形中增加了難度。最后，目前為止所有取得的成果都還沒有強(qiáng)大的理論基礎(chǔ)，還需要繼續(xù)研究和發(fā)展。

5 結(jié)論與展望

深度學(xué)習(xí)技術(shù)為人工智能的研究開啟了新的篇章，不僅受到了學(xué)術(shù)界的關(guān)注，也引起了商業(yè)等社會(huì)各界的重視，大大改變了人們的生活方式，為人們的生活提供了便利。同時(shí)它的應(yīng)用領(lǐng)域也從音、像領(lǐng)域擴(kuò)大到了自言語言處理領(lǐng)域。最后，雖然在研究過程中還存在著問題和挑戰(zhàn)，相信我們一定可以解決，使深度學(xué)習(xí)技術(shù)的研究更加進(jìn)步。

參考文獻(xiàn)：

[1]余濱.深度學(xué)習(xí)：開啟大數(shù)據(jù)時(shí)代的鑰匙[D].廈門：廈門大學(xué)，2014：5-6.

[2]敖道敢.無監(jiān)督特征學(xué)習(xí)結(jié)合神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像識別[Dl.廣州：華南理工大學(xué)，2014：16-17.

[3]余凱.深度學(xué)習(xí)的昨天、今天和明天[J].計(jì)算機(jī)研究與發(fā)展，2013，5（1）：3-5.

[4]李晨曉.基于深度學(xué)習(xí)的浮式儲(chǔ)油卸油裝置安全狀態(tài)分類方法[D].天津：天津大學(xué)，2014：7-8.

[5]其米克·巴特西.基于深度神經(jīng)網(wǎng)絡(luò)的維吾爾語語音識別[Dl.新疆：新疆大學(xué)，2015：3-4.

[6]王強(qiáng).面向大數(shù)據(jù)處理的圖搜索與深度學(xué)習(xí)算法并行優(yōu)化技術(shù)研究[D].長沙：國防科學(xué)技術(shù)大學(xué)，2013：5-6.

[7]雷振元.公務(wù)員應(yīng)該掌握社會(huì)學(xué)基本知識[J].福州黨校學(xué)報(bào)，2009，2（1）：13-15.

[8] Yos hua Bengio. Learning Deep Architectures for Al[M]. New York： now publishers Inc， 1988： 15-16.

[9]張志強(qiáng).基于特征學(xué)習(xí)的廣告點(diǎn)擊率預(yù)估技術(shù)研究[J].計(jì)算機(jī)學(xué)報(bào)，2016，5 （1）：12-15.

[10]張志浩.基于深度學(xué)習(xí)的在線廣告點(diǎn)擊率預(yù)估系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].南京：南京大學(xué)，2015：5-6.

[11]李思琴.基于深度學(xué)習(xí)的搜索廣告點(diǎn)擊率預(yù)測方法研究[Dl.哈爾濱：哈爾濱大學(xué)，2015：13-16.

[12]毛勇華.深度學(xué)習(xí)應(yīng)用技術(shù)研究叨.計(jì)算機(jī)應(yīng)用研究， 2016，33（1）：12-15.

[13]張馭宇.面向深度學(xué)習(xí)的分布式優(yōu)化算法研究[D].北京：中國科學(xué)院大學(xué)，2015：113-116.

[14]梁軍.基于深度學(xué)習(xí)的文本特征表示及分類應(yīng)用[D].鄭州：鄭州大學(xué)，2016：3-6.

[15]和淵.用信息技術(shù)支持深度學(xué)習(xí)[J].當(dāng)代教育家，2016（10）：26-28.

【通聯(lián)編輯：唐一東】

收稿日期：2019 -11-15

作者簡介：方蕓（1962-），女，本科，高級實(shí)驗(yàn)師，研究方向?yàn)橛?jì)算機(jī)應(yīng)用，實(shí)驗(yàn)室管理。