深度學(xué)習(xí)：人工智能發(fā)展的驅(qū)動(dòng)引擎

周文芃

（北京市第四十四中學(xué)，北京 100045）

1 引言

人工智能是計(jì)算機(jī)工程與科學(xué)的重要研究領(lǐng)域，隨著2016年AlphaGo對(duì)戰(zhàn)國際著名圍棋手李世石一役其逐漸進(jìn)入大眾視野，更獲得進(jìn)一步蓬勃發(fā)展。推動(dòng)人工智能快速發(fā)展的三大基石分別是大數(shù)據(jù)、大規(guī)模并行計(jì)算與深度學(xué)習(xí)，其中相對(duì)來說深度學(xué)習(xí)更是其核心所在。

深度學(xué)習(xí)由機(jī)器學(xué)習(xí)和多層神經(jīng)網(wǎng)絡(luò)演化發(fā)展而來，其本質(zhì)是通過模擬人腦結(jié)構(gòu)和機(jī)理建立分層結(jié)構(gòu)模型，對(duì)海量數(shù)據(jù)從底層到高層自動(dòng)獲得層次性多層次表達(dá)，進(jìn)行逐級(jí)特征提取，從而很好地建立從底層信號(hào)到高層語義的映射關(guān)系[1-2]。在大數(shù)據(jù)和人工智能背景下探析深度學(xué)習(xí)的發(fā)展動(dòng)機(jī)和理論基礎(chǔ)，進(jìn)一步理解深度學(xué)習(xí)常用算法模型，進(jìn)而探索深度學(xué)習(xí)發(fā)展的挑戰(zhàn)及前景具有重大現(xiàn)實(shí)意義。

2 深度學(xué)習(xí)的發(fā)展背景及動(dòng)機(jī)

機(jī)器學(xué)習(xí)是現(xiàn)代信息技術(shù)發(fā)展的新興產(chǎn)業(yè)，它是在計(jì)算機(jī)技術(shù)、控制決策論、信息論、神經(jīng)生物科學(xué)、語言學(xué)等多學(xué)科交叉基礎(chǔ)上，以大數(shù)據(jù)為基礎(chǔ)發(fā)展形成的一門模擬人類智能的科學(xué)技術(shù)[3]。人工智能下的機(jī)器學(xué)習(xí)開啟了科學(xué)研究的第四范式，其核心是在計(jì)算機(jī)技術(shù)的載體下，借助計(jì)算機(jī)來模擬人的思維方式，進(jìn)而應(yīng)用到實(shí)際生活中，幫助人類處理實(shí)際問題。根據(jù)學(xué)習(xí)模型的層次結(jié)構(gòu)可將機(jī)器學(xué)習(xí)分為淺層學(xué)習(xí)和深層學(xué)習(xí)兩種類型。

20世紀(jì)80年代以來，機(jī)器學(xué)習(xí)在理論、算法、模型和實(shí)際應(yīng)用中取得了巨大成就，尤其是淺層學(xué)習(xí)模型在計(jì)算機(jī)領(lǐng)域獲得廣泛應(yīng)用。但隨著信息化時(shí)代的來臨，由于淺層學(xué)習(xí)模型通過運(yùn)用專家經(jīng)驗(yàn)進(jìn)行數(shù)據(jù)特征提取，主要用于分類和回歸預(yù)測(cè)的特點(diǎn)使得機(jī)器學(xué)習(xí)在模擬人類智能時(shí)樣本特征提取主要依靠專家經(jīng)驗(yàn)，而人類大腦學(xué)習(xí)則是全自動(dòng)狀態(tài)，因此傳統(tǒng)機(jī)器學(xué)習(xí)具有一定局限性[4]，極大程度上制約著人工智能技術(shù)的發(fā)展。信化時(shí)代的到來使得大數(shù)據(jù)已充斥在人類生產(chǎn)和生活當(dāng)中，大數(shù)據(jù)不僅改變著經(jīng)濟(jì)產(chǎn)業(yè)現(xiàn)狀，更改變著基于概率與統(tǒng)計(jì)意義下的數(shù)據(jù)分析原理，促進(jìn)著新一輪數(shù)據(jù)科學(xué)的創(chuàng)新。大數(shù)據(jù)時(shí)代數(shù)據(jù)的規(guī)模性、多樣性、時(shí)效性和價(jià)值性上的復(fù)雜特性，大數(shù)據(jù)含有復(fù)雜的信息維度，傳統(tǒng)的淺層學(xué)習(xí)處理、分析大數(shù)據(jù)時(shí)處于欠擬合狀態(tài)，基于人工規(guī)則構(gòu)造特征的“大數(shù)據(jù)+淺層學(xué)習(xí)模型”不能從本質(zhì)上挖掘海量數(shù)據(jù)結(jié)構(gòu)特征，因此利用大數(shù)據(jù)來學(xué)習(xí)特征，進(jìn)行深度學(xué)習(xí)模型研究更能夠揭露數(shù)據(jù)內(nèi)涵本質(zhì)信息。此外，人類大腦神經(jīng)中樞在進(jìn)行信息處理時(shí)信息特征具有逐層傳遞的特征，當(dāng)信息由人類器官經(jīng)過連續(xù)多層神經(jīng)網(wǎng)絡(luò)系統(tǒng)傳遞到大腦時(shí)，每個(gè)層次的神經(jīng)元都會(huì)進(jìn)行激發(fā)以識(shí)別信息特征，比如在人類視覺原理中，視覺信息先從原始信號(hào)攝入開始，逐漸經(jīng)過各類層次神經(jīng)網(wǎng)絡(luò)提取一些物體的特征，最后不同的高級(jí)特征就組合成相應(yīng)的圖像，從而能夠讓人準(zhǔn)確的區(qū)分不同的物體。這種分層處理機(jī)制啟示了人工智能專家開發(fā)構(gòu)造新一輪機(jī)器學(xué)習(xí)模型進(jìn)行分層表達(dá)和無監(jiān)督學(xué)習(xí)的構(gòu)想。因此，2006年 Hinton等人提出的深度學(xué)習(xí)便在此背景和動(dòng)機(jī)下應(yīng)運(yùn)而生。

3 深度學(xué)習(xí)的基本原理與模型簡介

在2017年機(jī)器學(xué)習(xí)領(lǐng)域著名神經(jīng)信息處理系統(tǒng)進(jìn)展大會(huì)上Google工程師Ali Rahimi在發(fā)言中提到，“深度學(xué)習(xí)成就了今天的煉金術(shù)”，這個(gè)比喻極大說明了當(dāng)今深度學(xué)習(xí)理論的缺乏，因此探究深度學(xué)習(xí)的基本原理具有重大意義。深度學(xué)習(xí)充分借鑒了人腦神經(jīng)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)分層結(jié)構(gòu)，其實(shí)質(zhì)是通過多層結(jié)構(gòu)對(duì)每層數(shù)據(jù)中信息進(jìn)行特征提取的非線性組合，從原始數(shù)據(jù)開始將每層特征逐層轉(zhuǎn)換為更高層的抽象表示，從而發(fā)現(xiàn)高維數(shù)據(jù)復(fù)雜的結(jié)構(gòu)特征。深度學(xué)習(xí)算法目前大多基于的深度神經(jīng)網(wǎng)絡(luò)，可以通俗理解為多層神經(jīng)網(wǎng)絡(luò)，通過每個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練出一系列數(shù)據(jù)特征，當(dāng)實(shí)際輸出結(jié)果與目標(biāo)函數(shù)有一定差距時(shí)，就會(huì)進(jìn)行反饋再訓(xùn)練，直到結(jié)果已經(jīng)收斂。此外，大數(shù)據(jù)賦予了深度學(xué)習(xí)極大機(jī)遇，目前深度學(xué)習(xí)的基本方式也是大數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方式，是機(jī)器的自主學(xué)習(xí)，即讓機(jī)器自己的去學(xué)習(xí)的一種技術(shù)，其中比較、優(yōu)選、積累、提煉、再比較、再優(yōu)選、再積累、再提煉，采用由上而下的監(jiān)督訓(xùn)練方法，由下而上的非監(jiān)督學(xué)習(xí)就是人工智能的機(jī)器學(xué)習(xí)深度學(xué)習(xí)的路徑。

下面介紹兩個(gè)目前了解的常用深度學(xué)習(xí)模型，Adam算法模型和卷積神經(jīng)網(wǎng)絡(luò)模型。Adam算法是一種可以替代傳統(tǒng)隨機(jī)梯度下降過程的一階優(yōu)化算法，它與傳統(tǒng)隨機(jī)梯度下降算法不同，學(xué)習(xí)率在自適應(yīng)訓(xùn)練學(xué)習(xí)中通過一階矩和二階矩估計(jì)不斷變化，通過訓(xùn)練數(shù)據(jù)迭代來不斷更新神經(jīng)網(wǎng)絡(luò)權(quán)重。Adam的名字來源于適應(yīng)性矩估計(jì)（Adaptive Moment Estimation），Adam優(yōu)化算法應(yīng)用具有直截了當(dāng)?shù)貙?shí)現(xiàn)、高效的計(jì)算和所需存儲(chǔ)內(nèi)存較少等優(yōu)勢(shì)。卷積神經(jīng)網(wǎng)絡(luò)模型是目前深度學(xué)習(xí)最常用的算法之一，他與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法不同，包含了一個(gè)由卷積層和子采樣層構(gòu)成的特征抽取器，充分利用了數(shù)據(jù)本身包含的局部性等特征優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，并且保證某種程度上的不變性[5]，深度學(xué)習(xí)最真正的成功就是卷積神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)主要包括卷積部分和全連接部分，卷積部分包括卷積層、激活層和下采樣層，其中下采樣層通過疊加提取特征信息，全連接部分則連接特征提取和輸出計(jì)算損失，和完成識(shí)別分類等功能。

4 深度學(xué)習(xí)發(fā)展的挑戰(zhàn)及展望

在大數(shù)據(jù)和人工智能信息化時(shí)代，深度學(xué)習(xí)具有廣闊發(fā)展前景并面臨巨大挑戰(zhàn)。深度學(xué)習(xí)橫跨了計(jì)算機(jī)科學(xué)、工程技術(shù)和統(tǒng)計(jì)學(xué)等多門學(xué)科，并應(yīng)用于政治、天文、地理及社會(huì)生活等廣泛的領(lǐng)域，能夠處理高維稀疏的數(shù)據(jù)，但是深度學(xué)習(xí)依舊面臨著嚴(yán)酷的挑戰(zhàn)，比如數(shù)學(xué)理論的缺乏：算法的穩(wěn)定性、深度算法需要多少隱層，在大規(guī)模網(wǎng)絡(luò)中，需要多少有效參數(shù)是目前需要解決的問題，并且在運(yùn)用經(jīng)典的深度模型時(shí)，實(shí)驗(yàn)結(jié)果可能不理想，這就要求根據(jù)特定的問題和數(shù)據(jù)來優(yōu)化深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)。再進(jìn)而如何將深度學(xué)習(xí)更進(jìn)一步應(yīng)用于大數(shù)據(jù)信息化時(shí)代，挖掘數(shù)據(jù)背后潛藏的價(jià)值也是深度學(xué)習(xí)領(lǐng)域重點(diǎn)關(guān)注的問題。Google的AlphaGo使得更多人了解深度學(xué)習(xí)，人工智能目前已逐漸大眾化，基于大數(shù)據(jù)分析尤其是深度學(xué)習(xí)的智能理論與產(chǎn)業(yè)結(jié)合是目前我國乃至全世界密切關(guān)注、探索的問題，深度學(xué)習(xí)領(lǐng)域的計(jì)算機(jī)視覺、自然語言處理、圖像識(shí)別等在未來將會(huì)大有作為，深度學(xué)習(xí)和復(fù)雜推理的有效結(jié)合必將推動(dòng)人類實(shí)現(xiàn)人工智能的終極目標(biāo)，更好服務(wù)于全社會(huì)。