人工智能技術(shù)發(fā)展概述

俞祝良

摘要

近年來(lái)，以深度學(xué)習(xí)為核心的人工智能技術(shù)，取得了一系列重大突破.本文將就人工智能的產(chǎn)業(yè)化熱潮，主要研究流派及發(fā)展歷史，以深度學(xué)習(xí)為核心的成功應(yīng)用，以及存在的一些問(wèn)題和今后的可能研究方向做一個(gè)介紹.

關(guān)鍵詞人工智能；深度學(xué)習(xí)；神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)TP18

文獻(xiàn)標(biāo)志碼A

0引言

從1956年達(dá)特茅斯會(huì)議首次定義“人工智能”（Artificial Intelligence，AI）開(kāi)始，AI研究已經(jīng)歷了幾次歷史浮沉.在一次又一次的高潮和低谷的交替中，不可否認(rèn)，AI無(wú)論是在理論還是在實(shí)踐上都取得了扎實(shí)的進(jìn)步，人類對(duì)于智能的理解進(jìn)一步加深.尤其是近期以深度學(xué)習(xí)（Deep Learning，DL）為代表的AI技術(shù)取得了突破性的進(jìn)展，從而在全世界范圍內(nèi)又掀起了一個(gè)AI研究熱潮.與以往不同的是，這次的研究熱潮同時(shí)伴隨著AI商業(yè)化浪潮，實(shí)驗(yàn)室成果很快就進(jìn)入工業(yè)界，甚至工業(yè)界在這股熱潮中也站在了學(xué)術(shù)研究的前沿，這在以往的技術(shù)發(fā)展史上是非常罕見(jiàn)的.

2015年7月，人工智能被寫入《國(guó)務(wù)院關(guān)于積極推進(jìn)“互聯(lián)網(wǎng)+”行動(dòng)的指導(dǎo)意見(jiàn)》；2016年3月，人工智能一詞被寫入“十三五”規(guī)劃綱要；2016年5月，國(guó)家發(fā)展改革委員會(huì)等四部門聯(lián)合下發(fā)《“互聯(lián)網(wǎng)+”人工智能三年行動(dòng)實(shí)施方案》；李克強(qiáng)總理的政府工作報(bào)告中也提到了人工智能產(chǎn)業(yè)發(fā)展；中國(guó)科學(xué)技術(shù)部“科技創(chuàng)新2030—重大項(xiàng)目”近期或?qū)⑿略觥叭斯ぶ悄?0”，人工智能將進(jìn)一步上升為國(guó)家戰(zhàn)略.這充分可以看出我國(guó)對(duì)AI的重視程度.2017年，中國(guó)工程院院刊信息與電子工程學(xué)部分刊《信息與電子工程前沿（英文）》出版了“Artificial Intelligence 20”專題，潘云鶴等多位院士及專家學(xué)者對(duì)AI20所涉及的大數(shù)據(jù)智能、群體智能、跨媒體智能、混合增強(qiáng)智能和自主智能等進(jìn)行了深度闡述.

面對(duì)人工智能熱潮，我們?cè)撊绾卫斫?，看待其進(jìn)步？又如何了解其功能和限制？已經(jīng)有不少書籍[1]和論文[2]討論了上述問(wèn)題，本文將從人工智能的產(chǎn)業(yè)化浪潮、學(xué)術(shù)流派和研究方法，以深度神經(jīng)網(wǎng)絡(luò)為主的AI發(fā)展歷史、近期成果和存在問(wèn)題等諸多方面對(duì)人工智能做一個(gè)的介紹，希望能對(duì)讀者了解AI有所幫助.

注1達(dá)特茅斯會(huì)議上定義的人工智能是指用計(jì)算機(jī)模擬人的邏輯思維，實(shí)際上這個(gè)定義比較適合基于符號(hào)邏輯的演繹系統(tǒng)（符號(hào)學(xué)派），如專家系統(tǒng)等.但人類還有歸納總結(jié)能力（聯(lián)結(jié)學(xué)派）.嚴(yán)格來(lái)講，這不包括在狹義的人工智能當(dāng)中，所以神經(jīng)網(wǎng)絡(luò)、模糊邏輯和遺傳算法等結(jié)合另立了“計(jì)算智能”.為了便于表述，我們文中采用了廣義上的人工智能，這個(gè)概念和“機(jī)器智能”[1]一致，包含了一切機(jī)器具有的智能.

1人工智能商業(yè)化浪潮

20世紀(jì)末，當(dāng)以神經(jīng)網(wǎng)絡(luò)為主流的AI研究又一次跌入低谷的時(shí)候，加拿大多倫多大學(xué)的Hinton教授等還是堅(jiān)守陣地，辛勤耕耘，并在2006年獲得了突破[34].2012年他和兩位學(xué)生成立“深度神經(jīng)網(wǎng)絡(luò)研究”（DNN Research）公司，數(shù)個(gè)月后被Google收購(gòu)，從此Hinton教授身兼多倫多大學(xué)教授和Google研究者的雙重身份.Google隨后斥資4億美元收購(gòu)人工智能初創(chuàng)的前沿人工智能企業(yè)DeepMind.另外，Google還收購(gòu)了烏克蘭面部識(shí)別技術(shù)開(kāi)發(fā)商Viewdle.

緊隨Hinton教授的步伐，紐約大學(xué)Yann LeCun教授，2013 年底被聘請(qǐng)為Facebook人工智能研究院的總管；斯坦福大學(xué)吳恩達(dá)（Andrew Ng）教授，2014年被百度聘任為首席科學(xué)家負(fù)責(zé)“百度大腦”的計(jì)劃（2017年已經(jīng)辭職）；斯坦福大學(xué)李飛飛教授（FeiFei Li）成為谷歌云計(jì)算部門的負(fù)責(zé)人之一.這些現(xiàn)象一方面說(shuō)明人工智能現(xiàn)在受工業(yè)界的歡迎程度，同時(shí)也說(shuō)明了人工智能目前的發(fā)展趨勢(shì)是學(xué)術(shù)研究和企業(yè)開(kāi)發(fā)的快速深度結(jié)合.

為了迎合AI的發(fā)展熱潮，大量的開(kāi)源學(xué)習(xí)平臺(tái)不斷問(wèn)世，賈揚(yáng)清的Caffe、Google的TensorFlow、Facebook的FBLearner Flow、Tesla領(lǐng)銜的OpenAI以及百度深度機(jī)器學(xué)習(xí)開(kāi)源平臺(tái)等，都為AI的研究和產(chǎn)業(yè)開(kāi)發(fā)起到了巨大的推動(dòng)作用.當(dāng)然還有很多其他工業(yè)巨頭的產(chǎn)品，例如IBM的沃森系統(tǒng)、微軟的同聲翻譯等.

科技發(fā)展，人才為本.AI也不例外，企業(yè)對(duì)于AI人才的搶奪更是趨于白熱化.目前AI領(lǐng)域，尤其是深度學(xué)習(xí)領(lǐng)域面臨缺乏專家的困境.由于這個(gè)領(lǐng)域剛剛開(kāi)始發(fā)展，所以專家，即使是博士畢業(yè)生都特別少.吳恩達(dá)教授曾總結(jié)深度學(xué)習(xí)領(lǐng)域人才匱乏的幾個(gè)原因：首先是數(shù)據(jù)，獲取解決某些領(lǐng)域的問(wèn)題的數(shù)據(jù)常常非常困難；其次是計(jì)算基礎(chǔ)和架構(gòu)工具，包括計(jì)算機(jī)硬件和軟件，入門不易；最后是這個(gè)領(lǐng)域的工程師培養(yǎng)時(shí)間長(zhǎng).為了解決上述問(wèn)題，工業(yè)界的科技巨頭，如Google、Facebook、Twitter、百度等紛紛通過(guò)收購(gòu)深度學(xué)習(xí)領(lǐng)域的初創(chuàng)公司來(lái)招攬人才.其中最為典型的是Google，它通過(guò)不斷收購(gòu)深度學(xué)習(xí)領(lǐng)域的公司，搶到一批世界一流專家.總而言之，人工智能產(chǎn)業(yè)的發(fā)展，使得其相關(guān)領(lǐng)域的人才成為稀缺之寶，這對(duì)該領(lǐng)域的研究人員來(lái)講，既是機(jī)遇，也是挑戰(zhàn).

2人工智能的主要研究學(xué)派

人類的智能主要包括歸納總結(jié)和邏輯演繹兩大類.我們大量的感知處理，如視聽(tīng)覺(jué)、身體感知處理等都是下意識(shí)的，屬于歸納總結(jié)智能.而數(shù)學(xué)推導(dǎo)、邏輯推理等都是基于公理系統(tǒng)的符號(hào)演繹方法.由于在發(fā)展過(guò)程中，對(duì)于智能的理解的不同，漸漸形成了幾個(gè)經(jīng)典學(xué)派.每個(gè)學(xué)派從不同的角度看待問(wèn)題，提出解決方案.比如最為主要的兩個(gè)學(xué)派：符號(hào)學(xué)派和聯(lián)結(jié)學(xué)派，前者從哲學(xué)、邏輯學(xué)和心理學(xué)出發(fā)，將學(xué)習(xí)視為逆向演繹，使用預(yù)先存在的知識(shí)來(lái)解決問(wèn)題，大多數(shù)專家系統(tǒng)使用符號(hào)學(xué)派的方法；后者專注于通過(guò)神經(jīng)元之間的連接來(lái)推導(dǎo)表示知識(shí)，該學(xué)派聚焦于物理學(xué)和神經(jīng)科學(xué)，并相信大腦的逆向工程，他們用反向傳播算法來(lái)訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)以獲取結(jié)果[5].其他學(xué)派，如進(jìn)化學(xué)派在遺傳學(xué)和進(jìn)化生物學(xué)的基礎(chǔ)上得出結(jié)論，貝葉斯學(xué)派注重統(tǒng)計(jì)學(xué)和概率推理，類推學(xué)派更多是關(guān)注心理學(xué)和數(shù)學(xué)優(yōu)化來(lái)推斷相似性判斷.

雖然上述主流學(xué)派各自都取得了很大的成就，但是其各自采用的研究方法都遇到了諸多困難，而且這些學(xué)派對(duì)于AI的研究思路和方法難以形成一個(gè)統(tǒng)一的框架.為了更好地理解AI的本質(zhì)，本文擬采用文獻(xiàn)[1，5]中的觀點(diǎn)來(lái)介紹人工智能的主流研究方法.

基于對(duì)于“機(jī)器智能是由什么決定”這個(gè)問(wèn)題的回答，人工智能領(lǐng)域70多年的發(fā)展形成了3大主流的研究方法：結(jié)構(gòu)模擬、功能模擬和行為模擬.這3種研究方法之間缺乏一種內(nèi)在的聯(lián)系，使得人們普遍認(rèn)為AI理論不成體系.為了解決上述問(wèn)題，文獻(xiàn)[1，5]提出了第4類方法，即機(jī)制模擬.

21結(jié)構(gòu)模擬

近代科學(xué)強(qiáng)調(diào)“結(jié)構(gòu)決定論”，認(rèn)為只要系統(tǒng)的結(jié)構(gòu)清楚了，功能也就認(rèn)識(shí)清楚了.最先提出來(lái)的智能模擬就是結(jié)構(gòu)模擬的思路，其代表性的成果有神經(jīng)元的MP模型[6]、多層感知器MLP模型[7]和人工神經(jīng)網(wǎng)絡(luò)[8]等.在機(jī)械系統(tǒng)的研究中非常有用的結(jié)構(gòu)決定論，在智能系統(tǒng)的研究中卻存在很多問(wèn)題.結(jié)構(gòu)只是硬件基礎(chǔ)，不能完全確定系統(tǒng)的智能行為.正如現(xiàn)在對(duì)于單個(gè)神經(jīng)元的生理活動(dòng)機(jī)制已經(jīng)研究得非常深入，但是大量的神經(jīng)元連接在一起所呈現(xiàn)的智能行為目前的理解還是非常膚淺.作為結(jié)構(gòu)模擬的主流成功方法，人工神經(jīng)網(wǎng)絡(luò)具有非常突出的優(yōu)點(diǎn)：1）人工神經(jīng)網(wǎng)絡(luò)具有比較規(guī)范的結(jié)構(gòu)；2）系統(tǒng)具有大量可以調(diào)節(jié)的參數(shù)，自由度大，可以實(shí)現(xiàn)非常多樣的系統(tǒng)；3）網(wǎng)絡(luò)具有并行處理的機(jī)制；4）信息分布存儲(chǔ)，提供了優(yōu)良的記憶和聯(lián)想能力；5）系統(tǒng)具有很強(qiáng)的自適應(yīng)能力和高度的容錯(cuò)能力.當(dāng)然人工神經(jīng)網(wǎng)絡(luò)也具有很多弱點(diǎn)和局限性：1）人的智能系統(tǒng)不僅結(jié)構(gòu)復(fù)雜，而且機(jī)制深?yuàn)W，不是現(xiàn)在的人工神經(jīng)網(wǎng)絡(luò)所能完全模擬的；2）人工神經(jīng)網(wǎng)絡(luò)能做到的規(guī)模和人腦相比還是太小；3）神經(jīng)元的工作機(jī)理過(guò)度簡(jiǎn)化，難以保證系統(tǒng)能最終模擬人腦.另外，人工神經(jīng)網(wǎng)絡(luò)將一切智能都?xì)w為數(shù)值計(jì)算，在未能回答任何問(wèn)題是否都可以形式化或者數(shù)值化這個(gè)問(wèn)題之前，這種數(shù)值化計(jì)算能否完全模擬人類智能還是一個(gè)問(wèn)題.

22功能模擬

面對(duì)結(jié)構(gòu)模擬所存在的問(wèn)題，另外一類觀點(diǎn)認(rèn)為，人工智能的研究無(wú)需去理會(huì)智能的具體結(jié)構(gòu)，只要能夠模擬智力功能即可，這就是“功能主導(dǎo)論”下的功能模擬思路.實(shí)際上，功能模擬的最典型代表就是傳統(tǒng)的人工智能，如專家系統(tǒng)[9]是其最成功的應(yīng)用.功能模擬也常常被稱為符號(hào)主義、邏輯主義、心理學(xué)派.符號(hào)主義認(rèn)為人工智能源于數(shù)理邏輯.數(shù)理邏輯在20世紀(jì)30年代開(kāi)始應(yīng)用于描述智能行為，并在計(jì)算機(jī)上實(shí)現(xiàn)邏輯演繹系統(tǒng).后來(lái)符號(hào)主義者進(jìn)一步發(fā)展為啟發(fā)式算法—專家系統(tǒng)—知識(shí)工程理論和技術(shù).這方面的研究一開(kāi)始取得了不少成績(jī)，但是一直被批評(píng)為難以解決實(shí)際問(wèn)題.直到專家系統(tǒng)出現(xiàn)，為工業(yè)、經(jīng)濟(jì)和社會(huì)領(lǐng)域帶來(lái)了成功的方案，如第一個(gè)專家系統(tǒng)DENDRAL[9]用于質(zhì)譜儀分析有機(jī)化合物的分子結(jié)構(gòu)，MYCIN醫(yī)療專家系統(tǒng)[10]用于抗生素藥物治療等.符號(hào)主義曾經(jīng)在人工智能領(lǐng)域中一枝獨(dú)秀，為人工智能發(fā)展做出了極大貢獻(xiàn)，我國(guó)吳文俊院士關(guān)于幾何定理機(jī)械化證明就是其中一項(xiàng)非常重要的成果.當(dāng)然，功能模擬也具有明顯的缺點(diǎn)：系統(tǒng)的智能水平與獲得的知識(shí)水平有很大的關(guān)系.而且很多知識(shí)獲取困難，專家知識(shí)充滿矛盾和偏面，再加上現(xiàn)有邏輯理論的局限性等，使得功能模擬在發(fā)展過(guò)程中也困難重重.

23行為模擬

在功能模擬和結(jié)構(gòu)模擬都暴露了各自的缺陷后，20世紀(jì)90年代，開(kāi)始出現(xiàn)了行為模擬的思路，即“行為表現(xiàn)論”.該觀點(diǎn)認(rèn)為，無(wú)論采用什么樣的結(jié)構(gòu)和具有什么樣的功能，只要系統(tǒng)能表現(xiàn)出智能行為（在外界刺激時(shí)能夠產(chǎn)生恰當(dāng)?shù)男袨轫憫?yīng)），就等于模擬了智能系統(tǒng).在這個(gè)研究方法中，首先是機(jī)器感知，然后針對(duì)感知信息做模式分類，最后是對(duì)感知判斷結(jié)果做出的模擬智能的行為，這也被稱為感知?jiǎng)幼飨到y(tǒng).這方面的典型應(yīng)用是Brooks完成的模擬六腳蟲的爬行機(jī)器人等系統(tǒng)[11].感知?jiǎng)幼飨到y(tǒng)涉及到一個(gè)重要問(wèn)題：隨著任務(wù)環(huán)境的變化，系統(tǒng)如何能自主學(xué)習(xí)并擴(kuò)充從感知到動(dòng)作之間的映射知識(shí)？這當(dāng)然就是一個(gè)機(jī)器學(xué)習(xí)問(wèn)題.行為模擬也具有明顯的缺點(diǎn)：只有那些能用行為表現(xiàn)的智能才能被模擬，可是很多智能過(guò)程無(wú)法用行為直接表達(dá).

24機(jī)制模擬

結(jié)構(gòu)模擬、功能模擬和行為模擬都具有先天不足，而且這3大方法之間缺乏理論上的統(tǒng)一性.后來(lái)的研究發(fā)現(xiàn)，智能的生成機(jī)制才是智能系統(tǒng)的核心.機(jī)制模擬方法認(rèn)為，無(wú)論對(duì)什么問(wèn)題、環(huán)境和目標(biāo)，智能系統(tǒng)的生成機(jī)制必然要獲得“問(wèn)題、約束條件、預(yù)設(shè)目標(biāo)”等信息，然后提取和建立相關(guān)知識(shí)，進(jìn)而在目標(biāo)控制下，利用上述信息和知識(shí)演繹出求解問(wèn)題的策略，并轉(zhuǎn)化為相應(yīng)的智能行為作用于問(wèn)題，并解決問(wèn)題[1，5].這可以概括為一種“信息—知識(shí)—智能轉(zhuǎn)換過(guò)程”.根據(jù)這個(gè)觀點(diǎn)，結(jié)構(gòu)模擬可以認(rèn)為是“信息—經(jīng)驗(yàn)知識(shí)—經(jīng)驗(yàn)策略轉(zhuǎn)換過(guò)程”，功能模擬是“信息—規(guī)范知識(shí)—規(guī)范策略轉(zhuǎn)換過(guò)程”，行為模擬可以認(rèn)為是“信息—常識(shí)知識(shí)—常識(shí)策略轉(zhuǎn)換過(guò)程”.因此，結(jié)構(gòu)模擬、功能模擬和行為模擬三者都是平行的，而機(jī)制模擬和諧地統(tǒng)一了上述3種模擬方法，成為了一個(gè)統(tǒng)一的理論.

在AI發(fā)展過(guò)程中，上述多個(gè)方法各自都出現(xiàn)過(guò)自己的發(fā)展巔峰和低谷時(shí)期.目前的AI熱潮則源于結(jié)構(gòu)模擬方法方面的突破，即由于解決了深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問(wèn)題，加上大數(shù)據(jù)的高性能計(jì)算平臺(tái)（云計(jì)算、GPU等）變成現(xiàn)實(shí)，使得深度神經(jīng)網(wǎng)絡(luò)的表達(dá)能力得到了充分的發(fā)揮，對(duì)AI的發(fā)展起到了推波助瀾的作用.本文將進(jìn)一步以深度學(xué)習(xí)為主介紹其發(fā)展和成功案例.

3神經(jīng)網(wǎng)絡(luò)發(fā)展過(guò)程及深度學(xué)習(xí)的興起

讓機(jī)器具有智能，是人類一直的夢(mèng)想，但是實(shí)質(zhì)性的進(jìn)展卻是在20世紀(jì)50年代開(kāi)始的.在McCulloch和Pitts的神經(jīng)元計(jì)算模型工作[6]基礎(chǔ)上，康奈爾大學(xué)Rosenblatt提出了感知器（Perceptron）模型[7].在感知器研究中，Rosenblatt受到Hebb工作的啟發(fā)，提出一套算法來(lái)精確定義網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則，這也是首個(gè)具有自組織自學(xué)習(xí)能力的模型.Hebb認(rèn)為知識(shí)和學(xué)習(xí)在大腦中主要是通過(guò)神經(jīng)元間突觸的形成與變化來(lái)實(shí)現(xiàn)的.感知器通過(guò)調(diào)整針對(duì)輸入值的權(quán)重，利用一個(gè)非常簡(jiǎn)單直觀的學(xué)習(xí)方法，從輸入數(shù)據(jù)上實(shí)現(xiàn)學(xué)習(xí)功能.Rosenblatt還用定制硬件的方法實(shí)現(xiàn)了感知器，展示出它可以用來(lái)學(xué)習(xí)并對(duì)20×20像素輸入中的簡(jiǎn)單形狀進(jìn)行正確分類.自此，機(jī)器學(xué)習(xí)問(wèn)世了.感知器不僅是日后許多新的神經(jīng)網(wǎng)絡(luò)模型的始祖，還為20世紀(jì)60年代帶來(lái)人工智能的第一個(gè)熱潮.這股熱潮同時(shí)迎來(lái)了激烈的批評(píng).1969年，Minsky和Papert在名為《感知器》的書中提出了強(qiáng)烈的批判.他們認(rèn)為單層的感知器網(wǎng)絡(luò)無(wú)法解決非線性可分問(wèn)題（如異或門、XOR問(wèn)題）.另外，網(wǎng)絡(luò)模型所需的計(jì)算量也超出了當(dāng)時(shí)計(jì)算機(jī)的能力.學(xué)術(shù)界普遍認(rèn)為這本書對(duì)人工智能步入第一個(gè)冬天起到了推波助瀾的作用——人工智能進(jìn)入泡沫幻滅期，相關(guān)資助和出版都遭凍結(jié).

Minsky和Paper關(guān)于感知器的分析證明用單個(gè)感知器無(wú)法解決XOR問(wèn)題，指出必需要多層感知器網(wǎng)絡(luò)（所謂的多層神經(jīng)網(wǎng)絡(luò)）才可以完成任務(wù)，而且Rosenblatt的學(xué)習(xí)算法對(duì)多層網(wǎng)絡(luò)無(wú)用.這個(gè)問(wèn)題最終的解決方案就是著名的反向傳播算法[1213]，該方法讓研究者廣泛理解了應(yīng)該如何訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)來(lái)解決復(fù)雜學(xué)習(xí)問(wèn)題，其中包括非線性可分問(wèn)題.通過(guò)在神經(jīng)網(wǎng)絡(luò)里增加一個(gè)或者多個(gè)隱層，可以使得多層神經(jīng)網(wǎng)絡(luò)具有非常強(qiáng)的解決復(fù)雜問(wèn)題的能力.更有趣的發(fā)現(xiàn)是數(shù)學(xué)能證明多層前饋神經(jīng)網(wǎng)絡(luò)是普適模擬器（Universal Approximator）.本質(zhì)上，多層結(jié)構(gòu)使得神經(jīng)網(wǎng)絡(luò)能夠在理論上執(zhí)行任何函數(shù)表達(dá)，當(dāng)然包括XOR（異或）問(wèn)題[1415].Minsky提出的計(jì)算量問(wèn)題也很快得到了解決，傳統(tǒng)的感知器用所謂“梯度下降”的算法糾錯(cuò)時(shí)，其運(yùn)算量和神經(jīng)元數(shù)目的平方成正比，在Rumelhart和Hinton等[13]合作的論文中，系統(tǒng)地提出了應(yīng)用反向傳播算法，把糾錯(cuò)的運(yùn)算量下降到只和神經(jīng)元數(shù)目成正比.Hinton和其博士后Yann LeCun于1989年采用美國(guó)郵政系統(tǒng)提供的近萬(wàn)個(gè)手寫數(shù)字的樣本來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)系統(tǒng)，在獨(dú)立的測(cè)試樣本中錯(cuò)誤率低至5%，達(dá)到實(shí)用水準(zhǔn)[16].隨后Yann LeCun等進(jìn)一步運(yùn)用“卷積神經(jīng)網(wǎng)絡(luò)” （Convoluted Neural Networks） 的技術(shù)[17]，開(kāi)發(fā)出商業(yè)軟件，用于讀取銀行支票上的手寫數(shù)字，獲得了巨大的成功.神經(jīng)網(wǎng)絡(luò)掀起了第二次熱潮.

但是很快研究者發(fā)現(xiàn)了反向傳播算法具有本質(zhì)缺陷——梯度消失（Vanishing Gradient Problem）[18]，也就是說(shuō)，神經(jīng)網(wǎng)絡(luò)的代價(jià)函數(shù) （Cost Function）的誤差從輸出層向輸入層反向傳播時(shí)，梯度衰減極快，學(xué)習(xí)速度變得極慢，甚至無(wú)法學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)很容易停滯于局部最優(yōu)解.這使得理論上可以學(xué)習(xí)任意函數(shù)的多層神經(jīng)網(wǎng)絡(luò)在實(shí)用中無(wú)法實(shí)現(xiàn).同時(shí)，多層網(wǎng)絡(luò)由于具有較多的參數(shù)，學(xué)習(xí)自由度大，算法訓(xùn)練時(shí)會(huì)出現(xiàn)過(guò)度擬合（Overfitting）問(wèn)題，使得學(xué)習(xí)過(guò)程中表現(xiàn)良好的網(wǎng)絡(luò)的泛化誤差很大，無(wú)法真正應(yīng)用.在多層網(wǎng)絡(luò)遭遇上述重大問(wèn)題的時(shí)候，貝爾實(shí)驗(yàn)室的Vapnik提出了支持向量機(jī) （Support Vector Machine，SVM） 的算法[19]，通過(guò)使用所謂“核機(jī)制”（Kernel Trick） 的非線性映射，使得本來(lái)線性不可分的樣本映射到線性可分的高維特征空間中.從20世紀(jì)90年代初開(kāi)始，SVM在圖像和語(yǔ)音識(shí)別上找到了廣泛的應(yīng)用.由于其理論完備、機(jī)理簡(jiǎn)單受到了研究者的追捧.在多方面的作用下，神經(jīng)網(wǎng)絡(luò)的研究再一次進(jìn)入了冬天.

從上述分析可以看出，神經(jīng)網(wǎng)絡(luò)研究再一次進(jìn)入冬天有其本質(zhì)性的問(wèn)題，如梯度消失、過(guò)擬合和計(jì)算量大等.在這個(gè)冬天中，有些研究者如Hinton等依然相信問(wèn)題能獲得解決，并堅(jiān)守這塊陣地.經(jīng)過(guò)多年的努力，最終迎來(lái)了神經(jīng)網(wǎng)絡(luò)的復(fù)興，并且開(kāi)啟了深度學(xué)習(xí)的大門.在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練上，無(wú)監(jiān)督學(xué)習(xí)被引入到了網(wǎng)絡(luò)的初始化中.在文獻(xiàn)[3]中，Hinton等利用限制玻爾茲曼機(jī)（RBM）對(duì)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了無(wú)監(jiān)督訓(xùn)練（Unsupervised Training）.RBM從輸入數(shù)據(jù)中通過(guò)無(wú)監(jiān)督訓(xùn)練發(fā)現(xiàn)重要特征，對(duì)神經(jīng)網(wǎng)絡(luò)的權(quán)重進(jìn)行有效的初始化，然后將多層RBM 疊加在一起形成深度網(wǎng)絡(luò)，再對(duì)整體網(wǎng)絡(luò)用反向傳播算法進(jìn)行微調(diào)，取得了很好的效果.另外在文獻(xiàn)[20]中提出用一種“修正線性單元”（REctified Linear Unit，RELU）的轉(zhuǎn)換函數(shù)來(lái)替代傳統(tǒng)神經(jīng)單元的非線性轉(zhuǎn)換函數(shù).RELU函數(shù)簡(jiǎn)單，而且其導(dǎo)數(shù)為常數(shù)，輸入小于零時(shí)為0，大于零時(shí)為1，不存在傳統(tǒng)轉(zhuǎn)換函數(shù)在反向傳播計(jì)算中的梯度消失問(wèn)題.基于無(wú)監(jiān)督學(xué)習(xí)的初始化和RELU函數(shù)的采用，很好地解決了多層網(wǎng)絡(luò)的訓(xùn)練問(wèn)題.

為了解決多層網(wǎng)絡(luò)訓(xùn)練中的過(guò)擬合問(wèn)題，Hinton等在文獻(xiàn)[21]中提出一種稱為丟棄（Dropout）的算法，在每次訓(xùn)練中，以一定的比例，在訓(xùn)練中忽略這部分神經(jīng)元.該算法可以使得網(wǎng)絡(luò)變得更魯棒，避免過(guò)度擬合.另外，由于大數(shù)據(jù)變成了現(xiàn)實(shí)，將大數(shù)據(jù)用于訓(xùn)練，也是解決過(guò)擬合的一個(gè)重要的途徑.例如現(xiàn)在的ImageNet數(shù)據(jù)庫(kù)，就可以提供高達(dá)千萬(wàn)張圖片用于訓(xùn)練.大數(shù)據(jù)成了深度學(xué)習(xí)發(fā)展的一個(gè)重要基礎(chǔ).

當(dāng)多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和過(guò)擬合得到了解決后，理論上我們可以利用非常深的網(wǎng)絡(luò)來(lái)學(xué)習(xí)實(shí)現(xiàn)任意復(fù)雜的函數(shù).現(xiàn)在的深度網(wǎng)絡(luò)往往具有百萬(wàn)到數(shù)億的學(xué)習(xí)參數(shù)，而且為了實(shí)現(xiàn)這樣的網(wǎng)絡(luò)訓(xùn)練，往往需要海量的數(shù)據(jù)，計(jì)算量自然更成為了一個(gè)問(wèn)題.幸運(yùn)的是，隨著云計(jì)算的普及，大量的計(jì)算資源可以被使用.而且斯坦福大學(xué)的吳恩達(dá)等[22]，通過(guò)用GPU實(shí)現(xiàn)大規(guī)模學(xué)習(xí)，實(shí)現(xiàn)了數(shù)十倍到數(shù)百倍的速度提升.從此人類迎來(lái)了神經(jīng)網(wǎng)絡(luò)的大復(fù)興，并且打開(kāi)了深度學(xué)習(xí)的大門.關(guān)于深度學(xué)習(xí)更完整的論文資料請(qǐng)參考文獻(xiàn)[23].

如果認(rèn)為深度學(xué)習(xí)的提出僅僅是由于算法的改進(jìn)和計(jì)算能力的增強(qiáng)，那是我們對(duì)深度學(xué)習(xí)的本質(zhì)還認(rèn)識(shí)地不夠深刻.實(shí)際上，深度學(xué)習(xí)的提出和現(xiàn)在取得的突飛猛進(jìn)的進(jìn)展，有其更加重要而深刻的思想變化.在腦科學(xué)研究中發(fā)現(xiàn)，大腦具有不同的功能區(qū)域?qū)ｉT負(fù)責(zé)同一類任務(wù)，例如視覺(jué)圖像識(shí)別、語(yǔ)音信號(hào)處理和文字處理等.因此科學(xué)家為不同的任務(wù)開(kāi)發(fā)不同的算法，如Gabor濾波器、SIFT特征提取算子、馬爾科夫隨機(jī)場(chǎng)等來(lái)提取信號(hào)的特征，最終用于模仿大腦功能.但文獻(xiàn)[2425]中的研究表明，大腦實(shí)際上是一臺(tái)通用學(xué)習(xí)機(jī)器（Universal Learning Machine），同樣的學(xué)習(xí)機(jī)制可以用于完全不同的任務(wù)，不同的腦功能區(qū)可以轉(zhuǎn)換，而且轉(zhuǎn)換過(guò)程中能自動(dòng)學(xué)習(xí)特征，大腦的神經(jīng)網(wǎng)絡(luò)具有極強(qiáng)的可塑性.大腦學(xué)習(xí)算法的普適性和可塑性一直激勵(lì)著計(jì)算機(jī)科學(xué)家不懈地努力探索.歷史性的突破發(fā)生在2006年，Hinton等[4]突破深度學(xué)習(xí)的技術(shù)瓶頸，進(jìn)而引領(lǐng)深度學(xué)習(xí)的熱潮.更有意思的是通過(guò)深度學(xué)習(xí)獲得的特征居然和大腦的視覺(jué)處理過(guò)程非常相似，從而證明深度學(xué)習(xí)從某個(gè)方面已經(jīng)對(duì)大腦的學(xué)習(xí)機(jī)制做了很好的模仿，從數(shù)據(jù)中學(xué)習(xí)到功能[26].

4深度學(xué)習(xí)促進(jìn)的人工智能發(fā)展

深度學(xué)習(xí)提出至今，已經(jīng)在各類應(yīng)用上取得了巨大的進(jìn)展.尤其是基于深度學(xué)習(xí)的AlphaGo系統(tǒng)一舉擊敗韓國(guó)圍棋手李世石以后，人們都對(duì)以深度學(xué)習(xí)為主的AI研究充滿了期待.事實(shí)上，現(xiàn)在幾乎每天都可以看到AI取得各類突破的報(bào)道.感興趣的讀者可以在網(wǎng)上找到各種最新的進(jìn)展報(bào)道.本文將選擇其中幾個(gè)主要的進(jìn)展進(jìn)行簡(jiǎn)單介紹.

深度學(xué)習(xí)在實(shí)際應(yīng)用中的成功案例首推圖像識(shí)別.2009年，普林斯頓大學(xué)建立了第一個(gè)超大型圖像數(shù)據(jù)庫(kù)供計(jì)算機(jī)視覺(jué)研究者使用[27]，隨后在以ImageNet為基礎(chǔ)的大型圖像識(shí)別競(jìng)賽“ImageNet Large Scale Visual Recognition Challenge 2012”中，Hinton團(tuán)隊(duì)將深度學(xué)習(xí)應(yīng)用到ImageNet圖像識(shí)別問(wèn)題上，正確率穩(wěn)居第一，并且性能遙遙領(lǐng)先第二名團(tuán)隊(duì).這標(biāo)志著深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域大幅度超越其他技術(shù)，成為AI技術(shù)突破點(diǎn).隨后以深度學(xué)習(xí)為主的圖像分析處理方法層出不窮，如深度殘余學(xué)習(xí)（Deep Residual Learning）方法等.目前基于深度學(xué)習(xí)的圖像識(shí)別功能已經(jīng)超越了人類.

另外，Kaggle網(wǎng)站舉辦了一場(chǎng)在衛(wèi)星圖像上進(jìn)行場(chǎng)景特征檢測(cè)的比賽，數(shù)據(jù)集由英國(guó)國(guó)防科學(xué)與技術(shù)實(shí)驗(yàn)室（DSTL）提供.衛(wèi)星領(lǐng)域產(chǎn)生的大量的圖像數(shù)據(jù)，非常適合用深度學(xué)習(xí)方法去處理，而且最終的競(jìng)賽結(jié)果發(fā)現(xiàn)，深度學(xué)習(xí)方法取得了非常優(yōu)秀的性能.在圖像理解方法上，深度學(xué)習(xí)方法結(jié)合遞歸神經(jīng)網(wǎng)絡(luò)（RNN），就可以實(shí)現(xiàn)對(duì)圖像的自然語(yǔ)言層面的理解.斯坦福大學(xué)李飛飛團(tuán)隊(duì)結(jié)合了卷積網(wǎng)絡(luò)和遞歸網(wǎng)絡(luò)實(shí)現(xiàn)了圖片標(biāo)題的自動(dòng)生成.

語(yǔ)言是人機(jī)交流的一種重要途徑，攻克語(yǔ)音識(shí)別是AI必須面對(duì)的問(wèn)題之一.最先開(kāi)始在語(yǔ)音識(shí)別上取得成功的深度學(xué)習(xí)方法是Hinton等在文獻(xiàn)[28]中的方法，該方法用RBM對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，再用深度神經(jīng)網(wǎng)絡(luò)模型（DNN）識(shí)別語(yǔ)音.在Google的一個(gè)基準(zhǔn)測(cè)試中，單詞錯(cuò)誤率降低到123%.文獻(xiàn)[29]用RNN/LSTM 等技術(shù)在音位錯(cuò)誤率測(cè)試中優(yōu)于同期的所有其他技術(shù).AI在語(yǔ)音識(shí)別上的成功是繼圖像識(shí)別之后的又一個(gè)技術(shù)突破點(diǎn).

疾病診斷，一直是醫(yī)生的專利，也是一個(gè)神秘的專業(yè)領(lǐng)域.現(xiàn)在通過(guò)深度學(xué)習(xí)，我們可以讓機(jī)器到達(dá)醫(yī)學(xué)專家的診斷水平.文獻(xiàn)[30]中報(bào)道了利用深度學(xué)習(xí)診斷皮膚癌的工作.我們知道皮膚癌是人類最常見(jiàn)的惡性腫瘤，目前主要是通過(guò)視覺(jué)診斷的.該文使用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行皮膚病變分類，該網(wǎng)絡(luò)僅使用圖像和疾病標(biāo)簽作為輸入，學(xué)會(huì)正確分類.他們?cè)趦蓚€(gè)二分類任務(wù)：角質(zhì)形成細(xì)胞癌（Keratinocyte Carcinomas）和良性脂溢性角化?。˙enign Seborrheic Keratoses）、惡性黑色素瘤和普通的痣上進(jìn)行了測(cè)試，發(fā)現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)在這兩個(gè)任務(wù)上的表現(xiàn)都達(dá)到了所有測(cè)試的專家的水平，這證明了在皮膚癌診斷問(wèn)題上，機(jī)器達(dá)到了皮膚科專業(yè)醫(yī)生的水平.最新的文獻(xiàn)[31]中報(bào)道，科學(xué)家使用能夠自學(xué)習(xí)的AI技術(shù)，讓計(jì)算機(jī)在預(yù)測(cè)心臟病的發(fā)作上擊敗了人類醫(yī)生.該技術(shù)一旦投入使用，這一新的診療手段每年將拯救數(shù)以千計(jì)甚至百萬(wàn)計(jì)的生命.

除此以外，深度學(xué)習(xí)在游戲方面也取得了突破.最為世人所稱道的是AlphaGo[32]對(duì)局李世石的比賽，AlphaGo以壓倒性的勝利贏了人類頂級(jí)棋手，其中很多精妙的招式讓人嘆為觀止.到底是深度學(xué)習(xí)算法已經(jīng)像人類一樣具有了創(chuàng)造力還是神經(jīng)元參數(shù)、適當(dāng)?shù)乃惴ńY(jié)合CPU的計(jì)算蠻力下的成功，值得人們深思.Google的DeepMind團(tuán)隊(duì)開(kāi)發(fā)的深度Q網(wǎng)絡(luò)（DQN）在49種Atari像素游戲中，29種達(dá)到乃至超過(guò)人類職業(yè)選手的水平[33].

機(jī)器具有強(qiáng)大的計(jì)算能力、存儲(chǔ)空間和檢索速度，如果說(shuō)機(jī)器在邏輯思維上能模仿并擊敗人類是合情合理的.那么說(shuō)機(jī)器能學(xué)會(huì)藝術(shù)鑒賞，則將令人難以置信.實(shí)際上，文獻(xiàn)[34]中報(bào)道了深度學(xué)習(xí)已經(jīng)可以分辨不同藝術(shù)作品的內(nèi)容和風(fēng)格，并且學(xué)會(huì)把一幅作品的藝術(shù)風(fēng)格應(yīng)用到其他作品中去.Google的AI實(shí)驗(yàn)室成功實(shí)現(xiàn)讓機(jī)器學(xué)習(xí)小說(shuō)的敘述和文字用法，甚至句子的構(gòu)造.這意味著深度學(xué)習(xí)可以量化很多人類獨(dú)有的一些模糊的判決能力，有些感覺(jué)人類本身也不清楚如何解釋，甚至只是停留在感覺(jué)層面，如藝術(shù)風(fēng)格、文采特色以及棋類游戲中的棋面優(yōu)勢(shì)等.這些本來(lái)只可言傳，不可意會(huì)的概念居然被機(jī)器學(xué)會(huì)了.到底是機(jī)器學(xué)習(xí)厲害，還是這些虛幻的概念后面其實(shí)有個(gè)雖然非常復(fù)雜，但是明確可以獲得的函數(shù)在支配，而深度學(xué)習(xí)只是用其蠻力去把這些函數(shù)反映到了數(shù)億冰冷的參數(shù)中去？

5人工智能發(fā)展面臨的主要問(wèn)題和新的研究方向

AI概念提出以后，迅速發(fā)展成為一門廣受關(guān)注的交叉和前沿學(xué)科，在很多方面取得了豐碩成果.尤其是近來(lái)深度學(xué)習(xí)的發(fā)展，更是將AI研究推向一個(gè)新的高潮.深度學(xué)習(xí)的成功故事每天都在上演，似乎深度學(xué)習(xí)是無(wú)所不能的.所以，人們對(duì)AI產(chǎn)生濃厚興趣，產(chǎn)業(yè)界首先布局，大量資本與并購(gòu)的涌入并加速AI技術(shù)與應(yīng)用的結(jié)合，蔓延升溫.那么，拋開(kāi)商業(yè)因素，AI在技術(shù)上是否還存在什么問(wèn)題？它今后的發(fā)展方向是什么？

深度學(xué)習(xí)技術(shù)和早年的多層神經(jīng)網(wǎng)絡(luò)相比，理論上的突破其實(shí)不大.深度學(xué)習(xí)現(xiàn)存一個(gè)根本的缺陷，就是缺乏完善的理論支撐，對(duì)于其結(jié)果缺乏解釋，包括網(wǎng)絡(luò)的設(shè)計(jì)、參數(shù)的設(shè)置和取得的效果.尋找理論上的深入解釋，是深度學(xué)習(xí)發(fā)展必須解決的一個(gè)重要問(wèn)題.

目前深度學(xué)習(xí)一般需要大數(shù)據(jù)支持，但并不是所有的應(yīng)用都具備大數(shù)據(jù)條件的.結(jié)合傳統(tǒng)知識(shí)表達(dá)和數(shù)據(jù)驅(qū)動(dòng)知識(shí)學(xué)習(xí)，可以解決很多迫切的現(xiàn)實(shí)問(wèn)題.這也是今后發(fā)展的一個(gè)重要方向.

還有，深度學(xué)習(xí)在訓(xùn)練網(wǎng)絡(luò)中需要大量有標(biāo)記的數(shù)據(jù)去學(xué)習(xí)輸入和輸出的映射關(guān)系，這樣獲得的模型往往無(wú)法將其泛化到與訓(xùn)練時(shí)不同條件的數(shù)據(jù)集上.而現(xiàn)實(shí)應(yīng)用中，我們遇到的數(shù)據(jù)集常常會(huì)包含很多新場(chǎng)景，許多數(shù)據(jù)是模型在訓(xùn)練過(guò)程中沒(méi)出現(xiàn)過(guò)的，因此學(xué)習(xí)得到的模型可能無(wú)法很好地預(yù)測(cè)結(jié)果.將學(xué)習(xí)得到的知識(shí)遷移到新的條件和環(huán)境的能力通常被稱為遷移學(xué)習(xí)，這是今后一個(gè)重要的研究方向.如果我們將遷移學(xué)習(xí)做到極限，僅僅從少數(shù)幾個(gè)甚至零個(gè)樣本中學(xué)習(xí)（如一次和零次學(xué)習(xí)），將能解決更多實(shí)際問(wèn)題.執(zhí)行一次和零次學(xué)習(xí)的模型是機(jī)器學(xué)習(xí)中最難的問(wèn)題之一，可這對(duì)我們?nèi)祟惗詤s不是那么困難的.這是AI發(fā)展一個(gè)值得深入研究的問(wèn)題.

另外有一個(gè)非常值得進(jìn)一步思考的問(wèn)題：是否非得要采用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)？如果所考慮問(wèn)題的數(shù)據(jù)和目標(biāo)之間的函數(shù)關(guān)系比較簡(jiǎn)單，那么我們完全可以用淺度的網(wǎng)絡(luò)進(jìn)行建模學(xué)習(xí).但是如果這個(gè)函數(shù)的確比較復(fù)雜，是否一定要用深度網(wǎng)絡(luò)呢？針對(duì)這個(gè)問(wèn)題，南京大學(xué)周志華教授等提出一種基于樹(shù)的方法，叫“深度森林”[35]，來(lái)挑戰(zhàn)深度學(xué)習(xí).在設(shè)置可類比的情況下，深度森林取得了和深度神經(jīng)網(wǎng)絡(luò)相當(dāng)甚至更好的結(jié)果，而且更容易訓(xùn)練，小數(shù)據(jù)也能運(yùn)行.更重要的是相比深度神經(jīng)網(wǎng)絡(luò)，基于樹(shù)的方法不會(huì)存在那么困難的理論分析問(wèn)題.他們的方法為在許多任務(wù)中使用深度神經(jīng)網(wǎng)絡(luò)之外的方法打開(kāi)了一扇門.

6結(jié)論

到目前為止，人工智能的研究依然還處于初級(jí)階段，距離最終的目標(biāo)還有很長(zhǎng)的路要走.深度學(xué)習(xí)方法取得了巨大的進(jìn)展，但是沒(méi)有堅(jiān)實(shí)的理論基礎(chǔ)，無(wú)法實(shí)現(xiàn)對(duì)系統(tǒng)和性能的透徹理解和預(yù)測(cè).還有很多的問(wèn)題擺在我們面前，如遷移學(xué)習(xí)、小樣本學(xué)習(xí)、增強(qiáng)學(xué)習(xí)等，這些都是人工智能研究急需解決的問(wèn)題.雖然人工智能在很多方面已經(jīng)趕超人類，但是本質(zhì)上離真正的智能還是有很大的距離，這也是我們進(jìn)一步期待和努力的方向.

參考文獻(xiàn)

References

[1]李蕾，王小捷.機(jī)器智能[M].北京：清華大學(xué)出版社，2016

LI Lei，WANG Xiaojie.Machine intelligence[M].Beijing：Tsinghua University Press，2016

[2]顧險(xiǎn)峰.人工智能的歷史回顧和發(fā)展現(xiàn)狀[J].自然雜志，2016，38（3）：157166

GU Xianfeng.Historical review and current development of artificial intelligence[J].Chinese Journal of Nature，2016，38（3）：157166

[3]Hinton G，Osindero S，Teh Y W.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18（7）：15271554

[4]Hinton G，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006，313（5786）：504507

[5]鐘義信.高等人工智能原理：觀念、方法、模型、理論[M].北京：科學(xué)出版社，2014

ZHONG Yixin.Principles of advanced artificial intelligence：Concepts，methods，models and theories[M].Beijing：Science Press，2014

[6]McCulloch W S，Pitts W.A logical calculus of the ideas immanent in nervous activity[J].Bulletin of Mathematical Biology，1990，52（1/2）：99115

[7]Rosenblatt F.The perceptron：A probabilistic model for information storage and organization in the brain[J].Psychological Review，1958，65（6）：386408

[8]Haykin S.Neural networks：A comprehensive foundation[M].Upper Saddle River，NJ：Prentice Hall，2004

[9]Lindsay R K，Buchanan B G，F(xiàn)eigenbaum E A，et al.DENDRAL：A case study of the first expert system for scientific hypothesis formation [J].Artificial Intelligence，1993，61（2）：209261

[10]Shortliffe E H.Mycin：A rulebased computer program for advising physicians regarding antimicrobial therapy selection[D].Stanford：Stanford University，1975

[11]Brooks R A.Intelligence without representation[J].Artificial Intelligence，1991，47（1/2/3）：139159

[12]Rumelhart D E，Hinton G，Williams R J.Learning internal representations by error propagation[J].Readings in Cognitive Science，1988，1：399421

[13]Rumelhart D E，Hinton G，Williams R J.Learning representations by backpropagating errors[J].Nature，1986，323（6088）：533536

[14]Hornik K.Approximation capabilities of multilayer feedforward networks[J].Neural Networks，1991，4（2）：251257

[15]Csji B C.Approximation with artificial neural networks[D].Budapest，Hungary：Faculty of Sciences，Etvs Lornd University，2001

[16]LeCun Y，Boser B，Denker J S，et al.Backpropagation applied to handwritten zip code recognition[J].Neural Computation，1989，1（4）：541551

[17]LeCun Y，Bottou L，Bengio Y，et al.Gradientbased learning applied to document recognition[J].Proceedings of IEEE，1998，86（11）：22782324

[18]Hochreiter S.The vanishing gradient problem during learning recurrent neural nets and problem solutions[J].International Journal of Uncertainty，F(xiàn)uzziness and KnowledgeBased Systems，1998，6（2）：107116

[19]Vapnik V.The nature of statistical learning theory[M].New York：Springer，1999

[20]Glorot X，Bordes A，Bengio Y.Deep sparse rectifier networks[J].Journal of Machine Learning Research，2011（15）：315323

[21]Hinton G，Srivastava N，Krizhevsky A，et al.Improving neural networks by preventing coadaptation of feature detectors[J].Computer Science，2012，3（4）：212223

[22]Raina R，Madhavan A，Ng A Y.Largescale deep unsupervised learning using graphics processors[C]∥Proceedings of the 26th Annual International Conference on Machine Learning，2009：873880

[23]GitHub，Inc.Deeplearningpapersreadingroadmap [EB/OL].[20170428].https：∥github.com/songrotek/DeepLearningPapersReadingRoadmap

[24]Sharma J，Angelucci A，Sur M.Induction of visual orientation modules in auditory cortex[J].Nature，2000，404（6780）：841847

[25]Vuillerme N，Cuisinier R.Sensory supplementation through tongue electrotactile stimulation to preserve head stabilization in space in the absence of vision[J].Investigative Ophthalmology & Visual Science，2009，50（1）：476481

[26]LeCun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，521（7553）：436444

[27]Deng J，Dong W，Socher R，et al.ImageNet：A largescale hierarchical image database[C]∥IEEE Conference on Computer Vision and Pattern Recognition，2009：248255

[28]Hinton G，Deng L，Yu D，et al.Deep Neural Networks for acoustic modeling in speech recognition：The shared views of four research groups[J].IEEE Signal Processing Magazine，2012，29（6）：8297

[29]Graves A，Mohamed A，Hinton G.Speech recognition with deep recurrent neural networks[C]∥IEEE International Conference on Acoustics，Speech and Signal Processing，2013，DOI：101109/ICASSP.20136638947

[30]Esteva A，Kuprel B，Novoa R A，et al.Dermatologistlevel classification of skin cancer with deep neural networks[J].Nature，2017，542（7639）：115

[31]Hutson M.Selftaught artificial intelligence beats doctors at predicting heart attacks[EB/OL].Science，20170414[20170428].http：∥www.sciencemag.org/news/2017/04/selftaughtartificialintelligencebeatsdoctorspredictingheartattacks

[32]Silver D，Huang A，Maddison C J，et al.Mastering the game of Go with deep neural networks and tree search[J].Nature，2016，529（7587）：484489

[33]Mnih V，Kavukcuoglu K，Silver D，et al.Humanlevel control through deep reinforcement learning[J].Nature，2015，518（7540）：529533

[34]Gatys L A，Ecker A S，Bethge M.A neural algorithm of artistic style[J].arXiv，2015，arXiv：150806576 v1

[35]Zhou Z H，F(xiàn)eng J.Deep forest：Towards an alternative to deep neural networks[J].arXiv，2017，arXiv：170208835v1

AbstractRecently，the artificial intelligence（AI），especially with the deep learning techniques，has achieved great success in various applications.This paper gives an overview on the artificial intelligence，including aspects of its commercialized development，the many tribes of AI with origin and history，successful stories based on deep learning，as well as the remaining challenges and possible development trends in future.

Key wordsartificial intelligence（AI）；deep learning；neural network