《人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》課程中的堅(jiān)持與否定

賈振堂 李鳳勤 王計元

（上海電力大學(xué)電子與信息工程學(xué)院 上海 200090）

我國的教育歷來講究“教書育人”，教書和育人是不能割裂開的。如今“課程思政”再次強(qiáng)調(diào)了將立德樹人貫徹到高校課堂教學(xué)全過程之中的觀念，與思想政治理論課程一起共同構(gòu)建全課程育人格局。那么如何在專業(yè)課程中做好“課程思政”，需要根據(jù)課程的內(nèi)容進(jìn)行挖掘。這里作者根據(jù)在《人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》課程教授過程中的體會，談?wù)勅斯ど窠?jīng)網(wǎng)絡(luò)的發(fā)展過程中所體現(xiàn)的“堅(jiān)持與否定”的科學(xué)精神。

1 人工神經(jīng)網(wǎng)絡(luò)的曲折歷程

從古至今，人們都對生命的原理充滿好奇并不斷地進(jìn)行著探索。經(jīng)過來自醫(yī)學(xué)、生物學(xué)、心理學(xué)、物理、化學(xué)、數(shù)學(xué)等領(lǐng)域的工作者不斷努力，在1900年人們認(rèn)識到神經(jīng)細(xì)胞是神經(jīng)系統(tǒng)的基本功能單位，并逐步揭示了大腦的基本結(jié)構(gòu)和神經(jīng)細(xì)胞間信息傳遞的基本生物化學(xué)原理。

從麥卡洛克和皮茲建立的MP人工神經(jīng)元模型，到達(dá)特茅斯會上“人工智能”這一術(shù)語的確立，再到羅森布拉特提出的感知機(jī)模型，終于在1950年代末，人工神經(jīng)網(wǎng)絡(luò)掀起了第一次熱潮。這時，人們一度認(rèn)為具備人工智能的機(jī)器很快就會普及，甚至有學(xué)者為：“二十年內(nèi)，機(jī)器將能完成人能做到的一切”。而實(shí)際上，限于當(dāng)時的計算機(jī)水平以及有限的數(shù)據(jù)量，多年后人工神經(jīng)網(wǎng)絡(luò)依然無法在實(shí)際生產(chǎn)中得到應(yīng)用。特別是”異或”問題和《萊特希爾報告》的打擊，致使人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用前景遭到質(zhì)疑，研究經(jīng)費(fèi)迅速枯竭。1960年代末，以人工神經(jīng)網(wǎng)絡(luò)為代表的人工智能研究進(jìn)入了低谷。1980年代，人工智能之火又重新燃起，不過這一次站在主流舞臺上的不是人工神經(jīng)網(wǎng)絡(luò)，而是“專家系統(tǒng)”，這一輪熱潮持續(xù)到到了80年代晚期。

到了21世紀(jì)的今天，人工智能再次在全世界范圍內(nèi)火爆起來，而且主角又回到了人工神經(jīng)網(wǎng)絡(luò)，或者說是深度學(xué)習(xí)（即多層的人工神經(jīng)網(wǎng)絡(luò)）。深度學(xué)習(xí)應(yīng)用到圖像識別、目標(biāo)檢測、語音識別、語言翻譯、自動駕駛、自動控制等等很多領(lǐng)域，都非常成功。

2 曾經(jīng)的尷尬處境

從1960年代末開始，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展經(jīng)過了漫長的默默耕耘過程。科學(xué)的發(fā)展向來都是跌宕起伏的，意志不堅(jiān)定的人被無情地淹沒，而隱忍前行的人則可能到達(dá)成功的彼岸。

雖然在2006年之前，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展并沒有停止，陸續(xù)有新的算法提出，但成功的民用的項(xiàng)目很少，因此在普通民眾心中“人工神經(jīng)網(wǎng)絡(luò)”（以及“人工智能”）僅僅是少數(shù)人的游戲。在這段時間內(nèi)，人工神經(jīng)網(wǎng)絡(luò)技術(shù)不再有頭上的光環(huán)，大量的研究人員離開這個方向，幾乎沒人再相信人工神經(jīng)網(wǎng)絡(luò)的前景。Yann LeCun回憶說：“20世紀(jì)60年代后期，人工智能背景下的統(tǒng)計學(xué)習(xí)方法就像被判了死刑，人們或多或少地放棄了它?！?，這里統(tǒng)計學(xué)習(xí)方法當(dāng)然包括人工神經(jīng)網(wǎng)絡(luò)方法。人工神經(jīng)網(wǎng)絡(luò)曾經(jīng)遭遇“異或問題”、“自動學(xué)習(xí)問題”、“梯度消失/爆炸問題”、“局部最優(yōu)問題”、“過擬合”問題等一些列難題。20世紀(jì)末，其他類型的淺層學(xué)習(xí)技術(shù)得到發(fā)展，他們的效果甚至一度超過了多層神經(jīng)網(wǎng)絡(luò)。

1995，Jackel和Vapnik打賭時，Vapnik（SVM的提出者）堅(jiān)信：到2005年，沒人會使用他們在10年前就擁有的神經(jīng)網(wǎng)絡(luò)架構(gòu)，然而每個人都會使用SVM。可見當(dāng)時人工神經(jīng)網(wǎng)絡(luò)尷尬的地位。

3 堅(jiān)持到成功

令人欣慰的是，“連結(jié)主義”者們沒有放棄他們的陣地。2006年，這個局面開始改變。這一年，Hinton和他的學(xué)生在《Science》上發(fā)表了一篇文章，將“逐層預(yù)訓(xùn)練+全局微調(diào)”的思想引入多層人工神經(jīng)網(wǎng)絡(luò)，提出深度信念網(wǎng)絡(luò) (Deep Belief Network，DBN)。雖然DBN在之后并沒有被廣泛應(yīng)用，但它提出了一種人工神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)（Deep Learning）的方法，增強(qiáng)了人們的信心。就在同一年，還有兩個團(tuán)隊(duì)也在深度學(xué)習(xí)上取得了成功。深度學(xué)習(xí)的序幕就此拉開。如今，各種花樣的深度學(xué)習(xí)模型層出不窮，深度學(xué)習(xí)的成果廣泛應(yīng)用于各個領(lǐng)域，各方投資蜂擁而至，世界各國紛紛把新一輪的人工智能提升到國家發(fā)展的戰(zhàn)略高度。借助于深度學(xué)習(xí)架構(gòu)，人工神經(jīng)網(wǎng)絡(luò)技術(shù)重新成為了科學(xué)生活的主角。

觀念決定態(tài)度，態(tài)度決定行為，行為決定結(jié)果。思想是行動的先導(dǎo)，堅(jiān)定的科學(xué)信念是創(chuàng)造創(chuàng)新性學(xué)術(shù)成果的內(nèi)動力。Hinton的堅(jiān)持從研究生階段就開始了，據(jù)說他的導(dǎo)師反對他做這個方向，而他一再堅(jiān)持。他說：“我從沒懷疑過，因?yàn)榇竽X必然是以某種方式工作的，但絕對不是以某種規(guī)則編程的方式工作的?！?。的確，Hinton的判斷是正確的，他堅(jiān)定的科學(xué)信念帶來了巨大成功。2019年3月27日，美國計算機(jī)協(xié)會（ACM）宣布把2018年的圖靈獎（Turing Award）頒給深度學(xué)習(xí)的三位先驅(qū)Geoffrey Hinton、Yoshua Bengio和Yann LeCun，以表彰他們?yōu)楫?dāng)前人工智能的發(fā)展所做出的貢獻(xiàn)。

4 人工神經(jīng)網(wǎng)絡(luò)的缺陷

目前，人工神經(jīng)網(wǎng)絡(luò)的成功，主要得益于誤差反向傳播(BP)算法。BP算法是基于梯度下降的迭代求解方法。如果你對BP算法還不了解，可以想想鐵匠打鐵的過程。BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練就好比是打鐵，看著哪里不行就來一錘子，到處反復(fù)打，最后你就得到了你想要的東西。

這個打鐵的方法，本質(zhì)上就是“頭疼醫(yī)頭，腳疼醫(yī)腳”的思路。牽一發(fā)而動全身，局部的治療可能會對全局帶來不可預(yù)測的影響。你敲一錘子下去，這個地方砸下去了，別的地方可能就會鼓起來了。我們通常會不贊成這樣做，而更贊成全局的方法，就是在整體考慮后給出總綜合的治療方案。所以，也難怪最初很多人并不看好BP這個方法。但是，實(shí)踐證明，這個方法確實(shí)可以打造出你想要的東西，因此就得到了眾人的認(rèn)可，被大家拿來打造各種各樣的產(chǎn)品，有人打造“人臉識別”系統(tǒng)、有人打造“語音識別系統(tǒng)”，還有人打造“自動駕駛系統(tǒng)”，等等。這就是人工神經(jīng)網(wǎng)絡(luò)的現(xiàn)行技術(shù)，一兩層的淺層神經(jīng)網(wǎng)絡(luò)也好，幾百層深度神經(jīng)網(wǎng)絡(luò)也好，都是這個道理。

按照BP算法進(jìn)行訓(xùn)練，人工神經(jīng)網(wǎng)絡(luò)會出現(xiàn)遺忘癥，學(xué)著新知識會忘掉老知識，這種可塑性與穩(wěn)定性的矛盾是一個還無法破解的難題。神經(jīng)網(wǎng)絡(luò)缺乏系統(tǒng)的數(shù)學(xué)理論，他的預(yù)測結(jié)果具有“黑盒子”特性，經(jīng)過完好訓(xùn)練的神經(jīng)網(wǎng)絡(luò)有可能對某些輸入樣例得到完全錯誤的輸出結(jié)果，即所謂的“對抗樣本”問題。基礎(chǔ)理論并不成熟的工程應(yīng)用會帶來極大的隱患。有人說人工神經(jīng)網(wǎng)絡(luò)更像是一種藝術(shù)，而不是科學(xué)。

5 勇敢地否定

深度學(xué)習(xí)之父Geoffery Hinton說，他想把反向傳播算法(Back propagation algorithm，簡稱BP算法)扔掉、從頭再來（“My view is throw it all away and start again.”）。他是“深度學(xué)習(xí)”的支柱人物，而BP是目前深度學(xué)習(xí)的基礎(chǔ)，他能夠這樣說，需要足夠的勇氣。

對自己的信念要堅(jiān)持，對于現(xiàn)有的成果和權(quán)威則要敢于懷疑和否定?？茖W(xué)精神就包括懷疑、批判、不斷自我揚(yáng)棄的精神。當(dāng)今社會，以深度學(xué)習(xí)為代表的的人工智能充斥這社會的各個角落，被廣大民眾特別是媒體人士津津樂道，大力宣揚(yáng)，甚至人們開始為人工智能“不可控”而擔(dān)憂，這一幕讓我不禁回想起1960年代的人工神經(jīng)網(wǎng)絡(luò)熱潮和1980年代的專家系統(tǒng)，何等相似。我們需要冷靜思考，保持懷疑、批判的科學(xué)精神，認(rèn)識到現(xiàn)有方法的不足和局限性，從而為開拓新思路提供動力，這是很有必要的。

6 繼續(xù)前行

生物神經(jīng)網(wǎng)絡(luò)是一個復(fù)雜的系統(tǒng)，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展依賴于腦科學(xué)、神經(jīng)生理、認(rèn)知心理學(xué)的共同發(fā)展。而目前的深度學(xué)習(xí)不管有多深，它很可能僅僅是生物神經(jīng)系統(tǒng)中的一個零件一個步驟，距離真正能夠自我獲取知識的智能機(jī)器相比還有很大的距離。無論是CNN、LSTM、Attention、ResNet還是GAN，都還不能解釋大腦智能的原理，特別是意識的產(chǎn)生過程。Hinton近幾年推崇的膠囊網(wǎng)絡(luò)模型，采用神經(jīng)細(xì)胞團(tuán)組方法，受啟發(fā)于祖母細(xì)胞的概念。膠囊網(wǎng)絡(luò)依據(jù)對上層單元輸出的貢獻(xiàn)度來調(diào)節(jié)他們之間的連接強(qiáng)度，初步顯示了較好的性能，有待進(jìn)一步研究。

沉舟側(cè)畔千帆過,病樹前頭萬木春。連接主義的一代又一代信奉者將繼續(xù)努力，揭示人類大腦和人工神經(jīng)網(wǎng)絡(luò)的更多奧秘。