知道“怎么知道”的歷史， 深度去學(xué)習(xí)“深度學(xué)習(xí)”

魏忠

深度學(xué)習(xí)這個詞匯，原來是一個專業(yè)的人工智能詞匯，它從誕生到成型走過了70年的時間。隨著人工智能的發(fā)展和廣為人知，教育界對這個詞匯有一種濫用的傾向，我非常擔(dān)心像“轉(zhuǎn)基因”這個詞匯一樣，多數(shù)使用者見到詞匯就見文生義。今天我想解釋一下什么是“深度學(xué)習(xí)”以及教育學(xué)中的“深度學(xué)習(xí)”語義應(yīng)有的概念內(nèi)涵，并對網(wǎng)絡(luò)深度學(xué)習(xí)的作用做個小結(jié)，以堵住異化該詞匯的趨勢。

時間從神奇的年代說起。1937年，12歲的性格怪癖的皮茨自學(xué)了羅素的數(shù)學(xué)原理，并開始給羅素寫信，15歲在芝加哥，他溜到著名哲學(xué)數(shù)學(xué)教授卡爾奈普辦公室奚落這位教授花費(fèi)十年寫的東西是錯誤的，且揚(yáng)長而去，害得這位教授滿芝加哥找這個天才，也直到這時，皮茨才穩(wěn)定地享受到了3年溫飽的午餐，這一年是1940年。

1943年是一個神奇的年份，皮茨在芝加哥大學(xué)的校園遇到著名的神經(jīng)生物學(xué)教授麥克洛克，麥克洛克與羅素、卡爾奈普一樣愛才，他把18歲的打掃衛(wèi)生的皮茨接到家里徹夜長談，麥克洛克把談話內(nèi)容記錄下來，寫下了奠定人工智能基礎(chǔ)的論文《神經(jīng)活動中思想內(nèi)在性的邏輯演算》，并通過神經(jīng)信號的激活與開關(guān)傳遞，建立了一套人腦運(yùn)算的信息模型，兩個人都驚呼“我們知道了人類是怎么知道的了”。

還是這一年，有人安排了普林斯頓的一場聚會，聚會的是香濃、馮·諾依曼、維納、麥克洛克這樣一些大咖，都是后來被稱為科技巨匠的人，這些人圍繞著18歲的少年皮茨，問他一個又一個問題，他的回答可以寫成一本教科書……

見面結(jié)束后，甚至沒有高中文憑的皮茨被大咖中的維納錄取為MIT的博士研究生。維納從他那里得到啟發(fā)創(chuàng)立了控制論，馮·諾依曼學(xué)習(xí)他的論文創(chuàng)立了馮·諾依曼架構(gòu)并構(gòu)建了世界上第一臺電腦，麥克洛克與他合作始創(chuàng)了神經(jīng)網(wǎng)絡(luò)，卡爾納普完成了邏輯的形式化，而香濃的信息論從他這里得到重組通用的驗證。除了這幾位大咖在他一己之力的托舉下開創(chuàng)了一個時代外，他的MIT的同學(xué)羅森布拉特（F. Rosenblatt）也受他的啟發(fā)提出了感知機(jī)。

皮茨以一個深層次的公式——M-P模型和廣博的知識架構(gòu)，啟發(fā)了一個時代，最終推動了今天人工智能深度學(xué)習(xí)模型的到來。而最初做這一切的原因，是為了反對弗洛伊德淺層學(xué)習(xí)的分析心理學(xué)的研究方法。

再次回到1943年，皮茨和麥克洛克共同的一個朋友發(fā)現(xiàn)芝加哥大學(xué)的校園里有兩個人極力反對弗洛伊德學(xué)說，那個時候弗洛伊德如日中天，主宰著心理學(xué)。這兩個人還有一個共同的愛好就是都特別推崇一個幾百年前的數(shù)學(xué)家——萊布尼茨。萊布尼茨與弗洛伊德最大的學(xué)術(shù)區(qū)別在于，萊布尼茨認(rèn)為人們的概念和語義及思想是可以通過機(jī)械和工具的推導(dǎo)得到證明和計算的，而弗洛伊德的東西則完全從分析事物表面開始，也就是弗洛伊德從一個醫(yī)學(xué)博士走向完全不符合循證醫(yī)學(xué)的大樣本隨機(jī)雙盲實驗。皮茨與麥克洛克就是從推崇深度的萊布尼茨和反對淺層的弗洛伊德開始來開啟這個時代的。

講到這里，我們要回到弗洛伊德的“淺度學(xué)習(xí)”。弗洛伊德作為一個心理學(xué)和教育學(xué)大師，用自己的一生的“課程”，向麥克洛克證明了什么是“淺學(xué)習(xí)”，我們今天如果梳理弗洛伊德一生的成就和經(jīng)歷，并將其設(shè)置成為一門課的話，可以看看什么是“淺學(xué)習(xí)”的課程。

弗洛伊德“淺層心理學(xué)”如下。

知識：

①精神分析學(xué)概論;

②夢的疑釋;

③潛意識;

④動力心理學(xué);

⑤人格心理學(xué);

⑥變態(tài)心理學(xué);

⑦圖騰與禁忌;

⑧死本能理論。

技能：

①催眠;

②性欲;

③玩笑;

④日常生活心理學(xué)。

體驗：

①星期三研究小組作為領(lǐng)導(dǎo);

②心理分析協(xié)會作為領(lǐng)導(dǎo);

③分裂出個體心理學(xué);

④分裂出榮格;

⑤分裂出***。

也就是說，弗洛伊德的學(xué)習(xí)教科書是平鋪的、基于分析的、沒有縱深的、無法證明也無法證偽的，知識章節(jié)是平行的，技能章節(jié)是沒有工具延續(xù)的，體驗章節(jié)是只作為發(fā)號施令的，學(xué)科也是突然興盛突然衰敗無人發(fā)展和繼承的。

皮茨不同，他率領(lǐng)后來的深度學(xué)習(xí)跟隨者們，用一生和接力也寫了一份深度學(xué)習(xí)的課程——皮茨：“深度學(xué)習(xí)原理”。

知識：

①學(xué)科基礎(chǔ)：化學(xué)、物理學(xué)、歷史學(xué)、植物學(xué)無人能比;

②人工智能基礎(chǔ)：神經(jīng)元數(shù)學(xué)表達(dá)和網(wǎng)絡(luò)模型的MP方法;

③數(shù)字符號計算方法;

④與維諾的概率論結(jié)合的三維神經(jīng)模型;

⑤控制論基礎(chǔ)：與維諾的電子與機(jī)械結(jié)合;

⑥計算機(jī)基礎(chǔ)：馮·諾依曼架構(gòu);

⑦視覺與大腦信號處理;

⑧1968年感知機(jī)神經(jīng)網(wǎng)絡(luò);

⑨1986年BP神經(jīng)網(wǎng)絡(luò);

⑩2006年深度神經(jīng)網(wǎng)絡(luò)。

技能：

①羅素：數(shù)學(xué)原理;

②自然數(shù)學(xué)、邏輯學(xué);

③要飯與掃地;

④維納：概率論;

⑤麥克洛克：生物學(xué)基礎(chǔ);

⑥魯?shù)婪颉た柲纹照軐W(xué)和邏輯系統(tǒng);

⑦維納：控制論;

⑧希臘語、拉丁語語言天才。

體驗：

①追隨羅素;

②挑戰(zhàn)魯?shù)婪颉た柲纹?

③追隨麥克洛克;

④追隨維納;

⑤挑戰(zhàn)維納;

⑥加入小組;

⑦挑戰(zhàn)蛙眼實驗。

皮茨等人于弗洛伊德最大的分歧在于他們認(rèn)為“弗洛伊德思想本無需籠罩一層弗洛伊德式的神秘主義或牽扯上自我與本我之間的掙扎”。既然不同意神秘主義與概念之間的掙扎，對邏輯不容許有半點(diǎn)污穢的皮茨以及他的繼承者們，把人類思想這個問題，從“淺層思維”引向深層思維。一般來講，我們講循證醫(yī)學(xué)，講科學(xué)的證偽，講實驗精神，還是停留在表象的概念或者工具上，而深度學(xué)習(xí)這個概念，已經(jīng)形成了一系列不能顛覆的數(shù)學(xué)和計算機(jī)工具，這些工具包含感知、輸入、輸出、深層、表層、隱含層、全局、局部、分步計算、迭代、循環(huán)、非線性、初始化、訓(xùn)練集、測試集、標(biāo)簽、特征提取、分類器，今天，稍微經(jīng)過人工智能訓(xùn)練的人理解不了上述詞匯的界定，就引用“深度學(xué)習(xí)”這個語義到處濫用，導(dǎo)致污名和異化該詞匯。而如果非得需要一個大眾的語義去形成這個時代的“深度學(xué)習(xí)的概念”的話，我極力反對用“弗洛伊德式”的平鋪的分析哲學(xué)去“淺學(xué)習(xí)”這個詞匯。事實上，這些詞匯并不難理解，如果不從事人工智能專業(yè)的教育者，能夠主動地按照這些內(nèi)涵去界定深度與淺度的學(xué)習(xí)，至少專業(yè)的人，不會反感，“深度學(xué)習(xí)”這個詞匯，也不至于被污名化。

感知、輸入、輸出：皮茨和麥克洛克從感知與激活開始，到邏輯電路和輸入輸出，建立了神經(jīng)網(wǎng)絡(luò)的基本構(gòu)成。一個學(xué)習(xí)系統(tǒng)的基礎(chǔ)是感知，是數(shù)碼化的邏輯，是對教育和學(xué)生活動的輸入輸出的教育學(xué)的嚴(yán)格定義。目前的在線學(xué)習(xí)給出了一般學(xué)習(xí)一個數(shù)碼化的可以研究的數(shù)字空間，然而這種定義直到今天還是停留在弗洛伊德分析心理層面。

深層、表層、隱含層、全局、局部、分步計算：表層處理局部信息、深層處理全局信息，中間若干個隱含層，形成一個深度分布的計算系統(tǒng)，輸入層處理底層信息，輸出層處理概念信息和判斷信息。如果是一個教育的人工智能系統(tǒng)，通過底層的抬頭率直接處理總體的學(xué)生判斷信息，是違背深度學(xué)習(xí)原理的，這種“過度信息化”不但不利于學(xué)習(xí)，反而是對人工智能的高度的曲解。

迭代、循環(huán)、非線性：一個學(xué)習(xí)的知識系統(tǒng)要有從概括到分類、從分類到縱深的循環(huán);技能也要經(jīng)過手腳五官的協(xié)調(diào)訓(xùn)練，從管理工具到技術(shù)工具的協(xié)調(diào)使用，一個體驗系統(tǒng)要完成從項目的提出問題、發(fā)現(xiàn)問題、協(xié)作、解決問題的循環(huán)過程。通過知識、技能、體驗本身內(nèi)部的循環(huán)，再加上知識技能體驗之間的迭代完成學(xué)習(xí)過程的螺旋上升。突破往往是產(chǎn)生在不符合預(yù)期的非線性奇異點(diǎn)上，在教育學(xué)上，這叫做教育經(jīng)驗。

初始化、訓(xùn)練集、測試集、標(biāo)簽、特征提取、分類器：通過網(wǎng)絡(luò)學(xué)習(xí)的大樣本可以實現(xiàn)隨機(jī)雙盲實驗，通過訓(xùn)練與測試以及教育專家的經(jīng)驗判斷對優(yōu)異學(xué)習(xí)進(jìn)行標(biāo)簽化的工作，通過模型計算而不是專家判斷進(jìn)行特征學(xué)習(xí)行為的提取，這些都是深度學(xué)習(xí)給我們的啟示。一位教師不是僅僅通過教育學(xué)學(xué)習(xí)就能掌握教育真知的，眼界有限的教師對教育的評價和標(biāo)簽會打錯的，那么，如何建立一個最小的數(shù)據(jù)集進(jìn)行準(zhǔn)確的分類呢？

前向輸入、反向傳播、有監(jiān)督、無監(jiān)督、自學(xué)習(xí)：通過無監(jiān)督的前向輸出（教育目標(biāo)）估計教育和學(xué)習(xí)創(chuàng)新，通過有監(jiān)督的事后反饋進(jìn)行學(xué)習(xí)行為和要素的誤差分解（是不是有點(diǎn)像錯題本），通過一個循環(huán)和迭代不斷訓(xùn)練出來一個自學(xué)習(xí)的系統(tǒng)。

卷積、池化、降維與全連接：一個學(xué)習(xí)系統(tǒng)和一位教師要避免過度依賴數(shù)據(jù)而產(chǎn)生的“過擬合現(xiàn)象”，通過不斷的教改和表演及折騰學(xué)生來獲得教育是不道德的，深度學(xué)習(xí)有一系列辦法通過自身的數(shù)據(jù)變換降維。

淺層是快樂的，深層是痛苦的，也許悲劇是人生的根，痛苦是思考的根，風(fēng)來了，風(fēng)走了，留下有根的，吹走不會生長的萍。

這次疫情，帶來了3億中國人在網(wǎng)上學(xué)習(xí)，深度的網(wǎng)絡(luò)邏輯不應(yīng)帶來淺層次的集體狂歡。世界上總有那么一些天才，他們痛苦，他們吹哨，人們往往以為他們只有勇氣和常識，其實我們誤解了他們，他們超前于時代，親眼看到了未來，具有深度思維的邏輯，但是現(xiàn)實不能給他們支持和佐證，他們著急，他們解決問題，他們英年早逝，我們不能忘記總結(jié)，不能只記住他們表層的名字而忘記名字背后深層次的概念邏輯，去隨便使用和異化這樣一個詞匯，而不了解這個詞匯背后的內(nèi)涵和邊界，如果這樣，我們對不起悲情者們的奮斗。

用這句話紀(jì)念一樣被表層記憶的疫情期間李文亮醫(yī)生和他做的深層次不被我們理解的事情，不是僅僅勇氣這么簡單。

4月23日是皮茨的生日，快到了，也紀(jì)念一下一個吹哨一個時代卻一分錢好處沒得、一天好日子也沒有過過的天才，我想人生再來一次，他還會選擇這樣的“深度悲劇人生”。