張拳石：懷揣敬畏之心走向深度學(xué)習(xí)

李明麗

“在時(shí)代的巨浪下，deep learning（深度學(xué)習(xí)）未來將向哪里發(fā)展？我不知道。我只能帶著一顆敬畏的心，摸著石頭過河，邊走邊瞧?！边@是上海交通大學(xué)張拳石初次接觸深度學(xué)習(xí)時(shí)的心境，如今，深度學(xué)習(xí)的方向他已經(jīng)找到，但是敬畏之心一直未變。

抉擇時(shí)刻

弗羅斯特在《未選擇的路》中寫道：一片樹林里分出兩條路，而我選擇了人跡更少的一條，從此決定了我一生的道路。這句話可以算作張拳石科研生活的真實(shí)寫照。

2012年，張拳石在日本東京大學(xué)攻讀博士學(xué)位，那一年，國(guó)際著名深度學(xué)習(xí)專家——辛頓帶領(lǐng)團(tuán)隊(duì)參加了世界著名的ImageNet 圖像識(shí)別大賽，將錯(cuò)誤率大幅下降到15.3%，而排名第二的模型，錯(cuò)誤率則高達(dá)26.2%，這個(gè)對(duì)比讓整個(gè)人工智能領(lǐng)域都為之沸騰。此后一段時(shí)間內(nèi)，學(xué)術(shù)界和工業(yè)界都開啟了深度學(xué)習(xí)的浪潮。

2015年，深度學(xué)習(xí)研究如火如荼，然而，他的博士后合作導(dǎo)師朱松純的一句話，卻讓張拳石感覺當(dāng)頭棒喝，朱松純說：“深度學(xué)習(xí)已死?！北M管很多人對(duì)深度學(xué)習(xí)有種種擔(dān)心，但是在2015年深度學(xué)習(xí)風(fēng)頭正勁的年代，不是每個(gè)人都敢說這樣的話的，因?yàn)闊o論是從深度學(xué)習(xí)2015年前的勢(shì)頭還是2015年之后的輝煌來看，深度學(xué)習(xí)都絕對(duì)和“死亡”沾不上邊。

外行看熱鬧，但身處洪流之中，張拳石卻比常人更清楚表面背后的危機(jī)——首先，深度學(xué)習(xí)的出現(xiàn)，可以實(shí)現(xiàn)用一個(gè)簡(jiǎn)單的算法解決所有不同難題的愿景。從整個(gè)AI發(fā)展歷史來看，確實(shí)是一個(gè)了不起的進(jìn)展，但是，技術(shù)手段的單一化，也讓學(xué)科發(fā)展受到很大的限制，學(xué)科研究進(jìn)入瓶頸。其次，理論和應(yīng)用嚴(yán)重脫節(jié)，很多傳統(tǒng)理論對(duì)深度學(xué)習(xí)的解釋，建立在不切實(shí)際的假設(shè)上，這就讓傳統(tǒng)理論研究進(jìn)入一個(gè)非常尷尬的境地。傳統(tǒng)的理論在解釋深度學(xué)習(xí)方面陷入了極大的困境，無論從知識(shí)表征角度，還是從表達(dá)能力的角度，深度學(xué)習(xí)都缺乏可靠的解釋。深度學(xué)習(xí)的巨大成功帶給人的是更大的迷茫：沒有系統(tǒng)性解釋和建模，只有經(jīng)驗(yàn)，未來何去何從。

張拳石認(rèn)為，必須改變研究方向，否則，深度學(xué)習(xí)的邊界一定會(huì)到來?！皬?012年到2015年，深度學(xué)習(xí)的論文迎來大爆發(fā)，整個(gè)領(lǐng)域研究非?；馃?，而且不斷有重大的突破和驚艷的方法涌現(xiàn)，但是對(duì)很多問題的理解本質(zhì)上沒有突破2012年的認(rèn)知范疇。你今天可以在這個(gè)層面發(fā)文章，但如果5年、10年后還是在這個(gè)層面發(fā)展，那整個(gè)領(lǐng)域就止步不前，看不到希望了?！?/p>

“希望人工智能應(yīng)該像過去一樣，持續(xù)指數(shù)爆炸地發(fā)展，而不是像物理化學(xué)等傳統(tǒng)學(xué)科漸漸平淡下去?！边@句話本身沒有什么科學(xué)道理，但這是這一代學(xué)者的寄托和追求。

然而，放棄一個(gè)如火如荼的領(lǐng)域，也并不容易。最明顯的阻礙比如說，熱門領(lǐng)域的研究論文中稿率很高，這對(duì)未來的職位晉升有好處，但是繼續(xù)在深度學(xué)習(xí)內(nèi)注水發(fā)論文，也意味著放棄自己的職業(yè)道德。所以，這不僅是一個(gè)智商層面的考慮，還有一個(gè)道德上的讓步。

也許有人說，轉(zhuǎn)入新領(lǐng)域，耕耘無人區(qū)，不是更容易出成果嗎？然而事實(shí)卻并非如此。張拳石不無感慨地說：“從2015年至今，很多人立足當(dāng)下往后看，發(fā)現(xiàn)舉目四望，沒有方向，深度學(xué)習(xí)未來的突破口在哪，根本不知道。”重重的難題擺在面前，到底是選擇留在舒適區(qū)，還是突破自己，為行業(yè)考慮，張拳石選擇了后者，從此在人跡更少的那條路上，開啟了探索征程。

拓荒前行

深度學(xué)習(xí)當(dāng)前處于百家爭(zhēng)鳴沒有定論的階段，想找一條適合研究的路并不容易。博士后研究期間，張拳石花費(fèi)了兩年時(shí)間，最終找到了可解釋性方向。為什么要研究這個(gè)方向？

張拳石說：神經(jīng)網(wǎng)絡(luò)就像一個(gè)黑盒模型，解釋性較弱，算法無法對(duì)特定任務(wù)給出清晰的概括，而在諸如自動(dòng)駕駛、醫(yī)療和金融等決策“高風(fēng)險(xiǎn)”領(lǐng)域，利用深度學(xué)習(xí)進(jìn)行重大決策時(shí)，往往需要知曉算法所給出結(jié)果的依據(jù)，因此，透明化深度學(xué)習(xí)的“黑盒子”，使其具有可解釋性，具有重要意義。

盡管有重大意義，但是目前可解釋性領(lǐng)域的研究，依然停留在表面，其深度遠(yuǎn)遠(yuǎn)不足以支撐起“改造深度學(xué)習(xí)”的愿景，而且這個(gè)研究方向充滿風(fēng)險(xiǎn)。在可解釋性研究這個(gè)大方向里，研究人員很少，而且根本沒有參考經(jīng)驗(yàn)，所有研究者都在蹚路。有業(yè)內(nèi)人士稱：這個(gè)方向有可能5年、10年后能走通，但是走不通，也有可能。

在知乎“深度學(xué)習(xí)可解釋性方向的研究是不是巨坑？”的問題下，張拳石認(rèn)真地回答說：“或許跳坑是科研的本分吧。從學(xué)科發(fā)展來看，只有這些坑才是真正值得去做的問題。”

在確定深度學(xué)習(xí)的出口后，張拳石開始在可解釋性方向上策馬狂奔，并試圖在深度學(xué)習(xí)可解釋性方向上搭起框架。在對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行語義層面的解釋、解構(gòu)和建模方面，他嘗試打通神經(jīng)網(wǎng)絡(luò)表達(dá)與符號(hào)化語義圖模型表達(dá)的壁壘，在沒有額外語義標(biāo)注的前提下，將面向視覺任務(wù)的神經(jīng)網(wǎng)絡(luò)中的層次化信息處理結(jié)構(gòu)，轉(zhuǎn)化為可解釋的語義圖模型。在對(duì)神經(jīng)網(wǎng)絡(luò)表達(dá)能力的解釋和建模層面，他提出對(duì)神經(jīng)網(wǎng)絡(luò)單詞/像素信息遺忘的統(tǒng)一量化標(biāo)準(zhǔn)，實(shí)現(xiàn)對(duì)神經(jīng)網(wǎng)絡(luò)表達(dá)能力的跨層、跨網(wǎng)絡(luò)、跨應(yīng)用的公平比較;提出對(duì)神經(jīng)網(wǎng)絡(luò)中層特征中所建模的概念的一般性定義和中層概念量化算法，實(shí)現(xiàn)了在概念層面對(duì)神經(jīng)網(wǎng)絡(luò)表達(dá)能力的解釋;定義并量化了兩個(gè)神經(jīng)網(wǎng)絡(luò)中層表征的知識(shí)同構(gòu)性，并基于知識(shí)同構(gòu)性指標(biāo)，提出解釋神經(jīng)網(wǎng)絡(luò)表達(dá)能力的一般性算法。

最終，張拳石發(fā)展了博弈交互理論，沿著可解釋性方向，做出了一系列工作，試圖將“知識(shí)意義層面對(duì)神經(jīng)網(wǎng)絡(luò)的解釋”和“對(duì)神經(jīng)網(wǎng)絡(luò)表達(dá)能力的分析”在同一個(gè)框架下統(tǒng)一起來。另一方面，針對(duì)深度學(xué)習(xí)領(lǐng)域中“神農(nóng)嘗百草”式直覺性算法的各自為戰(zhàn)的現(xiàn)狀，張拳石希望挖掘不同算法中公共成分，去蕪存菁，提煉出其內(nèi)在真正有效的算法機(jī)理。

今天的人工智能能夠取得如此輝煌的進(jìn)步，在很大程度上要?dú)w功于深度學(xué)習(xí)對(duì)傳統(tǒng)任務(wù)的性能提升。但是，可解釋性也是捆綁深度學(xué)習(xí)發(fā)展的一道“枷鎖”，所以，要想加快人工智能的發(fā)展，必須先重視深度學(xué)習(xí)可解釋性方向，解決其面臨的難題。張拳石說：“我們的最終目標(biāo)，就是盡量讓深度學(xué)習(xí)變成一門科學(xué)，而不是一項(xiàng)經(jīng)驗(yàn)性的技術(shù)，未來也許我不一定能做出來，但是我會(huì)朝著這個(gè)目標(biāo)，一年一年地努力?！?/p>