人工智能讀博路

劉春花

本科遇到人生導(dǎo)師

你有沒有在小時(shí)候就渴望去遠(yuǎn)方，想看看世界是什么樣子的？這個(gè)想法我一直有，一直想實(shí)現(xiàn)它。所以我一路從重慶鄉(xiāng)里的小學(xué)考到縣里的初中，再到區(qū)里的高中，又到北京的大學(xué)?，F(xiàn)在我在墨爾本。

依舊記得2012年的夏天，我收到大學(xué)錄取通知書時(shí)心里的不情愿。我填報(bào)的36個(gè)志愿里沒有一個(gè)是計(jì)算機(jī)專業(yè)，卻唯獨(dú)被調(diào)劑到這個(gè)專業(yè)。帶著對(duì)數(shù)學(xué)的害怕，對(duì)計(jì)算機(jī)的陌生，對(duì)未來所要從事行業(yè)的迷茫和無知，我踏入了大學(xué)校園，想著讀完大一后立刻轉(zhuǎn)專業(yè)。大一結(jié)束后，我卻發(fā)現(xiàn)自己逐漸喜歡上了這個(gè)專業(yè)，也感受到這是一個(gè)就業(yè)前景很好的專業(yè)。隨著人工智能的熱度不斷上升，行業(yè)所需的人才遠(yuǎn)遠(yuǎn)不夠。

更重要的是，我遇見了一個(gè)對(duì)我影響深遠(yuǎn)的導(dǎo)師。

他就是我本科時(shí)的班主任和碩士時(shí)的導(dǎo)師——于東副教授，大家都親切地稱他為東哥。如果說高考被調(diào)劑是被老天安排的，那么后來我選擇繼續(xù)學(xué)習(xí)計(jì)算機(jī)專業(yè)，以及選擇讀研、讀博，則都深深受到于東老師的影響。

大二暑假里，我跟著東哥一起參加了一個(gè)評(píng)測(cè)比賽。比賽的要求是構(gòu)建一個(gè)人物屬性抽取的系統(tǒng)，能夠?qū)⒕S基百科文本中包含的人物出生、死亡日期，以及地址、家庭關(guān)系等25種人物屬性抽取出來，最終將無結(jié)構(gòu)的文本轉(zhuǎn)換為結(jié)構(gòu)化的知識(shí)。由于官方不提供訓(xùn)練語料，所以我們要手動(dòng)對(duì)訓(xùn)練語料進(jìn)行標(biāo)注，之后才能進(jìn)行模型的搭建。

最終，我們的模型贏得了評(píng)測(cè)的第二名。賽后總結(jié)時(shí)，我們發(fā)現(xiàn)由于比賽時(shí)間有限，很多工作都做得不夠細(xì)致，比如當(dāng)時(shí)采取的做法是對(duì)每一種類別的屬性分別訓(xùn)練分類器，但其中有些屬性之間是存在關(guān)聯(lián)或交叉的，比如人物的組織機(jī)構(gòu)隸屬、職稱、頭銜等，往往會(huì)在文中同時(shí)出現(xiàn)。因?yàn)槲覀兊姆诸惼魇轻槍?duì)單個(gè)類別進(jìn)行訓(xùn)練的，所以當(dāng)職稱和頭銜同時(shí)出現(xiàn)時(shí)，有可能出現(xiàn)一個(gè)能抽取出來，一個(gè)不能抽取出來的問題。

我不止一次聽別人說，讀博是他們從未后悔過的一件事情，也不止一次聽別人說，讀博很艱難。但我想，這就是我想要做的事情，即使困難，也得去做。不然，以后連后悔都來不及。

針對(duì)這一問題，大三開學(xué)后，我跟著東哥繼續(xù)在這個(gè)課題上深入，我們希望模型可以精準(zhǔn)地抽取人物的屬性信息。在5個(gè)月的實(shí)驗(yàn)過程中， 有時(shí)候因?yàn)橐粋€(gè)小bug要調(diào)很久代碼，有時(shí)候在想法實(shí)現(xiàn)后發(fā)現(xiàn)并不奏效，每當(dāng)我灰心喪氣時(shí)，東哥總會(huì)對(duì)我說：“再堅(jiān)持一下，希望就在前方。”并會(huì)給我及時(shí)的幫助和中肯的建議。在不斷地嘗試后，最終，針對(duì)人工標(biāo)注的訓(xùn)練語料不夠的問題，我們發(fā)現(xiàn)在百度百科人物頁面的信息框里，存儲(chǔ)著很多人物的屬性信息，通過信息框中的屬性值去文本中檢索，便可獲得大量的訓(xùn)練語料;針對(duì)屬性的共現(xiàn)問題，我們通過分析組織機(jī)構(gòu)之間的句法依存關(guān)系，同時(shí)提取出了兩個(gè)屬性類別。 最終，與評(píng)測(cè)比賽時(shí)的模型相比，改進(jìn)后的模型在職銜履歷屬性上的性能提升了60%。

在這個(gè)過程中，為了趕上一個(gè)會(huì)議的截稿日期，東哥和我們一起寫論文、補(bǔ)實(shí)驗(yàn)，經(jīng)常工作到深夜。相對(duì)于提升實(shí)驗(yàn)性能，將核心思想精準(zhǔn)地用文字表述出來，是一件更有挑戰(zhàn)的事情。每次對(duì)比自己和東哥寫的內(nèi)容，我都會(huì)發(fā)現(xiàn)無論是在章節(jié)的框架構(gòu)思，還是文字表達(dá)方面，自己依然存在不少問題，還需要更多的磨練。這就是我第一次接觸科研的真實(shí)體驗(yàn)。

為更多地了解計(jì)算機(jī)領(lǐng)域的科技前沿，在東哥的建議下，我選修了自然語言處理 （Natural Language Processing， NLP） 課程。NLP是人工智能領(lǐng)域的一個(gè)重要方向，它是一門融合語言學(xué)、計(jì)算機(jī)科學(xué)和數(shù)學(xué)的學(xué)科，旨在讓計(jì)算機(jī)理解人類的語言。通過這門課程，我對(duì)NLP的基礎(chǔ)任務(wù)有了不少新認(rèn)識(shí)。很多人類覺得很簡(jiǎn)單的任務(wù)，如情感分析，常識(shí)問題等，對(duì)機(jī)器來說卻是非常困難的事情。比如人可以很容易理解“吉姆安慰了凱文，因?yàn)樗珎牧恕敝械摹八敝傅氖恰皠P文”而不是“吉姆”，因?yàn)橐话愣际潜话参康娜饲榫w不好。又比如人能夠憑直覺判斷出“他把大象放進(jìn)冰箱里”是一種反常識(shí)的行為，而“他把火雞放進(jìn)冰箱里”卻是一件很正常的事情，因?yàn)榇笙蟊缺浯?，不可能直接放進(jìn)去。但機(jī)器卻很難理解哪種行為是日常生活中會(huì)發(fā)生的，哪些行為不太可能發(fā)生。再結(jié)合之前為數(shù)不多的科研經(jīng)驗(yàn)，我覺得NLP是一個(gè)非常有用也很有挑戰(zhàn)的方向。要想深入鉆研它，本科學(xué)到的知識(shí)是遠(yuǎn)遠(yuǎn)不夠的，所以讀碩士選專業(yè)的時(shí)候，我毫不猶豫地選擇了NLP方向。

對(duì)我而言，東哥是我專業(yè)的領(lǐng)路人，更是人生的導(dǎo)師。不論是學(xué)業(yè)上的問題，還是未來的規(guī)劃，甚至是感情上的困擾，只要找東哥，他都會(huì)耐心傾聽，并用他的方式來幫助我。在他的影響下，我不僅認(rèn)定了計(jì)算機(jī)專業(yè)，還漸漸有了一個(gè)目標(biāo)，就是要成為一名像他一樣優(yōu)秀的導(dǎo)師，把科研的、生活的知識(shí)傳遞給需要的人。

愛上做科研的感覺

讀研期間，我享受討論時(shí)思想不斷碰撞的過程，學(xué)會(huì)了承受實(shí)驗(yàn)的失敗，更重要的是，我愛上了做科研的感覺。當(dāng)我看到別人發(fā)表的有趣的工作成果時(shí)，會(huì)特別興奮;看到自己的想法被別人搶先實(shí)現(xiàn)時(shí)，也會(huì)特別激動(dòng)。

然而，我研究生階段的第一個(gè)科研工作卻困難重重。從課題選擇到論文的發(fā)表，經(jīng)歷了整整一年。在明確了科研方向要和推理相關(guān)，并閱讀了大量論文后，我決定聚焦在自然語言推理任務(wù)上。這個(gè)任務(wù)需要首先給出一個(gè)前提句子和一個(gè)假設(shè)句，然后通過構(gòu)建一個(gè)模型，來判斷假設(shè)句能否根據(jù)前提句子推理得出。比如，前提句是“孩子們正從學(xué)校往家里走。” 我需要通過模型，判定能否推理出假設(shè)句——“孩子們?cè)诜艑W(xué)回家的路上?！被蛘摺昂⒆觽?cè)诮淌疑险n?！比绻梢酝瞥?，兩個(gè)句子就是蘊(yùn)含關(guān)系;如果不能推出，兩個(gè)句子就是矛盾關(guān)系。

在剛開始的四個(gè)月里，我一直在嘗試復(fù)現(xiàn)一個(gè)當(dāng)時(shí)最好的模型，但無論如何都和論文中報(bào)告的結(jié)果相差了3個(gè)百分點(diǎn)。我也嘗試過不以這個(gè)模型為基礎(chǔ)，在別的模型基礎(chǔ)上進(jìn)行各種各樣的改進(jìn)，但效果始終沒有第一次的模型性能好。幾個(gè)月的時(shí)間都沒有得到正面的反饋，我?guī)缀醵伎旆艞壛恕?/p>

直到兩個(gè)月后某一天，我認(rèn)識(shí)了我所復(fù)現(xiàn)模型論文的作者。在重新閱讀他論文的過程中，我注意到一個(gè)細(xì)節(jié)，作者說他模型中有兩部分的參數(shù)是共享的，而我的代碼中這兩部分參數(shù)并不共享，這就意味著我增加了將近一倍的訓(xùn)練參數(shù)，最終導(dǎo)致模型的性能達(dá)不到他所描述的效果。更正代碼后，我終于看到了理想中的結(jié)果。

緊接著，我還要對(duì)這個(gè)模型進(jìn)行改進(jìn)。接下來的三個(gè)月，又是一輪閱讀論文、和導(dǎo)師討論可行性、做實(shí)驗(yàn)、觀察結(jié)果、如果性能沒有提升，繼續(xù)思考和嘗試下一個(gè)想法的循環(huán)。第十個(gè)月，我終于用模擬人類在推理過程中對(duì)兩個(gè)句子中的相同部分和不同部分分開處理的機(jī)制，提升了模型的性能。

實(shí)驗(yàn)完成后，我決定寫一篇論文投到一個(gè)自然語言處理的國際頂級(jí)會(huì)議上。第一次寫專業(yè)論文，我沒有一點(diǎn)兒經(jīng)驗(yàn)，只好先一字一句總結(jié)別人在每個(gè)章節(jié)里每句話都說了什么，再想自己應(yīng)該怎樣寫。同時(shí)，全英文的表達(dá)對(duì)我來說也是一個(gè)極大的考驗(yàn)。就這樣，直到截稿前一分鐘，我的第一篇論文才被投遞出去。

兩個(gè)月后，論文的評(píng)審結(jié)果出來了，三個(gè)評(píng)審里有一位評(píng)審選擇接收，一位評(píng)審給了一個(gè)邊界分?jǐn)?shù)，一位評(píng)審拒絕。就這樣，我的第一次投稿以失敗告終。仔細(xì)想想，這個(gè)結(jié)果說明我的工作做得還不到位，所以我沒有喪氣。仔細(xì)參考了評(píng)委們給出的寶貴意見后，我開始進(jìn)行論文的修改和實(shí)驗(yàn)的補(bǔ)充。一個(gè)半月后，我把論文投到國內(nèi)的一個(gè)計(jì)算機(jī)自然語言處理會(huì)議上，并被順利接收，主辦方還邀請(qǐng)我做一個(gè)正式的發(fā)言。做完報(bào)告后，我拿到了優(yōu)秀論文獎(jiǎng)。

在這個(gè)過程中，我發(fā)現(xiàn)自己面對(duì)實(shí)驗(yàn)的失敗、論文的拒收，內(nèi)心都很平和并懷有希望。這個(gè)實(shí)驗(yàn)失敗了，那就繼續(xù)思考和嘗試;這次論文被拒了，那就找原因，接著提高模型的性能，完善實(shí)驗(yàn)設(shè)計(jì)，修改文字表達(dá)。我始終沒有放棄，是源于自己對(duì)科研的熱愛，這種熱愛在我感知到它之前似乎就已存在。

讀研究生的三年，我真實(shí)感受了完整的科研流程，初步學(xué)習(xí)了做科研的方法，這更加堅(jiān)定了我讀博的想法。雖然博士階段做科研的難度更大，對(duì)我們思考問題、發(fā)現(xiàn)問題、解決未知問題的能力有著更深一層的考驗(yàn)，但我并不害怕，因?yàn)檫@些能力正是我們?nèi)松匾慕M成部分。我渴望通過讀博對(duì)自然語言處理領(lǐng)域有更深入的了解，找到自己感興趣的科研方向，成為一名獨(dú)立的科研工作者，見識(shí)更加廣闊的世界，結(jié)識(shí)更加優(yōu)秀的人。

我不止一次聽別人說，讀博是他們從未后悔過的一件事情，也不止一次聽別人說，讀博很艱難。但我想，這就是我想要做的事情，即使困難，也得去做。不然，以后連后悔都來不及。

申博的考驗(yàn)

讀碩第三年，我開始申請(qǐng)讀博士。

關(guān)于讀博，學(xué)校的選擇固然重要，但我覺得更重要的是選擇導(dǎo)師。自己與導(dǎo)師的研究興趣是否一致，導(dǎo)師的能力是否足以指導(dǎo)我，以及導(dǎo)師在學(xué)界的影響力，是我著重考慮的。

導(dǎo)師的選擇是一個(gè)漫長(zhǎng)的過程，從2018年3月起，我就開始聯(lián)系讀博的導(dǎo)師。當(dāng)時(shí)有一個(gè)我特別喜歡的導(dǎo)師，他對(duì)自然語言推斷、因果推理、常識(shí)推理等方向都很感興趣，他的科研方向和我碩士階段的工作以及我未來想做的工作也非常吻合。很快，他發(fā)郵件給了我正面的回復(fù)，說他會(huì)在夏天來中國，幫我找一個(gè)實(shí)習(xí)的地方指導(dǎo)我的工作。當(dāng)時(shí)我特別開心，也就沒有再去找其他導(dǎo)師了。可一轉(zhuǎn)眼暑假都過去了一半，導(dǎo)師才告訴我他實(shí)在太忙，沒有時(shí)間處理我的事情。本以為未來已經(jīng)明朗，卻忽然回到原點(diǎn)，加上當(dāng)時(shí)我的TOEFL和GRE都還沒考，時(shí)間一下子變得十分緊張。

2018年9月，我開始準(zhǔn)備考英語。身處語言大學(xué)的我，本來的計(jì)劃是第一個(gè)月考完TOEFL，第二個(gè)月考完GRE，結(jié)果卻發(fā)現(xiàn)自己太天真了。最終，一個(gè)月的TOEFL變成了兩個(gè)月，到十一月時(shí)，很多學(xué)校的申請(qǐng)都快截止了。這下我才發(fā)現(xiàn)，不僅論文是重要的，英語成績(jī)同樣重要。不要對(duì)自己的英語水平過于自信，一定要留出足夠的時(shí)間。

與此同時(shí)，我聯(lián)系導(dǎo)師的事也一直沒有進(jìn)展。

一天，我忽然想起暑假期間在墨爾本開會(huì)的時(shí)候，跟一位名叫Trevor Cohn的老師聊得挺好。Trevor是澳大利亞墨爾本大學(xué)的一名副教授，他的研究方向主要是自然語言處理和機(jī)器學(xué)習(xí)。他的博士生也告訴我，這是一個(gè)特別好的導(dǎo)師，不僅學(xué)術(shù)能力很強(qiáng)，而且對(duì)學(xué)生很負(fù)責(zé)。于是我打開Trevor的個(gè)人主頁，上面說如果要聯(lián)系他讀博士，需要將自己的研修計(jì)劃和簡(jiǎn)歷一起發(fā)給他。雖然難度不小，但我決定無論如何也要嘗試一下。不過，要想寫出一個(gè)自己看得過去，老師也能點(diǎn)頭的研修計(jì)劃是不容易的，最難的一點(diǎn)莫過于要找到自己研究領(lǐng)域的空白。

第一周我完全沒有動(dòng)筆，取而代之的是不斷地閱讀論文、總結(jié)前人工作、積極和東哥討論，嘗試找到哪一部分是別人沒有研究過，并且還是有意義的。最終，研修計(jì)劃的主題延續(xù)了我做過的自然語言推斷的任務(wù)。前人的工作都是判斷能否根據(jù)一個(gè)句子推出另一個(gè)句子，那么，為什么模型能夠做出這樣的判斷呢？我的研修計(jì)劃就是從探究這個(gè)“為什么”的角度入手的。

寫完四頁的研修計(jì)劃后，2018年12月13日晚，我把所有材料發(fā)送給了Trevor。一覺醒來，我驚喜地發(fā)現(xiàn)Trevor給我回信了。他對(duì)我提出的科研內(nèi)容非常感興趣，還說澳洲是雙導(dǎo)師制的，他需要看看是否還有別的導(dǎo)師愿意和他一起指導(dǎo)我。

假期結(jié)束后，Trevor發(fā)郵件告訴我，有一位Lea老師也愿意當(dāng)我的指導(dǎo)老師，還建議我申請(qǐng)國家留學(xué)基金委和墨大的合作獎(jiǎng)學(xué)金。之后我便開始一系列的網(wǎng)申，并在2019年5月底收到了墨大的獎(jiǎng)學(xué)金申請(qǐng)通過通知。知道結(jié)果的一瞬間，我是內(nèi)心是喜悅的，因?yàn)槲倚r(shí)候的愿望終于要實(shí)現(xiàn)了。

掙扎與希望并存

到今天，我的博士生涯已有五個(gè)多月了。

都說萬事開頭難，讀博最難的就是選題。一個(gè)好的選題可以讓四年的博士研究事半功倍。剛開始，我嘗試?yán)^續(xù)之前感興趣的常識(shí)閱讀理解方向，卻找不到合適的切入點(diǎn)。在我不知如何向前的時(shí)候，Trevor和Lea給我推薦了一些認(rèn)知常識(shí)方面的論文，里面講到認(rèn)知科學(xué)家們是如何對(duì)概念進(jìn)行建模的。其中有一個(gè)方向是基于屬性認(rèn)知的概念理解，比如人們對(duì) “自行車”這個(gè)概念的認(rèn)識(shí)，是通過它的各種屬性掌握的，例如它的外觀屬性有“兩個(gè)輪子”或“兩個(gè)手把”，它的功能屬性有“可以騎”“可以當(dāng)作交通工具”“可以健身”等。我發(fā)現(xiàn)這是一個(gè)很好的切入方向，它依然屬于常識(shí)理解的課題范圍下，但做的是更加基礎(chǔ)的工作，能直接影響更高層級(jí)的常識(shí)閱讀理解、常識(shí)問答等一系列任務(wù)。

在這個(gè)過程中，導(dǎo)師一直很關(guān)心我是否喜歡自己正在做的事情，每次在討論課題方向的時(shí)候，總會(huì)問我“你對(duì)這個(gè)課題是否感興趣？”“做這個(gè)課題讓你感到開心嗎？”這些話總是讓我莫名地感動(dòng)。兩位導(dǎo)師開放的思維，看待問題獨(dú)到的眼光，對(duì)學(xué)術(shù)的熱情，對(duì)新事物的好奇心，對(duì)學(xué)生平等的態(tài)度，無一不在感染著我。在與Trevor和Lea的十三次討論后，我們終于確定目前階段的研究方向是讓計(jì)算機(jī)利用常識(shí)屬性學(xué)習(xí)概念表示。

站在澳大利亞的土地上，我依然在思考，是什么讓我站在這里，是什么促使我來到墨爾本大學(xué)讀計(jì)算機(jī)專業(yè)的博士？

“念念不忘，必有回響！”

正是這個(gè)來自內(nèi)心的聲音，鼓勵(lì)著我不斷前行。我是一個(gè)長(zhǎng)到25歲，依然堅(jiān)定地相信有付出就會(huì)有回報(bào)的人。如果有想要做的事情，那就勇敢地去做吧！

責(zé)任編輯：曹曉晨