機(jī)器學(xué)習(xí)從自動(dòng)到自主化

作為一門多領(lǐng)域交叉學(xué)科，機(jī)器學(xué)習(xí)涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等，是研究怎樣使用計(jì)算機(jī)模擬或?qū)崿F(xiàn)人類學(xué)習(xí)活動(dòng)的科學(xué)，被公認(rèn)為人工智能的核心。早在1950年，計(jì)算機(jī)科學(xué)之父艾倫·麥席森·圖靈（Alan"Mathison"Turing）就曾提議建立一個(gè)學(xué)習(xí)機(jī)器，但是直到2000年年初，機(jī)器學(xué)習(xí)才有了突破性的進(jìn)展。20世紀(jì)80年代以來(lái)，機(jī)器學(xué)習(xí)作為實(shí)現(xiàn)人工智能的關(guān)鍵途徑引起了廣泛關(guān)注，尤其是近十幾年來(lái)，機(jī)器學(xué)習(xí)領(lǐng)域的研究工作發(fā)展進(jìn)入快車道。隨著以深度學(xué)習(xí)為代表借鑒人腦的多分層結(jié)構(gòu)、神經(jīng)元的連接交互信息的逐層分析處理機(jī)制，以及自適應(yīng)、自學(xué)習(xí)的強(qiáng)大并行信息處理能力取得多方面的突破性進(jìn)展，機(jī)器學(xué)習(xí)不僅在基于知識(shí)的系統(tǒng)中得到應(yīng)用，而且在自然語(yǔ)言理解、非單調(diào)推理、機(jī)器視覺(jué)、模式識(shí)別等許多領(lǐng)域也得到了廣泛應(yīng)用。

在今天，大數(shù)據(jù)時(shí)代的到來(lái)為機(jī)器學(xué)習(xí)的發(fā)展帶來(lái)了新的挑戰(zhàn)。大數(shù)據(jù)時(shí)代的機(jī)器學(xué)習(xí)更多地被視為一種服務(wù)技術(shù)，如何基于機(jī)器學(xué)習(xí)對(duì)復(fù)雜多樣的數(shù)據(jù)進(jìn)行深層次的分析，更高效地利用信息成為當(dāng)前大數(shù)據(jù)環(huán)境下機(jī)器學(xué)習(xí)研究的主要方向。但隨著數(shù)據(jù)產(chǎn)生速度的持續(xù)加快，數(shù)據(jù)的體量有了前所未有的增長(zhǎng)，同時(shí)，需要分析的新的數(shù)據(jù)種類也在不斷增加。這就導(dǎo)致了如今機(jī)器學(xué)習(xí)在應(yīng)用層上面臨三大困境：復(fù)用（使用）門檻高、數(shù)據(jù)門檻高、認(rèn)知門檻高。幾十年來(lái)，研究發(fā)展機(jī)器學(xué)習(xí)的方法種類很多，清華大學(xué)電子工程系助理教授姚權(quán)銘認(rèn)為：“機(jī)器學(xué)習(xí)這一基礎(chǔ)學(xué)科最大的作用，就是幫助人們從數(shù)學(xué)角度搞清楚人工智能為什么能工作。因此，要解決當(dāng)下機(jī)器學(xué)習(xí)技術(shù)面臨的三大困境，可以從一種抽象的數(shù)學(xué)雙層優(yōu)化模型入手。”這將是他在未來(lái)幾年中的工作重心之一。

求學(xué)與積淀

——如何做好的研究

2009年是姚權(quán)銘人生中意義非凡的一年。這一年，他以優(yōu)異的成績(jī)考入華中科技大學(xué)電子工程系，邁出了通往科研殿堂的第一步。

在華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院“只爭(zhēng)朝夕，不負(fù)時(shí)代”“協(xié)作、創(chuàng)新、修德、開拓”的學(xué)科特色文化影響下，姚權(quán)銘逐漸具備了“服務(wù)國(guó)家，敢于競(jìng)爭(zhēng)，團(tuán)結(jié)協(xié)作，勇于創(chuàng)新”的精神品格。他所在的基于導(dǎo)師制的人才孵化站（Dian團(tuán)隊(duì)）更是以培養(yǎng)隊(duì)員高尚的道德情操、優(yōu)秀的工作作風(fēng)和扎實(shí)的專業(yè)技能為目標(biāo)，將導(dǎo)師制、科研團(tuán)隊(duì)及工程實(shí)踐相結(jié)合，通過(guò)“在干中學(xué)”的方式，以科研課題為牽引，選拔優(yōu)秀學(xué)生直接參與科研活動(dòng)。得益于這樣優(yōu)秀的人才培養(yǎng)模式，姚權(quán)銘早早地就奠定了自己工作和探索的風(fēng)格，并獲得校園年度“發(fā)明創(chuàng)造之星”稱號(hào)和香港科技大學(xué)直博資格。

“物有甘苦，嘗之者識(shí)；道有夷險(xiǎn)，履之者知?！痹谂匀丝磥?lái)枯燥的博士生科研歷程里，姚權(quán)銘以攻堅(jiān)克難為樂(lè)，學(xué)以致用、以用促學(xué)，讓理想之火熊熊燃燒，收獲了累累碩果：2015年獲謝卓毅研究卓越獎(jiǎng)，2016年獲谷歌全球博士獎(jiǎng)學(xué)金（2016年全球13位獲獎(jiǎng)人中，泛亞地區(qū)唯一獲獎(jiǎng)?wù)撸?019年獲香港科技大學(xué)工程學(xué)院博士研究卓越獎(jiǎng)，成果“抗噪標(biāo)簽算法合作教學(xué)（Co-teaching）”為當(dāng)年十大高引論文之一……“這背后離不開學(xué)校、導(dǎo)師、團(tuán)隊(duì)的悉心支持與培養(yǎng)?！彼f(shuō)，“在我科研生涯的第一個(gè)階段——求學(xué)階段中，如果要問(wèn)‘我得到的最寶貴的財(cái)富是什么？’那就是我明白了‘什么是好的研究’‘應(yīng)當(dāng)如何做好的研究’?！庇纱?，姚權(quán)銘邁出了通向科研生涯第二個(gè)階段的堅(jiān)定步伐。

社會(huì)與實(shí)踐

——明確意義和需求

于香港科技大學(xué)計(jì)算機(jī)系取得博士學(xué)位之后，姚權(quán)銘前往第四范式創(chuàng)業(yè)公司擔(dān)任高級(jí)科學(xué)家，創(chuàng)建和領(lǐng)導(dǎo)第四范式創(chuàng)業(yè)公司的機(jī)器學(xué)習(xí)組，成為國(guó)內(nèi)最早一批從事自動(dòng)化機(jī)器學(xué)習(xí)的研究團(tuán)隊(duì)。

彼時(shí)，之所以選擇第四范式創(chuàng)業(yè)公司，是因?yàn)橐?quán)銘想要明確一個(gè)問(wèn)題：“科研的社會(huì)意義是什么？我所學(xué)習(xí)的知識(shí)，我所從事的研究，到底能為社會(huì)發(fā)揮怎樣的積極作用？”在他科研生涯的第二個(gè)階段中，找尋這一答案既是行為動(dòng)力，亦是主要目標(biāo)。實(shí)踐報(bào)國(guó)的精神在他身上傳承，經(jīng)世濟(jì)民的夢(mèng)想在他身上延續(xù)。他知道，只有面向社會(huì)、面向市場(chǎng)，才能真正了解社會(huì)對(duì)技術(shù)的需求是怎樣的。

在面向需求，追求效益的同時(shí)，姚權(quán)銘也從未放下心中崇高的理想信念：“比起短期內(nèi)高回報(bào)的‘流水線’工程，我更愿意做需要長(zhǎng)期投資的，具有深遠(yuǎn)影響的工作?！边@一點(diǎn)在他的人才培養(yǎng)理念上表現(xiàn)得尤為明顯。面對(duì)每一位想要加入團(tuán)隊(duì)的年輕學(xué)者，無(wú)論對(duì)方多么優(yōu)秀，姚權(quán)銘做的第一件事情都是“勸退”，他解釋說(shuō)：“團(tuán)隊(duì)優(yōu)秀與否并不取決于規(guī)模大小，我想尋找的是愿意長(zhǎng)期在這一領(lǐng)域?qū)Ｐ淖鲅芯?，能夠沉下心服?wù)社會(huì)和國(guó)家的合作伙伴。如果在‘勸退’的前提下，對(duì)方仍堅(jiān)持加入，我雖然不能斷定對(duì)方一定有這樣的覺(jué)悟和堅(jiān)持，但起碼他是有準(zhǔn)備的?！币?quán)銘相信，只要心中有共同的信念和目標(biāo)，無(wú)論面臨怎樣的困難，團(tuán)隊(duì)最終都能克服并一起走向成功。

雖然嘴上從來(lái)不對(duì)團(tuán)隊(duì)成員說(shuō)起，但姚權(quán)銘打心眼兒里看好團(tuán)隊(duì)中的年輕學(xué)者?！八麄兌际且粠秃軆?yōu)秀的學(xué)生，我希望他們能夠考慮得更長(zhǎng)遠(yuǎn)，讓研究更深入一點(diǎn)，讓職業(yè)發(fā)展前景更廣闊一點(diǎn)。只有獨(dú)立認(rèn)真思考，努力拼搏拿到的成果，自己過(guò)5年之后才愿意看，如果太急功近利，把團(tuán)隊(duì)的部分積淀變成自己的文章，雖然短期內(nèi)看起來(lái)收益很高，但其實(shí)是害了自己?！币虼?，他對(duì)學(xué)生的要求一向很高，就連他自己也不得不承認(rèn)：“做我的學(xué)生很辛苦?！?/p>

帶領(lǐng)公司的機(jī)器學(xué)習(xí)組在市場(chǎng)中摸爬滾打3年，積累了豐富的成果產(chǎn)業(yè)化經(jīng)驗(yàn)之后，對(duì)于當(dāng)初的“科研意義之問(wèn)”，姚權(quán)銘已然有了深刻體悟：“即便是從事基礎(chǔ)研究，我們也必須立足需求，在基礎(chǔ)之上，解決領(lǐng)域內(nèi)的務(wù)實(shí)問(wèn)題。歸根結(jié)底，自動(dòng)化機(jī)器學(xué)習(xí)的意義就是要降低社會(huì)解決某一問(wèn)題的成本。”

2020年，國(guó)際財(cái)經(jīng)商業(yè)雜志《福布斯》公布了“2020年中國(guó)30歲以下精英榜（30"Under"30）”。由于一直以來(lái)帶領(lǐng)機(jī)器學(xué)習(xí)研究團(tuán)隊(duì)為行業(yè)發(fā)展作出的突出貢獻(xiàn)，姚權(quán)銘榮登科學(xué)與醫(yī)療健康領(lǐng)域的精英榜。然而，正當(dāng)其所帶領(lǐng)的“第四范式機(jī)器學(xué)習(xí)組”逐漸成長(zhǎng)并預(yù)備走上正軌時(shí)，姚權(quán)銘卻意識(shí)到，從企業(yè)發(fā)展的角度來(lái)看，支撐科研團(tuán)隊(duì)不計(jì)成本地從事影響更加深遠(yuǎn)的研究并不現(xiàn)實(shí)，細(xì)水長(zhǎng)流的科研和優(yōu)質(zhì)人才的養(yǎng)成需要更加穩(wěn)定的平臺(tái)，團(tuán)隊(duì)創(chuàng)新力、洞見(jiàn)力的維持與提升也需要有源源不斷的優(yōu)質(zhì)人才加入。基于以上考慮，姚權(quán)銘認(rèn)為，高校無(wú)疑是更加合適的發(fā)展平臺(tái)。于是2021年6月，他正式辭去企業(yè)職務(wù)，來(lái)到清華大學(xué)，開啟了科研新征程。

研學(xué)和育人

——開拓機(jī)器學(xué)習(xí)新范式

從工業(yè)界回到學(xué)術(shù)界，成為清華大學(xué)電子工程系助理教授后，姚權(quán)銘關(guān)心更長(zhǎng)遠(yuǎn)的問(wèn)題：“一個(gè)人走很快，一群人走更遠(yuǎn)。怎么能夠凝一群優(yōu)質(zhì)人才，讓大家愿意承受失敗的風(fēng)險(xiǎn)去做一些更有創(chuàng)造力的事情？這是非常重要的?！睘閲?guó)家的長(zhǎng)遠(yuǎn)未來(lái)儲(chǔ)備優(yōu)質(zhì)人才、積累更具影響力的科研技術(shù)，就是其當(dāng)下科研生涯第三個(gè)階段中的奮斗目標(biāo)。

在人才培養(yǎng)方面，姚權(quán)銘充分發(fā)揮自己的“橋梁”作用，積極推動(dòng)產(chǎn)業(yè)界和學(xué)術(shù)界的廣泛合作與交流。在他的極力促成下，清華大學(xué)與第四范式創(chuàng)業(yè)公司及香港科技大學(xué)的一些研究團(tuán)隊(duì)之間已經(jīng)形成了研究上互補(bǔ)、人才培養(yǎng)上互助的良好合作模式。同時(shí)，姚權(quán)銘在清華大學(xué)新組建的課題組也已初步成長(zhǎng)起來(lái)，并且和百度、斯坦福、加州大學(xué)洛杉磯分校等企業(yè)、高校建立起了長(zhǎng)期合作關(guān)系。得益于這種良好的產(chǎn)學(xué)研合作環(huán)境和各方的協(xié)同合作，近兩年來(lái)，姚權(quán)銘團(tuán)隊(duì)已發(fā)表論文超過(guò)30篇，積累了小樣本學(xué)習(xí)工具包等產(chǎn)品的商業(yè)化成功經(jīng)驗(yàn)，獲得了學(xué)術(shù)界與產(chǎn)業(yè)界的高度評(píng)價(jià)。

在科研創(chuàng)新方面，姚權(quán)銘帶領(lǐng)團(tuán)隊(duì)延續(xù)此前自動(dòng)化機(jī)器學(xué)習(xí)方向，展開了更深一層的探索。具體而言，在大數(shù)據(jù)時(shí)代到來(lái)的今天，機(jī)器學(xué)習(xí)更多地被視為一種服務(wù)技術(shù)，這也為機(jī)器學(xué)習(xí)學(xué)科的發(fā)展帶來(lái)了新的機(jī)遇與挑戰(zhàn)。如何基于機(jī)器學(xué)習(xí)技術(shù)對(duì)復(fù)雜多樣的數(shù)據(jù)進(jìn)行深層次的分析，更高效地利用信息，成為當(dāng)前大數(shù)據(jù)環(huán)境下機(jī)器學(xué)習(xí)研究的主要方向。與此同時(shí)，數(shù)據(jù)稠密型的機(jī)器學(xué)習(xí)方法，即“海量參數(shù)+巨大模型”，已經(jīng)成為機(jī)器學(xué)習(xí)應(yīng)用的主流范式。但是此類方法在3個(gè)方面的問(wèn)題日漸顯著：使用門檻高、數(shù)據(jù)門檻高、認(rèn)知門檻高。這意味著在進(jìn)行機(jī)器學(xué)習(xí)的自動(dòng)化編程過(guò)程中，即便要做到對(duì)寫字、畫畫這樣的簡(jiǎn)單情景的識(shí)別與理解都伴隨著巨大的成本支出?？梢胗庠竭@些門檻，無(wú)疑是耗時(shí)又耗力的，它們的存在一方面將機(jī)器學(xué)習(xí)服務(wù)變成了壟斷資源，使其成為大廠的專有權(quán)利；另一方面抬高了各行各業(yè)應(yīng)用機(jī)器學(xué)習(xí)技術(shù)的成本，限制了相關(guān)技術(shù)在社會(huì)層面的智能升級(jí)。而姚權(quán)銘的主要研究?jī)?nèi)容就是用自動(dòng)化機(jī)器學(xué)習(xí)的手段，通過(guò)知識(shí)與數(shù)據(jù)融合的雙層優(yōu)化方式來(lái)降低這些門檻，使更多個(gè)人和企業(yè)能用上相關(guān)技術(shù)，進(jìn)而為全社會(huì)謀福利。

目前，姚權(quán)銘團(tuán)隊(duì)已經(jīng)在知識(shí)圖譜上實(shí)現(xiàn)自主表示學(xué)習(xí)方法。實(shí)驗(yàn)結(jié)果表明，這種新方法不僅在知識(shí)圖譜學(xué)習(xí)代表性任務(wù)鏈接預(yù)測(cè)上的表現(xiàn)超過(guò)手工設(shè)計(jì)模型的效果，并且還在大型生物知識(shí)圖譜谷歌百科和維基百科圖譜上表現(xiàn)優(yōu)異，曾力克螞蟻金服、斯坦福等研究團(tuán)隊(duì)，刷新大規(guī)模知識(shí)圖譜榜單（OGB）紀(jì)錄，助力第四范式創(chuàng)業(yè)公司在2020年完成7億美金D輪融資。

未來(lái)幾年，姚權(quán)銘會(huì)帶領(lǐng)團(tuán)隊(duì)繼續(xù)深入自動(dòng)機(jī)器學(xué)習(xí)方向的工作，聚焦知識(shí)與數(shù)據(jù)融合的技術(shù)手段，探索如何高效地求解雙層優(yōu)化問(wèn)題，推動(dòng)機(jī)器學(xué)習(xí)從自動(dòng)化到自主化發(fā)展，將其拓展至人工智能的科學(xué)場(chǎng)景中，探索前沿科學(xué)問(wèn)題，進(jìn)一步助力各行各業(yè)智能升級(jí)。

（責(zé)編：袁園）