姚登峰：破解無聲世界的密碼

本刊記者 黃 健

姚登峰

200萬年前人類祖先最早依靠一些簡(jiǎn)單的手勢(shì)彼此溝通，在漫長(zhǎng)的進(jìn)化過程中，人類慢慢學(xué)會(huì)說話，取代了初始的手勢(shì)。以致于在即將邁入人工智能的時(shí)代，很多人似乎忘記了人類先祖曾用的手勢(shì)和現(xiàn)代社會(huì)依然存在手語族。然而姚登峰卻癡迷于用現(xiàn)代科學(xué)技術(shù)，探索與破解無聲世界的手語。手語表面看起來很簡(jiǎn)單，和一般模仿的姿勢(shì)沒有兩樣，但一個(gè)看似簡(jiǎn)單的手勢(shì)其實(shí)蘊(yùn)含著語言學(xué)奧秘，必須逐層剝除拆解，里面是一群三維空間組合的動(dòng)態(tài)模型，層層相裹……

穿越阻礙，重塑生命放光華

姚登峰是位聽障人士，在聾教界更是一位傳奇性人物。他和母親合著的《登峰——從無聲世界走來的清華博士》是中國(guó)聽力語言康復(fù)研究中心推薦的家長(zhǎng)讀物，受到全國(guó)各類家長(zhǎng)和學(xué)校的歡迎和熱捧，很多學(xué)校把它作為培訓(xùn)教材。他1歲時(shí)因一次平常的感冒導(dǎo)致雙耳聽力極重度損失，是母親堅(jiān)持不懈的語言康復(fù)訓(xùn)練幫助他走出了無聲世界，他學(xué)會(huì)用普通話與人正常交流。最終克服重重阻礙，創(chuàng)造了一個(gè)個(gè)人生奇跡！他一直在普通學(xué)校讀書，自強(qiáng)不息，勤奮努力，成績(jī)優(yōu)秀。1998年他參加了全國(guó)統(tǒng)一高考，越過了全國(guó)高校統(tǒng)一錄取分?jǐn)?shù)線，卻被一所重點(diǎn)大學(xué)以“沒有招收殘疾人的先例”為由而退檔拒錄。幾經(jīng)周折，他被一所二類大學(xué)錄取。盡管高考遭遇挫折，但挫折、痛苦、沮喪對(duì)他的人生卻產(chǎn)生了更加積極地影響。大學(xué)后，他每年都能獲得獎(jiǎng)學(xué)金，2000年還光榮地加入了中國(guó)共產(chǎn)黨。大學(xué)畢業(yè)后他參加了全國(guó)研究生統(tǒng)考，以專業(yè)第一名的成績(jī)順利考入北京大學(xué)攻讀碩士學(xué)位。他的碩士畢業(yè)論文被答辯委員會(huì)推薦為那一批次唯一的優(yōu)秀論文。2012年又以第一名的成績(jī)考取清華大學(xué)博士研究生，4年后以7A的全優(yōu)成績(jī)通過博士答辯。正如他說:“是人世間的愛成就了我的今天！是康復(fù)和知識(shí)改變了我的命運(yùn)！是神奇、巨大的教育力量讓我重生！”他懂得感恩，志存高遠(yuǎn)。因?yàn)樽约呵髮W(xué)艱難，便想到千千萬萬個(gè)和自己一樣的不幸者，希望能為聽障人的康復(fù)和教育事業(yè)貢獻(xiàn)自己的力量。感恩，報(bào)效祖國(guó)和社會(huì)，成為他生命中不斷進(jìn)取的力量泉源！因?yàn)楦卸?，成就他今天的累累科研成果；因?yàn)楦卸?，他的生命得到升華！

不畏艱難，科學(xué)高峰摘碩果

2006年姚登峰北大碩士畢業(yè)后，來到北京聯(lián)大任教。這期間，恰逢北京聯(lián)大與IBM簽署合作協(xié)議，在中國(guó)第一個(gè)試點(diǎn)將信息無障礙技術(shù)引進(jìn)高校。從此，他傾注了自己全部熱情和精力，在完成教學(xué)任務(wù)的同時(shí)，開始了信息無障礙的研究。他主持了教育部與IBM精品課程建設(shè)項(xiàng)目，在中國(guó)第一個(gè)將無障礙技術(shù)整合進(jìn)軟件測(cè)試課程，先后在信息無障礙領(lǐng)域頂級(jí)SCI期刊和頂級(jí)會(huì)議發(fā)表來自中國(guó)大陸的第一篇論文。此外他還參與研發(fā)了微軟、中科院計(jì)算所、北京聯(lián)大合作的基于Kinect的手語識(shí)別翻譯系統(tǒng)、國(guó)內(nèi)第一臺(tái)手語機(jī)器人——聯(lián)大一號(hào)等科研項(xiàng)目。

他的理想就是讓殘障人接收信息無障礙。在信息科學(xué)如此發(fā)達(dá)的今天，有聲語言計(jì)算的研究已經(jīng)成熟并越來越先進(jìn)。然而手語作為聽障者的母語，也是全世界語言學(xué)家公認(rèn)的一種自然語言，其背后的手語計(jì)算領(lǐng)域卻還是一片空白。他認(rèn)為自己是特殊高等教育一線工作的教師，感覺自己責(zé)無旁貸。為了從事這項(xiàng)研究，他努力學(xué)習(xí)，提高自己的綜合素質(zhì)，2012年考入清華大學(xué)師從江銘虎教授。談及錄取姚登峰攻讀博士學(xué)位的初衷，江銘虎教授說，上帝推倒“巴別塔”阻礙了人類的交流，我們正在用人工智能重建“巴別塔”。希望在“巴別塔”工程上建一座“橋梁”，即利用手語認(rèn)知和計(jì)算技術(shù)，讓有聲世界的口語族與無聲世界的手語族能通過這座“橋梁”自由往來。姚登峰是游歷在有聲和無聲世界的學(xué)者，通曉兩個(gè)世界的語言。目前計(jì)算機(jī)能夠識(shí)別理解有聲語言的語音和文字，尚不能認(rèn)知、識(shí)別和理解手語，這座“橋梁”尚沒連通，只能遙遙相望。這是一個(gè)龐大的系統(tǒng)工程，希望姚登峰能為這座“橋梁”貢獻(xiàn)力量。

這是一個(gè)多學(xué)科交叉的研究領(lǐng)域，靠單一的學(xué)科知識(shí)不可能完成。它涉及語言學(xué)、計(jì)算機(jī)科學(xué)、認(rèn)知神經(jīng)科學(xué)、心理學(xué)、統(tǒng)計(jì)學(xué)等。擺在姚登峰面前的難度很大，需要跨學(xué)科攝入知識(shí)營(yíng)養(yǎng)。一方面他找來導(dǎo)師江銘虎編著的《自然語言處理》《腦與語言認(rèn)知》等書籍，還找到拉克著《認(rèn)知神經(jīng)科學(xué)—關(guān)于心智的生物學(xué)（萬千心理）》等世界權(quán)威的認(rèn)知神經(jīng)科學(xué)著作以及語言學(xué)、心理學(xué)的著作和文獻(xiàn)。另一方面他還積極參與導(dǎo)師的國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目“漢語認(rèn)知加工機(jī)制與計(jì)算模型研究”、國(guó)家社會(huì)科學(xué)基金重大項(xiàng)目“漢語非字面語言大腦加工的神經(jīng)機(jī)制研究”等重大項(xiàng)目。通過一系列的研究工作，姚登峰發(fā)現(xiàn)手語在韻律感、流暢度、陳述順序各方面的表現(xiàn)特點(diǎn)與有聲語言不相上下。手語對(duì)于空間的靈活運(yùn)用，猶如電影般的敘事風(fēng)格，有時(shí)讓其他語言相形失色，思想可通過各種途徑呈現(xiàn)，手語極度繁復(fù)，卻能明快流暢地進(jìn)行表達(dá)。聽障者何以具備驚人的天分，竟然能夠運(yùn)用空間，并以無比巧妙的方式將空間語言化？姚登峰在國(guó)內(nèi)率先開展了一系列手語腦認(rèn)知實(shí)驗(yàn)，使用最尖端的精密儀器——ERP實(shí)驗(yàn)研究了中國(guó)手語模態(tài)對(duì)大腦加工的影響，他發(fā)現(xiàn)手語是一個(gè)很重要的模態(tài)，同有聲語言一樣也是人類對(duì)于客觀世界感知體驗(yàn)后的產(chǎn)物從而第一個(gè)在國(guó)際上提出了手語認(rèn)知架構(gòu)等，發(fā)表了《手語模態(tài)對(duì)句子加工的影響》《Cognitive computing on Chinese Sign Language perception and comprehension》等論文。

此外，手語并非一串凍結(jié)在空間中的姿勢(shì)組合，會(huì)根據(jù)時(shí)間不斷地變換內(nèi)容，如同音樂和口語，也具有節(jié)拍和段落的動(dòng)態(tài)本質(zhì)。傳統(tǒng)的同步化結(jié)構(gòu)模型無法呈現(xiàn)這些順序性，反倒讓這些特性隱晦不明。傳統(tǒng)的靜態(tài)模型不再適用，必須改以精確巧妙、動(dòng)態(tài)描述的方式——類似音樂和舞蹈的形態(tài)。根據(jù)這些發(fā)現(xiàn)，他從認(rèn)知計(jì)算角度認(rèn)為手語認(rèn)知計(jì)算是從手勢(shì)的物理特征到語義表征的映射轉(zhuǎn)換過程，即從像素、邊等底層特征逐層加工映射成音韻特征，再根據(jù)音韻特征加工成低級(jí)別的語義單元、再逐步抽象出高級(jí)別的語義單元之類的高層特征，最終形成手勢(shì)語義概念。由此可見，過去30多年的手語識(shí)別與計(jì)算省略了音韻特征、語義單元這樣的中間步驟，直接從底層特征得到語義概念，這樣的分析有很多疏漏。他提出基于音系學(xué)特征而非視覺特征進(jìn)行手語理解等，發(fā)表了《Sign Segmentation in the Text of Chinese Sign Language》《基于音系學(xué)模型的手語理解》等論文。

手語計(jì)算，人工智能喜結(jié)緣

美國(guó)工程院院士沈向洋博士在2017年中國(guó)計(jì)算機(jī)大會(huì)提出，未來10年中，“懂語言者得天下”，自然語言處理會(huì)成為人工智能突破的最重要方向。認(rèn)知心理學(xué)告訴我們，人類運(yùn)用自然語言進(jìn)行交流獲得的效果中，講話內(nèi)容僅占7%，強(qiáng)度和語調(diào)占38%，而面部表情和肢體動(dòng)作卻占了55%，其中，強(qiáng)度和語調(diào)涉及情感的加工計(jì)算，面部表情和肢體動(dòng)作涉及行為語言的加工計(jì)算。中國(guó)人工智能學(xué)會(huì)理事長(zhǎng)李德毅院士強(qiáng)調(diào)長(zhǎng)達(dá)半個(gè)世紀(jì)的自然語言處理學(xué)科研究中，我們卻僅關(guān)注于講話內(nèi)容的理解，對(duì)以面部表情和肢體動(dòng)作為代表的手語計(jì)算卻關(guān)注甚少。所以，對(duì)于手語認(rèn)知計(jì)算研究是語言研究的重要組成部分，是對(duì)人類語言本質(zhì)的探索和認(rèn)識(shí)。這些科學(xué)成果不僅可惠及弱勢(shì)群體，更惠及人類社會(huì)。

姚登峰清華博士畢業(yè)后，除完成面向聽障學(xué)生的教學(xué)和試驗(yàn)外，先后主持或參與了國(guó)家語委重點(diǎn)項(xiàng)目“手語語言處理的智能化理論和技術(shù)研究”、教育部人文社會(huì)科學(xué)研究青年基金“中國(guó)手語空間隱喻加工神經(jīng)機(jī)制的ERP研究”等項(xiàng)目。他領(lǐng)導(dǎo)的課題組是國(guó)內(nèi)唯一在語言學(xué)領(lǐng)域開展行為語言認(rèn)知計(jì)算的團(tuán)隊(duì)（其他團(tuán)隊(duì)主要集中在圖像處理領(lǐng)域的行為動(dòng)作識(shí)別方向），其以手語為代表的語言認(rèn)知與計(jì)算研究在國(guó)內(nèi)外一直處于領(lǐng)先地位。為了解決手語計(jì)算的定義和內(nèi)涵的基本問題，他在國(guó)際上首次定義手語計(jì)算的概念，并提出了手語計(jì)算的理論，在《計(jì)算機(jī)學(xué)報(bào)》上發(fā)表了《手語計(jì)算30年：回顧與展望》論文，他認(rèn)為手語計(jì)算與傳統(tǒng)語言計(jì)算的區(qū)別在于手語計(jì)算以空間計(jì)算為主，核心任務(wù)是將單信道表征和多信道表征相互轉(zhuǎn)換，而非傳統(tǒng)語言計(jì)算的根本任務(wù)“消歧”。因此空間建模、空間隱喻、空間語義等概念貫穿了行為語言計(jì)算的詞法、句法、語義和語用等各個(gè)階段。此外還需要解決行為語言的輸入輸出問題，發(fā)展多信道編碼的理論，將傳統(tǒng)語言計(jì)算研究的重點(diǎn)逐步過渡到多信道信息編碼之中，帶動(dòng)傳統(tǒng)語言與多信道編碼理論并軌，形成最優(yōu)的信道編碼系統(tǒng)，從而提高通訊效率。因?yàn)榭蒲谐煽?jī)突出，他破格晉升為副教授；同年，被遴選為碩士生導(dǎo)師。去年，姚登峰被李德毅、李伯虎等院士推薦為北京市卓越青年科學(xué)家。

他開展信息無障礙研究的初衷，是希望利用先進(jìn)的科學(xué)技術(shù)幫助殘障人，方便殘障人的生活和學(xué)習(xí)。這成為他克服一個(gè)個(gè)困難和挫折的無盡動(dòng)力，最終在幫助別人的過程中幫助了自己，成就了自己人生的精彩。

在清華荷塘留影

堅(jiān)守初心，理想之樹綻新蕾

姚登峰認(rèn)為手語計(jì)算無法借鑒傳統(tǒng)語言計(jì)算技術(shù)，但是互聯(lián)網(wǎng)時(shí)代涌現(xiàn)出的新技術(shù)則為手語計(jì)算帶來了新的機(jī)遇，比如體感設(shè)備的出現(xiàn)、認(rèn)知神經(jīng)科學(xué)的興起等。他信心滿滿，已經(jīng)有明確的未來規(guī)劃，今后幾年，姚登峰團(tuán)隊(duì)將以助聾機(jī)器人為載體，以智能感知和認(rèn)知計(jì)算共性關(guān)鍵技術(shù)和應(yīng)用技術(shù)為主攻方向，致力于語言計(jì)算提供必要的技術(shù)積累以及應(yīng)用經(jīng)驗(yàn)。通過不同專業(yè)方向的交叉結(jié)合開展研究，下一步目標(biāo)將利用深度學(xué)習(xí)開發(fā)大規(guī)模手語語料自動(dòng)標(biāo)注技術(shù)，解決尚無應(yīng)用機(jī)器學(xué)習(xí)的手語語料庫(kù)基礎(chǔ)問題，面向智能產(chǎn)品和應(yīng)用提供手語計(jì)算云服務(wù)等智能功能，助力人工智能的發(fā)展。

姚登峰提到，在人類的歷史長(zhǎng)河中，手語擁有比傳統(tǒng)語言更長(zhǎng)的歷史，在交叉學(xué)科的推動(dòng)下，手語計(jì)算可能會(huì)出現(xiàn)實(shí)質(zhì)性突破。這個(gè)理由在于中國(guó)擁有世界上最豐富的手語資源，不但在手語的手勢(shì)、句法、語義和語用等層面擁有豐富的語言資源，而且中國(guó)手語方言也是世界上最多的，其手語的多樣性也為世界所罕見。姚登峰團(tuán)隊(duì)也力求在人們的生活領(lǐng)域做出一番成績(jī)，“將來，助聾機(jī)器人可應(yīng)用到醫(yī)院、法院等專業(yè)場(chǎng)合，解決手語翻譯缺乏的問題，還可以用于智能家居、老年陪護(hù)、兒童陪護(hù)、給教師缺少的偏遠(yuǎn)山區(qū)做輔教……希望給大家的生活帶來方便，提高人們的幸福指數(shù)”。

當(dāng)問及遠(yuǎn)大目標(biāo)時(shí)，姚登峰表示，將用一生解決手語計(jì)算問題，堅(jiān)守理論高地，力解人工智能沒有解決的難題。“我們不會(huì)設(shè)定長(zhǎng)遠(yuǎn)目標(biāo)，但我們會(huì)扎扎實(shí)實(shí)努力，老老實(shí)實(shí)把技術(shù)做出來，為人工智能的發(fā)展和建設(shè)和諧社會(huì)貢獻(xiàn)一點(diǎn)綿薄之力”。