校園閨蜜攜手創(chuàng)奇跡：看見聲音，聽見手語

湯秀云

失語者真的可以正常說話嗎？現(xiàn)如今，隨著科技的進(jìn)步，很多不可能悄然變成了可能。北京航空航天大學(xué)研究生王娜娜和清華大學(xué)研究生黃爽就是把這個(gè)不可能變?yōu)榭赡艿娜?，她們是怎么做到的呢?/p>

為了失語好友，決心幫助失語者群體

王娜娜和黃爽分別出生于1994年、1995年。兩年前，她們同為北京航空航天大學(xué)的本科生，也是同寢室的閨蜜。在一次朋友聚會(huì)上，王娜娜結(jié)識(shí)了聾人朋友張權(quán)。因?yàn)橥跄饶炔欢终Z，他們溝通起來十分困難，即使和張權(quán)面對面，她也不得不用微信打字和張權(quán)交流。當(dāng)許多人在一起聊得熱火朝天時(shí)，張權(quán)默默地坐在角落里，周圍的熱鬧好像與他無關(guān)。而他眼里流露出的那種茫然無助的眼神，讓王娜娜看到后不由得一陣陣心痛。她為張權(quán)感到抱歉，擔(dān)心朋友們的忽略，會(huì)加重他的自卑。

回到宿舍，王娜娜把張權(quán)的事告訴了黃爽。她倆開始關(guān)注失語者群體，并思考著為他們做點(diǎn)什么。

為了讓朋友們能感同身受，學(xué)會(huì)換位思考，多給“失語者”一些關(guān)愛，少一些歧視，幾天后的一個(gè)周末，王娜娜和黃爽舉辦了“假如給我一天成為你——一日失語者體驗(yàn)”活動(dòng)。

在超市里，因?yàn)榻Y(jié)賬時(shí)需要了解價(jià)格，體驗(yàn)失語者的王娜娜只能通過手機(jī)和店員溝通，時(shí)間稍長排在后面的人開始不耐煩地催促。而黃爽在與小朋友溝通時(shí)，差點(diǎn)被認(rèn)為是拐賣兒童的壞人。在跟隨的記錄人員與家長說明后，她才順利地幫小朋友將風(fēng)箏放飛到藍(lán)天。

通過這次活動(dòng)，王娜娜體會(huì)到，生活中，失語者面臨著極大的溝通困難。他們很難說明自己的意圖和想法，很難表達(dá)自己的困境。在網(wǎng)上，她們了解到，如何幫助失語者，是世界上很多研究機(jī)構(gòu)的課題，但成果大多還停留在實(shí)驗(yàn)階段。

她們想，假如有種機(jī)器能夠辨識(shí)手語，并將其同步翻譯成正常人能聽到或看到的語言，那么一般人就能輕易地理解聾啞人要表達(dá)的意思，幫他們脫離困境。

于是，她倆著手研究手語翻譯的可行性。查論文、做實(shí)驗(yàn)、寫代碼，用以前得到的“馮如杯”獎(jiǎng)金5萬元作為啟動(dòng)資金行動(dòng)起來。

她們知道，產(chǎn)品的設(shè)計(jì)一定不能突出失語者與別人不同，要讓失語者戴著它看上去一如正常人。因?yàn)樵诒娙搜壑凶约寒愑诔Ｈ?，是失語者心里的隱痛。

提供有用的產(chǎn)品固然重要，最重要的是要保護(hù)失語者的尊嚴(yán)！

發(fā)明翻譯臂環(huán)，讓手語“發(fā)聲”

一天課余時(shí)間，王娜娜聽一位老師抱怨，說她孩子在學(xué)彈鋼琴，僅憑每周一次的課程，很難糾正手型習(xí)慣上的錯(cuò)誤，上課效率低下。鋼琴老師向家長推薦了一款鋼琴臂環(huán)，能識(shí)別鋼琴演奏中手指、手臂的細(xì)微動(dòng)作，孩子戴上后不多久，效果還不錯(cuò)。王娜娜很納悶，這樣精確的識(shí)別究竟是如何做到的？老師解釋說，這要?dú)w功于一項(xiàng)名為肌肉電識(shí)別的技術(shù)。神經(jīng)在傳遞信號(hào)驅(qū)動(dòng)肌肉動(dòng)作時(shí)會(huì)釋放電流，通過對人體表面肌電信號(hào)的采集，就可以做到對細(xì)微的動(dòng)作變化的識(shí)別。配合手環(huán)上的陀螺儀和手機(jī)、平板的麥克風(fēng)，即可精確地收集到所需數(shù)據(jù)。將數(shù)據(jù)通過算法處理后，系統(tǒng)可以將鋼琴演奏量化，輸出為可被教師、學(xué)生、家長利用的可視化數(shù)據(jù)。

聽完這些話，王娜娜立馬就想到了手語。手語是用手來表達(dá)語言，通過手的形狀、位置、運(yùn)動(dòng)來傳遞信息。不同的手指動(dòng)作，定會(huì)觸動(dòng)不同區(qū)域的小臂肌肉，發(fā)出不一樣的肌肉電信號(hào)。

王娜娜和黃爽打算也應(yīng)用這項(xiàng)技術(shù)：將每個(gè)手語詞匯的肌肉電信號(hào)錄入系統(tǒng)，讓人工智能深度學(xué)習(xí)，再次遇見時(shí)，識(shí)別和轉(zhuǎn)化成語音。另外，在運(yùn)動(dòng)手環(huán)、智能手表普及的今天，佩戴臂環(huán)也不會(huì)讓失語者顯得突兀。

確定研發(fā)方向后，關(guān)鍵是不斷地輸入數(shù)據(jù)、調(diào)試數(shù)據(jù)以保證手語翻譯的準(zhǔn)確性。為了檢驗(yàn)?zāi)Ｐ偷目煽啃?，最初只有兩個(gè)人錄入手語的數(shù)據(jù)，整天戴著臂環(huán)在那兒抬手放手做動(dòng)作。一個(gè)多月時(shí)間，王娜娜和黃爽對著手語教材，完成30個(gè)手勢的錄入，每人至少重復(fù)比劃了一萬五千多次。證實(shí)方案可行后，她們將更多志同道合的朋友拉入團(tuán)隊(duì)。她們后來聯(lián)系了天津理工大學(xué)聾人工學(xué)院，合作進(jìn)行數(shù)據(jù)采集和智能臂環(huán)開發(fā)，還與北京市朝陽區(qū)殘聯(lián)達(dá)成合作意向，為產(chǎn)品提供咨詢、指導(dǎo)。朋友張權(quán)也成了團(tuán)隊(duì)的顧問。

為了這款取名為“手音”的APP能帶給用戶最佳體驗(yàn)，加班熬夜成了他們的家常便飯。團(tuán)隊(duì)放棄了“史上最長寒假”，回家過了幾天春節(jié)，便匆匆趕往學(xué)校，繼續(xù)開發(fā)研制。他們沒有辦公室，開會(huì)都是打游擊戰(zhàn)，咖啡廳、餐廳、教室都曾被征用過，做研發(fā)都是在自己的實(shí)驗(yàn)室里。團(tuán)隊(duì)里還有其他很多技術(shù)人員，大家一起熬夜寫代碼的時(shí)候，兩個(gè)女生也會(huì)偶爾化身為“程序員鼓勵(lì)師”，一起為團(tuán)隊(duì)加油打氣。

如今，“手音”已經(jīng)涵蓋了200個(gè)手語動(dòng)作，為了保證精確度，每一個(gè)動(dòng)作錄制了一千人次。在有了自己的手勢數(shù)據(jù)庫之后，團(tuán)隊(duì)還搭建了一個(gè)7層BP神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)速度進(jìn)行訓(xùn)練。在識(shí)別手勢后，會(huì)利用藍(lán)牙將數(shù)據(jù)無線傳輸?shù)诫娔X上，電腦根據(jù)傳來的連續(xù)數(shù)據(jù)分析出是否符合某個(gè)手語動(dòng)作，再通過揚(yáng)聲器將對應(yīng)的詞語或短句讀出來。

整個(gè)流程看起來似乎并不復(fù)雜，但它能夠像助聽器一樣成為失語者日常生活的一部分，極大地方便了他們的日常交流。

手語翻譯器在聯(lián)合國創(chuàng)業(yè)大賽上奪冠

為檢驗(yàn)這款A(yù)PP的效果如何，王娜娜拿著測試樣機(jī)到一家超市給用戶體驗(yàn)。正巧，她遇到了一位聾啞母親，當(dāng)時(shí)正焦急地向路人比劃著什么，但是沒一個(gè)人看得懂。王娜娜給這位母親戴上臂環(huán)后，這位母親打著手勢，“我的孩子走丟了”的文字快速地反應(yīng)在APP“手音”的界面上，并轉(zhuǎn)化為語音說出“我的孩子走丟了”。當(dāng)他們幫助她找到孩子后，她又做了點(diǎn)贊的手勢，語音說出了“謝謝！”

這次體驗(yàn)的成功給了王娜娜團(tuán)隊(duì)很大信心?！爱?dāng)你真正去幫助他們，他們就知道你是為他們好，就會(huì)非常配合?！蓖跄饶日f。在許多聽障人士的幫助下，他們在使用APP過程中不斷迭代更新，完善軟件，同時(shí)得到越來越多的肌電數(shù)據(jù)，然后通過大數(shù)據(jù)進(jìn)行分析，最后越來越精確。

2017年4月底，“極·致未來”責(zé)任創(chuàng)新挑戰(zhàn)賽于北京舉行，現(xiàn)場邀請了包括聯(lián)合國開發(fā)計(jì)劃署國別主任文靄潔、谷歌首席科學(xué)家在內(nèi)的11位評委嘉賓。臂環(huán)研究團(tuán)隊(duì)的顧問張權(quán)上臺(tái)，他手臂上的黑色臂環(huán)，看上去像跑步時(shí)用的護(hù)腕。當(dāng)張權(quán)用含混的發(fā)音介紹他自己時(shí)，人們還在疑惑怎么都聽不清楚他在說什么，接著才突然意識(shí)到，他是一個(gè)失語者。

然后，他用手指向前方，做出點(diǎn)贊的手勢，“你好”的文字快速地反應(yīng)在APP界面上，并轉(zhuǎn)化為語音清晰地說出了“你好”，臺(tái)下已經(jīng)掌聲雷動(dòng)。王娜娜介紹，他們針對失語者設(shè)計(jì)了這種臂環(huán)，可以將手語翻譯成語音，目的是解決聽障人士的溝通問題，也就是幫助失語者“說話”。

聯(lián)合國開發(fā)計(jì)劃署駐華代表羅世禮先生十分認(rèn)同中國青年人解決社會(huì)問題的想法和態(tài)度。據(jù)專家鑒定，該項(xiàng)研發(fā)成果具有廣泛的應(yīng)用前景，而且，隨著人工智能的成熟，實(shí)現(xiàn)失語者像普通人一樣流利對話，許多技術(shù)難題都將迎刃而解。屆時(shí)，手語識(shí)別臂環(huán)將成為失語者的福音。

最后，王娜娜團(tuán)隊(duì)的“看見聲音，聽見手語”項(xiàng)目，從兩千多份參賽方案中脫穎而出，獲得了決賽第一名“最佳人氣獎(jiǎng)”，被譽(yù)為最有包容性的項(xiàng)目。

關(guān)于未來，王娜娜和黃爽有很多設(shè)想，“手音”可以實(shí)現(xiàn)面對面小聊和長時(shí)間對話的功能，未來還可以推出手語教學(xué)、手語字母和智能臂環(huán)，解決手語教師缺乏等各種問題。此外，這種人工智能技術(shù)成熟后還可以應(yīng)用在其他方面，例如可以教學(xué)鋼琴的孩子更加準(zhǔn)確地彈琴。

責(zé)編/昕莉endprint