看得見聲音，聽得見手語

湯秀云

失語者真的可以正常說話嗎？現(xiàn)如今，隨著科技的進(jìn)步，很多不可能變成了可能。針對(duì)中國龐大的失語者群體，北京航空航天大學(xué)研究生王娜娜和清華大學(xué)研究生黃爽經(jīng)過兩年多的不懈努力，研究出了款手語翻譯臂環(huán)。失語者戴上臂環(huán)后，每做出一個(gè)手語動(dòng)作，該臂環(huán)就能自動(dòng)識(shí)別并轉(zhuǎn)換成語音播放出來，實(shí)現(xiàn)了失語者與普通人零距離溝通。

為了失語好友，決心幫助失語者群體

王娜娜和黃爽在北京航空航天大學(xué)讀本科時(shí)，是同室閨密。在次朋友聚會(huì)上，王娜娜結(jié)識(shí)了聾人朋友張權(quán)。因?yàn)橥跄饶炔欢终Z，他們溝通起來十分困難，即使和張權(quán)面對(duì)面，她也不得不用微信打字和張權(quán)交流。王娜娜發(fā)現(xiàn)，當(dāng)許多人在起聊得熱火朝天時(shí)，張權(quán)只能獨(dú)自默默地坐在個(gè)偏僻的角落里，眼里流露出茫然無助。不知為什么，王娜娜為無聲世界中的張權(quán)感到抱歉，擔(dān)心朋友們的忽略，會(huì)加重張權(quán)的自卑。

回到宿舍，王娜娜把張權(quán)的故事告訴了黃爽。她倆開始關(guān)注失語者這類特殊人群，并思考著為他們做點(diǎn)什么。為了讓朋友們感同身受，學(xué)會(huì)換位思考，王娜娜和黃爽提議舉辦“假如給我天成為你——一日失語者體驗(yàn)”活動(dòng)。

在超市里，因?yàn)榻Y(jié)賬時(shí)需要了解價(jià)格，體驗(yàn)失語者的王娜娜只能通過手機(jī)和店員溝遁，時(shí)旬稍長(zhǎng)排在后面的人開始不耐煩地催促。而黃爽在與小朋友溝通時(shí)，差點(diǎn)被認(rèn)為是拐賣兒童的壞人。

通過這次活動(dòng)，王娜娜體會(huì)到，生活中的失語者面臨很多困難。面對(duì)正常人，他們很難表達(dá)自己的想法和困境。即使現(xiàn)代科技發(fā)明已經(jīng)對(duì)此類課題有了多項(xiàng)研究，但成果大多還停留在實(shí)驗(yàn)室階段。王娜娜突發(fā)奇想，假如有種機(jī)器能夠辨識(shí)手語，并將其翻譯成正常人能聽到或看到的語言，那么他們就能輕易地理解聾啞人要表達(dá)的意思，幫助脫離溝通困境。

王娜娜和黃爽著手研究手語翻譯的可行性。通過查論文、做實(shí)驗(yàn)、寫代碼，并用以前得到的“馮如杯”獎(jiǎng)金5萬元作為啟動(dòng)資金正式行動(dòng)起來。

資料顯示，兩名華盛頓大學(xué)的大二學(xué)生，為聾啞人研發(fā)了一款神奇手套，可將手語翻譯成語音。但手套太引人注目，傷害失語者的自尊，使他們更加不愿意出門。王娜娜發(fā)現(xiàn)手語也是有定規(guī)則的手勢(shì)，可以利用攝像頭識(shí)別將手語轉(zhuǎn)化成語音，但是隨身攜帶個(gè)可以四處移動(dòng)的跟蹤攝像頭，很顯然不是件很自然的事。

發(fā)明翻譯臂環(huán)，讓手語“發(fā)聲”

有次，王娜娜聽到位老師抱怨，他家孩子在學(xué)彈鋼琴，僅憑每周一次的課程，很難糾正手型、習(xí)慣上的錯(cuò)誤，導(dǎo)致上課效率很低。后來鋼琴老師向家長(zhǎng)推薦了一款鋼琴臂環(huán)，能識(shí)別鋼琴演賽中手指、手臂的細(xì)微動(dòng)作，孩子戴上后不久，手勢(shì)就有了明顯改觀。王娜娜很納悶，這樣精確的識(shí)別究竟是如何做到的7經(jīng)過調(diào)研發(fā)現(xiàn)，這是項(xiàng)名為肌肉電識(shí)別的技術(shù)。神經(jīng)在傳遞信號(hào)驅(qū)動(dòng)肌肉動(dòng)作時(shí)會(huì)釋放電流，通過對(duì)人體表面肌電信號(hào)的采集，就可以做到對(duì)細(xì)微的動(dòng)作變化的識(shí)別。配合手環(huán)上的陀螺儀和手機(jī)、平板電腦的麥克風(fēng)，即可精確地收集到所需數(shù)據(jù)。將數(shù)據(jù)通過算法處理后，系統(tǒng)可以將鋼琴演奏量化，輸出為可被教師、學(xué)生、家長(zhǎng)利用的可視化數(shù)據(jù)。

王娜娜立馬就想到了手語。不同的手指動(dòng)作，定會(huì)觸動(dòng)不同區(qū)域的小臂肌肉，發(fā)出不一樣的肌肉電信號(hào)。王娜娜和黃爽打算也應(yīng)用這項(xiàng)技術(shù)將每個(gè)手語詞匯的肌肉電信號(hào)錄入系統(tǒng)，讓人工智能深度學(xué)習(xí)，然后識(shí)別和轉(zhuǎn)化成語音。另外，在運(yùn)動(dòng)手環(huán)、智能手表普及的今天，佩戴臂環(huán)也不會(huì)讓失語者顯得突兀。

確定研發(fā)方向后，關(guān)鍵是不斷地輸入數(shù)據(jù)、調(diào)試數(shù)據(jù)以保證手語翻譯的準(zhǔn)確性。為了檢驗(yàn)?zāi)Ｐ偷目煽啃?，最初只有兩個(gè)人在錄手語的數(shù)據(jù)，整天戴著臂環(huán)在那兒抬手放手做動(dòng)作。整整 個(gè)月，王娜娜和黃爽對(duì)著手語教材，完成30個(gè)手勢(shì)的錄入，每人至少重復(fù)比畫了一萬五千多次。證實(shí)方案可行后，她們又聯(lián)系了天津理工大學(xué)聾人工學(xué)院，合作進(jìn)行數(shù)據(jù)采集和智能臂環(huán)開發(fā)，還與北京市朝陽區(qū)殘聯(lián)達(dá)成合作意向，為產(chǎn)品服務(wù)化提供咨詢和指導(dǎo)。朋友張權(quán)也成了團(tuán)隊(duì)的顧問。

為了這款取名“手音”的APP能帶給用戶最佳體驗(yàn)，加班、熬夜成了團(tuán)隊(duì)的家常便飯。201 6年，他們甚至放棄了“史上最長(zhǎng)寒假”，回家過了幾天春節(jié)，隊(duì)員們便匆匆趕往學(xué)校，繼續(xù)開發(fā)、研制。他們沒有辦公室，開會(huì)就像打游擊戰(zhàn)，咖啡廳、餐廳、教室都曾用過。在實(shí)驗(yàn)室進(jìn)行研發(fā)試驗(yàn)時(shí)，男生熬夜寫代碼，兩個(gè)女生也會(huì)偶爾化身為“程序員鼓勵(lì)師”，起為團(tuán)隊(duì)加油打氣。

如今，“手音”已經(jīng)涵蓋了200個(gè)手語動(dòng)作，為了保證精確度，每 個(gè)動(dòng)作錄制了一千人次。在識(shí)別手勢(shì)后，“手音”會(huì)利用藍(lán)牙將數(shù)據(jù)無線傳輸?shù)诫娔X上，電腦根據(jù)傳來的連續(xù)數(shù)據(jù)分析出是否符合某個(gè)手語動(dòng)作，再通過揚(yáng)聲器將對(duì)應(yīng)的詞語或短句讀出來。

整個(gè)流程看起來似乎并不復(fù)雜，但它能夠像助聽器 樣成為失語者日常生活的一部分，極大地方便了他們的日常交流。

在創(chuàng)業(yè)大賽上奪冠

為檢驗(yàn)這款A(yù)PP的效果，王娜娜拿著測(cè)試樣機(jī)到一家超市給用戶體驗(yàn)。正巧，她遇到了位聾啞母親，當(dāng)時(shí)正焦急地向路人比畫著什么，但是沒一個(gè)人看得懂。王娜娜給這位母親戴上臂環(huán)后，這位母親打著手勢(shì)，“我的孩子走丟了”的文字快速地出現(xiàn)在“手音”APP的界面上，并轉(zhuǎn)化為語音輸出。當(dāng)王娜娜幫助她找到孩子后，她又做了點(diǎn)贊的手勢(shì)，語音說出了“謝謝”

這次體驗(yàn)的成功給了王娜娜團(tuán)隊(duì)很大信心。在許多聽障人士的幫助下，“手音”APP不斷迭代更新，同時(shí)得到越來越多的肌電數(shù)據(jù)，通過這些大數(shù)掘的分析，語音翻譯越來越精確。

2017年4月底，“極·致未來”責(zé)任創(chuàng)新挑戰(zhàn)賽在北京舉行，現(xiàn)場(chǎng)邀請(qǐng)了聯(lián)合國開發(fā)計(jì)劃署國別主任文靄潔、谷歌首席科學(xué)家在內(nèi)的11位評(píng)委嘉賓。團(tuán)隊(duì)的顧問張權(quán)上臺(tái)，他手臂上的黑色臂環(huán)，看上去像跑步時(shí)用的護(hù)腕。當(dāng)張權(quán)用含混的發(fā)音介紹他自己時(shí)，人們還在疑惑什么都聽不清楚的時(shí)候，張權(quán)用手指向前方，做出點(diǎn)贊的手勢(shì)，“手音”APP轉(zhuǎn)化為語音清晰地說出了“你好”，臺(tái)下瞬間掌聲雷動(dòng)。

聯(lián)合國開發(fā)計(jì)劃署駐華代表羅世禮先生十分認(rèn)同中國青年人解決社會(huì)問題的想法和態(tài)度。據(jù)專家鑒定，該項(xiàng)研發(fā)成果具有廣泛的應(yīng)用前景，而且隨著人工智能的成熟，許多技術(shù)難題都將迎刃而解。屆時(shí)，手語識(shí)別臂環(huán)將成為失語者的福音。

最終，王娜娜團(tuán)隊(duì)也憑借《看見聲音，聽見手語》項(xiàng)目，從兩干多份參賽方案中脫穎而出，獲得了決賽第名最佳人氣獎(jiǎng)，被譽(yù)為最有“包容性”的項(xiàng)目。與大多數(shù)緊盯收益的項(xiàng)目不同，王娜娜和黃爽沒太考慮過賺錢的事，她們想的就是讓聽障人士生活得更好，讓生命更有尊嚴(yán)。