基于自然拼讀的穿戴式啞語(yǔ)翻譯裝置研究

謝 俐，何 勇，秦 蒙

(1.重慶電力高等專(zhuān)科學(xué)校，重慶 400053；2.重慶市實(shí)驗(yàn)中學(xué)，重慶 401320)

1 研究意義

據(jù)世界衛(wèi)生組織統(tǒng)計(jì)，全世界失語(yǔ)人口數(shù)以億計(jì)。失語(yǔ)給無(wú)數(shù)家庭帶來(lái)巨大的傷害。隨著人工智能和現(xiàn)代信息技術(shù)的飛速發(fā)展，利用現(xiàn)代科技解決殘障人士的生活不便問(wèn)題是各大科研團(tuán)隊(duì)、醫(yī)療單位關(guān)注的重點(diǎn)，也是滿足人民美好生活需要的關(guān)鍵。

解決失語(yǔ)群體交流問(wèn)題常用的啞語(yǔ)又稱(chēng)“手語(yǔ)”“手勢(shì)”，是一種以手的動(dòng)作和面部表情表達(dá)思想、進(jìn)行交際的手段。啞語(yǔ)對(duì)失語(yǔ)者來(lái)說(shuō)是最好的語(yǔ)言，是失語(yǔ)者之間，以及失語(yǔ)者和其親屬間交流、學(xué)習(xí)知識(shí)的重要手段。但是要用啞語(yǔ)進(jìn)行交流，要求交流的雙方都要會(huì)這種手勢(shì)語(yǔ)言才行。然而，由于啞語(yǔ)學(xué)習(xí)比較困難，在非聾啞群體中的普及程度并不高。這給失語(yǔ)者在現(xiàn)實(shí)社會(huì)中與其他普通人的交往帶來(lái)了障礙，不利于失語(yǔ)者融入社會(huì)。

啞語(yǔ)使用時(shí)，多有上肢和身體的動(dòng)作。因手的表現(xiàn)力有限，故表達(dá)概念不如有聲語(yǔ)言準(zhǔn)確，且難以表示抽象概念。同時(shí)，因手語(yǔ)手勢(shì)太復(fù)雜，不能廣泛被人使用，何況一個(gè)字有時(shí)往往需要用許多手勢(shì)才能解釋清楚，而對(duì)于抽象概念的表達(dá)就更難了。

因此，要是有一種能把啞語(yǔ)直接翻譯成語(yǔ)音的翻譯器，失語(yǔ)者在社會(huì)中與普通人的交往就可以變得順暢、輕松，這也更利于他們?nèi)谌肷鐣?huì)。本文研究的就是利用自然拼讀方法實(shí)現(xiàn)啞語(yǔ)翻譯的穿戴裝置，以解決失語(yǔ)患者使用手語(yǔ)與普通人之間的“語(yǔ)言”溝通問(wèn)題。

2 國(guó)內(nèi)外研究現(xiàn)狀及發(fā)展趨勢(shì)

通過(guò)查詢資料發(fā)現(xiàn)，近年來(lái)越來(lái)越多的研究人員開(kāi)始重視啞語(yǔ)翻譯，也取得了一些研究成果，如：微軟亞洲研究院和中科院的Kinect手語(yǔ)翻譯系統(tǒng)；北京航空航天大學(xué)“看見(jiàn)聲音，聽(tīng)見(jiàn)手語(yǔ)”團(tuán)隊(duì)的手語(yǔ)翻譯臂環(huán)；華盛頓大學(xué)兩位本科生的SignAloud手語(yǔ)翻譯手套；北京郵電大學(xué)“手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”項(xiàng)目團(tuán)隊(duì)的手語(yǔ)翻譯手套；等等。

總體來(lái)說(shuō)，當(dāng)前的手語(yǔ)翻譯系統(tǒng)主要基于3種技術(shù)手段：基于視覺(jué)的手語(yǔ)識(shí)別[1-3]，基于表面肌電信號(hào)的手語(yǔ)識(shí)別[4-5]和基于數(shù)據(jù)手套的手語(yǔ)識(shí)別[6-8]。但是，現(xiàn)有的啞語(yǔ)翻譯系統(tǒng)或多或少存在一些問(wèn)題。比如，微軟和中科院的基于Kinect的手語(yǔ)翻譯系統(tǒng)，以及華盛頓大學(xué)的SignAloud手語(yǔ)翻譯手套均需要將傳感器獲取的手勢(shì)信息回傳給電腦，然后經(jīng)過(guò)電腦處理后發(fā)出聲音，這大大限制了啞語(yǔ)翻譯系統(tǒng)的使用范圍。北京航空航天大學(xué)和清華大學(xué)團(tuán)隊(duì)利用肌電傳感器、陀螺儀、距離感應(yīng)器等組件，并結(jié)合一套算法來(lái)解析手語(yǔ)的動(dòng)作，這應(yīng)該算是現(xiàn)有的手語(yǔ)翻譯系統(tǒng)中比較優(yōu)秀的方案。但是該方案，以及北京郵電大學(xué)團(tuán)隊(duì)的啞語(yǔ)翻譯系統(tǒng)方案都是基于詞匯的啞語(yǔ)翻譯，只能對(duì)特定的手語(yǔ)詞匯進(jìn)行處理。

關(guān)于啞語(yǔ)的研究如下：1959年，中國(guó)手語(yǔ)改革委員會(huì)整理、修訂了《聾啞人通用手語(yǔ)草圖》，先后共出版了4輯、含2 000個(gè)手勢(shì)圖示；1979年，中國(guó)盲人聾啞人協(xié)會(huì)在草圖的基礎(chǔ)上又重新繪圖，出版了兩輯《聾啞人通用手語(yǔ)圖》；1982年全國(guó)手語(yǔ)工作會(huì)議討論和制訂了640個(gè)新的手勢(shì)動(dòng)作，并由民政部、教育部、中國(guó)文字改革委員會(huì)批準(zhǔn)試行和推廣。如此多的詞匯，對(duì)每個(gè)手勢(shì)進(jìn)行模式識(shí)別，建立對(duì)應(yīng)的模型，本身就是一件十分困難的事情，更何況就算所有的詞匯都能翻譯，但也只能用于一些常規(guī)的交流，一些特殊的信息仍然無(wú)法處理。

3 基于自然拼讀的穿戴式啞語(yǔ)翻譯裝置研究?jī)?nèi)容

本文研究的基于自然拼讀的穿戴式啞語(yǔ)翻譯裝置，是以手套為主要的穿戴式載體，利用手套上位于指關(guān)節(jié)上的彎曲傳感、手背的加速度傳感器及部分特殊部位的光敏傳感器對(duì)手勢(shì)進(jìn)行識(shí)別,利用標(biāo)準(zhǔn)手語(yǔ)將識(shí)別出的手勢(shì)轉(zhuǎn)換成對(duì)應(yīng)的字母和音調(diào)，然后組合成對(duì)應(yīng)的漢語(yǔ)拼音，發(fā)送給語(yǔ)音模塊，由語(yǔ)音模塊合成并朗讀出漢字，從而實(shí)現(xiàn)任意啞語(yǔ)信息的實(shí)時(shí)翻譯。

3.1 系統(tǒng)組成

基于自然拼讀的穿戴式啞語(yǔ)翻譯裝置由“傳感器組”“啞語(yǔ)翻譯控制器”“語(yǔ)音合成模塊”“語(yǔ)音播放模塊”4部分組成，如圖1所示。其中，傳感器組又由彎曲傳感器、加速度傳感器和光敏傳感器3種傳感器組成。

圖1 基于自然拼讀的穿戴式啞語(yǔ)翻譯裝置系統(tǒng)組成框圖

3.2 工作原理

由于基于Kinect及基于圖像處理的啞語(yǔ)翻譯系統(tǒng)在使用上具有很大的局限性，所以本文主要以可穿戴式啞語(yǔ)翻譯裝置為研究對(duì)象。當(dāng)前比較流行的可穿戴式啞語(yǔ)翻譯系統(tǒng)主要有兩個(gè)大的方向，一個(gè)是以華盛頓大學(xué)本科生及北京郵電大學(xué)團(tuán)隊(duì)為代表的利用彎曲傳感器及其一系列的附屬傳感器實(shí)現(xiàn)的、類(lèi)似于手套方式的手勢(shì)識(shí)別系統(tǒng)；另一個(gè)是以北京航空航天大學(xué)團(tuán)隊(duì)為代表的腕帶、手環(huán)方案。但是當(dāng)前的這兩種方案都有一個(gè)嚴(yán)重的問(wèn)題，它們均是基于特定手語(yǔ)詞匯的翻譯系統(tǒng)，只能對(duì)常見(jiàn)詞匯進(jìn)行處理，一旦遇到未收錄的詞匯，系統(tǒng)將無(wú)能為力。

針對(duì)上述問(wèn)題，本文主要對(duì)第一種方式進(jìn)行改進(jìn)，利用附帶傳感器的手套識(shí)別漢語(yǔ)手指字母和音調(diào)，如圖2所示。然后，組合成對(duì)應(yīng)的漢語(yǔ)拼音，利用自然拼讀的方式，合成文字，并播放。

圖2 漢語(yǔ)手指字母圖

3.3 具體設(shè)計(jì)

3.3.1 字母識(shí)別

字母的編碼，是本設(shè)計(jì)最核心的一個(gè)部分。之所以華盛頓大學(xué)本科生及北京郵電大學(xué)團(tuán)隊(duì)采用詞組方式，就是因?yàn)樵谧帜傅淖R(shí)別中，僅僅由手指關(guān)節(jié)上的彎曲傳感器來(lái)判斷手勢(shì)存在很多重復(fù)。假設(shè)手指伸直為1，半彎曲為2，完全彎曲為3，可以得到編碼表，如表1所示。將表1里面的數(shù)據(jù)進(jìn)行排序，得到表2。

表1 字母編碼表

表1 (續(xù))

從表2中黑體表示的字母編碼可以看出，30個(gè)字母編碼中有一半以上的字母編碼和別的字母編碼沖突。為了處理該沖突，本方案在手套的手背上額外添加了一個(gè)加速度傳感器，并在大拇指的手心面、食指的正面及側(cè)面各添加了1個(gè)光敏傳感器。

表2 排序后的數(shù)據(jù)

假設(shè)手指伸直為1，半彎曲為2，完全彎曲為3，加速度傳感器記錄對(duì)地角度，光敏傳感器被擋住光線為1，我們可以得到一份新的編碼表，如表3所示。

通過(guò)表3可以看出，前面所有有沖突的字母編碼都可以通過(guò)輔助加入的傳感器進(jìn)行區(qū)分。這樣每個(gè)字母都可以用手勢(shì)進(jìn)行精確的表示，不會(huì)產(chǎn)生歧義。

表3 新的字母編碼表

3.3.2 聲調(diào)處理

在本研究中，聲調(diào)使用左手單獨(dú)處理，同時(shí)左手也須表示漢語(yǔ)拼音的開(kāi)始和結(jié)束。在左手手套的手背處添加一個(gè)加速度傳感器。當(dāng)左手臂下垂時(shí)，右手動(dòng)作無(wú)效；當(dāng)左手抬起時(shí)，右手的字母手勢(shì)才生效，并且左手掌心朝向決定當(dāng)前拼音的音調(diào)。當(dāng)左手掌心向下時(shí)，是一聲；當(dāng)左手掌心向右時(shí)，是二聲；當(dāng)左手掌心向上時(shí)，是三聲；當(dāng)左手掌心向左時(shí)，是四聲。

3.3.3 語(yǔ)音合成

左手抬起到指定的音調(diào)位置，右手手勢(shì)表示字母，整個(gè)拼音未完全拼寫(xiě)完成前，左手一直處于該音調(diào)位置。右手依次比劃拼音所含字母，比劃完一個(gè)字母后，手部自然下垂一次，表示該字母手勢(shì)確認(rèn)，然后進(jìn)入下一個(gè)手勢(shì)的比劃。生成了漢語(yǔ)拼音以后，裝置將生成的拼音發(fā)送給語(yǔ)音模塊SYN6658，然后由語(yǔ)音模塊驅(qū)動(dòng)播放，在手背上的小喇叭上朗讀該漢字。整個(gè)過(guò)程如圖3所示。

圖3 流程圖

基于自然拼讀的穿戴式啞語(yǔ)翻譯裝置，將置于可穿戴式手套上的彎曲度、加速度、光線強(qiáng)度等傳感器所采集的數(shù)據(jù)進(jìn)行融合，進(jìn)而與標(biāo)準(zhǔn)字母手語(yǔ)字符和音調(diào)的特征進(jìn)行比對(duì)，將標(biāo)準(zhǔn)的字母手語(yǔ)轉(zhuǎn)換成對(duì)應(yīng)的字母和音調(diào)。然后利用漢語(yǔ)拼音的自然拼讀方式，將拼音序列及音調(diào)發(fā)送給語(yǔ)音模塊合成語(yǔ)音，再將該漢字拼音通過(guò)手套上內(nèi)置的小喇叭播放出來(lái)，從而實(shí)現(xiàn)了任意啞語(yǔ)信息的實(shí)時(shí)翻譯。

4 結(jié)論

比較現(xiàn)有的啞語(yǔ)翻譯系統(tǒng)，基于自然拼讀的穿戴式啞語(yǔ)翻譯裝置具有以下特點(diǎn)：使用微型的單片機(jī)進(jìn)行處理，不需要大型計(jì)算設(shè)備的參與，易于攜帶，不受使用位置的限制；利用現(xiàn)有的標(biāo)準(zhǔn)字母手語(yǔ)方式，使用者不需要重新進(jìn)行手語(yǔ)手勢(shì)的學(xué)習(xí)，上手容易，使用簡(jiǎn)單；利用自然拼讀方式取代常見(jiàn)的詞組方式，可以對(duì)如地名、人名等非標(biāo)準(zhǔn)手語(yǔ)詞匯進(jìn)行翻譯，不受翻譯文字內(nèi)容庫(kù)的限制；后期基于自然拼讀的穿戴式啞語(yǔ)翻譯裝置可以很容易地用于如英語(yǔ)等其他語(yǔ)種的啞語(yǔ)翻譯；等等。

基于自然拼讀的穿戴式啞語(yǔ)翻譯裝置是利用自然拼讀方法實(shí)現(xiàn)啞語(yǔ)翻譯的穿戴裝置，不僅解決了失語(yǔ)患者使用手語(yǔ)與普通人之間的“語(yǔ)言”溝通問(wèn)題，而且易于攜帶，不受使用位置和待翻譯文字內(nèi)容甚至語(yǔ)言種類(lèi)的限制。因此，具有較強(qiáng)的實(shí)用意義和推廣價(jià)值。