基于嵌入式手語翻譯手套的研究

徐大杰+康書寧+李松林

摘要：本系統(tǒng)設(shè)計一款翻譯手語的低功耗便攜式手套，它能有效地解決正常人與聾啞人的交流障礙問題。系統(tǒng)使用Cortex-A53為主處理器，以Linux為平臺，通過數(shù)據(jù)端采集手部數(shù)據(jù)，利用改進的算法解析出正確手勢，最后經(jīng)語音合成模塊進行語音播放。該智能手套具有低功耗、智能翻譯和便攜式等顯著優(yōu)點。

關(guān)鍵詞：微處理器；語音合成；彎曲度傳感器；智能翻譯

中圖分類號：TH878 文獻標(biāo)識碼：A 文章編號：1007-9416（2017）06-0063-02

手語是一種獨特的視覺語言，是聾啞人表達情感、同外界溝通的重要工具。隨著社會的進步，聾啞人這一弱勢群體逐漸受到了社會的關(guān)注。第六次全國人口普查公布的數(shù)據(jù)顯示，全國各類殘疾人總數(shù)為8502萬人，其中聽力殘疾2054萬人，言語殘疾130萬人，分別在殘疾人總數(shù)的24.16%和1.53%。聾啞人只能通過手語進行相互交流，他們與正常人的交流存在極大的障礙。本系統(tǒng)設(shè)計了一款低功耗便攜式的智能手語翻譯手套。通過對硬件的改善，具有低功耗、便攜、數(shù)據(jù)量小等特點。相比于其他手勢捕獲技術(shù)，能精確的記錄手勢的空間數(shù)據(jù)，不存在手勢死區(qū)。

1 總體結(jié)構(gòu)與工作原理

系統(tǒng)以低功耗、便捷、準(zhǔn)確翻譯為設(shè)計原則。數(shù)據(jù)端以STM32為微處理器，采用彎曲傳感器、接觸式傳感器、陀螺儀等傳感器分別進行手指彎曲程度、指尖是否接觸、手勢在空間中的姿態(tài)等數(shù)據(jù)的采集。將采集到的手勢數(shù)據(jù)經(jīng)WIFI傳到識別端。識別端使用Cortex-A53處理器，使用改進的算法，與SD卡中的模板手勢庫匹配，最終完成手勢動作捕捉并翻譯成文字。翻譯的文字送入語音模塊進行語音合成。系統(tǒng)框圖如圖1。

2 系統(tǒng)設(shè)計

2.1 手指彎曲傳感及手指接觸式傳感器

為獲取手指的準(zhǔn)確的姿態(tài)數(shù)據(jù)，本設(shè)計采用Flex4.5彎曲傳感器，通過彎曲傳感器自身物理特性，將彎曲度體現(xiàn)為阻值的變化。電路中進一步將阻值變化轉(zhuǎn)化為電壓的變化，最后將電壓送入ADC進行量化，從而建立手指彎曲度與AD值之間的映射關(guān)系。

如圖2，輸入同向端的電壓為：，ADC采集的AD值為：，其中Vi為A/D輸入通道的電壓值，Rx為彎曲傳感器的電阻值，N為A/D轉(zhuǎn)換器的分辨率。如圖2所示。

2.2 手勢姿態(tài)獲取模塊

為獲取手部在空間的姿態(tài)，如加速度、歐拉角、速度，系統(tǒng)采用MPU9250。相比MPU6050，其動態(tài)特性、處理速度和數(shù)據(jù)精度等方面都有很大的提升。在通信協(xié)議上，支持400Khz IIC和1Mhz SPI。在實時性要求更高的場合，可以使用可編程中斷，直接讀取傳感器和中斷寄存器，最大可支持20Mhz SPI。同時它也是一款超低功耗的傳感器，供電電壓可使用2.4V-3.6V，在正常工作下，地磁計的工作電流僅為280uA；加速度計電流為8.4uA；陀螺儀的電流為3.2mA，在休眠模式下電流為8uA。

2.3 語音合成模塊

為解決聾啞人與正常人的交流問題，系統(tǒng)中使用語音合成模塊，將翻譯的文本信息轉(zhuǎn)換成語音，設(shè)計中選取XFC5152語音合成模塊。

該語音合成模塊，支持任意中文文本、英文文本的合成，支持中英文混讀。在通信方式上，支持UART、IIC、SPI三種通訊方式。具體工作框圖如圖3。

3 調(diào)試結(jié)果

本實驗選取3個受試者，分別對198個常用孤立手語詞、英文字母和阿拉伯?dāng)?shù)字的手勢采集5遍，選擇任意2位，每位中的4組數(shù)據(jù)作為手勢訓(xùn)練樣本集，利用Baum-Welch算法進行多次訓(xùn)練，為每個手勢訓(xùn)練獨立的HMM模型參數(shù)，得到穩(wěn)定的測試模板，方便用戶直接使用。以其中一次實驗數(shù)據(jù)分析，數(shù)據(jù)采集周期為30ms，通過WIFI發(fā)送至電腦。

識別端配置UART參數(shù)，包括波特率、數(shù)據(jù)位、停止位等和WIFI的IP和端口等參數(shù)。開始接收手語手套的數(shù)據(jù)，并利用DTW和HMM算法與模板手勢庫進行匹配，并識別出最優(yōu)手勢并顯示。圖4為實際手勢識別過程。

4 結(jié)語

本系統(tǒng)設(shè)計并實現(xiàn)了一款便攜低功耗智能翻譯手套，手語數(shù)據(jù)經(jīng)改進過的算法處理并識別，最終翻譯成文本信息并進行語音播報。通過對硬件的改善，使得功耗得到降低，單只手套的工作電流約為15.3mA。該系統(tǒng)對常見手勢的識別率高，識別速度快，并且結(jié)構(gòu)簡單、便于攜帶、功耗低，可廣泛運用于聾啞人與正常人的交流中，具有很好的前景和應(yīng)用市場。

參考文獻

[1]趙燕潮.中國殘聯(lián)發(fā)布我國最新殘疾人口數(shù)據(jù)[J].殘疾人研究，2012，（04）：11.

[2]白瑞霞，王俊珍.高校手語翻譯專業(yè)實踐教學(xué)探索[J].南京特教學(xué)院學(xué)報，2012，（04）：8-14.

[3]GB/T 24435-2009，中國手語基本手勢[S].2009.endprint