基于嵌入式智能手語翻譯手套設計

成都理工大學信息科學與技術學院 張 文 李松林 徐大杰

基于嵌入式智能手語翻譯手套設計

成都理工大學信息科學與技術學院 張 文 李松林 徐大杰

本系統(tǒng)設計一款能翻譯手語的便攜低功耗數(shù)據(jù)手套，旨在解決正常人與聾啞人的溝通障礙問題。數(shù)據(jù)手套能輸出用戶手勢的姿態(tài)角、手指彎曲度、以及手部的加速度等。本系統(tǒng)使用模板匹配的方式，比較用戶輸入手勢數(shù)據(jù)與模板庫中手勢的相似度，找出手勢庫中與輸入手勢差異最小的手勢。根據(jù)需要改進了加權的動態(tài)時間規(guī)劃算法，把手勢的加速度、姿態(tài)角度作為權值，與彎曲度數(shù)據(jù)有效融合，最終正確的識別出用戶的手勢。

數(shù)據(jù)手套；手勢翻譯；模板匹配；動態(tài)時間規(guī)劃

0 引言

第六次全國人口普查公布的數(shù)據(jù)顯示，全國各類殘疾人總數(shù)為8502萬人，其中聽力殘疾2054萬人，言語殘疾130萬人，分別在殘疾人總數(shù)的24.16%和1.53%。聾啞人只能通過手語進行相互交流，他們與正常人的交流存在極大的障礙。本系統(tǒng)設計了一款低功耗便攜式的智能手語翻譯手套，相比于上述的手勢捕獲技術，具有眾多優(yōu)勢。該手套能精確的記錄手勢的空間數(shù)據(jù)，不存在手勢死區(qū)，并且智能手套處理的數(shù)據(jù)量小，算法相對簡單，識別速度快。

1 系統(tǒng)構架

本系統(tǒng)手勢識別分為3個部分，數(shù)據(jù)采集及預處理、數(shù)據(jù)段捕獲和識別手勢。數(shù)據(jù)采集通過彎曲度傳感器、MPU9250獲得；但由于外界環(huán)境等因素，數(shù)據(jù)會受到干擾，系統(tǒng)使用濾波達到較好效果。數(shù)據(jù)段捕獲主要是尋找手勢的起點和終點，其采用門限判定法來分割手勢。用戶做手勢時，手部的姿態(tài)、加速度、手指彎曲度有顯著變化，通過設定門限值，確定有效數(shù)據(jù)段。識別手勢主要采用加權動態(tài)時間規(guī)劃，計算與模板庫手勢歐式距離，當兩者總距離值最小，且小于設定的閾值時，則判定為同一手勢。

2 識別算法設計

2.1 數(shù)據(jù)采集和預處理

彎曲度傳感器采用模數(shù)轉換得到手指的彎曲度。轉換時，易受到電源波動和環(huán)境等影響，故在每次采集時，進行模數(shù)轉換5次，采用冒泡排序，舍棄最大和最小值，求平均，最后送滑動窗口濾波。MPU9250集成加速度計、地磁計和陀螺儀，通過特定的算法解算出加速度和歐拉角。對其進行數(shù)據(jù)歸一化到[0,1]，即：

2.2 數(shù)據(jù)段捕獲

人在做出手勢時，手指彎曲度、加速度、角度均有明顯的差異。通過差分法可對手勢的起止和終止做出判斷，從而捕獲到有效的手勢信息。即：

為排除系統(tǒng)偶然性，以連續(xù)多次采樣數(shù)據(jù)作為判決數(shù)據(jù)。當幾次數(shù)據(jù)均滿足起始條件，判斷手勢開始；同時滿足三個終止條件，判斷手勢結束；其他情況下，判斷為有效數(shù)據(jù)段。

2.3 識別核心算法

本部分使用動態(tài)時間規(guī)劃算法，尋找輸入與模板序列之間的最佳時間規(guī)正函數(shù)，使輸入與模板的距離最短。設模板手勢時間序列和輸入手勢時間序列。定義規(guī)整序列，規(guī)整點組。輸入手勢與模板手勢的相似度用歐式距離來評價，即：

構建一個的矩陣網(wǎng)格，每一個網(wǎng)格代表輸入與模板序列的歐拉距離值，用表示。且有：

為輸入與模板手勢的總歐拉距離值。越小，兩者越相似，反之，越不相似。

以上為傳統(tǒng)的動態(tài)時間規(guī)劃，匹配過程中，把每個路徑點同等看待。但實際過程中，每個采樣點重要性不同，且彎曲度、角度、加速度數(shù)據(jù)在識別的貢獻也不同。以彎曲度為主識別數(shù)據(jù)，角度、加速度為輔數(shù)據(jù)，以加權的方式突出不同采樣點在匹配中的影響大小，得歐式距離遞推式。

式中、為分別為加速度、角度在加權中的貢獻比重。

圖1 加權DTW算法流程

3 調試結果

在文獻[4]中選出198個常用孤立手語詞手勢，選擇3名健康的受試者，對所有選取手勢采集5遍，得到15個樣本集，從中選取1組作為標準模板手勢集，另外均作為測試手勢樣本集。分別使用加權DTW和傳統(tǒng)DTW做匹配，結果如圖2、3所示。

圖2 未加權DTW路徑匹配

圖3 加權DTW路徑匹配

通過加速度、角度加權，把不同手勢的特征差異放大，讓手勢匹配路徑更優(yōu)，總歐式距離值更小，從而減少匹配過程中手勢的誤識和拒識率。在實驗中，不同權重的加速度、角度組合，對手勢匹配等錯誤率EER有很大影響。由于，試驗時，從0起始，以0.05步進，到1結束，得出與等錯誤率ERR的關系。使用最佳參數(shù)點，，對上述三名手語受試者測試，得出手勢的平均識別率88.1%和平均識別時間125ms。

4 結論

本系統(tǒng)設計了一款便攜低功耗智能翻譯手套，將手語數(shù)據(jù)經改進的動態(tài)時間算法識別，最終翻譯成文本信息輸出。實驗得出，對于不同手勢，該數(shù)據(jù)手套平均識別率為88.1%，平均識別時間為125ms。該系統(tǒng)對常見手勢的識別率高，識別速度快，并且結構簡單、便于攜帶、功耗低，可廣泛運用于聾啞人與正常人的交流中，具有很好的前景和應用市場。

[1]趙燕潮．中國殘聯(lián)發(fā)布我國最新殘疾人口數(shù)據(jù)[J]．殘疾人研究,2012．

[2]李航．統(tǒng)計學習方法[M]．北京:清華大學出版社,2012．

[3]夏斐．基于動態(tài)規(guī)劃和DTW匹配的時間序列索引方法研究[D]．大連理工大學,2015．

[4]GB/T 24435-2009．中國手語基本手勢[S]．2009．