基于Kinect的手語識別及播放器設計

陳德寧 馬銳軍 張俊源 王曉軍 董澤炯 龔立威 袁國樞

摘?要：手語作為聾啞人與外界交流的重要方式之一，然而，普通人對于手語的不懂造成了聾啞人與外界溝通的困難?；诖吮疚奶岢隽艘环N基于人體索引數(shù)據(jù)的手勢提取方法，首先通過Kinect獲取人體索引數(shù)據(jù)和骨骼信息，精確定位到手部并利用皮膚閾值提取出手部;再利用HOG特征提取手部信息，應用多分類支持向量機對手語進行分類和識別;最后設計一種基于STM32的手戴式手語播放器，對聾啞人的手語進行實時語音播放，便于聾啞人與普通人的交流。

關鍵詞：Kinect;手勢分割;HOG特征;手戴式手語播放器

中圖分類號：TP274.2文獻標識碼：A

1 緒論

隨著社會的進步，聾啞人群體越來越得到關注，手語作為他們的一種信息交流方式，越來越得到人們的重視。早期的主要手語方法通過數(shù)據(jù)手套獲取手的姿態(tài)并解析姿態(tài)識別手語[1]。隨著2010年微軟推出Kinect傳感器，它能獲取人體骨骼關節(jié)信息，圖像深度信息等[2-3]，促進了人們對基于視覺的手語識別研究。然而，當前手語識別系統(tǒng)對環(huán)境信息的魯棒性能力較差。為解決該問題，本文提出了一種基于Kinect的手語識別系統(tǒng)。首先，Kinect傳感器模塊采集多模態(tài)的手語圖像;然后，利用骨骼跟蹤算法、皮膚閾值算法將手部信息從復雜的環(huán)境分割出來，并采用HOG特征提取手部圖像信息和SVM分類器進行特征分類，可大大提高手語識別系統(tǒng)對環(huán)境響應的魯棒性。

2 手部圖像獲取與處理

具體過程：用Kinect2.0傳感器獲取人體索引數(shù)據(jù)，通過人體索引數(shù)據(jù)信息將人體從復雜的環(huán)境中過濾出來。其次，用骨骼定位信息獲取到人體的手部位置，將手部從圖像中分割出來。接著，用基于YCbCr的皮膚閾值將手掌部分提取出來和過濾掉邊緣噪點。最后，用形象學修復手部邊緣。

3 訓練處理

3.1 HOG特征提取

HOG特征是由Navneet Dalal和Bill Triggs于2005年首次提出[4]。HOG的工作原理是創(chuàng)建圖像中梯度方向分布的柱狀圖，然后以一種特殊的方式對其進行歸一化。能夠在對比度很低的情況下，準確有效的檢測物體的邊緣。

HOG特征具體過程如下：

（1）因為RGB采集的圖像容易受環(huán)境的影響，為了減低光照、光照不均勻等因素，通常需要對RGB圖像進行灰度化和Gamma校正處理。

（2）提取圖片大小為64*64，本實驗把每個cells的大小設為8*8，blocks的大小為16*16，win窗口大小為32*32，所以一個block里面包含了4個cells，win包含4個block，步長為8。

3.2 SVM分類訓練

模板采集通過本項目五位成員從不同角度不同距離采集手部圖像，一共采集五種手勢，每個手勢每位成員采集1000張圖像，即每個手勢有5000張訓練模板。

提取每一張訓練模板圖像的HOG特征作為SVM訓練器的輸入，應用多分類SVM訓練器進行特征線性分割，最終得到分類特征模型。

4 系統(tǒng)結構及設計

本文設計一款可戴式手語播放器。其以STM32f407為控制芯片，運行freeRTOS嵌入式操作系統(tǒng)，控制OLED、藍牙、喇叭等外設。能在OLED上顯示日常時間和設備狀態(tài)，能將手語識別出來的結果通過喇叭播放，極大方便聾啞人群體通過Kinect與普通人交流。此外，此款播放器與電腦之間通過藍牙無線通信，方便快捷，只要將一個藍牙USB接口插入電腦，可戴式手語播放器將會自動連接。

5 系統(tǒng)功能測試實驗

本文是以Visual Studio 2019、opencv3.4、基于window的C++語言進行開發(fā)和功能測試。本實驗通過把手語識別結果輸出在界面上，同時將結果通過本文設計的播放器進行實時播放。

手語識別正確率通過能否在1s內作出識別作為判斷標準，如果識別的結果跟上一次的識別結果一樣將不再進行語音播報，這樣做的好處是判斷同一個手語進行識別時，如果存在錯誤識別，能通過語音進行判斷。

6 總結

本文利用Kinect傳感器的人體索引數(shù)據(jù)從復雜的環(huán)境分離出人體，用骨骼信息精確定位到手部，并用YCbCr膚色模型進行皮膚分割。其次利用HOG特征提取手部特征和SVM進行分類訓練。同時設計一種手戴式播放器，使聾啞人群體與普通人交流時便于溝通。

參考文獻：

[1]翁漢良，戰(zhàn)蔭偉.基于視覺的多特征手勢識別[J].計算機工程與科學，2012，34（2）：123-127.

[2]千承輝，邵晶雅，夏濤.基于Kinect的手語識別方法[J].傳感器與微系統(tǒng)，2019，38（06）：31-34+38.

[3]鮑志強，呂辰剛.基于Kinect的實時手勢識別[J].激光與光電子學進展，2018，55（03）：231-236.

[4]劉小建，張元.基于多特征提取和SVM分類的手勢識別[J].計算機工程與設計，2017，38（04）：953-958.

基金項目：2017年省級大學生創(chuàng)新創(chuàng)業(yè)訓練項目（201710588024）;廣州市工業(yè)機器人智能驅控技術及部件重點實驗室項目（201805010001）;廣東省科技計劃項目（2016B090927009;2016B090927002）

作者簡介：陳德寧（1997-），男，廣東湛江人，本科，專業(yè)方向為自動化;張俊源（1997-），男，廣東開平人，本科，專業(yè)方向為建筑電氣與智能化;王曉軍（1965-），男，江西安福人，碩士研究生，教授，研究方向為機械一體化控制;董澤炯（1999-），男，廣東汕頭人，本科，專業(yè)方向為自動化;龔立威（1999-），男，廣東陸豐人，本科，專業(yè)方向自動化（師范）;袁國樞（1999-），男，廣東河源人，本科，專業(yè)方向為電氣工程及其自動化。

*通訊作者：馬銳軍（1991-），男，廣東揭陽人，博士研究生，實驗師，研究方向為嵌入式系統(tǒng)設計、無線通信和計算機控制。