一種基于神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別裝置

王金虎 聶凱 劉黔璋

摘? 要： 基于BP神經(jīng)網(wǎng)絡(luò)算法設(shè)計(jì)一種能夠?qū)崿F(xiàn)對(duì)猜拳游戲和劃拳游戲成功判決的手勢(shì)識(shí)別裝置。該裝置具有訓(xùn)練和判決兩種工作模式，對(duì)任意人員進(jìn)行猜拳游戲和劃拳游戲的手勢(shì)訓(xùn)練，經(jīng)過有限次訓(xùn)練后，生成深度BP神經(jīng)網(wǎng)絡(luò)，進(jìn)而在判決模式下實(shí)現(xiàn)對(duì)手勢(shì)識(shí)別的正確判定。該裝置由控制模塊、電容傳感器模塊、按鍵輸入模塊、顯示模塊以及探頭部分組成。經(jīng)測(cè)試證明，該裝置具有成本低、響應(yīng)時(shí)間短、正確率高的優(yōu)點(diǎn)，擴(kuò)展了手勢(shì)識(shí)別的應(yīng)用范圍，具有良好的應(yīng)用發(fā)展前景。

關(guān)鍵詞： 手勢(shì)識(shí)別; 神經(jīng)網(wǎng)絡(luò); 手勢(shì)訓(xùn)練; 手勢(shì)判定; 電路設(shè)計(jì); 模式測(cè)試

中圖分類號(hào)： TN915?34; TP212? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）10?0141?04

A gesture recognition device based on neural network

WANG Jinhu1，2，3， NIE Kai2，3， LIU Qianzhang2，3

（1. Key Open Laboratory of Aerosol and Cloud Precipitation of China Meteorological Administration， Collaborative Innovation Center on Forecast and Evaluation of Meteorological Disasters， Nanjing University of Information Science & Technology， Nanjing 210044， China; 2. National Experimental Teaching Demonstration Center for Atmospheric Science and Environmental Meteorology， Nanjing University of Information Science & Technology， Nanjing 210044， China; 3. Jiangsu Key Laboratory of Meteorological Observation and Information， Nanjing University of Information Science & Technology， Nanjing 210044， China）

Abstract： A gesture recognition device based on BP neural network algorithm is designed， which can realize the gesture recognition device for the successful decision of finger?guessing game. The device has two working modes of training and judgment.? A deep BP neural network is generated after the limited times gesture training of finger?guessing game for any personnel， and then the correct judgment of gesture recognition is realized in the judgment mode. The device is composed of control module， capacitance sensor module， key input module， display module and probe part. The testing results show that the device has the advantages of low cost， short response time and high accuracy. It expands the application scope of gesture recognition and has good application prospects.

Keywords： gesture recognition; neural network; gesture training; gesture judging; circuit design; mode test

0? 引? 言

本文設(shè)計(jì)的手勢(shì)識(shí)別裝置是基于TI公司電容傳感芯片F(xiàn)DC2214設(shè)計(jì)制作而成，能夠?qū)崿F(xiàn)對(duì)猜拳游戲和劃拳游戲的判決。該裝置具有訓(xùn)練和判決兩種工作模式。猜拳游戲的判決是指對(duì)手勢(shì)比劃“石頭”“剪刀”“布”的判定，劃拳游戲的判定是指對(duì)手勢(shì)比劃“一”“二”“三”“四”“五”的判定。在訓(xùn)練模式下能對(duì)任意人員進(jìn)行猜拳游戲和劃拳游戲的手勢(shì)訓(xùn)練，經(jīng)過有限次訓(xùn)練后，生成深度BP神經(jīng)網(wǎng)絡(luò)[1]，根據(jù)誤差信號(hào)修正每層的權(quán)重，進(jìn)行更精確和準(zhǔn)確的學(xué)習(xí)和檢測(cè)。經(jīng)測(cè)驗(yàn)，本裝置能進(jìn)行正確的猜拳游戲和劃拳游戲的手勢(shì)判決。

1? 設(shè)計(jì)方案工作原理

1.1? 預(yù)期實(shí)現(xiàn)目標(biāo)定位

本系統(tǒng)可實(shí)現(xiàn)對(duì)猜拳游戲和劃拳游戲的判決，并且在對(duì)任意人員進(jìn)行有限次的手勢(shì)訓(xùn)練后，能夠?qū)崿F(xiàn)正確的猜拳游戲和劃拳游戲的手勢(shì)判決。

1.2? 技術(shù)方案分析比較

方案1：采用模糊控制。模糊控制器建立在專家經(jīng)驗(yàn)的基礎(chǔ)上，無需建立控制對(duì)象精確的數(shù)學(xué)模型，魯棒性高，但精確度有所降低[1]。

方案2：采用BP神經(jīng)網(wǎng)絡(luò)算法。BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一，能學(xué)習(xí)和存貯大量的輸入?輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程[2]。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小[3]。

綜上所述，由于本系統(tǒng)需采用對(duì)手勢(shì)的訓(xùn)練和學(xué)習(xí)，且對(duì)精度的要求較高，所以本文采用方案2——BP神經(jīng)網(wǎng)絡(luò)算法。

1.3? 功能指標(biāo)實(shí)現(xiàn)方法

訓(xùn)練模式下，將FDC2214傳感器采集到的信息，通過卡爾曼濾波算法將數(shù)據(jù)處理，使得最終樣本數(shù)據(jù)穩(wěn)定送入BP神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和訓(xùn)練。在按鍵程序中設(shè)定訓(xùn)練模式與判決模式的切換，在判決模式下，根據(jù)采集的數(shù)據(jù)與相應(yīng)學(xué)習(xí)訓(xùn)練結(jié)果進(jìn)行比對(duì)分析，最終完成對(duì)手勢(shì)的判定。

1.4? 測(cè)量控制分析處理

1.4.1? 卡爾曼濾波方法分析

卡爾曼濾波通過對(duì)未來預(yù)期值的分析與預(yù)測(cè)，能夠有效地減少系統(tǒng)噪聲對(duì)實(shí)際輸入數(shù)據(jù)的干擾，從而檢測(cè)出真實(shí)值[4]。在連續(xù)變化的系統(tǒng)中，卡爾曼濾波具有占用內(nèi)存小、速度快的優(yōu)點(diǎn)，適合應(yīng)用于實(shí)時(shí)問題和嵌入式系統(tǒng)。

首先對(duì)觀測(cè)值、系統(tǒng)控制變量和噪聲進(jìn)行建模：

[z_t=H*x_t+v_t] （1）

[x_t=A*x_t-1+B*u_t-1+w_t-1] （2）

式中：[x_t]是t時(shí)刻系統(tǒng)所在狀態(tài);[z_t]是所謂觀測(cè)值;[u_t]是系統(tǒng)控制變量;[w_t]，[v_t]都是噪聲。一個(gè)相對(duì)準(zhǔn)確的系統(tǒng)值具有如下結(jié)構(gòu)：

[x&_t=x&-_t+Kz_t-H*x_t-1] （3）

式中：“&”表示估計(jì)值;“_”表示用前面式子算出來的估計(jì)值。解得K為：

[K=P-_t*HT*（H*P-_t*HT+R）（-1）] （4）

給出迭代的公式：

[x-_t=A*x&_（t-1）+B*（t-1）] （5）

[P-_t=A*P（t-1）*AT+Q] （6）

[P_t=I-K_t*HP-_t-1] （7）

在此系統(tǒng)中，F(xiàn)DC2214輸出數(shù)據(jù)波動(dòng)較大，噪聲干擾嚴(yán)重，通過在系統(tǒng)內(nèi)部對(duì)FDC2214輸出值進(jìn)行卡爾曼濾波，有效地減少了噪聲對(duì)真實(shí)值的干擾，使得讀入的電容數(shù)據(jù)更加趨于穩(wěn)定。

1.4.2? BP神經(jīng)網(wǎng)絡(luò)算法分析

BP神經(jīng)網(wǎng)絡(luò)算法是利用輸出后的誤差來估計(jì)輸出層前一層的誤差，再用這層誤差來估計(jì)更前一層誤差，如此獲取所有各層誤差估計(jì)。這里的誤差估計(jì)可以理解為某種偏導(dǎo)數(shù)，根據(jù)這種偏導(dǎo)數(shù)來調(diào)整各層的連接權(quán)值，再用調(diào)整后的連接權(quán)值重新計(jì)算輸出誤差，多次進(jìn)行調(diào)整，直到輸出的誤差達(dá)到符合的要求或者迭代次數(shù)溢出設(shè)定值[5]。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)主要蘊(yùn)含在權(quán)重和閾值中， BP神經(jīng)網(wǎng)絡(luò)算法即誤差逆?zhèn)鞑ニ惴ㄕ菫閷W(xué)習(xí)多層前饋神經(jīng)網(wǎng)絡(luò)而設(shè)計(jì)。

在此系統(tǒng)中，訓(xùn)練模式下，將電容樣本值作為輸入值，將對(duì)應(yīng)手勢(shì)作為輸出值，通過隱含層的計(jì)算分析，得出輸入與輸出之間的關(guān)系。判決模式下，根據(jù)手勢(shì)不同，輸入電容樣本值的變化，得出相應(yīng)的手勢(shì)結(jié)果。

2? 核心部件電路設(shè)計(jì)

2.1? 主控模塊的論證與選擇

方案1：采用MSP430F169作為主控制模塊。MSP430F169單片機(jī)的功能較多，是16位單片機(jī)，超低功耗、精度高、資料全，豐富的外圍模塊簡(jiǎn)化了系統(tǒng)的外圍電路。但運(yùn)算速度稍顯不足，無法達(dá)到較高的精度。

方案2：采用STM32F103ZET6作為主控制模塊。STM32F103ZET6是一款性價(jià)比超高的單片機(jī)，基于專為要求高性能、低功耗的嵌入式應(yīng)用專門設(shè)計(jì)的ARM Cortex?M3內(nèi)核，存儲(chǔ)器內(nèi)存相對(duì)較大，有多個(gè)定時(shí)器和通信接口，工作頻率高，運(yùn)行速度快[6]。

綜上所述，由于系統(tǒng)中使用BP神經(jīng)網(wǎng)絡(luò)算法，需要有較快的處理速度和較大的存儲(chǔ)器內(nèi)存，選擇方案2——STM32F103ZET6作為主控制模塊。

2.2? 傳感器探頭的論證與選擇

方案1：采用整片單片銅板作為傳感器探頭，手勢(shì)變化時(shí)手的投影面積發(fā)生變化，根據(jù)測(cè)試者手與探頭之間的電容值的大小來判定手勢(shì);但其精度低、誤差大、學(xué)習(xí)要求次數(shù)多，并極易受到外界干擾，會(huì)出現(xiàn)判斷失準(zhǔn)的情況。

方案2：采用兩片銅板作為傳感器探頭，進(jìn)行分塊檢測(cè)，進(jìn)行綜合分析，從而來判定手勢(shì);但對(duì)于檢測(cè)時(shí)測(cè)試者手的位置要求極高，進(jìn)行輕微的移動(dòng)會(huì)對(duì)結(jié)果造成較大影響，同時(shí)在學(xué)習(xí)時(shí)也要求從多角度分別進(jìn)行記錄和學(xué)習(xí)，結(jié)果不穩(wěn)定[7]。

方案3：采用立體二通道采集探頭，根據(jù)兩個(gè)通道的數(shù)據(jù)大小判斷投影面積，根據(jù)通道的不同判斷手指位置，對(duì)各個(gè)手勢(shì)的特征進(jìn)行綜合性多角度的全面分析，確定邏輯關(guān)系，從而綜合判定手勢(shì)。此方法容錯(cuò)率高，學(xué)習(xí)和訓(xùn)練效率高，結(jié)果穩(wěn)定，速度快。

綜上所述，由于對(duì)手勢(shì)的區(qū)分度、容錯(cuò)率和學(xué)習(xí)訓(xùn)練時(shí)間要求較高，結(jié)合題目對(duì)于FDC2214芯片數(shù)，探頭與手之間距離以及學(xué)習(xí)訓(xùn)練時(shí)間的要求，選擇方案3——立體二通道采集探頭。

2.3? 顯示模塊的論證與選擇

方案1：采用LCD12864液晶顯示屏進(jìn)行結(jié)果顯示。LCD12864液晶顯示屏的功耗低、體積小、重量輕，但性價(jià)比低，顯示信息量小，顏色單一，字體不清晰，無法滿足本設(shè)計(jì)對(duì)信息顯示的要求。

方案2：采用TFT顯示屏。TFT顯示屏顯示內(nèi)容多，色彩豐富，響應(yīng)速度快，顯示信息量更大，效果更好。

綜上所述，由于需要不斷地更新數(shù)據(jù)且方便，在此采用方案2——TFT顯示屏顯示結(jié)果和參數(shù)等信息。

2.4? FDC2214芯片分析以及電路設(shè)計(jì)

FDC2214是基于LC諧振電路原理的一個(gè)電容檢測(cè)傳感器。其基本原理如圖1所示。在芯片每個(gè)檢測(cè)通道的輸入端連接一個(gè)電感和電容，組成LC電路，被測(cè)電容傳感端與LC電路相連接，將產(chǎn)生一個(gè)振蕩頻率，根據(jù)該頻率值可計(jì)算出被測(cè)電容值[8]。

將傳感器探頭和被測(cè)手掌作為電容的兩個(gè)極板，根據(jù)電容計(jì)算公式

[C=εS4πkd] （8）

得：電容大小與極板之間的正對(duì)面積成正比，與極板間距離成反比。當(dāng)控制極板之間距離不變時(shí)，手勢(shì)的不同會(huì)引起極板之間正對(duì)面積發(fā)生變化，從而改變其電容值。

3? 系統(tǒng)軟件設(shè)計(jì)分析

3.1? 系統(tǒng)總體工作流程

系統(tǒng)總體工作流程如圖2所示。測(cè)試區(qū)由傳感器探頭與透明有機(jī)玻璃板組成，探頭與有機(jī)玻璃板之間保持一定距離，測(cè)試時(shí)手掌緊貼在有機(jī)玻璃板上，在顯示區(qū)域顯示手勢(shì)判定結(jié)果。探頭用屏蔽線與FDC2214傳感器相連，以減少外界對(duì)結(jié)果的干擾。系統(tǒng)采用按鍵進(jìn)行模式的切換以及數(shù)據(jù)記錄學(xué)習(xí)的確認(rèn)，蜂鳴器用于訓(xùn)練成功的確認(rèn)[9]。

3.2? 主要模塊程序設(shè)計(jì)

圖3為本系統(tǒng)的程序流程圖。程序進(jìn)行初始化后，通過按鍵進(jìn)行模式的選擇。訓(xùn)練模式下，通過數(shù)據(jù)的錄入進(jìn)行BP神經(jīng)網(wǎng)絡(luò)的生成。在判決模式下，系統(tǒng)根據(jù)生成的BP神經(jīng)網(wǎng)絡(luò)對(duì)新錄入的數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)的匹配，最終做出判決。

3.3? 關(guān)鍵模塊程序

關(guān)鍵模塊程序如下：

Delay_Init（）;? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? //初始化延時(shí)函數(shù)

Key_Init（）;? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? //初始化按鍵

uart_init（9 600）;? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?//串口初始化

NVIC_PriorityGroupConfig（NVIC_PriorityGroup_2）;

//設(shè)置中斷優(yōu)先級(jí)分組

TIM5_PWM_Init（）;? ? ? ? ? ? ? ? ? ? ? ? ? ? ?//初始化定時(shí)器5

LCD_Init（）;? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? //初始化LCD

FDC2214_Init（）;? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?//初始化FDC2214

kalman1_ini（）t;? ? ? ? ? ? ? ? ? ? ? ? //初始化卡爾曼濾波函數(shù)

initBPNetwork（）;? ? ? ? ? ? ? ? ? ? ? ? ? ?//初始化BP神經(jīng)網(wǎng)絡(luò)

trainNetwork（）? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?//訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)

4? 裝置成效總結(jié)分析

4.1? 裝置測(cè)試性能指標(biāo)

傳感器探頭示意圖如圖4所示。

4.1.1? 猜拳訓(xùn)練模式測(cè)試

用按鍵切換至猜拳訓(xùn)練模式，引導(dǎo)測(cè)試人員進(jìn)行手勢(shì)識(shí)別的訓(xùn)練，使用按鍵控制輸入確定。在3種猜拳手勢(shì)訓(xùn)練結(jié)束后，使用按鍵切換模式至猜拳判定模式，測(cè)試結(jié)果如表1所示。

4.1.2? 劃拳訓(xùn)練模式測(cè)試

用按鍵切換至劃拳訓(xùn)練模式，引導(dǎo)測(cè)試人員進(jìn)行手勢(shì)識(shí)別的訓(xùn)練，使用按鍵控制輸入確定。在5種猜拳手勢(shì)訓(xùn)練結(jié)束后，使用按鍵切換模式至劃拳判定模式，測(cè)試結(jié)果如表2所示。

4.1.3? 猜拳判定模式測(cè)試

用按鍵切換至猜拳判定模式，分別對(duì)“石頭”“剪刀”“布”進(jìn)行手勢(shì)識(shí)別測(cè)試，測(cè)試結(jié)果如表3所示。

4.1.4? 劃拳判定模式測(cè)試

用按鍵切換至劃拳判定模式，分別對(duì)“一”至“五”進(jìn)行手勢(shì)識(shí)別測(cè)試，測(cè)試結(jié)果如表4所示。

4.2? 理論分析

對(duì)于傳感器樣本數(shù)據(jù)量大，且數(shù)據(jù)非線性的手勢(shì)識(shí)別系統(tǒng)，其處理難度較大。本文結(jié)合BP神經(jīng)網(wǎng)絡(luò)算法對(duì)傳感器采集的數(shù)據(jù)進(jìn)行學(xué)習(xí)處理。通過試驗(yàn)結(jié)果表明，雖然BP神經(jīng)網(wǎng)絡(luò)算法存在學(xué)習(xí)速度慢、樣本需求量大等問題，但對(duì)其隱含層參數(shù)進(jìn)行調(diào)整后，具有較強(qiáng)的自學(xué)習(xí)能力、自適應(yīng)能力和容錯(cuò)能力[10]。

5? 結(jié)? 語(yǔ)

本文手勢(shì)識(shí)別裝置能夠?qū)崿F(xiàn)對(duì)猜拳游戲和劃拳游戲的判決。該裝置具有訓(xùn)練和判決兩種工作模式。在訓(xùn)練模式下能對(duì)任意人員進(jìn)行猜拳游戲和劃拳游戲的手勢(shì)訓(xùn)練。經(jīng)過有限次訓(xùn)練后，生成深度BP神經(jīng)網(wǎng)絡(luò)，根據(jù)誤差信號(hào)修正每層的權(quán)重，進(jìn)行更精確和準(zhǔn)確的學(xué)習(xí)和檢測(cè)。經(jīng)測(cè)試結(jié)果證明，本裝置具有成本低、響應(yīng)時(shí)間短、正確率高的優(yōu)點(diǎn)，擴(kuò)展了手勢(shì)識(shí)別的應(yīng)用范圍，具有良好的應(yīng)用發(fā)展前景。

參考文獻(xiàn)

[1] HAN Xiaojing， MA Yuechao. Finite?time extended dissipative control for fuzzy systems with nonlinear perturbations via sampled?data and quantized controller [J]. ISA transactions， 2019， 89： 21?27.

[2] 姜亞東.卷積神經(jīng)網(wǎng)絡(luò)的研究與應(yīng)用[D].成都：電子科技大學(xué)，2018.

[3] 賈超.基于神經(jīng)網(wǎng)絡(luò)的多模型自適應(yīng)控制方法研究[D].北京：北京科技大學(xué)，2017.

[4] JIANG Hailong， LIU Gonghui， LI Jun， et al. An innovative diagnosis method for lost circulation with unscented Kalman filter [J]. Journal of petroleum science & engineering， 2018， 166： 731?738.

[5] 李旭然，丁曉紅.機(jī)器學(xué)習(xí)的五大類別及其主要算法綜述[J].軟件導(dǎo)刊，2019（7）：4?9.

[6] 王宜懷.曹金華.嵌入式系統(tǒng)設(shè)計(jì)實(shí)踐[D].北京：北京航空航天大學(xué)，2011.

[7] KAMBALI P N， PANDEY A K. Capacitance and force computation due to direct and fringing effects in MEMS/NEMS arrays [J]. IEEE sensors journal， 2016， 16（2）： 375?382.

[8] 匿名.抗噪聲電容感測(cè)系列[J].今日電子，2015（12）：63?64.

[9] 周孟強(qiáng)，劉會(huì)衡.基于FDC2214手勢(shì)識(shí)別裝置的設(shè)計(jì)與實(shí)現(xiàn)[J].電子制作，2019（z1）：12?14.

[10] 袁博，查晨東.手勢(shì)識(shí)別技術(shù)發(fā)展現(xiàn)狀與展望[J].科學(xué)技術(shù)創(chuàng)新，2018（32）：95?96.