基于人工神經(jīng)網(wǎng)絡(luò)對sEMG信號的手勢動作識別*

王景芳， 施 霖

(昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500)

基于人工神經(jīng)網(wǎng)絡(luò)對sEMG信號的手勢動作識別*

王景芳， 施 霖

(昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650500)

針對利用表面肌電信號(sEMG)對手勢動作的肌電信號的研究較少和sEMG信號處理過于復(fù)雜的問題，提出了利用人工神經(jīng)網(wǎng)絡(luò)和sEMG信號對人的手勢動作進(jìn)行識別研究，引入了MYO硬件設(shè)備對新的手勢動作sEMG信號采集。利用MYO從手臂上獲取每一個手勢動作的sEMG信號，提取信號特征值，作為算法的訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)。采用人工神經(jīng)網(wǎng)絡(luò)中的反向傳遞神經(jīng)網(wǎng)絡(luò)算法來進(jìn)行對4種不同手勢動作分類，對應(yīng)目標(biāo)手指識別率在90.35 %。研究結(jié)果可以被用來做臨床診斷和生物醫(yī)學(xué)的應(yīng)用以及用于現(xiàn)代硬件的發(fā)展和更現(xiàn)代化的人機(jī)交互的發(fā)展。

表面肌電信號(sEMG)； 人工神經(jīng)網(wǎng)絡(luò)； MYO； 特征提?。?手勢動作

0 引 言

手勢的動作識別[1]，已成為全球相關(guān)領(lǐng)域科學(xué)家研究的重點。從信號的獲取方式來看，手勢識別主要有兩種:通過人體手勢圖像和人體表面肌電信號識別手勢[2]。識別系統(tǒng)是識別手勢和用識別出的手勢動作來控制硬件設(shè)備。手勢動作的識別是基于對表面肌電(surface electromyography,sEMG)信號的研究，EMG(electromyography)是一種生物電流信號，它產(chǎn)生于任意組織器官[3],一般是一種時間和一系列的振幅、頻率和波形函數(shù)[4]。sEMG信號是人體表面肌肉通過收縮產(chǎn)生的生物電流。神經(jīng)系統(tǒng)控制肌肉的活動(收縮或者放松)，在表面皮膚不同的肌肉纖維運動單元在同一時間產(chǎn)生相互不同的信號。在生物工程領(lǐng)域?qū)EMG信號的檢測需要高質(zhì)量先進(jìn)的設(shè)備[5]。本文使用的設(shè)備是MYO myoglobin腕帶,即手勢控制臂環(huán)，該設(shè)備由加拿大創(chuàng)業(yè)公司Thalmic Labs生產(chǎn)。手勢控制臂環(huán)可以佩戴在任何一條胳膊的肘關(guān)節(jié)上方，探測用戶的肌肉產(chǎn)生的電活動。它通過低功率的藍(lán)牙設(shè)備與電腦進(jìn)行無線連接，不需要借助相機(jī)。MYO通過8只傳感器采集肌肉電極信號[6]，每一個傳感器采集其對應(yīng)通道的肌肉運動神經(jīng)單元的電信號，通過對單個信道的信號疊加就可以得到完整的sEMG信號。該設(shè)備的主要優(yōu)勢在于，采集的信號直接對EMG信號進(jìn)行分解，對研究各種手勢動作識別是由哪些肌肉運動神經(jīng)產(chǎn)生的提供了方便。目前，對采集的肌肉運動神經(jīng)產(chǎn)生的電信號進(jìn)行處理有許多的模式識別技術(shù)。不同類型的人工神經(jīng)網(wǎng)絡(luò)(ANN)被用作處理肌電信號，人工神經(jīng)網(wǎng)絡(luò)也是研究者們最早使用的[7]。2013年，Subasi A[8]在使用決策樹來解決EMG信號的分類;同年，Subasi A[9]又采用最佳SVM算法分析神經(jīng)元診斷;2013年，Zhang Z，Wang C，Yang G Z[10]對前臂的動作采用多通道的sEMG信號進(jìn)行分類，雙頻譜分析;2014年,Riillo F,Quitadamo L R,Cavrini F等人[11]比較了監(jiān)督和無監(jiān)督算法對EMG信號在醫(yī)學(xué)中的最佳處理;Shama S,Kumar G[12]利用小波分析獲取的單信道的EMG信號特征進(jìn)行分類。

本實驗針對人的手勢動作的信號采集和分類，使用人工神經(jīng)網(wǎng)絡(luò)中的附加動量的自適應(yīng)學(xué)習(xí)的反向傳遞(back propagation,BP)神經(jīng)網(wǎng)絡(luò)算法[13]，進(jìn)行對目標(biāo)手勢動作的分類，BP神經(jīng)網(wǎng)絡(luò)由于具有模仿神經(jīng)元結(jié)構(gòu)和神經(jīng)傳遞的機(jī)理，具有很多非線性映射能力，神經(jīng)元之間通過權(quán)系數(shù)相連構(gòu)成自適應(yīng)非線性動態(tài)系統(tǒng)，適合分析復(fù)雜的非線性的sEMG信號。通過利用MYO裝置來采集人體手臂肘的位置上的肌電信號，解決了信號采集的干擾和分解問題，減少了計算量。對信號進(jìn)行特征提取后，作為BP網(wǎng)絡(luò)的輸入值，以相對應(yīng)的手勢的動作作為其輸出，通過學(xué)習(xí)和訓(xùn)練實現(xiàn)識別出，食指與大拇指點擊、中指與大拇指點擊、無名指與大拇指點擊和小拇指與大拇指點擊的4種目標(biāo)手勢動作，提高了對新手勢動作的識別率。

1 實驗方法

1.1 信號采集

實驗方法流程如圖1。sEMG信號的采集通過使用MYO設(shè)備對人的4種手勢動作的sEMG信號獲取。4種不同動作的sEMG信號，即：食指與大拇指點擊，中指與大拇指點擊，無名指與大拇指點擊和小拇指與大拇指點擊。信號的采集好壞對設(shè)備在手臂上的位置很重要，通過反復(fù)嘗試找到了sEMG信號采集的最佳位置。如圖2所示。信號的采集頻率為20 Hz，采樣點約為1 920，采樣時間控制在120 s內(nèi)。

圖1 實驗流程圖

圖2 MYO在手臂的位置

1.2 信號處理

在信號提取之前，需要先對信號進(jìn)行預(yù)處理，采用MYO裝置，信號由8只傳感器對人體表面肌電進(jìn)行實時采集，對采集的信號進(jìn)行預(yù)處理，產(chǎn)生8個單一頻道的肌電信號，對sEMG信號的所有預(yù)處理在MYO設(shè)備中完成。而傳統(tǒng)的肌電信號采集會伴隨著噪音的干擾，對實驗結(jié)果產(chǎn)生很大影響。這種噪音可以分為人工操作、線性噪音能量、電極噪音、外界噪音和內(nèi)部噪音。這些噪音可以通過調(diào)整電極的插入位置、實驗環(huán)境，還有通過濾波噪音信號來減小噪音信號對肌電信號的干擾。為了方便實驗人員對數(shù)據(jù)信號的過濾、降噪等操作，采用MYO設(shè)備進(jìn)行。由于sEMG信號本身的復(fù)雜性，為了進(jìn)行有效分類，需要進(jìn)行特征選擇。4種手勢信號如圖3所示。

圖3 4種手勢sEMG信號

1.3 特征提取

由于肌電信號本身的復(fù)雜性，選取特征值進(jìn)行分類是必不可少的。sEMG信號的提取有很多方法，研究者采用過時域、頻域、時頻域技術(shù),及采用多方面的特征。本實驗中，特征提取選擇平均絕對值(WAV)，均方根(RMS)，零交點(ZC)，方差(VAR)，標(biāo)準(zhǔn)差(SD)。對每個動作進(jìn)行特征提取，計算方法如下：

1)MAV：能夠用來平滑掉sEMG波形中較大的振幅，因為sEMG信號以±(1～3) mV波動，本實驗振幅在-1.5～+1.5 mV之間。計算采樣信號的平均絕對值，是檢測一個收縮信號程度的簡單特征

(1)

式中 N為采樣信號的長度;xn為sEMG信號的值。

2)RMS：用來調(diào)節(jié)振幅，在高斯隨機(jī)過程中，RMS的值與常量和非疲勞收縮有關(guān)

(2)

3)VAR：描述sEMG信號的波動情況，觀察信號的穩(wěn)定情況

(3)

4)SD：用來表示信號數(shù)據(jù)和平均值之間的差值，可以得到肌肉收縮的閾值

(4)

5)ZC：是指幅值過穿零點的個數(shù)，它提供了頻域性能的近似估計

(5)

4種手勢點擊特征值計算結(jié)果如表1～表4。

2 sEMG信號的分類

本實驗采用人工神經(jīng)網(wǎng)絡(luò)中的附加動量自適應(yīng)學(xué)習(xí)的BP神經(jīng)網(wǎng)絡(luò)。在訓(xùn)練數(shù)據(jù)中，當(dāng)給出一對輸入向量和目標(biāo)值時，輸入向量從網(wǎng)絡(luò)的輸入層到隱含層，最后由輸出層輸出結(jié)果。按照實際值與給定的目標(biāo)值之間的實際誤差，通過梯度下降算法，從輸出層到隱含層逐層調(diào)整BP網(wǎng)絡(luò)中的權(quán)值，不斷提高準(zhǔn)確率。其中LM(levenberg-marquardt)算法用在訓(xùn)練中。當(dāng)結(jié)果不滿足網(wǎng)絡(luò)時，用最新保留的數(shù)據(jù)結(jié)果重新訓(xùn)練,用來提高網(wǎng)絡(luò)的性能和減少訓(xùn)練時間。

表1 食指與大拇指點擊特征值

表2 中指與大拇指點擊特征值

表3 無名指與大拇指點擊特征值

表4 小拇指與大拇指點擊特征值

3 手勢識別仿真

選用120組不同手勢動作的數(shù)據(jù)。從中提取的5種特征值作為輸入向量來訓(xùn)練網(wǎng)絡(luò)。每次設(shè)置一致的輸入向量和目標(biāo)向量。三層神經(jīng)網(wǎng)絡(luò)，隱含層神經(jīng)元選擇12(2×5+2)個，采用非線性最小二乘法(levenberg marquardts,LM)算法對手勢分類最佳，訓(xùn)練時間最短，最優(yōu)性能在第78次循環(huán)完成，訓(xùn)練停止在第96次循環(huán)，平均識別率在90.35 %。仿真結(jié)果如表5所示。

表5 手勢分類結(jié)果

4 結(jié) 論

本實驗?zāi)康氖菍θ梭w手勢動作的sEMG信號進(jìn)行采集對不同手勢動作進(jìn)行識別，提取不同的特征值后，用人工神經(jīng)網(wǎng)絡(luò)中的BP神經(jīng)網(wǎng)絡(luò)來進(jìn)行識別。非線性最小二乘法算法用來作為BP網(wǎng)絡(luò)的訓(xùn)練，采用梯度下降方法，減少計算時間，人工神經(jīng)網(wǎng)絡(luò)對手指的識別效率會隨著訓(xùn)練更多的sEMG樣本數(shù)據(jù)而提高。由于sEMG信號自身是時域變化的，所采用BP網(wǎng)絡(luò)中的LM算法可以有效地識別手勢動作。通過sEMG信號對人的手指的識別可以應(yīng)用在人機(jī)交互中對患者進(jìn)行肌電對比診斷，從而有助于開發(fā)供殘疾患者使用的電子設(shè)備，實現(xiàn)正常的生活。

[1] Pandey B,Mishra R B.An integrated intelligent computing model for the interpretation of EMG-based neuromuscular diseases[J].Expert Systems with Applications,2009,36(5):9201-9213.

[2] Reaz M B I,Hussain M S,Mohd-Yasin F.Technique of EMG signal analysis:Detection, processing,classification and application-s[J].Biology Procedures Online,2006,8(1):11-35.

[3] Yousefi J,Hamilton-Wright A.Characterizing EMG data using machine-learning tools[J].Computers in Biology and Medicine,2014,51:1-13.

[4] Lu Yang,Ju Zhaojie,Liu Yurong,et al.Time series modeling of surface EMG-based hand manipulation identification via expectation maximization algorithm[J].Neurocomputing,2015,168:661-668.

[5] Shroffe E H D,Manimegalai P.Hand gesture recognition based on EMG signals using ANN[J].International Journal of Computer Application，2013,2(3):31-39.

[6] 黃漫國，樊尚春，鄭德智,等.多傳感器數(shù)據(jù)融合技術(shù)研究進(jìn)展[J].傳感器與微系統(tǒng),2010，29(3):5-12.

[7] Hiraiwa A,Shimohara K,Tokunaga Y.EMG pattern analysis and classification by neural network[C]∥Proceedings of IEEE International Conference on Systems,Man and Cybernetics,Cambridge,MA,1989:1113-1115.

[8] Keles S,Subasi A.Classification of EMG signals using decision tree methods[C]∥The 3rd International Symposium on Sustai-nable Development，International Burch University,Sarajevo,2013:354-366.

[9] Subasi A.Classification of EMG signals using PSO optimized SVM for diagnosis of neuromuscular disorders[J].Computers in Biology and Medicine，2013,43(5):576-586.

[10] Zhang Z,Wang C,Yang G Z.Forearm functional movement recognition using spare channel surface electromyography[C]∥IEEE International Conference on Body Sensor Networks(BSN)，Cambridge,MA,USA,2013:1-6.

[11] Riillo F,Quitadamo L R,Cavrini F,et al.Optimization of EMG-based hand gesture recognition:Supervisedvsunsupervised data preprocessing on healthy subjects and transradial amputees[J].Biomedical Signal Processing and Control,2014,14:117-125.

[12] Sharma S,Kumar G.Wavelet analysis based feature extraction for pattern classification from single channel acquired EMG sig-nal[J].Elixir Control Engg,2012,50:10320-10324.

[13] Muhammad Ibn Ibrahimy,Md Rezwanul Ahsan,Othman Omran Khlifa.Design and optimization of levenberg-marquardt based neural network classifier for EMG signals to identify hand motion-s[J].Measurement Science Review，2013,13(3):142-151.

Finger movements recognition based on artificial neural network on sEMG signal*

WANG Jing-fang, SHI Lin

(Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650500,China)

Surface electromyography(sEMG)signals for fingers action research, which finger movements of the research methods is very less and signal processing is too complex.This experiment using the artificial neural network and sEMG signal to the person’s finger gestures recognition research.The experiment introduced the MYO hardware equipment of the new finger movements sEMG signal acquisition.Use MYO from arm for each finger movements of sEMG signal,and then to extract the signal characteristic value as training data and test data of the algorithm, the recognition algorithm with artificial neural network of back propagation(BP)algorithm for the classification of four different finger gestures,its corresponding target finger recognition rate at 90.35 %.The result can be used for clinical diagnosis and biomedical applications,the development of modern hardware and more modern the development of human-computer interaction.

surface electromyography(sEMG); artificial neural networks; MYO; feature extraction; finger movements

2016—06—08

國家自然科學(xué)基金資助項目(61368005)

10.13873/J.1000—9787(2017)06—0063—03

TP 391.4

A

1000—9787(2017)06—0063—03

王景芳(1991-)，男，碩士研究生，主要研究方向為信號的模式識別與應(yīng)用。

施 霖(1972-)，男，通訊作者，博士，副教授，從事實驗心理學(xué)，計算機(jī)軟件，計算機(jī)應(yīng)用等研究工作，E—mail:lin.shi@live.cn。