多模式人手動(dòng)作分類識(shí)別方法

都明宇 王志恒 荀 一 鮑官軍 高 峰 楊慶華 張立彬

浙江工業(yè)大學(xué)機(jī)械工程學(xué)院，杭州，310014

0 引言

中風(fēng)引發(fā)的肢體偏癱給病人及其家庭造成沉重的經(jīng)濟(jì)負(fù)擔(dān)和精神壓力。臨床實(shí)踐表明，運(yùn)動(dòng)功能的經(jīng)常性訓(xùn)練，尤其是配合人體動(dòng)作意圖的主動(dòng)訓(xùn)練對(duì)受損神經(jīng)系統(tǒng)的功能恢復(fù)具有非常積極的作用[1-4]，其中，手部動(dòng)作對(duì)大腦皮層和肢體感覺的神經(jīng)刺激作用最大[5]。表面肌電(surface electromyography，sEMG)信號(hào)是肌肉收縮過程中，大量運(yùn)動(dòng)單位動(dòng)作電位(motor unit action potential，MUAP)經(jīng)肌肉、皮下組織和皮膚的傳導(dǎo)疊加，最終反映在皮膚表面的綜合電效應(yīng)[6]，蘊(yùn)含了豐富的生理神經(jīng)信息，是非常理想的自主控制信息源。因此解碼sEMG信號(hào)，實(shí)現(xiàn)對(duì)手部動(dòng)作意圖的識(shí)別，是基于sEMG信號(hào)控制的康復(fù)器或仿生義肢推廣應(yīng)用的前提。

基于sEMG信號(hào)的手部功能康復(fù)研究的焦點(diǎn)是準(zhǔn)確判斷sEMG信號(hào)與手部動(dòng)作模式的對(duì)應(yīng)關(guān)系。目前的手部動(dòng)作識(shí)別研究中，較常用的方法是先對(duì)采集于前臂的sEMG信號(hào)進(jìn)行特征提取并組成特征向量；再利用這些標(biāo)記了動(dòng)作類別屬性的特征向量，訓(xùn)練基于不同算法的模式分類器；最終將離線訓(xùn)練和測(cè)試環(huán)節(jié)中分類性能突出、泛化能力強(qiáng)的分類器方案固化，并應(yīng)用到在線動(dòng)作模式分類任務(wù)。盡管基于sEMG信號(hào)的手部動(dòng)作模式識(shí)別研究已取得了顯著的成果，但目前能夠被穩(wěn)定識(shí)別的手部動(dòng)作數(shù)量和種類仍然有限，大多數(shù)研究報(bào)道的識(shí)別種類都少于10種，且隨著動(dòng)作模式的增多，整體識(shí)別成功率下降明顯[7]。因此深入開展面向多類手部動(dòng)作模式的識(shí)別研究，有利于拓展精細(xì)動(dòng)作識(shí)別能力，極具現(xiàn)實(shí)意義和應(yīng)用價(jià)值。

1 多通道sEMG信號(hào)采集系統(tǒng)設(shè)計(jì)

1.1 信號(hào)采集

sEMG傳感器電極的配置位置和數(shù)量對(duì)手部動(dòng)作模式識(shí)別的影響十分顯著[8]。信號(hào)量充足且信噪比高的sEMG信號(hào)是順利完成手部動(dòng)作多模式識(shí)別的前提。為了保證在提取足夠信號(hào)的同時(shí)摒棄低效采樣通道，本文對(duì)5位受試實(shí)驗(yàn)人員的前臂進(jìn)行了三維掃描建模，通過3D打印技術(shù)制作了用于安裝sEMG采樣電極的陣列板臂套，如圖1所示。該臂套能夠有效提高多輪次采樣環(huán)境下的電極重復(fù)定位精度。如圖2所示，通過計(jì)算采樣數(shù)據(jù)的信噪比并排序，本文確定了對(duì)識(shí)別率貢獻(xiàn)度最高的5個(gè)信號(hào)采集點(diǎn)。信號(hào)采集使用的sEMG采集儀內(nèi)置低通濾波器，具有10位的A/D轉(zhuǎn)換精度，采樣頻率500 Hz，通過USB接口與工作站通信，可以同時(shí)采集12路sEMG信號(hào)并實(shí)時(shí)顯示在工作站軟件界面。采樣電極為常規(guī)的3極式差分輸入，可以最大程度地減小采樣環(huán)節(jié)引入的共模干擾，保證采樣信號(hào)的真實(shí)完整。

圖1 sEMG采樣系統(tǒng)Fig.1 The sEMG sampling system

圖2 采樣電極布置方案Fig.2 Sampling electrode layout plan

1.2 采樣過程中的動(dòng)作規(guī)范

為了保證手部動(dòng)作的規(guī)范一致，5位受試實(shí)驗(yàn)人員都經(jīng)過一定時(shí)間的練習(xí)。每種動(dòng)作都以“放松-動(dòng)作-放松”的形式循環(huán)進(jìn)行，動(dòng)作和放松時(shí)間都是1～2 s，每組測(cè)試持續(xù)1 min，組間休息時(shí)間不小于3 min。圖3所示為“握拳”時(shí)5個(gè)通道的原始sEMG信號(hào)。

圖3 原始表面肌電信號(hào)Fig.3 Original sEMG signal

2 sEMG信號(hào)特征參數(shù)提取

分析表面肌電信號(hào)的方法主要有時(shí)域分析法、頻域分析法、參數(shù)模型法、時(shí)頻分析法、非線性動(dòng)力學(xué)分析法等[7-9]?；趯?shí)時(shí)性要求，本文提取具有代表性的時(shí)域特征、自回歸模型系數(shù)特征和小波包分解系數(shù)特征進(jìn)行實(shí)驗(yàn)比對(duì)分析。在提取特征之前，采用滑動(dòng)窗口法對(duì)原始sEMG信號(hào)的數(shù)據(jù)流進(jìn)行分割預(yù)處理，滑動(dòng)窗寬為64個(gè)采樣點(diǎn)，增量為32采樣點(diǎn)。

2.1 基于時(shí)域統(tǒng)計(jì)量的特征提取

時(shí)域特征提取簡單快捷，在sEMG信號(hào)處理中被廣泛應(yīng)用。由于方差V、絕對(duì)均值M和均方根R可以分別表征信號(hào)的偏離程度、平均強(qiáng)度和平均功率，物理意義明確，所以本文將上述3個(gè)時(shí)域統(tǒng)計(jì)量作為時(shí)域特征用于后續(xù)分類器訓(xùn)練。由于每個(gè)采樣通道都將分段提取出V、M和R，所以5通道的所有時(shí)域特征參數(shù)可構(gòu)成15維寬度的特征向量：

V=(V1，V2，…，V5，M1，M2，…，M5，
R1，R2，…，R5)

(1)

2.2 基于AR參數(shù)模型的特征提取

參數(shù)模型法是分析sEMG信號(hào)的一種重要方法，其中典型的是自回歸(autoregressive，AR)模型法，該方法將sEMG信號(hào)看作是由白噪聲激勵(lì)某一確定系統(tǒng)產(chǎn)生的。當(dāng)激勵(lì)白噪聲的功率和系統(tǒng)參數(shù)已知，就可以通過研究模型參數(shù)和性質(zhì)以及白噪聲輸入輸出關(guān)系來描述原始sEMG信號(hào)，即用參數(shù)模型的若干系數(shù)來描述sEMG信號(hào)的特性。AR模型表達(dá)式為

(2)

式中，x(n)為sEMG信號(hào)的第n個(gè)采樣信號(hào)；u(n)為白噪聲殘差；ai為AR模型的第i個(gè)系數(shù)；P為AR模型階數(shù)。

為保證肌電控制應(yīng)用的時(shí)效性，本文選擇具有較高分辨率和計(jì)算效率的Burg算法[10]來計(jì)算4階AR模型的系數(shù)。由于每個(gè)采樣通道都將分段提取出4個(gè)AR模型的參數(shù)，所以5通道的AR模型參數(shù)可以構(gòu)成20維的特征向量：

V1=(a11，a12，a13，a14，a21，a22，…，a51，a52，a53，a54)

(3)

2.3 基于小波包分解系數(shù)的特征提取

sEMG信號(hào)本質(zhì)上是一種非平穩(wěn)生物電信號(hào)。原始表面肌電信號(hào)f(t)經(jīng)小波包分解后被投影到小波包基上，獲得一系列系數(shù)，利用這些系數(shù)可以進(jìn)行特征提取。本文將Shannon熵作為代價(jià)函數(shù)來評(píng)估小波包分解基，即定義序列x={xj}的熵為

(4)

Pj=|xj|2/‖x‖2

Pj=0時(shí)，定義PjlgPj=0。

使用代價(jià)函數(shù)M(x) 評(píng)估的常用小波包基，選擇db3函數(shù)進(jìn)行2層小波包分解，將提取的4個(gè)分量系數(shù)作為特征參數(shù)。5個(gè)通道的所有系數(shù)構(gòu)成了20維的特征向量：

V2=(w11，w12，w13，w14，w21，w22，…，w51，w52，w53，w54)

(5)

2層小波包分解樹如圖4所示。

圖4 2層小波包分解樹Fig.4 Two layer wavelet packet decomposition tree

3 訓(xùn)練樣本制作

3.1 活動(dòng)段檢測(cè)

訓(xùn)練樣本的動(dòng)作類型劃分直接影響分類器訓(xùn)練效果，準(zhǔn)確界定sEMG信號(hào)的活動(dòng)段是類型劃分的關(guān)鍵。圖3可以看出，由于各通道sEMG信號(hào)波形具有動(dòng)作同步性，因此筆者設(shè)計(jì)了3階切比雪夫數(shù)字濾波器來提取5通道混合信號(hào)的包絡(luò)線。包絡(luò)線的表達(dá)式為

(6)

式中，x(·)為原始信號(hào)；ak、bk為濾波器參數(shù)。

圖5所示為經(jīng)過延時(shí)修正的原始信號(hào)包絡(luò)曲線，可以看出該方法提取的包絡(luò)線可以很好地貼合原始信號(hào)的輪廓。

圖5 表面肌電信號(hào)包絡(luò)線Fig.5 sEMG signal envelope

3.2 動(dòng)作標(biāo)簽添加

通過合理設(shè)置閾值可將包絡(luò)曲線轉(zhuǎn)換成二值狀態(tài)信號(hào)。如圖6a所示，傳統(tǒng)的單一閾值法對(duì)狀態(tài)轉(zhuǎn)化的劃分效果并不理想。信號(hào)在狀態(tài)轉(zhuǎn)換過渡區(qū)域存在較大波動(dòng)，極易發(fā)生反復(fù)穿越閾值邊界的現(xiàn)象，從而觸發(fā)狀態(tài)信號(hào)的錯(cuò)誤翻轉(zhuǎn)。為此，采用雙閾值滯回比較算法獲取狀態(tài)轉(zhuǎn)換信號(hào)：

(7)

αH>αL

在程序算法里對(duì)y(t)的變化趨勢(shì)進(jìn)行跟蹤，僅當(dāng)數(shù)據(jù)上升過程穿越上限αH或下降過程穿越下限αL才會(huì)觸發(fā)狀態(tài)信號(hào)翻轉(zhuǎn)。

如圖6b所示，通過實(shí)驗(yàn)方法合理設(shè)置閾值αH、αL之后，狀態(tài)信號(hào)錯(cuò)誤翻轉(zhuǎn)的現(xiàn)象得到了明顯的改善。

圖6 動(dòng)作狀態(tài)轉(zhuǎn)換信號(hào)Fig.6 Action status conversion signal

4 分類實(shí)驗(yàn)和結(jié)果分析

4.1 手部動(dòng)作類型

手部動(dòng)作類型如表1、圖7所示，為所研究的19種手部動(dòng)作和1種放松動(dòng)作，設(shè)計(jì)了20位二進(jìn)制編碼形式的動(dòng)作類型標(biāo)簽。每種動(dòng)作對(duì)應(yīng)1個(gè)二進(jìn)制位，“1”代表有動(dòng)作，“0” 代表無動(dòng)作。例如：“握拳”動(dòng)作的類型標(biāo)簽為“0000 0000 0000 0010 0000”，即從左向右第15位為1，其余位為0，動(dòng)作代號(hào)為15。利用狀態(tài)轉(zhuǎn)換信號(hào)S(t)，程序在可以自動(dòng)提取特征向量的同時(shí)為其添加動(dòng)作類型標(biāo)簽，從而完成所有參與分類器訓(xùn)練及測(cè)試的20萬條樣本數(shù)據(jù)的制作工作。

表1 手部動(dòng)作模式列表

圖7 手部動(dòng)作模式Fig.7 Hand action mode

4.2 分類器的設(shè)計(jì)與訓(xùn)練

BP神經(jīng)網(wǎng)絡(luò)能夠滿足手部精細(xì)動(dòng)作辨識(shí)分類的要求[11]，為分步考察BP神經(jīng)網(wǎng)絡(luò)分類器的性能，本文將待識(shí)別動(dòng)作分成3類進(jìn)行訓(xùn)練。第一類為單指識(shí)別(單指動(dòng)作+放松動(dòng)作)，第二類為多指識(shí)別(多指動(dòng)作+放松動(dòng)作)，第三類為全部動(dòng)作識(shí)別(手指動(dòng)作+腕動(dòng)作+放松動(dòng)作)。前文提取的sEMG特征有時(shí)域特征(TD)、模型系數(shù)特征(AR)和小波包分解特征(WPT)。分類器的輸入和輸出一共有9種組合，故最終構(gòu)建了9個(gè)BP神經(jīng)網(wǎng)絡(luò)分類器。分類器為3層結(jié)構(gòu)，輸入節(jié)點(diǎn)配置為15個(gè)(TD特征)、20個(gè)(AR或WPT特征)。輸出節(jié)點(diǎn)為6個(gè)(單指識(shí)別)、13個(gè)(多指識(shí)別)、20個(gè)(全部動(dòng)作識(shí)別)。實(shí)驗(yàn)對(duì)9種組合下的6～35個(gè)隱含層節(jié)點(diǎn)的情況分別進(jìn)行了訓(xùn)練。限于篇幅，僅以表2所示的“小波包分解特征(WPT)、單指識(shí)別、26個(gè)隱含節(jié)點(diǎn)”的BP神經(jīng)網(wǎng)絡(luò)分類器的訓(xùn)練結(jié)果為例進(jìn)行說明。BP神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練結(jié)果以混淆矩陣的形式出現(xiàn)，矩陣的每一行代表分類器對(duì)某一動(dòng)作實(shí)際分類的正確與錯(cuò)誤的樣本分布，每一列代表原始標(biāo)簽樣本被正確或錯(cuò)誤分類的分布情況。

表2 26個(gè)隱含節(jié)點(diǎn)的BP神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練結(jié)果(WPT特征、單指動(dòng)作)

實(shí)驗(yàn)開始前，按每種動(dòng)作取10 000條樣本組成分類器訓(xùn)練與驗(yàn)證的總體樣本，訓(xùn)練與驗(yàn)證的樣本嚴(yán)格分離，比例為6∶4。

隱含節(jié)點(diǎn)和特征類型對(duì)分類器平均識(shí)別率的影響如圖8所示?；赪PT特征的BP分類器(綜合識(shí)別效果最佳)對(duì)3種手部動(dòng)作模式的最佳識(shí)別率分別為98.5%、92.4%、90.9%。實(shí)驗(yàn)結(jié)果顯示，隨著手部動(dòng)作的增多，分類器識(shí)別率呈下降趨勢(shì)，但基于小波分解系數(shù)的分類器仍可以達(dá)到比較高的平均識(shí)別率；隱含節(jié)點(diǎn)數(shù)對(duì)分類器識(shí)別率影響都比較大，基于小波包分解系數(shù)的分類器平均識(shí)別率波動(dòng)相對(duì)較小。

另外，隱含節(jié)點(diǎn)數(shù)量的變化趨勢(shì)與分類器識(shí)別率變化趨勢(shì)之間沒有明顯聯(lián)系，TD特征下的平均識(shí)別率最佳的分類器隱含層節(jié)點(diǎn)數(shù)為30，AR特征下的平均識(shí)別率最佳的分類器隱含層節(jié)點(diǎn)數(shù)為31，WPT特征下的平均識(shí)別率最佳的分類器隱含層節(jié)點(diǎn)數(shù)為27。

圖8 隱含節(jié)點(diǎn)和特征類型對(duì)分類器平均識(shí)別率的影響Fig.8 Influence of hidden layer node and feature type on the average recognition rate of classifier

不同特征條件下的平均識(shí)別率最佳的分類器各單項(xiàng)動(dòng)作識(shí)別率如圖9所示。3種特征的單項(xiàng)動(dòng)作識(shí)別率走勢(shì)基本相同，說明sEMG信號(hào)采集方案提供的原始信息對(duì)單項(xiàng)動(dòng)作的識(shí)別貢獻(xiàn)程度一致。針對(duì)20種動(dòng)作的復(fù)雜情況，基于AR模型參數(shù)的分類器適應(yīng)性較差，平均識(shí)別率僅有51%，說明AR模型系數(shù)特征不適合應(yīng)用在多模式手部動(dòng)作的分類場(chǎng)景?；赪PT特征和TD特征的分類器訓(xùn)練結(jié)果良好，基于WPT特征分類器的各單項(xiàng)動(dòng)作識(shí)別率略高于基于TD特征的分類器，二者的識(shí)別率均在80%以上。若不考慮識(shí)別率最低的4個(gè)動(dòng)作，剩余16個(gè)動(dòng)作的平均識(shí)別率超過90%，優(yōu)于文獻(xiàn)[6]所列的多種分類器識(shí)別成功率。

圖9 3種特征的單項(xiàng)動(dòng)作識(shí)別率對(duì)比Fig.9 Comparison of single action recognition rate of 3 different feature

4.3 時(shí)效性分析

本文采用的sEMG采集儀轉(zhuǎn)換延時(shí)小于2 ms，滑動(dòng)窗延時(shí)小于128 ms。時(shí)域特征的提取算法簡潔快速，單條特征向量提取耗時(shí)小于20 ms。AR系數(shù)特征向量提取耗時(shí)也較短，生成單條特征向量需32 ms。小波包分解系數(shù)特征提取較為耗時(shí)，生成單條特征向量耗時(shí)為56 ms。BP神經(jīng)網(wǎng)絡(luò)分類器的分類速度很高，從特征向量輸入到識(shí)別結(jié)果輸出耗時(shí)小于1 ms。所以，從sEMG采集到模式識(shí)別輸出的總延時(shí)小于基于TD特征的150 ms和基于WPT特征的190 ms。因此本文提出的方法可以滿足主動(dòng)康復(fù)訓(xùn)練和普通人機(jī)交互控制領(lǐng)域的實(shí)時(shí)性要求。實(shí)驗(yàn)所使用的計(jì)算機(jī)配置如下：CPU為Intel Core i7-5500U，主頻2.4 GHz，RAM為8 G，操作系統(tǒng)為Windows7。

5 結(jié)論

(1)根據(jù)前臂肌肉分布特點(diǎn)和功能區(qū)劃，通過實(shí)驗(yàn)采樣和統(tǒng)計(jì)對(duì)比最終確定了5通道采樣電極的布局方式，在簡化通道數(shù)的同時(shí)保證了高質(zhì)量sEMG的拾取。

(2)提出一種多通道sEMG信號(hào)活動(dòng)段檢測(cè)的快捷方法，降低了劃分錯(cuò)誤率，并能夠依據(jù)狀態(tài)轉(zhuǎn)換信號(hào)完成特征向量動(dòng)作屬性標(biāo)簽的自動(dòng)添加。

(3)設(shè)計(jì)并完成了基于BP神經(jīng)網(wǎng)絡(luò)的多模式手部動(dòng)作分類器，它對(duì)6種、13種和20種手部動(dòng)作的最佳平均識(shí)別率分別為98.5%、92.4%、90.9%，模式分類輸出延時(shí)小于190 ms。