基于標(biāo)簽幾何化與特征融合的sEMG 手勢(shì)分割分類?

周丙濤，朱 黎，向 勉

(湖北民族大學(xué)智能科學(xué)與工程學(xué)院，湖北 恩施 445000)

表面肌電信號(hào)目前廣泛應(yīng)用于人機(jī)接口，最為常用的是手勢(shì)的識(shí)別。國內(nèi)外對(duì)于基于肌電的手勢(shì)研究多是集中于手勢(shì)的識(shí)別，即通過特征提取、智能分類的手段將已知的肌電信號(hào)序列進(jìn)行分類。從實(shí)用意義出發(fā)，對(duì)于連貫的數(shù)據(jù)進(jìn)行分割，是信號(hào)分類的前期工作，同樣重要。目前國內(nèi)外對(duì)于肌電數(shù)據(jù)的分割方法往往采用閾值分割等比較簡單的方法[1]。肌電數(shù)據(jù)不同于其他可穿戴設(shè)備中的傳感器如慣性傳感器、壓力傳感器，往往數(shù)據(jù)并非線性且穩(wěn)定性較差，需要提取時(shí)域、頻域的特征再進(jìn)行分類[2]。

要在一長段含有不同手勢(shì)的肌電信號(hào)中識(shí)別出特定手勢(shì)，首先需要找到動(dòng)作在信號(hào)流中的起始點(diǎn)，鄭楠等[3]提出了一種利用sEMG 信號(hào)瞬時(shí)能量結(jié)合閾值分割的方法，利用特定手勢(shì)瞬時(shí)能量的變化來劃分起始點(diǎn)，這種方法簡單、快捷，但是在處理個(gè)別瞬時(shí)能量變化幅度較小的手勢(shì)動(dòng)作時(shí)不夠精確，同樣使用該方法的還有馮凱等[4]。在閾值分割法中，有一些研究使用了雙閾值分割法[5－7]，雙閾值法主要原理是設(shè)置兩組閾值，第一組是開始測(cè)量的標(biāo)志，第二組和第一組的閾值進(jìn)行對(duì)比，然后再進(jìn)行分割，這種方法比單閾值更精確。閾值分割的方法受到肌肉疲勞、肌表面出汗等因素影響，閾值可能需要進(jìn)行動(dòng)態(tài)調(diào)整。Wang M 等[8]提出了一種基于信號(hào)包絡(luò)和積分肌電圖的sEMG 分割算法，對(duì)于連續(xù)信號(hào)進(jìn)行積分處理形成包絡(luò)線，后進(jìn)行閾值處理，對(duì)于步態(tài)進(jìn)行分割，能夠達(dá)到91.42%的準(zhǔn)確率。Wang Y等[9]提出的分割方法是在對(duì)sEMG 信號(hào)流進(jìn)行傅里葉變換后再進(jìn)行隱馬爾科夫計(jì)算，該方法很好地運(yùn)用在高頻sEMG 信號(hào)處理中。Park 等[10]的研究使用了一個(gè)雙層的隱馬爾科夫鏈結(jié)構(gòu)，第一層表示運(yùn)動(dòng)的類型，第二層表示運(yùn)動(dòng)階段，很好地使用sEMG數(shù)據(jù)預(yù)測(cè)了步行、跑步、反向跳躍和坐立動(dòng)作，做到了端到端的分割加識(shí)別。目前對(duì)于分割算法，國內(nèi)外方法還是以閾值法為主，缺乏對(duì)于復(fù)雜信號(hào)進(jìn)行分割的能力。

對(duì)分割后信號(hào)的處理，國內(nèi)外的方法非常豐富，常用的特征提取算法有時(shí)域法、頻域法、時(shí)頻域法等[11－13]，主要原理是提取出sEMG 信號(hào)流中的特征。特征提取方法有小波變換[14]、選擇時(shí)域特征、均方根比和自回歸模型[15]、SSDs[16]等。反向傳播神經(jīng)網(wǎng)絡(luò)、自適應(yīng)增強(qiáng)算法[17]、KNN[18]和深度學(xué)習(xí)被用于對(duì)sEMG 信號(hào)進(jìn)行分類，結(jié)合多維度的分類器近年來出現(xiàn)得較多。衛(wèi)文韜等[19]采用了雙流卷積神經(jīng)網(wǎng)絡(luò)對(duì)離散小波變換系數(shù)和原始表面肌電信號(hào)兩個(gè)分支進(jìn)行高層特征學(xué)習(xí)，效果比單特征有所提升。Shen 等[20]提出了一種基于多級(jí)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)分類器，對(duì)時(shí)域、頻域和時(shí)頻域數(shù)據(jù)分別進(jìn)行訓(xùn)練，將三個(gè)一級(jí)分類器的分類結(jié)果組合起來，作為特征向量訓(xùn)練二級(jí)分類器。融合多維特征也能夠提升分類的精度。Wei 等[21]提出了一種多視圖卷積神經(jīng)網(wǎng)絡(luò)框架，對(duì)于不同維度特征進(jìn)行視圖重構(gòu)，然后通過網(wǎng)絡(luò)融合特征完成分類。Li 等[22]利用多特征融合的長短時(shí)記憶卷積神經(jīng)網(wǎng)絡(luò)(MFFCNN-LSTM)，提出了一種基于前臂表面肌電信號(hào)時(shí)域和時(shí)頻譜特征的連續(xù)手部運(yùn)動(dòng)識(shí)別方法。該方法可以識(shí)別包括休息動(dòng)作在內(nèi)的10 個(gè)基本手部動(dòng)作。Wang 等[23]提出了一種基于特征融合的改進(jìn)膠囊網(wǎng)絡(luò)，將表面肌電信號(hào)信息與特征數(shù)據(jù)結(jié)合在一起，形成新的特征作為輸入。通過以上的研究中可以看出，分類的工具目前主要是深度學(xué)習(xí)，以CNN 和LSTM 為主，而對(duì)象多是經(jīng)過時(shí)域、頻域提取后的特征。

本文基于目前國內(nèi)外對(duì)于整段sEMG 手勢(shì)信號(hào)的分割研究不足的情況，提出了一種基于深度學(xué)習(xí)的空閑段識(shí)別方法分割整段信號(hào)，使用滑動(dòng)窗以及標(biāo)簽幾何化的方法提升精度。同時(shí)提出了一種新的識(shí)別方法，在分割后的數(shù)據(jù)中使用深度學(xué)習(xí)特征層融合的方法融合時(shí)域與頻域的特征。

1 數(shù)據(jù)分割算法

1.1 數(shù)據(jù)集介紹

本文所采用的的數(shù)據(jù)集是NinaPro database，是目前認(rèn)可度較高的基于表面肌電的手勢(shì)數(shù)據(jù)，其中的DB1 庫使用了10 通道布置在前臂上的sEMG 傳感器的數(shù)據(jù)，測(cè)試了27 人次，52 個(gè)動(dòng)作，動(dòng)作主要分類三組，簡單基本手勢(shì)(手腕運(yùn)動(dòng))、抓握以及手指的屈伸。數(shù)據(jù)采集頻率為2 kHz，采集方法為單個(gè)人進(jìn)行連續(xù)采集，動(dòng)作持續(xù)5 s 后過渡時(shí)間為3 s。

1.2 數(shù)據(jù)分割算法

對(duì)于連續(xù)數(shù)據(jù)流的動(dòng)作分割，常規(guī)的方法是閾值法，對(duì)于動(dòng)作復(fù)雜、多人次的數(shù)據(jù)，個(gè)體與動(dòng)作之間的體表特征、表面肌電的基礎(chǔ)水平是不一樣的，如圖1 所示，閾值的選擇無法滿足所有動(dòng)作與個(gè)體。

圖1 連續(xù)sEMG 信號(hào)時(shí)序圖

基于此，本文提出一種先對(duì)于過渡段進(jìn)行識(shí)別的方法，找出過渡段的起始位置，再通過起始位置進(jìn)行手勢(shì)動(dòng)作的分割，整體的流程如圖2 所示。

圖2 信號(hào)分割流程圖

①首先基于目標(biāo)精度對(duì)于數(shù)據(jù)流進(jìn)行降采樣，以滿足計(jì)算時(shí)間與效率的要求，基于本研究所選擇的實(shí)驗(yàn)數(shù)據(jù)，將數(shù)據(jù)降采樣至15 Hz，時(shí)間精度可以達(dá)到0.06 s。

②然后對(duì)于降采樣以后的數(shù)據(jù)，引入滑動(dòng)窗來對(duì)于數(shù)據(jù)進(jìn)行拾取，在此實(shí)驗(yàn)中，根據(jù)過渡狀態(tài)的長度，將滑動(dòng)窗的長度設(shè)置為20，最終所得到的每一次滑動(dòng)窗數(shù)據(jù)格式為20×10。對(duì)于滑動(dòng)窗得到的數(shù)據(jù)，通過有監(jiān)督學(xué)習(xí)的方法來進(jìn)行識(shí)別，所以標(biāo)簽的設(shè)置至關(guān)重要。

定義每一個(gè)滑動(dòng)窗對(duì)應(yīng)一個(gè)標(biāo)簽，如圖3 所示，每一個(gè)標(biāo)簽指代的是滑動(dòng)窗所包含數(shù)據(jù)類型的狀態(tài)，由于每一個(gè)滑動(dòng)窗的長度為20 格，定義如果屬于過渡階段，則取1，屬于手勢(shì)動(dòng)作階段，取0，而標(biāo)簽為滑動(dòng)窗所有格相加除以20，可見，完全處于過渡狀態(tài)的標(biāo)簽，值為1，而完全處于手勢(shì)動(dòng)作狀態(tài)的為0，中間狀態(tài)的大小從0～1 進(jìn)行變化。

圖3 滑動(dòng)窗口與標(biāo)簽示意圖

③對(duì)于滑動(dòng)窗采集的數(shù)據(jù)，采用LSTM 網(wǎng)絡(luò)提取數(shù)據(jù)來進(jìn)行特征提取與分類，LSTM 網(wǎng)絡(luò)適合于提取數(shù)據(jù)流中的時(shí)序信號(hào)，對(duì)于此類運(yùn)動(dòng)信號(hào)，在本文作者的前期研究中被證明有著比其他深度學(xué)習(xí)網(wǎng)絡(luò)(如CNN)更好的效果[24]，在此基礎(chǔ)上，我們引入了注意力機(jī)制，對(duì)于10 維的數(shù)據(jù)進(jìn)行注意力區(qū)分，將訓(xùn)練集中于更重要的數(shù)據(jù)上來。采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 LSTM 結(jié)構(gòu)圖

網(wǎng)絡(luò)由一層LSTM 層組成，特征尺度為10，時(shí)間維度為20，用以提取時(shí)序中的特征信息，經(jīng)過LSTM層的向量被引入注意力機(jī)制模塊，與前n個(gè)時(shí)間步的隱含層做點(diǎn)積計(jì)算出注意力分?jǐn)?shù)，再拼接成新的向量，經(jīng)過兩個(gè)Dense 層輸出特征向量aj，pi，最后進(jìn)行回歸操作，選擇優(yōu)化器是Adam (adaptive moment estimation)，平均絕對(duì)誤差函數(shù)作為損失函數(shù)。

④經(jīng)過深度學(xué)習(xí)網(wǎng)絡(luò)所擬合出的標(biāo)簽信號(hào)、原始標(biāo)簽信號(hào)的時(shí)序圖見圖5。

圖5 標(biāo)簽時(shí)序圖

可以看出，擬合出的標(biāo)簽信號(hào)中的很大一部分誤差，來源于信號(hào)中出現(xiàn)的不穩(wěn)定高頻波動(dòng)，對(duì)于原始標(biāo)簽進(jìn)行分析可知，標(biāo)簽在時(shí)序中的變化過程可以體現(xiàn)為四個(gè)階段，首先是值為0 的手勢(shì)動(dòng)作階段，然后是由0 向1(過渡狀態(tài))的漸變階段，這一階段是斜率一定的直線，然后是值為1 得過渡狀態(tài)，最后是由1 向0 裝換的漸變階段，這一階段也是斜率一定的直線。

經(jīng)過分析可以知道，標(biāo)簽信號(hào)的曲線擬合度能夠體現(xiàn)出信號(hào)狀態(tài)的變化，本研究采用求包絡(luò)線來對(duì)標(biāo)簽信號(hào)進(jìn)行處理，所述求包絡(luò)線方法為希爾變換包絡(luò)線求解法，首先進(jìn)行信號(hào)的希爾變換求解，設(shè)標(biāo)簽信號(hào)的函數(shù)為x(t)，則希爾變換求解公式如下:

求解出希爾變換式后，包絡(luò)線就為信號(hào)的瞬時(shí)幅值大小，從而將高頻的干擾信號(hào)進(jìn)行去除，公式為:

經(jīng)過處理的對(duì)比圖見圖6。

圖6 標(biāo)簽擬合圖

⑤對(duì)經(jīng)過包絡(luò)線處理后的信號(hào)，我們采取閾值分割法，取大于等于0.97 的數(shù)值為過渡狀態(tài)，小于0.97 的數(shù)值為手勢(shì)動(dòng)作階段。

2 手勢(shì)動(dòng)作分類算法

對(duì)于分割完成后的手勢(shì)動(dòng)作信號(hào)，信號(hào)長度有所不同，如果直接使用深度學(xué)習(xí)對(duì)于原始數(shù)據(jù)進(jìn)行學(xué)習(xí)，需要使用降采樣，勢(shì)必會(huì)損失數(shù)據(jù)中的某些特點(diǎn)，所以，對(duì)于手勢(shì)分類信號(hào)，不進(jìn)行降采樣。本研究提出利用時(shí)域頻域的特征提取公式，對(duì)于時(shí)域、頻域特征分別進(jìn)行提取、再進(jìn)行分類。

2.1 時(shí)域、頻域特征提取

肌電信號(hào)的通道數(shù)為10，我們對(duì)每一組通道都進(jìn)行時(shí)域、頻域的特征提取，xi為單個(gè)信號(hào)，i為時(shí)序標(biāo)量，選取了9 個(gè)時(shí)域特征和7 個(gè)頻域特征，頻域特征中，s(k)是絕緣架空導(dǎo)線信號(hào)x(n)的頻譜，K是譜線數(shù)，fk是第K條譜線的頻率值。公式如表1所示。

表1 時(shí)域頻域特征公式表

sEMG 信號(hào)在過渡段和手勢(shì)動(dòng)作階段的主要區(qū)別在于幅值、曲線趨勢(shì)等方面，而時(shí)域與頻域兩方面的特征足以描述肌電特征，y1、y4主要體現(xiàn)信號(hào)的強(qiáng)度，y2、y3、y7、y8和y9體現(xiàn)了信號(hào)的變化范圍，y5和y6主要體現(xiàn)了信號(hào)的變化趨勢(shì)。y10表征了該信號(hào)能量的強(qiáng)度，y11和y13體現(xiàn)了該信號(hào)的集中或分散程度，y12、y14、y15和y16體現(xiàn)了該信號(hào)的主頻帶位置。

2.2 深度學(xué)習(xí)工具

在動(dòng)作識(shí)別的分類中，常用的分類方法為LSTM 與CNN，注意力機(jī)制作為提升深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)效果的方法，被廣泛引用，本文選取帶有注意力機(jī)制的LSTM 與CNN 作為深度學(xué)習(xí)單元，網(wǎng)絡(luò)結(jié)構(gòu)如圖7、圖8 所示。

圖7 分類LSTM 結(jié)構(gòu)圖

圖8 CNN 結(jié)構(gòu)圖

LSTM 總體結(jié)構(gòu)與圖4 類似，輸入的格式不同，為10×10，在注意力模塊后為Dense 層，最后一層為Dropout 層，后進(jìn)行Softmax 分類。

我們?cè)O(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)有兩層卷積層，第一層的卷積核大小為6×6，通道數(shù)為32，第二層卷積核的大小為1×1，通道數(shù)拓展為64 位，然后使用2×2的最大池化層進(jìn)行降維，為了防止網(wǎng)絡(luò)的過擬合，在最后一層之前設(shè)計(jì)了Dropout 層，Dropout 層的系數(shù)為0.5，最后通過一層平鋪層將向量展開，形成長度為768 的向量，進(jìn)行Softmax 分類。

在此基礎(chǔ)上，我們同時(shí)也探索了多特征融合對(duì)于分類效果提升的作用。國內(nèi)外很多研究證明了多尺度的特征融合能夠提升sEMG 信號(hào)處理的能力。本文采用多模態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行融合時(shí)域與頻域的特征，總體結(jié)構(gòu)如圖9 所示，特征提取網(wǎng)絡(luò)為LSTM或CNN，特征提取后進(jìn)行模態(tài)融合，在最后的Dense層之前將提取的特征進(jìn)行向量的拼接。

圖9 特征融合結(jié)構(gòu)圖

3 實(shí)驗(yàn)結(jié)果與討論

實(shí)驗(yàn)的結(jié)果分為兩部分，第一部分是信號(hào)分割的準(zhǔn)確度，第二部分為動(dòng)作分類的準(zhǔn)確度，我們分開進(jìn)行結(jié)果的展示與討論。

3.1 信號(hào)分割實(shí)驗(yàn)

我們將整個(gè)信號(hào)流按照5 ∶1 的比例分為訓(xùn)練集和測(cè)試集，網(wǎng)絡(luò)進(jìn)行5 次訓(xùn)練，訓(xùn)練后使用標(biāo)簽處理方法，然后記錄下每次的結(jié)果并且與實(shí)際標(biāo)簽進(jìn)行比較，最后計(jì)算出準(zhǔn)確率(Accuracy)、召回率(Recall)、精確率(Precision)、F1-score。

標(biāo)簽為1 的結(jié)果為正例，為了進(jìn)行對(duì)比和驗(yàn)證本文的方法是否有效，設(shè)計(jì)了三組對(duì)比試驗(yàn)，第一組是直接將標(biāo)簽設(shè)置為1(過渡)和0(手勢(shì)動(dòng)作)，第二組是在標(biāo)簽擬合后，不進(jìn)行包絡(luò)線求解，以此驗(yàn)證包絡(luò)線求解的效果，第三組是采用目前國內(nèi)外研究使用較多的閾值法，采用多種閾值選出最佳的結(jié)果，總體的結(jié)果如表2 和圖10 所示。

表2 分割結(jié)果實(shí)驗(yàn)表

圖10 分割結(jié)果實(shí)驗(yàn)圖

從結(jié)果可以看出，未進(jìn)行包絡(luò)線處理的總體結(jié)果要比0、1 標(biāo)簽法更好，說明直接將標(biāo)簽設(shè)置為1和0 進(jìn)行分類處理在此項(xiàng)研究中是不適合的，分析原因，滑動(dòng)窗口在滑動(dòng)到過渡狀態(tài)和手勢(shì)動(dòng)作階段時(shí)含有了兩項(xiàng)的特征，單純地使用0、1 標(biāo)簽不準(zhǔn)確，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練時(shí)特征學(xué)習(xí)不準(zhǔn)確，導(dǎo)致結(jié)果產(chǎn)生誤差。對(duì)比完整算法和未進(jìn)行包絡(luò)線處理的算法說明進(jìn)行包絡(luò)線處理可以有效提升準(zhǔn)確度，在消除高頻干擾的基礎(chǔ)上沒有帶來更多的誤差。最終對(duì)比本文方法和常用的閾值分割法，本文的方法有一定的優(yōu)勢(shì)，能夠?yàn)閯?dòng)作分割提供有效解決方案。

3.2 手勢(shì)動(dòng)作分類實(shí)驗(yàn)

我們使用手勢(shì)分割后的數(shù)據(jù)，將分割后的數(shù)據(jù)進(jìn)行動(dòng)作標(biāo)簽的標(biāo)記，一共分為3 組，簡單基本手勢(shì)(手腕運(yùn)動(dòng))、抓握以及手指的屈伸，每一組選擇10個(gè)動(dòng)作，進(jìn)行了六組實(shí)驗(yàn)，分別是使用時(shí)域特征的LSTM 和CNN、使用頻域特征的LSTM 和CNN，融合特征的LSTM 和CNN，實(shí)驗(yàn)的目的是對(duì)比網(wǎng)絡(luò)結(jié)構(gòu)的差異和討論時(shí)域頻域特征對(duì)于結(jié)果的影響。深度學(xué)習(xí)的損失函數(shù)使用的是交叉熵?fù)p失函數(shù)，最終的結(jié)果如圖11、圖12 與表3 所示，分類能力用準(zhǔn)確率來表示，運(yùn)行時(shí)間用每計(jì)算一組數(shù)據(jù)的時(shí)間來衡量。

圖11 網(wǎng)絡(luò)類型結(jié)果對(duì)比圖

圖12 數(shù)據(jù)類型結(jié)果對(duì)比圖

從結(jié)果可以看出，在網(wǎng)絡(luò)結(jié)構(gòu)上，LSTM 比CNN有著更好的特征提取分類能力。從時(shí)域頻域特征的結(jié)果對(duì)比來看，時(shí)域結(jié)果要比頻域的結(jié)果更好，說明手勢(shì)動(dòng)作的特征更多地是體現(xiàn)在時(shí)域上，頻域上的特征只能作為時(shí)域特征的補(bǔ)充，特征融合后的結(jié)果要比單一的時(shí)域、頻域的結(jié)果都優(yōu)秀，這一點(diǎn)在預(yù)期之內(nèi)，從網(wǎng)絡(luò)運(yùn)行時(shí)間上看，LSTM 也優(yōu)于CNN。表4 所示為近期國內(nèi)外的研究與本文研究的結(jié)果對(duì)比。

表4 近期國內(nèi)外研究結(jié)果表

從表4 中可以看出，本文的結(jié)果占有一定的優(yōu)勢(shì)，分析原因，特征的提取是一方面，與近期的結(jié)果對(duì)比，豐富的時(shí)頻域信號(hào)種類可以完整地體現(xiàn)出信號(hào)的特征。本文所提取的時(shí)域、頻域信號(hào)的種類比較豐富，程度比較深，文獻(xiàn)[3]和文獻(xiàn)[14]主要利用的是肌電信號(hào)的協(xié)同矩陣和信號(hào)的特征圖像，是對(duì)于原始肌電信號(hào)進(jìn)行處理，沒有集中于對(duì)信號(hào)的時(shí)頻域進(jìn)行探索，而文獻(xiàn)[14]將時(shí)域、頻域信號(hào)使用圖片的方式進(jìn)行表達(dá)，沒有對(duì)于時(shí)頻域的特征進(jìn)行深度提取。另一方面是特征提取網(wǎng)絡(luò)的選擇，文獻(xiàn)[3]使用的是較為簡單的分類網(wǎng)絡(luò)，文獻(xiàn)[20]證明了CNN 網(wǎng)絡(luò)在提取特征方面有著優(yōu)勢(shì)，而文獻(xiàn)[14]的初始特征提取網(wǎng)絡(luò)為LSTM，任何特征提取網(wǎng)絡(luò)的選擇都需要對(duì)應(yīng)于數(shù)據(jù)格式，對(duì)于目前兩種主流特征提取網(wǎng)絡(luò)，我們都進(jìn)行了探索，結(jié)果證明，對(duì)于選擇的特征，帶有注意力機(jī)制的LSTM 是效果較好的一類。

4 結(jié)論

本文研究了基于sEMG 的常見手勢(shì)信號(hào)分割與分類的研究。針對(duì)于目前關(guān)于信號(hào)分割研究較少的問題，提出了一種基于深度學(xué)習(xí)的空閑段識(shí)別方法分割整段的信號(hào)，使用滑動(dòng)窗以及標(biāo)簽幾何化的方法提升精度，最終達(dá)到了效果超過閾值分割法的效果。同時(shí)，本文對(duì)于手勢(shì)分類也進(jìn)行了研究，提出了一種使用LSTM 融合9 個(gè)時(shí)域、7 個(gè)頻域特征的分類算法，最終證明在特征提取中，LSTM 能夠更好地完成分類，該算法在近年來的結(jié)果中占有一定的優(yōu)勢(shì)。