采用組合特征法的極限學(xué)習(xí)機(jī)多手勢精準(zhǔn)識別

來全寶，陶 慶，胡玉舸，孟慶豐

（新疆大學(xué)機(jī)械工程學(xué)院，新疆 烏魯木齊 830047）

1 引言

伴隨著我國老齡化人口的數(shù)目急劇增加，其中因中風(fēng)導(dǎo)致的偏癱患者數(shù)量也是逐年遞增。根據(jù)臨床實(shí)踐，患者主動積極的參與康復(fù)訓(xùn)練對受損神經(jīng)系統(tǒng)功能康復(fù)有重要意義［1］，其中上肢手部的康性訓(xùn)練，對于人體大腦皮層的影響效果是最大［2］。為了解決人工協(xié)助的手部康復(fù)訓(xùn)練治療的，長期性、單一性。經(jīng)過提取并解碼人體表面肌電信號（sEMG）將患者自身的訓(xùn)練意圖表達(dá)出來，進(jìn)而融入到上肢手部康復(fù)訓(xùn)練器中，有宜于神經(jīng)的重塑性，促進(jìn)肢體的復(fù)健。手勢動作的精準(zhǔn)識別是利用康復(fù)機(jī)器人訓(xùn)練的首要條件，所以探究上肢手勢動作識別多樣性及準(zhǔn)確性是十分必要的。

依據(jù)人體上肢運(yùn)動方式的不同，對應(yīng)運(yùn)動肌肉產(chǎn)生的信號也會有所改變，故可提取某些特征量對肢體活動進(jìn)行模式分類。雖然當(dāng)前利用肌電信號對人體動作模式的識別已經(jīng)取得了部分成果，但上肢手勢識別研究還不夠充分，較多研究集中于少量手勢動作的研究，如文獻(xiàn)［3］對握拳、伸五指、三指對捏、八字伸展4種手勢進(jìn)行識別，識別率可達(dá)99.24%；文獻(xiàn)［4］運(yùn)用神經(jīng)網(wǎng)絡(luò)對5種手勢平均識別率達(dá)98.7%；文獻(xiàn)［5］運(yùn)用GMM-HMM模型對手部6種動作進(jìn)行識別準(zhǔn)確率達(dá)99%等，均在較少手勢領(lǐng)域獲得較高的識別率。但隨著手部動作模式的增多，分類器的識別結(jié)果會有所下降［6］。而在多種手勢識別方面其識別效果有待提高，如文獻(xiàn)［7］對人體上肢八種動作平均識別率為（73.1～97.7）%；而文獻(xiàn)［8］采用時(shí)頻域特征識別九種動作識別率為94%；文獻(xiàn)［9］采用K最近鄰和決策樹算法針對10種手勢進(jìn)行識別平均識別率為89%；文獻(xiàn)［10］則采用神經(jīng)網(wǎng)絡(luò)對手部9種動作進(jìn)行識別，最高識別率達(dá)90.3%；文獻(xiàn)［11］通過組合原始肌電信號和包絡(luò)信號基于監(jiān)督學(xué)習(xí)和單變量特征選擇使得9種動作最高識別率為95%。

總體來看多通道手勢識別準(zhǔn)確率還有所欠缺，因此更進(jìn)一步提高多種手勢模式的識別率很有必要，這在未來將會更符合患者肢體康復(fù)的需要。

深挖多手勢識別率不高原因，關(guān)鍵在于特征值的選擇。將能夠反映各手勢變化的主要特征篩選出來，便能較高的區(qū)分各手勢動作實(shí)現(xiàn)精準(zhǔn)的識別效果。

考慮傳統(tǒng)的特征選擇算法如過濾式、包裹式和嵌入式和降維算法如，PCA。可適當(dāng)?shù)膶⒉糠直憩F(xiàn)較差的特征篩選出來，一定程度上減少冗余特征提高識別率，但并不是表現(xiàn)最好的特征單純的集合起來就可以提高識別率，有些表現(xiàn)不好的特征與其他特征組合起來將對精準(zhǔn)識別起到重要作用。

故這里提出綜合特征選擇與排列組合的組合特征法，不僅去除表現(xiàn)較差特征，還在較優(yōu)特征空間中進(jìn)行排類組合計(jì)算，兼顧各特征的搭配組合，最后將最優(yōu)特征子集與ELM算法相結(jié)合，實(shí)現(xiàn)了較高的識別率和較高的響應(yīng)速度。

2 極限學(xué)習(xí)機(jī)

ELM是全連接單隱層網(wǎng)絡(luò)，分為輸入層、隱含層、輸出層神經(jīng)元數(shù)目分別可表示為n、l、m可將ELM訓(xùn)練過程簡化成矩陣求逆問題，有效提升學(xué)習(xí)速度。其網(wǎng)絡(luò)結(jié)構(gòu)圖，如圖1所示。網(wǎng)絡(luò)模型，如式（1）所示。

圖1 極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Extreme Learning Machine Network Structure Diagram

（j=1，2，……n，g=1，2，…m）

式中：S—隱含層神經(jīng)元節(jié)點(diǎn)數(shù)；βi—第i個(gè)隱含到輸出的權(quán)值；f(x)—隱含層激活函數(shù)；ωi—輸入到第i個(gè)隱含層的連接權(quán)值；bi—第i個(gè)隱含節(jié)點(diǎn)偏差；Xj—第j個(gè)訓(xùn)練樣本的輸入值；Xj=[Xj1，Xj2，…，Xjn］，n—輸入層神經(jīng)元個(gè)數(shù)；Yg—第j個(gè)訓(xùn)練樣本的輸出值；Yg=［Yg1，Yg2，…，Ygm］，m—輸出層神經(jīng)元個(gè)數(shù)。

3 上肢手勢識別實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

本次實(shí)驗(yàn)采用葡萄牙某公司生產(chǎn)ErgoPlux的8通道無線表面肌電測量系統(tǒng)和上海勵圖醫(yī)療器材有限公司生產(chǎn)的LT-7型理療電極片，采用5個(gè)信號通道對在校4名大學(xué)生（2名男性，2名女性，年齡20歲±3）進(jìn)行上肢手勢動作表面肌電信號采集，分別為握拳、展拳、伸單指、伸兩指、伸三指、伸四指、六手型、八手型8個(gè)常用動作，每名受試者采集20組信號，共計(jì)采集80組數(shù)據(jù)，每采集4組信號休息5min，保證數(shù)據(jù)不受疲勞等因素影響。志愿者上肢手部正常均無骨折受傷經(jīng)歷，將受試者肘部搭在辦公桌上，前臂和手部保持豎直放松，緊接著按照提示做出上述8 個(gè)手勢動作。做同種手部動作時(shí)應(yīng)保持手部姿態(tài)和力度大小方向一致，將表面肌電信號傳感器黏貼于受試者左臂皮膚表面5個(gè)不同肌肉位置，分別為：指淺屈肌、肱橈肌、指伸肌、尺側(cè)腕伸肌、肱側(cè)腕屈肌，進(jìn)行肌電信號采集實(shí)驗(yàn)。實(shí)驗(yàn)時(shí)要求預(yù)先清潔皮膚并用醫(yī)用酒精擦拭，再將電極片粘貼在皮膚表面，肌電傳感器采樣頻率為1000Hz，其中一位受試者手部實(shí)驗(yàn)具體詳情，如圖2所示。

圖2 實(shí)驗(yàn)過程Fig.2 Experimental Process

3.2 肌電信號預(yù)處理

表面肌電信號主要頻率集中于（10～300）Hz之間，容易受到工頻信號、周圍磁場、靜電、系統(tǒng)噪聲、運(yùn)動偽跡以及人體其他生物電信號的干擾。故肌電信號數(shù)據(jù)的應(yīng)用，需把去噪處理列為第一要務(wù)，目的為調(diào)整基線漂移和去除頻率較高的噪聲信以及消除50Hz頻率干擾影響。本次實(shí)驗(yàn)首先去除50Hz市電的工頻干擾，接著采用四階巴特沃斯帶通濾波器濾除基線噪聲干擾，濾波器帶通選擇為（30～150）Hz。濾波后采用活動段檢測技術(shù)保留有效動作信號。無論是分類器訓(xùn)練還是實(shí)際應(yīng)用階段，活動段檢測都有其重要意義，其目的為截取肌電信號數(shù)據(jù)流中動作時(shí)肌肉“收縮發(fā)力”的電信號，即活動段，對應(yīng)的則是表示肌肉處于“靜息放松”狀態(tài)下的非活動段。只有準(zhǔn)確標(biāo)記出上肢動作時(shí)肌電信號活動段的起止點(diǎn)范圍，才能更準(zhǔn)確地進(jìn)行信號提取與識別工作。動作電位的提取本實(shí)驗(yàn)采用滑動窗口法，窗長為128ms，滑動窗為64ms，起止點(diǎn)判斷閾值由多次試驗(yàn)確定，為5通道平均能量和最大值的0.06n倍（n為實(shí)驗(yàn)經(jīng)驗(yàn)取值），動作起始點(diǎn)與結(jié)束點(diǎn)采用連續(xù)5次超躍閾值法，來確定起始點(diǎn)和動作結(jié)束點(diǎn)，采集的手部八指手型動作肌電信號活動段檢測，如圖3所示。

圖3 八指手型動作活動段Fig.3 Eight Finger Hand Movement Activity Section

4 特征值提取

預(yù)處理后需要對肌電信號進(jìn)行特征值提取工作，特征值的優(yōu)劣與手勢分類結(jié)果有直接關(guān)系。

表中：N—活動段內(nèi)有效采樣點(diǎn)數(shù)；

xi—活動段內(nèi)第i個(gè)采樣點(diǎn)幅值。

肌電信號中每一種動作都有自己獨(dú)特的特征集，根據(jù)其提取方式主要可分為：基于時(shí)域信息的特征提取、頻域信息的特征提取、時(shí)頻域信息的特征提取、參數(shù)模型的特征提取、非線性特征。為獲得更加全面的肌電信號特征信息，分別提取了上述五個(gè)方面的特征信息共計(jì)32個(gè)特征。

4.1 時(shí)域特征

共計(jì)采集12個(gè)時(shí)域特征，分別為積分肌電值（IEMG）、平均絕對值（MAV）、均方根（RMS）、方差（VAR）、波形長度（WL）、最大值（MAX）、簡單方形積分（SSI）、邏輯檢測（LOG）、Willison 幅值（WAMP）、最大分形長度（MFL）、過零率（ZC）、斜率符號變化（SSC），具體數(shù)學(xué)公式，如表1所示。

表1 時(shí)域特征值定義Tab.1 Time Domain Eigenvalue Definition

4.2 頻域特征

頻域特征方面采集4種特征，4階AR（1-4）模型參數(shù)，如表2所示。

表2 頻域特征定義Tab.2 Frequency Domain Feature Definition

4.3 時(shí)頻域特征

時(shí)頻域代表性特征為小波變換提取的特征值，其中小波包的應(yīng)用在生物醫(yī)學(xué)處理中已經(jīng)取得應(yīng)用［12］。

這里選擇db3小波包基函數(shù)進(jìn)行2層小波包分解，將分別提取系數(shù)絕對值均值（MOAC1-4）、系數(shù)平均能量（APOC（1-4））、系數(shù)標(biāo)準(zhǔn)差（STDOC（1-4））和系數(shù)均值（RI1-3）之比。2層小波包分解樹，如圖4所示。

圖4 2層小波包分解Fig.4 Two Layer Wavelet Packet Decomposition

4.4 非線性特征

上肢肌肉收縮時(shí)，肌肉單元激活程度數(shù)量等存在差異性，故表面肌電信號存在非線性和混沌性，在非線性特征中采用很少被采用的樣本熵特征，進(jìn)行肌電信信號的評估。

其通過肌電中產(chǎn)生不同模式概率的大小判定時(shí)間序列的隨機(jī)性，其值越低相似性越高，越高則越復(fù)雜。

其中本實(shí)驗(yàn)?zāi)Ｊ骄S數(shù)取2，相似容限為0.5倍的樣本標(biāo)準(zhǔn)差。上述特征集均進(jìn)行歸一化處理取值范圍為［-1，1］。

5 組合特征法

將從時(shí)域、頻域、時(shí)頻域和非線性中提取的綜合特征進(jìn)行篩選，排列組合，減少冗余低效特征，有機(jī)求取最優(yōu)搭配特征集，是實(shí)現(xiàn)多手勢精準(zhǔn)識別的前提。

所提組合特征法原理圖，如圖5所示。其中，Cnm參數(shù)中，m為特征選擇法選取的代表性特征，n從中排除特征數(shù)，當(dāng)進(jìn)行排列時(shí)，出現(xiàn)后一個(gè)排列數(shù)中最大識別率較前一個(gè)排列數(shù)低時(shí)，則停止后續(xù)計(jì)算。

圖5 組合特征法原理Fig.5 Principle of Combined Feature Method

5.1 .皮爾森相關(guān)系數(shù)法

將通過初選的上述特征值，采用過濾式中的相關(guān)系數(shù)法，進(jìn)行相關(guān)度計(jì)算，選取與分類效果相關(guān)度高的特征作為最優(yōu)特征值，進(jìn)行后續(xù)處理。這里計(jì)算所挑選的32個(gè)特征與8種上肢手勢動作之間的相關(guān)系數(shù)的絕對值［13］，公式如下：

式中：n—總樣本數(shù)；mik—第i個(gè)樣本第k個(gè)特征值；mˉk—第k個(gè)特征所有樣本均值；t—各分類手勢標(biāo)簽值分別為1、2、3、4、5、6、7、8個(gè)數(shù)值；tˉ—目標(biāo)均值。

將上述32種特征的絕對相關(guān)系數(shù) ||r用柱狀圖表示出來，如圖6所示。

圖6 各特征相關(guān)系數(shù)統(tǒng)計(jì)值Fig.6 Statistical Value of Correlation Coefficient of Each Feature

由表可以看出其中IEMG（6）、ARC1（7）、ARC2（8）、ARC3（17）、MAX（19）、MOAC2（16）、STDOC2（24）、RI2（28）與目標(biāo)值之間的相關(guān)系數(shù)較其他特征小，其與分類目標(biāo)相關(guān)性極低，在本次研究中予以排除，故選取24 個(gè)特征為特征篩選初集，各特征代號，如表3所示。

表3 各特征集代號Tab.3 Code of Each Feature Set

5.2 最優(yōu)窗口選取

本次數(shù)據(jù)通過滑動窗口法提取數(shù)據(jù)特征，滑動窗最優(yōu)窗口選取對比數(shù)據(jù)，如表4所示。為了降低控制器的延時(shí)必須將其增量窗保持在300ms以下［14］故選取64-32、128-64、256-128、600-300數(shù)據(jù)窗口。特征集為上述篩選特征，最終選增量窗為300ms，窗口長度為600ms進(jìn)行數(shù)據(jù)分割，共計(jì)提取4640特征樣本數(shù)據(jù)，其中選取80%為訓(xùn)練數(shù)據(jù)，20%為測試數(shù)據(jù)，分類器選用激活函數(shù)為Sigmoid、隱含層為800 的ELM 分類器算法進(jìn)行訓(xùn)練測試。其中下文各表中平均識別率均為十次測試結(jié)果均值。

表4 基于ELM分類器最優(yōu)窗口選取Tab.4 Optimal Window Selection Based on ELM Classifier

由上表分類結(jié)果可知采用不同的窗口搭配訓(xùn)練ELM對最終識別結(jié)果有重要影響。其中最優(yōu)窗口搭配識別結(jié)果超最劣搭配結(jié)果4.33%，因此窗口的合理搭配選擇也是重要的一環(huán)。

5.3 排列組合法

經(jīng)過上述特征篩選，將與動作相關(guān)性不高特征粗略剔除出來，留取相對來說較高特征參與動作分類。但所挑選出的特征集合雖在相關(guān)性上具有很大優(yōu)勢，由于特征種類數(shù)量較多，各個(gè)特征性質(zhì)衡量信號角度各有不同，僅粗糙的聚合起來識別效果稍有不足。這里通過將初選特征集的各個(gè)特征進(jìn)行排列組合計(jì)算，將識別準(zhǔn)確率當(dāng)做目標(biāo)函數(shù)，進(jìn)行窮舉排列，使得所選特征達(dá)到最優(yōu)搭配組合，求取最優(yōu)特征集合。在選取24個(gè)特征后進(jìn)行排列組合計(jì)算所得識別率數(shù)據(jù)，分類器參數(shù)同上，如表5所示。

表5 匹配選優(yōu)Tab.5 Matching

由上表可得，將通過相關(guān)系數(shù)提取的特征值，進(jìn)行排列組合計(jì)算，在Matlab軟件多次測試中發(fā)現(xiàn)在24個(gè)特征子集中選取22個(gè)將會得到較優(yōu)的識別率，這里從276個(gè)組合中選取識別率最高的搭配組合進(jìn)行后續(xù)計(jì)算，最優(yōu)子集為MAV、RMS、VAR、WL、AR1、SSI、LOG、MFL、MOAC1、MOAC3、MOAC4、APOC1、APOC2 APOC3、STDOC1、STDOC3、STDOC4、RI1、RI3、WAMP、ZC、SSC。隨著所取特征值數(shù)目減少，最高識別率也是有所下降的，特征值的減少使得肌電信號特征衡量各個(gè)動作的差異性有所下降。隨著排類組合方式的增多，種類數(shù)將急劇增加，大大加劇計(jì)算量，故考慮以上兩部分原因不再進(jìn)行后續(xù)冗余計(jì)算。

5.4 各特征處理算法比較

將未進(jìn)行特征選取特征、傳統(tǒng)過濾式算法中的皮爾森系數(shù)法、PCA特征降維算法，取原始特征集前95%貢獻(xiàn)度特征值和這里所提組合特征法進(jìn)行對比，如圖7所示。

圖7 各特征選擇方案比對Fig.7 Comparison of Various Feature Selection Schemes

從圖中可以看出，經(jīng)過PCA算法對于此特征集的降維處理使得整體識別效果較差，因?yàn)镻CA處理雖降低數(shù)據(jù)維度，但也使得部份信息損失，而這些丟失信息與部分特征組合可以達(dá)到較好的效果，所以造成整體識別率欠佳?？偟膩碚f原始特征集經(jīng)過特征篩選，總體識別率都有所升高，說明特征值篩選的有效性。其中組合特征法選優(yōu)出的最佳特征集對八種手勢識別效果最好，充分說明本方法的優(yōu)越性。

6 分類算法的比對分析

在獲得最優(yōu)特征集后，運(yùn)用機(jī)器學(xué)習(xí)算法進(jìn)行特征集的訓(xùn)練與測試。其中特征集與算法的結(jié)合也是實(shí)現(xiàn)高識別率的關(guān)鍵因素。這里將目前具有代表性的三種算法與最優(yōu)特集進(jìn)行結(jié)合，分別為ELM、SVM 和BP算法。ELM 算法參數(shù)參數(shù)與上述相同，SVM基本思想是尋求出不同類別樣本的邊界距離最大化的超面進(jìn)而將各個(gè)樣本區(qū)分出來，邊界距離為各類最近樣本點(diǎn)與超平面的距離［15］。其參數(shù)選擇徑向基函數(shù)（RBF）為核函數(shù)，采用交叉驗(yàn)證進(jìn)行參數(shù)（懲罰因子c與核函數(shù)參數(shù)g）尋優(yōu)，此尋優(yōu)過程包含在訓(xùn)練時(shí)間內(nèi)。BP 算法通過反向傳播梯度下降來進(jìn)行權(quán)值優(yōu)化，提高識別率，其參數(shù)設(shè)置激活函數(shù)為sigmod 函數(shù)，學(xué)習(xí)率取0.1，循環(huán)次數(shù)為100次。特征集與各算法結(jié)合的識別效果，數(shù)據(jù)為十次平均結(jié)果與標(biāo)準(zhǔn)差組成，如表6所示。

表6 不同分類器手勢識別準(zhǔn)確性對比（%）Tab.6 Comparison of Gesture Recognition Accuracy of Different Classifiers Under Optimal Window

6.1 各模型訓(xùn)練與測試時(shí)間比較

離線上肢手勢識別，最終是為在線的實(shí)時(shí)識別做積累與探究，所以訓(xùn)練后模型測試時(shí)間尤為重要這直接影響著康復(fù)患者的實(shí)時(shí)體驗(yàn)性，減少康復(fù)訓(xùn)練的滯后感。給出文章各模型的具體訓(xùn)練及測試時(shí)間和模型訓(xùn)練時(shí)間，如表7、圖8所示。

表7 不同算法分類時(shí)間比較Tab.7 Comparison of Classification Time of Different Algorithms

圖8 各算法平均測試時(shí)間Fig.8 Average Test Time of Each Algorithm

6.2 討論

通過從原始表面肌電信號提取多維度特征值，運(yùn)用組合特征方法篩選最優(yōu)特征集，聯(lián)合最佳滑動窗口，最后與三種分類器相結(jié)合，進(jìn)行上肢八種手勢識別。

其中十次平均識別率最高為SVM，較ELLM高0.19%，超BP神經(jīng)網(wǎng)絡(luò)17.21%。但綜合考慮模型的訓(xùn)練與測試時(shí)間，ELM的訓(xùn)練時(shí)間和測試時(shí)間，較BP與SVM優(yōu)勢很大。對于康復(fù)患者來說，上肢手部實(shí)時(shí)訓(xùn)練，無明顯滯后感是相當(dāng)重要的因素。故綜合識別準(zhǔn)確率和模型訓(xùn)練及測試時(shí)間，選擇ELM模型為最佳模型，更符合后續(xù)康復(fù)機(jī)器人的研究，為后續(xù)實(shí)時(shí)自動識別提供了參考依據(jù)。

7 結(jié)論

（1）這里提出綜合特征選擇與排列組合的組合特征法與極限學(xué)習(xí)機(jī)向結(jié)合的多種手勢模式識別模型。對上肢八種手勢進(jìn)行識別，其效果超原始特征集、傳統(tǒng)的特征值篩選和PCA降維分別為4.18%、1.78%、23.16%，顯著提高上肢手勢識別率，證明所提算法的有效性。

（2）為了減小康復(fù)機(jī)器人對患者手部訓(xùn)練時(shí)明顯的滯后感，綜合識別準(zhǔn)確率和模型訓(xùn)練與測試時(shí)間，選擇ELM模型為上肢手勢識別分類算法，為后續(xù)手勢自動識別提供了重要的參考依據(jù)。進(jìn)而可繼續(xù)將其應(yīng)用到人機(jī)交互控制［16］、外骨骼控制、康復(fù)醫(yī)學(xué)、進(jìn)行肌肉康復(fù)訓(xùn)練、人體假肢控制等。