基于不同訓(xùn)練模式的納米金柔性傳感器的手勢(shì)動(dòng)作識(shí)別

孫淑睿 黃品高 汪 鑫 陳世雄 李光林

1(中國科學(xué)院深圳先進(jìn)技術(shù)研究院 深圳 518055)

2(重慶理工大學(xué)藥學(xué)與生物工程學(xué)院 重慶 400054)

3(中國科學(xué)院大學(xué)深圳先進(jìn)技術(shù)學(xué)院 深圳 518055)

1 引 言

人類勤勞的雙手創(chuàng)造了文明的世界。手部活動(dòng)在我們生活中扮演著舉足輕重的角色，衣食住行都離不開它。不幸的是，有的人因疾病原因致使手無法完成大腦發(fā)出的指令，失去自主控制能力，如中風(fēng)、多發(fā)性硬化癥等[1-3]，甚至有的人因嚴(yán)重的交通事故導(dǎo)致肢體殘疾。2017 年中國殘疾人事業(yè)發(fā)展統(tǒng)計(jì)公告顯示，得到康復(fù)服務(wù)的持證殘疾人中，視力殘疾人 88.3 萬、聽力殘疾人 40.7 萬、言語殘疾人 4.3 萬、肢體殘疾人 484.6 萬、智力殘疾人 71.3 萬、精神殘疾人 125.9 萬、多重殘疾人 35.5 萬，其中占?xì)埣踩丝倲?shù)最多的是肢體殘疾。對(duì)于肢體殘疾的人來說，失去手或上肢不僅造成心理上的創(chuàng)傷，還嚴(yán)重影響他們的正常生活，降低生活質(zhì)量。針對(duì)這一現(xiàn)象，近年來研究者們?cè)诩僦刂品矫孢M(jìn)行了一系列研究。例如，利用開關(guān)控制、直接控制和模式識(shí)別等多肌電控制方法，使得仿生手及多個(gè)自由度假手更加智能化，為彌補(bǔ)截肢者喪失的部分上肢功能做出巨大的貢獻(xiàn)[4-6]。隨著科技快速發(fā)展，假肢控制的技術(shù)越來越成熟，這在一定程度上提高了截肢者的生活質(zhì)量。與此同時(shí)，研究者們也提出了一系列提高假肢控制魯棒性的方法，如改進(jìn)算法和研究新型傳感器等。

為了更有效地解碼信號(hào)并獲得精確的手勢(shì)動(dòng)作分類，研究者們提出了各種特征提取、模式識(shí)別等算法[7-9]。Samuel 等[10]提出了 Absolute Value of the Sum Square Root(ASS)、Mean Absolute Sum (ASM) per Analysis Window、Mean Value of the Square Root(MSR)三種新的時(shí)域特征，在 8 例截肢者的表面肌電信號(hào)(Surface Electromyography，sEMG)數(shù)據(jù)中進(jìn)行訓(xùn)練測試，結(jié)果顯示平均分類準(zhǔn)確率達(dá)到(92.0±3.1)%。Furuki 和 Takiyama[11]提出了一種簡單可行的機(jī)器學(xué)習(xí)框架評(píng)估運(yùn)動(dòng)的可變性。Atzori 等[12]證明結(jié)構(gòu)簡單的卷積神經(jīng)網(wǎng)絡(luò)和經(jīng)典機(jī)器學(xué)習(xí)方法可以得到相近的準(zhǔn)確分類結(jié)果。雖然這些算法在動(dòng)作分類方面取得了很大的進(jìn)步，但信號(hào)容易受電磁環(huán)境干擾等問題影響，降低了信號(hào)的質(zhì)量，無法從信號(hào)這一根源解決問題。

目前，傳感器是獲取高質(zhì)量信號(hào)的常見研究工具。Jiang 等[13]提出了一種基于導(dǎo)電硅的 sEMG 傳感器，用于殘疾人在日常生活中對(duì)假肢的控制。但單一信號(hào)的假肢控制難以滿足截肢者的需求，而利用復(fù)合傳感器則可提供多方面的信號(hào)信息。Liu 等[14]研發(fā)了一種融合環(huán)境感知的運(yùn)動(dòng)模式識(shí)別系統(tǒng)，研究結(jié)果表明獲取環(huán)境信息對(duì)可穿戴機(jī)器人的設(shè)計(jì)和控制具有重要意義。Guo 等[15]提出一種多通道小型的無線 sEMG/近紅外光譜(NIRS)混合采集系統(tǒng)，可同時(shí)檢測肌肉的電生理學(xué)、血流動(dòng)力學(xué)和氧化代謝信息。但這些傳感器都是非柔性的，不適合長期監(jiān)測。隨著科技的發(fā)展，柔性材料因其得天獨(dú)厚的優(yōu)勢(shì)，已經(jīng)應(yīng)用到各個(gè)研究領(lǐng)域，如生物醫(yī)學(xué)工程、電子產(chǎn)品行業(yè)等[16-17]。董中飛等[18]設(shè)計(jì)了一種陣列式的 sEMG 系統(tǒng)，其中電極的設(shè)計(jì)基于柔性印刷工藝，可用于身體表面具有彎曲度較大的肌肉上。

迄今為止，大多數(shù)假肢控制的研究主要是通過解碼肌電信號(hào)的方法實(shí)現(xiàn)。其中，sEMG 是運(yùn)動(dòng)和運(yùn)動(dòng)康復(fù)中常見的主導(dǎo)研究工具[19]。但人體生理信號(hào)較微弱，肌電信號(hào)也不例外，肌肉在疲勞和非疲勞情況下的肌電信號(hào)有所差異。另外，傳統(tǒng)的 sEMG 電極需要利用導(dǎo)電膏降低電極與皮膚之間的阻抗，而這有可能導(dǎo)致皮膚過敏和患者不適，因此不利于生理信號(hào)的長期監(jiān)測。

基于以上限制，本研究采用納米金柔性傳感器，利用肌肉收縮引起傳感器產(chǎn)生形變，從而導(dǎo)致傳感器阻抗發(fā)生變化。相對(duì)于肌電信號(hào)而言，所采用的傳感器的形變信號(hào)不易受肌肉疲勞的影響，且只需要很低的采樣率。因其具有可拉伸特性，能較好地與皮膚表面共形，故肌肉收縮可以有效地影響納米金柔性傳感器產(chǎn)生相應(yīng)的形變。此外，納米金柔性傳感器在拉伸產(chǎn)生形變過程中，可以保持導(dǎo)電性并有規(guī)律地改變導(dǎo)電性。綜上所述，本研究采用納米金柔性傳感器形變引起的阻抗變化對(duì)手勢(shì)動(dòng)作進(jìn)行分類。

在已有的研究中，無論是通過傳感器還是算法來提高手勢(shì)動(dòng)作分類的準(zhǔn)確率，研究者通常利用重復(fù)單個(gè)動(dòng)作的數(shù)據(jù)進(jìn)行集訓(xùn)練和測試[20]，且在針對(duì)納米金柔性傳感器形變信號(hào)的研究中，尚未有人考慮訓(xùn)練模式對(duì)動(dòng)作分類性能的影響。本文從時(shí)域波形、分類準(zhǔn)確率等方面對(duì)重復(fù)訓(xùn)練和隨機(jī)訓(xùn)練兩種模式進(jìn)行分析比較。

2 實(shí)驗(yàn)方法

2.1 受試者

本研究在中國科學(xué)院深圳先進(jìn)技術(shù)研究院的學(xué)生中招募 4 名健全的受試者，均為男性(年齡為 22～41 歲)。本實(shí)驗(yàn)方案經(jīng)中國科學(xué)院深圳先進(jìn)技術(shù)研究院人體實(shí)驗(yàn)倫理管理委員會(huì)批準(zhǔn)(SIAT-IRB-160815-H0112)。所有的受試者閱讀并同意簽署了知情同意書，并允許為了科學(xué)和教育的目的發(fā)表相應(yīng)照片。

2.2 實(shí)驗(yàn)原理

本研究采用的是本文作者團(tuán)隊(duì)前期研究中已制備的納米金柔性傳感器和采集系統(tǒng)[21-22]。其中，納米金柔性傳感器采用最先進(jìn)的納米材料微加工技術(shù)，以聚二甲基硅氧烷(Polydimethylsiloxane，PDMS)為基底，表面金膜伴有隨機(jī)裂紋以保證傳感器在拉伸的過程中金膜不會(huì)斷裂，同時(shí)具有良好的導(dǎo)電性。該采集系統(tǒng)結(jié)構(gòu)如圖 1 所示。實(shí)驗(yàn)中采用 4 條該結(jié)構(gòu)的傳感器(每條長約 80 mm、寬約 10 mm)，通過導(dǎo)線與 8 通道肌電阻抗采集系統(tǒng)相連。該系統(tǒng)由 4 部分組成，包括傳感器、模擬前端、單片機(jī)(含 WIFI 收發(fā)器)和計(jì)算機(jī)。其中，計(jì)算機(jī)顯示的采集界面是利用 Matlab 設(shè)計(jì)的圖形用戶界面。本研究中阻抗變化信號(hào)的頻率為低頻信號(hào)，采用1 kHz 的采樣率，采樣率滿足奈奎斯特采樣定理。總體而言，該采集系統(tǒng)具有集成度高、抗干擾能力強(qiáng)的特點(diǎn)。

圖 1 采集系統(tǒng)示意圖Fig. 1 The schematic of acquisition system

根據(jù)前臂肌肉的解剖結(jié)構(gòu)，將 4 條納米金柔性傳感器用醫(yī)用膠帶等間距固定在前臂的指伸肌等收縮較明顯的肌肉上(圖 2)。實(shí)驗(yàn)前，為獲得高質(zhì)量的實(shí)驗(yàn)數(shù)據(jù)，對(duì)每位受試者進(jìn)行實(shí)驗(yàn)指導(dǎo)且提前練習(xí)手勢(shì)動(dòng)作，從而使其了解實(shí)驗(yàn)過程并掌握規(guī)范動(dòng)作。實(shí)驗(yàn)過程中，要求每位受試者完成 9 種手勢(shì)動(dòng)作，包括手張開(HO)、握拳(HC)、手腕外旋(WS)、手腕內(nèi)旋(WP)、手腕外展(WE)、手腕內(nèi)勾(WF)、槍指(FG)、半握(HG)和靜息 (RS)。

本研究中，受試者需要完成兩種不同訓(xùn)練模式，具體如圖 2 所示。其中，隨機(jī)訓(xùn)練模式中每個(gè)動(dòng)作均為 5 s，動(dòng)作之間靜息 5 s，完成一組需 85 s，每組重復(fù)三次；重復(fù)訓(xùn)練模式則是同一個(gè)動(dòng)作重復(fù)三次為一組，每組用時(shí) 35 s。靜息狀態(tài)的數(shù)據(jù)均來自兩種訓(xùn)練模式中每個(gè)動(dòng)作中間的靜息，不再單獨(dú)采集，故除靜息狀態(tài)共 8 組。受試者在每組動(dòng)作之間休息 2 min。

2.3 數(shù)據(jù)處理

本研究中的實(shí)驗(yàn)數(shù)據(jù)為納米金柔性傳感器在肌肉收縮過程中因形變產(chǎn)生的阻抗變化。所有實(shí)驗(yàn)數(shù)據(jù)來自 4 名健全的受試者且均利用 Matlab 編程離線處理。數(shù)據(jù)處理過程分為 3 個(gè)步驟。

(1)數(shù)據(jù)預(yù)處理。因每個(gè)手勢(shì)動(dòng)作所產(chǎn)生的阻抗變化量不超過 1 000 Ω，故若大于 1 000 Ω 則認(rèn)為這個(gè)數(shù)據(jù)為壞點(diǎn)，采用閾值法設(shè)置閾值將壞點(diǎn)移除。隨后利用巴特沃斯低通濾波器和 50 Hz 陷波濾波器對(duì)信號(hào)進(jìn)行濾波，得到去除工頻干擾的低頻阻抗變化信號(hào)。本研究采用閾值法和標(biāo)簽結(jié)合的方法將信號(hào)分為動(dòng)作狀態(tài)和靜息狀態(tài)，將分割后的信號(hào)以窗口長度為 200 ms、100 ms 為增量進(jìn)行分幀，以便進(jìn)行后續(xù)處理。

圖 2 實(shí)驗(yàn)范式及訓(xùn)練模式示意圖Fig. 2 Experimental paradigm and training mode diagram

(2)特征提取。選擇合適的特征對(duì)于有效的動(dòng)作分類具有重要的作用。一般將特征分為時(shí)域特征(TD)、頻域特征(FD)和時(shí)頻域特征(TFD)。由于時(shí)域特征的計(jì)算復(fù)雜度相對(duì)較低，且有研究表明時(shí)域特征對(duì)力的變化比較敏感[23]，所以對(duì) EMG 都提取時(shí)域特征[24]。在本研究中，因?yàn)樾盘?hào)結(jié)構(gòu)相對(duì)簡單，所以采用時(shí)域特征中的均方根值(RMS)來表征受試者相應(yīng)的手勢(shì)動(dòng)作。

(3)手勢(shì)動(dòng)作分類。采用具有統(tǒng)計(jì)意義的 5 倍交叉驗(yàn)證法將特征向量分為訓(xùn)練集和測試集。常見的分類器有線性判別分析(Linear Discriminant Analysis，LDA)，支持向量機(jī)(Support Vector Machine，SVM)等。其中，LDA 是一種比較有效且應(yīng)用廣泛的分類器[25]。Nazmi 等[26]總結(jié)介紹提取不同的肌電信號(hào)的特征及采用不同分類器后的分類性能，其中 Phinyomark等[27]提取時(shí)域特征并選擇使用 LDA 分類器，準(zhǔn)確率最高為 98.9%。此外，LDA 分類器更易于實(shí)現(xiàn)，且不影響動(dòng)作分類的準(zhǔn)確性。基于此，本研究采用 LDA 分類器對(duì)手勢(shì)動(dòng)作進(jìn)行分類，并以分類精度作為基本性能指標(biāo)，通過測試集進(jìn)一步驗(yàn)證模型的性能。

3 實(shí)驗(yàn)結(jié)果與討論

3.1 隨機(jī)訓(xùn)練模式的時(shí)域波形

被拉伸的程度不一致。同時(shí)，每個(gè)動(dòng)作都有明顯的起始點(diǎn)，說明此傳感器具有較好的實(shí)時(shí)性?？傮w而言，阻抗變化是個(gè)簡單的信號(hào)，圖 3 中不同手勢(shì)動(dòng)作的波形可直觀地表現(xiàn)出每個(gè)動(dòng)作肌肉的不同收縮狀態(tài)。

圖 3 隨機(jī)訓(xùn)練模式的時(shí)域波形圖Fig. 3 Time domain waveform of random training mode

3.2 兩種不同訓(xùn)練模式的動(dòng)作分類性能對(duì)比

圖 4 重復(fù)訓(xùn)練模式的混淆矩陣Fig. 4 Confusion matrix of sequential training mode

圖 5 隨機(jī)訓(xùn)練模式的混淆矩陣和特征向量散點(diǎn)圖Fig. 5 Confusion matrix and eigenvector scatter plot of random training mode

及其對(duì)應(yīng)色標(biāo)的顏色代表不同程度的分類性能。

3.2.1 重復(fù)訓(xùn)練模式的分類性能

從圖 4 中可以看出，每個(gè)動(dòng)作的分類準(zhǔn)確率均超過 90%。其中，分類準(zhǔn)確率最高的是握拳(HO)，達(dá)到 98.72%；最低的是靜息(RS)，為 93.20%。圖中藍(lán)色圓點(diǎn)的面積較小且數(shù)量少，說明動(dòng)作之間的影響較小。

3.2.2 隨機(jī)訓(xùn)練模式的分類性能 從圖 5(a)中可以看出，每個(gè)動(dòng)作的分類準(zhǔn)確率均在 90% 以上。其中，分類準(zhǔn)確率最高的是握拳(HO)，達(dá)到 98.39%；最低的是靜息(RS)，為 92.74%。圖中藍(lán)色圓點(diǎn)的面積較小且數(shù)量較少，說明動(dòng)作分類誤差較小。圖 5(b)是采用其中 1 名受試者的特征向量，利用主成分分析(PCA)方法降維后的二維特征向量散點(diǎn)圖。從圖 5(b)可以看出，相同動(dòng)作比較聚集，而不同動(dòng)作之間則比較分散，這說明每個(gè)動(dòng)作較容易區(qū)分。

3.2.3 兩種訓(xùn)練模式的平均準(zhǔn)確率對(duì)比 圖 6 是 4 名受試者的平均分類準(zhǔn)確率及其平均值。從圖中可以看出，兩種訓(xùn)練模式的平均分類準(zhǔn)確率的平均值都在 94% 以上，且每名受試者的平均準(zhǔn)確率都在 90% 以上。其中，重復(fù)訓(xùn)練模式的平均分類準(zhǔn)確率略高于隨機(jī)訓(xùn)練模式，前者為 95.46%，后者為 94.18%。

圖 6 四名受試者的平均分類準(zhǔn)確率Fig. 6 Average classification accuracy of four subjects

3.3 實(shí)驗(yàn)結(jié)果討論

上述實(shí)驗(yàn)結(jié)果表明，不同的手勢(shì)動(dòng)作因肌肉收縮力的不同而產(chǎn)生明顯的阻抗幅值變化。從隨機(jī)訓(xùn)練模式時(shí)域波形中(圖 3)可以看出，每個(gè)動(dòng)作都有明顯的起始點(diǎn)，且觀察更直觀，有利于進(jìn)行實(shí)時(shí)性研究。從手勢(shì)動(dòng)作分類性能來看，兩者的混淆矩陣中每個(gè)動(dòng)作的分類準(zhǔn)確率都超過 90%，動(dòng)作的誤差大多與靜息有關(guān)。其中，本研究的靜息數(shù)據(jù)沒有單獨(dú)采集，而是選擇每個(gè)動(dòng)作之間的所有靜息數(shù)據(jù)，這樣更符合實(shí)際應(yīng)用中動(dòng)作之間靜息的分類。另外從特征向量的散點(diǎn)圖(圖 5(b))可以清晰地看到，代表靜息的圖標(biāo)(“+”)占據(jù)較大的空間分布，故靜息是影響其他手勢(shì)動(dòng)作誤差率的主要因素之一。柔性材料本身存在不可避免的共性問題——蠕變特性，且兩個(gè)動(dòng)作之間的靜息時(shí)間僅為 5 s，這期間納米金柔性傳感器經(jīng)過拉伸后還未完全恢復(fù)到原始的狀態(tài)，故每組靜息的數(shù)據(jù)都包含部分前一動(dòng)作的特征，導(dǎo)致兩者分類準(zhǔn)確率最低的手勢(shì)動(dòng)作均是靜息。但總體而言，每個(gè)手勢(shì)動(dòng)作的分類準(zhǔn)確率均在 90% 以上，且兩種不同的訓(xùn)練模式都可達(dá)到較好的分類效果。通過 t 檢驗(yàn)可知，P＝0.227 5＞0.05，表明兩種訓(xùn)練模式間無顯著差異，與 Fu 等[28]肌電信號(hào)基于不同訓(xùn)練模式的分類結(jié)論一致。此外，對(duì)比同類重復(fù)訓(xùn)練模式，曹書豪和許成哲[29]采用公開數(shù)據(jù)庫的 52 種手勢(shì)分類準(zhǔn)確率達(dá)到 92.7%，張龍嬌和曾曉勤[30]的手勢(shì)識(shí)別準(zhǔn)確率為 91.6%，本文納米金柔性傳感器的隨機(jī)訓(xùn)練模式的手勢(shì)動(dòng)作分類準(zhǔn)確率與前述 3 個(gè)研究結(jié)果相當(dāng)，表明了隨機(jī)訓(xùn)練模式的可行性。

4 結(jié) 論

本研究采用納米金柔性傳感器識(shí)別手勢(shì)動(dòng)作，比較分析了重復(fù)訓(xùn)練模式和隨機(jī)訓(xùn)練模式兩種不同的訓(xùn)練模式對(duì)識(shí)別結(jié)果的影響。研究表明，每個(gè)手勢(shì)動(dòng)作均具有較好的實(shí)時(shí)性且平均分類識(shí)別率在 90% 以上。特征分布散點(diǎn)圖中可以看出動(dòng)作之間的離散性，每個(gè)手勢(shì)動(dòng)作都有較好的區(qū)分度。同時(shí)，兩種訓(xùn)練模式的平均分類準(zhǔn)確率間無顯著差異，故在以后的實(shí)驗(yàn)中可以采用隨機(jī)訓(xùn)練模式，因?yàn)榇四Ｊ礁奖闱腋欣趯?shí)時(shí)性能研究。但值得注意的是，本研究僅招募了健康的受試者，并且所有的數(shù)據(jù)分析采用的是離線處理。在今后的工作中，將利用納米金柔性傳感器在假肢控制的運(yùn)動(dòng)意圖識(shí)別方面進(jìn)行更深入的研究。