采用表面肌電信號的手指關(guān)節(jié)角度精確感知方法

王海,陶慶,蘇娜,張小棟,張?zhí)鞓?/p>

(1.新疆大學(xué)機(jī)械工程學(xué)院,830047,烏魯木齊;2.新疆醫(yī)科大學(xué)第一附屬醫(yī)院,830054,烏魯木齊;3.西安交通大學(xué)機(jī)械工程學(xué)院,710049,西安)

肌電信號意圖感知技術(shù)的發(fā)展為高性能肌電假手的發(fā)展提供了可能,這無疑是截手殘疾人的福音[1]。1948年,Reiter成功研制了世界上首個肌電控制假肢原型系統(tǒng)[2]。目前大多數(shù)肌電假手的控制主要是在對固定的幾種動作的識別上。胡旭暉等使用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行了8種手部動作分類,提出了一種網(wǎng)絡(luò)空間搜索算法,大大提高了訓(xùn)練速度及預(yù)測精度[3]。趙詩琪等提出了一種基于Fisher Score特征降維方法結(jié)合機(jī)器學(xué)習(xí)的新模型,用于識別4種手勢動作[4]。Yamanoi等構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)來應(yīng)用具有長時間識別魯棒性的算法模型,從而解決肌電假手需要經(jīng)常進(jìn)行調(diào)試的現(xiàn)狀[5]。席旭剛等通過對肌電復(fù)雜度和平均功率,實(shí)現(xiàn)肌電假手離散動作以及運(yùn)動速度控制[6]。隋修武等通過PSO-SVM對離散手部動作進(jìn)行了分類,并引入了滑覺控制[7]。Ulysse等通過遷移學(xué)習(xí)實(shí)現(xiàn)以更少的數(shù)據(jù)量進(jìn)行機(jī)器學(xué)習(xí)算法訓(xùn)練過程[8]。Yong等通過創(chuàng)新構(gòu)建的加入注意力機(jī)制的卷積-循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了優(yōu)良的手勢解碼[9]。但只通過分類算法進(jìn)行的手勢識別會遇到隨著動作數(shù)目的增多而導(dǎo)致的識別正確率的快速下滑[10]。

目前國內(nèi)外已經(jīng)有學(xué)者在基于肌電信號的動作連續(xù)性解碼上取得了一定的成果。Zhang等使用稀疏高斯過程進(jìn)行前臂8塊肌肉的肌電信號與手指5個掌指關(guān)節(jié)角度的映射,其在線運(yùn)動相關(guān)系數(shù)可達(dá)0.91[11]。Chen等通過將長短期神經(jīng)記憶網(wǎng)絡(luò)進(jìn)行空間上的疊加實(shí)現(xiàn)了對于上肢關(guān)節(jié)連續(xù)動作角度的精準(zhǔn)識別[12]。Chen等通過高密度的肌電信號采集設(shè)備提取相應(yīng)的運(yùn)動神經(jīng)元動作電位,從而為高性能的智能義肢控制提供可靠的信號來源[13-14]。Ameri等首次應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)在手腕運(yùn)動肌電信號實(shí)時解碼中,并達(dá)到0.99的決定性系數(shù)[15]。Lin等通過稀疏性非負(fù)矩陣分解實(shí)現(xiàn)手部運(yùn)動的連續(xù)實(shí)時控制[16]。Ameri等通過回歸卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對上肢運(yùn)動的連續(xù)在線識別[17]。Nielsen等[18-19]分別獨(dú)立開展了基于鏡像對稱訓(xùn)練的同步比例控制實(shí)驗(yàn),實(shí)現(xiàn)了對腕關(guān)節(jié)力矩和角度的同步比例控制。Ngeo等通過使用肌肉激活度模型并將得到的8個通道的肌肉激活度輸入人工神經(jīng)網(wǎng)絡(luò)或者是使用高斯過程進(jìn)行求解可以得到了較好的效果,其相關(guān)系數(shù)可達(dá)到0.71、0.84[20]。Celadon等利用高密度電極,采用最大自主收縮力(MVC)建立肌電信號和手指關(guān)節(jié)角度的比例變化映射關(guān)系,具體采用的算法是共空間模式算法和線性差別分析算法,最終的效果兩種算法都可以實(shí)現(xiàn)在線控制均方誤差小于3.6%[21]。Michele等采用高斯過程的方法通過將上一時刻解碼角度和這一時刻的肌電肌音信號輸入得到此刻的解碼的手指關(guān)節(jié)角度,皮爾遜相關(guān)系數(shù)在0.6左右[22]。Bao等提出了CNN-LSTM混合模型進(jìn)行手腕的角度連續(xù)解碼[23]。Koch等通過循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對于手部動作的回歸解碼[24]。

為解決基于肌電信號的手指關(guān)節(jié)角度連續(xù)解碼的問題,擬通過開展手指關(guān)節(jié)角度與肌電信號同步采集實(shí)驗(yàn),獲取有對應(yīng)角度標(biāo)簽的肌電數(shù)據(jù)。與此同時,針對實(shí)驗(yàn)數(shù)據(jù)處理中,7個深度回歸森林模型獲得的輸出曲線都存在著不同程度的抖動問題,擬將其再輸入到人工神經(jīng)網(wǎng)絡(luò)中進(jìn)行濾波、識別處理,以期望提高整體模型的回歸效果。

1 手指關(guān)節(jié)角度連續(xù)精確解碼模型

1.1 深度森林回歸器的工作原理

深度森林是傳統(tǒng)隨機(jī)森林算法在廣度和深度上的一種集成,該算法具有3點(diǎn)深度神經(jīng)網(wǎng)絡(luò)不具備的優(yōu)點(diǎn):①可以由不同大小規(guī)模的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練,其結(jié)構(gòu)深度可以根據(jù)訓(xùn)練數(shù)據(jù)的規(guī)模進(jìn)行自主調(diào)整;②不需要進(jìn)行超參數(shù)的設(shè)置,可以在數(shù)據(jù)集上通過最小化訓(xùn)練誤差進(jìn)行自動設(shè)定;③深度森林的算法結(jié)構(gòu)具有更強(qiáng)的可解釋性,因?yàn)槠鋪碓从诮?jīng)典的決策樹模型[25]。

深度森林算法的流程是首先進(jìn)行多粒度掃描,這一過程有點(diǎn)類似滑動時間窗,主要目的是提取盡可能多的時域信息作為特征,這一方案可以充分考慮到肌電信號的時序關(guān)系。深度森林的算法結(jié)構(gòu)主要特點(diǎn)是將上一層的輸入和這一層的輸出作為下一層的輸入向量。其中深度森林的每一層都由數(shù)量相等的隨機(jī)森林和完全隨機(jī)森林組成。算法會在構(gòu)建好的新一層訓(xùn)練好之后進(jìn)行交叉驗(yàn)證方法驗(yàn)證估計模型性能,如果沒有顯著的性能提高,則會自動停止構(gòu)建新一層,即算法訓(xùn)練結(jié)束。

1.2 深度回歸森林模型構(gòu)建及其特征提取

在模型構(gòu)建中,采用了一種新穎的思路,就是將上一時刻經(jīng)過回歸模型計算得到的角度以及上一時刻的肌電信號處理得到的8個通道的總共8個特征值,連同這一時刻的肌電信號處理得到的8個特征值,組成一個大小為17的向量,同步輸入到深度森林算法里進(jìn)行學(xué)習(xí)訓(xùn)練,訓(xùn)練得到7個基于不同肌電特征的深度森林回歸器,并取得到了優(yōu)異的表現(xiàn)。相關(guān)的特征計算公式如下。

平均絕對值TMAV為

(1)

式中:N為采樣點(diǎn)數(shù);xi為肌電信號值。

過零點(diǎn)值TZC為

(2)

積分肌電值Ti為

(3)

均方根TRMS為

(4)

波形長度TWL為

(5)

肌電信號對數(shù)值TLOG為

(6)

肌電信號斜率正負(fù)變化數(shù)TSSC為

(7)

(8)

式中:Vth為設(shè)置的閾值。

1.3 人工神經(jīng)網(wǎng)絡(luò)參數(shù)選擇及其模式分類

1.4 綜合回歸模型的創(chuàng)建

基于以上分析研究,本文構(gòu)建了一種結(jié)合深度回歸森林算法和人工神經(jīng)網(wǎng)絡(luò)的綜合回歸模型,用于手指關(guān)節(jié)角度肌電信號連續(xù)解碼,如圖1所示。從8個肌電通道采集的信號首先經(jīng)過梳狀濾波器進(jìn)行去噪處理,再通過特征提取器經(jīng)過有50%重疊窗的時間窗計算獲得8個通道的各一個肌電特征值,將初始角度值結(jié)合上一時刻的8個肌電通道的特征值與這一時刻8個特征值形成一個大小為17的輸入向量,輸入7個對應(yīng)不同肌電特征值的深度回歸森林模型得到解碼角度值。將總共7個回歸模型解碼的角度值輸入到結(jié)構(gòu)為7-13-1的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中,經(jīng)過處理,最終得到對應(yīng)一個手指掌指關(guān)節(jié)角度的解碼角度。

圖1 綜合回歸解碼模型示意圖

2 模型參數(shù)獲取與實(shí)驗(yàn)方法

2.1 模型參數(shù)獲取方法

人的神經(jīng)系統(tǒng)對人手的控制,可謂是人體神經(jīng)系統(tǒng)中最復(fù)雜、精巧的控制。這個問題的解決難在它牽涉到復(fù)雜的力學(xué)與神經(jīng)科學(xué)的耦合,而且缺少人工肌肉還使之難上加難。目前假肢的控制方式都和傳統(tǒng)機(jī)器人差不多,因此難以復(fù)現(xiàn)人類肢體的一些基本特性,比如連續(xù)性、柔順性、抗干擾性等。為了能建立起肌電信號和手指關(guān)節(jié)角度的連續(xù)映射模型,就需要同步采集手指關(guān)節(jié)角度與手臂前臂8塊肌肉的肌電信號,尋求真正能夠?qū)崟r從肌電信號中獲取手指關(guān)節(jié)角度變化信息的回歸映射。

13名實(shí)驗(yàn)對象,分為7名年齡在22～30歲的健康男性和6名年齡在23～26歲的健康女性。在實(shí)驗(yàn)對象的左手粘貼VICON采集反光點(diǎn),左前臂上按照提前選定的8塊肌肉的肌腹位置粘貼表面肌電電極,電極以及局部皮膚預(yù)先使用酒精棉簽清潔。為了避免電極與桌面的接觸和不穩(wěn)定擠壓影響肌電信號的采集,在實(shí)驗(yàn)對象的腕部、肘部分別設(shè)置了一個EVA泡沫支撐物,實(shí)驗(yàn)對象將前臂放置在支撐物上,手臂保持水平并且朝向正前方。實(shí)驗(yàn)對象可以適當(dāng)調(diào)整支撐物的位置,以獲得最為舒適的實(shí)驗(yàn)姿勢。這樣做的目的是防止對手腕起支撐作用的肌肉,如橈側(cè)腕伸肌的激活影響實(shí)驗(yàn)數(shù)據(jù)的記錄。

實(shí)驗(yàn)使用VICON光學(xué)動作捕捉、Naxon肌電采集系統(tǒng)進(jìn)行手指關(guān)節(jié)電位空間坐標(biāo)數(shù)據(jù)以及8通道肌電信號數(shù)據(jù)的實(shí)時同步捕捉。

2.2 實(shí)驗(yàn)方案

根據(jù)生理學(xué)研究,人體手部(包括腕部)共有28塊骨骼,一般認(rèn)為具有22個或23個自由度。前臂的大多數(shù)肌肉在手部活動時都存在一定程度的活動,手指的活動是手掌內(nèi)部肌肉與前臂處肌肉共同活動的結(jié)果。對手部運(yùn)動的研究認(rèn)為手部的自由度高度冗余,4指內(nèi)部及相鄰的手指之間的運(yùn)動具有較高的相關(guān)程度,第2指間關(guān)節(jié)及與第3指節(jié)關(guān)節(jié)的關(guān)節(jié)角度近似比例為3∶2。

對于5根手指的運(yùn)動,由于屈伸運(yùn)動中手指內(nèi)部的3個關(guān)節(jié)角度存在高度協(xié)同關(guān)系,因此僅選擇5根手指的掌指關(guān)節(jié)(MCP)角度作為回歸估計目標(biāo)。

2.2.1 參數(shù)設(shè)定

實(shí)驗(yàn)肌肉(共8塊肌肉),分別為拇長展肌、拇長屈肌、橈側(cè)腕屈肌、指淺屈肌、指深屈肌、指伸肌、示指伸肌、橈側(cè)腕伸肌。

每一根手指的掌指關(guān)節(jié)角度的測量通過貼于手背的一個反光點(diǎn)、掌指關(guān)節(jié)處的一個反光點(diǎn)以及距離掌指關(guān)節(jié)最近關(guān)節(jié)的一個反光點(diǎn)進(jìn)行測量。實(shí)驗(yàn)過程將全程同步采集3個反光點(diǎn)的三維坐標(biāo)和8塊肌肉的肌電信號。

2.2.2 實(shí)驗(yàn)步驟

在數(shù)據(jù)采集試驗(yàn)中包括3種物體(分別為普通條狀U盤、玻璃質(zhì)高腳酒杯、普通書籍)的抓握動作和手指的單獨(dú)與組合運(yùn)動,對于每個動作,重復(fù)5次,每個周期持續(xù)20 s。

圖2展示了整個動作捕捉及肌電采集的實(shí)驗(yàn)場景。告知每名實(shí)驗(yàn)者在實(shí)驗(yàn)過程中保持腕部在中立位置,抓握中使用適當(dāng)且穩(wěn)定的力度。每種實(shí)驗(yàn)動作完成后,實(shí)驗(yàn)對象可以進(jìn)行短暫的休息。

圖2 實(shí)驗(yàn)場景圖

2.3 數(shù)據(jù)預(yù)處理

獲得的肌電數(shù)據(jù)需要進(jìn)行濾波處理,從而消除工頻干擾。鑒于中國的電力系統(tǒng)采用的是50 Hz交變頻率,所以本研究采用梳狀濾波器對50 Hz的整數(shù)倍頻率進(jìn)行濾波操作。具體的濾波頻率是50、100、150、200、250、300、350、400 Hz。

通過VICON光學(xué)動作捕捉設(shè)備采集的手指關(guān)節(jié)點(diǎn)位的三維空間坐標(biāo)的變化,需要提前通過余弦公式進(jìn)行角度變化的對應(yīng)計算。以便后面進(jìn)行模型的訓(xùn)練學(xué)習(xí)。

2.4 特征提取

為了從采集的8個通道的肌電信號中提取出具有代表性的信息,需要對經(jīng)過降噪處理的表面肌電信號進(jìn)行不同種類特征值的提取,計算特征值采取了具有重疊部分的滑動時間窗的方法。圖3展示了肌電信號處理過程中的時間窗設(shè)置。選擇的特征值皆為時域特征,采用了目前在肌電信號領(lǐng)域常用的特征,即肌電信號的平均絕對值、積分肌電值、均方根、波形長度、對數(shù)特征、過零點(diǎn)數(shù)、斜率符號變化數(shù)來進(jìn)行肌電信號的特征提取。滑動窗口的時間大小設(shè)置為200 ms,相鄰2個時間窗口的重疊部分設(shè)置為100 ms。8個通道的肌電可以分別計算7個特征值,可以分別形成8組7維數(shù)據(jù)。分別按照特征各維度的最大、最小值進(jìn)行歸一化,使其數(shù)值處于[0,1]之間,這是因?yàn)樵谑褂酶咚惯^程進(jìn)行對比分析時,需要對輸入數(shù)據(jù)進(jìn)行歸一化操作。

圖3 滑動時間窗示意圖

2.5 網(wǎng)絡(luò)訓(xùn)練

基于7種特征值的單獨(dú)深度森林模型訓(xùn)練經(jīng)過其特有的自適應(yīng)層數(shù)構(gòu)建算法,最終每個回歸器都是3層隨機(jī)森林結(jié)構(gòu)。事實(shí)上,層數(shù)較少能夠很大程度上提升模型的運(yùn)行效率。7個深度森林回歸器的輸出角度得到記錄,輸出的角度結(jié)果組成7維向量,之后提供給經(jīng)過經(jīng)驗(yàn)公式構(gòu)建的神經(jīng)網(wǎng)絡(luò)進(jìn)行進(jìn)一步回歸訓(xùn)練。

在最終的效果測試中,運(yùn)用7-13-1結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化的綜合回歸模型可以比單一7特征所訓(xùn)練的深度森林回歸器的相關(guān)系數(shù)提高12個百分點(diǎn)。圖4展示了結(jié)合深度回歸森林和人工神經(jīng)網(wǎng)絡(luò)的綜合模型的整體訓(xùn)練算法。

圖4 結(jié)合深度回歸森林和人工神經(jīng)網(wǎng)絡(luò)的綜合模型訓(xùn)練算法

為了進(jìn)行對比分析,本研究選用高斯過程作為對比模型。對其訓(xùn)練的過程中需要對數(shù)據(jù)進(jìn)行歸一化,這是由其算法的特點(diǎn)造成的。

3 實(shí)驗(yàn)結(jié)果分析

3.1 性能度量

為了能夠度量估計誤差和角度解碼算法的性能,本研究用到了運(yùn)動相關(guān)系數(shù),即

(9)

式中:X、Y分別為兩組樣本;cov為協(xié)方差;E為期望;σ為方差。本研究將ρ>0.7視為模型擁有較好的回歸表現(xiàn),當(dāng)ρ=1時代表模型輸出結(jié)果與實(shí)際結(jié)果完全線性相關(guān)。

3.2 對手指關(guān)節(jié)角度的連續(xù)估計和分析

圖5展示了5根手指的掌指關(guān)節(jié)角度的連續(xù)解碼效果。從圖5中可以非常清晰地看出,本研究提出的模型從上肢前臂8個肌電信號中可以精準(zhǔn)地解碼出實(shí)際手指關(guān)節(jié)角度。

(a)大拇指掌指關(guān)節(jié)

在對13個受試者的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析的過程中,采用的是十折交叉驗(yàn)證的分析方法。

圖6顯示的是基于DRF、DRF+ANN、GP方法的13名受試者的平均運(yùn)動相關(guān)系數(shù)的對比。圖7顯示的是基于DRF、DRF+ANN、GP方法的5根手指的平均運(yùn)動相關(guān)系數(shù)的對比。圖8是基于DRF、DRF+ANN、GP方法的3種抓握任務(wù)的平均運(yùn)動系數(shù)的呈現(xiàn),其中的酒杯抓取實(shí)驗(yàn)中,3個模型的效果都較差,猜想原因可能是玻璃對于VICON光學(xué)捕捉設(shè)備的干擾所致。

圖6 不同受試者解碼效果

圖7 不同手指掌指關(guān)節(jié)角度解碼效果

圖8 不同任務(wù)解碼效果

從圖6中可以看出,在總共13名受試者中,結(jié)合了人工神經(jīng)網(wǎng)絡(luò)的深度回歸森林模型具有最高的皮爾遜相關(guān)系數(shù),平均可達(dá)0.824,受試者間的效果方差為0.032 1;其次是融合7種特征值的單一深度回歸森林模型,其皮爾遜相關(guān)系數(shù)也很高,達(dá)到0.740,方差為0.042 4。這兩種模型的相關(guān)系數(shù)都超過了0.7,具有相當(dāng)優(yōu)秀的角度解碼效果。與近幾年世界部分研究組通常采用的高斯過程方法(在該任務(wù)上的平均相關(guān)系數(shù)為0.455,方差為0.095)相比具有很大的進(jìn)步,且有很強(qiáng)的個體適應(yīng)性,從側(cè)面驗(yàn)證了該算法模型具有很強(qiáng)的魯棒性。

4 結(jié) 論

本研究提出了一種結(jié)合深度回歸森林算法和人工神經(jīng)網(wǎng)絡(luò)的新型綜合回歸模型。其中深度回歸森林使用了7種肌電信號特征值(肌電信號的平均絕對值、積分肌電值、均方根、波形長度、對數(shù)特征、過零點(diǎn)數(shù)、斜率符號變化數(shù))訓(xùn)練形成7個深度森林回歸器,再通過輸入到一個結(jié)構(gòu)為7-13-1的人工神經(jīng)網(wǎng)絡(luò)中做濾波及曲線優(yōu)化,從而形成一個完整的綜合回歸模型對手臂前臂處的肌電信號進(jìn)行對應(yīng)于手部5個掌指關(guān)節(jié)角度進(jìn)行回歸映射。實(shí)驗(yàn)結(jié)果呈現(xiàn)了一種優(yōu)異的解碼精度,其皮爾遜相關(guān)系數(shù)達(dá)到0.821 2,相比融合多個特征值的單一回歸器的0.731 18提高了12%,相比近些年集中研究的高斯過程回歸器有較大的提升。