融合腦電-肌電信號的人機(jī)協(xié)作裝配意圖識別方法

董元發(fā) 蔣 磊 彭 巍 周 彬 方子帆

1.三峽大學(xué)智能制造創(chuàng)新技術(shù)中心，宜昌，443002 2.三峽大學(xué)機(jī)械與動力學(xué)院，宜昌，443002

0 引言

裝配是產(chǎn)品生產(chǎn)過程中的重要環(huán)節(jié)之一，在現(xiàn)代工業(yè)制造中，裝配工作量平均占整個產(chǎn)品制造工作量的45%，費用占制造總費用的20%～30%[1]。靈活、高效的裝配過程能極大保證產(chǎn)品的生產(chǎn)效率。以水輪機(jī)、飛機(jī)等復(fù)雜產(chǎn)品裝配為例，由于其精度要求高、工序復(fù)雜、品種多、柔性大、批量小，裝配過程與方法有別于一般的機(jī)械產(chǎn)品，仍然主要由技藝嫻熟的操作人員完成，因此不可避免地存在操作人員在狹小空間、重載、噪聲、振動、異味等惡劣環(huán)境下工作帶來的工效學(xué)問題。采用完全自動化的裝備與生產(chǎn)線固然可以提高裝配作業(yè)效率，然而經(jīng)濟(jì)性差且技術(shù)難度很大，因此具備高度靈活性和自動化水平的人機(jī)協(xié)作裝配模式逐步成為該領(lǐng)域關(guān)注的熱點和焦點。

隨著機(jī)器人技術(shù)的快速發(fā)展，協(xié)作機(jī)器人被引入裝配系統(tǒng)與人一起協(xié)作完成裝配任務(wù)。在這種人機(jī)協(xié)作(human robot collaboration，HRC)裝配模式下，協(xié)作機(jī)器人負(fù)責(zé)強度大、具有重復(fù)性、準(zhǔn)確度要求高的工作部分，工人負(fù)責(zé)靈活性強、需要創(chuàng)造力、變化性大的工作部分[2]，兩者結(jié)合起來既能發(fā)揮工人的認(rèn)知能力，減輕其體力負(fù)擔(dān)，又能發(fā)揮協(xié)作機(jī)器人連續(xù)工作能力強、不會疲勞的特點。與全自動裝配或純?nèi)斯ぱb配相比，HRC裝配模式能實現(xiàn)人與機(jī)器的優(yōu)勢互補，提高整體裝配效率[3]。HRC裝配過程首先需要解決的是人機(jī)協(xié)作裝配意圖的識別問題[4]。

根據(jù)人的意圖信息采集方式的不同，意圖識別系統(tǒng)一般可分為非穿戴式和穿戴式。非穿戴式系統(tǒng)一般使用在特定場景，如接觸力識別系統(tǒng)[5]、視覺識別系統(tǒng)[6]；穿戴式系統(tǒng)通過收集并解析人體生理電信號來獲取意圖信息，如基于腦電信號和基于肌電信號意圖識別系統(tǒng)。協(xié)作意圖的起源來自大腦的認(rèn)知和決策活動，同時工人在執(zhí)行裝配動作時不可避免地伴隨著大量肢體動作，上述活動都會造成人體生理電信號的變化，這些生理電信號中蘊含著大量的人體運動意圖信息，能直觀地表達(dá)人的意圖，且能與視覺、力覺等其他意圖來源組成多模式意圖識別模式。因此，基于生理電信號的人機(jī)協(xié)作意圖識別逐漸成為人機(jī)協(xié)作領(lǐng)域的研究熱點[3]。PRAKAKSITA等[7-9]通過分析腦電信號并將其轉(zhuǎn)化成命令去控制機(jī)器人。WANG等[10]將腦電信號轉(zhuǎn)換成時頻圖像，再由卷積神經(jīng)網(wǎng)絡(luò)分類觸發(fā)功能塊網(wǎng)絡(luò)進(jìn)行組裝動作的命令。LIU等[11]從可佩戴腦電設(shè)備獲取腦電信號并將其處理后轉(zhuǎn)為控制命令來遠(yuǎn)程控制機(jī)器人。DING等[12]基于表面肌電信號和狀態(tài)空間模型對人體手臂關(guān)節(jié)連續(xù)運動角度進(jìn)行了預(yù)測。CALABR等[13]通過表面肌電信號獲取人體下肢運動意圖并用于控制外骨骼機(jī)器人。以上基于單一生理信號的意圖識別方法雖然取得了較好的效果，但仍然存在一定的局限性，如腦電信號的微弱性和信噪比低等特點使得其多模式動作識別準(zhǔn)確率有待提高；此外，隨著肌肉疲勞程度的上升，基于肌電信號的意圖識別準(zhǔn)確率逐步降低[14]。鑒于此，文獻(xiàn)[15-17]通過多信號融合驗證了多模式融合方法具有更好的穩(wěn)定性，文獻(xiàn)[18]證實了在進(jìn)行肌肉運動時腦電信號和肌電信號之間存在相關(guān)性。

綜上所述，本文針對人機(jī)協(xié)作裝配場景下基于單源生理電信號識別協(xié)作意圖準(zhǔn)確率不高、穩(wěn)定性不好的問題，同時獲取工人在進(jìn)行裝配動作時腦電(EEG)信號和肌電(EMG)信號，并分別基于支持向量機(jī)(support vector machines，SVM)識別單源協(xié)作意圖，然后采用D-S證據(jù)理論對多源協(xié)作意圖進(jìn)行融合，提出一種融合EEG-EMG信號的人機(jī)協(xié)作裝配意圖識別方法。

1 人機(jī)協(xié)作裝配意圖識別問題框架

1.1 人機(jī)協(xié)作裝配場景描述

通常情況下人機(jī)協(xié)作裝配工位包含裝配區(qū)、零件區(qū)、工具區(qū)以及協(xié)作機(jī)器人，圖1所示為一種可能的布局，待裝配零件放置在零件區(qū)，裝配所需要的工具放置在工具區(qū)，工人在裝配區(qū)進(jìn)行裝配作業(yè)，協(xié)作機(jī)器人的運動范圍涵蓋以上三個區(qū)域，并與工人在裝配區(qū)有一定的共享區(qū)域，可協(xié)助工人固定待裝配件、遞送零件或工具等。

圖1 人機(jī)協(xié)作裝配工位示意圖Fig.1 Schematic diagram of HRC assembly station

一項裝配任務(wù)往往包含多個裝配工序，而每個裝配工序又由工人的一系列元動作有機(jī)組合完成，如擰、握、推、拉、抬等。不同元動作對應(yīng)的生理電信號往往也不同，因此可以借助信號特征提取與模式識別的方法分析工人的裝配意圖，并結(jié)合裝配工藝知識和其他感知手段(如機(jī)器視覺、力反饋等)獲得的上下文信息(如工件位置與空間拓?fù)潢P(guān)系、機(jī)器人狀態(tài)、人體姿態(tài)等)推理出目前所處的裝配階段及下一步裝配工序，從而引導(dǎo)協(xié)作機(jī)器人配合工人完成裝配作業(yè)。

1.2 人機(jī)協(xié)作裝配意圖識別系統(tǒng)構(gòu)成

如圖2所示，人機(jī)協(xié)作裝配意圖識別系統(tǒng)一般由4個模塊組成。模塊1由可內(nèi)置在工人安全帽的腦電儀及便攜式肌電儀收集工人在進(jìn)行裝配動作時的生理電信號，并通過儀器內(nèi)置藍(lán)牙或無線協(xié)議將信號傳輸至模塊3；模塊2為用戶界面，允許工人啟停生理儀器，觀察協(xié)作機(jī)器人狀態(tài)；模塊3接收到信號后進(jìn)行特征提取并基于多源生理電信號識別人機(jī)協(xié)作裝配意圖，結(jié)合意圖識別結(jié)果和其他裝配信息通過推理決策生成協(xié)作機(jī)器人運動控制指令并發(fā)送至模塊4，以控制機(jī)器人并執(zhí)行裝配任務(wù)。

圖2 人機(jī)協(xié)作裝配意圖識別系統(tǒng)框架圖Fig.2 Frame diagram of HRC assembly intention recognition system

2 人機(jī)協(xié)作裝配意圖識別關(guān)鍵技術(shù)

2.1 EEG信號特征提取

人機(jī)協(xié)作裝配場景下的腦電信號通常包含較多的噪聲干擾，如外部環(huán)境及腦電設(shè)備的噪聲，眼電、肌電偽跡等，在進(jìn)行特征提取前應(yīng)進(jìn)行預(yù)處理。已有研究表明[19-20]，采用事件相關(guān)去同步化(event related desynchronization，ERD)和事件相關(guān)同步化(event related synchronization，ERS)分析方法得到的腦電運動想象特征主要集中在8～30 Hz，主要為Alpha頻段(8～13 Hz)、Beta頻段(13～30 Hz)，因此對腦電信號采用5～45 Hz的帶通濾波，以消除基線漂移產(chǎn)生的噪聲干擾。此外，通過獨立分量分析(independent component analysis，ICA)去除腦電信號中的眼電、肌電等偽跡。

采用共空間模式(common spatial pattern，CSP)算法對ERS/ERD的腦電信號進(jìn)行二分類特征提取時非常有效[19]，它的運行原理是將腦電信號進(jìn)行空間投影并找到一組空間濾波器，使得其中一類信號在這組空間濾波器的作用下方差達(dá)到最大，而另一類信號方差達(dá)到最小，從而達(dá)到分類的目的，二分類CSP運算過程詳見文獻(xiàn)[21]，此處不再贅述。針對n分類任務(wù)，可采用“一對一”的CSP策略[22-23]，將其轉(zhuǎn)化為n(n-1)/2個二分類任務(wù)，對n類信號分別兩兩做CSP算法運算，得到n(n-1)/2個投影矩陣后將它們組合起來形成1個共空間濾波器，使用此共空間濾波器濾波后的數(shù)據(jù)即可作為區(qū)分n類信號的特征矩陣，其中行代表Trial(試次)，列代表特征。

2.2 EMG信號特征提取

工人進(jìn)行裝配動作時產(chǎn)生的肌電信號的有效頻率成分一般分布在0～500 Hz。對肌電信號特征提取前先進(jìn)行如下預(yù)處理：采用巴特沃斯6階濾波器進(jìn)行10～450 Hz的帶通濾波，采用50 Hz的陷波濾波器消除工頻干擾，并進(jìn)行去中值平滑處理。

首先對采集到的肌電信號作“加窗”處理。設(shè)一個時間窗長度為T，分別對每個T時間長度里的肌電信號xi(i=1，2，…)進(jìn)行特征提取。本文選取平均絕對值、均方根值、波形長度等3個變量表征肌電信號特征。

平均絕對值(MAV)計算公式為

(1)

均方根值(RMS)計算公式為

(2)

波形長度(WL)計算公式為

(3)

在每一個時間窗里分別提取MAV、RMS、WL三個特征變量組成特征向量

vi=(eMAV，i，eRMS，i，LW，i)

(4)

則N個時間窗的特征向量組成特征向量組

V=(v1，v2，v3，…，vN)T

(5)

2.3 多源協(xié)作意圖識別與融合

人機(jī)協(xié)作裝配過程中，每一類生理電信號均可用于識別工人的裝配意圖，只是存在識別精度和穩(wěn)定性的差異，故需要對多源協(xié)作裝配意圖識別結(jié)果進(jìn)行融合以提高識別精度。如圖3所示，首先采用2.1節(jié)和2.2節(jié)的方法分別對人機(jī)協(xié)作裝配時采集到的EEG和EMG信號進(jìn)行預(yù)處理和特征提取，然后基于SVM分別構(gòu)建EEG和EMG信號的特征分類器并用于單源協(xié)作意圖識別。SVM理論相對比較成熟，此處不再贅述。特別要說明的是，對于n分類任務(wù)可采用“一對一”的SVM策略[24]，在任意兩類樣本間各構(gòu)建n(n-1)/2個SVM分類器，用構(gòu)建的分類器對測試數(shù)據(jù)進(jìn)行測試，在得到的測試結(jié)果中采用投票的形式，票最多者為最終結(jié)果。由于人機(jī)協(xié)作裝配場景下采集到的EEG和EMG信號易受到汗水、大幅度動作或工人精神不集中等影響，而且采用訓(xùn)練好的SVM分類器識別單源協(xié)作意圖本身也存在較大不確定性，本文借助D-S證據(jù)理論處理各單源協(xié)作意圖識別結(jié)果中的不確定性。

圖3 多源協(xié)作意圖融合流程圖Fig.3 Flow chart of multi-source collaboration intention fusion

D-S理論是在概率論的基礎(chǔ)上，將單個事件的不確定性問題轉(zhuǎn)化為以多個事件為一個集合的集合不確定性問題。設(shè)Ω為人機(jī)協(xié)作裝配意圖所有可能取值的有限集合，且Ω中的每個元素都相互獨立，則由Ω的所有子集構(gòu)成的冪集記為2Ω。當(dāng)Ω中的元素個數(shù)為N時，則其冪集2Ω的元素個數(shù)為2N，且其中的每一個元素A都對應(yīng)一個關(guān)于協(xié)作意圖識別結(jié)果的命題，稱該命題為“協(xié)作意圖識別結(jié)果在A中”。例如，A={擰}表示“協(xié)作意圖識別結(jié)果為擰”；若A={擰，推}，則表示“協(xié)作意圖識別結(jié)果為擰或者推”。

設(shè)函數(shù)m：2Ω→[0，1]，且滿足：

(6)

則稱m為2Ω上的概率分配函數(shù)，可通過SVM的預(yù)測函數(shù)得到；m(A)為協(xié)作意圖識別結(jié)果A的基本概率數(shù)，表示對通過SVM分類器判定協(xié)作意圖識別結(jié)果為A的信任程度。對于同一個識別結(jié)果，由于其證據(jù)的來源不同，可能會出現(xiàn)不同的概率分配函數(shù)，因此需要對它們進(jìn)行組合。

設(shè)m1、m2分別為通過EEG和EMG兩種生理電信號識別得到的協(xié)作意圖概率分配函數(shù)，則其正交和m=m1⊕m2滿足：

(7)

(8)

如果K≠0，則正交和m也是一個協(xié)作意圖概率分配函數(shù)；如果K=0，則不存在正交和m，稱m1和m2矛盾。

對于組合EEG信號和EMG信號識別結(jié)果后形成的新概率分配函數(shù)m，需要將其轉(zhuǎn)換為協(xié)作意圖識別結(jié)果A的類概率函數(shù)f(A)，取具有最大類概率的A為最終協(xié)作意圖識別結(jié)果。對于任意A，其類概率f(A)按如下方法計算：

(9)

(10)

Pl(A)=1-Bel(┐A)

(11)

┐A=Ω-A

(12)

式中，|A|、|Ω|分別為A和Ω中包含元素的個數(shù)；信任函數(shù)Bel(A)表示對協(xié)作意圖識別結(jié)果為A的信任程度，其值為A的所有子集的基本概率之和；似然函數(shù)Pl(A)表示對協(xié)作意圖識別結(jié)果為A非假的信任度。

3 實驗及結(jié)果分析

3.1 實驗環(huán)境

減速器廣泛應(yīng)用在各類機(jī)械設(shè)備的傳動系統(tǒng)中，其裝配工藝目前仍然以手動或半自動為主。通過動素分析，抓(握)、推(入)、擰(緊)是減速器裝配過程中最常見的三類元動作，本文以某減速器軸承蓋和窺視孔蓋的裝配過程為例驗證所提理論方法的可行性。實驗環(huán)境如圖4所示，由被試者、UR5協(xié)作機(jī)器人、待裝配零部件、腦電儀、肌電儀、數(shù)據(jù)處理服務(wù)器等構(gòu)成，被試者與一臺UR5協(xié)作機(jī)器人在同一空間內(nèi)共同完成指定裝配任務(wù)。其中腦電信號采用Emotiv無線便攜式腦電儀采集，采樣頻率為128 Hz，電極按照國際10-20標(biāo)準(zhǔn)電極安放法安放，其安放位置如圖5a所示，其中“CMS”和“DRL”為參考電極。肌電信號采用Cometa無線表面肌電測試儀采集，其采樣頻率為2 kHz，肌電電極采用環(huán)式貼法，共采集4個通道的肌電數(shù)據(jù)，電極布置如圖5b所示。

圖4 實驗場景圖Fig.4 Experimental scene

(a)腦電電極放置位置 (b)肌電電極放置位置圖5 電極放置位置Fig.5 Electrode placement position

3.2 數(shù)據(jù)采集

本次實驗共招募被試者8名，其中男性5名，女性3名，年齡23～26歲，在實驗前每名被試者都知曉實驗內(nèi)容并簽署了知情同意書。如圖6所示，8位被試者按照圖中的順序依次做出抓、推、擰的裝配動作，每個元動作在2 s內(nèi)完成，完成后休息2 s切換至下一元動作，整套動作重復(fù)50次。被試者執(zhí)行上述動作的同時同步采集被試者的EEG和EMG信號并加上動作標(biāo)簽，形成用于后續(xù)分析的數(shù)據(jù)集。

圖6 實驗數(shù)據(jù)采集流程圖Fig.6 Experimental data collection flowchart

3.3 結(jié)果分析

3.3.1單源協(xié)作意圖識別結(jié)果分析

在3.2節(jié)的實驗中共采集400組數(shù)據(jù)，隨機(jī)選取其中70%作為訓(xùn)練集，30%作測試集，將數(shù)據(jù)分別進(jìn)行預(yù)處理和特征提取后，基于SVM進(jìn)行單源協(xié)作意圖識別。基于EEG信號的協(xié)作意圖識別準(zhǔn)確率如表1所示，被試者S1～S8在三種協(xié)作裝配意圖中最高識別準(zhǔn)確率分別可達(dá)到79.43%、80.53%、81.12%，平均準(zhǔn)確率分別為76.95%、76.37%、76.92%。雖然協(xié)作意圖識別準(zhǔn)確率略有波動，但波動幅度不大，在平均識別準(zhǔn)確率的上下波動率分別為2.96%±0.48%、3.40%±0.76%、3.38%±0.82%，說明CSP+SVM的腦電處理方法泛化性較好，適合用于人機(jī)協(xié)作裝配意圖的識別。

表1 基于EEG信號的協(xié)作裝配意圖識別準(zhǔn)確率Tab.1 Accuracy of collaborative assembly intention recognition based on EEG signals %

基于肌電信號的協(xié)作意圖識別準(zhǔn)確率如表2所示，基于肌電信號的整體意圖識別準(zhǔn)確率要高于基于腦電信號的準(zhǔn)確率，三種協(xié)作裝配意圖中最高識別準(zhǔn)確率分別可達(dá)到95.61%、94.12%、95.95%，平均準(zhǔn)確率分別為93.56%、92.66%、92.93%。為了探究不同肌電特征組合對于識別準(zhǔn)確率的影響，本文對不同肌電特征組合進(jìn)行了驗證。不同肌電特征組合的識別準(zhǔn)確率如表3所示，MAV+RMS+WL特征組合的識別準(zhǔn)確率最高，說明本文肌電特征指標(biāo)的選取是有效的。

表2 基于EMG信號的協(xié)作裝配意圖識別準(zhǔn)確率Tab.2 Accuracy of collaborative assembly intention recognition based on EMG signals %

表3 不同肌電特征組合下的協(xié)作裝配意圖識別準(zhǔn)確率Tab.3 Accuracy of collaborative assembly intention recognition under different EMG feature combinations %

3.3.2多源協(xié)作意圖融合結(jié)果分析

基于D-S理論的多源協(xié)作意圖融合識別結(jié)果與單源協(xié)作意圖識別結(jié)果準(zhǔn)確率對比如表4所示，采用多源協(xié)作意圖識別與融合方法的平均準(zhǔn)確率較基于單一EEG信號的協(xié)作意圖識別平均準(zhǔn)確率有較大提高(19.38%)，說明EMG信號的融入能有效提高基于EEG信號的意圖識別準(zhǔn)確率；較基于EMG信號的協(xié)作意圖識別平均準(zhǔn)確率提高3.07%，識別準(zhǔn)確率的上下波動從2.54%±0.08%降至1.21%±0.23%，說明EEG信號的融入能提高基于EMG信號的協(xié)作意圖識別的穩(wěn)定性。為對上述結(jié)果進(jìn)行交叉驗證，隨機(jī)選取400組數(shù)據(jù)的70%作為訓(xùn)練集，30%作為測試集，協(xié)作意圖識別準(zhǔn)確率如圖7所示，可以看出多源協(xié)作意圖融合方法的識別準(zhǔn)確率要顯著優(yōu)于單源協(xié)作意圖識別方法。

表4 單源與多源融合識別準(zhǔn)確率對比Tab.4 Comparison of recognition accuracy between single source and multi-source fusion %

3.4 實驗效果

基于EEG-EMG多源融合的方法開發(fā)了人機(jī)協(xié)作裝配意圖識別原型系統(tǒng)，該系統(tǒng)實時采集被試者的EEG和EMG信號并進(jìn)行1 s的“加窗+滑窗”，采用3.3.2節(jié)訓(xùn)練得到的預(yù)測模型識別被試者的裝配意圖，從而支持后續(xù)結(jié)合其他場景識別信息和裝配工藝知識庫自動推理得到協(xié)作機(jī)器人的控制指令，完成人機(jī)協(xié)作裝配。圖8所示為某被試者在完成減速器裝配過程中的實時識別結(jié)果，可以看到基于EEG-EMG多源融合的方法在實際人機(jī)協(xié)作裝配過程中具有較好的可行性和識別準(zhǔn)確率。

圖8 原型系統(tǒng)實驗效果Fig.8 Experimental effect of prototype system

4 討論和結(jié)論

在人機(jī)協(xié)作裝配場景下，利用生理電信號進(jìn)行協(xié)作意圖識別有如下優(yōu)點：①可與其他意圖識別方式(語音、手勢、觸覺)形成多模式意圖識別；②生理電信號采集設(shè)備輕便，可集成在工作服上，操作員可自由移動而不受設(shè)備的限制。但由于生理信號自身的特點，在人機(jī)協(xié)作裝配場景下想要保持較好的識別準(zhǔn)確率與穩(wěn)定性是一項具有挑戰(zhàn)性的工作。

基于單一EEG信號的協(xié)作裝配意圖識別準(zhǔn)確率較低(76%)，因為不同被試者在進(jìn)行運動想象時大腦產(chǎn)生的ERD/ERS現(xiàn)象存在差異性，且裝配過程中大量的手部裝配動作會對工人的注意力分配產(chǎn)生影響。為探究注意力集中程度對協(xié)作裝配意圖識別準(zhǔn)確率的影響，將同一被試者的EEG信號前半段和后半段分別用于協(xié)作裝配意圖識別，由于剛開始實驗時被試者注意力集中程度較高，前半段數(shù)據(jù)的協(xié)作意圖識別準(zhǔn)確率明顯優(yōu)于后半段數(shù)據(jù)；加入EMG信號后，協(xié)作意圖識別的準(zhǔn)確率顯著提高(96%)。

基于單一EMG信號的協(xié)作裝配意圖識別準(zhǔn)確率較好(93%)。根據(jù)謝平[14]等的研究，隨著肌肉疲勞程度的增加，意圖識別準(zhǔn)確率將明顯下降，在肌電信號將近缺失時將降至70%以下。將同一被試者的肌電信號截段后進(jìn)行協(xié)作意圖識別，其識別準(zhǔn)確率按先后順序呈現(xiàn)下降的趨勢，符合謝平[14]等的研究結(jié)果。另外，由于人的動作具有不確定性，即使是同一個實驗動作，被試者在執(zhí)行時也存在差異，因此在裝配過程中依靠單一EMG信號進(jìn)行協(xié)作意圖識別可能存在肌電信號類似卻不是目標(biāo)動作而發(fā)生誤判的現(xiàn)象。本文結(jié)合EEG信號與EMG信號，首先分別進(jìn)行單源協(xié)作意圖識別，再在決策層進(jìn)行多源協(xié)作意圖融合得到最終協(xié)作裝配意圖識別結(jié)果，有效地提高了人機(jī)協(xié)作裝配意圖識別的準(zhǔn)確率和穩(wěn)定性。