孫偉SUN Wei
(重慶交通大學(xué)機(jī)電與車(chē)輛工程學(xué)院,重慶400074)
近年來(lái),隨著人口老齡化以及意外事故的不斷增加,偏癱、孤獨(dú)癥、帕金森等引起的下肢肢體運(yùn)動(dòng)功能障礙的患者也在逐年增加[1]。相比以往康復(fù)訓(xùn)練的治療方法,將虛擬現(xiàn)實(shí)技術(shù)與腦-機(jī)接口技術(shù)相結(jié)合的理論研究越來(lái)越成熟,并且開(kāi)始應(yīng)用到運(yùn)動(dòng)康復(fù)醫(yī)療領(lǐng)域,患者能夠在虛擬現(xiàn)實(shí)場(chǎng)景中進(jìn)行運(yùn)動(dòng)功能的恢復(fù)、眼手腳協(xié)調(diào)以及空間定位等多種康復(fù)訓(xùn)練,從而達(dá)到運(yùn)動(dòng)康復(fù)的目的[2]。
本文在VR 場(chǎng)景視、聽(tīng)覺(jué)刺激誘發(fā)和運(yùn)動(dòng)想象的基礎(chǔ)背景下,利用虛擬場(chǎng)景刺激大腦產(chǎn)生特殊的電位變化,再通過(guò)信號(hào)采集設(shè)備的傳感器采集該原始腦電信號(hào)[3],該信號(hào)與表達(dá)思維意圖的肢體運(yùn)動(dòng)相對(duì)應(yīng),然后將采集到的腦電信號(hào)經(jīng)過(guò)特征提取后,再對(duì)這些特征信號(hào)進(jìn)行模式識(shí)別,最后轉(zhuǎn)化為外部設(shè)備的控制指令,進(jìn)行有效的康復(fù)治療。
本文使用Unity3D 開(kāi)發(fā)虛擬現(xiàn)實(shí)場(chǎng)景,采用EMOTIV EPOC 作為腦電信號(hào)采集器,使用EMOTIVPRO 作為數(shù)據(jù)采集軟件,下肢康復(fù)機(jī)器人關(guān)節(jié)作為系統(tǒng)控制終端。其控制系統(tǒng)流程如圖1 所示。
圖1 控制流程圖
在運(yùn)動(dòng)健身keep 的虛擬現(xiàn)實(shí)場(chǎng)景中,用腦電設(shè)備EMOTIV EPOC 分別對(duì)通過(guò)語(yǔ)音提示看人物下肢體動(dòng)作并運(yùn)動(dòng)想象前后交叉小跳、開(kāi)合跳、左右小跳、高抬腿四組動(dòng)作進(jìn)行腦電信號(hào)的數(shù)據(jù)采集,其中前后交叉小跳采集結(jié)果如圖2 所示。
圖2 原始腦電信號(hào)
在圖2 中,通過(guò)腦電傳感器采集到有不同通道波形變化的原始腦電信號(hào),特定的動(dòng)作一一對(duì)應(yīng)特定的腦電信號(hào),以此表征對(duì)應(yīng)的運(yùn)動(dòng)思維意圖。
2.2.1 特征提取
由于腦電信號(hào)具有非平穩(wěn)性的特點(diǎn),而小波變換具有多分辨率分析的特點(diǎn),在時(shí)域和頻域都具有表征信號(hào)局部特征信息的能力。因此本文采用小波變換對(duì)腦電信號(hào)進(jìn)行特征提取。
由于db 小波的解析形式?jīng)]有確定的式子表達(dá),但雙尺度差分方程的系數(shù)hn可以用比較簡(jiǎn)單的解析形式來(lái)表達(dá):設(shè)P(y)=,其中是二項(xiàng)式系數(shù),那么hn就可以用如下的形式表示:
其中
然后用小波函數(shù)db5 對(duì)信號(hào)y 進(jìn)行5 尺度分解,因此對(duì)每一組分別提取通道3,4,5,13(腦電信號(hào)變化明顯的通道)的信號(hào),并對(duì)信號(hào)分別進(jìn)行5 層小波分解和重構(gòu),最后得到可以表征四組特定動(dòng)作思維意圖的特征向量。
2.2.2 模式分類(lèi)
為保留小波變換后的所有特征,且減少參數(shù)的大小、消除指標(biāo)之間量綱的影響,用Mapminmax 函數(shù)對(duì)數(shù)據(jù)進(jìn)行歸一化處理,使不同維度之間的特征在數(shù)值上有一定的比較性。Mapminmax 函數(shù)一般表達(dá)式為:
若每行數(shù)據(jù)相同,即xmax=xmin,,除數(shù)為0,則此時(shí)數(shù)據(jù)不變。將數(shù)據(jù)歸一化到0 和1 之間,即y?[0,1],則表示為:
構(gòu)造訓(xùn)練樣本x_train、測(cè)試樣本x_test,然后測(cè)試模型,將預(yù)測(cè)類(lèi)別與真實(shí)類(lèi)別進(jìn)行比對(duì),若完全吻合,即可作為四組動(dòng)作的模式分類(lèi)結(jié)果。
本文以運(yùn)動(dòng)健身keep 為例進(jìn)行動(dòng)畫(huà)效果演示,以正常人作為測(cè)試者對(duì)信號(hào)采集進(jìn)行驗(yàn)證,實(shí)驗(yàn)測(cè)試時(shí)序以開(kāi)合跳為例,測(cè)試時(shí)序?yàn)椋?-1s 測(cè)試者保持靜默狀態(tài);1-4s場(chǎng)景中顯示面板出現(xiàn)動(dòng)作即將開(kāi)始的3s 倒計(jì)時(shí)語(yǔ)音提示;4-8s 測(cè)試者注視虛擬場(chǎng)景中下肢運(yùn)動(dòng)動(dòng)態(tài)畫(huà)面并想象做同樣的動(dòng)作。與此同時(shí),通過(guò)電極帽對(duì)整個(gè)測(cè)試過(guò)程進(jìn)行實(shí)時(shí)腦電信號(hào)采集。
由于采集到的四組腦電數(shù)據(jù)中3,4,5,13 通道信號(hào)變化明顯,因此分別提取每組該四個(gè)通道的信號(hào),并對(duì)信號(hào)分別進(jìn)行5 層小波分解獲取特征向量,處理結(jié)果如圖3 所示。
圖3 四組信號(hào)特征提取結(jié)果
然后將每組信號(hào)構(gòu)造100 個(gè)樣本做訓(xùn)練集,25 個(gè)樣本做測(cè)試集,其次對(duì)數(shù)據(jù)集進(jìn)行歸一化處理,再輸入隨機(jī)森林分類(lèi)器進(jìn)行訓(xùn)練,最后測(cè)試分類(lèi)器,測(cè)試結(jié)果如圖4所示。
圖4 模式分類(lèi)結(jié)果
在圖4 中,四組動(dòng)作依次代表的四個(gè)類(lèi)別通過(guò)構(gòu)造訓(xùn)練集和測(cè)試集進(jìn)行訓(xùn)練測(cè)試,最終四組動(dòng)作的真實(shí)類(lèi)別(紅色星號(hào))與預(yù)測(cè)類(lèi)別(藍(lán)色圓圈)完全重合,即分類(lèi)結(jié)果預(yù)測(cè)正確。
綜上所述,實(shí)驗(yàn)結(jié)果表明,在虛擬現(xiàn)實(shí)場(chǎng)景的視、聽(tīng)覺(jué)刺激并運(yùn)動(dòng)想象的情景下,采用腦電設(shè)備進(jìn)行腦電信號(hào)數(shù)據(jù)采集,然后經(jīng)過(guò)特征提取和模式分類(lèi)可以有效區(qū)分出交叉小跳、開(kāi)合跳、左右小跳、高抬腿四組動(dòng)作的思維意圖,最后轉(zhuǎn)化為控制指令。
本文提出一種基于VR 的下肢康復(fù)機(jī)器人控制策略,基于虛擬現(xiàn)實(shí)技術(shù)建立虛擬現(xiàn)實(shí)場(chǎng)景,在視、聽(tīng)覺(jué)和運(yùn)動(dòng)想象刺激下產(chǎn)生特殊的腦電信號(hào),通過(guò)電極帽將腦電信號(hào)轉(zhuǎn)化成數(shù)字信號(hào)傳輸?shù)侥X電采集設(shè)備進(jìn)行信號(hào)采集,然后從采集的信號(hào)中提取出能夠表達(dá)思維意圖的特征信號(hào),再進(jìn)行模式分類(lèi),最后將思維意圖轉(zhuǎn)化為下肢康復(fù)機(jī)器人關(guān)節(jié)的控制指令,進(jìn)行康復(fù)訓(xùn)練。并通過(guò)實(shí)驗(yàn)驗(yàn)證了基于虛擬現(xiàn)實(shí)場(chǎng)景,采用腦電控制方法進(jìn)行下肢康復(fù)機(jī)器人控制策略的有效性。