韓程韡,李想,石巖,王一軒
(1.北京航空航天大學(xué)自動(dòng)化科學(xué)與電氣工程學(xué)院,北京 100191;2.中國(guó)傳媒大學(xué),媒體融合與傳播國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100024)
醫(yī)學(xué)信號(hào)是人體所表現(xiàn)出來(lái)的物理信息和化學(xué)信息。正確處理醫(yī)學(xué)信號(hào)無(wú)論對(duì)認(rèn)識(shí)人體自身還是應(yīng)用到工程技術(shù)當(dāng)中,都至關(guān)重要。在工程中,腦機(jī)接口技術(shù)是醫(yī)學(xué)信號(hào)處理的重要應(yīng)用場(chǎng)所,而數(shù)據(jù)處理與分析系統(tǒng)則是腦機(jī)技術(shù)中起決定性作用的環(huán)節(jié)。在智能假肢等應(yīng)用中,正確分析腦電數(shù)據(jù)和步態(tài)數(shù)據(jù)的信號(hào),探求二者間的關(guān)聯(lián),是實(shí)現(xiàn)控制系統(tǒng)的關(guān)鍵。
步態(tài)是人或動(dòng)物在行走過(guò)程中表現(xiàn)出來(lái)的相應(yīng)特征和模式,觀察并研究人或動(dòng)物的行走過(guò)程并從中提取出相應(yīng)的特征進(jìn)行分析則被稱為步態(tài)分析。因行走是一種較為復(fù)雜的運(yùn)動(dòng),由生物體大腦、神經(jīng)、骨骼、關(guān)節(jié)、肌肉等多環(huán)節(jié)配合才能完成,且受生物身高、體重、日常習(xí)慣等多方面因素影響,故步態(tài)分析在生物醫(yī)學(xué)、信息科學(xué)等多領(lǐng)域有著廣泛應(yīng)用。在一般的研究中,研究者多通過(guò)計(jì)算機(jī)視覺(jué)或壓力分析來(lái)研究步態(tài)特征,如在山東大學(xué)紀(jì)陽(yáng)陽(yáng)的碩士畢業(yè)論文中選用了運(yùn)動(dòng)視覺(jué)的方式來(lái)獲得人體行走時(shí)的步態(tài)信息[1?2],安徽大學(xué)的李彥琳在碩士學(xué)位論文中則是根據(jù)足底觸覺(jué)和壓力分布分析出人的步態(tài)特征[3?4]。這些方法在應(yīng)用時(shí)所需的數(shù)據(jù)量大,計(jì)算復(fù)雜。若數(shù)據(jù)不經(jīng)處理直接應(yīng)用到算法當(dāng)中,則可能會(huì)使計(jì)算量加大,運(yùn)算時(shí)間過(guò)長(zhǎng)。此外因未經(jīng)處理的數(shù)據(jù)間相關(guān)性高、信息冗余也可能會(huì)造成過(guò)擬合現(xiàn)象,從而導(dǎo)致對(duì)步態(tài)分析的結(jié)果出現(xiàn)偏差。此時(shí)主成分分析法可以很好地提取步態(tài)數(shù)據(jù)中最主要的信息,將數(shù)據(jù)投影到方差最大的空間中,減少數(shù)據(jù)間的相關(guān)性,更好地分析和提取出步態(tài)特征。
人的行走過(guò)程,離不開(kāi)大腦活動(dòng)的控制。當(dāng)大腦在活動(dòng)的時(shí)候,腦部的神經(jīng)元放電產(chǎn)生電位,形成了可以測(cè)得的腦電信號(hào)。腦電信號(hào)作為一種機(jī)理復(fù)雜的非平穩(wěn)信號(hào),有著信號(hào)強(qiáng)度弱,采集過(guò)程中引入噪聲大、頻率范圍低、隨機(jī)性很強(qiáng)的特點(diǎn)。研究發(fā)現(xiàn),與運(yùn)動(dòng)感知相關(guān)的信號(hào)多集中于低頻區(qū)域[5]。因此,選擇正確的濾波方法可以更好分析出運(yùn)動(dòng)相關(guān)腦電信息。例如在Hammer等人的研究中通過(guò)研究腦電信號(hào)的低頻成分,很好地分析出位置與速度等相關(guān)的運(yùn)動(dòng)信息[6]。經(jīng)濾波處理后的腦電信號(hào)在經(jīng)過(guò)不同方法的特征提取后,可以更突出信號(hào)運(yùn)動(dòng)特征。不同的特征提取方法可針對(duì)信號(hào)不同層面的特點(diǎn)進(jìn)行關(guān)注,現(xiàn)在有的主要特征提取方式可分為頻率域、時(shí)間域、時(shí)間‐頻率域和非線性動(dòng)力學(xué)等方法。例如在Gotman的文章中,他通過(guò)分析信號(hào)的頻率譜,提取信號(hào)在頻率域上的特征?,F(xiàn)在應(yīng)用的濾波器中,因選擇濾波器本身的特性,會(huì)因其幅值特性的起伏使濾波后信號(hào)變形,產(chǎn)生幅值偏差[7]。我們?cè)谘芯恐羞x擇巴特沃斯濾波器,其通頻帶內(nèi)的頻率響應(yīng)曲線最大限度平坦的特性,讓過(guò)濾后的信號(hào)最大程度保留原有特性。在完成信號(hào)的特征提取時(shí),傳統(tǒng)的單純時(shí)間域和頻率域上的特征提取不能保證信號(hào)在該維度上擁有最清晰的特征,提取出最大的信息,而時(shí)間‐頻率域的特征提取方式結(jié)合了兩種信號(hào)分析方式的優(yōu)點(diǎn),最大程度體現(xiàn)信號(hào)的信息。
為了減少數(shù)據(jù)相關(guān)度和冗余的信息,我們需對(duì)數(shù)據(jù)進(jìn)行降維處理。在這里我們選用主成分分析法對(duì)數(shù)據(jù)進(jìn)行降維。在減少數(shù)據(jù)維度的同時(shí)盡最大可能保留數(shù)據(jù)原有信息。
在降維處理數(shù)據(jù)之前,我們需要進(jìn)行數(shù)據(jù)讀取工作。原始數(shù)據(jù)均存在txt文本中:第一列是時(shí)間,后續(xù)15列分別為骨盆、臀部、膝蓋、腳踝、腳掌這五個(gè)點(diǎn)在空間中的x、y、z坐標(biāo),每列數(shù)據(jù)以制表符相隔。我們用pandas包中的read_csv函數(shù)將數(shù)據(jù)讀取為dataframe的表格形式后,再將時(shí)間和五個(gè)點(diǎn)的三維坐標(biāo)分別存在六個(gè)列表。
讀取數(shù)據(jù)完成后,我們即對(duì)數(shù)據(jù)進(jìn)行降維處理。我們用主成分分析(PCA)法,將數(shù)據(jù)從三維降至二維。在操作上我們先將945組數(shù)據(jù)中有效數(shù)據(jù)篩選出來(lái),即去除掉數(shù)據(jù)中含有NAN的數(shù)據(jù),并將縮短后的數(shù)據(jù)存至新的列表中。如左腿骨盆的945組數(shù)據(jù),在去除無(wú)效數(shù)據(jù)后剩余674組數(shù)據(jù),每組數(shù)據(jù)是三維的坐標(biāo)點(diǎn)以[x,y,z]形式組成的列表。我們將縮短后的有效數(shù)據(jù)看做三維的列向量,在去均值處理后求出其協(xié)方差矩陣。此矩陣為3*3的對(duì)稱矩陣,求出其特征值和對(duì)應(yīng)特征向量后,保留數(shù)值最大的兩個(gè)特征值所對(duì)應(yīng)的特征向量并進(jìn)行歸一化處理,組成坐標(biāo)變換矩陣(矩陣大小為3*2)。在此變換矩陣的作用下我們可以得到一個(gè)674行2列的矩陣,可以看做674組2維數(shù)據(jù)。至此我們將數(shù)據(jù)從三維降至二維。
處理完數(shù)據(jù)后我們將降維后的二維數(shù)據(jù)在之前刪掉的NAN的地方補(bǔ)充上0,使其變成和時(shí)間相同長(zhǎng)度的列表。在三維圖上,我們將二維數(shù)據(jù)在時(shí)間軸的配合下在一張三維圖上進(jìn)行呈現(xiàn),并在同一時(shí)刻的不同點(diǎn)中間用線段鏈接,以直觀地體現(xiàn)出大鼠腿部運(yùn)動(dòng)隨時(shí)間的角度變化。同樣思路,我們也可以將數(shù)據(jù)在二維圖像上進(jìn)行展示:將x軸和時(shí)間軸融合。將每組數(shù)據(jù)的x坐標(biāo)轉(zhuǎn)換至?xí)r間步長(zhǎng)范圍內(nèi),在結(jié)合數(shù)據(jù)對(duì)應(yīng)時(shí)間點(diǎn),可將數(shù)據(jù)在二維圖上展示出來(lái)。
因大鼠腿部共有五個(gè)標(biāo)注點(diǎn)對(duì)應(yīng)的五組坐標(biāo),其中位于中間的臀部、膝蓋和腳踝這三個(gè)點(diǎn)可對(duì)應(yīng)三個(gè)關(guān)節(jié)來(lái)求出大鼠運(yùn)動(dòng)過(guò)程中三個(gè)關(guān)節(jié)的角度變化。具體思路為:將一個(gè)關(guān)節(jié)點(diǎn)和其臨近的兩個(gè)點(diǎn)分別組成兩個(gè)向量,通過(guò)計(jì)算兩個(gè)向量間夾角可以求出這些關(guān)節(jié)間實(shí)時(shí)角度變化,并通過(guò)二維折線圖進(jìn)行輸出,如圖1所示。
一共要進(jìn)行兩組實(shí)驗(yàn)數(shù)據(jù)結(jié)果分析,第一組為正常大鼠,第二組為進(jìn)行脊髓損傷打擊后的大鼠。對(duì)該兩組實(shí)驗(yàn)視頻進(jìn)行提取后獲得相應(yīng)的實(shí)驗(yàn)坐標(biāo)數(shù)據(jù)。之后分別對(duì)兩組進(jìn)行降維并獲取角速度然后進(jìn)行對(duì)比,來(lái)獲得相應(yīng)的實(shí)驗(yàn)結(jié)果。獲得實(shí)驗(yàn)及數(shù)據(jù)預(yù)處理結(jié)果之后,做了一個(gè)仿真圖像,將所獲數(shù)據(jù)用matlab圖象化出來(lái)。圖2所示為進(jìn)行數(shù)據(jù)預(yù)處理之后獲得的步態(tài)數(shù)據(jù)。在圖2中,最上面的小圖是健康狀況下的大鼠二維數(shù)據(jù)步態(tài)運(yùn)動(dòng)模型,中間的圖為做完脊髓損傷后,最下面的圖為脊髓損傷手術(shù)后恢復(fù)一段時(shí)間的大鼠運(yùn)動(dòng)模型。從圖中可以看出,在健康大鼠脊髓損傷手術(shù)后,大鼠步態(tài)幅度減小明顯,幾乎沒(méi)有太大變化,大腿根部及膝蓋部分保持位置幾乎不變。在健康狀況下,大鼠能保持一定頻率的步態(tài)行走,脊髓損傷之后,只有輕微的行走過(guò)程,且并不明顯。在恢復(fù)一段時(shí)間后,基本的步態(tài)幅度保持不變,但是可以看出,步態(tài)的規(guī)律性變差,經(jīng)常會(huì)有不同幅度的不規(guī)律動(dòng)作,其最大幅度遠(yuǎn)大于正常狀況下,小幅度也會(huì)小于正常大鼠的變化。
圖2 正常大鼠與脊髓損傷大鼠腿部位置隨時(shí)間變化對(duì)比圖(從上到下依次為健康、脊髓損傷、脊損恢復(fù))
除了圖2,我們還通過(guò)了matlab獲得了每個(gè)坐標(biāo)點(diǎn)的速度變化圖像。而速度獲得公式為
其中,x和y分別為降維后相鄰兩坐標(biāo)之間的差值。從上述圖中,我們可以了解到,在剛剛做完脊髓損傷手術(shù)后的大鼠的步態(tài)數(shù)據(jù)速度變化并不劇烈明顯。在剛剛做完手術(shù)后的大鼠步態(tài)單點(diǎn)速度圖沒(méi)有參考意義。在康復(fù)一段時(shí)間后,我們獲得以下數(shù)據(jù):
在圖3中,最上面的圖為健康大鼠各個(gè)點(diǎn)速度變化,中間的圖為剛剛完成脊髓損傷手術(shù)后的大鼠速度圖,下面的圖為做完脊髓損傷手術(shù)后并康復(fù)一段時(shí)間后的大鼠各點(diǎn)速度變化。很明顯可以看出,大鼠在健康狀態(tài)下,速度變化比較規(guī)律,有一定的周期性,在脊髓損傷情況下,大鼠步態(tài)行走產(chǎn)生了不規(guī)律的變化,且變化范圍增大。正常情況下,速度在0?0.7之間變化,而在術(shù)后恢復(fù)后,變化范圍擴(kuò)大了0.5.且并不規(guī)律。
圖3 正常大鼠與脊髓損傷術(shù)后恢復(fù)后大鼠步速對(duì)比圖(從上到下依次為健康、脊髓損傷、脊損恢復(fù))
通過(guò)以上數(shù)據(jù)可以看出。大鼠脊髓損傷之后,其步態(tài)行走受到了深遠(yuǎn)的影響。原本能夠行走的有規(guī)律,且變化程度小。在脊髓損傷之后,步態(tài)行走變得沒(méi)有規(guī)律,且變化較大。這說(shuō)明脊髓與大鼠的步態(tài)行走密不可分,對(duì)其行走的規(guī)律性有著很重要的影響。
如圖4所示,可以看出,健康情況下,角度變化比較規(guī)律,剛剛術(shù)后,幅度變化頻率小。
圖4 正常大鼠與脊髓損傷術(shù)后恢復(fù)后大鼠腿部角度對(duì)比圖(從上到下依次為健康、脊髓損傷、脊損恢復(fù))
巴特沃斯濾波器最大的特點(diǎn)是滿足其幅值平方要求。即
此中濾波器在性能上有著顯著的優(yōu)勢(shì)。如下圖5所示,相比較別的IIR濾波器,它原理簡(jiǎn)單、設(shè)計(jì)便利,具有通頻帶內(nèi)頻率響應(yīng)曲線最大限度平坦的優(yōu)點(diǎn)。
圖5 巴特沃斯濾波器和其他經(jīng)典IIR濾波器的相頻特性比較
我們采用的腦電信號(hào)為成年大鼠腦部植入電極后所采集到的信號(hào)。信號(hào)長(zhǎng)度為20s 左右,采集頻率為40000 Hz。在采集信號(hào)過(guò)程中,大鼠被安置在走步機(jī)上,可隨履帶的運(yùn)動(dòng)速度前進(jìn)。在20s左右的信號(hào)錄入過(guò)程中,發(fā)生過(guò)三次很明顯的運(yùn)動(dòng)。分別在視頻中4.5s?6s,10s?11s,16s?19s.
在信號(hào)處理之前,信號(hào)原始圖片隨下圖6所示??梢?jiàn)信號(hào)有大概三段比較劇烈的抖動(dòng),整體信號(hào)不盡平穩(wěn),信號(hào)起伏相差較大,無(wú)法探求信號(hào)的特征所體現(xiàn)的頻率范圍,且信號(hào)的運(yùn)動(dòng)特征在頻率和幅值中隱藏的關(guān)系無(wú)法明晰體現(xiàn)。
圖6 腦電信號(hào)處理前圖像
在處理信號(hào)的過(guò)程中,我們采用了4階截止頻率為8?30 Hz的巴特沃斯帶通濾波器。濾波后的信號(hào)如下圖7所示。
圖7 經(jīng)過(guò)8?30 Hz 4階巴特沃斯濾波器處理后的腦電信號(hào)圖像
在濾波中,我們?cè)谶@個(gè)區(qū)間段主要關(guān)注alpha波和beta波段的腦電信號(hào)??梢钥吹皆谔幚砗蟮男盘?hào)基準(zhǔn)線被拉平,很好過(guò)濾了原始信號(hào)中的高頻和低頻的噪音。為后續(xù)進(jìn)行腦電信號(hào)的解碼奠定了很好的基礎(chǔ),減去了大面積的雜音干擾。
此外,經(jīng)過(guò)濾波后的信號(hào)波動(dòng)區(qū)間界定更加清晰,將頻率限定在一定區(qū)間后,統(tǒng)一了原始信號(hào)中幅值和頻率蘊(yùn)含信息模糊的問(wèn)題,將運(yùn)動(dòng)信息更加聚集在信號(hào)幅值當(dāng)中。
短時(shí)傅里葉變換(STFT)是傅里葉變換的一個(gè)變形。傅里葉變換可以很好的將時(shí)域信號(hào)變換到頻率域,以探求信號(hào)的頻率空間上的特征。但是傅里葉存在的前提是所出來(lái)的信號(hào)必須是平穩(wěn)信號(hào),而對(duì)于腦電這樣的典型非平穩(wěn)信號(hào)來(lái)講,傅里葉變換是不存在的。
而短時(shí)傅里葉變換的原理是從傅里葉變換的思路出發(fā),將非平穩(wěn)隨機(jī)信號(hào)截取成一系列平穩(wěn)信號(hào),用窗函數(shù)在原始函數(shù)上的平移,完成一系列的傅里葉變換,最后得到函數(shù)的時(shí)頻域特征。
如下圖8所示,我們對(duì)濾波后的函數(shù)進(jìn)行了窗函數(shù)長(zhǎng)度為100的短時(shí)傅里葉變換,得到信號(hào)的時(shí)頻域特征結(jié)果,并將結(jié)果通過(guò)頻譜圖表示出來(lái)。
圖8 短時(shí)傅里葉變換進(jìn)行特征提取后的信號(hào)圖像
在圖像中橫坐標(biāo)是時(shí)間軸,縱坐標(biāo)是頻率軸,而信號(hào)的顏色則表示在這一點(diǎn)上信號(hào)的“能量”,即反映了幅值的大?。╠B)。從圖中可以看到,信號(hào)經(jīng)濾波后,高能量都限定在了低頻區(qū)域,與我們的濾波結(jié)果相對(duì)應(yīng)。
同時(shí),除了頻率域信息外,還可以從橫向讀出時(shí)間域上的信息,可以明顯看到在對(duì)應(yīng)大鼠運(yùn)動(dòng)的三個(gè)時(shí)間段上,圖像顏色更黃,信號(hào)能量很大,與大鼠運(yùn)動(dòng)相對(duì)應(yīng)。所以短時(shí)傅里葉變換可以很好提取出大鼠腦電信號(hào)的特征。
我們可以看到,相比較單獨(dú)的頻率域特征和時(shí)間域特征來(lái)看,時(shí)頻域特征可以更好地結(jié)合兩者的優(yōu)勢(shì),提取出信號(hào)更詳盡的信息。但同時(shí)在分析圖像中,可以看到色塊較大,此方法的分辨率并不算很高。并且,從其原理出發(fā),并不一定窗函數(shù)所畫(huà)區(qū)間就和平穩(wěn)隨機(jī)函數(shù)區(qū)間相對(duì)應(yīng),這也是影響此方法準(zhǔn)確率的潛在威脅之一。
獲得了大鼠的步態(tài)數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行了降維處理,通過(guò)數(shù)據(jù)我們了解到了,脊髓損傷對(duì)大鼠步態(tài)運(yùn)動(dòng)的規(guī)律性有了很重要的影響。在腦電數(shù)據(jù)中,通過(guò)處理后的內(nèi)容可以看到,通過(guò)STFT方法,從圖中可以看到,信號(hào)經(jīng)濾波后,高能量都限定在了低頻區(qū)域,與我們的濾波結(jié)果相對(duì)應(yīng)。所以短時(shí)傅里葉變換可以很好提取出大鼠腦電信號(hào)的特征,并且可以很好的對(duì)那個(gè)大鼠運(yùn)動(dòng)特征及步態(tài)特征,我們下一步計(jì)劃將大鼠步態(tài)信號(hào)與腦電信號(hào)進(jìn)行解碼,獲取步態(tài)信息與腦電信息的對(duì)應(yīng)關(guān)系。
中國(guó)傳媒大學(xué)學(xué)報(bào)(自然科學(xué)版)2021年2期