基于SSVEP腦機(jī)接口的殘疾人出行輔助系統(tǒng)

王輔國

摘 要 如何輔助殘疾人進(jìn)行空間的移動一直是困擾人類的命題，盡管當(dāng)前市場上已經(jīng)出現(xiàn)了一些能夠輔助殘疾人進(jìn)行移動的設(shè)備，例如拐杖、輪椅，但這些輔助設(shè)備使用者的肢體健康狀況有一定要求（例如絕大多數(shù)設(shè)備都不適用于漸凍癥患者）。文章介紹了一種新的輔助系統(tǒng)，使用者在使用時(shí)只需要移動眼球、轉(zhuǎn)移目光，就可以對電動輪椅發(fā)出明確的移動/停止信號。其基本原理是通過注視穩(wěn)定頻率的視覺刺激來誘導(dǎo)大腦皮層產(chǎn)生響應(yīng)（SSVEP），使用傅里葉變換對用戶腦電信號進(jìn)行頻譜分析，進(jìn)而將相關(guān)分量輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行判斷、分類，最后將判斷的指令輸出給電動輪椅進(jìn)行輔助移動。

關(guān)鍵詞 SSVEP；傅里葉變換；神經(jīng)網(wǎng)絡(luò)；輔助移動

中圖分類號 TP3 文獻(xiàn)標(biāo)識碼 A 文章編號 1674-6708（2018）224-0143-02

據(jù)中國殘疾人聯(lián)合會發(fā)布的數(shù)據(jù)顯示，目前我國殘疾人總數(shù)超過8？500萬，其中肢體殘疾人數(shù)近2？500萬。

對于肢體殘疾的人來說，身體的殘疾不僅給日常生活帶來了不便，也阻礙了他們進(jìn)行正常的社會活動。而現(xiàn)有的輔助殘疾人進(jìn)行運(yùn)動的裝置仍然對使用者的身體健全狀況有著較高的使用要求，例如拐杖和普通輪椅都需要使用者有較強(qiáng)的臂力，就算是較先進(jìn)的輔助運(yùn)動設(shè)備，其與人的交互方式都是通過聲音、按鈕等傳統(tǒng)方式進(jìn)行的，而這對于很多老年人、殘障人士或完全喪失自主控制肌肉的能力的病患來說，操縱難度大、使用難度高。所以需要一種更加方便、使用門檻更低的輔助設(shè)備。

腦機(jī)接口為該問題提供了一個(gè)優(yōu)秀的解決方案，腦機(jī)接口不需要用戶的額外運(yùn)動就可以直接將人的腦電信號提取出來，輸入給電腦，加以分析，幫助用戶發(fā)出指令。

該方案的基本原理是：用戶面前會有7個(gè)不同頻率的刺激（例如牛頓環(huán)）分別代表7種運(yùn)動/控制指令（前后左右，停止，確認(rèn)/返回），產(chǎn)生運(yùn)動指令后，該系統(tǒng)將人的腦電信號提取并加以識別，判斷被試所需要的運(yùn)動狀態(tài)（前后左右運(yùn)動或是停止），并由機(jī)動輪椅實(shí)現(xiàn)運(yùn)動。

1 腦電信號與SSVEP

1.1 腦電信號與腦機(jī)接口

腦電是一種使用電生理指標(biāo)記錄大腦活動的方法[ 1 ]，是大腦在活動時(shí)，大量神經(jīng)元同步發(fā)生的突觸后電位經(jīng)總和后形成的。它記錄大腦活動時(shí)的電波變化，是腦神經(jīng)細(xì)胞的電生理活動在大腦皮層或頭皮表面的總體反映。根據(jù)采集過程中是否需要將采集電機(jī)插入頭部皮層，可以將腦機(jī)接口分為侵入式與非侵入式。

在采集過程中，由于侵入式腦機(jī)接口具有一定的危險(xiǎn)性，容易引發(fā)免疫排斥反應(yīng)，所以采用非侵入式的腦機(jī)接口，方便于佩戴人體上，但是顱骨對信號的消減作用較強(qiáng)，并影響信號的穩(wěn)定性，信號信噪比較低，需要進(jìn)行后期處理。因此在實(shí)際應(yīng)用中，經(jīng)常配合導(dǎo)電膏使用非侵入式腦機(jī)接口來獲取用戶腦電數(shù)據(jù)。

1.2 視覺穩(wěn)態(tài)誘發(fā)電位（SSVEP）

盡管腦電有著巨大的應(yīng)用前景，但其噪聲多、信號弱、應(yīng)用條件相對苛刻的特點(diǎn)也對其推廣造成了一定的阻礙。實(shí)際上，在實(shí)際應(yīng)用中我們主要使用兩種腦電信號（及其對應(yīng)的實(shí)驗(yàn)范式）進(jìn)行研究與應(yīng)用：P300、SSVEP。

P300：P300信號是指當(dāng)被試者視覺受到外界特殊刺激后腦電信號會出現(xiàn)一個(gè)正向波峰，該波峰大約出現(xiàn)在相關(guān)事件發(fā)生后的300ms。P300？電位是腦機(jī)接口中經(jīng)常使用的信號，是事件相關(guān)電位的一種。P300電位的產(chǎn)生主要依賴于人對某種刺激的反應(yīng)，而不依賴身體狀況，通常由包含靶刺激的小概率事件和非靶刺激的大概率事件的刺激序列誘發(fā)。但值得注意的是，在使用P300信號的腦機(jī)接口實(shí)驗(yàn)范式中，被試者往往需要長時(shí)間專注，因此非常容易疲憊，這對于腦機(jī)接口的推廣是有一定負(fù)面作用的。

SSVEP：穩(wěn)態(tài)視覺誘發(fā)電位是指當(dāng)給用戶一個(gè)固定頻率的視覺刺激時(shí)，我們能夠在該用戶的大腦皮層觀察到一個(gè)與刺激頻率的基頻或倍頻相關(guān)的連續(xù)響應(yīng)[ 2 ]。這個(gè)響應(yīng)是被稱為穩(wěn)態(tài)視覺誘發(fā)電位。相對于使用以P300為首的事件相關(guān)電位的腦機(jī)接口系統(tǒng)而言，使用穩(wěn)態(tài)視覺誘發(fā)電位的系統(tǒng)和實(shí)驗(yàn)設(shè)計(jì)更加簡便，而且需要的訓(xùn)練次數(shù)也比較少。

那么如何對SSVEP信號加以識別呢？正如前文所言，腦電信號弱、干擾多、復(fù)雜程度高，為了在紛繁復(fù)雜的信號中將有用的、珍貴的信息提取出來，就必須對信號進(jìn)行大量的數(shù)據(jù)處理。如果單純地將腦電信號輸入到相對基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)（比如多層感知器）中，勢必需要非常復(fù)雜的網(wǎng)絡(luò)（比如層數(shù)特別深，或者神經(jīng)節(jié)點(diǎn)特別多）才能實(shí)現(xiàn)比較理想的分類，甚至無法完成目標(biāo)函數(shù)的收斂。這對于該系統(tǒng)的泛用性和可靠性都是非常不利的。因此，理想的情況是我們對腦電信號進(jìn)行相對簡單的特征提取，將提取出來的特征進(jìn)行識別。為此，我們引入傅里葉變換。

2 傅里葉變換

傅里葉變換是一種在頻域上對信號進(jìn)行處理和分析的方法，就其本質(zhì)而言，傅里葉變換將一般信號分解為若干（可能是無數(shù)）個(gè)正弦信號的疊加（對于周期信號，可直接分解為傅里葉級數(shù)，對于非周期信號，可將其視作周期為無限大的周期信號進(jìn)行分解），即將我們的視角轉(zhuǎn)到頻域上，這樣我們可以很方便地查看該信號是由哪幾種頻率的正弦信號疊加而成，并通過比較它們的幅值大小來判斷哪種信號起主要作用（幅值大的信號），哪種信號作用較小，在實(shí)際中可以忽略。

正如前文所說，當(dāng)人接收到一個(gè)穩(wěn)定的固定頻率（這個(gè)頻率需要滿足一定的要求）的刺激后，會在腦中產(chǎn)生諧振峰，即在頻譜上對應(yīng)該頻率的基頻或倍頻的幅值會有明顯的增加。

因此，我們可以通過判斷人的腦電信號中哪個(gè)頻率的幅值發(fā)生明顯增加來判斷被試接收到了哪個(gè)頻率的刺激，進(jìn)而判斷被試在注視哪個(gè)區(qū)域。

然而從人腦中提取的電信號是離散而非連續(xù)的，因此我們需要引入離散傅里葉變換。通過離散傅里葉變換，我們將某一個(gè)具體的窗口中的離散數(shù)據(jù)擴(kuò)展到整個(gè)時(shí)間維度上（即擴(kuò)展為離散的周期信號）后再進(jìn)行傅里葉變換，即可得到在這個(gè)窗口中的頻譜。

這樣，我們就不必從時(shí)域上研究腦電信號，而是使用一種更加簡潔的形式對腦電信號加以分析和識別。或者說，我們將腦電信號的“特征”提取了出來。

3 神經(jīng)網(wǎng)絡(luò)

自反向傳播算法廣泛應(yīng)用以來，神經(jīng)網(wǎng)絡(luò)進(jìn)入了高速發(fā)展時(shí)期。

其在圖像處理、語音識別、自然語言處理等領(lǐng)域大方異彩，比起其他方法，神經(jīng)網(wǎng)絡(luò)在實(shí)現(xiàn)復(fù)雜分類、特征提取等方面更加有優(yōu)勢。就其本質(zhì)而言，神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)是以sigmoid函數(shù)為代表的激活函數(shù)所實(shí)現(xiàn)的二元分類，通過堆疊神經(jīng)元（實(shí)際上可以將每一個(gè)神經(jīng)元理解為一個(gè)二元分類器）來增加分類次數(shù)，值得注意的是在同一個(gè)隱藏層上單純地增加神經(jīng)元只是增加了分類的次數(shù)，但不同的分類之間并無邏輯關(guān)系，因此除去增加神經(jīng)元，我們還需要增加神經(jīng)網(wǎng)絡(luò)的層數(shù)（即隱藏層數(shù)），以實(shí)現(xiàn)邏輯的復(fù)雜化。

在輸入通道數(shù)量固定、label固定的條件下，通過調(diào)整隱藏層和每層神經(jīng)元的數(shù)量，我們可以改變神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，進(jìn)而對神經(jīng)網(wǎng)絡(luò)的表現(xiàn)（比如收斂速度、準(zhǔn)確率）產(chǎn)生影響（既可能是積極的，也可能是消極的）。

為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)，我們需要儲備訓(xùn)練數(shù)據(jù)。在訓(xùn)練過程中，被試需要依次注視七種刺激，并給響應(yīng)的腦電波段貼上對應(yīng)的“l(fā)abel”（例如注視“前進(jìn)”這一刺激，并將刺激后的腦電信號進(jìn)行傅里葉變換，輸入到神經(jīng)網(wǎng)絡(luò)中去，并將這此訓(xùn)練的label設(shè)置為“前進(jìn)”）。

結(jié)構(gòu)確定后，我們便可以將提取出來的特征（在本項(xiàng)目中，是窗口內(nèi)信號經(jīng)過傅里葉變換后各個(gè)頻段的功率譜）和對應(yīng)的label（前后左右、停止）輸入到神經(jīng)網(wǎng)絡(luò)的兩端，經(jīng)過訓(xùn)練后便可獲得我們識別所需要的網(wǎng)絡(luò)。

在本系統(tǒng)中，我們需要構(gòu)造的是一個(gè)多通道輸入（注意，輸入的是頻譜而非信號本身）、單輸出的神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)的輸出是具體的運(yùn)動指令。經(jīng)過多次訓(xùn)練后，即可得到一個(gè)比較精準(zhǔn)的分類器。

值得注意的是，對于不同的人而言，相同頻率的刺激引發(fā)的響應(yīng)是有差異的，因此對于不同的使用者，我們需要單獨(dú)進(jìn)行訓(xùn)練，這也是該項(xiàng)技術(shù)后期需要優(yōu)化的問題之一。

4 系統(tǒng)構(gòu)造

系統(tǒng)由以下幾部分組成：刺激信號產(chǎn)生裝置（顯示器），腦機(jī)接口，信號處理系統(tǒng)（包括信號預(yù)處理與神經(jīng)網(wǎng)絡(luò)），機(jī)動輪椅，工作流程見圖1。

當(dāng)系統(tǒng)處于工作狀態(tài)時(shí)，由顯示器顯示4個(gè)方向、停止命令、確認(rèn)、返回共七個(gè)頻率刺激（每個(gè)頻率之間的差異應(yīng)該足夠大以防止誤判）。用戶注視具體頻率刺激后，腦機(jī)接口將信號提取并源源不斷地輸送給信號處理系統(tǒng)，而信號處理系統(tǒng)的工作分為3部分：基礎(chǔ)的信號預(yù)處理（例如濾波）、特征提?。x散傅里葉變換）和信號識別（神經(jīng)網(wǎng)絡(luò)），經(jīng)過系統(tǒng)識別后將具體指令（前后移動、左右轉(zhuǎn)動、停止）發(fā)送給機(jī)動輪椅，實(shí)現(xiàn)輔助移動。

從硬件來看，我們需要刺激硬件（例如顯示屏）、處理硬件（進(jìn)行相應(yīng)的數(shù)學(xué)運(yùn)算）和移動硬件（例如電動輪椅）。

從軟件來看，我們需要刺激產(chǎn)生軟件（支持不同頻率甚至不同顏色的刺激），信號處理軟件和控制軟件（控制輪椅）。

5 結(jié)論

文章介紹了一種輔助殘疾人進(jìn)行移動的系統(tǒng)，這種系統(tǒng)由主要由4部分組成：刺激部分、信號提取部分、信號處理部分、運(yùn)動輔助部分。刺激部分負(fù)責(zé)誘發(fā)人的穩(wěn)態(tài)刺激，該部分可以由顯示器完成，也可以由VR、AR等先進(jìn)技術(shù)代為完成；信號提取部分，即腦機(jī)接口，負(fù)責(zé)將人的腦電采樣并輸送給信號處理系統(tǒng)；信號處理部分負(fù)責(zé)對腦電信號加以識別，并判斷用戶想要發(fā)出的具體指令，并將這種指令傳輸給運(yùn)動輔助部分；運(yùn)動輔助部分，即電動輪椅，根據(jù)信號處理部分的指令做出響應(yīng)，實(shí)現(xiàn)對人的運(yùn)動輔助。

顯然，該系統(tǒng)的核心在于信號處理部分，如何處理信號來得到具體的指令是我們最關(guān)心的問題。為此，我們介紹了傅里葉變換和神經(jīng)網(wǎng)絡(luò)。這兩種方法的結(jié)合在理論上能夠幫助我們進(jìn)行高精度的識別。

通過上述不同部分的集成“合作”，使用者可以在不移動身體任何一個(gè)部位的情況下，僅僅通過注視眼前的不同選項(xiàng)，就可以對輪椅發(fā)出指令。

當(dāng)然，該系統(tǒng)仍有許多有待改進(jìn)的地方。在實(shí)際應(yīng)用中，我們還要考慮功耗、速度、便攜性等一系列問題，所以本文所介紹的系統(tǒng)只是最基礎(chǔ)的“原型機(jī)”，相信在不遠(yuǎn)的未來，以本文所介紹的內(nèi)容為基本思路的民用輔助系統(tǒng)一定能夠出現(xiàn)在市場上，大放異彩。

參考文獻(xiàn)

[1]周志勇，程建新，王詩傲，等.腦電研究在工業(yè)設(shè)計(jì)領(lǐng)域的現(xiàn)狀與趨勢分析[J].包裝工程， 2018（6）.

[2]鄭軍.基于穩(wěn)態(tài)視覺誘發(fā)電位的腦-機(jī)接口研究[J].科學(xué)技術(shù)與工程，2011，11（33）：8149-8154.