面向癱瘓失語者的腦機字符與語音交互系統(tǒng)

余劍雄 文元美

特約論文

面向癱瘓失語者的腦機字符與語音交互系統(tǒng)

余劍雄 文元美

（廣東工業(yè)大學(xué)信息工程學(xué)院，廣東 廣州 510006）

為解決癱瘓失語者語言交流的困難，研究一種基于單通道柔性干電極腦電采集模塊的腦機字符與語音交互系統(tǒng)。首先，將時序腦電信號繪制成二維圖像并著色處理，利用卷積神經(jīng)網(wǎng)絡(luò)識別出含有眨眼特征的圖像；然后，根據(jù)含有眨眼特征圖像的連續(xù)幀數(shù)，實現(xiàn)短眨眼、中眨眼、長眨眼特征的細分；最后，結(jié)合腦電信號中解析的注意力特征，在虛擬交互系統(tǒng)輸出字符與語音。實驗結(jié)果表明：該系統(tǒng)的交互準(zhǔn)確率達96.4%。

腦電信號采集；單通道；眨眼特征；注意力特征；字符與語音交互系統(tǒng)

0 引言

我國因中風(fēng)或漸凍癥而癱瘓失語的人數(shù)多達10余萬。癱瘓失語者意識清醒卻只有眼珠能動，常因為無法表達身體感覺和情緒而得不到合適照料，同時也因無法與人交流而心理受創(chuàng)[1]。為提升癱瘓失語者的生存質(zhì)量，國內(nèi)外學(xué)者在腦機接口方面展開了一系列研究以幫助患者進行交流。

在多通道腦機接口研究方面：2011年CECOTTI等基于64通道的腦電信號，利用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks, CNN）設(shè)計一種檢查P300電位的算法，最高分類準(zhǔn)確率達95.5%[2]；2012年HWANG等采用雙通道（Oz, O2）腦電信號設(shè)計一款基于穩(wěn)態(tài)視覺誘發(fā)電位（steady-state visual evokedpotential, SSVEP）的字符輸入系統(tǒng)，字符輸入速度為9.39字符/min，交互平均準(zhǔn)確率達87.58%[3]；2017年韓國高麗大學(xué)的研究人員采用30個電極的電極帽，通過穩(wěn)態(tài)觸覺誘發(fā)電位實現(xiàn)電動輪椅的控制[4]；2018年DOSE等采用64通道的腦電信號，利用深度學(xué)習(xí)方法對運動想象進行分類，在左右手二分類任務(wù)上取得86.49%的平均準(zhǔn)確率[5]；2019年清華大學(xué)神經(jīng)工程團隊基于與枕葉視覺區(qū)有關(guān)的6個主要腦電通道，將SSVEP技術(shù)應(yīng)用到漸凍癥患者身上，成功完成打字挑戰(zhàn)[6]；2020年馬斯克通過3只小豬和實時神經(jīng)元現(xiàn)場演示活動，展示多通道侵入式Neuralink腦機接口技術(shù)的實際應(yīng)用過程[7]；同年浙江大學(xué)完成國內(nèi)首例多通道植入式腦機接口臨床轉(zhuǎn)化研究，患者利用大腦皮層信號精準(zhǔn)控制外部機械臂和機械手，實現(xiàn)三維空間運動[8]。

在單通道腦機接口研究方面：2014年馬超使用單通道腦機接口，基于眨眼特征和注意力特征實現(xiàn)智能輪椅運動控制，控制指令最低識別正確率為87%[9]；2017年趙興平基于單通道腦電模塊通過眨眼和注意力特征實現(xiàn)智能輪椅系統(tǒng)控制，控制指令平均識別正確率達82.96%[10]；2018年RAJ等基于單通道腦電模塊實現(xiàn)字符輸入控制，最高字符輸入準(zhǔn)確率達82.5%[11]；2019年邱銅基于單通道腦電傳感器，通過提取眨眼和注意力特征設(shè)計一種智能病床運動控制器，系統(tǒng)交互平均準(zhǔn)確率為92%[12]。

綜上所述，國內(nèi)外相關(guān)研究大多通過采集大腦皮層多個通道或大腦內(nèi)部神經(jīng)元的腦電信號，達到精準(zhǔn)控制、交互的目的，但該類腦機接口價格昂貴，設(shè)備配戴過程繁雜。而侵入式腦機接口需進行高風(fēng)險和昂貴的腦機接口植入手術(shù)，這對于多數(shù)癱瘓失語者家庭而言，是一個沉重負擔(dān)，在實際生活中無法廣泛應(yīng)用。

相對而言，柔性干電極的單通道腦機接口雖然準(zhǔn)確率和速度不及多通道和侵入式的腦機接口，但腦電信號采集簡單、價格便宜，且不需要進行腦機接口植入手術(shù)，具有較好的應(yīng)用前景。目前，將單通道腦電信號用于智能輪椅、字符輸入系統(tǒng)和智能病床等控制，多利用眨眼與注意力特征，準(zhǔn)確率可達80%且逐年提升?；谇笆鰡瓮ǖ滥X機交互系統(tǒng)的研究，本文以圖像形式記錄腦電信號，并將細分的短眨眼、中眨眼、長眨眼3類眨眼特征與注意力特征結(jié)合，用于交互系統(tǒng)的輸入控制，以提高交互準(zhǔn)確率。

1 系統(tǒng)框架

面向癱瘓失語者的腦機字符與語音交互系統(tǒng)包括腦電信號獲取、圖像繪制與著色處理、眨眼特征提?。–NN）、眨眼特征細分、注意力特征提取和虛擬鍵盤與語音輸出等模塊，系統(tǒng)框架如圖1所示。

圖1　面向癱瘓失語者的腦機字符與語音交互系統(tǒng)框架

1.1 腦電信號獲取

本系統(tǒng)采用單通道腦電采集模塊（think gear asic module, TGAM）進行腦電信號采集。TGAM包括參考電極、接地電極和測量電極3個干式電極，采集頻率為512 Hz。TGAM經(jīng)過采樣、放大、去噪、量化和信號處理分析后，獲取前額Fp1或Fp2處的腦電信號，并以腦電數(shù)據(jù)包形式輸出注意力集中度、冥想度、不同頻率波段（δ波、θ波、α波、β波和γ波）能量值以及信號質(zhì)量值等數(shù)據(jù)。為減少工頻信號和電磁信號等干擾，TGAM與PC端通過藍牙通信，將腦電數(shù)據(jù)包發(fā)送到PC端并進行特征提取。

1.2 圖像繪制與著色處理

TGAM的輸出數(shù)據(jù)以圖像形式記錄。將原始的單通道腦電信號繪制成二維圖像，根據(jù)腦電信號和接地電極端信號的數(shù)量關(guān)系進行著色區(qū)間分割，并對分割區(qū)間進行顏色編碼。經(jīng)過著色處理后的腦電信號使眨眼特征更為直觀、顯著，易于理解。

記離散的腦電數(shù)據(jù)Rawdata序列為()，其中=N0,N1, …,N為Rawdata序列對應(yīng)的采樣時刻點，=0,1, … ,P為采樣序列。同理，記接地電極端信號為() = 0，=N0,N1, … ,N為Rawdata序列對應(yīng)的采樣時刻點，=0,1, … ,P為采樣序列。()與()是采樣頻率一致的離散信號，且()與()以包絡(luò)形式圍成一個二維圖像，因此可根據(jù)()與()的大小關(guān)系對圖像進行著色處理，以顏色特征表示()與()的大小關(guān)系。

具體操作：記某個采樣點為N，(N)對應(yīng)的像素點為A點，(N)對應(yīng)的像素點為B點，A，B像素點之間形成的線段記為AB；當(dāng)(N)(N)時，AB著色為紅色；當(dāng)(N) ＜(N)時，AB著色為藍色。對每個采樣點重復(fù)以上著色處理，最終得到一幅表征()與()大小關(guān)系的二維圖像。

1.3 眨眼特征提取

將著色后的二維圖像作為數(shù)據(jù)集輸入CNN模型來分類眨眼特征，并對分類后的眨眼特征進行標(biāo)記。本文采用8層CNN，包括2個卷積層、2個池化層、2個全連接層、1個dropout層和1個softmax層。網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1　本文采用的CNN結(jié)構(gòu)

本文采用的CNN第一層為卷積層conv1，卷積核大小為3×3，輸出16個224×224的特征圖；第二層為池化層pool1，池化核大小為2×2，輸出16個112×112的特征圖；第三層為卷積層conv2，卷積核大小為3×3，輸出16個112×112的特征圖；第四層為池化層pool2，池化核大小為2×2，輸出16個56×56的特征圖；第五層full1和第六層full2為全連接層，均輸出128個特征值；第七層為概率=0.6的dropout層；第八層為softmax層。卷積層的激活函數(shù)采用ReLU函數(shù)。

本文權(quán)值與偏置的初始值服從均值為0、標(biāo)準(zhǔn)差為0.005的標(biāo)準(zhǔn)正態(tài)分布。訓(xùn)練過程中，每次隨機從樣本中選取90個樣本，共進行100次隨機采樣。初始學(xué)習(xí)率為0.01，動量為0.09，每采樣10次驗證1次，驗證過程中發(fā)現(xiàn)準(zhǔn)確率不變或下降時，學(xué)習(xí)率下降一個數(shù)量級繼續(xù)訓(xùn)練，直到學(xué)習(xí)率下降到0.0001時不再變化。

每50 ms對腦電信號圖像做1次分類識別，形成20幀/s的標(biāo)記視頻流。借助該視頻流判斷眨眼開始和結(jié)束時間，識別出1次完整的眨眼過程。

1.4 眨眼特征細分

在已標(biāo)記的視頻流中，根據(jù)眨眼特征的連續(xù)圖像幀數(shù)，將眨眼特征細分為短眨眼、中眨眼和長眨眼。

定義一個大小為20的分類結(jié)果記錄隊列，每 50 ms將分類結(jié)果插入隊列最后。如果隊列已滿，則舍棄隊列頭的記錄，以保證隊列中的記錄都是最新的。用于眨眼特征細分流程的記錄隊列緩沖區(qū)如圖2所示。

圖2　記錄隊列緩沖區(qū)

1）開始時，對少于20個分類結(jié)果的記錄不做處理；

2）當(dāng)?shù)?0個分類結(jié)果加入隊列時，統(tǒng)計隊列中的分類結(jié)果，記包含眨眼特征的連續(xù)圖像幀數(shù)為，以“≥ 4”為眨眼有效的判定條件；

3）以此類推，每50 ms將分類結(jié)果插入隊列最后，舍棄隊列頭記錄，重復(fù)步驟2）的操作，每50 ms進行一次眨眼是否有效的判定。

頻繁多次的短眨眼信號可構(gòu)成一次中眨眼或長眨眼信號?；谡Ｑ塾行У呐卸l件（“≥ 4”），進一步細分“10 >≥ 4”，“16 >≥ 10”，“≥ 16”分別對應(yīng)短眨眼、中眨眼、長眨眼3類眨眼特征。因長眨眼較耗時，系統(tǒng)暫時沒有使用，用于以后其他擴展功能。

1.5 注意力特征提取

人腦中腦電信號的頻率為0.5 Hz到幾十赫茲，將頻率由小到大排列，腦電信號可分為δ波、θ波、α波、β波和γ波[13]。當(dāng)大腦由放松狀態(tài)進入注意力集中狀態(tài)時，腦電信號中不同頻率波段能量值會做出相應(yīng)變化。根據(jù)這一現(xiàn)象，可從腦電信號中提取注意力特征[14]。

TGAM每秒輸出一個范圍值為0～100的注意力特征[15]（attention）。本文以文獻[10]的注意力特征閾值58作為參考，將注意力高于或低于閾值的2種狀態(tài)分別定義為H和L。

對一次有效的注意力控制過程進行判斷：記為注意力狀態(tài)連續(xù)為H的持續(xù)時間，以0（0= 3 s為時間閾值）作為注意力控制是否有效的判斷條件，從注意力狀態(tài)由L轉(zhuǎn)為H時開始計時，直至注意力狀態(tài)由H轉(zhuǎn)為L時結(jié)束，同時置0并開始下一次的注意力控制檢測。以圖3所示的注意力變化過程為例，雖然在第2 s時檢測到注意力狀態(tài)為H，但在第3 s時注意力狀態(tài)由H轉(zhuǎn)為L，= 1 s視為無效的注意力特征；從第5 s開始注意力狀態(tài)由L轉(zhuǎn)為H持續(xù)到第9 s結(jié)束，= 5 s，視為有效的注意力特征。

圖3　注意力變化過程示意圖

1.6 虛擬鍵盤與語音輸出模塊

基于眨眼特征和注意力特征，本文設(shè)計虛擬鍵盤交互系統(tǒng)，用于癱瘓失語者與外界進行“言語”溝通。該系統(tǒng)包括虛擬鍵盤和語音輸出模塊。其中虛擬鍵盤包含26個英文字母按鍵、10個數(shù)字按鍵和1個句號按鍵，共37個按鍵，并根據(jù)字符使用頻率，利用哈夫曼編碼對按鍵進行位置布局，如圖4所示。

虛擬鍵盤有按鍵節(jié)點和哈夫曼編碼形成的中間節(jié)點2種類型。依據(jù)節(jié)點使用頻率自上而下、自左至右依次排列，使用頻率越高的節(jié)點掃描路徑越短。虛擬鍵盤每層第1個節(jié)點主要用作11個非英文字符按鍵；每層的第2，3，4個節(jié)點分別對26個英文字符進行布局（字符V除外）。

2013年，湖北省水利廳繼續(xù)深入貫徹中央和省關(guān)于加快水利改革發(fā)展的決策部署，強化工作舉措，加快水利發(fā)展，各項工作保持又好又快的發(fā)展態(tài)勢。

圖4　虛擬鍵盤布局

虛擬鍵盤上用光點的閃動表示當(dāng)前掃描節(jié)點，定義當(dāng)前掃描節(jié)點為CurKey。當(dāng)檢測到短眨眼信號且CurKey節(jié)點為按鍵節(jié)點時，輸出按鍵字符；否則開始CurKey節(jié)點的下一層掃描，以此類推，直至CurKey節(jié)點為按鍵節(jié)點。為取消因不由自主眨眼引起的誤操作，用中眨眼信號進行中斷并從頭開始掃描過程。

語音輸出模塊實現(xiàn)音量、語速和語音的控制和輸出，實現(xiàn)過程如圖5所示。

圖5　語音輸出模塊實現(xiàn)過程

為實現(xiàn)實時語音輸出，當(dāng)一句話輸入完成時，用一次有效注意力特征激活語音輸出模塊，文本輸入框當(dāng)前內(nèi)容轉(zhuǎn)換為語音并輸出，音量與語速可事先設(shè)定。

2 實驗結(jié)果與分析

2.1 實驗準(zhǔn)備

實驗PC機CPU為Intel(R) Xeon(R) W-2123，內(nèi)存容量為16.0 GB，操作系統(tǒng)為window10 64位。

由于腦電信號微弱，因此在采集過程中，參考電極和接地電極采用耳夾形式，分別夾在左、右耳垂位置A1，A2，如圖6(a)所示。測量電極放置于額頭Fp1或Fp2的腦電極采集點，如圖6(b)所示。參考電極、接地電極和測量電極的硬件連接導(dǎo)線不宜過長（視頭部尺寸大小而定，一般為20 cm～30 cm）。

圖6　腦電信號采集

以圖7(a)所示腦電信號為例，其存在幅值范圍為?0.5 mV～+0.5 mV的干擾信號，反復(fù)微調(diào)各個電極位置，直到腦電信號幅值范圍減小到?0.1 mV～+0.1 mV，如圖7(b)所示。此時，可輕微地眨動眼睛并觀察腦電信號幅值是否發(fā)生變化。若眨眼行為使腦電信號發(fā)生短時的幅值跳變，則說明腦機接口配戴位置已調(diào)至最佳，如圖7(c)所示。

圖7(a)被干擾的腦電信號

圖7(b)正常的腦電信號

(c)　輕微眨眼時的腦電信號

2.2 實驗數(shù)據(jù)集構(gòu)建

本文使用的數(shù)據(jù)集是由實驗室的受試者A，B，C通過TGAM采集。利用.NET平臺的上位機軟件Capture對TGAM采集的數(shù)據(jù)包進行解析、繪制并著色成224×224的圖像，著色圖像記錄無眨眼和眨眼2類數(shù)據(jù)。TGAM采集數(shù)據(jù)的流程如圖8所示。著色前后的有無眨眼特征數(shù)據(jù)圖像如圖9所示。

圖8　TGAM采集數(shù)據(jù)流程

圖9　著色前后的有無眨眼特征數(shù)據(jù)圖像

由圖9可知：攜帶眨眼特征的腦電信號在圖像中呈現(xiàn)尖峰，而不攜帶眨眼特征的腦電信號較為平穩(wěn)；從著色處理前后來看，著色處理后的圖像眨眼特征顯示更為直觀，如圖9(d)顯示眨眼次數(shù)為5。

2.3 基于CNN的眨眼特征分類算法對比分析

本文采用CNN模型訓(xùn)練和分類眨眼特征。為驗證該模型的有效性，先用數(shù)據(jù)集90%的樣本進行CNN訓(xùn)練，并將該模型以model.pb的文件形式保存。數(shù)據(jù)集剩下的10%樣本用于結(jié)果驗證，得到的驗證準(zhǔn)確率為98.6%，說明該模型有效可行。

采用已驗證的CNN模型進行受試者眨眼特征識別對比實驗，對照組為文獻[10]提出的基于閾值判斷的眨眼特征提取算法。實驗分別對受試者A，B，C進行有無眨眼的識別測試各150次。

鑒于從TGAM中獲取的原始腦電信號范圍為?2048～2047，而普通人正常情況下眨眼腦電信號的幅值范圍為450～1000，參考文獻[10]設(shè)置的閾值為1021，對該閾值分別加減緩沖值100，即921，1021和1121，再與本文算法進行眨眼特征識別準(zhǔn)確率對比。準(zhǔn)確率計算公式如式(1)所示，結(jié)果如表2所示。

表2　眨眼特征識別準(zhǔn)確率對照表

由表2可知：對照組文獻[10]閾值為921和1121時，眨眼特征識別平均準(zhǔn)確率均為87.8%；而閾值為1021時取得最佳平均準(zhǔn)確率為90.4%，文獻[10]也正是選擇1021為閾值。本文提出的眨眼特征提取算法（著色+CNN）平均準(zhǔn)確率為97.1%，高出對照組的最佳平均準(zhǔn)確率6.7%。

對照組文獻[10]在不同閾值時有無眨眼的實驗中，受試者A，B，C的眨眼特征識別準(zhǔn)確率存在較大差異：閾值為1021時受試者A和C眨眼特征識別準(zhǔn)確率較高；閾值為921時受試者B的眨眼特征識別準(zhǔn)確率較高。這是由于不同受試者存在眨眼強弱的差異，且文獻[10]根據(jù)固定的閾值進行眨眼特征識別，致使整體識別準(zhǔn)確率不高。

采用本文（著色+CNN）的眨眼特征提取算法時，受試者A，B，C眨眼特征識別準(zhǔn)確率分別為97.3%，98.0%和96.0%，不同受試者眨眼特征識別準(zhǔn)確率差異較小。本文算法將腦電信號繪制并著色成二維圖像，再利用CNN模型訓(xùn)練和分類。不同個體眨眼的差異表現(xiàn)在著色圖像中為位移、縮放和其他扭曲等變化，但CNN能較好地處理這類非線性問題，可識別由于個體差異而導(dǎo)致的眨眼特征變化。

2.4 眨眼細分和注意力特征識別實驗

為驗證系統(tǒng)眨眼細分和注意力的特征識別準(zhǔn)確率，本文對受試者A，B，C分別進行短眨眼、中眨眼、長眨眼和注意力特征識別測試各50次，實驗結(jié)果如表3和表4所示。

表3　眨眼特征細分識別準(zhǔn)確率

由表3可知：本文算法對眨眼特征細分的平均準(zhǔn)確率達94.67%，解決了文獻[10]眨眼特征類型單一的缺點；短眨眼、中眨眼和長眨眼的最低識別準(zhǔn)確率分別為94.0%，92.0%和94.0%，說明眨眼細分算法對不同眨眼類型都有較高的識別準(zhǔn)確率。

表4　注意力特征識別準(zhǔn)確率

由表4可知：本文算法的注意力特征平均識別準(zhǔn)確率比文獻[10]高3.3%，原因是本文加入了完整注意力周期的判斷，減少注意力噪聲影響。

2.5 系統(tǒng)交互實驗結(jié)果與分析

腦機字符與語音交互系統(tǒng)實驗流程如圖10所示。為驗證字符輸入速度，按照圖10的實驗流程對受試者A，B，C進行測試，字符輸入速度計算公式為

實驗要求受試者A，B，C通過眨眼完成字符“welcome”的輸入，并通過注意力完成語音輸出任務(wù)，測試結(jié)果如表5所示。

表5　字符輸入速度 （單位：字符/min）

由表5可知：腦機字符與語音交互系統(tǒng)字符輸入速度約為5字符/min，除不由自主的誤眨眼指令和用來取消誤操作的中眨眼指令外，1 min內(nèi)共輸入眨眼指令W(4次)+E(2次)+L(4次)+C(4次)+O(3次)=17次，單次眨眼指令約耗時3.5 s。文獻[10]在64 s內(nèi)共發(fā)出22個眨眼選擇控制指令，單次眨眼指令約耗時2.9 s；比本實驗耗時少0.6 s。

為評價腦機字符與語音交互系統(tǒng)算法的準(zhǔn)確率，實驗受試者A，B，C以文獻[10]算法控制虛擬鍵盤完成相同的測試任務(wù)作為對照組，測試結(jié)果如表6所示。

表6　不同算法控制虛擬鍵盤準(zhǔn)確率比較

由表6可知：文獻[10]算法控制虛擬鍵盤的平均準(zhǔn)確率為85.6%，而本文算法的平均準(zhǔn)確率為96.4%，提升了10.8%；原因是本文算法不但眨眼和注意力特征識別準(zhǔn)確率優(yōu)于文獻[10]，而且以短眨眼、中眨眼信號分別輸入字符和中斷有誤輸入。

腦機字符與語音交互系統(tǒng)界面如圖11所示。

圖11　腦機字符與語音交互系統(tǒng)界面

圖11中，Input文本框用于字符輸入；Output用于輸出文本框內(nèi)容；圖像顯示框?qū)崟r顯示腦電信號著色圖像；Threshold是注意力特征閾值，可通過滑動條對其進行調(diào)整；Attention進度條顯示注意力持續(xù)時間；CountDown是按鍵節(jié)點掃描倒計時顯示（單位為秒）；右上方的曲線圖實時顯示注意力特征；界面下半部分為虛擬鍵盤以及音量、語速控制。

3 結(jié)語

本文基于單通道腦電采集模塊，采用CNN識別腦電信號中的3類眨眼特征，并將眨眼特征與注意力特征結(jié)合，設(shè)計一款腦機字符與語音交互系統(tǒng)。經(jīng)準(zhǔn)確率和字符輸入速度的多組對照實驗表明：本文提出的采用CNN識別眨眼特征以及細分眨眼特征用于字符輸入控制的方法，較好地提升了系統(tǒng)的交互準(zhǔn)確率。未來借助AI SOC芯片的運算能力，可將本文提出的方法用于智能輪椅、智能病床等控制。

[1] 李燕,章瑋.康復(fù)性溝通模式對脊髓損傷并癱瘓患者情緒及生活能力的影響[J].現(xiàn)代中西醫(yī)結(jié)合雜志,2020,29(18):2046- 2049.

[2] CECOTTI H, GRASER A. Convolutional neural networks for P300 detection with application to brain-computer interfaces[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 2011, 33(3):433-445.

[3] HWANG H J, LIM J H, JUNG Y J, et al. Development of an SSVEP-based BCI spelling system adopting a QWERTY-style LED keyboard[J]. Journal of Neuroscience Methods, 2012, 208(1):59-65.

[4] KIM K T, LEE S W. Towards an EEG-based intelligent wheelchair driving system with vibro-tactile stimuli[C]// IEEE International Conference on Systems. IEEE, 2017.

[5] DOSE H, MOLLER J S, IVERSEN H K, et al. An end-to-end deep learning approach to MI-EEG signal classification for BCIs[J]. Expert Systems with Applications, 2018, 114(DEC.): 532-542.

[6] 楊晨.面向應(yīng)用的穩(wěn)態(tài)視覺誘發(fā)電位腦—機接口算法及系統(tǒng)研究[D].北京:清華大學(xué),2018.

[7] 烏肖米.馬斯克的“腦機接口”，能徹底根除殘疾嗎？[J].寧波經(jīng)濟(財經(jīng)視點),2020(10):31-33.

[8] 吳雅蘭,柯溢能.高位截癱可用“意念”喝可樂打麻將：浙江大學(xué)完成國內(nèi)首例植入式腦機接口臨床轉(zhuǎn)化研究[J].今日科技,2020(4):40-41.

[9] 馬超.基于單通道腦機接口的嵌入式智能輪椅控制系統(tǒng)研究[D].南寧:廣西大學(xué),2015.

[10] 趙興平.基于單通道腦機接口的智能輪椅控制及人機交互研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2017.

[11] RAJ R, DEB S, BHATTACHARYA P. Brain-computer interfaced single key omni directional pointing and command system: a screen pointing interface for differently-abled person[J]. Procedia Computer Science, 2018, 133:161-168.

[12] 邱銅.基于腦機接口的智能病床運動控制器研究[D].杭州:浙江大學(xué),2019.

[13] Zhang Lu, Lyu Qingsong, Xu Yishen. Single channel brain-computer interface control system based on TGAM module[C]//International Congress on Image & Signal Processing. IEEE, 2018.

[14] Wu Yu, Xie Ning. Attention optimization method for EEG via the TGAM[J]. Computational and Mathematical Methods in Medicine, 2020, 2020:1-11.

[15] Ni Dan,Wang Shuo, Liu Guocheng. The EEG-based attention analysis in multimedia m-learning[J]. Computational and Mathematical Methods in Medicine, 2020, 2020(4):1-10.

Brain-Computer Character and Speech Interaction System for Paralyzed Aphasia

Yu Jianxiong Wen Yuanmei

(School of Information Engineering, Guangdong University of Technology, Guangzhou 510006, China)

To help paralyzed aphasia patients to solve the difficulty of language communication, a new brain-computer interaction system based on single channel flexible electrode EEG acquisition module was studied. Firstly, the sequential EEG signal is drawn into a two-dimensional image and colored. Secondly, the image with blink feature is recognized by CNN. Thirdly, according to the number of consecutive frames of the image with blink feature, the features of short blink, medium blink and long blink are subdivided. Finally, combined with the attention feature of EEG analysis, characters and speech are output in the designed virtual interactive system. The experimental results show that the interactive accuracy of this method is as high as 96.4%.

EEG signal acquisition; single channel; blink feature; attention feature; character and speech interaction system

余劍雄，男，1993年生，碩士研究生，主要研究方向：模式識別、嵌入式系統(tǒng)。E-mail: 1157247727@qq.com

文元美，女，1968年生，副教授，博士，主要研究方向：智能信息處理。E-mail: ym0218@gdut.edu.cn

TP391.7

A

1674-2605(2021)03-0001-09

10.3969/j.issn.1674-2605.2021.03.001