基于Android平臺(tái)的注意力監(jiān)測(cè)系統(tǒng)實(shí)現(xiàn)

孔 亮，胡 南，孫 兵

（蘇州大學(xué) 電子信息學(xué)院，江蘇 蘇州 215006）

基于Android平臺(tái)的注意力監(jiān)測(cè)系統(tǒng)實(shí)現(xiàn)

孔 亮，胡 南，孫 兵

（蘇州大學(xué) 電子信息學(xué)院，江蘇 蘇州 215006）

腦電生物反饋治療（EEG Biofeedback）是近年來興起的一種治療注意缺陷多動(dòng)障礙（ADHD）的非藥物治療新方法，已在臨床上得到廣泛應(yīng)用，但該治療需要配合昂貴、笨重且專業(yè)化的設(shè)備，較難推廣。結(jié)合BP神經(jīng)網(wǎng)絡(luò)，配合美國(guó) NeuroSky公司的 ThinkGear AM腦電采集模塊，設(shè)計(jì)了一款基于 Android平臺(tái)的注意力監(jiān)測(cè)軟件，實(shí)現(xiàn)了腦電波的實(shí)時(shí)監(jiān)測(cè)和注意力水平的直觀顯示。整套系統(tǒng)簡(jiǎn)單便攜，成本低廉，對(duì)于腦電生物反饋治療的推廣有一定的意義。

注意力；腦電；監(jiān)測(cè)；BP神經(jīng)網(wǎng)絡(luò)

0 引言

注意缺陷多動(dòng)障礙(Attention Deficit Hyperactivity Disorder，ADHD)為一類常見于兒童期的行為障礙，我國(guó)兒童發(fā)病率為3%～10%[1]。目前，用藥物治療 ADHD仍是醫(yī)生的第一選擇，但長(zhǎng)期大劑量用藥會(huì)帶來諸如心血管系統(tǒng)損害、藥物成癮、厭食等副作用。因此，尋找一種安全有效、療效持久的可以輔助或代替藥物治療的新型療法成為了一種趨勢(shì)，腦電生物反饋治療(EEG Biofeedback)便由此應(yīng)運(yùn)而生。大量臨床實(shí)驗(yàn)證明，腦電生物反饋治療ADHD的療效與中樞神經(jīng)興奮劑的療效相當(dāng)[2]。

目前，國(guó)內(nèi)外有不少學(xué)者從事腦電生物反饋治療的研究，但首先，這些研究有很多仍停留在臨床上[3-4]，且偏向理論算法[5-7]；其次，研究采用的專業(yè)儀器大多價(jià)格昂貴，難以普及；最后，得到的數(shù)據(jù)太過專業(yè)化，一般群眾難以讀懂，這使得腦電生物反饋治療很難推廣。

為了更好地推廣腦電生物反饋治療，本文實(shí)現(xiàn)了一個(gè)基于 Android平臺(tái)的注意力監(jiān)測(cè)系統(tǒng)。該系統(tǒng)利用腦電采集模塊實(shí)現(xiàn)腦電信號(hào)的采集和發(fā)送，通過 Android平臺(tái)的藍(lán)牙接收信號(hào)，經(jīng)過頻譜變換后提取特征值輸入經(jīng)過訓(xùn)練的BP神經(jīng)網(wǎng)絡(luò)，得到當(dāng)前注意力狀態(tài)，并實(shí)時(shí)顯示在屏幕上。系統(tǒng)整體框架如圖1所示。

圖1 注意力監(jiān)測(cè)系統(tǒng)框圖

1 腦電采集模塊

腦電采集模塊主要包含ThinkGear AM芯片、電源、干電極、參考電極以及藍(lán)牙從機(jī)5個(gè)部分。

ThinkGear AM芯片是由美國(guó)Neurosky公司研發(fā)的第一款消費(fèi)級(jí)單通道腦電波采集芯片。該芯片僅有拇指大小，最大重量?jī)H為 130 mg，并內(nèi)置 12位的 ADC模數(shù)轉(zhuǎn)換模塊，可以在 1 200、9 600、57 600波特率下通過UART向外輸出。

該芯片運(yùn)行電壓為 2.97～3.63 V，故可以采用2節(jié)1.5 V的7號(hào)電池串聯(lián)作為其電源。

干電極采用直徑為12mm、厚度為2mm的圓形不銹鋼干電極片，使用1.2mm的螺絲固定導(dǎo)線后上錫，參考電極則采用塑料生理耳夾，耳夾內(nèi)裝有參比電極和接地電極。使用時(shí)，干電極放置于左前額處，參考電極置于雙耳耳垂處。

藍(lán)牙從機(jī)模塊采用HC-06藍(lán)牙串口芯片。該芯片大小與 ThinkGear AM芯片相當(dāng)，成本低廉，功耗低，且無線收發(fā)靈敏度達(dá)到了-80 dBm，完全符合便攜性的要求。

2 Android平臺(tái)應(yīng)用實(shí)現(xiàn)

2.1 藍(lán)牙接收

該模塊主要功能是接收腦電采集模塊通過藍(lán)牙發(fā)送的腦電信號(hào)。實(shí)現(xiàn)過程如下：

(1)創(chuàng)建BluetoothAdapter對(duì)象以及Handler對(duì)象。

(2)通過構(gòu)造函數(shù) TGDevice(BluetoothAdapter，Handler)創(chuàng)建TGDevice對(duì)象，調(diào)用connect方法啟動(dòng)藍(lán)牙連接過程，搜索 Android設(shè)備中所有配對(duì)的藍(lán)牙設(shè)備列表，并且去嘗試連接第一臺(tái)可兼容的 ThinkGear設(shè)備，成功通過藍(lán)牙發(fā)現(xiàn)并連接到 ThinkGear硬件設(shè)備后，TGDevice對(duì)象會(huì)發(fā)送一個(gè)STATE_CONNECTED消息給Handler對(duì)象。

(3)連接成功后調(diào)用start方法，TGDevice對(duì)象便開始將腦電采集模塊采集到的原始腦電信號(hào)通過消息形式發(fā)送給Handler對(duì)象。

(4)當(dāng)應(yīng)用程序不再需要從TGDevice接受數(shù)據(jù)時(shí)，通過close方法關(guān)閉連接。

2.2 頻譜變換

該模塊主要功能是將時(shí)域的腦電信號(hào)轉(zhuǎn)換成頻域信號(hào)，采用比較主流的快速傅里葉變換(FFT)方法。

FFT是離散傅里葉變換(DFT)的一種快速算法，該算法利用DFT公式中旋轉(zhuǎn)因子的周期性、對(duì)稱性和可約性[8]，采用按時(shí)間抽取變換(DIT)等形式把N點(diǎn)的DFT的計(jì)算變成一系列迭代運(yùn)算過程，簡(jiǎn)化運(yùn)算量，極大地提升了計(jì)算效率[9]。

本文采用基2時(shí)間抽取快速傅里葉(DIT-FFT)算法，其核心是蝶形運(yùn)算，對(duì)于N=2M點(diǎn)的FFT，其蝶形運(yùn)算公式如下：

式中L為運(yùn)算級(jí)數(shù)(L=1，2，…，M)；第L級(jí)運(yùn)算共有B= 2L-1個(gè)不同指數(shù)的旋轉(zhuǎn)因子，用 R表示這些不同指數(shù)旋轉(zhuǎn)因子從上到下的順序(R=0，1，…，B-1)，則第 R個(gè)旋轉(zhuǎn)因子的指數(shù)P=2M-LR。

旋轉(zhuǎn)因子指數(shù)為P的第一個(gè)蝶的第一節(jié)點(diǎn)標(biāo)號(hào)k從R開始，相鄰間距為2L，各蝶的第二個(gè)節(jié)點(diǎn)與第一個(gè)節(jié)點(diǎn)都相距B點(diǎn)。該模塊程序流程圖如圖2所示。

圖2 頻譜變換程序流程圖

2.3 BP神經(jīng)網(wǎng)絡(luò)

2.3.1 特征提取

腦電信號(hào)中包含了大量的特征信息，為心理研究、臨床腦疾病診斷等領(lǐng)域提供了重要依據(jù)。按照頻率與幅度特性，一般可以將其劃分為 δ波、θ波、α波、β波等[10]。每種節(jié)律都對(duì)應(yīng)大腦不同的狀態(tài)。

以往研究中，對(duì)于注意力水平的評(píng)價(jià)主要借助于EEG 時(shí)域信號(hào)中的模糊熵[11]、樣本熵[12]、多尺度熵[13]等時(shí)域信號(hào)復(fù)雜度值，或者是EEG頻譜信號(hào)中的θ波與β波的相對(duì)比值[14]。通過單一參數(shù)的單一閾值來對(duì)注意力水平進(jìn)行評(píng)價(jià)，簡(jiǎn)單易行，但是在實(shí)用中卻常常出現(xiàn)參數(shù)不能及時(shí)反映被試真實(shí)狀態(tài)的情況。這主要是由于腦電信號(hào)是生命體產(chǎn)生的復(fù)雜非線性信號(hào)，各個(gè)節(jié)律與大腦狀態(tài)的對(duì)應(yīng)區(qū)分得并不絕對(duì)，而是存在著復(fù)雜的非線性關(guān)聯(lián)，因此，本文擬采取多特征參數(shù)的非線性分析方法，構(gòu)造以下5個(gè)特征值，分別為δ波、θ波、α波、β波能量占腦電信號(hào)總能量的百分比以及θ波能量與β波能量的比值，較為全面地代表了注意水平相關(guān)的腦電成分在頻域上的分布特征。

2.3.2 BP網(wǎng)絡(luò)訓(xùn)練

為了獲得注意力集中和注意力非集中時(shí)的穩(wěn)定樣本數(shù)據(jù)，本文設(shè)計(jì)了如下實(shí)驗(yàn)：

注意任務(wù)：被試坐在電腦屏幕前，參與完成Neurosky公司的速算挑戰(zhàn)游戲，屏幕呈現(xiàn)比較復(fù)雜的加減乘除運(yùn)算題目（難度4），被試心算結(jié)果并提交。運(yùn)算題目較為復(fù)雜，被試一般要仔細(xì)考慮才能計(jì)算出結(jié)果，且要求答題中盡量保證計(jì)算正確，一共進(jìn)行 40 s左右測(cè)試，從被試進(jìn)行計(jì)算后10 s再開始采集被試腦電信號(hào)。

非注意任務(wù)：被試坐在電腦屏幕前，電腦屏幕呈現(xiàn)速算挑戰(zhàn)開始界面，以保持屏幕色調(diào)與注意任務(wù)相近，被試觀望屏幕，但要求盡量處于自然松弛狀態(tài)。一共進(jìn)行 40 s左右測(cè)試，從被試進(jìn)行測(cè)試后 10 s再開始采集被試腦電信號(hào)。

整個(gè)實(shí)驗(yàn)過程保證被試不受外界干擾。12名健康被試年齡在20～22歲之間，均在頭腦清醒的情況下接受測(cè)試。實(shí)驗(yàn)數(shù)據(jù)采用Neurosky公司的MindRec軟件進(jìn)行記錄。12位被試分別采集30 s數(shù)據(jù)，從每份中隨機(jī)截取10段2 s長(zhǎng)的數(shù)據(jù)(即1 024個(gè)數(shù)據(jù))，得到12(被試)×10(截取數(shù)據(jù))×2(2個(gè)狀態(tài))共240個(gè)樣本數(shù)據(jù)。

將其中的200個(gè)樣本數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，40個(gè)樣本數(shù)據(jù)作為測(cè)試數(shù)據(jù)，通過MATLAB進(jìn)行仿真。

設(shè)定BP網(wǎng)絡(luò)層數(shù)為3，輸入神經(jīng)元個(gè)數(shù)為5，輸出神經(jīng)元個(gè)數(shù)為1(注意狀態(tài)的輸出期望值為1、非注意狀態(tài)為 0)，隱層神經(jīng)元個(gè)數(shù)為 8，激勵(lì)函數(shù)為 logsig函數(shù)，初始學(xué)習(xí)步長(zhǎng)定為 0.05，目標(biāo)均方誤差設(shè)為 0.001，迭代次數(shù)設(shè)為2 500次，采用traingdx(變步長(zhǎng))算法，訓(xùn)練后得到的最高識(shí)別準(zhǔn)確率達(dá)到了77.5%。

最后，利用 net.b{1}、net.iw{1，1}等指令，得到訓(xùn)練后BP神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣和閾值矩陣。

2.3.3 BP網(wǎng)絡(luò)的Android實(shí)現(xiàn)

BP網(wǎng)絡(luò)的輸出結(jié)果y與輸入特征向量x的對(duì)應(yīng)關(guān)系如下：

其中 w1、w2分別為隱層、輸出層權(quán)值矩陣，θ1、θ2分別為隱層、輸出層閾值矩陣，u1、u2為中間量，y1為隱層輸出。

利用二維數(shù)組可以很簡(jiǎn)單地實(shí)現(xiàn) Android平臺(tái)上的矩陣運(yùn)算。BP神經(jīng)網(wǎng)絡(luò)輸出的結(jié)果是一個(gè)范圍為0～1的值，該值越接近0，則代表被試當(dāng)前注意力越不集中，反之則代表注意力集中。將其乘以100并取整，即可得到一個(gè)百分制的注意力值，可以非常直觀地表達(dá)被試當(dāng)前的注意力狀態(tài)。

2.4 實(shí)時(shí)顯示

實(shí)時(shí)顯示模塊主要依靠 Android平臺(tái)提供的 SurfaceView組件、TextView組件以及上文創(chuàng)建的 Handler對(duì)象來對(duì)主線程的UI進(jìn)行更新，達(dá)到實(shí)時(shí)顯示的效果。實(shí)現(xiàn)流程如下：

(1)通過 TextView的 setText方法將文字顯示在屏幕相應(yīng)位置，該方法會(huì)直接將原先顯示的文字抹除，以達(dá)到實(shí)時(shí)顯示的效果。

(2)創(chuàng)建Canvas對(duì)象，Surface中的Canvas成員是專供程序員畫圖的場(chǎng)所，并通過getHolder方法實(shí)現(xiàn)Surface-Holder接口，用于操縱Surface和處理Canvas上畫圖效果和動(dòng)畫，控制表面、大小、像素等。

(3)通過lockCanvas方法將畫布鎖定以獲得當(dāng)前畫布對(duì)象，先通過drawColor方法將當(dāng)前畫布顏色置為黑色以清除之前的作圖，再通過drawLine方法在畫布上將當(dāng)前時(shí)域、頻域圖像依次畫出。

(4)通過unlockCanvasAndPost方法解鎖畫布以提交畫好的圖像。

3 結(jié)論

本文給出了基于Android平臺(tái)的注意力監(jiān)測(cè)系統(tǒng)的具體實(shí)現(xiàn)方案，依托 ThinkGear AM腦電采集模塊采集原始腦電信號(hào)，通過藍(lán)牙傳輸?shù)紸ndroid終端，進(jìn)行頻譜變換后，輸入事先訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)，得到一個(gè)百分制的注意力值，可以非常直觀地表達(dá)被試當(dāng)前的注意力狀態(tài)。整套系統(tǒng)簡(jiǎn)單便攜，成本低廉，對(duì)于腦電生物反饋治療的推廣有一定的意義。

但本系統(tǒng)仍存在幾點(diǎn)不足：(1)BP網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)較少，使得得到的 BP網(wǎng)絡(luò)泛化能力較差；(2)應(yīng)用軟件可擴(kuò)展性、可維護(hù)性較差。

近年來興起的深度神經(jīng)網(wǎng)絡(luò)也許可以提供較好的解決方案，這種神經(jīng)網(wǎng)絡(luò)可以通過手機(jī)網(wǎng)絡(luò)采集用戶使用時(shí)產(chǎn)生的大量無標(biāo)簽?zāi)X電數(shù)據(jù)對(duì)核心神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，提高網(wǎng)絡(luò)泛化性能，通過軟件版本更新修改用戶軟件網(wǎng)絡(luò)參數(shù)，也許可以使得用戶注意力識(shí)別準(zhǔn)確度得到大幅度提升。該方案在Android平臺(tái)的表現(xiàn)雖未可知，但不失為今后的改進(jìn)方向之一。

[1]VOLKMAR F R.Changing perspectives on ADHD[J].American Journal of Psychiatry，2003，160(6)：1025-1027.

[2]PATRICK N，F(xiàn)RIEL B S.EEG biofeedback in the treatment of attention deficit hyperactivity disorder[J].Alternative Medicine Review，2007，12(2)：146-151.

[3]HEINRICH H，BUSCH K，STUDER P，et al.EEG spectral analysis of attention in ADHD:implications for neurofeedback training[J].Frontiers in Human Neuroscience，2014(8)：611-621.

[4]TAKAHASHI J，YASUMURA A，NAKAGAWA E，et al. Changes in negative and positive EEG shifts during slow cortical potential training in children with attention-deficit/ hyperactivity disorder：a preliminary investigation[J].Neuroreport，2014，25(8)：618-624.

[5]KE Y，CHEN L，F(xiàn)U L，et al.Visual attention recognition based on nonlinear dynamical parameters of EEG[J].Biomedical Materials and Engineering，2014(24)：349-355.

[6]XU L，LIU J，XIAO G，et al.Characterization and classification of EEG attention level[J].Journal of Computer Applications，2012，32(11)：3268-3270.

[7]路榮，黃力宇，晉瑯.小波包分解腦電復(fù)雜性特征提取的注意狀態(tài)實(shí)時(shí)識(shí)別[J].醫(yī)療衛(wèi)生裝備，2013，34(2)：1-5.

[8]胡麗瑩，肖蓬.快速傅里葉變換在頻譜分析中的應(yīng)用[J].福建師范大學(xué)學(xué)報(bào)，2011，27(4)：27-30.

[9]劉慶杰，藺啟忠，王欽軍，等.基于連續(xù)統(tǒng)快速傅里葉變換的紅外光譜處理技術(shù)[J].光譜學(xué)與光譜分析，2009，29 (12)：3279-3282.[10]NOACHTAR S，BINNIE C，EBERSOLE J，et al.A glossary of terms most commonly used by clinical electroencephalographers and proposal for the report form for the eeg findings[J].Electroencephalography&Clinical Neurophysiology Supplement，1999(52)：21-40.

[11]徐魯強(qiáng)，劉靜霞，肖光燦，等.腦電注意水平的特征識(shí)別[J].計(jì)算機(jī)應(yīng)用，2012，32(11)：3268-3270.

[12]燕楠，王玨，魏娜，等.基于樣本熵的注意力相關(guān)腦電特征信息提取與分類[J].西安交通大學(xué)學(xué)報(bào)，2007，10 (41)：1237-1241.

[13]MING D，ZHANG M，XI Y，et al.Computational intelligence for measurement systems and applications[C].2009. Piscataway：IEEE Press，2009.

[14]LUTSYUK N V，éISMONT E V，PAVLENKO V B.Modulation of attention in healthy children using a course of EEG-feedback sessions[J].Neurophysiology，2006，38(5-6)：389-395.

Implementation of an attention monitoring system based on Android

Kong Liang，Hu Nan，Sun Bing
(School of Electronic and Information Engineering，Soochow University，Suzhou 215006，China)

EEG Biofeedback is a new treatment rising recent years for Attention Deficit Hyperactivity Disorder (ADHD).It is now widely used in clinic,but the treatment needs to be done with expensive,heavy and professional equipment which causing it hard to promote.In this paper,an attention monitoring system based on Android was designed utilizing BP neural network and ThinkGear AM EEG acquisition chip launched by NeuroSky,it can realize real-time monitoring of EEG and direct display of attention level. The system is simple,portable and cheap,it has certain significance for the promotion of EEG Biofeedback.

attention；EEG；monitoring system；BP neural network

R318

A

10.16157/j.issn.0258-7998.2016.03.034

孔亮，胡南，孫兵.基于 Android平臺(tái)的注意力監(jiān)測(cè)系統(tǒng)實(shí)現(xiàn) [J].電子技術(shù)應(yīng)用，2016，42(3)：120-122，126.

英文引用格式：Kong Liang，Hu Nan，Sun Bing.Implementation of an attention monitoring system based on Android[J].Application of Electronic Technique，2016，42(3)：120-122，126.

2015-12-10)

孔亮（1990-），男，碩士，主要研究方向：生物醫(yī)學(xué)工程。

胡南（1986-），通信作者，男，博士，副教授，主要研究方向：EEG信號(hào)處理、統(tǒng)計(jì)信號(hào)處理，E-mail：hanan@suda. edu.cn。

孫兵（1968-），女，博士，副教授，主要研究方向：嵌入式系統(tǒng)與圖像處理。