基于腦電波的青少年專(zhuān)注度訓(xùn)練系統(tǒng)設(shè)計(jì)

馮韶文　楊晨　黃良帥　鞏秀鋼

【摘要】目前，市場(chǎng)上訓(xùn)練青少年專(zhuān)注度的產(chǎn)品較少且功能單一，市場(chǎng)缺口已然很大。本研究突破了傳統(tǒng)訓(xùn)練方法的局限性，設(shè)計(jì)了一種基于腦電波的青少年專(zhuān)注度訓(xùn)練系統(tǒng)。本系統(tǒng)主要由腦電波模塊、圖像模塊、專(zhuān)注度訓(xùn)練模塊和云平臺(tái)構(gòu)成。首先使用腦電波模塊對(duì)訓(xùn)練者的專(zhuān)注度進(jìn)行監(jiān)測(cè)，讓訓(xùn)練者與訓(xùn)練模塊進(jìn)行語(yǔ)音交互，配合圖像模塊的識(shí)別結(jié)果，分析訓(xùn)練者的興趣點(diǎn)，然后使用網(wǎng)頁(yè)進(jìn)行興趣視頻實(shí)時(shí)切換，吸引訓(xùn)練者的注意力，從而提高訓(xùn)練者的專(zhuān)注度。訓(xùn)練結(jié)果表明：該專(zhuān)注度訓(xùn)練系統(tǒng)設(shè)計(jì)能夠?qū)崿F(xiàn)對(duì)青少年專(zhuān)注度的逐步提高，系統(tǒng)穩(wěn)定可靠，數(shù)據(jù)可視化便于觀察。本系統(tǒng)的應(yīng)用領(lǐng)域廣泛，為進(jìn)一步發(fā)展打下了基礎(chǔ)。

【關(guān)鍵詞】計(jì)算機(jī)應(yīng)用腦電波專(zhuān)注度訓(xùn)練圖像識(shí)別

引言

青少年教育是一個(gè)國(guó)家教育體系的基礎(chǔ)工作，怎樣培養(yǎng)一個(gè)性格樂(lè)觀向上、行為習(xí)慣良好、具備初步探索社會(huì)形態(tài)能力的下一代已經(jīng)成為國(guó)家戰(zhàn)略的有機(jī)組成部分[1]。而在青少年教育中，青少年專(zhuān)注度的高低直接影響青少年對(duì)外界的認(rèn)知能力，專(zhuān)注度差不僅會(huì)對(duì)青少年的日常生活有影響，還會(huì)影響青少年以后的學(xué)習(xí)生活，甚至對(duì)青少年的一生都有影響。因此訓(xùn)練并提高青少年專(zhuān)注度具有一定社會(huì)意義。現(xiàn)有專(zhuān)注度訓(xùn)練方法有很多，但普遍存在訓(xùn)練效果緩慢、效果不穩(wěn)固等缺陷。而隨著科學(xué)家對(duì)大腦的不斷研究，腦電波作為一種直接映射大腦內(nèi)部活動(dòng)狀態(tài)和人們思維狀態(tài)的生物電信號(hào)，在神經(jīng)心理學(xué)、腦疾病診斷、腦機(jī)接口、認(rèn)知科學(xué)等領(lǐng)域中被廣泛運(yùn)用[2]。所以使用腦電波改善現(xiàn)有訓(xùn)練方法具有一定研究?jī)r(jià)值。

本文設(shè)計(jì)研發(fā)了一種基于腦電波的青少年專(zhuān)注度訓(xùn)練系統(tǒng)，以益智性為出發(fā)點(diǎn)，從興趣點(diǎn)入手對(duì)青少年進(jìn)行專(zhuān)注度訓(xùn)練，引導(dǎo)青少年在快樂(lè)中集中注意力。父母可以通過(guò)腦電波數(shù)據(jù)實(shí)時(shí)反饋了解到孩子的訓(xùn)練效果，便于與孩子更好的溝通。

1 系統(tǒng)整體設(shè)計(jì)方案

青少年專(zhuān)注度訓(xùn)練系統(tǒng)方案設(shè)計(jì)如圖1所示。系統(tǒng)主要由腦電波模塊、圖像模塊、專(zhuān)注度訓(xùn)練模塊和云平臺(tái)構(gòu)成。其中，腦電波模塊主要由腦電波傳感器Neurosky和ThinkGear芯片組成，通過(guò)采集訓(xùn)練者的原始腦電波信號(hào)，用來(lái)計(jì)算訓(xùn)練者的專(zhuān)注度指數(shù)，實(shí)現(xiàn)對(duì)整個(gè)訓(xùn)練過(guò)程的專(zhuān)注度監(jiān)測(cè)；圖像模塊主要由樹(shù)莓派微處理器作為控制器，通過(guò)接受攝像頭采集的圖像信息，通過(guò)數(shù)據(jù)傳輸發(fā)送到服務(wù)器端，進(jìn)行機(jī)器視覺(jué)圖像識(shí)別；專(zhuān)注度訓(xùn)練模塊是由Arduino微處理器、語(yǔ)音識(shí)別模塊、語(yǔ)音合成模塊和上位機(jī)組成，訓(xùn)練模塊通過(guò)與訓(xùn)練者進(jìn)行語(yǔ)音交互，配合圖像模塊的識(shí)別結(jié)果，分析訓(xùn)練者的興趣點(diǎn)，然后使用上位機(jī)進(jìn)行興趣視頻實(shí)時(shí)切換，吸引訓(xùn)練者的注意力，從而達(dá)到對(duì)訓(xùn)練者的專(zhuān)注度提高；云平臺(tái)主要由服務(wù)器和上位機(jī)網(wǎng)站構(gòu)成，通過(guò)記錄分析訓(xùn)練者的訓(xùn)練過(guò)程和結(jié)果，不斷迭代更新個(gè)性興趣矩陣，進(jìn)一步完善本訓(xùn)練系統(tǒng)。

2 系統(tǒng)硬件設(shè)計(jì)

2.1 腦電波模塊

本系統(tǒng)腦電波模塊是由腦電波傳感器和藍(lán)牙模塊組成。本模塊的主要功能是實(shí)現(xiàn)對(duì)整個(gè)訓(xùn)練過(guò)程的的專(zhuān)注度監(jiān)測(cè)。腦電波模塊使用的是neurosky腦電波傳感器，傳感器通過(guò)對(duì)訓(xùn)練者的原始腦電波數(shù)據(jù)進(jìn)行濾波去噪、頻譜分析，結(jié)合神念腦電算法[3]，由不同頻率腦電波占比關(guān)系計(jì)算出eSense專(zhuān)注度指數(shù)，不同類(lèi)型腦電波如圖2所示，表明訓(xùn)練者的專(zhuān)注度水平的強(qiáng)烈程度，從而作為本系統(tǒng)的專(zhuān)注度衡量指標(biāo)。為滿(mǎn)足高速率、低功率的數(shù)據(jù)傳輸，使用藍(lán)牙模塊建立無(wú)線連接，優(yōu)化了腦電波模塊和云平臺(tái)之間的數(shù)據(jù)交互，實(shí)現(xiàn)了信息傳遞。

2.2 圖像模塊

本系統(tǒng)的圖像模塊是由攝像頭和樹(shù)莓派微處理器組成。本模塊的主要功能是完成對(duì)訓(xùn)練過(guò)程所需的圖像信息采集及傳輸。攝像頭選用的是KS8A17AF高清800萬(wàn)像素?cái)z像頭模組，使用USB3.0數(shù)據(jù)傳輸，支持標(biāo)準(zhǔn)的UVC傳輸協(xié)議，分辨率高且反應(yīng)迅速。主控器采用的是樹(shù)莓派Raspberry Pi 4，是一款基于4核心64位ARM Cortex-A72 CPU的高性能微處理器，工作頻率高達(dá)1.5GHz，具有非常高的運(yùn)算能力和處理性能[4]。該處理器還具有千兆以太網(wǎng)接口、兩個(gè)USB 3.0和兩個(gè)USB 2.0接口，滿(mǎn)足系統(tǒng)低延遲、高速率的圖片流傳輸要求。當(dāng)收到服務(wù)器發(fā)送的拍照命令時(shí)，樹(shù)莓派控制攝像頭進(jìn)行圖像采集，存儲(chǔ)并等待服務(wù)器響應(yīng)，最后以圖片流的形式將圖像信息發(fā)送至服務(wù)器端。

2.3 專(zhuān)注度訓(xùn)練模塊

本系統(tǒng)的專(zhuān)注度訓(xùn)練模塊由語(yǔ)音識(shí)別模塊、Arduino單片機(jī)和語(yǔ)音合成模塊組成。本模塊的主要功能是通過(guò)青少年與訓(xùn)練系統(tǒng)之間簡(jiǎn)單的語(yǔ)音交互，從而進(jìn)一步控制圖像采集、興趣分析和視頻切換等功能，實(shí)現(xiàn)專(zhuān)注度持續(xù)訓(xùn)練。語(yǔ)音識(shí)別模塊采用的是基于SI-ASR技術(shù)的LD3320芯片，集成了高精度A/D和D/A接口，不需要用戶(hù)進(jìn)行錄音訓(xùn)練，可動(dòng)態(tài)編輯識(shí)別關(guān)鍵詞列表[5]。本模塊的主控器采用的是Arduino單片機(jī)，具有豐富的接口和片上資源，支持多種串口通信協(xié)議，搭配Wifi模塊，可快速傳輸和響應(yīng)操作命令。語(yǔ)音合成模塊使用的是XFS5152C芯片，使用簡(jiǎn)單的文本命令便可以自動(dòng)合成語(yǔ)音，操作便捷靈活。

具體實(shí)現(xiàn)流程如圖3所示，當(dāng)訓(xùn)練者與訓(xùn)練模塊進(jìn)行語(yǔ)音交互時(shí)，語(yǔ)音識(shí)別模塊將接受的語(yǔ)音信息進(jìn)行預(yù)處理和特征向量轉(zhuǎn)化，通過(guò)Arduino將語(yǔ)音數(shù)據(jù)處理為文本標(biāo)簽，經(jīng)Wifi模塊將數(shù)據(jù)發(fā)送到服務(wù)器。等待服務(wù)器對(duì)數(shù)據(jù)做出響應(yīng)之后，Arduino將接受的答復(fù)命令發(fā)送給語(yǔ)音合成模塊，完成語(yǔ)音播報(bào)。同時(shí)，服務(wù)器根據(jù)語(yǔ)音信號(hào)和采集的圖像信號(hào)，進(jìn)行興趣分析，實(shí)時(shí)視頻切換，吸引訓(xùn)練者注意力，從而達(dá)到專(zhuān)注度訓(xùn)練。

3 系統(tǒng)軟件設(shè)計(jì)

本訓(xùn)練系統(tǒng)的軟件設(shè)計(jì)主要包括基于腦電波的專(zhuān)注度監(jiān)測(cè)、基于機(jī)器視覺(jué)的目標(biāo)檢測(cè)算法、平臺(tái)網(wǎng)頁(yè)設(shè)計(jì)3部分。接下來(lái)，將分別介紹每一部分的設(shè)計(jì)。

3.1 基于腦電波的專(zhuān)注度監(jiān)測(cè)

為實(shí)現(xiàn)對(duì)整個(gè)訓(xùn)練過(guò)程的的專(zhuān)注度監(jiān)測(cè)，設(shè)計(jì)了基于腦電波的專(zhuān)注度監(jiān)測(cè)，青少年在專(zhuān)注度訓(xùn)練期間一直佩戴腦電波模塊，采集訓(xùn)練者的原始腦電波信號(hào)。首先對(duì)采集的腦電波信號(hào)進(jìn)行預(yù)處理，使用ICA算法[6]進(jìn)行偽跡去除，減少周?chē)h(huán)境的噪聲干擾。然后對(duì)腦電波信號(hào)進(jìn)行頻段劃分，按照不同頻率范圍提取Delta、Theta、Alpha、Beta、Gamma波段。之后使用NeuroSky公司的eSense腦電算法進(jìn)行信號(hào)分類(lèi)，由不同頻率腦電波占比關(guān)系計(jì)算出eSense專(zhuān)注度指數(shù)，作為本系統(tǒng)的專(zhuān)注度訓(xùn)練衡量指標(biāo)，并在Web端實(shí)時(shí)顯示。

3.2 基于機(jī)器視覺(jué)的目標(biāo)檢測(cè)算法

3.2.1 RetinaNet算法

為了利用攝像頭進(jìn)行目標(biāo)檢測(cè)，達(dá)到物品種類(lèi)識(shí)別以及后期興趣分析的目的，在這里設(shè)計(jì)了基于機(jī)器視覺(jué)的目標(biāo)檢測(cè)算法，選取了RetinaNet網(wǎng)絡(luò)進(jìn)行圖像識(shí)別。RetinaNet是在深度殘差網(wǎng)絡(luò)（Deep Residual Network，ResNet）的基礎(chǔ)上進(jìn)行改進(jìn)，增加了一層特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）和兩層全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）。主要效果是改進(jìn)了標(biāo)準(zhǔn)的交叉熵（Cross-entropy，CE）loss，解決了類(lèi)別不平衡的問(wèn)題。具體實(shí)現(xiàn)原理如下：

標(biāo)準(zhǔn)的交叉熵loss如下所示：

（1）

稍微變換一下如式（2）：

（2）

得出：

（3）

式中，越大，代表越容易實(shí)現(xiàn)分類(lèi)目標(biāo)。而RetinaNet提出了Focal loss[7]改進(jìn)CE loss：

（4）

最終，為了使不同類(lèi)別更加平衡，補(bǔ)充了常數(shù)項(xiàng)正負(fù)樣本平衡因子，如下：

（5）

Focal loss最大的特點(diǎn)是解決了正負(fù)樣本分布不平衡的問(wèn)題，減少了數(shù)量較大的無(wú)關(guān)信息對(duì)loss的影響。RetinaNet不僅提高了識(shí)別準(zhǔn)確率，而且在單階段目標(biāo)檢測(cè)網(wǎng)絡(luò)實(shí)現(xiàn)了與雙階段目標(biāo)檢測(cè)網(wǎng)絡(luò)近似的速率。

3.2.2 訓(xùn)練數(shù)據(jù)集

本算法的訓(xùn)練數(shù)據(jù)采用COCO標(biāo)準(zhǔn)數(shù)據(jù)集和網(wǎng)絡(luò)爬蟲(chóng)獲取。COCO數(shù)據(jù)集是一個(gè)由微軟團(tuán)隊(duì)提供的，以環(huán)境感知為目標(biāo)的圖像識(shí)別數(shù)據(jù)集。提供80類(lèi)圖像，20萬(wàn)張標(biāo)注圖片，主要通過(guò)圖像分割來(lái)進(jìn)行目標(biāo)標(biāo)定。為了進(jìn)一步提高識(shí)別率，本系統(tǒng)還通過(guò)網(wǎng)絡(luò)爬蟲(chóng)從搜索引擎等圖片網(wǎng)站爬取了20類(lèi)，共6萬(wàn)張圖片。對(duì)圖片數(shù)據(jù)打上標(biāo)簽、進(jìn)行目標(biāo)標(biāo)注，并按照VOC2007格式將數(shù)據(jù)按比例隨機(jī)抽樣切分訓(xùn)練集、驗(yàn)證集和測(cè)試集樣本。

3.2.3 目標(biāo)檢測(cè)結(jié)果

通過(guò)使用本算法進(jìn)行目標(biāo)檢測(cè)時(shí)，可以濾除大部分背景等無(wú)用信息對(duì)識(shí)別結(jié)果的影響。如圖4所示，拍攝圖片中大量背景物體的識(shí)別權(quán)重較低，對(duì)居中明顯的物體進(jìn)行優(yōu)先篩選識(shí)別。

3.3 平臺(tái)網(wǎng)頁(yè)設(shè)計(jì)

3.3.1 實(shí)時(shí)切換興趣視頻

在通過(guò)語(yǔ)音交互和機(jī)器視覺(jué)目標(biāo)檢測(cè)之后，服務(wù)器會(huì)根據(jù)識(shí)別的結(jié)果，結(jié)合興趣分類(lèi)，在Web端進(jìn)行興趣視頻實(shí)時(shí)切換，吸引訓(xùn)練者的注意力，從而提高訓(xùn)練者的專(zhuān)注度。具體實(shí)現(xiàn)過(guò)程為：當(dāng)服務(wù)器完成物體識(shí)別之后，向Web監(jiān)聽(tīng)器發(fā)送post請(qǐng)求，監(jiān)聽(tīng)器進(jìn)行解析，一方面將解析數(shù)據(jù)存入數(shù)據(jù)庫(kù)中保存，另一方面將數(shù)據(jù)對(duì)應(yīng)的視頻文件通過(guò)WebSockets協(xié)議推送到瀏覽器端，實(shí)現(xiàn)視頻的切換。

3.3.2 記錄成長(zhǎng)歷程

云平臺(tái)通過(guò)數(shù)據(jù)庫(kù)記錄每一次的識(shí)別結(jié)果，不斷迭代更新個(gè)性興趣矩陣，同時(shí)Web實(shí)時(shí)顯示訓(xùn)練者的專(zhuān)注度變化，可以通過(guò)歷史記錄瀏覽專(zhuān)注度訓(xùn)練效果。

圖5中，通過(guò)對(duì)某一訓(xùn)練者訓(xùn)練效果連續(xù)記錄，將日平均專(zhuān)注度展示。結(jié)果表明，這一訓(xùn)練者的訓(xùn)練效果有較為平穩(wěn)的提高。

4 結(jié)論

青少年專(zhuān)注度問(wèn)題是一個(gè)值得注意的問(wèn)題，隨著腦電波技術(shù)的不斷發(fā)展，結(jié)合腦電波技術(shù)提高青少年專(zhuān)注度是一個(gè)重要的研究方向。本文設(shè)計(jì)了一套基于腦電波的青少年專(zhuān)注度訓(xùn)練系統(tǒng)，利用腦電波分析對(duì)整個(gè)訓(xùn)練過(guò)程進(jìn)行專(zhuān)注度監(jiān)測(cè)，直觀反映訓(xùn)練效果，通過(guò)語(yǔ)音交互和圖像識(shí)別分析青少年興趣點(diǎn)，以視頻互動(dòng)的方式吸引青少年的注意力，從而不斷提高青少年的專(zhuān)注度。該系統(tǒng)經(jīng)過(guò)前期測(cè)試，在設(shè)計(jì)成本、測(cè)量方法、測(cè)量效果等方面都達(dá)到了設(shè)計(jì)要求，可以通過(guò)不斷改進(jìn)，進(jìn)一步應(yīng)用到各個(gè)領(lǐng)域。

【參考文獻(xiàn)】

[1]和超, 龐峰. 兒童教育空間趣味性的營(yíng)造[J]. 大眾文藝, 2017(21):137.

[2]謝宗豹, 林蕙青. 醫(yī)學(xué)思維與創(chuàng)新[M]. 上?？茖W(xué)技術(shù)出版社, 2009.

[3]Zhang L, Lv Q, Xu Y. Single channel brain-computer interface control system based on TGAM module[C]. International Congress on Image & Signal Processing. IEEE, 2018.

[4]劉繼元. 基于樹(shù)莓派的物聯(lián)網(wǎng)應(yīng)用[J]. 電子世界, 2016, No.494(08):26-27.

[5]李艷霞. 智能化電梯控制系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 2013.

[6]Chen J L , Ros T , Gruzelier J H . Dynamic changes of ICA-derived EEG functional connectivity in the resting state[J]. Human Brain Mapping, 2013, 34(4).

[7]Lin T Y , Goyal P , Girshick R , et al. Focal Loss for Dense Object Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, PP(99):2999-3007.

作者簡(jiǎn)介：馮韶文（1995—），男，漢族，山東青島市人，碩士研究生，單位：山東理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院計(jì)算機(jī)技術(shù)專(zhuān)業(yè)，研究方向：嵌入式應(yīng)用。

通訊作者：*鞏秀鋼（1970—），男，漢族，山東淄博市人，副教授，博士，單位：山東理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院計(jì)算機(jī)技術(shù)專(zhuān)業(yè)，研究方向：計(jì)算機(jī)測(cè)控、嵌入式應(yīng)用、儀器儀表智能化等。

基金項(xiàng)目：國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目（201910433024）