基于腦機(jī)接口的虛擬冥想訓(xùn)練系統(tǒng)研究

宋逍雄 高瞻 周海昌

摘要：冥想可以改善多種與人生活方式有關(guān)的健康問題，包括抑郁癥患者的抑郁癥狀，以及減輕慢性疼痛患者的疼痛感等。將腦機(jī)接口技術(shù)（BCI）與虛擬現(xiàn)實(shí)技術(shù)（VR）相結(jié)合，設(shè)計(jì)并實(shí)現(xiàn)了基于腦機(jī)接口的虛擬現(xiàn)實(shí)冥想系統(tǒng)。系統(tǒng)提供沉浸式虛擬環(huán)境和引導(dǎo)冥想軌跡，同時(shí)使用腦機(jī)接口設(shè)備進(jìn)行腦電圖（EEG）數(shù)據(jù)采集，經(jīng)藍(lán)牙傳輸?shù)絇C端進(jìn)行分析與處理，監(jiān)測(cè)參與者的心理變化，并實(shí)時(shí)提供視覺、聽覺等系統(tǒng)反饋。研究結(jié)果初步證明系統(tǒng)可以幫助用戶更好地進(jìn)行冥想訓(xùn)練。

關(guān)鍵詞：虛擬現(xiàn)實(shí)；腦機(jī)接口；冥想；交互技術(shù)

DOI：10.11907/rjdk.173232

中圖分類號(hào)：TP303

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2018）007-0019-04

Abstract：Meditationpracticescanimprovevarioushealthproblemssuchasreliefofdepressionfordepressivepatientsandpainforpatientswithchronicdiseases.Thisarticlecombinesbrain-machineinterface（BCI）technologywithvirtualrealitytechnologytodesignandimplementameditationsystembasedonbrain-computerinterfaceofvirtualreality.Thesystemprovidesimmersivevirtualenvironmentandthetrajectoryofguidedmeditations；meanwhileitcollectselectroencephalogram（EEG）databythebrainmachineinterfacedevice.TheEEGdatawhicharetherecordsofparticipants'psychologicalchangesandovisualandauditoryfeedbackistransmittedviabluetoothtothePCforanalysisandprocessing.Theresultsshowthatthesystemcanpromotethepracticeofmeditationtraining.

KeyWords：virtualreality；brain-computerinterface；meditationtraining；interactivetechnology

0引言

冥想（Meditation）是一種綜合性的心理與行為訓(xùn)練，其有助于個(gè)體建立一種特殊的注意機(jī)制，達(dá)到心理上的整體提升[1]。經(jīng)證明，冥想可以改善多種與人生活方式有關(guān)的健康問題，包括抑郁癥患者的抑郁癥狀，減輕慢性疼痛患者的疼痛感等[2]。冥想也被證明可以減輕壓力，促進(jìn)身體放松，這對(duì)很多人，包括對(duì)生活滿意度較低的人[3]都是非常有益的。

虛擬現(xiàn)實(shí)（VirtualReality，VR）技術(shù)誕生于20世紀(jì)80-90年代，經(jīng)過幾十年的發(fā)展已廣泛應(yīng)用于醫(yī)療、教育、娛樂等方面。虛擬現(xiàn)實(shí)技術(shù)是利用電腦模擬產(chǎn)生一個(gè)三維空間的虛擬世界，通過對(duì)視覺、聽覺、觸覺等感官的模擬，讓人產(chǎn)生身臨其境之感[4]。虛擬現(xiàn)實(shí)的沉浸性、交互性、構(gòu)想性特點(diǎn)可以使用戶獲得更好的交互體驗(yàn)[5]。因此，本系統(tǒng)采用虛擬現(xiàn)實(shí)技術(shù)構(gòu)建適合于冥想的虛擬現(xiàn)實(shí)場(chǎng)景。

腦-機(jī)接口（Brain-ComputerInterface，BCI）是在人腦和計(jì)算機(jī)或其它電子設(shè)備之間建立不依賴于常規(guī)大腦信息輸出通路（外周神經(jīng)和肌肉組織）的全新對(duì)外信息交流和控制技術(shù)[6-7]，實(shí)質(zhì)為通過腦信號(hào)推斷人的想法，從而實(shí)現(xiàn)人機(jī)交流[8]。BCI反饋技術(shù)是將EEG信號(hào)的識(shí)別結(jié)果通過形象的視覺或聽覺信號(hào)[9]反映出來，其目的是通過對(duì)人腦進(jìn)行思維訓(xùn)練以產(chǎn)生最佳的EEG信號(hào)。目前BCI研究常用的反饋方式包括滾動(dòng)條、虛擬導(dǎo)航、光標(biāo)[10]、光斑[11]、虛擬現(xiàn)實(shí)、神經(jīng)肌肉感覺刺激[12-13]等。其中，在滾動(dòng)條、虛擬航標(biāo)、光標(biāo)、光斑幾種反饋方式中，受試者的想象動(dòng)作通常與得到的反饋不一致，效果較差[14]。因此，本文設(shè)計(jì)了一種與VR結(jié)合的反饋系統(tǒng)。

將BCI技術(shù)與虛擬現(xiàn)實(shí)技術(shù)相結(jié)合是近年來在多媒體和娛樂領(lǐng)域出現(xiàn)的一種BCI應(yīng)用的新形式[15]。實(shí)現(xiàn)BCI與VR相結(jié)合最簡(jiǎn)單的方式是設(shè)計(jì)一個(gè)令用戶有身臨其境感的3D虛擬境，以及可現(xiàn)場(chǎng)傳感反饋以便實(shí)時(shí)使用的BCI系統(tǒng)。BCI-VR系統(tǒng)通常由BCI和VR兩部分構(gòu)成。BCI記錄大腦信號(hào)，提取其中生理或心理狀態(tài)特征參數(shù)，并對(duì)思維意向分類識(shí)別進(jìn)行實(shí)時(shí)分析處理，以生成控制命令；VR軟件則模擬、渲染和建造VE世界，為用戶提供反饋并處理來自BCI的命令[16]。

1BCI-VR系統(tǒng)架構(gòu)設(shè)計(jì)

本文基于腦機(jī)接口技術(shù)設(shè)計(jì)并實(shí)現(xiàn)了虛擬現(xiàn)實(shí)冥想系統(tǒng)，系統(tǒng)結(jié)構(gòu)如圖1所示。該系統(tǒng)主要由兩部分構(gòu)成：腦波信號(hào)采集模塊與虛擬現(xiàn)實(shí)交互反饋模塊。其中，腦波信號(hào)采集處理模塊是將腦立方（Mindwave）采集到的EEG信號(hào)經(jīng)處理后轉(zhuǎn)換為1～100的整數(shù)信號(hào)，然后通過藍(lán)牙傳輸給PC端；虛擬現(xiàn)實(shí)交互反饋模塊采用3DMax建模用戶冥想場(chǎng)景，通過藍(lán)牙實(shí)時(shí)接收數(shù)字信號(hào)，并將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫中，同時(shí)根據(jù)信號(hào)作出系統(tǒng)交互反饋。受試者可以進(jìn)行多次訓(xùn)練，實(shí)時(shí)調(diào)整大腦的運(yùn)動(dòng)想象方式，從而掌握產(chǎn)生最佳EEG信號(hào)的方法。

1.1相關(guān)硬件介紹

通過對(duì)腦立方（Mindwave）腦電設(shè)備、HTCVive虛擬現(xiàn)實(shí)頭盔、藍(lán)牙傳輸模塊和傳輸終端等進(jìn)行軟硬件集成，開發(fā)基于腦機(jī)接口的虛擬冥想訓(xùn)練原型系統(tǒng)，硬件設(shè)備如圖2所示，主要包括：

（1）腦電信號(hào)采集模塊。該模塊采用腦立方腦電耳機(jī)作為BCI接口，通過放置在前額的一個(gè)傳感器以及放置在耳部的參考電極觸點(diǎn)進(jìn)行腦電波信號(hào)測(cè)量，然后通過藍(lán)牙與電腦/平板電腦/手機(jī)連接，發(fā)送或接收數(shù)據(jù)和信息。其輸出采用NeuroSky專利技術(shù)的關(guān)注度及放松度指數(shù)，反映出佩戴者當(dāng)前的精神狀態(tài)。同時(shí)還可輸出原始的腦電波信息以及不同頻段的腦電信息。

（2）虛擬現(xiàn)實(shí)頭盔。HTCVive通過一個(gè)頭戴式顯示器、兩個(gè)單手持控制器、一個(gè)能于空間內(nèi)同時(shí)追蹤顯示器與控制器的定位系統(tǒng)（Lighthouse）3部分為使用者提供沉浸式體驗(yàn)。頭顯上是一塊OLED屏幕，2K分辨率大大降低了畫面顆粒感，用戶幾乎感覺不到紗門效應(yīng)；畫面刷新率為90Hz，實(shí)際體驗(yàn)幾乎零延遲，用戶不會(huì)感到惡心和眩暈；兩個(gè)單手持控制器可以讓用戶進(jìn)行交互；控制器定位系統(tǒng)Lighthouse采用激光和光敏傳感器定位確定用戶位置，允許用戶在一定范圍內(nèi)走動(dòng)。

1.2系統(tǒng)架構(gòu)實(shí)現(xiàn)

1.2.1BCI信號(hào)采集處理

腦電信號(hào)采集模塊具有藍(lán)牙功能，與電腦連接后會(huì)生成連接串行端口號(hào)，然后在自行編寫的腳本文件中設(shè)置對(duì)應(yīng)端口號(hào)，即可傳輸數(shù)據(jù)。數(shù)據(jù)傳輸?shù)揭汛罱ê玫腢nity軟件平臺(tái)進(jìn)行處理。腦立方頭環(huán)首先對(duì)原始腦電波信號(hào)進(jìn)行放大，過濾環(huán)境噪聲及肌肉組織運(yùn)動(dòng)產(chǎn)生的干擾，然后通過對(duì)處理后的信號(hào)進(jìn)行計(jì)算，得到量化的冥想度（Meditation）指數(shù)和專注度（Attention）指數(shù)。腦立方頭環(huán)可以針對(duì)不同使用者腦電波信號(hào)在正常范圍內(nèi)的波動(dòng)趨勢(shì)和個(gè)體差異進(jìn)行動(dòng)態(tài)補(bǔ)償，因而可適用于不同人群與周邊環(huán)境，并且在不同應(yīng)用場(chǎng)景下都具有較好的準(zhǔn)確性和可靠性。

1.2.2VR交互反饋

VR交互反饋模塊包括搭建虛擬場(chǎng)景供用戶訓(xùn)練，搭建數(shù)據(jù)庫存儲(chǔ)用戶數(shù)據(jù)，設(shè)計(jì)交互方式反映腦波數(shù)據(jù)變化，完善系統(tǒng)方便用戶操作。

（1）3DMAX建模。首先需要在3DMAX軟件中創(chuàng)建適合用戶冥想的虛擬場(chǎng)景。本系統(tǒng)共設(shè)計(jì)了3個(gè)場(chǎng)景，如圖3所示。場(chǎng)景建立采用粒子效果、動(dòng)畫（Animation）系統(tǒng)、著色器（shader）等Unity3D技術(shù)，使場(chǎng)景給用戶帶來一種舒適的感覺，讓用戶放松身心，從而更好地進(jìn)行冥想訓(xùn)練。

（2）數(shù)據(jù)庫建立。每個(gè)用戶擁有一個(gè)賬號(hào)，用于記錄個(gè)人信息、訓(xùn)練情況以及訓(xùn)練進(jìn)程。

（3）設(shè)計(jì)交互方式。交互方式包括手柄交互和腦波控制物體移動(dòng)，包括蝴蝶飛行、云吸入與花的生長(zhǎng)等，如圖4所示。

（4）VR場(chǎng)景完善。在VR反饋平臺(tái)添加提示面板和若干按鈕，優(yōu)化了反饋系統(tǒng)功能。用戶可以根據(jù)提示信息自主操作，且系統(tǒng)會(huì)實(shí)時(shí)給出反饋信息，如圖5所示。

1.2.3系統(tǒng)應(yīng)用

被試者戴上腦電采集頭環(huán)和虛擬現(xiàn)實(shí)頭盔進(jìn)行訓(xùn)練，如圖6所示。虛擬場(chǎng)景給予被試者視覺與聽覺誘導(dǎo)，受試者可以實(shí)時(shí)查看物體運(yùn)動(dòng)與自己想象是否一致，從而不斷調(diào)整，通過多次訓(xùn)練以產(chǎn)生最佳EEG信號(hào)。

在腦機(jī)接口系統(tǒng)中，EEG信號(hào)經(jīng)處理后被轉(zhuǎn)換成0～100的數(shù)字信號(hào)，虛擬現(xiàn)實(shí)反饋系統(tǒng)每隔1s通過藍(lán)牙從腦機(jī)接口系統(tǒng)端接收數(shù)據(jù)，如果成功讀取到數(shù)據(jù)，會(huì)實(shí)時(shí)將數(shù)據(jù)顯示到虛擬現(xiàn)實(shí)頭盔中，場(chǎng)景中的物體會(huì)向特定方向移動(dòng)；如果未讀取到數(shù)據(jù)，則會(huì)給出提示信息，直至讀取到有效數(shù)據(jù)為止。

2系統(tǒng)測(cè)試

2.1測(cè)試過程

腦電采集頭環(huán)發(fā)送的數(shù)據(jù)格式包括一個(gè)“大包”和一個(gè)“小包”，其中大包以約1Hz的頻率發(fā)送，小包以約512Hz的頻率發(fā)送，即1s內(nèi)發(fā)送512個(gè)小包和一個(gè)大包。小包數(shù)據(jù)為腦波原始數(shù)據(jù)，大包包括冥想度、專注度和EEG的10個(gè)數(shù)據(jù)，數(shù)據(jù)格式如圖7所示。

冥想度和專注度指數(shù)分別用于描述被試者進(jìn)入冥想狀態(tài)（類似精神放松程度）或?qū)Ｗ顟B(tài)（類似注意力集中程度）的程度。它描述的不是當(dāng)前精神狀態(tài)的一個(gè)絕對(duì)數(shù)值，而是當(dāng)前精神狀態(tài)活動(dòng)波動(dòng)范圍的相對(duì)數(shù)值。數(shù)值在40～60之間，表示此刻該項(xiàng)指數(shù)的值處于一般范圍，這一數(shù)值范圍類似于常規(guī)腦電波測(cè)量技術(shù)確定的“基線”；數(shù)值在60～80之間，表示此刻該項(xiàng)指數(shù)值處于“較高值區(qū)”，說明當(dāng)前受試者的專注度或放松度比正常情況下高；數(shù)值在80～100之間，表示處于“高值區(qū)”，說明受試者處于非常專注或非常放松的狀態(tài)。同理，如果數(shù)值在20～40之間，則表示此時(shí)的冥想度和專注度指數(shù)水平處于“較低值區(qū)”；數(shù)值在1～20之間，則意味著處于“低值區(qū)”，表示被試者的精神狀態(tài)表現(xiàn)為不同程度的心煩意亂、焦躁不安等。

圖8是同一用戶第1次、第5次與第10次分別完成專注度訓(xùn)練的數(shù)值變化曲線。

從圖8可以看出，被試者在進(jìn)行專注度訓(xùn)練時(shí)，隨著訓(xùn)練次數(shù)增加，完成訓(xùn)練的時(shí)間逐漸減少。從專注度數(shù)值變化可看出被試者可以更快地集中注意力，第10次的專注度高值區(qū)比第1次與第5次出現(xiàn)得更早。

圖9是同一用戶第1次、第5次與第10次分別完成冥想度訓(xùn)練的數(shù)值變化曲線。

從圖9可以看出，被試者在進(jìn)行冥想度訓(xùn)練時(shí)，隨著訓(xùn)練次數(shù)增加，完成訓(xùn)練的時(shí)間逐漸減少。從冥想度數(shù)值變化可看出被試者可以更快地放松，第10次的冥想度高值區(qū)比第1次與第5次出現(xiàn)得更早。

圖10是同一用戶第1～12次完成訓(xùn)練的冥想度和專注度標(biāo)準(zhǔn)差變化趨勢(shì)。

由圖10可以看出，隨著訓(xùn)練次數(shù)增加，專注度與冥想度的標(biāo)準(zhǔn)差值呈遞減趨勢(shì)，最后趨于平穩(wěn)。被試者開始訓(xùn)練時(shí)的專注度和冥想度值較大，說明被試者腦波信號(hào)波動(dòng)幅度大，隨著訓(xùn)練次數(shù)增加，被試者可以很好地控制自身的EEG信號(hào)，所以標(biāo)準(zhǔn)差值逐漸減小直至穩(wěn)定。

2.2實(shí)驗(yàn)總結(jié)

基于上述理論基礎(chǔ)，以及硬件設(shè)備與軟件架構(gòu)的設(shè)計(jì)實(shí)現(xiàn)，本系統(tǒng)將BCI和VR有效結(jié)合在一起，可高效準(zhǔn)確地采集腦電波數(shù)據(jù)并傳輸給VR反饋系統(tǒng)，而逼真的VR場(chǎng)景反饋能有效提高訓(xùn)練效率。用戶可以根據(jù)系統(tǒng)實(shí)時(shí)顯示的數(shù)據(jù)調(diào)整自身大腦狀態(tài)，保證冥想訓(xùn)練的順利進(jìn)行，同時(shí)可以通過歷史數(shù)據(jù)了解自己冥想訓(xùn)練的完成效率，從而繼續(xù)學(xué)習(xí)提高。

3結(jié)語

本文提出的將BCI與VR相結(jié)合的冥想訓(xùn)練系統(tǒng)，與BCI采集處理系統(tǒng)連接簡(jiǎn)單，與無VR場(chǎng)景的傳統(tǒng)BCI交互接口相比，更加直接和直觀，并能克服現(xiàn)實(shí)環(huán)境活動(dòng)的一些限制。虛擬現(xiàn)實(shí)使冥想訓(xùn)練場(chǎng)景具有更好的延展性，可以構(gòu)建更豐富的適合不同人群的虛擬場(chǎng)景與交互方式。測(cè)試結(jié)果表明，VR環(huán)境的沉浸感和實(shí)時(shí)交互性更容易激發(fā)腦電信號(hào)，從而達(dá)到減少訓(xùn)練時(shí)間和提高訓(xùn)練效率的目的。

參考文獻(xiàn)：

[1]任俊，黃璐，張振新.基于心理學(xué)視域的冥想研究[J].心理科學(xué)進(jìn)展，2010，18（5）：857-864.

[2]PLEWS-OGANM，OWENSJE，GOODMANM，etal.Briefreport：apilotstudyevaluatingmindfulness-basedstressreductionandmassageforthemanagementofchronicpain[J].JournalofGeneralInternalMedicine，2005，20（12）：1136-1138.

[3]HAYESS，STROSAHLK，WILSONK.Acceptanceandcommitmenttherapy：anexperientialapproachtobehaviorchange[J].EncyclopediaofPsychotherapy，1999，9（1）：1-8.

[4]孔文麗，薛召軍，陳龍.基于虛擬現(xiàn)實(shí)環(huán)境的腦機(jī)接口技術(shù)研究進(jìn)展[J].電子測(cè)量與儀器學(xué)報(bào)，2015（3）：317-327.

[5]胡衛(wèi)哄，劉道光，王倩.虛擬現(xiàn)實(shí)技術(shù)在教育教學(xué)中的應(yīng)用與研究[J].山東省青年管理干部學(xué)院學(xué)報(bào)，2007（6）：139-141.

[6]WOLPAWJR，BIRBAUMERN，MCFARLANDDJ，etal.Brain-computerinterfacesforcommunicationandcontrol[J].ClinNeurophysial，2002（1）：767-791.

[7]WOLPAWJR，BIRBAUMERN，HEETDERKSWJ，etal.Brain-computerinterfacetechnology：areviewofthefirstinternationalmeeting[J].IEEETransactionsonRehabilitationEngineering，2000，8（2）：164-173.

[8]楊幫華，顏國正，嚴(yán)榮國.腦-機(jī)接口研究進(jìn)展[J].中國醫(yī)療器械雜志，2005，29（5）：353-357.

[9]孫進(jìn)，張征，周宏甫.基于腦機(jī)接口技術(shù)的康復(fù)機(jī)器人綜述[J].機(jī)電工程技術(shù)，2010，39（4）：13-16.

[10]RAMOSA.ProprioceptivefeedbackinBCI[C].IEEEEMBSConferenceonNeuralEngineeringAntalya，2009：279-282.

[11]WANGY，GAOX，HONGB，etal.Brain-computerinterfacesbasedonvisualevokedpotentials[J].IEEEEngineeringinMediineandBiologyMagazine，2008，27（5）：64-71.

[12]王雅.基于腦機(jī)接口技術(shù)的偏癱輔助康復(fù)系統(tǒng)的研制[D].天津：天津大學(xué)，2005.

[13]VAUGHANTM，MCFARLANDDJ，SCHALKG，etal.ThewadsworthBCIresearchanddevelopmentprogram：athomewithBCI[J].IEEETransactionsonNeuralSystems&RehabilitationEngineeringaPublicationoftheIEEEEngineeringinMedicine;&BiologySociety;，2006，14（2）：229-233.

[14]楊幫華，劉麗，陸文宇，等.基于虛擬現(xiàn)實(shí)技術(shù)的腦機(jī)交互反饋系統(tǒng)設(shè)計(jì)[J].北京生物醫(yī)學(xué)工程，2011，30（4）：401-404.

[15]王國慶，吳廣茂，劉天時(shí).虛擬現(xiàn)實(shí)（VR）技術(shù)及其應(yīng)用[J].航空計(jì)算技術(shù)，1994（2）：1-6.

[16]孔文麗，薛召軍，陳龍.基于虛擬現(xiàn)實(shí)環(huán)境的腦機(jī)接口技術(shù)研究進(jìn)展[J].電子測(cè)量與儀器學(xué)報(bào)，2015（3）：317-327.

（責(zé)任編輯：黃?。?/p>