基于腦機數(shù)據(jù)集中處理的輔助鋼琴訓(xùn)練方法

聶文斐 關(guān)義軒 王一歌 曹燕

摘 ?要：傳統(tǒng)的鋼琴訓(xùn)練方法及系統(tǒng)通常以心理學(xué)規(guī)律為設(shè)計原理，而伴隨著腦科學(xué)的發(fā)展、可穿戴設(shè)備的普及以及腦機接口技術(shù)的逐漸成熟，設(shè)備和技術(shù)的成熟使得利用腦機裝置采集生理數(shù)據(jù)輔助訓(xùn)練者進行訓(xùn)練成為可能。本文提出了一種通過腦機接口技術(shù)的輔助鋼琴訓(xùn)練方法，主要功能包括音樂偏好測試部分和休息時間確定部分。這種鋼琴訓(xùn)練方法通過腦電波數(shù)據(jù)的采集與集中處理，一方面能利用音樂推薦算法得出測試者的偏好音樂類型庫，生成測試者的音樂偏好曲目，另一方面通過結(jié)合生理數(shù)據(jù)和心理學(xué)規(guī)律，確定具有最佳訓(xùn)練效率的訓(xùn)練和休息時長，并為訓(xùn)練者提供可以讓其有效放松的音樂，幫助其消除疲勞，使其學(xué)習(xí)效率得到顯著提升，從而幫助訓(xùn)練者更好地掌握技能。

關(guān)鍵詞：鋼琴訓(xùn)練方法;腦電波數(shù)據(jù);音樂偏好測試

中圖分類號：TN911.6;TP274 ? ? ?文獻標(biāo)識碼：A 文章編號：2096-4706（2019）14-0008-03

An Assisted Piano Training Method Based on the Centralized Processing of

Brain-Computer Data

NIE Wenfei，Guan Xixuan，WANG Yige，CAO Yan

（South China University of Technology，Guangzhou ?510641，China）

Abstract：Traditional piano training methods and systems are usually based on psychological principles. With the development of brain science，the popularity of wearable devices and the gradual maturity of brain-computer interface technology，it is possible to use brain-computer devices to collect physiological data to assist in training. In this paper，an assisted piano training method through brain-computer interface technology is proposed. Its main functions include music preference test and rest time determination. Through the brainwave data acquisition and concentrated processing， this piano training method can on the one hand obtain music preference library of the trainer using music recommendation algorithms，and on the other hand，through the combination of physiological data and psychology rule，determine the training with the best efficiency and rest time，provide the trainer relaxing music to help them eliminate fatigue and significantly improve learning efficiency，so as to grasp skills better.

Keywords：piano training methods;brainwave data;music preference test

0 ?引 ?言

傳統(tǒng)的鋼琴訓(xùn)練方法及系統(tǒng)多利用心理學(xué)規(guī)律進行人工設(shè)計，近年來，腦科學(xué)的發(fā)展、可穿戴設(shè)備的普及以及腦機接口技術(shù)的逐漸成熟，使得利用腦機裝置采集生理數(shù)據(jù)輔助訓(xùn)練成為可能。工業(yè)界現(xiàn)已有較為成熟的設(shè)備和方案;如神念公司（NeuroSky）提供有完整的腦機裝置、腦電算法以及數(shù)據(jù)分析API/SDK。因此，我們可以嘗試利用現(xiàn)有的腦科學(xué)技術(shù)，通過采集腦電波數(shù)據(jù)和數(shù)據(jù)的集中處理，同時結(jié)合其他生理或心理學(xué)規(guī)律[1]，提出一種效率更高的鋼琴訓(xùn)練方法。

1 ?相關(guān)研究

目前，在腦電設(shè)備技術(shù)領(lǐng)域，腦電技術(shù)也日趨成熟，許多研究也取得了較好的成果，如文獻[2]提出了一種基于腦機交互的注意力訓(xùn)練方法及系統(tǒng)，通過在日常生活與學(xué)習(xí)過程中，獲取訓(xùn)練者的注意力訓(xùn)練結(jié)果，便于對訓(xùn)練者的專注度問題進行干預(yù)訓(xùn)練，而文獻[3]提出了一種面向虛擬現(xiàn)實應(yīng)用的多通道自適應(yīng)腦機交互方法，解決了目前基于虛擬現(xiàn)實的腦機交互方法中存在的單用戶、功能單一的局限性。我們所聚焦的鋼琴訓(xùn)練其實離不開音樂推薦系統(tǒng)[4]，而如何利用腦電技術(shù)以及音樂推薦來解決鋼琴訓(xùn)練的問題也成為了相關(guān)研究者們的關(guān)注重點，如文獻[5]提出了基于腦機交互的音樂情緒化推薦方法，通過采集用戶的腦電信號自動搜索對應(yīng)情緒的音樂推薦給用戶，該方法可為嬰幼兒音樂培養(yǎng)、睡眠治療和音樂搜索帶來新的途徑。于是，在目前相關(guān)工作的基礎(chǔ)上，我們可以將腦機交互技術(shù)和音樂推薦方法應(yīng)用到鋼琴訓(xùn)練方法的改進中，以提高學(xué)習(xí)者的學(xué)習(xí)效率，促進新型鋼琴訓(xùn)練方法的推廣。

2 ?基于腦機數(shù)據(jù)集中處理的輔助鋼琴訓(xùn)練方法

2.1 ?方案概述

在本文中，我們將提出一種基于腦機數(shù)據(jù)集中處理的輔助鋼琴訓(xùn)練方法，在腦機系統(tǒng)方面，我們將采用三觸點腦機接口設(shè)備采集腦電數(shù)據(jù)，通過采集不同腦區(qū)的腦波數(shù)據(jù)發(fā)送到集中處理平臺，集中處理平臺分析和建模后發(fā)送控制命令，指導(dǎo)訓(xùn)練者進行訓(xùn)練和休息，并提供給訓(xùn)練者有效的休息方式。

心理學(xué)研究中的莫扎特效應(yīng)是一種通過讓測試者傾聽一定時間的類似莫扎特曲風(fēng)的音樂，可以顯著提高測試者認知表現(xiàn)的現(xiàn)象[6]。在提出的鋼琴訓(xùn)練方法中，通過采集學(xué)習(xí)者腦電數(shù)據(jù)確定學(xué)習(xí)者的休息時刻，再結(jié)合學(xué)習(xí)者的音樂偏好，播放一定時間的具有莫扎特效應(yīng)的音樂，幫助訓(xùn)練者更快地消除疲勞。同時，這種訓(xùn)練方法通過結(jié)合生理學(xué)數(shù)據(jù)和心理學(xué)規(guī)律，可較顯著地提高學(xué)習(xí)者的學(xué)習(xí)效率。

具體方案實現(xiàn)主要包括音樂偏好測試和休息時間確定兩個部分。音樂偏好測試部分在給測試者佩戴腦機采集裝置后，播放不同曲風(fēng)的音樂，分別采集測試者傾聽不同曲風(fēng)的音樂時的腦電波數(shù)據(jù)，發(fā)送到集中處理平臺，計算出測試者在不同曲風(fēng)環(huán)境下的大腦放松度，結(jié)合測試者的歷史音樂數(shù)據(jù)，用推薦算法得出測試者的偏好音樂類型庫，生成測試者的音樂偏好曲目。休息時間確定部分在訓(xùn)練者彈鋼琴的時候通過腦機裝置采集訓(xùn)練者的腦電波數(shù)據(jù)，定時發(fā)送到數(shù)據(jù)集中處理平臺計算訓(xùn)練者該時間段的專注度和用腦量，當(dāng)訓(xùn)練者的專注度低于給定的閾值時，提示訓(xùn)練者進行休息，并自動播放訓(xùn)練者個人偏好音樂庫中的音樂，設(shè)定播放時長為T2，并根據(jù)訓(xùn)練者接下來的訓(xùn)練時段時長反饋調(diào)節(jié)下一個休息時長。通過結(jié)合訓(xùn)練者的生理數(shù)據(jù)和心理學(xué)規(guī)律，確定具有最佳訓(xùn)練效率的訓(xùn)練時長和休息時長，通過為訓(xùn)練者提供對其放松最有效的音樂，幫助其有效消除疲勞，顯著地提高訓(xùn)練者在單位時間內(nèi)的學(xué)習(xí)效率，從而幫助訓(xùn)練者更好地掌握技能。

接下來兩個小節(jié)將詳細闡述音樂偏好測試和休息時間確定兩個部分的詳細步驟。

2.2 ?音樂偏好測試

本文的實驗系統(tǒng)采用3通道單觸點腦電接口設(shè)備，可采集大腦的8種原始腦電波數(shù)據(jù)，腦機接口設(shè)備會每隔固定時間T1（T1=2s）向數(shù)據(jù)集中處理平臺發(fā)送數(shù)據(jù)包，數(shù)據(jù)包中包括原始腦電信號數(shù)據(jù)，包括8種原始腦電波，集中處理平臺先對原始腦電信號進行濾波，判斷腦電波數(shù)據(jù)的可信度，如果可信度較低則丟棄，將濾波和判斷后的腦電波里的數(shù)據(jù)通過神念公司提供的eSense算法計算用戶的用腦量、專注度、放松度等指標(biāo)，用腦量、專注度、放松度均映射為0—10區(qū)間的數(shù)值，便于分析和比較。

接下來結(jié)合圖1具體闡述訓(xùn)練者音樂偏好測試部分的步驟。

步驟1：各模塊初始化，測試者佩戴腦電接口設(shè)備后，模塊相互之間發(fā)送測試信號，經(jīng)集中處理平臺確認后系統(tǒng)通信正常，工作正常;

步驟2：在音樂播放庫M中分別添加m種曲風(fēng)類型的音樂（保證m>n且M覆蓋N，N為歷史音樂記錄，n為歷史音樂記錄分類種數(shù)），設(shè)置每種曲風(fēng)類型的音樂的播放時間均為T3（T3=10min），每種音樂播放結(jié)束后將播放時間內(nèi)的腦電波數(shù)據(jù)發(fā)送到集中處理平臺處理;

步驟3：將用戶聽曲風(fēng)p類型音樂時的腦電波數(shù)據(jù)通過eSense算法計算用戶對應(yīng)的放松度和用腦量，將計算后的平均放松度a（p）和平均用腦量b（p）存入到腦機處理數(shù)據(jù)庫中;

步驟4：按照步驟3的方法分別測試出聽其他風(fēng)格類型的音樂的平均放松度和用腦量并存入到腦機處理數(shù)據(jù)庫中;

步驟5：將用戶的歷史音樂記錄N輸入集中處理平臺，并根據(jù)音樂分類算法對用戶的歷史音樂記錄分成n類，統(tǒng)計曲風(fēng)p音樂出現(xiàn)的頻率計算出用戶對于曲風(fēng)p音樂的偏好度c（p），存入腦機處理數(shù)據(jù)庫中;

步驟7：通過加權(quán)公式計算出曲風(fēng)p音樂對用戶的“莫扎特效應(yīng)”有效度EX（p）=α*a（p）+β*b（p）+γ*c（p），其中α+β+γ=1;

步驟8：運用步驟7中的方法分別計算其他風(fēng)格類型的音樂的“莫扎特效應(yīng)”有效度;

根據(jù)所有風(fēng)格音樂“莫扎特效應(yīng)”有效度從高到低的順序生成測試者的音樂偏好庫。

2.3 ?休息時間確定

本節(jié)結(jié)合圖2具體闡述訓(xùn)練者休息時間確定部分的步驟。

步驟1：各模塊初始化，測試者佩戴腦電接口設(shè)備后，模塊之間相互之間發(fā)送測試信號，經(jīng)集中處理平臺確認后系統(tǒng)通信正常，工作正常;

步驟2：設(shè)定時間窗口為T1，訓(xùn)練開始，每隔T1時間長度腦機接口設(shè)備將訓(xùn)練者的腦電數(shù)據(jù)發(fā)送到集中處理平臺，集中處理平臺通過腦電算法，即eSense算法分別計算出訓(xùn)練者在T1時間內(nèi)的平均專注度e（x）和用腦量d（x）;

步驟3：將訓(xùn)練者在T1時間內(nèi)的平均專注度e（x）和用腦量d（x）分別與系統(tǒng)設(shè)定的平均專注度閾值e（th）和用腦量閾值d（th）進行比較，本T1時間段內(nèi)平均專注度e（x）d（th）成立時，本T1時間段內(nèi)的標(biāo)志位flag置1，否則置0;

步驟4：判斷接收到的數(shù)據(jù)包否是第一個數(shù)據(jù)包，如果是第一個數(shù)據(jù)包，返回步驟2，否則，進入步驟5;

步驟5：將上一個T1時間段內(nèi)的flag值flag（pr）與本T1時間段實時計算出的flag（rt）值進行與運算，運算后的結(jié)果存入指示變量res=flag（pr）& flag（rt）;

步驟6：實時判斷res值，若res>0，則提示訓(xùn)練者進行休息，記錄已訓(xùn)練時長T（al），并更新已訓(xùn)練總時長T（sum），否則，返回步驟2;

步驟7：啟動音樂播放模塊，根據(jù)音樂推薦庫按偏好度從高到低的順序播放音樂，播放時長為T2（T2=15min）;

步驟8：實時判斷上一個T1時間段內(nèi)訓(xùn)練時長T（alp）與T（al）的大小，如T（alp）

步驟9：判斷已訓(xùn)練總時長T（sum）是否大于最大訓(xùn)練時長T（max），如果已超過最大訓(xùn)練時長，則提示訓(xùn)練者訓(xùn)練結(jié)束，關(guān)閉系統(tǒng);否則，返回步驟2。

3 ?結(jié) ?論

本文將腦機接口技術(shù)、腦電波數(shù)據(jù)處理技術(shù)以及音樂推薦技術(shù)應(yīng)用到鋼琴訓(xùn)練中，提出了一種基于腦機數(shù)據(jù)集中處理的輔助鋼琴訓(xùn)練方法，這種鋼琴訓(xùn)練方法通過腦電波數(shù)據(jù)的采集與集中處理，一方面能生成測試者的音樂偏好曲目，另一方面可確定具有最佳訓(xùn)練效率的訓(xùn)練時長和休息時長，同時還能夠提供對訓(xùn)練者放松最有效的音樂，有效幫助訓(xùn)練者消除疲勞，使訓(xùn)練者在單位時間內(nèi)的學(xué)習(xí)效率得到顯著提高，從而幫助其更好地掌握技能。

參考文獻：

[1] 劉勛，吳艷紅，李興珊，等.認知心理學(xué)：理解腦、心智和行為的基石 [J].中國科學(xué)院院刊，2011，26（6）：620-629.

[2] 曹曉明.一種基于腦機交互的注意力訓(xùn)練方法及系統(tǒng)，中國專利：CN106708261A [P].2017-05-24.

[3] 李遠清，瞿軍，肖景.一種面向虛擬現(xiàn)實應(yīng)用的多通道自適應(yīng)腦機交互方法，中國專利：CN107329571A [P].2017-11-07.

[4] 陳雅茜.音樂推薦系統(tǒng)及相關(guān)技術(shù)研究 [J].計算機工程與應(yīng)用，2012，48（18）：9-16+47.

[5] 王蔚，袁海云，夏棋，等.基于腦機交互的音樂情緒化推薦方法，中國專利：CN103412646A [P].2013-11-27.

[6] 黃君.莫扎特效應(yīng)的實驗研究 [D].重慶：西南大學(xué)，2009.

作者簡介：聶文斐（1964-），女，漢族，河南新鄉(xiāng)人，就職于國家移動超聲探測工程技術(shù)研究中心，副主任，本科，研究方向：信號檢測;通訊作者：曹燕（1980-），女，漢族，重慶人，副教授，博士，研究方向：聲信號處理。