基于腦電波芯片的自動(dòng)化音樂創(chuàng)作系統(tǒng)

黃志方，劉博元，申林

基于腦電波芯片的自動(dòng)化音樂創(chuàng)作系統(tǒng)

黃志方，劉博元，申林

透過腦電波，藉以反應(yīng)人腦的思考狀態(tài)，并透過研究中所設(shè)定的機(jī)制，將使用者的腦波自動(dòng)轉(zhuǎn)換生成音樂，以表達(dá)當(dāng)時(shí)用戶的情感。本研究除了運(yùn)用微電腦研發(fā)一套可攜式腦電波設(shè)備，并整合計(jì)算機(jī)音樂軟件，采用隨機(jī)音樂之概念，以中國傳統(tǒng)五聲音階作為原始音樂素材，并運(yùn)用純律系統(tǒng)，籍由腦波傳感器拾取測(cè)試對(duì)象的腦波進(jìn)行調(diào)制，透過音樂節(jié)奏參數(shù)與腦波參數(shù)的對(duì)應(yīng)關(guān)系，得到合理的結(jié)果。最后對(duì)無音樂基礎(chǔ)的聆聽者測(cè)試對(duì)象進(jìn)行實(shí)驗(yàn)，并配合實(shí)驗(yàn)的問卷調(diào)查，從而論證沒有受過音樂訓(xùn)練的人均可透過本研究之自動(dòng)化音樂生成技術(shù)，產(chǎn)生可反映人們腦波的音樂，能使用戶的情緒得到舒緩，未來將可應(yīng)用于教育、療愈與游戲娛樂之功能。

腦電波；純律系統(tǒng)；自動(dòng)化音樂生成

0 引言

EEG（electroencephalographic）腦電圖透過電路與軟件擷取之機(jī)制，可記錄大腦各區(qū)域電壓的變化，顯示人類大腦活動(dòng)[1,2]，在二十世紀(jì)中則開始應(yīng)用于反應(yīng)人類心理狀態(tài)的領(lǐng)域[3]。EEG實(shí)驗(yàn)證實(shí)了人們聆賞音樂可以對(duì)情緒有相對(duì)應(yīng)的關(guān)系，例如α波段對(duì)于音樂節(jié)奏的改變較為敏感[4]，若聆賞不同類的音樂，已證實(shí)會(huì)時(shí)腦波功率頻譜有不同的反應(yīng)[5]。聆賞快樂與悲傷等不同情緒的音樂會(huì)引起額中線附近θ波[6]，這些反應(yīng)在具有系統(tǒng)化學(xué)習(xí)音樂經(jīng)歷的專業(yè)演奏員身上將更為顯著[7]。

早在1965年，Alvin Lucier就使用EEG訊息，透過一定的處理與轉(zhuǎn)換而產(chǎn)生音樂作品[8]，如圖一所示：

圖1 藝術(shù)創(chuàng)作者Alvin Lucier 腦波音樂作品

近年來也有一些運(yùn)用EEG自動(dòng)、實(shí)時(shí)創(chuàng)作音樂的例子，如英國的Miranda運(yùn)用腦電波整合并控制自動(dòng)演奏鋼琴，可產(chǎn)生并控制音樂片段的速度與節(jié)拍等[9]，如圖2所示：

圖2 Miranda運(yùn)用腦波控制自動(dòng)演奏鋼琴的彈奏

由于傳統(tǒng)腦電圖需要比較復(fù)雜且數(shù)十個(gè)電極點(diǎn)來測(cè)試受測(cè)者腦部的EEG訊息，在娛樂與簡(jiǎn)易生物回饋方面領(lǐng)域的應(yīng)用并不便利，因此近年來有些簡(jiǎn)易的腦機(jī)接口（Brian-Computer Interface，BCI）問世，可作為連接大腦和計(jì)算機(jī)的橋梁[10]。本研究則采用Neurosky公司的TGAM芯片模塊[11]，自行制作樣機(jī)，讓一般沒有受過音樂訓(xùn)練的人均可透過本研究之自動(dòng)化音樂生成技術(shù)來產(chǎn)生可反映人們腦波的音樂。

1 方法

本研究所采用的腦波EEG微電腦系統(tǒng)芯片為Neurosky公司的TGAM芯片模塊，透過該模塊所提供與音樂交互的生物信息，除了功率頻譜（PS, Power Spectrum），還有原始腦波數(shù)據(jù)（RD, Raw Data）等值，各波段特征定義如表1所示：

表1 腦電波各波段特征定義 (NeuroSky 產(chǎn)品白皮書“Brain Wave Signal（EEG） ofNeuroSky， Inc.”）

并分別指示出受測(cè)者的「專注度」（Attention，注意力集中程度）和「冥想度」（Meditation，放松程度）。

雖然Neurosky在產(chǎn)品手冊(cè)中并未公布如何獲得這二值的具體算法，但已有國內(nèi)外學(xué)者在一系列的實(shí)驗(yàn)中對(duì)eSence?值的有效性做出了評(píng)估，結(jié)果表明該值能客觀反應(yīng)測(cè)試對(duì)象的精神狀態(tài)[12-14]。此外，信號(hào)強(qiáng)度（SQ）值可以供我們?cè)u(píng)估當(dāng)前腦電信號(hào)的采集質(zhì)量，作品系統(tǒng)根據(jù)腦電信息的有效性決定是否將其采納用于交互。其主要輸出參數(shù)如圖3所示：

圖3 腦波儀TGAM模塊主要系統(tǒng)參數(shù)輸出

本研究系統(tǒng)在音高生成方面，可自動(dòng)隨機(jī)產(chǎn)生音階系統(tǒng)：中國傳統(tǒng)音樂的五聲音階，其重要特征是指宮、商、角、征、羽這五個(gè)音，可分別對(duì)應(yīng)于我們今天所熟悉的“Do、Re、Me、Sol、La”[15]。

在音律系統(tǒng)方面，傳統(tǒng)的民樂音樂治療領(lǐng)域，存在許多以古琴治療心理或生理疾病的案例[16-18]，因著古琴曲“節(jié)奏緩慢，旋律舒緩，音色優(yōu)美，靜而不喧”。其優(yōu)美音色的背后其實(shí)質(zhì)乃“古琴有純律”[19]。古琴曲中因著純律音程的存在，具有公認(rèn)的情緒舒緩作用，而純律在和聲方面的運(yùn)用。因著其符合自然泛音列的特點(diǎn)，“當(dāng)和聲縱向排列時(shí)，和弦音就像是泛音列中的音被放大、加強(qiáng)，并不會(huì)產(chǎn)生不協(xié)和、刺耳的音響，反而是使和聲更加的協(xié)和、飽滿”[20]。因此本研究乃舍棄西方十二平均律，改采用純律為系統(tǒng)音律之基石。

若以圖四所表示之泛音列，宮音（Do）基礎(chǔ) 頻率為4f，則在同一個(gè)八度內(nèi)的商音（Re）基礎(chǔ)頻率為 9f/2 = 4.5f；角音（Mi）為5f；征音（Sol）基礎(chǔ)頻率為6f；羽音（La）基礎(chǔ)頻率為13f / 2 = 6.5f。

因此，純律的中國五聲音階之頻率比值關(guān)系為：

宮：商：角：征：羽 = 4：4.5：5：6：6.5，如圖4所示：

圖4 泛音列與整數(shù)倍頻率的音高關(guān)系

各泛音的強(qiáng)度也是構(gòu)成音色的主要因素之一[21]，將用于加法合成的各振蕩器的振幅與演奏者當(dāng)前的EEG狀態(tài)相關(guān)聯(lián)，有助于使得音樂的音色隨著演奏者EEG功率譜上各波段的起伏而變得豐富多彩。其映像方式為：將從低頻到高頻的各波段功率數(shù)值，與從生成低倍率泛音與高倍率泛音的各振蕩器（OSC）輸出信號(hào)的振幅相關(guān)聯(lián)，如圖5所示：

圖5 腦波轉(zhuǎn)換為泛音振幅控制之加法合成

作為音樂特征的強(qiáng)度，其數(shù)值由當(dāng)前Attention值Meditation值之和決定，即演奏者的專注度和冥想度，將實(shí)時(shí)控制整首樂曲的強(qiáng)弱。在節(jié)奏產(chǎn)生方面，本研究系統(tǒng)運(yùn)用音長(zhǎng)與音符密度這兩個(gè)音樂參數(shù)均與Medita -tion值呈反比的生成方式來控制，使得音樂的節(jié)奏性可反映出腦波的狀態(tài)。例如圖6所示：

1123(3)工作面走向長(zhǎng)2 190 m，面長(zhǎng)260 m，平均煤厚4.2 m，原始瓦斯含量5.3 m3/t，配風(fēng)量2 290 m3/min，回風(fēng)瓦斯?jié)舛?.15 %，絕對(duì)瓦斯涌出量14.3 m3/min。工作面煤層頂板為復(fù)合頂板，以泥巖、砂質(zhì)泥巖、細(xì)砂巖、13-2煤、14煤、15煤為主，少量粉砂質(zhì)泥巖及花斑泥巖，其中13-2煤約厚0.26 m，14煤約厚0.66 m，15煤約厚0.22 m。

圖6 本研究系統(tǒng)音長(zhǎng) (Duration) 在不同冥想度 (M, Meditation) 之反比關(guān)系

當(dāng)Meditation值為10 (M=10)，則產(chǎn)生的音樂節(jié)奏偏向于振奮型的短音符且音符密度高的振奮型音樂狀態(tài)；當(dāng)當(dāng)Meditation值為90 (M=90)，則產(chǎn)生的音樂節(jié)奏偏向于長(zhǎng)音符，且音符密度低的舒緩型音樂情境。

綜整上述概念，本研究腦電波- 音樂自動(dòng)生成參數(shù)對(duì)應(yīng)關(guān)系如圖7所示：

圖7 腦電波 - 音樂自動(dòng)生成參數(shù)對(duì)應(yīng)關(guān)系

包括從純律生成之音律系統(tǒng)，到中國傳統(tǒng)五聲音階之音高篩選生成、音長(zhǎng)和音符密度對(duì)應(yīng)至EEG Meditation放松程度呈反比的節(jié)奏生成方式，乃至加上適度混響等效果器的運(yùn)用。

本研究的整體工作過程包括下列項(xiàng)目：

讀取腦電波EEG訊息：透過PC程序讀取表演者所穿戴微電腦系統(tǒng)之腦電波裝置EEG基本訊息；

腦波與音樂參數(shù)對(duì)應(yīng)機(jī)制：運(yùn)用PC程序透過如前所述之腦波Meditation參數(shù)值，與音樂參數(shù)之節(jié)奏與MIDI音符長(zhǎng)短等對(duì)應(yīng)機(jī)制，透過隨機(jī)方式產(chǎn)生適當(dāng)之音符事件；

自動(dòng)音樂生成系統(tǒng)：本研究之PC程序整合上述邏輯運(yùn)算于Max/MSP程序中，產(chǎn)生音高、音長(zhǎng)與節(jié)奏等，自動(dòng)創(chuàng)作音樂；

混響音效系統(tǒng)：程序加入適當(dāng)之延遲混響音效，以適合腦波音樂之氛圍；

腦波音樂生成：將程序所產(chǎn)生之音符事件透過MIDI機(jī)制送至計(jì)算機(jī)音頻系統(tǒng)播放音樂，以回授予表演者與一般聽眾聆賞。

本研究整體工作過程之程序框圖如圖8所示：

圖8 工作過程程序框圖

2 實(shí)驗(yàn)

本研究在PC軟件方面采用Max/MSP交互音樂程序是Cycling74公司開發(fā)的一個(gè)交互式編程語言與開發(fā)環(huán)境[22]，其采用了圖形化的編程界面。Max/MSP程序的工程文件（patch）由對(duì)象（object）構(gòu)成，一種對(duì)象通常有一個(gè)或若干個(gè)專用于某一方面的功能。通常一個(gè)Max/MSP patch內(nèi)部會(huì)包含若干不同種類的對(duì)象，程序運(yùn)行時(shí)，這些彼此連接的對(duì)象依照自身功能互相通信，進(jìn)行數(shù)據(jù)的處理。用Max/MSP進(jìn)行編程，實(shí)際上就是將各對(duì)象按一定規(guī)則進(jìn)行連接，將不同對(duì)象的功能進(jìn)行組合，讓設(shè)計(jì)的功能得以實(shí)現(xiàn)。本研究的基本Max/MSP程序接口如圖9所示：

圖9 本研究所采用之TGAM EEG Max/MSP 圖形化接口設(shè)計(jì)

在硬件實(shí)踐方面，如圖10所示：

圖10 本研究采用TGAM模塊的便攜式腦機(jī)接口BCI

本研究采用TGAM模塊，并使用Arduino微電腦系統(tǒng)整合，自行開發(fā)了一套可透過藍(lán)芽傳遞腦波訊息至計(jì)算機(jī)的便攜式腦機(jī)接口BCI，使用者只要將腦波儀戴在頭上，并將電極接觸點(diǎn)夾于耳，藉由音樂聆賞，便可進(jìn)行相關(guān)實(shí)驗(yàn)。

本研究的測(cè)試流程，從程序開始，讓受測(cè)者閉上雙眼聆賞音樂，使演奏者EEG訊息自動(dòng)產(chǎn)生，進(jìn)入反饋式計(jì)算器自動(dòng)作曲程序，最后自動(dòng)生成音樂，程序結(jié)束，如圖11所示：

圖11 腦波音樂測(cè)試流程

在娛樂模式之應(yīng)用方面，本研究系統(tǒng)可透過表演者穿戴腦電波裝置刻意的「冥想」，在娛樂或表演藝術(shù)場(chǎng)合下讓自動(dòng)生成的音樂亦同時(shí)播放給現(xiàn)場(chǎng)所有聽眾聆賞，并透過如圖9所示之TGAM EEG Max/MSP 圖形化接口顯示予聽眾理解表演者的冥想程度，成為一種具有舞臺(tái)互動(dòng)特性之娛樂表演項(xiàng)目，亦可發(fā)展APP成為獨(dú)立之手機(jī)互動(dòng)游戲。

本項(xiàng)腦波音樂研究系統(tǒng)曾于2015上海音樂學(xué)院主辦之國際電子音樂周、2015上海藝術(shù)科技館等地展示，獲得不少民眾廣泛討論。上海藝術(shù)科技館展示現(xiàn)場(chǎng)獲上海電視臺(tái)采訪實(shí)況如圖12所示：

圖12 本研究腦波音樂系統(tǒng)于2015上海藝術(shù)科技館展出實(shí)景

根據(jù)10位無音樂專業(yè)背景人士所量測(cè)之問卷，本研究在腦波音樂相關(guān)反應(yīng)的結(jié)果如表2所示：

表2 本研究腦波音樂對(duì)于各項(xiàng)問卷調(diào)查之結(jié)果

根據(jù)此項(xiàng)調(diào)查結(jié)果，“腦波音樂可正確反映當(dāng)下情感”獲得了超過90%的滿意度，其次為“腦波音樂與音樂內(nèi)容之相關(guān)度”與“腦波音樂之愉悅度”，均為80% ~ 90%的滿意度，“腦波音樂生成作品之完整性”方面則獲得了70%~80%的滿意度。

3 總結(jié)

本項(xiàng)腦波音樂應(yīng)用微電腦整合音樂科技的技術(shù)，經(jīng)過人機(jī)交互的形式演奏，更將其擴(kuò)展成為一種對(duì)外開放的，邀請(qǐng)觀眾親自體驗(yàn)的藝術(shù)形式。觀眾在體驗(yàn)音樂創(chuàng)作的過程中，不僅完成了作品，自身也成為作品的一部分，這樣的理念源自杜尚的格言“觀眾完成了藝術(shù)品”。本研究之腦波音樂系統(tǒng)并只要求演奏者具一定的意念控制能力以及音色感知能力即可，并不要求演奏者需具備音樂背景，經(jīng)過生物反饋訓(xùn)練，大致上能夠順利地提高降低專注及冥想，從而使音樂更具段落性、作品性。演奏過程以即興為主，要求配戴腦波儀的演奏者控制專注、冥想到指定程度。演奏的終止由軟件內(nèi)置的定時(shí)器觸發(fā)，將用于交互的EEG信號(hào)切斷后音樂隨即停止，混響效果會(huì)使得最后一個(gè)樂音的殘響繼續(xù)存在約十秒左右，形成一個(gè)淡出的、空靈的余音。但現(xiàn)實(shí)中，由于人的意念很大程度還是會(huì)受到環(huán)境影響，包括現(xiàn)場(chǎng)的燈光、溫度，甚至氣味。因此需要有足夠的前期訓(xùn)練，同時(shí)對(duì)于演奏中給予演奏者適當(dāng)?shù)匾龑?dǎo)，方可朝向具有意念導(dǎo)引的自動(dòng)生成音樂產(chǎn)生。未來此項(xiàng)研究可逐步改善其使用性與音樂性，應(yīng)可應(yīng)用于智能學(xué)習(xí)、音樂舒緩、娛樂等產(chǎn)業(yè)中，為新的物聯(lián)網(wǎng)世代增加有趣的發(fā)展可能。未來本研究將可進(jìn)一步改善并擴(kuò)大整合自動(dòng)音樂生成系統(tǒng)之范疇，制定各種用戶所需之音樂風(fēng)格，讓腦波自動(dòng)生成音樂可具更豐富而多樣之面貌，甚至可發(fā)展手機(jī)APP，并可透過云計(jì)算與人工智能深度學(xué)習(xí)之整合，使得本研究走入家庭，具有更廣之使用性。

[1] Broetz, D., Braun, C., Weber, C., Soekadar, S. R., Caria, A., & Birbaumer, N. Combination of brain-computer interface training and goal-directed physical therapy in chronic stroke: a case report. Neurorehabilitation and Neural Repair, 2010.

[2] Guger, C., Ramoser, H., & Pfurtscheller, G. Real-time EEG analysis with subject-specific spatial patterns for a brain-computer interface (BCI). Rehabilitation Engineering. IEEE Transactions on, 2010, 8(4): 447-456.

[3] Wagner, M. J. Brainwaves and biofeedback: A brief history. Implications for music research. Journal of Music Therapy, 1975, 12(2): 46-58.

[4] Ma, W., Lai, Y., Yuan, Y., Wu, D., & Y, D. Electroencephalogram variations in the α band during tempo-specific perception. NEUROREPORT, 2010, 23(3): 125-128.

[5] Pavlygina,R. A., Sakharov, D. S. & Davydov,V. I. Spectral Analysis of the Human EEG during Listening to Musical Compositions. Human Physiology, 2004, 30(1): 54-60.

[6] Sammler, D., Grigutsch, M., Fritz, T., & Koelsch, S. Music and emotion: electrophysiological correlates of the processing of pleasant and unpleasant music. Clinical Chemistry, 2007, 44(2): 293-304.

[7] Mikuttaa, C.A., Maissenb,G., Altorferb,A., Strika,W. & Koenigb,T Professional musicians listen differently to music, Neuroscience, 2014, 1(268): 102-111.

[8] Pressing, J. Cybernetic issues in interactive performance systems. Computer music journal, 1990, 14(1): 12-25.

[9] Miranda, E. R. Brain-computer music interface for composition and performance. International Journal on Disability and Human Development, 2006, 5(2): 119-126.

[10] Vidal, JJ Toward direct brain-computer communication. Annual review of biophysics and bioengineering, 1973, 2 (1): 157-80. doi:10.1146/annurev.bb.02.060173.001105 PMID 4583653.

[11] Liu, N. H., Hsu, H. M., Chu, H. C., & Hsu, S. H. Intelligent Music Player for Bike Sport Using Electroencephalogram and Global Positioning System Sensors. Sensor Letters, 2003, 11(5): 772-780.

[12] Crowley, K., Sliney, A., Pitt, I. & Murphy, D. Evaluating a Brain-Computer Interface to Categorise Human Emotional Response，Advanced Learning Technologies (ICALT), 2010 IEEE 10th International Conference on. IEEE, 2010, 2010:276-278.

[13] Vourvopoulos, A., & Liarokapis, F. Evaluation of commercial brain-computer interfaces in real and virtual world environment: a pilot study, Computers & Electrical Engineering, 2014, 40(2): 714-729.

[14] Katona, J., Farkas, I., Ujbanyi, T., Dukan, P., & Kovari, A. Evaluation of the NeuroSky MindFlex EEG headset brain waves data. Applied Machine Intelligence and Informatics (SAMI), 2014 IEEE 12th International Symposium on 2014, PP: 9-94.

[15] 劉偉. 淺談五音療法的理論基礎(chǔ). 國醫(yī)論壇, 2003, 18(5): 17-17.

[16] 邊江紅. 古琴音樂療法概況及其對(duì)中風(fēng)后抑郁癥的治療淺析. 湖南中醫(yī)雜志, 2012, 28(4): 144-145.

[17] 風(fēng)美茵,汪衛(wèi)東. 古琴音樂干預(yù)原發(fā)性失眠的臨床療效和心身機(jī)制探討. 國際中醫(yī)中藥雜志, 2013, 35(5): 428-430.

[18] 鄭曉燕. 古琴音樂療法配以保健穴防治心血管疾病的初步研究. 中國民族民間醫(yī)藥, 2014, (14): 26-26

[19] 顧震夷. 純律,中國的驕傲. 人民音樂, 1993, 11.

[20] 孫克利. 五度相生律、純律、十二平均律律制之美. 北方音樂, 2014, (07): 5-5.

[21] 張寶生. 淺談聽覺激勵(lì)器的原理和應(yīng)用. 音響技術(shù), 2011, (3): 59-62.

[22] Jensenius, Alexander Refsum, Rolf Inge God?y, and Marcelo M. Wanderley. Developing tools for studying musical gestures. within the Max/MSP/Jitter environment (2005): 282-285.

EEG Chip-based Algorithmic Music Composition

Huang Zhifang1,2, Liu Boyuan1, Shen Lin1
(1. Shanghai Normal University, Shanghai 200336, China; 2. Kainan University, Taoyuan, Tai wan 338, China)

This research is mainly based on the EEG （Electroencephalographic） data to reflect human’s thinking situation， via the proposed settings and mechanism, to transform the brainwave data into the generative music automatically, in order to express the user’s emotion. This research not only uses microcomputer to develop a set of portable EEG equipment， but also integrates computer music software, to generate the randomized music with traditional Chinese pentatonic scale as the raw material. The just intonation system is also adopted to perform the brainwave music transformation, with the mapping relationship between the brainwave of subject listener and music features, to obtain a reasonable result. Finally a questionnaire for the non-musicians has been performed, to prove that the people without music training can accept the proposed automated music composition from the brainwave, to alleviate user’s mood. Hopefully it can be applied into the fields including education， healing, and gaming entertainment.

EEG; Just Intonation System; Automated Music Composition

TP311

A

1007-757X(2016)08-0069-05

2016.06.20）

黃志方（1965-），男，中國臺(tái)灣臺(tái)北市，上海師范大學(xué)、臺(tái)灣開南大學(xué)，副教授，博士；研究方向：音樂科技，桃園，338

劉博元（1989-），男，上海，上海師范大學(xué)，碩士，研究方向：音樂數(shù)字媒體，上海，200336

申 林（1970-），男，河南新鄉(xiāng)市，上海師范大學(xué)，副教授，碩士；研究方向：電子音樂，音樂劇音樂作曲，上海，200234