從人機互動到人機共創(chuàng)

From Human-Computer Interaction to Human-Computer Co-Creation：

On the Value of Machine Learning Technology in Interactive Electronic Music

摘 要：交互式電子音樂是藝術(shù)與科技相結(jié)合的產(chǎn)物，演出方式富有靈活性，是21世紀電子音樂發(fā)展的主要方向之一。目前，其對于跨學(xué)科實踐經(jīng)驗的較高需求以及創(chuàng)作、展演過程中體現(xiàn)出的問題都亟待解決。通過使用機器學(xué)習(xí)技術(shù)，形成人機共創(chuàng)系統(tǒng)，可能為其提供有效的解決方案。分析三部使用機器學(xué)習(xí)技術(shù)的交互式電子音樂作品，解析其中的機器學(xué)習(xí)技術(shù)的運用方式以及技術(shù)與作品表現(xiàn)之間的關(guān)系，總結(jié)機器學(xué)習(xí)技術(shù)在交互式電子音樂中的三方面應(yīng)用價值：其一，提升參數(shù)映射步驟的工作效率；其二，改變當(dāng)前藝術(shù)創(chuàng)作活動中的代理關(guān)系；其三，增強藝術(shù)作品的包容性與公共性。

關(guān)鍵詞：交互；電子音樂；機器學(xué)習(xí)

中圖分類號： J614.8?? ? 文獻標識碼：A

文章編號：1004-2172（2023）03-0122-14

DOI：10.15929/j.cnki.1004 - 2172.2023.03.012

一、交互式電子音樂的背景

（一）交互式電子音樂定義

交互式電子音樂的發(fā)展受到技術(shù)革新的驅(qū)動，至今仍有新的表現(xiàn)形式產(chǎn)生，因此對于這一處于變化中的音樂體裁，學(xué)術(shù)研究領(lǐng)域還未產(chǎn)生在世界范圍內(nèi)得到公認的、權(quán)威的定義。顧名思義，交互式電子音樂融合了電子音樂與交互行為，電子音樂的誕生與繁榮是其存在的先決條件。20世紀上半葉，電子音樂誕生初期，磁帶與電子合成器是藝術(shù)實踐的主要工具，作品以錄制在唱片或磁帶上的固定形式存在，將創(chuàng)作的結(jié)果通過揚聲器擴聲系統(tǒng)進行回放是早期電子音樂的主要演出形式。雖然回放式的演出能夠較為精確地還原作曲家的設(shè)計意圖，在世界范圍內(nèi)也被眾多作曲家廣泛接納，但是在多次回放演出后，其缺乏靈活性的弊端也隨之顯現(xiàn)。20世紀后半葉，伴隨著電子音樂相關(guān)的科學(xué)技術(shù)、創(chuàng)作理念的高速發(fā)展，一些實時控制手段開始出現(xiàn)在電子音樂表演當(dāng)中，為電子音樂的現(xiàn)場效果帶來了更多的靈活性。

在以計算機技術(shù)為代表的數(shù)字技術(shù)成為電子音樂創(chuàng)作的主要工具后，借助各類控制界面來與計算機軟件程序互動，影響由其播放、生成或調(diào)制的聲音，逐漸成為創(chuàng)作交互式電子音樂的普遍方式，并沿用至今。對于交互式電子音樂較為典型的表現(xiàn)特征，美國布朗大學(xué)教授托德· 溫克勒（Todd Winkler）曾在其1998年出版的著作《創(chuàng)作互動音樂：使用Max的技巧與理念》（Composing Interactive Music：Techniques and Ideas Using Max）中進行了總結(jié)：“交互式音樂在這里被定義為一種音樂創(chuàng)作或即興表演，其中的軟件用于解讀現(xiàn)場表演，以影響由計算機生成或調(diào)制的音樂。通常情況下，這涉及一個表演者和一件樂器，而計算機創(chuàng)造出的音樂某種程度上是由表演塑造形成的音樂。”①

以上總結(jié)適用于大部分產(chǎn)生于21世紀之前的交互式電子音樂，至今仍可被視為是對該類藝術(shù)實踐的一個廣義的定義。如今，隨著新技術(shù)的不斷加入，與計算機音樂程序進行互動的對象不僅局限于表演者或樂器，任何可以產(chǎn)生數(shù)據(jù)的對象，都能加入演出當(dāng)中。例如通過網(wǎng)絡(luò)實時收集數(shù)據(jù)的程序或設(shè)備，甚至加入了人工智能技術(shù)、能夠自主做出選擇程序等，這些對象的加入為交互式電子音樂帶來了新的樣態(tài)。四川音樂學(xué)院陸敏捷教授在其2021年出版的著作《交互式電子音樂概論》中，將現(xiàn)階段的交互式電子音樂定義為：“（交互式電子音樂是）以計算機和數(shù)字技術(shù)為核心的新媒介系統(tǒng)，在現(xiàn)場表演/作品呈現(xiàn)的過程中實時生成或配置新的聲音材料，使新媒介系統(tǒng)的輸人行為與輸出音樂（聲音）內(nèi)容之間表現(xiàn)出‘交互特征的新媒介藝術(shù)形態(tài)?！雹诠P者認為這種以“新媒介系統(tǒng)”定義交互式電子音樂的方式，能夠最大限度地兼容現(xiàn)階段該類藝術(shù)實踐的各類表現(xiàn)形式，且準確提煉了不同形式之間的共性，具有很強的學(xué)術(shù)參考價值。筆者后文中所提及的所有交互式電子音樂作品，也處于該定義制定的范疇之內(nèi)。

（二）本文的研究范圍界定

本文的研究目的在于提煉機器學(xué)習(xí)在當(dāng)前的交互式電子音樂創(chuàng)作中的應(yīng)用價值。這一技術(shù)目前主要作用于表演者的手勢與程序產(chǎn)生的內(nèi)容之間的聯(lián)結(jié)，因此，人與程序的互聯(lián)是研究的重點。根據(jù)此原則，本文的研究所針對的交互式電子音樂作品，應(yīng)包含以下特點：

第一，以各類傳感器、控制器硬件作為數(shù)據(jù)采集工具；

第二，將表演者的手勢、肢體動作等姿態(tài)變化要素轉(zhuǎn)換為數(shù)據(jù)，用于聲音的實時調(diào)制和組織。

此類交互式電子音樂作品，大都配有專門為其設(shè)計的交互系統(tǒng)，這些系統(tǒng)就像不同形制的樂器，有著不同的音色與各異的表演方式，由表演者操控，以“人機互動”的形式進行呈現(xiàn)。

（三）發(fā)展中存在的問題

1.較多的跨學(xué)科實踐經(jīng)驗需求

交互式電子音樂的創(chuàng)作需要跨學(xué)科知識體系的加持。對于音樂創(chuàng)作者而言，專業(yè)的計算機編程絕非易事，因此，早在20世紀70年代，以皮埃爾·布列茲為首的法國聲音與音樂研究中心（IRCAM）就制定了作曲家與計算機工程師合作的模式。同時，IRCAM也長期致力于開發(fā)更適合作曲家使用的編程環(huán)境，其中較為典型的有Open Music與Max，這兩款圖形化編程環(huán)境一定程度上降低了計算機音樂編程難度，為作曲家獨立創(chuàng)作計算機音樂創(chuàng)造了條件。近40年來，隨著眾多作曲家的實踐驗證和計算機音樂編程教育的產(chǎn)生，交互式電子音樂創(chuàng)作得到了一定的推廣，但該類創(chuàng)作實踐的難度還是有目共睹的，對其進一步的普及造成了阻礙。音樂創(chuàng)作與計算機編程分別屬于不同的學(xué)科，從具體內(nèi)容到思維方式都存在巨大差異，由于兩種技能都需要耗費數(shù)年去進行系統(tǒng)學(xué)習(xí)方能掌握，因此極少有人能夠全面駕馭和融合這兩個領(lǐng)域的知識。在接下來的發(fā)展道路上，進一步降低創(chuàng)作工具的使用門檻是交互式電子音樂亟待解決的問題。

2.煩瑣的參數(shù)映射工作

計算機程序不似演奏家一般能夠?qū)纷V進行自主解讀與呈現(xiàn)，它的一舉一動都需要人類的設(shè)定，稍有不符合編程語法的情況出現(xiàn)，計算機程序便會報錯。因此，在交互界面程序設(shè)計中，程序一切反饋與行動模式，都需要作曲家需要在編寫程序時預(yù)先進行設(shè)計。不僅如此，對于外部輸入數(shù)據(jù)與受控參數(shù)之間的關(guān)系，作曲家都需要使用數(shù)據(jù)映射（mapping）的方式來進行管理，以保證電子聲音的即興表現(xiàn)能夠在可控范圍內(nèi)進行。映射是設(shè)計交互系統(tǒng)時需要投入人工較多的工序。假設(shè)作曲家在設(shè)計一首作品時想用手部的空間位置坐標去控制聲音合成器的控制參數(shù)，那么基于音樂的結(jié)構(gòu)，手部空間位置在音樂的每一段中所選取對應(yīng)的合成器控制參數(shù)是可以不同的（圖1），由此才能夠形成段落間的聲音對比。類似功能的實現(xiàn)需要進行一系列的參數(shù)對接，對接的過程即是映射。作品中包含的受控對象越多，映射工作就越加煩瑣。這種依靠人工編程的工作方式，使得創(chuàng)作此類作品的效率難以得到提升。

3.“人機互動”的單向?qū)嵸|(zhì)

從當(dāng)代藝術(shù)分類的宏觀視角來看，交互式電子音樂是交互藝術(shù)中的一個分支。交互藝術(shù)中的交互行為可被描述為“通常以使用計算機、各類接口和傳感器為特征，以對運動、熱量、氣象變化或其他類型的輸入做出反應(yīng)，這些輸入是創(chuàng)作者編寫的”①。大多數(shù)此類藝術(shù)作品中的交互僅建立在受控對象對控制對象的行為反饋上，受控對象不會視情況進行自主行動，只會在接受控制信號后做出預(yù)先編寫的反饋。從詞義上看，“交互”應(yīng)建立在主體之間的雙向反饋之上，而在目前常見的交互系統(tǒng)設(shè)計中，計算機程序顯然不具備成為主體的能力，距離真正意義的交互有一定差距。

英國人類學(xué)家阿爾弗雷德·蓋爾（Alfred Gell）曾在其著作《藝術(shù)與代理》（Art and Agency）②中將藝術(shù)視為一種行動的系統(tǒng)，并將代理權(quán)歸于能夠“改變事物狀態(tài)”的人和物。對蓋爾來說，代理權(quán)在本質(zhì)上是社會性的，行動只能在社會方面進行概念化。他區(qū)分了主要代理（即有意圖的人）和次級代理（物體、藝術(shù)作品等）。然而，這樣的區(qū)分并不意味著物質(zhì)代理的重要性低于意向性代理。由于人類需要借助物質(zhì)來表達意圖，因此，在行使代理權(quán)的過程中，物質(zhì)和意圖同樣重要。蓋爾的理論肯定了作為工具的物質(zhì)在藝術(shù)活動中的地位，對于交互藝術(shù)中的工具開發(fā)產(chǎn)生了啟示：如果計算機具備了產(chǎn)生意圖的能力，將從本質(zhì)上改變傳統(tǒng)的藝術(shù)活動形態(tài)，實現(xiàn)真正意義上的人機交互。

二、機器學(xué)習(xí)與交互式電子音樂創(chuàng)作

（一）機器學(xué)習(xí)技術(shù)與音樂創(chuàng)作的聯(lián)系

機器學(xué)習(xí)（Machine Learning）是一個致力于構(gòu)建“讓機器懂得學(xué)習(xí)的方法”的技術(shù)領(lǐng)域，換言之，該技術(shù)旨在利用數(shù)據(jù)來提升計算機在執(zhí)行某些任務(wù)時的效率①。機器學(xué)習(xí)算法基于使用樣本數(shù)據(jù)（也被稱為訓(xùn)練數(shù)據(jù)）建立的模型，以便在沒有明確編程的情況下做出預(yù)測或決策。機器學(xué)習(xí)算法已被運用到各類實際應(yīng)用場景當(dāng)中，例如電子郵件過濾、語音識別、計算機視覺識別等。機器學(xué)習(xí)與計算統(tǒng)計學(xué)密切相關(guān)。計算統(tǒng)計學(xué)側(cè)重于使用計算機進行預(yù)測，但并非所有機器學(xué)習(xí)都是統(tǒng)計學(xué)習(xí)，例如，數(shù)據(jù)挖掘技術(shù)是機器學(xué)習(xí)的一個分支領(lǐng)域，側(cè)重于通過無監(jiān)督學(xué)習(xí)進行探索性數(shù)據(jù)分析，另一個分支領(lǐng)域——神經(jīng)網(wǎng)絡(luò)技術(shù)，則是利用機器學(xué)習(xí)實現(xiàn)一種模仿生物大腦工作的方式。

在藝術(shù)領(lǐng)域，機器學(xué)習(xí)的應(yīng)用研究目標多為自動化和自主創(chuàng)造系統(tǒng)的開發(fā)，關(guān)注的是對人類藝術(shù)創(chuàng)造力的模擬，目的是產(chǎn)生可與人類藝術(shù)作品相媲美的生成制品。在音樂創(chuàng)作領(lǐng)域，機器學(xué)習(xí)技術(shù)從20世紀80年代開始運用，目的在于創(chuàng)造基于音樂風(fēng)格模仿的自動作曲系統(tǒng)。早期的音樂風(fēng)格模仿多采用結(jié)構(gòu)化學(xué)習(xí)方式，采用MIDI縮減樂譜或其他抽象描述符作為數(shù)據(jù)集對程序進行訓(xùn)練，對于結(jié)構(gòu)和寫作技法非常規(guī)整的作品，該方法能夠生成與作曲家風(fēng)格高度近似的結(jié)果，對于結(jié)構(gòu)和技法較為自由的近現(xiàn)代作品則較難取得令人滿意的效果。目前，深度學(xué)習(xí)技術(shù)已允許在音樂風(fēng)格模仿使用結(jié)構(gòu)化數(shù)據(jù)，即通過音頻文件作為數(shù)據(jù)集進行訓(xùn)練，但直面聲音數(shù)據(jù)的訓(xùn)練方式，使其在音樂風(fēng)格的適應(yīng)性上更為廣泛，例如在管弦樂創(chuàng)作上，該方法對于對頻譜主義等偏向挖掘聲音潛力的風(fēng)格有著較好的適應(yīng)性。以上兩種方法都是為了“替代人工”的目的而開發(fā)的，在實際應(yīng)用中，尤其是需要批量生產(chǎn)音樂產(chǎn)品的場景中具有很強的應(yīng)用潛力。但是，由于依賴于現(xiàn)存的數(shù)據(jù)集，此類方法適合在已有音樂風(fēng)格與技法的基礎(chǔ)上進行生成，缺乏創(chuàng)新潛力。此外，由于其學(xué)習(xí)與生成過程是封閉的，用戶無法對其施加影響，所以該類方法幾乎將人為要素從音樂創(chuàng)作中消除了，音樂家無法借助此方法來形成個人的藝術(shù)表達。

交互式電子音樂是追求創(chuàng)新、力求拓展藝術(shù)邊界的實踐形式，類似風(fēng)格模仿的封閉式機器學(xué)習(xí)顯然是不適用于它的。但是，在創(chuàng)作過程的部分環(huán)節(jié)中使用機器學(xué)習(xí)技術(shù)，在人類主導(dǎo)創(chuàng)作的前提下加入程序自主的輔助行為，對于藝術(shù)表現(xiàn)的拓展與創(chuàng)作效率的提升，都將是有益的嘗試。例如，筆者在本文第3部分中所分析的3部作品，與同類作品相比都帶來了新的藝術(shù)呈現(xiàn)效果，其設(shè)計理念也均有不尋常之處。其中，11 Degrees of Dependence沒有設(shè)置獨立的交互手勢，它的交互動作基于演奏器樂時的演員姿勢變化與手指運動帶來的肌肉狀態(tài)變化；Corpus Nil演員的身體幾乎靜止，使用非常細微的動作幅度來控制視聽內(nèi)容的變化；Delearning則采用了完全現(xiàn)場即興的創(chuàng)作方式，呈現(xiàn)內(nèi)容源自表演者與計算機程序之間的相互理解。如果完全使用傳統(tǒng)編程方式來實現(xiàn)這些作品的設(shè)計，不僅難度極高，工作量也十分龐大，而機器學(xué)習(xí)技術(shù)的加入恰好解決了作品的創(chuàng)意需求，并提升了創(chuàng)作效率。

（二）開放式的創(chuàng)作系統(tǒng)：半自動化映射的實現(xiàn)

參數(shù)映射是交互式電子音樂設(shè)計時需要耗費人工較多的環(huán)節(jié)，對此情況，機器學(xué)習(xí)可提供改良方案。多元線性回歸是此類情景下較為適用的算法，它可以在手勢特征和聲音合成參數(shù)之間定義復(fù)雜、連續(xù)的映射函數(shù)。當(dāng)前，使用該類算法的較為典型的工具是Wekinator，它是專用于交互藝術(shù)的機器學(xué)習(xí)軟件平臺，能夠通過開發(fā)式聲音控制協(xié)議（OSC）與其他編程環(huán)境。如圖2所示，獨立的手勢識別程序Handpose OSC可與Wekinator建立通信，共同服務(wù)于交互系統(tǒng)的搭建。

類似Wekinator的機器學(xué)習(xí)平臺的優(yōu)勢在于采用了通用化的通信協(xié)議，適用性強，用戶可以將其與自己使用的編程環(huán)境結(jié)合起來使用。在創(chuàng)作應(yīng)用當(dāng)中，使用該類平臺進行聲音與動作映射的步驟可被歸納3個。

1.訓(xùn)練集形成

在進行該步驟前，創(chuàng)作者應(yīng)完成聲音合成與調(diào)制程序的搭建，并將作為控制數(shù)據(jù)輸入的傳感器或控制器數(shù)據(jù)引入到程序當(dāng)中，完成交互系統(tǒng)的輸出與輸出端搭建，并將所有需要參與映射的參數(shù)進行梳理。之后，由程序代理，將各參數(shù)整合到數(shù)據(jù)集當(dāng)中。此時，訓(xùn)練集中的各個參數(shù)被整合到線性回歸算法當(dāng)中，其中的控制參數(shù)作為自變量，被控制參數(shù)作為因變量，程序內(nèi)的人工神經(jīng)網(wǎng)絡(luò)（ANN）將運用這些數(shù)據(jù)建立一個統(tǒng)計模型，為訓(xùn)練工作做好準備。

2.演奏實驗

在該步驟當(dāng)中，創(chuàng)作者需要模擬表演時的情景，使用手勢對程序發(fā)出的聲音進行控制。在此過程中，神經(jīng)網(wǎng)絡(luò)會在不同的自變量與因變量間自動創(chuàng)建配對，之后由作者進行演奏實驗，測試手勢運行軌跡、速度、幅度與聲音表現(xiàn)之間的關(guān)系。雖然在神經(jīng)網(wǎng)絡(luò)的支持下，參數(shù)映射是自動形成的，但是由于音樂進行過程中，各個段落要使用的發(fā)聲模塊（采樣器、效果器、合成器等）組合不同，且模塊組合仍需要作者指定，因此，在這個實驗過程中，作者仍可以對程序進行人工干預(yù)，以保證音樂的結(jié)構(gòu)設(shè)計符合作者的意愿。

3.評估與保存

當(dāng)映射形成后，作者需要對其結(jié)果進行評估（可用或不可用），其中被采用的結(jié)果將被作為“用戶偏好”選項反饋給神經(jīng)網(wǎng)絡(luò)，為程序在接下來的映射搭建中提供參考。同時，對于可用選項，用戶可以將其存儲在程序中，使這些適用的映射結(jié)果在作品的實際演出中可以被調(diào)用。對于不可用選項，程序會將其刪除，并為用戶提供新的映射方案，也就是回到先前的演奏實驗步驟，再由用戶進行評估。

此類方法屬于典型的有監(jiān)督學(xué)習(xí)，保證了創(chuàng)作者的決策權(quán)，同時也實現(xiàn)了映射工序的半自動化。即使用戶不具備專業(yè)的計算機編程與機器學(xué)習(xí)相關(guān)知識，也能夠使用該類工具完成交互系統(tǒng)的設(shè)計。

（三）人機共創(chuàng)的形成

使用機器學(xué)習(xí)技術(shù)接管參數(shù)映射工作的前提，是通過人工神經(jīng)網(wǎng)絡(luò)，將聲音與動作參數(shù)整合成為一個由數(shù)據(jù)構(gòu)成的空間。用戶通過回歸算法在空間內(nèi)進行探索的同時，也在探索聲音表現(xiàn)上的可能性。每位創(chuàng)作者都存在既定思維模式，如果以人工方式進行映射，某些組合很可能會被認為是不適用的，創(chuàng)作者在聽到聲音前就會提前否認這些組合，構(gòu)成了參數(shù)空間中的死角。而機器學(xué)習(xí)的介入，則能夠全面地探索空間中的所有區(qū)域，有可能為創(chuàng)作者帶來意外的結(jié)果，創(chuàng)造新的藝術(shù)表現(xiàn)。除了打破創(chuàng)作習(xí)慣外，創(chuàng)作者與程序的共同探索也可以成為反思藝術(shù)實踐和審美立場的工具。

機器學(xué)習(xí)參與創(chuàng)作，不僅能夠?qū)?chuàng)作者從低效率的人工操作中解放出來，同時也讓交互藝術(shù)創(chuàng)作過程中的代理權(quán)分布發(fā)生了局部變化：計算機不僅是人類用于實現(xiàn)意圖表達的工具，機器學(xué)習(xí)賦予的微量主觀能動性，使其成為拓展人類藝術(shù)實踐能力的助手。因此，機器學(xué)習(xí)的加持，使得如今的交互系統(tǒng)設(shè)計從人機互動狀態(tài)進化到了人機共創(chuàng)新局面。近年來，已有一些交互式電子音樂作品在創(chuàng)作過程中使用了機器學(xué)習(xí)技術(shù)，人機共創(chuàng)的形式在這些作品中均得到了不同程度的體現(xiàn)。

三、基于人機共創(chuàng)系統(tǒng)的作品案例分析

（一）11 Degrees of Dependence（2016）

1.作品設(shè)計概覽

這是一首為薩克斯管（中音）、電吉他與可穿戴傳感器創(chuàng)作的作品，作者是費德里科·格里·維希（Federico Ghelli Visi）①。該作品探討了表演者和他們的樂器之間的關(guān)系，關(guān)注點是樂器演奏的慣用姿態(tài)對身體運動的限制，旨在挖掘演奏者在演奏動作之外能產(chǎn)生的姿態(tài)與其表現(xiàn)潛力。為了完成這個設(shè)計，作者特意安排兩位演奏者在表演樂器的同時，運用肢體去完成對電子聲音的觸發(fā)和控制。

作者使用了MYO腕帶（圖5）作為傳感器，該設(shè)備通過偵測手臂活動時肌肉產(chǎn)生的生物電信號變化來實現(xiàn)對手勢的捕捉。相比于基于空間位置偵測的傳感器，基于生理感應(yīng)的設(shè)備能夠捕捉到更加細微的動作變化。另外，它所提供的參數(shù)維度也更多，在與控制參數(shù)較多的合成器進行映射控制時，能夠組成維度更廣的參數(shù)空間，供作曲家選擇。

2.機器學(xué)習(xí)技術(shù)運用分析

在這首作品當(dāng)中，作者利用機器學(xué)習(xí)技術(shù)將演奏者的動作與基于物理建模技術(shù)的合成聲音進行連續(xù)映射。薩克斯管樂手和吉他手各自戴兩個MYO腕帶，其中薩克斯管樂手的腕帶用于控制物理建模合成器程序（用于合成長笛音色），吉他樂手的腕帶則用于控制放置在吉他柄上的電聲共鳴器。由于演奏者的雙手都要用來控制樂器，作者轉(zhuǎn)而采用演奏者的身體姿態(tài)來控制合成器。就薩克斯管樂手而言，其主要控制姿態(tài)為以下4種：

（1）默認的演奏姿勢（命名為“休息”），雙臂舒適地放在胸側(cè)；

（2）輕輕向后靠，抬起薩克斯管，肘部微微張開（名為“開放”）；

（3）向左傾斜，右肘略微向外（名為“左”）；

（4）向右傾斜，左手肘略微向外（名為 “右”）。

以上幾種姿態(tài)也被記寫在樂譜當(dāng)中。如圖6所示，樂譜采用了傳統(tǒng)的記譜法和一些自定義符號（每行樂譜下方），用于記述姿態(tài)變化。圖形符號用于表示在對應(yīng)時間點上應(yīng)該達到的姿態(tài)，紅線顯示了不同姿勢之間的過渡。這些線條類似于傳統(tǒng)音樂符號中常見的其他線條，兩個符號之間的直線意味著表演者從第一個符號所代表的姿態(tài)開始，逐漸向第二個符號所代表的姿態(tài)移動。姿態(tài)之間的過渡所產(chǎn)生的動作應(yīng)該在與第二個符號對應(yīng)的地方結(jié)束。

由于這些動作需要全身的多處關(guān)節(jié)與肌肉配合，因此，采用手動作業(yè)顯然會將映射過程變得極為煩瑣，因此，參數(shù)映射是通過監(jiān)督學(xué)習(xí)完成的。內(nèi)置在腕帶中的磁強計的橫向（音高）和縱向（滾動）軸的數(shù)據(jù)被用來作為訓(xùn)練機器學(xué)習(xí)模型的輸入。在訓(xùn)練階段，每個姿勢都與一組物理建模的合成參數(shù)相配合，用于生成不同類型的長笛音色。其中，“休息”姿態(tài)與具有清晰基頻的單音吹奏聲相匹配的，“開放”姿態(tài)與呼吸噪聲對應(yīng)，“左”姿態(tài)將觸發(fā)泛音，“右”姿勢則觸發(fā)彈吐音。該建模合成器所產(chǎn)生的參數(shù)是連續(xù)的，因此各個動作觸發(fā)的聲音也是連續(xù)變化的，在實際演出時可與薩克斯的聲音相融合，產(chǎn)生不同尋常的混合音色。長笛模型演奏的音高是C1，這也是該作品的調(diào)性。輸入物理模型的模擬吹奏力度是由識別肌肉表面電壓變化生成的肌電圖（EMG）控制的，該數(shù)值對應(yīng)演奏者前臂肌肉運動的狀態(tài)，當(dāng)薩克斯演奏者的手指按動不同組合的按鍵時，手指牽動的前臂肌肉動態(tài)將觸發(fā)不同力度的長笛聲。電吉他與電聲共鳴器之間的關(guān)系也基于同理。通過此方式，真實樂器與合成器的發(fā)聲節(jié)奏、力度能夠被聯(lián)系起來。

3.機器學(xué)習(xí)技術(shù)對作品表現(xiàn)的影響

作者所設(shè)定的立意使得“記錄表演者姿態(tài)”在這首作品中成為必須要使用的元素。在同類作品中，手勢是用于控制電子合成器的常用選項，無論是基于空間坐標還是角度，手勢能夠產(chǎn)生足夠的運動幅度與明確的軌跡來為計算機程序提供數(shù)據(jù)。而身體姿態(tài)的情況更為復(fù)雜，它涉及多處肌肉的狀態(tài)，不具有明確變化軌跡，因此，使用機器學(xué)習(xí)技術(shù)，通過訓(xùn)練來讓程序識別各個姿態(tài)，并將其與對應(yīng)的聲音進行映射，是更為可行的方案，保障了創(chuàng)意的實施。

此外，作品中包含有真實樂器與電子合成器，兩種聲音的結(jié)合方式需要合理的設(shè)計。在這部作品中，作者把基于物理建模合成的長笛音色與薩克斯管的聲音集合，并為電吉他施加額外的電子效果，將電子聲設(shè)計成了真實樂器的延伸，以混合音色的狀態(tài)表現(xiàn)。這需要樂器聲與電聲能夠以相同的頻譜與幅度進行演奏，才能保證二者完美貼合。設(shè)計為演奏增加的半自動的映射，比如將薩克斯管的按鍵動作與物理建模合成器中的吹奏力度結(jié)合起來，使真實的聲音和電子聲能夠更加緊密地結(jié)合在一起，這是機器學(xué)習(xí)為這部作品帶來的另一層助力。

（二）Corpus Nil（2017）

1.作品設(shè)計概覽

這是一部將舞蹈與現(xiàn)場音樂相結(jié)合的劇場作品，由馬可·多納魯馬（Marco Donnarumma）①創(chuàng)作并親自表演（圖8）。在時長20分鐘的表演過程中，作者在電子聲音、人的身體之間構(gòu)建激烈的、儀式性的互動。作品中的舞蹈元素十分反傳統(tǒng)，表演者幾乎是以靜態(tài)的方式匍匐在舞臺上進行表演的，通過控制身體各部分的肌肉做微弱的變形形成動作，這些變形會通過傳感器的捕捉，在聲音的維度里得到擴大。結(jié)合線性回歸算法的分析和學(xué)習(xí)，軟件中的聲音合成算法能夠?qū)ρ葑嗾叩膭幼髯鞒雒翡J的反應(yīng)。聲音的表現(xiàn)又為表演者提供了反饋，指導(dǎo)表演者調(diào)整動作與編排方式，從而與樂器建立一種連續(xù)的、適應(yīng)性的對話關(guān)系。這部作品因此拋棄了表演者對樂器的完全控制，轉(zhuǎn)而采用兩者之間不穩(wěn)定的肉體接觸。結(jié)合作品中的聲光變化，表演者的身體與“樂器”似乎在概念上都發(fā)生異化，塑造出一個全新的生命形態(tài)。

2.機器學(xué)習(xí)技術(shù)運用分析

作者在表演時佩戴了兩種生物信號傳感器，其中，接觸式麥克風(fēng)負責(zé)捕捉來自肌肉和內(nèi)部器官的聲音，肌電圖傳感器（EMG）則負責(zé)將肌肉因形變產(chǎn)生的電壓變化轉(zhuǎn)換成數(shù)據(jù)，傳輸?shù)交跈C器學(xué)習(xí)技術(shù)的定制軟件中。該軟件是作者與來自法國IRCAM、英國倫敦大學(xué)金匠學(xué)院（Goldsmith）的專家合作開發(fā)的，由一組算法相互連接，形成一個遞歸網(wǎng)絡(luò)。這些算法有不同的任務(wù)，如生物信號分析、運動細微差別的學(xué)習(xí)（通過線性回歸和統(tǒng)計算法）和聲音再合成。其中，每一組算法會從表演者的身體中提取一組代表運動特征的數(shù)據(jù)，這些數(shù)據(jù)不代表運動本身，因為它不表示運動的軌跡和形狀，它表示肌肉的力量、收縮的突然性和肌肉的阻尼等運動時身體產(chǎn)生的特征性變化。這些特征說明了動作的運行特點，以及動作之間的銜接方式。

在數(shù)據(jù)的處理和運用方面，設(shè)計者采用了基于機器學(xué)習(xí)的算法——姿態(tài)變化跟隨（GVF），適用于實時跟蹤連續(xù)運動變化。為了讓不同的藝術(shù)家能夠使用該系統(tǒng)，設(shè)計者為這套系統(tǒng)添加了快速校準功能。軟件會在表演過程中，生成對表演者身體產(chǎn)生的所有聲音的振幅和頻率的描述（區(qū)間為1Hz～40Hz），以及這些數(shù)據(jù)隨時間變化的曲線，用于控制聲音程序。軟件的聲音程序主要由一套包含20個數(shù)字振蕩器的信號合成網(wǎng)絡(luò)構(gòu)成。由于舞蹈演出動作本身也是對程序的訓(xùn)練，現(xiàn)場編排動作時就需要控制身體，做出緩慢、細膩且重復(fù)的身體動作，產(chǎn)生的聲音也是緩慢、帶有遞進變化的。在作品進行到高潮段落時，因程序已經(jīng)過了較長時間的學(xué)習(xí)，身體動作與聲音的變化已達成了深度的、全面的映射關(guān)系，此時表演者可使用較大幅度和較高變化頻率的動作，帶動聲音發(fā)生激烈的變化，配合由聲音驅(qū)動的舞臺燈光，形成極具張力的演出效果。

3.機器學(xué)習(xí)技術(shù)對作品表現(xiàn)的影響

（1）“人機裝置”的形成

作者馬可·多納魯馬具有舞蹈和電子音樂的跨領(lǐng)域創(chuàng)作經(jīng)驗，他在個人創(chuàng)作實踐中一直致力于將人體與電子媒介相結(jié)合。作者曾在他的論文中表示：“通過這些方法和工具，表演者身體的物理和生理特性與電子樂器的材料交錯在一起，產(chǎn)生不同程度的互相影響。這樣的作品被其命名為‘人機裝置：音樂表達產(chǎn)生于人體、程序化的音樂理念、聲音之間的緊密協(xié)調(diào)，而且協(xié)調(diào)的過程與結(jié)果經(jīng)常是不可完全預(yù)測的?！雹貱orpus Nil的產(chǎn)生即是源于此理念。這部作品中并未使用傳統(tǒng)意義上的舞蹈動作，而是采用了小幅度的人體姿態(tài)變化，這樣的控制行為缺乏明顯的運動軌跡特征，很難用人工的方式去和聲音程序映射。如果使用機器學(xué)習(xí)的方式去做自動化映射，程序就能夠深度提取人體狀態(tài)變化的特征，為其動作與聲音創(chuàng)造緊密的結(jié)合。因此，機器學(xué)習(xí)技術(shù)是促成“人機裝置”設(shè)計理念落地成型的關(guān)鍵。

（2）對身體包容性

在創(chuàng)作這部作品之前，作者在舞蹈與音樂結(jié)合的領(lǐng)域已有多年的創(chuàng)作經(jīng)驗。在此過程中，他逐漸意識到了該類藝術(shù)存在的生理條件壁壘。他表示：“我清楚地意識到，在姿態(tài)音樂的表演中所表現(xiàn)出來的那種身體，大多數(shù)時候是一個嚴重標準化的身體，是一個符合特定標準的正常身體。這促使我研究如何利用姿態(tài)音樂表演和人機交互的元素——與運動和美學(xué)研究相結(jié)合。結(jié)合運動和審美的研究，創(chuàng)造一種不同的表演實踐，一種將人體作為一個不斷變化的、具有多種潛能和不同體現(xiàn)形式的流動實體的實踐，而不是像我們的社會制度所確立的那樣，是一個靜態(tài)的、受控的和控制的主體?！雹儆纱丝梢姡珻orpus Nil也是作者對于藝術(shù)實踐公平化追求的體驗，作品中所使用的反傳統(tǒng)的舞蹈動作，正是對身體障礙群體參與舞臺演出，形成藝術(shù)表達的一種探索。機器學(xué)習(xí)技術(shù)所包含的神經(jīng)網(wǎng)絡(luò)與回歸算法，賦予這套系統(tǒng)很強的包容性，它不僅可以允許作者以外的藝術(shù)家使用，還可以為不具有舞蹈表演經(jīng)驗或身體存在障礙的用戶帶來體會舞臺藝術(shù)表演的機會。

（三）Delearning （2019）

Delearning是由田中能②創(chuàng)作的一首交互式電子音樂作品。這部作品的材料來自于作者為室內(nèi)管弦樂隊創(chuàng)作的作品DSCP所制作的，用于機器學(xué)習(xí)程序訓(xùn)練的人聲語料庫，通過神經(jīng)網(wǎng)絡(luò)與回歸算法映射手勢的輸入，實現(xiàn)靈活的現(xiàn)場交互效果。

1.作品設(shè)計概覽

作品Delearning是典型的使用手勢表演的交互式電子音樂，采用數(shù)字合成器作為聲源，由多個手勢參數(shù)控制合成器完成現(xiàn)場演出。

作者在交互音樂設(shè)計方面具有資深經(jīng)驗，在設(shè)計這首作品時，他引入機器學(xué)習(xí)技術(shù)，將計算機變轉(zhuǎn)為共同創(chuàng)作的成員。為了突出機器學(xué)習(xí)所帶來的“智能”，他將這首作品設(shè)定為現(xiàn)場創(chuàng)作的即興式電子音樂。作者對程序的一部分訓(xùn)練是在演出現(xiàn)場進行的，由當(dāng)前段落狀態(tài)決定下一段落的走向，通過持續(xù)積累完成整首作品。基于這種特性，這首作品在每次演出時都會呈現(xiàn)不同的聲音，展現(xiàn)了機器學(xué)習(xí)技術(shù)介入所產(chǎn)生的靈活性。

2.機器學(xué)習(xí)技術(shù)運用分析

MYO腕帶所能夠提供的參數(shù)主要來自其通過生物電檢測形成的肌電圖（EMG）與檢測手臂運動的慣性測量單元（IMU）。手勢參數(shù)維度共計19個，全部取自右前臂，包括 IMU四元數(shù)（4個維度）、角速度（4個維度），經(jīng)過貝葉斯濾波處理的前臂周長（8個通道），水平和垂直方向上的肌肉張力（2個維度）。

這首作品采用了聲音粒子合成技術(shù)，將一段室內(nèi)管弦樂隊的錄音（取自作者本人的作品DSCP）作為源音頻文件。作者選用這部作品是因為它包含了多種多樣的音色和動態(tài)，同時在時間上是連貫的。在演出之前，作者會使用程序?qū)σ纛l文件進行分析，以生成音頻描述符，并通過瞬態(tài)發(fā)作檢測將其分割成粒子。在實際操作過程中，這段18分鐘的音頻文件被分割成21000段合成粒子，平均每個粒子的長度為50毫秒、從作者提供的參數(shù)列表（圖9）可以看到19個維度的參數(shù)，這些參數(shù)具體包含有粒子持續(xù)時間（Duration，1個維度），頻率平均值（Frequency，2個維度）、標準差的頻率能量（Energy，2個維度）；周期性（Periodicity，2個維度）；自相關(guān)系數(shù)（AC1，2個維度）、響度（Loudness，2個維度）；頻譜中心點（Centroid，2個維度）、擴散（Spread，2個維度）、傾斜（Skewness，2個維度）、峰度（Kurtosis，2個維度）。

在參數(shù)提取步驟完成后，手勢輸入?yún)?shù)空間通過神經(jīng)網(wǎng)絡(luò)被映射到目標音頻的參數(shù)空間。該神經(jīng)網(wǎng)絡(luò)創(chuàng)建了一個回歸算法模型，將手勢的執(zhí)行和聲音的合成輸出聯(lián)系起來。表演者右臂上的EMG和IMU傳感器為神經(jīng)網(wǎng)絡(luò)提供19個維度的手勢參數(shù)，而左臂的EMG傳感器則負責(zé)調(diào)節(jié)合成器的整體振幅，IMU的四元數(shù)在創(chuàng)作的不同點上調(diào)制粒子構(gòu)成、濾波器參數(shù)和空間化效果。

這首作品的機器學(xué)習(xí)訓(xùn)練是在演出現(xiàn)場進行的。在初始狀態(tài)，回歸算法模型中不包含任何內(nèi)容，程序會播放一個聲音粒子，演奏者需要在聽到后編排一個與之相符合的手勢，并將其作為訓(xùn)練數(shù)據(jù)記錄到神經(jīng)網(wǎng)絡(luò)中。神經(jīng)網(wǎng)絡(luò)在經(jīng)過訓(xùn)練，會進入測試模式，表演者需要通過流暢、動態(tài)的手勢探索參數(shù)空間，回歸算法模型通過比對訓(xùn)練數(shù)據(jù)，向合成器報告一組音頻描述符。此時，合成器程序會應(yīng)用近鄰算法，在粒子庫選取符合要求的音頻片段，將其播放出來。此時，表演者需要再次根據(jù)該聲音做出適合的手勢，神經(jīng)網(wǎng)絡(luò)也將被重置回到訓(xùn)練模式，重復(fù)之前進行過的步驟。整首作品在五次迭代的基礎(chǔ)上形成，在此過程中，回歸算法模型被不斷拓展，創(chuàng)造出音樂的結(jié)構(gòu)，手勢與手音樂參數(shù)之間的映射逐漸變得更加豐富和密集，與此同時發(fā)展的是愈加豐富的聲音層次。

3.機器學(xué)習(xí)技術(shù)對作品表現(xiàn)的影響

（1）控制手勢的意義革新

Delearning包含了由19個輸入維度、19個輸出維度構(gòu)成的龐大參數(shù)空間，現(xiàn)場進行的程序訓(xùn)練就像在空間中進行探索，每次演出都有可能走出不同的路線，演奏出不同的聲音。作品的交互手勢，不再是單純的指揮信號，而是成為了表演者與計算機一同商討作品下一步發(fā)展方向的交流手段。革新了手勢在交互式電子音樂中的意義，實現(xiàn)了真正的人機共同創(chuàng)作。

（2）基于天性的即興創(chuàng)作

在Delearning的現(xiàn)場訓(xùn)練過程中，程序會先為表演者播放聲音，表演者基于自己對該聲音的理解提供手勢，成為訓(xùn)練集的輸入數(shù)據(jù)，塑造之后連續(xù)進行的音樂內(nèi)容。這樣的互動形式，基于表演者對聲音的個人體驗，而其后產(chǎn)生的聲音內(nèi)容，也將帶有表演者的個人色彩。在傳統(tǒng)的電子音樂表演活動中，只有經(jīng)過長時間學(xué)習(xí)與實踐的專業(yè)創(chuàng)作者，才能在現(xiàn)場創(chuàng)作出具有個人特色的音樂作品。而Delearning所呈現(xiàn)的即興創(chuàng)作形式，有潛力為更多受眾提供個人化的聲音創(chuàng)作的體驗，它僅需要表演者供自己對聲音自發(fā)的、基于天性的理解，并用手勢在演示與控制步驟中表達出來，以此簡單方式，便能呈現(xiàn)出個性化的聲音。因此，這部作品所提供的運用機器學(xué)習(xí)的形式，有可能為未來的電子音樂創(chuàng)作提供一個更加具有包容性的方向。

三、機器學(xué)習(xí)技術(shù)在交互式電子音樂創(chuàng)作中的應(yīng)用價值總結(jié)

在上一章中，本文對三部較為典型地運用了機器學(xué)習(xí)技術(shù)的交互式電子音樂作品進行了分析。從三部作品在整體構(gòu)思、創(chuàng)作、舞臺表現(xiàn)三個環(huán)節(jié)中對機器學(xué)習(xí)技術(shù)的應(yīng)用，可以看到該技術(shù)對于作品的深入影響，并發(fā)現(xiàn)其應(yīng)用價值。本章將結(jié)合前文的分析結(jié)果，將機器學(xué)習(xí)技術(shù)在交互式電子音樂作品中的應(yīng)用價值進行總結(jié)。

（一）提升映射參數(shù)步驟的工作效率

三部作品的表現(xiàn)形式雖然有所不同，但“姿態(tài)與電子聲的映射”都得到了明確的體現(xiàn)。在11 Degrees of Dependence與Corpus Nil當(dāng)中，作者沒有采用明確的手勢作為控制動作，使用的都是相對小幅度的全身動作，產(chǎn)生的參數(shù)維度數(shù)量會比傳統(tǒng)的手勢參數(shù)要多得多，如果以手動方式將其與聲音參數(shù)進行映射，工作量會非常巨大，其復(fù)雜程度會導(dǎo)致項目幾乎無法完成。但是在機器學(xué)習(xí)技術(shù)的幫助下，兩部作品的作者都通過訓(xùn)練的方式，實現(xiàn)了姿態(tài)與聲音的半自動映射。

機器學(xué)習(xí)技術(shù)對映射效率的提升，是其應(yīng)用價值最為直觀的體現(xiàn)，不僅節(jié)省了手動映射的時間，同時也讓傳統(tǒng)技術(shù)環(huán)境下無法實現(xiàn)的多維度參數(shù)映射能夠得以實施。

（二）改變當(dāng)前藝術(shù)創(chuàng)作活動中的代理關(guān)系

本文第一章曾論述過交互藝術(shù)中“人機互動”的單向?qū)嵸|(zhì)。從代理權(quán)的角度來看，人類是主要代理，作為工具的計算機是次級代理，次級代理對象只單純地響應(yīng)主要代理發(fā)出的指令，沒有自發(fā)行動能力。而隨著機器學(xué)習(xí)技術(shù)的加入，如今的計算機能夠讓藝術(shù)生產(chǎn)中的代理關(guān)系發(fā)生局部的改變：工具有著突破次級代理地位的可能性。

具有學(xué)習(xí)能力的計算機，具備了自主改變藝術(shù)生產(chǎn)狀態(tài)的能力。它們不僅可以協(xié)助創(chuàng)作任務(wù)，還能夠拓展創(chuàng)作可能性的空間，打破創(chuàng)作者的固有實踐路線，影響其藝術(shù)思維，成為創(chuàng)作者的合作對象。

（三）增強藝術(shù)作品的包容性與公共性

交互式電子音樂的創(chuàng)作和演出是具有高度專業(yè)性的活動，其中包含的繁雜的控制細節(jié)，只有創(chuàng)作者本人才能熟記并順利操作，因此，由創(chuàng)作者親自演出其作品對于此類藝術(shù)而言是常見的形式。作者與作品演出的綁定雖然能夠保證作品的精準呈現(xiàn)，但是對于作品的傳播與再演繹會形成阻礙。

基于前文分析可見，配備了機器學(xué)習(xí)技術(shù)計算機程序會學(xué)習(xí)和理解表演者的動作，并將其與聲音部分做相對合理化的映射。因此，該類程序具有較高的容錯率，表演者可以根據(jù)自己的意愿去和計算機進行互動。在此基礎(chǔ)上，交互式電子音樂也可采用傳統(tǒng)器樂曲的演出方式：程序就像是樂譜，是音樂進行的抽象化記述，同一首作品可以被不同的演奏者演繹并加入自己的理解與演繹。這樣的特性，增強了這種藝術(shù)作為音樂的包容性，對于其藝術(shù)潛力的進一步發(fā)掘是有積極意義的。

公共性是互動藝術(shù)的標志之一，觀眾能夠參與并體驗，對于該類藝術(shù)而言非常重要，但大多數(shù)交互式電子音樂并不具備此特性。在Corpus Nil與Delearning當(dāng)中，創(chuàng)作者都使用了現(xiàn)場訓(xùn)練的方式來創(chuàng)造姿態(tài)與聲音的映射，這使得不具備專業(yè)經(jīng)驗的人士也可以通過自己對聲音的理解來訓(xùn)練程序，并形成自己的聲音演出。這種特性為交互式電子音樂增加了公共性，有助于其體驗的推廣。

結(jié) 語

加入機器學(xué)習(xí)技術(shù)的交互式電子音樂，能夠在保留人的控制權(quán)的前提下，讓計算機參與局部的創(chuàng)作任務(wù)，形成“人機共創(chuàng)”的實踐系統(tǒng)。在現(xiàn)場演出中，其靈活的反饋行為也能強化其包容性的公共性，為參與者帶來更多樣的體驗，在未來的藝術(shù)創(chuàng)作中，有著一定的應(yīng)用和推廣價值。從本文分析的三部作品的發(fā)表時間來看，機器學(xué)習(xí)技術(shù)在作品的構(gòu)思與創(chuàng)作環(huán)節(jié)的介入深度在隨時間逐漸遞增，這個趨勢也反映了，機器學(xué)習(xí)與交互式電子音樂創(chuàng)作的結(jié)合在未來仍會繼續(xù)發(fā)展，并創(chuàng)造出新的藝術(shù)語言。

◎本篇責(zé)任編輯 錢芳

參考文獻：

[1] F. Visi. Methods and Technologies for the Analysis and Interactive Use of Body Movements in Instrumental Music Performance[D]. Plymouth， UK： University of Plymouth， 2017.

[2] C. Pau. Digital Art[M]. New York， USA： Thames & Hudson Inc， 2003.

收稿日期：2023-03-05

基金項目：2022年北京市教育委員會科技計劃一般項目“輔助機器學(xué)習(xí)技術(shù)在交互式電子音樂創(chuàng)作中的應(yīng)用研究”（KM202210046001）。

作者簡介：馬仕驊（1989— ），男，博士，中國音樂學(xué)院作曲系講師（北京 100192）。

① W. Todd， Composing Interactive Music Techniques and Ideas Using Max（ MIT Press， 1998）， p.6.文中外文文獻均為筆者自行翻譯。

② 陸敏捷：《交互式電子音樂概論》，西南大學(xué)出版社，2021，第35頁。

① L. Muller， E. Edmonds， M. Connel， "Living laboratories for interactive art，" in CoDesign， 2（4），p.3.“Interactive art installations are generally computer-based and frequently rely on sensors， which gauge things such as temperature， motion， proximity， and other meteorological phenomena that the maker has programmed in order to elicit responses based on participant action.”

② Alfred Gell， Art and Agency：An Anthropological Theory（Oxford：Clarendon Press，1998）.

① Tom Mitchell， Machine Learning （New York： McGraw Hil， 1997）. “Machine learning （ML） is a field devoted to understanding and building methods that let machines "learn" - that is， methods that leverage data to improve computer performance on some set of tasks.”

① 費德里科·格里·維希，瑞典呂勒奧科技大學(xué)皮特奧音樂學(xué)院（School of Music in Pitea， Lulea University of Technology， Sweden）講師。

② 本場演出電吉他演奏為作者費德里科·格里·維希本人，薩克斯演奏為安娜·加西亞·卡拉巴羅斯（Ana Garcia Caraballos）。

① 馬可·多納魯馬（Marco Donnarumma）是現(xiàn)居德國柏林的新媒體藝術(shù)家、表演者、舞臺導(dǎo)演和學(xué)者。

② 表演者為作者本人。

① C. Baptiste ，D. Marco ， “Artificial Intelligence in Music and Performance：A Subjective Art-Research Inquiry，”in M. Eduardo ，Handbook of Artificial Intelligence for Music （Cham， Switzerland：Springer， 2020），p. 82.“Through this method， which I term human—machine configuration， musical expression arises from an intimate and， often， not fully predictable negotiation of human bodies， instruments， and programmatic musical ideas.”

① C. Baptiste ，D. Marco ， “Artificial Intelligence in Music and Performance：A Subjective Art-Research Inquiry，” in M. Eduardo ， Handbook of Artificial Intelligence for Music（Cham， Switzerland：Springer， 2020），p. 79.“This triggered me to investigate how elements of gestural music performance and HCI could be exploited—in combination with research on movement and aesthetic—to create a different kind of performance practice; a practice that would account for the human body as an everchanging， fluid entity with multiple potentials and varying forms of embodiment，instead of a static， controlled and controlling subject as established by our societal regime.”

② 田中能，倫敦大學(xué)金匠學(xué)院（Goldsmiths， University of London）教授，研究領(lǐng)域集中于在交互式電子音樂中運用生理感應(yīng)技術(shù)，特別是肌電圖信號中的肌肉張力，以及對這種復(fù)雜的有機數(shù)據(jù)進行機器學(xué)習(xí)分析。

① 表演者為作者本人。