基于互聯(lián)網(wǎng)的音樂信息傳輸技術(shù)研究及應(yīng)用初探

韓金昊/楊萬鈞

引 言

2019年起，受新冠疫情（COVID-19）影響，全球各大音樂演出機構(gòu)不得不停止線下演出，轉(zhuǎn)而以虛擬音樂會形式在線進行音樂表演。不過受技術(shù)條件與客觀網(wǎng)絡(luò)質(zhì)量影響，直播平臺為保證流暢的信號傳輸，都會對音視頻信息進行壓縮，而有損壓縮算法會對信號質(zhì)量產(chǎn)生無法還原的失真及數(shù)據(jù)丟失。另一方面，直播和在線會議平臺不對參與者的聲音信號進行強制同步校驗，使得在同一直播間或會議室的數(shù)個參與者間會產(chǎn)生不同長度的信號延遲，用于音樂表演其質(zhì)量會受到嚴重影響。

在音樂創(chuàng)作方面，作曲家在使用網(wǎng)絡(luò)會議時很難和演奏員流暢的交流，音頻質(zhì)量也達不到演奏標準，使得在創(chuàng)作時受到極大影響。盡管市場上有一些成熟的商業(yè)音頻傳輸系統(tǒng)，但能滿足線上音樂表演需求的均價格不菲，因而許多作曲家和工程師都在努力探尋一種能夠在保證音頻質(zhì)量的情況下，低成本、高質(zhì)量的傳輸音頻數(shù)據(jù)的技術(shù)方案。

本課題是在疫情造成社會生產(chǎn)受到極大影響，作曲家和表演藝術(shù)家堅持在困難條件下繼續(xù)音樂創(chuàng)作和表演的背景下提出的。筆者和團隊成員針對相關(guān)問題與技術(shù)，檢索并梳理了大量相關(guān)文獻，對部分理論和技術(shù)進行研究實驗，尋找可能的解決方案，通過本文向具有相關(guān)需求的讀者進行介紹。

一、商業(yè)化網(wǎng)絡(luò)音頻傳輸系統(tǒng)

（一）線上虛擬音樂會

十多年前，網(wǎng)絡(luò)音頻傳輸是一項比較復雜的技術(shù)，要實現(xiàn)虛擬線上音樂會通常需要很高的經(jīng)濟和技術(shù)成本，例如自2010年開始的Eric Whitacre虛擬合唱團，在三年內(nèi)實現(xiàn)了從185人到4000人的線上合唱表演，參與者遍布全球73個國家，在虛擬線上音樂會中留下了濃墨重彩的一筆。但他所構(gòu)建的網(wǎng)絡(luò)通訊系統(tǒng)十分龐大，運行成本很高，同時還需得到通信贊助商的支持，因此在完成第三次虛擬合唱音樂會后便不再舉行。

近年來網(wǎng)絡(luò)技術(shù)飛速發(fā)展，音樂信息傳輸技術(shù)得到快速進步，虛擬音樂會的概念也逐漸被大眾接受，一些機構(gòu)也把虛擬音樂會作為演出排期的一種列入計劃。受新冠疫情影響，原定于2020年的許多音樂會都不得不緊急取消或改為線上演出，如2020年紐約城市電子音樂節(jié)（NYCEMF 2020）和2020年國際電子音樂年會（ICMC 2020）都為應(yīng)對當?shù)貒谰囊咔椋某闪司€上虛擬音樂會或線上推廣。

但因客觀經(jīng)濟條件與技術(shù)條件的限制，組委會選用流媒體技術(shù)作為線上音樂會的通信手段。不過以流媒體技術(shù)傳輸?shù)囊纛l信息都會被壓縮以加快傳輸速度，運營商和平臺為了保證流暢度會再次壓縮數(shù)據(jù)，這會對聲音細節(jié)造成不可挽回的損失。為此NYCEMF組委會提供了可下載的工程文件和音頻文件，方便聽眾在非實時環(huán)境中更好地欣賞作品。

由此可見，目前流行的網(wǎng)絡(luò)直播平臺或基于流媒體技術(shù)的網(wǎng)絡(luò)會議平臺并不適用于專業(yè)的音樂數(shù)據(jù)傳輸，難以應(yīng)用于虛擬線上音樂會中，因而需要更符合專業(yè)音樂演出質(zhì)量要求的網(wǎng)絡(luò)音頻傳輸方案。

（二）商業(yè)網(wǎng)絡(luò)音頻傳輸系統(tǒng)

通過網(wǎng)絡(luò)傳輸音頻的技術(shù)已經(jīng)得到廣泛應(yīng)用，但要高質(zhì)量、高精度的傳輸音頻信號，目前只有很少的廠商掌握核心技術(shù)，其中Steinberg公司出品的VST Connect Performer系統(tǒng)是質(zhì)量較穩(wěn)定的常用系統(tǒng)之一。

VST Connect（下文簡稱VSTC）（如圖1所示）的開發(fā)團隊有著超過十年的網(wǎng)絡(luò)音頻傳輸技術(shù)的開發(fā)經(jīng)驗，該系統(tǒng)操作方便、功能強大，易于上手。VSTC是一款強大的音頻信號傳輸及分布式處理軟件，通過內(nèi)置在Cubase和Nuendo中作為一個路由終端，實現(xiàn)音頻傳輸網(wǎng)絡(luò)的構(gòu)建，在專屬網(wǎng)絡(luò)內(nèi)可高質(zhì)量、高精度的傳輸音頻信號、MIDI信號，甚至視頻信號，是當前使用較廣的網(wǎng)絡(luò)音頻傳輸系統(tǒng)之一。

圖1 VST Connection的工作界面

完整版本的Cubase或Nuendo價格較高，為滿足非Steinberg用戶應(yīng)用VSTC技術(shù)，Steinberg公司允許單獨發(fā)行并購買獨立的VSTC程序，可以應(yīng)用于其他工作站或音樂軟件。

VSTC將音頻信號的處理分散至網(wǎng)絡(luò)上的多臺計算機，減少單一計算機的運算壓力。用戶在主控端登陸后便可自行構(gòu)建用戶網(wǎng)絡(luò)，將受控端接入系統(tǒng)中，構(gòu)成一個基于網(wǎng)絡(luò)的音頻傳輸系統(tǒng)。在傳輸信號時，VSTC可同時實現(xiàn)信號處理。通過主控端的VSTC可以設(shè)置受控端的處理進程，精確控制數(shù)字信號的流向，實現(xiàn)網(wǎng)絡(luò)內(nèi)的信號分布式處理，最終混合成一個完整的信號。

除此之外，Apple公司的Logic Pro也提供基于網(wǎng)絡(luò)的分布式音頻處理（DAP）功能。利用TCP/IP協(xié)議，通過網(wǎng)絡(luò)將信號分散到有Logic Node服務(wù)的節(jié)點上處理，借助每個節(jié)點的運算能力對音頻信號實現(xiàn)處理，完成后發(fā)送回主機，減輕主機的運算壓力。Logic Pro的DAP系統(tǒng)只能運行在蘋果計算機上，不能跨平臺、跨宿主連接，在通信上較為不便。但憑借Logic強大的編曲功能和人性化的操作設(shè)計，仍活躍在音樂家群體中。

（三）商業(yè)化聲音處理網(wǎng)絡(luò)的局限

Steinberg的VST Connect還是Logic Pro的DAP系統(tǒng)都是商業(yè)軟件，作為功能模塊或插件接入系統(tǒng)，其核心組件都進行了加密封裝，對系統(tǒng)接入的功能做出了限制，降低了音頻傳輸與信號處理的兼容性，使得作曲家很難對其進行二次開發(fā)。兼容性的減弱還意味著用戶很難用其它平臺的軟件與系統(tǒng)建立連接，該網(wǎng)絡(luò)系統(tǒng)下所有的成員都必須采用同樣的接入方式，整體構(gòu)建系統(tǒng)和使用的成本大大增加。這兩套系統(tǒng)的目標客戶是商業(yè)數(shù)字音頻工作站，其售價與使用成本高昂，學生、非盈利組織研究者等難以負擔其應(yīng)用成本。

二、低成本的虛擬音樂會技術(shù)實現(xiàn)

（一）內(nèi)網(wǎng)穿透技術(shù)

前面提到的聲音傳輸系統(tǒng)大多在局域網(wǎng)內(nèi)工作，可以在小型音樂會場中用作低延時的通信服務(wù)，但要在大型活動或遠程表演中該如何實現(xiàn)信號傳輸呢？

經(jīng)過筆者的研究與實驗，大部分的聲音傳輸系統(tǒng)都支持TCP/IP或UDP協(xié)議，因此可以利用內(nèi)網(wǎng)穿透技術(shù)將本地IP地址和端口映射為公網(wǎng)IP地址和端口，從而將局域網(wǎng)和公網(wǎng)連通，使數(shù)字音樂信息可以通過公網(wǎng)進行傳輸。

在穿透內(nèi)網(wǎng)時要使用和當前音頻傳輸系統(tǒng)相同的網(wǎng)絡(luò)協(xié)議，用轉(zhuǎn)發(fā)IP的方式把內(nèi)網(wǎng)的IP與端口映射到公網(wǎng)。在實驗中，筆者使用JACK音頻傳輸套件，其信號可以通過UDP協(xié)議傳輸，因此首先要構(gòu)建一條UDP通道才可將系統(tǒng)與公網(wǎng)連通。

因可以實現(xiàn)內(nèi)網(wǎng)穿透的服務(wù)或軟件較多，經(jīng)過多次實驗，筆者最終選定SukuraFrp系統(tǒng)實現(xiàn)了內(nèi)網(wǎng)穿透。該系統(tǒng)是一種服務(wù)進程（守護進程），不需對操作系統(tǒng)做出設(shè)置，能夠根據(jù)選定條件自動構(gòu)建UDP通道，非常適合有相關(guān)需求的音樂家或藝術(shù)家使用。

（二）MIDI協(xié)議

與常規(guī)網(wǎng)絡(luò)數(shù)據(jù)一樣，MIDI數(shù)據(jù)也可以在局域網(wǎng)內(nèi)通過網(wǎng)絡(luò)通信協(xié)議在各終端之間傳輸。Mac OS上可以使用系統(tǒng)內(nèi)置的IAC驅(qū)動實現(xiàn)網(wǎng)絡(luò)MIDI信號傳輸。Windows平臺上與之相似的網(wǎng)絡(luò)MIDI傳輸驅(qū)動有rtp MIDI，相較于MIDI over LAN或IP-MIDI等協(xié)議，rtp MIDI為開源自由軟件，免費而高效。筆者基于WiFi網(wǎng)絡(luò)使用rtp MIDI構(gòu)建MIDI信息網(wǎng)絡(luò)，免去布線的麻煩，減少對演出場地的占用，使通信變得更方便。

（三）Open Sound Control協(xié)議

OSC（Open Sound Control）是一種數(shù)據(jù)傳輸規(guī)范，用于應(yīng)用程序、硬件之間的實時通信。OSC項目最初是為設(shè)計一種替代MIDI的高精度、低延遲、靈活的通信標準，用于網(wǎng)絡(luò)環(huán)境下的實時音樂表演。相對于MIDI，OSC移除了MIDI許多固有的信息結(jié)構(gòu)和硬件限制，加入了開放式、可自定義的空間地址模型，甚至可以通過標準網(wǎng)絡(luò)硬件提供任意的參數(shù)控制。

TouchOSC是目前比較流行的開源OSC控制軟件，支持跨平臺連接，可以使用基于UDP和TCP/IP協(xié)議的網(wǎng)絡(luò)通信。TouchOSC可以自行開發(fā)控制界面，用戶可以根據(jù)需要在開發(fā)套件中設(shè)計交互面板，不需要從代碼層面進行開發(fā)。

對于遠程表演來說，OSC在網(wǎng)絡(luò)通信方面已經(jīng)超越了MIDI，可預見OSC將會成為音樂制作通用標準之一。

（四）JACK

JACK（Jack Audio Connection Kit）是一款介于軟件與音頻驅(qū)動之間的中間層，為音頻軟件、硬件之間的通信提供服務(wù)，可以讓用戶構(gòu)建強大的信號處理及音樂制作系統(tǒng)。JACK來源于Linux系統(tǒng)，是專業(yè)級的聲音服務(wù)（守護進程），為音頻信號和MIDI數(shù)據(jù)提供實時、低延遲的連接。JACK中的JACKRouter服務(wù)可以運作在聲卡驅(qū)動與音頻軟件之間，作為一個中間層把音頻信號在各個端口間進行橋接。

在實驗中，已載入JackRouter的音頻程序可以作為JACK網(wǎng)絡(luò)中的一個節(jié)點，通過JACK的中間層功能將信號橋接到其他應(yīng)用或驅(qū)動中。這樣的方式打破了操作系統(tǒng)對音頻I/O的限制，JACK作為跳線盤（patch bay）以跳線的方式將各個音頻軟件的信號相互連通，構(gòu)建自己的信號流路由系統(tǒng)。

三、線上虛擬音樂會設(shè)計與表演實踐

經(jīng)過筆者和團隊對上述網(wǎng)絡(luò)音樂信息通信技術(shù)研究和實驗，于2021年4月在四川音樂學院數(shù)字媒體四川省重點實驗室舉辦了一場小型虛擬線上音樂會，筆者和多位團隊成員參與創(chuàng)作了多部基于網(wǎng)絡(luò)通信的實時音樂作品。

此次線上虛擬音樂會在策劃之初，就討論決定作品基于低成本的互聯(lián)網(wǎng)音樂傳輸技術(shù)和內(nèi)網(wǎng)穿透的遠程通信技術(shù)創(chuàng)作和實現(xiàn)，主要使用前文介紹的通信技術(shù)，搭建一套用于遠程傳輸音樂信息的網(wǎng)絡(luò)通信系統(tǒng)，以此實現(xiàn)一場實時的線上音樂會。

現(xiàn)代觀眾更愿意、更喜歡接受能夠與自己產(chǎn)生聯(lián)系的作品，如現(xiàn)場表演和現(xiàn)場互動；而錄播的作品在內(nèi)容上較為死板，雖然能夠忠實地傳達作者的創(chuàng)作意圖，但觀眾很難身臨其境地融入到作品中。因此本場音樂會作品既有傳統(tǒng)的預制型作品、交互型作品，也有基于網(wǎng)絡(luò)的實時交互作品、實時編碼作品，從而體現(xiàn)出網(wǎng)絡(luò)技術(shù)在音樂創(chuàng)作表演中的應(yīng)用和新的可能性。

其中，實時交互作品以內(nèi)網(wǎng)穿透為核心通信手段，用MIDI、OSC傳遞控制信息，用JACK傳輸音頻數(shù)據(jù)，在總控計算機上整合為一個完整的作品。相比傳統(tǒng)音樂創(chuàng)作，基于網(wǎng)絡(luò)的創(chuàng)作可以使用低成本的開源軟件與通信技術(shù)，減少使用價格高昂的商業(yè)化系統(tǒng)，大幅降低創(chuàng)作成本來實現(xiàn)虛擬音樂會。

在交互作品創(chuàng)作中，MIDI協(xié)議是最常用通信標準。傳輸MIDI信息比傳輸音頻信息所需帶寬更窄，傳輸更為高效。為減少演出時主控端的運算負荷，大部分的音頻運算由音源宿主完成。宿主通過網(wǎng)絡(luò)獲取MIDI信息后，運算并生成音頻信號，通過聲卡發(fā)送至揚聲器，提高系統(tǒng)的整體運算效率。

在表演方面，基于網(wǎng)絡(luò)環(huán)境創(chuàng)作的作品無需演奏家親臨現(xiàn)場，能夠跨越地域限制邀請到高水平的演奏家，減少人員流動所帶來的一系列成本和安全問題，演奏家只需安裝指定的通信軟件就可加入虛擬音樂會進行表演。

實時的遠程通信還可以強化表演者與創(chuàng)作者之間的聯(lián)系，讓彼此合作更容易，在表演時可以更方便地交流，精確控制作品表演的細節(jié)，實時回應(yīng)現(xiàn)場觀眾的需求，與觀眾互動。

遠程通信的優(yōu)勢不僅體現(xiàn)在表演者與創(chuàng)作者之間，在音樂會的參與人數(shù)上也可大幅提升。傳統(tǒng)音樂會由于場地限制，無法滿足過多觀眾同時親臨觀賞，但在網(wǎng)絡(luò)上不受此條件的限制。理論上只要網(wǎng)絡(luò)音樂會主控端的數(shù)據(jù)帶寬足夠，就可以容納更多的觀眾，因此網(wǎng)絡(luò)音樂會可以讓更多的音樂愛好者參與其中。

在觀眾互動中，使用網(wǎng)絡(luò)通信可以拓展出新的交互方式。在本場音樂會中，筆者自行設(shè)計TouchOSC的界面，構(gòu)建了一套自定義的OSC映射體系，成功地與MIDI系統(tǒng)連通，用無線控制的方法將OSC信息轉(zhuǎn)化為MIDI信息與設(shè)備產(chǎn)生交互，將MIDI和OSC信息映射為燈光或影像事件，大大拓展了表演方式。演職人員提前將團隊編寫的TouchOSC控制程序發(fā)送給作為演出志愿參與者的觀眾，讓他們按照設(shè)計要求在音樂會進行過程中參與到作品表演中來，使觀眾成為作品互動表演的一部分，打破觀眾與表演者之間的界限，強化表演者與觀眾的直接交流。

本場基于網(wǎng)絡(luò)音頻傳輸系統(tǒng)實現(xiàn)的音樂會，受到許多觀眾的好評與認可，在同行業(yè)參與者中留下很深的印象。許多觀眾表示這是一次耳目一新的體驗，使用了很多未曾想到過的新方法，對基于網(wǎng)絡(luò)技術(shù)的音樂表演有了新的認識，期待新作品的創(chuàng)作和表演。

結(jié) 語

在本次的音樂會實踐中，筆者通過研究網(wǎng)絡(luò)音頻傳輸、虛擬音樂會的相關(guān)技術(shù)，找到了諸多可以實現(xiàn)網(wǎng)絡(luò)音頻傳輸?shù)姆桨?，既包括有成熟的商業(yè)聲音傳輸系統(tǒng)，又有開源低成本的通信技術(shù)，可以滿足不同人群的應(yīng)用需求。

本團隊對虛擬音樂會技術(shù)的實踐找到了有效的低成本通信手段，實現(xiàn)了在不同網(wǎng)段間的實時通信，建立了由多種軟件構(gòu)成的音頻傳輸系統(tǒng)。對于那些無法獲得足夠經(jīng)濟支持和技術(shù)支持的創(chuàng)作者而言，本次音樂會提供了一個良好的解決方案。這些低成本的通信技術(shù)在保證通訊質(zhì)量的同時，還可以最大限度發(fā)揮用戶的自主開發(fā)能力，根據(jù)用戶知識背景和應(yīng)用需求，以上的通訊技術(shù)還可在其它創(chuàng)作中加以應(yīng)用。

對虛擬音樂會技術(shù)的研究還推動了筆者團隊基于網(wǎng)絡(luò)通信的實時互動音樂作品的創(chuàng)作，拓展了網(wǎng)絡(luò)音頻傳輸系統(tǒng)在音樂創(chuàng)作中的應(yīng)用前景，探索到更多實時表演的可能性。希望相關(guān)的藝術(shù)家能夠借此文獲得新的靈感與思考?！?/p>