近十年國際“音樂視像”前沿應(yīng)用及相關(guān)研究綜述

■孫尚杰

（中國音樂學院，北京，100101）

孫尚杰，中國音樂學院音樂聲學專業(yè)碩士研究生，主要研究方向為音樂多媒體。

本文為2017年北京市社會科學基金項目“北京市西山文化帶特色小鎮(zhèn)聲音景觀設(shè)計”（項目編號：17YTC028）階段性成果

眾所周知，音樂是一門訴諸聽覺的藝術(shù)。隨著當代音、視頻技術(shù)的快速發(fā)展，近年來有越來越多的藝術(shù)家將音樂與圖像、圖形和視頻技術(shù)與藝術(shù)相融合，由此誕生了一類新的藝術(shù)形式，即“音樂視像”（music vision）。2005年重慶出版社出版的《音樂視像——15位當代音樂錄影帶導演全接觸》一書將“音樂視像”作為音樂錄影帶的別稱。在筆者看來，這個詞更加強調(diào)聽覺與視覺在相互交融后的呈現(xiàn)方式，由此與所謂“音樂可視化”（Music visualization）產(chǎn)生了區(qū)別：音樂視像并不包括與音樂可視化系統(tǒng)設(shè)計相關(guān)的領(lǐng)域。當然，音樂視像的概念還是包含在音樂可視化之中的。

音樂可視化是一種以視覺為核心、以音樂為載體、以大眾為對象，借助多種新媒體技術(shù)，通過畫面、影像來詮釋音樂內(nèi)容的、視聽結(jié)合的傳播方式。而這也就是說，當今的“音樂視像”已經(jīng)不僅局限于詮釋音樂，更在頗多領(lǐng)域有所拓展。本文將從“音樂視像”發(fā)展環(huán)境的變化及其應(yīng)用領(lǐng)域兩個角度，簡要分析近十年來這種藝術(shù)的多元化生長態(tài)勢，并嘗試通過分析“音樂視像”本身，理解其如何調(diào)動人類的多種感官相互融合。

一、與“音樂視像”相輔相成的硬件和軟件環(huán)境發(fā)展

“音樂視像”的崛起離不開視覺工業(yè)的快速發(fā)展。而由于其呈現(xiàn)依舊需要載體，所以也反過來催生了對硬件與軟件的需求。下面對此略作整理。

聲音信息提取技術(shù)這具體又分兩類情況。第一，借助計算機信息處理能力和編碼識別能力的提升，通過傅里葉分析、固定窗口等典型的變換方法，可以將自然音頻中的音頻信息提取得更為全面。第二，對于結(jié)構(gòu)性音頻（比如MIDI），可以通過協(xié)議轉(zhuǎn)換，直接獲取其相關(guān)聲音信號。

全景技術(shù)的廣泛應(yīng)用本文所提到的全景技術(shù)，主要聚焦在音頻和視頻兩個方面。在音頻上，環(huán)繞全景聲系統(tǒng)在近來十年內(nèi)快速發(fā)展，且廣泛應(yīng)用在多個使用場景——從大型劇院到電影院，從家庭影院到手持移動便攜設(shè)備。這使得音樂視像在聲音方面的體驗水平有了顯著的提升，為“聲臨其境”打下了基礎(chǔ)。而在視頻上，隨著全景影像技術(shù)逐步投入影視創(chuàng)作，使得拍攝視角得以延伸，為沉浸式的音樂視像打下了視頻方面的基礎(chǔ)。

三項關(guān)于“現(xiàn)實”的技術(shù)這是指虛擬現(xiàn)實技術(shù)（virtual reality）、增強現(xiàn)實技術(shù)（Augmented Reality）和混合現(xiàn)實技術(shù)（Mixed Reality）。其中，虛擬現(xiàn)實技術(shù)也簡稱為虛擬技術(shù)，又稱虛擬環(huán)境，是利用計算機模擬產(chǎn)生一個三維的虛擬世界，為用戶提供視覺等感官的模擬，使之仿佛身臨其境，幾乎即時、無限制地觀察三維空間內(nèi)的事物。出于人們對影像沉浸化的需求，虛擬現(xiàn)實技術(shù)迅速發(fā)展，改變了單一視角加切換模式的影像呈現(xiàn)方法，再配合全景聲技術(shù)，給人們帶來了視聽體驗的一次飛躍。從簡單的三維音樂可視化，到目前暫為極致的、以假亂真的全息投影，這樣的體驗已在逐步進入普通大眾的生活。

增強現(xiàn)實技術(shù)指對攝影機視頻中場景的位置及角度進行精算，加以圖像分析技術(shù)，讓顯示屏上的虛擬世界能與現(xiàn)實世界場景結(jié)合起來并能展開交互的技術(shù)。與虛擬現(xiàn)實技術(shù)創(chuàng)造獨立的沉浸環(huán)境不同，增強現(xiàn)實技術(shù)基于已有場景，利用技術(shù)手段來提升交互體驗，將聲音、可視化操作、視覺畫面融為一體。在原有音樂視像的基礎(chǔ)上，它將沉浸式虛擬藝術(shù)與真正的表演藝術(shù)緊密結(jié)合，給觀者帶來的是比虛擬現(xiàn)實技術(shù)更有“日常感”的視聽結(jié)合體驗。

混合現(xiàn)實技術(shù)的意思是結(jié)合真實和虛擬世界，創(chuàng)造了新的環(huán)境和可視化效果，讓物理實體和數(shù)字對象共存并能實時相互作用，以用來模擬真實物體。虛擬現(xiàn)實與增強現(xiàn)實能提供帶有各自特點的沉浸感受，但在未來人們很可能追求更深層次的沉浸交互體驗，需要我們將前二者與光學追蹤、動作捕捉等技術(shù)進行緊密結(jié)合，利用各種新的手段，將視聽聯(lián)覺發(fā)展為通過全身的感官進一步使用兩種現(xiàn)實技術(shù)進行互動體驗，從而繼續(xù)接近真正的“虛實結(jié)合”。

以上三種技術(shù)的發(fā)展，為音樂視像在二維、三維空間的體驗方式打下了堅實的基礎(chǔ)，使得音樂視像能在沉浸式、半沉浸式、非沉浸式之間自由選擇。在音樂欣賞中，人類希望沉浸在音樂的世界里，并希望“看見”那些音樂中的各類元素，從而開始借助三種關(guān)于“現(xiàn)實”的技術(shù)，為音樂視像提供多種體驗?zāi)Ｊ?，令更多的?yōu)秀音樂作品從此具備了全方位的沉浸感。

二、“音樂視像”的應(yīng)用領(lǐng)域

音樂視像的應(yīng)用領(lǐng)域很多，但鑒于其最容易引起公眾注目的應(yīng)用領(lǐng)域目前還是與演出有關(guān)，所以這里將其分為傾向于“創(chuàng)作呈現(xiàn)方式”的和傾向于“提取與使用數(shù)據(jù)”的。當然，這種分法的出現(xiàn)，也與近十年來計算機的運算能力，以及其圖形、編碼技術(shù)的不斷更新?lián)Q代有關(guān)，可以說第一種是以多種途徑在音樂中輔以人造的數(shù)字化影像，第二種則是依賴信息提取技術(shù)的發(fā)展，通過生成的“音樂視像”進行反向分析和整理應(yīng)用。

（一）傾向“創(chuàng)作呈現(xiàn)方式”的應(yīng)用

這類應(yīng)用具體來說又分為三種情況：最基本的視像播放、基礎(chǔ)演出視像應(yīng)用，以及實時沉浸交互應(yīng)用。其中，最為簡單、直觀的音樂播放視像源于音樂播放器的單一可視化效果（如Windows 媒體播放器中自帶的可視化效果），其目的顯然不在于交互，而僅在于提升播放界面的美觀度。在目前的音樂可視化發(fā)展過程中，該呈現(xiàn)方式主要是通過對一些底層的音樂信息（如律動）施加捕捉算法來實現(xiàn)的，在此不贅。下面重點來看基礎(chǔ)演出視像應(yīng)用和實時沉浸交互應(yīng)用。

基礎(chǔ)演出視像應(yīng)用此方式主要是對聲音的物理特性進行提取，將由聲波帶動產(chǎn)生的物理現(xiàn)象作為音樂表演的輔助手段，目的是將聲音形象化。這一視像應(yīng)用主要圍繞“音流學”（Cymatics）一詞展開。該領(lǐng)域在漫長的科學探究過程和大量的音樂表演中不斷進化，常見的呈現(xiàn)方式基于以下幾類。

第一，克拉尼圖形。該現(xiàn)象由德國物理學家克拉尼（Ernst Chladni）最早發(fā)現(xiàn)，其基礎(chǔ)實現(xiàn)方式是將硬質(zhì)粉末（細沙、米粒等）撒在薄板上，令薄板振動，粉末就會排出各種圖案，并隨著振動頻率而改變。此類呈現(xiàn)方式在當今演出中已逐漸脫離實物展示，而是基于精準的聲波捕捉和高效的圖形運算制作出來的，圖1是幾個例子。

圖1 由聲波捕捉和電腦運算合成的克拉尼圖案

而近幾年以來，隨著LED 屏幕在演出中的廣泛應(yīng)用，克拉尼圖形也經(jīng)過編輯，更加貼合演出音樂或情景的需要，如圖2所示。

圖2 現(xiàn)場演出中經(jīng)過合成編輯的克拉尼圖形［源自《Pechou（*LLND）Live VJ New Year Eve 2017-2018》視頻截圖］

第二，魯本管（Ruben's Tube）。它由德國物理學家魯本（Heinrich Rubens）于1905 年發(fā)明，以圖形方式顯示聲波與聲壓之間的關(guān)系：在金屬管內(nèi)充滿可燃氣體，與揚聲器連接，不同的音頻會形成不同的壓力波，進一步再通過壓力波作用來影響火焰的高低，如圖3 所示。當今，魯本管也偶爾會在音樂演出中出現(xiàn)，作用以烘托舞臺氣氛為主。

圖3 現(xiàn)場演奏中的魯本管（源自LG公司廣告《Cymatic Jazz》視頻截圖）

第三，鐵磁流體激發(fā)。這與克拉尼圖形有一定相似之處，但是因為能形成立體化的“針刺反應(yīng)”，就為三維的音樂視像提供了新的呈現(xiàn)方式。而且，這種手法能通過記錄磁場關(guān)閉后的漣漪效果，詮釋不同的聲音狀態(tài)，如圖4所示。

圖4 鐵磁流體被激發(fā)狀態(tài)（源自Nigel Stanford作品《Cymatics》視頻截圖）

以上呈現(xiàn)方式的局限在于，它們主要出現(xiàn)在現(xiàn)場演出與視頻制作中，以表演者為主導，互動性還是較為缺乏的。

實時沉浸交互視像應(yīng)用此類應(yīng)用需要前面提到的虛擬現(xiàn)實、增強現(xiàn)實與混合現(xiàn)實技術(shù)，將音樂視像作品中的視覺表達部分用幻影成像技術(shù)進行制作，再將三維建模生成的虛擬影像投射到空中，形成獨立的演出區(qū)域，帶給觀眾很深的沉浸體驗。同時，還要利用增強現(xiàn)實技術(shù)，將投射的虛擬影像與現(xiàn)實的演出場景進行無縫銜接，創(chuàng)造一個基于現(xiàn)實而又超越現(xiàn)實的時空，充分增強觀眾的交互體驗。比如“初音未來”作為日本創(chuàng)造出的虛擬音樂偶像，既有動漫形象，又有獨特的合成嗓音，由此在開辦其“演唱會”時，就可以將其進行三維建模成像并投射，如圖5所示。

圖5“初音未來”虛擬影像演唱會

（二）傾向“提取與使用數(shù)據(jù)”的應(yīng)用

這方面的應(yīng)用對各類社會場景的涉及似乎更為廣泛，主要包括以下幾個方面。

音樂教育領(lǐng)域在該領(lǐng)域中，音樂視像的應(yīng)用主要可分為兩個層次。其中，第一層次針對的是受眾更為廣泛的普及教育。我們知道，對普通大眾而言，欣賞古典音樂的一個主要障礙便是缺乏系統(tǒng)化的音樂聽賞訓練，從而在理解音樂的結(jié)構(gòu)和思想方面有困難。而通過音樂視像對古典音樂作品進行逐層提取，將多元素、多聲部的音樂進行逐一的視像呈現(xiàn)，可利用視聽聯(lián)覺幫聽眾更好地建立起對音符與音樂聯(lián)系的認知。

第二層次的應(yīng)用則是針對更為專業(yè)化的音樂教學。在相對更高端的音樂演奏活動中，許多音樂專業(yè)的學生甚至一些音樂家都難以在動態(tài)表達上達到理想水平。這是由于對音樂動態(tài)的表達是主觀的，在教學和排練溝通中往往花費很多時間也達不到預(yù)期效果。如果通過計算機輔助生成已有演奏版本的動態(tài)圖像，與需要評估的演奏進行實時對比，那么這種可視化的教學方式當有利于學習和排練，輔助我們在音樂教育過程中對音樂動態(tài)進行掌控。這種呈現(xiàn)方式以2016 年在瑞士成立的一個項目“音樂之眼”（Music：Eyes）為突出代表（如圖6），這個非營利性組織致力于利用流動的音符節(jié)奏動畫對音樂教學施以輔助。具體來說，它通過以下三種方式進行。

圖6“音樂之眼”項目負責人展示將樂譜中的音符轉(zhuǎn)化為色彩動畫（源自“音樂之眼”《See.Heal.Feel》視頻截圖）

第一，通過制作流動的音符節(jié)奏動畫，在各種視頻平臺傳播，以新的形式進行音樂普及。第二，基礎(chǔ)教學——讓復雜的音樂片段通過流動的音符節(jié)奏動畫變得更清晰，更便于學生去理解。由于“音樂之眼”在流動動畫中采用顏色、形狀分層的展現(xiàn)方式，在制造視覺刺激的同時，也在一定程度上激發(fā)了學生對音樂中的創(chuàng)意的探索。第三，延伸教學——“音樂之眼”制作音符節(jié)奏動畫并非停留在對樂曲的分層次解析上，此過程也是可逆的，即“音樂之眼”的互動學習平臺可以將音樂體驗轉(zhuǎn)化為視覺創(chuàng)作，讓學生可以創(chuàng)建自己的動畫，使得每個動畫都具有個人理解的成分，而且此過程還可以多人合作完成。

圖7“音樂之眼”互動學習平臺的多人合作展示（源自“音樂之眼”主頁）

音樂治療利用已有的色彩、圖案心理學的研究成果，可以將音樂元素錄制為有目的的數(shù)據(jù)，并轉(zhuǎn)化為對應(yīng)的音樂視像。這一思路可以在音樂治療中形成兩類利用方式。

第一是心理疾病的輔助治療。在目前的音樂治療中，以功能音樂為主的治療方法已較為成熟，但其所激發(fā)的感官刺激相對單一，而心理疾病的來源通常并非單一感官的刺激。由此，可視化音樂治療便是題中應(yīng)有之義。播放音樂，對應(yīng)改變環(huán)境燈光，以及生成對應(yīng)的治療用可視化圖像，能使患者的感官得到多通道刺激，有助于治療部分心理疾病。

第二是為聽力障礙人士進行聯(lián)覺感官訓練。聆聽音樂雖然對普通大眾來說十分簡單，但對聽覺障礙人士就是一件難事。利用音樂視像，將值得聆聽的樂曲做成對應(yīng)的視覺作品，并輔以其他感官渠道的刺激，可以彌補他們聽覺上的不足，幫助他們參與音樂聽賞活動。上文提到的“音樂之眼”項目便可以為聽覺障礙人士提供聆聽音樂的新方式，從而鍛煉他們的感官聯(lián)覺。

音樂特征分析音樂不僅是聆聽的藝術(shù)，也是音符的藝術(shù)。音符所排列出來的譜面便是最直接的音樂視像，它包含了大量的音樂特征。有經(jīng)驗的音樂家出于多年的音樂訓練，在查看樂譜時便能“看到”其中包含的聲音，并能通過演奏將其轉(zhuǎn)化為音樂。但是，這種最直接的音樂視像并不適合應(yīng)用到普通大眾身上，而應(yīng)采用更為簡單、專一的可視化元素對其進行分析呈現(xiàn)?；诂F(xiàn)有的音樂信息提取技術(shù)，可以將多種音樂元素進行分離，這給音樂特征分析提供了更為直接的結(jié)果。利用音樂視像對音樂進行特征分析也可以大致分為兩類情況：一是特定音樂作品的可視化分析，二是作品之間的可視化對比分析。筆者認為，可視化手段在給作品之間進行對比分析時更為直觀，可以讓人在短時間內(nèi)更為有效地理解大量曲調(diào)之間的相似性，或是不同藝術(shù)家的個體特征差異。在音樂特征中，調(diào)式的改變與和弦進行的變化，在每部樂曲中都存在共性和差異。

美國學者馬爾迪洛西安（Arpi Mardirossian）和周依蓮（Elaine Chew）通過生成一段音樂中和弦進展和音調(diào)分布的二維圖，并通過時間和調(diào)性序列上的層疊對比，創(chuàng)造出一種新的音樂可視化工具。①Arpi Mardirossian，Elaine Chew，Visualizing Music：Tonal Progressions and Distributions，ISMIR（International Society for Music Information Retrieval Conference），2007.兩人用該工具分析了貝多芬的《c 小調(diào)鋼琴32 變奏曲》（WoO 80），并識別出樂句中8個變調(diào)主題的離散關(guān)系，從而體現(xiàn)了作品由c小調(diào)開始，在樂段中先后呈現(xiàn)F 大調(diào)、c 小調(diào)、C 大調(diào)、c小調(diào)、f 小調(diào)，最終又回歸c 小調(diào)的過程。在該工具中，西方古典音樂回歸主調(diào)的特點得以充分展現(xiàn)。

兩人還將兩首亞美尼亞傳統(tǒng)音樂用此工具進行分析，得到兩個序列對應(yīng)圖（如圖9）。可以看出：亞美尼亞傳統(tǒng)音樂大多是從一個調(diào)開始，并持續(xù)一定的長度，然后轉(zhuǎn)到相鄰的或同主音的大小調(diào)，最終調(diào)式不會回歸開始的主調(diào)。由此，便可以在視覺上區(qū)分西方古典音樂與亞美尼亞傳統(tǒng)音樂的轉(zhuǎn)調(diào)方式。

圖8 貝多芬c小調(diào)鋼琴變奏時間與音調(diào)序列對

圖9 兩首亞美尼亞傳統(tǒng)作品調(diào)性時間序列

音樂資料特征分類在CD 音頻時代，人們的音樂欣賞通常是以播放專輯的方式進行的。由于CD 唱片有著直觀的專輯封面，因此就逐步建立了“唱片—專輯封面”的某種“通感”。（當然，黑膠唱片和卡式磁帶也有類似的效果。）不過，這種具有“視覺體驗”的音頻產(chǎn)品從音樂視像的角度來說還是比較初級的，不能完成大量音樂信息的管理。

隨著智能便攜設(shè)備的發(fā)展，流媒體音樂逐漸取代了CD 音樂，音樂信息也逐漸有了細致的分類屬性。因為早期的信息提取以唱片的文本信息為主，所以音樂資料的管理也趨于文本檢索，并形成了當今的音樂數(shù)據(jù)庫。

而在相對成熟的地理信息技術(shù)的支持下，音樂資料在特征分類上能進一步結(jié)合可視化。①Stefan Leitich，Martin Topf，Globe of Music：Music Library Visualization Using GEOSOM，ISMIR，2007.當前，許多人已經(jīng)習慣在移動設(shè)備上使用地理信息系統(tǒng)（GIS）（國內(nèi)如高德地圖、百度地圖），通過旋轉(zhuǎn)、傾斜和縮放來進行地圖信息的檢索。將這種可視化交互帶入音樂資料的查找與篩選，并結(jié)合音頻信號的特征提取分析，就可以為用戶提供更多的可能性，如圖10所示。

圖10 利用地理信息建立可視化分類

以單個地區(qū)為例，日本的研究者上原美咲（Misa Uehara）和伊藤貴之（Takayuki Itoh）應(yīng)用雙散點圖的可視化方式，對20 位日本流行音樂作曲家的作品的和弦進行、調(diào)式、元信息以及聲學特征做了提取，在一個散點圖中記錄聲學特征與調(diào)式的關(guān)系，在另一個散點圖中記錄和弦進行與元信息的對應(yīng)關(guān)系，②Misa Uehara，Takayuki Itoh，Pop Music Visualization Based on Acoustic Features and Chord Progression Patterns Applying Dual Scatterplots，open-access article distributed under the terms of the Creative Commons Attribution 3.0 Unported License，2015.如圖11所示。

由雙散點圖可以較為清晰地分析出樣本中的20 位音樂家在曲調(diào)上的相似性，看出藝術(shù)家之間的個體特征關(guān)系對比。大量數(shù)據(jù)所構(gòu)成的散點圖可以呈現(xiàn)日本流行音樂作品中典型的和弦進行模式，并記錄在作品中使用了哪些和弦進行。在筆者看來，這類應(yīng)用不僅總結(jié)了相應(yīng)地區(qū)的音樂特征，使其在全球音樂特征分類中更加清晰明了、更加具有代表性，還對于上述信息的提取、呈現(xiàn)與分析大有幫助，同時也有助于發(fā)掘聽眾的偏好，對音樂推薦技術(shù)可以起到一定的推動作用。

圖11 日本流行音樂作品特征提取形成的散點圖示例

通過對音樂視像的軟硬件環(huán)境進行介紹和分析，不難看出，音樂視像的多元化發(fā)展離不開周邊技術(shù)的支持。從多元的信息提取手段，到音視頻全景技術(shù)的普及化發(fā)展，再到以假亂真的沉浸式現(xiàn)實技術(shù)門類的跨越式發(fā)展，音樂視像在呈現(xiàn)手法上漸趨成熟。而具備這樣特點的音樂視像，也在音樂教育、音樂治療、音樂特征分析和音樂資料特征分類等領(lǐng)域展現(xiàn)了其獨特作用。音樂視像通過刺激聽覺和視覺，以“視聽通感”提升了聽眾的藝術(shù)感悟能力，并能反作用于音樂中的多個領(lǐng)域，以視像片段幫助創(chuàng)作和理解音樂。在此影響下，輔以科學的手段，視覺和聽覺今后應(yīng)該會結(jié)合得越發(fā)緊密，并存在巨大的發(fā)展空間。通過音樂視像，調(diào)動多種感官相互融合，使其聽覺中復雜的心理與精神信息逐漸以具象展現(xiàn)，也可以觸發(fā)更深層次的情感共鳴。