音樂(lè)可視化研究特征選擇及表達(dá)方式綜述

黃宗珊 饒志雙

【摘 要】隨著可視化方法和技術(shù)的不斷進(jìn)步，對(duì)音頻的可視化逐漸發(fā)展。研究者根據(jù)不同特征從不同角度觀(guān)察分析音頻文件，并使用可視化展示這些特征。本文結(jié)合現(xiàn)有的研究，簡(jiǎn)要地介紹在音樂(lè)可視化中分析的特征以及對(duì)這些特征所采用的可視化表達(dá)方式。

【關(guān)鍵詞】音樂(lè)可視化；特征選擇；表達(dá)方式

中圖分類(lèi)號(hào)： TP391.42 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 2095-2457（2018）05-0211-002

【Abstract】With the continuous progress of visualization methods and technologies， the visualization of audio has been gradually developed. Researchers observe the analysis of audio files from different perspectives based on different characteristics and use visualizations to display these features. This article combines the existing research， briefly introduces the characteristics of the analysis in the visualization of music and the visual representation of these features.

【Key words】Music visualization；Feature selection；Manifestation

0 引言

音樂(lè)作為一種藝術(shù)形式，不僅能夠抒發(fā)情感、反映社會(huì)現(xiàn)實(shí)生活，在歷史上還曾有過(guò)鼓舞人心、治療疾病的例子，即使是不同國(guó)度不同時(shí)代的人也可以欣賞。在音樂(lè)被譜寫(xiě)之后，樂(lè)器的演奏或人聲的演唱等詮釋方式能夠?qū)⑵鋫鬟_(dá)給聽(tīng)眾，為了能夠使聽(tīng)眾更全面地體會(huì)音樂(lè)所表達(dá)的情感和思想，創(chuàng)作或傳播者采用了不同的輔助表達(dá)方式?？梢暬陌l(fā)展為音樂(lè)的表達(dá)提供了新的方式，使用特定的規(guī)則進(jìn)行解讀，為其產(chǎn)生可復(fù)現(xiàn)的視覺(jué)效果。

1 音樂(lè)可視化的研究?jī)?nèi)容和現(xiàn)狀

可視化（Visualization）是使用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)通過(guò)圖形或圖像的方式進(jìn)行顯示并進(jìn)行交互處理的理論、方法和技術(shù)。音樂(lè)可視化（Music Visualization）是利用可視化的方法，客觀(guān)解釋和判斷音樂(lè)的表現(xiàn)力和結(jié)構(gòu)，幫助聽(tīng)眾提供理解、分析、比較音樂(lè)。

對(duì)音樂(lè)可視化的研究包括了感知模型、特征提取、實(shí)時(shí)計(jì)算、情緒檢測(cè)、系統(tǒng)結(jié)構(gòu)、沉浸感的展示、交互式圖形界面以及應(yīng)用研究等。由于音樂(lè)可視化結(jié)合了藝術(shù)與科學(xué)，對(duì)研究者有一定的要求，因此在這方面的研究相對(duì)并不完善，并且可視化系統(tǒng)的一些使用者無(wú)法體會(huì)系統(tǒng)所表達(dá)的涵義。在應(yīng)用方面，Windows、Mac OS X、Linux等平臺(tái)上都有支持音樂(lè)可視化的媒體播放器，也有人使用D3.js和HTML5實(shí)現(xiàn)了音樂(lè)可視化的效果。

2 音樂(lè)可視化的特征選擇

音樂(lè)可視化對(duì)單個(gè)音頻的特征分析分為兩種層面。低層的特征主要為響度、音調(diào)、頻率、音色等物理特性，Windows Media Player、Winamp附帶的多種可視化效果就是基于振幅和頻率的；Takayuki Itoh[1]等人為了幫助愛(ài)好者了解管弦樂(lè)曲，依據(jù)不同樂(lè)器的樂(lè)譜對(duì)不同樂(lè)器進(jìn)行區(qū)分。高層的特征主要為語(yǔ)義、情感等， S.Zhang等人[2]在情感分析和可視化的基礎(chǔ)上，實(shí)現(xiàn)了基于情感信息的MV檢索。對(duì)多個(gè)音頻文件，E.Pampalk等人[3]對(duì)359段音頻基于心理聲學(xué)模型估計(jì)其相似性，在不需要手動(dòng)進(jìn)行流派分類(lèi)的情況下，根據(jù)音樂(lè)風(fēng)格差異建造了音樂(lè)島。

3 音樂(lè)可視化的表達(dá)方式

音樂(lè)可視化按照視覺(jué)空間維數(shù)，可以分為二維與三維兩類(lèi)。二維的音樂(lè)可視化需要的數(shù)據(jù)維度低，實(shí)現(xiàn)較為簡(jiǎn)單，而三維由于表現(xiàn)力強(qiáng)，適合構(gòu)造復(fù)雜對(duì)象，主要應(yīng)用于沉浸感要求高的場(chǎng)合。在二維的可視化中，靜止的圖像顯示出音頻的兩個(gè)維度的參數(shù)的關(guān)聯(lián)，或是對(duì)出現(xiàn)的某些結(jié)構(gòu)、文本特征進(jìn)行挖掘，也有圖像隨時(shí)間變化的動(dòng)態(tài)展現(xiàn)。而三維超越了平面空間的維度限制，可以將時(shí)間流動(dòng)疊加到二維所中時(shí)間以外的兩個(gè)維度上。除此之外，在現(xiàn)實(shí)世界中通過(guò)音源的振動(dòng)，使水、粉末、火焰等產(chǎn)生不同的形狀，也可以作為三維的一種拓展；

R Taylor[4]等人采用虛擬現(xiàn)實(shí)實(shí)時(shí)系統(tǒng)對(duì)音樂(lè)家演奏的音樂(lè)特征進(jìn)行提取，并映射到虛擬角色的行為中，給人以沉浸感。

還有一些較為特殊的表達(dá)方式——使用形容詞對(duì)音樂(lè)中的情感檢測(cè)結(jié)果進(jìn)行表達(dá)，將音頻與人心理感受相似的色彩名稱(chēng)、情緒名稱(chēng)進(jìn)行分類(lèi)及匹配。采用能夠引起類(lèi)似情緒的圖片來(lái)標(biāo)志音頻，也是一種創(chuàng)新。

4 音樂(lè)可視化研究面臨的挑戰(zhàn)

音樂(lè)可視化還處于初期階段，在研究和應(yīng)用領(lǐng)域都面臨許多問(wèn)題，在對(duì)音樂(lè)的理解和可視化技術(shù)上都需要進(jìn)一步的研究，才能使音樂(lè)可視化更好地發(fā)展。

4.1 缺少專(zhuān)業(yè)知識(shí)

從對(duì)音樂(lè)的研究方面，音樂(lè)可視化的研究人員可能對(duì)音樂(lè)的專(zhuān)業(yè)知識(shí)，如音樂(lè)學(xué)、音樂(lè)認(rèn)知神經(jīng)科學(xué)、音樂(lè)心理學(xué)等，并沒(méi)有足夠的認(rèn)知，因此在可視化系統(tǒng)的設(shè)計(jì)與制作中，缺乏專(zhuān)業(yè)知識(shí)的依托而無(wú)法準(zhǔn)確捕捉要點(diǎn)。

4.2 模式單一

現(xiàn)有的音樂(lè)可視化系統(tǒng)分析的內(nèi)容，對(duì)簡(jiǎn)單的低層的音樂(lè)屬性尚能進(jìn)行多維體現(xiàn)，但對(duì)于語(yǔ)義、情感等高層屬性則只能研究到一維且是靜態(tài)的地步。

4.3 應(yīng)用型可視化系統(tǒng)忽視用戶(hù)情感體驗(yàn)

目前很多設(shè)計(jì)出來(lái)供人在聽(tīng)音樂(lè)的過(guò)程中加入視覺(jué)體驗(yàn)的可視化系統(tǒng)，是研究人員通過(guò)自身對(duì)音樂(lè)的了解得到的，不同的人對(duì)音樂(lè)的理解的深度并不相同。另外，部分研究人員對(duì)系統(tǒng)設(shè)計(jì)的完備程度、新鮮程度等的重視程度，超過(guò)了刺激使用者內(nèi)在情感潛能的重視程度，此兩點(diǎn)導(dǎo)致部分可視化系統(tǒng)對(duì)于使用者來(lái)說(shuō)是毫無(wú)意義的，使用者并不能從中感受到音樂(lè)的涵義變得具體或深刻。

5 結(jié)語(yǔ)

音樂(lè)可視化有別于傳統(tǒng)音樂(lè)藝術(shù)，開(kāi)啟了音樂(lè)解讀的新時(shí)期，是對(duì)音樂(lè)的描述和理解的新方式。國(guó)內(nèi)外對(duì)音樂(lè)可視化的理論研究和系統(tǒng)、工具開(kāi)發(fā)都有了很多成果，在音樂(lè)分析、音樂(lè)教學(xué)、游戲娛樂(lè)、情感表達(dá)等方面具有應(yīng)用。目前對(duì)音樂(lè)可視化的研究仍舊面臨挑戰(zhàn)，期待隨著科技的發(fā)展和理論應(yīng)用不斷完善，音樂(lè)可視化能夠在形式和內(nèi)涵上更加豐富，應(yīng)用更加全面。

【參考文獻(xiàn)】

[1]Knowledge Visualization Currents：From Text to Art to Culture | Clc[J].

[2]Zhang S，Huang Q，Jiang S，et al.Affective Visualization and Retrieval for Music Video[J].IEEE Transactions on Multimedia， 2010，12（6）：510-522.

[3]Pampalk E，Rauber A，Merkl D.Content-based organization and visualization of music archives[C]//Tenth ACM International Conference on Multimedia.ACM，2002：570-579.

[4]Taylor R，Torres D，Boulanger P.Using music to interact with a virtual character[C]// Conference on New Interfaces for Musical Expression.National University of Singapore，2005：220-223.