色彩與情感映射模型用戶體驗研究

摘" 要：智能樂譜是當今音樂信息可視化的一種方式，用可視化符號代替約定俗成的抽象音樂符號，便于學琴者認知理解。音樂信息可視化是一個將聽覺轉換為視覺的過程，在設計過程中涉及多種映射方式，色彩是最具表現(xiàn)力的視覺元素之一。因此本文以色彩和音樂之間的映射關系為基礎，驗證不同色彩與情感映射模型的認知效度。對不同的情感映射模型及其相關研究進行梳理，對基于和弦與色彩的映射方式和音高與色彩的一對一映射方式進行對比實驗驗證。在情感認知方面基于五度圈的和弦色彩映射更優(yōu)；在視覺體驗方面兩種映射都有一定的視覺規(guī)律性；在表現(xiàn)旋律線條方面，哪種方式旋律線更加明確取決于主旋律和和弦的進行；在學習認知方面，不同映射模型適合不同的學習階段。

關鍵詞：音樂可視化；用戶體驗設計；音樂情感模型；音畫交互；映射

“音樂可視化”（Music Visulization）是一個通過視覺方法來展示和闡述音樂所表達內(nèi)容的過程。樂譜是歷史上最早將音樂信息進行可視化的一種方式，創(chuàng)作者為了使抽象的音樂信息更直觀、更有效地表達和傳播[1]，將聽覺信息轉化為了視覺信息（Visual Information）。由于不同時代背景和文化審美的差異，樂譜也有著不同的演變。最早的樂譜可追溯到公元前30年的埃及樂譜，圖形樂譜中用排列整齊的圓點表示樂曲的行進，圓點的顏色不同代表音高的不同，圓點的大小表示聲音的持續(xù)時間，即音長。隨著人們對記錄音樂需求的不斷增加，公元9世紀出現(xiàn)了記錄音樂信息更為高效的紐姆譜。紐姆譜用抽象符號按照音程的大小有規(guī)律地排列，其距離與音程的大小具有邏輯上的映射關系，并通過符號的空間對音高的反映來表現(xiàn)旋律的走向。這樣的記錄方式是設計現(xiàn)代五線譜的雛形。然而，當時的紐姆譜無法記錄音長，因此難以準確體現(xiàn)曲子的韻律。直到五線譜的出現(xiàn)，演奏力度、節(jié)奏變化、小節(jié)劃分等更多音樂信息才被詳細記錄下來，并一直延續(xù)到現(xiàn)在[2]。雖然五線譜對音樂信息的記錄比較完整，但大多是用意大利語字母標注出來的，例如，音強、顫音、音區(qū)變化等，都需要鋼琴學習者通過系統(tǒng)地樂理學習才能掌握。由于這些信息無法直接在樂譜中直觀地表現(xiàn)出來，所以更原始的音樂可視化記錄方式反而更容易被初學者理解。因此很多設計者不滿足于以五線譜為載體來記錄音樂，開始積極地嘗試用各種各樣的方式讓音樂可視化。

智能樂譜便是在音樂可視化中“返璞歸真”的一個典型作品，目前主要應用在在線音樂教育軟件中。但是目前也只注重了對音長、音高、節(jié)奏等可量化的音樂要素的可視化，對于情感要素不僅沒有合理的呈現(xiàn)方式，甚至為了簡化刪去了五線譜上的情感符號，如國外一款可視化處于前列的音樂教育軟件Yousician陪練。智能樂譜對于初學者學習有著積極的促進作用，對音樂情感可視化的研究能夠輔助學習者對音樂的感性理解，但是目前很少有對情感要素可視化進行的研究。

一、音樂可視化映射

在將音樂可視化的過程中，為了確保最終可視效果，需要在聲音和視覺信息之間構建一些特定的連接。2005年，維多利亞大學的研究人員蘭迪·瓊斯（Randy Jones）和本·內(nèi)維爾（Ben Nevile）提出了一種將寬泛的聲音轉換到視覺的方式，并將其定義為“映射”（Image），用于不同領域的輸入和輸出參數(shù)轉換[3]。由于有多種對應方式可以實現(xiàn)聲音到視覺的轉換，因此需要制定一個模式來確定合適的映射方式及其實現(xiàn)方法。根據(jù)視聽轉換的不同規(guī)律，音樂可視化的映射可以分為自然映射、直覺映射、邏輯映射、敘事化映射、數(shù)字化映射和多通道映射等[4]。建立在視聽聯(lián)覺的生理和心理機制上的映射往往由于人們的文化背景、社會環(huán)境等差異而產(chǎn)生不同的理解，因而無法成為音樂可視化的有效指引。因此，盡管基于物理法則和人類感知的邏輯映射并不絕對普遍適用，但對于一些共通的感受，我們可以對其普遍規(guī)律進行探索和歸納[5]。

二、色彩與情感映射模型

情感是音樂要素中最為主觀的一部分[6]，其信息豐富復雜且內(nèi)容廣泛，不能用數(shù)據(jù)精準量化。音樂情感與音樂的節(jié)奏、旋律、強弱、調式、音色等元素密切相關，甚至不同文化背景下的聽眾在聽同一首音樂時，也會引發(fā)不同的情感體驗。因此，一種方式是將情感信息從音樂中提取出來，將音樂特性轉化為情感語義，間接映射出來。間接映射需要通過構建訓練數(shù)據(jù)集、特征提取，通過情感識別模型對其分類并獲得特征數(shù)值，通過特征數(shù)值在空間中的對應位置與色彩模型中色彩的對應位置建立聯(lián)系，音樂與色彩之間的間接映射就由此建立起來。國外情感模型的研究起步較早，成果較多。其中，針對音樂的主流情感模型有PAD三維情感模型（Pleasure-Arousal-Dominance），Hevner情感環(huán)模型，TWC（Tellegen-Watson-Clark）情感模型和Thayer情感模型（如圖1），其中PAD三維情感模型、TWC情感模型和Thayer情感模型都是通過描述情感向量在空間中的定位，利用情感空間中的坐標信息獲得不同情感狀態(tài)之間相似程度或差異程度的情感量化方式。Hevner情感環(huán)模型則是由一系列離散的詞語組成，并且這些離散的詞語情感屬性的差異較大，有利于音樂作品的情感鑒別。最常用的情感模型有PAD三維情感模型和Hevner情感環(huán)模型[7]。上海大學耿凌艷以Thayer情緒模式與伊頓色彩理論的對應關系為例，從音樂數(shù)據(jù)中提取相關特征，對不同風格曲目進行Thayer情緒模式分類，并匹配到相應的“調色板”。音樂可視化既定目標是確?？梢暬伾c音樂情緒相匹配，但由于許多歌曲的節(jié)奏、音量、音樂的音色都會發(fā)生整體或局部的變化造成情緒的改變，也就是情緒的遞進、高潮、承接、下落等，使程序的計算發(fā)生變化，導致一首歌曲朝著新的情緒象限的方向移動。因此在智能樂譜中，色彩與情感的間接映射模型需要依靠動態(tài)音樂情感預測，而不是通過靜態(tài)音樂情感預測對切片音樂輸出一個結果。這種間接映射的方式往往精確度很高，但目前這類音樂情感研究存在著音樂情感數(shù)據(jù)集稀缺、情感量化難度大、情感識別精準度有限等諸多技術挑戰(zhàn)[8]，如何借助人工智能方法對音樂的情感趨向進行有效的且高質量的識別是當前技術研究的熱點與難點，對其技術應用中可視化的研究還較少。

直接映射的方式是指基于音高與色彩進行的直接關聯(lián)映射，學者基于音樂和顏色關聯(lián)性的產(chǎn)生原因提出了系統(tǒng)性的理論，在這些研究中最著名的就是直接關聯(lián)和情緒中介關聯(lián)[9]。直接關聯(lián)以光波的邏輯映射為基礎，情緒中介關聯(lián)以音樂和顏色激發(fā)的相似情緒為基礎[10]。這種關聯(lián)是基于人類的感知經(jīng)驗，也就是“聯(lián)覺”，但由于經(jīng)歷不同，人的主觀感受性不同，因此目前還沒有一個被公認的音樂色彩映射模型。雖然過去有很多音樂家、畫家、科學家給出了音高與色彩的映射關系，但他們多被應用在個人化創(chuàng)作中，其普遍性與有效性鮮有人探究。直接映射的方式能夠跳過間接映射的技術壁壘，更為簡單地得到音樂與顏色的對應關系。

基于直接關聯(lián)和情緒中介關聯(lián)，有許多學者提出了假設，如最早在17世紀牛頓基于他對光線和棱鏡的實驗，將顏色與音符聯(lián)系起來。他識別出光譜中的七種顏色——紅、橙、黃、綠、藍、靛、紫——并將它們與音階中的七個音符相匹配[11]。此后也有音樂家、科學家、學者提出了大量的映射模型，將音樂的音高和色彩進行一對一的對應，例如18世紀法國耶穌會士路易斯·伯特蘭·卡斯特（Louis Bertrand Castel）對牛頓的思想進行了擴展，他認為每一個音符都有相應的顏色，并發(fā)明了一種“視覺大鍵琴”，這種裝置在按下琴鍵時會投射出彩色的光，從而通過顏色直觀地表現(xiàn)出音樂。19世紀晚期，Theodor Seemann提出了具體的音符與顏色之間的詳細聯(lián)系，旨在更普遍地理解這些對應關系在藝術和治療中的應用。20世紀初，俄羅斯作曲家亞歷山大·斯克里亞賓創(chuàng)造了一種“顏色管風琴”來視覺地表現(xiàn)他的聯(lián)覺體驗，當他聽到音樂音調時會感知顏色。他的作品對音樂和視覺藝術都有重大影響，推動了色彩與音樂的融合。這些學者及其模型展示了對音高和色彩之間聯(lián)系的不同理解和應用方法，但這些映射模型的共通點都是對音高與色彩進行單一映射[12]。

除了對音高和色彩進行單一映射外，國外研究者Francsolina還通過為和弦組“賦色”的方式，將五度圈與色輪相結合，使樂曲中的和弦與色彩相映射，使作品具有與音樂調性相近的整體色彩基調。在樂理中，五度圈是以純五度音程為間距、按順時針方向排列、以C和弦為起始點的圓圈，各和弦按其在和聲上的相似性，在環(huán)上依次排開[13]。由于一首樂曲是由若干和弦經(jīng)過設計構思排列組合而成的，因此通過映射可以得到顏色組成的和弦色譜。Francsolina將此種映射應用在了作品中，從視覺上就可以看出音樂的調性變化，雖然有局部色彩的變化，但整體色調一致，符合音樂的情緒調性。如歡快的《D’GreatKarnon》顏色比較活躍溫暖；《BlueDonaur》的色調則更加浪漫；《Moonlight》的色調由藍、綠、黃三種顏色組成，相對偏向冷色調，匹配樂曲安靜清冷的整體基調?？v觀其每一首作品的整體色彩都會有一個主色調，即帶有情緒基調的音樂調式。

然而，關于色彩與音樂之間的映射方式尚缺乏權威的研究。針對前面提到的兩種映射方式，即音高與色彩的單一映射和通過五度圓將和弦組與色彩進行映射的方法，具體哪一種表達音樂情感的方法更具普遍性，更契合鋼琴學習者的實際需求，將在實驗中進行研究。

三、實驗設計

（一）前期實驗準備

選擇六段學習難度適中且屬于不同調性的樂曲，本次選擇《summer》（D調）、《天空之城》（C調）、《送別》（C調）、《克羅地亞狂想曲》（Eb調）、《夢中的婚禮》（g小調）、《未聞花名》（#F調）六段樂曲，分別制作基于色彩與情感映射的智能樂譜，由于本次實驗只關注色彩與情感映射，在具體設計中將樂譜圖形化，忽略無關的音樂要素。采用矩形表示樂音的音符時值長度，音符時值越長，矩形的長度也越長。被試者選取12名初學者，每兩人收聽同一段樂曲觀看其可視化樂譜并答題，實驗試題以主觀評價量表的方式設計，分別比較兩種映射模型在視覺體驗、映射準確度、情感認知效率等方面的優(yōu)劣，并且由于初學者學習需求，要同時考慮學習效率，并進行評分。

1.音名-色彩一對一映射測試模型

選擇大部分研究者都認同的顏色-音名映射模型，將人耳可聽音頻率范圍與可見光的光譜色帶按比例關聯(lián)起來[14]，就得到如下模型（如圖2）。將其按照單音映射到智能樂譜上，由于按照頻率進行的關聯(lián)，所以繪制五線譜用固定調對應，得到可視化樂譜。

2.和弦-色彩映射測試模型

將五度圓中調性-和弦映射系統(tǒng)與色相環(huán)相結合，并在Francsolina的五度圈色彩系統(tǒng)基礎上將對應平行小調的主和弦放到內(nèi)側，并賦予低明度來表示較為暗淡的情感色彩，映射到樂譜中得到實驗樣本（如圖3）。

音名-色彩映射模型為映射一，和弦-色彩映射模型為映射二，以《夏天》（summer）為例的映射測試樣本形式如圖4。通過樣本片段的不同和弦數(shù)量得到其相應顏色色塊占比，得到所對應歌曲樣本片段的色彩盤（如圖5），可以看出色彩基調。

（二）實驗研究分析

基于以上研究分析，一對一映射模型色彩分布更散亂，但對于不同音名的指代作用更強，適合于映射單個音樂元素，對于理解音樂整體并無明顯作用。相比之下，基于五度圈的和弦與色彩映射在和弦走向、情感基調上有更為明顯的效果，通過樣本片段色彩盤中諸如夢幻的紫色與《夢中的婚禮》樂曲的對應、歡快的橙黃色與《summer》樂曲的對應等，可以看出此映射模型有著基本的情感映射效果?；诖耍P者對用戶進行認知調研（如表1）。

1.基于五度圈的和弦色彩映射在表現(xiàn)音樂情感上更優(yōu)，并且能夠產(chǎn)生更多的情感聯(lián)想，方便學琴者對音樂情感的感知。但是此種方式還有很多局限性，比如五度圈之外的和弦并沒有相關的顏色映射案例，此實驗是將其進行替換，雖然大部分智能樂譜的色彩符合其樂曲的情感，但這種方式并不具備普遍適用性。除了調性，節(jié)奏、配器等也會影響音樂情感，因此在準確性方面，基于情感語義的間接映射更好。

2.音名色彩一對一映射和基于五度圈的和弦色彩映射在視覺體驗上相當，不管是對音高還是和弦進行映射，都具有一定的視覺規(guī)律性。

3.哪種方式旋律線更加明確，取決于主旋律和和弦的進行。當主旋律連貫，音名色彩一對一映射更能表現(xiàn)出旋律；當和弦簡單，基于五度圈的和弦色彩映射也能表現(xiàn)出旋律。

4.兩種映射方式在學習效率上各有優(yōu)勢，對于初學者而言，可以使用音名色彩一對一映射，便于輔助記憶五線譜。鍵盤提示可以用相同顏色，幫助辨識、記憶、尋找單音，對于有一定基礎的學習者可以使用和弦色彩映射，容易辨認和記憶和弦，幫助對于情感的感性化認識，還可以幫助學習者理解音樂結構。

四、結論

音樂可視化能夠輔助提升學琴者的認知效率，適當?shù)纳逝c情感映射模型可以幫助情感認知。對音高與色彩的單一映射和通過五度圓將和弦組與色彩進行映射兩種方式下學琴者的認知效度進行對比，驗證了在情感認知方面，基于和弦色彩的映射比基于音高的映射更有效。普遍程度上可以通過和弦映射來做音樂可視化，但由于對情感影響的因素較為復雜，對于需要更高準確度的場景，還是要依靠人工智能對其進行分類后再映射到色彩。在學習認知方面，不同映射方式適用于學習的不同階段，靈活運用色彩能夠幫助學習者抽象記憶，對音樂教育及樂譜的可視化設計具有實踐借鑒意義。

參考文獻：

[1]朱小慧.聲形音景：音樂可視化的映射模式設計研究[D].無錫：江南大學，2022.

[2]賈洋.基于音樂可視化的鋼琴學習軟件設計研究與實踐[D].杭州：浙江科技學院，2022.

[3]Jones，R.and B.Nevile.Creating Visual Music in Jitter：Approaches and Techniques[J].Computer Music Journal，2005（4）：55.

[4]靳媛媛，周帆揚.音畫交互設計在音樂演出中的聯(lián)覺表達要素[J].藝苑，2022（2）：95-98.

[5]耿凌艷.音樂可視化設計中的映射探究——以Thayer情緒模式與伊頓色彩理論的對應關系為例[J].裝飾，2017（7）：103-105.

[6]施海斌.基于PAD情感模型的虛擬樂舞設計研究[D].哈爾濱：哈爾濱工業(yè)大學，2015.

[7]屈天喜.基于情感識別的實時交互式音樂可視化研究[D].長沙：中南大學，2008.

[8]康健，王海龍，蘇貴斌，等.音樂情感識別研究綜述[J].計算機工程與應用，2022（4）：64-72.

[9]劉俊伽.音樂表演服裝顏色對音樂情緒體驗的影響[D].重慶：西南大學，2021.

[10]章志光.社會心理學[M].北京：人民教育出版社，2001：32-35.

[11]何藝珊，馬強.音樂調性與色彩的聯(lián)覺特征研究[J].藝苑，2017（3）：96-101.

[12]Brougher，K.，J.Strick，A.Wiseman，J.Zilcer，amp;O.Mattis.Visual Music：Synaesthesia in Art and Music Since 1900[M].New York：Thamesamp;Hudson，2005：213.

[13]朱文濤，朱小慧.一種跨媒介的動態(tài)圖形：馬林諾夫斯基音樂視覺化設計研究[J].美術大觀，2021（4）：138-140.

[14]何藝珊，馬強.音樂調性與色彩的聯(lián)覺特征研究[J].藝苑，2017（3）：96-101.

作者簡介：

李娟，博士，西華大學美術與設計學院副教授。

王子涵，碩士，西華大學美術與設計學院設計學專業(yè)研究生。