音樂聲的音色感知特征與情感的關(guān)聯(lián)研究

郭紀(jì)瑩,劉京宇,蔣玉暕

(1.中國傳媒大學(xué) 媒體融合與傳播國家重點實驗室，北京 100024；2.中國傳媒大學(xué) 現(xiàn)代演藝技術(shù)北京市重點實驗室，北京 100024；3.中國傳媒大學(xué) 視聽技術(shù)與智能控制系統(tǒng)文化和旅游部重點實驗室，北京 100024；4.中國傳媒大學(xué) 信息與通信工程學(xué)院，北京 100024)

音色和情感是音樂聲最重要的兩個方面，兩者都是復(fù)雜的、多維的，并且兩者密切相關(guān).大多數(shù)學(xué)者都認(rèn)為通過人聲可以更好地感知到情緒，但是對非語音聲音(器樂)的音色研究卻很少.2009年，Hailstone等[1]證明在不改變其他音樂特征的前提下，不同音色(樂器)會影響到情感的感知結(jié)果.1977年，Scherer等[2]發(fā)現(xiàn)音色是合成音色評級的重要因素.并且Peretz等[3]發(fā)現(xiàn)，比起音樂中的其他特征，例如和聲和旋律等，音色可以有助于加速情感的分類.2005年，Bigand等[4]比較了短音樂片段和長音樂片段(大約25 s長)，證明了音色對情感的重要影響.2012年，Eerola等[5]進(jìn)行了聽力測試，調(diào)查情緒與時域特征和頻譜特征的相關(guān)性，證實了一些特征與情感維度、效價度和喚醒度之間的強(qiáng)烈相關(guān)性.Wun等[6]和Chau等[7]通過聽覺測試研究音色的客觀頻譜特征與情感之間的關(guān)系，通過改變頻譜斜率判斷是否對音色有影響，研究證明了改變頻譜斜率后對音色識別有很明顯的影響，也就是說頻譜質(zhì)心會影響音色.音色特征可以分為底層客觀特征、中層感知特征以及高層語義特征.音色與情感的研究通常都是根據(jù)音色特征建立音色空間然后與情感進(jìn)行關(guān)聯(lián).目前，很少有研究從音色感知特征對情感進(jìn)行分析，大多數(shù)研究都是通過音色的底層客觀特征對情感進(jìn)行分析.同時，音色的物理特征是客觀存在的特征，而情感感知屬于高層信息，是依賴于人的感官而特定標(biāo)注的信息，物理特征與高層信息之間存在語義間隙問題，無法直接對應(yīng).Jiang[8-9]等通過提取音色底層客觀特征建立了音色空間，比較全面地描述了樂器音色.

1 主觀評價實驗

本節(jié)首先確定了5維情感空間，然后對音色素材進(jìn)行基于系列范疇法的情感評價實驗，并對實驗數(shù)據(jù)進(jìn)行了信度檢驗、效度檢驗、噪聲剔除與正態(tài)分布驗證.實驗結(jié)果將用于音色感知特征和情感的關(guān)聯(lián)分析以及情感的參數(shù)化建模.

1.1 情感空間的構(gòu)建

有關(guān)音樂情感語義描述的著名理論大多是西方的研究，國內(nèi)很少有在漢語語義背景下對音樂情感的研究，如果直接用西方的情感描述詞會存在語義差別，所以本文的情感評價詞選取于漢語情感評價詞庫[10]，情感評價詞庫中包含26個評價詞.因為一些情感詞之間具有較高的相關(guān)性，為了減少信息冗余，采用聚類分析、多維尺度分析(Multidimensional Scaling analysis，MDS)方法對26個情感評價詞的相關(guān)矩陣進(jìn)行分析，然后參考Hevner情感環(huán)，結(jié)合來自音樂專業(yè)的被試的意見選擇更適合描述音色的情感詞，然后根據(jù)來自非音樂專業(yè)的被試的意見選擇更容易被理解的情感詞，最終得到了5個情感評價詞：寧靜(Quiet)；神圣(Holy)；愉快(Happy)；激情(Passion)；悲傷(Sad).這5個評價詞構(gòu)成了情感空間的5個維度，并將用于基于系列范疇法的情感評價實驗與情感空間的參數(shù)化建模.

1.2 基于系列范疇法的情感評價實驗

實驗素材包括72種音色的72條音階素材和48種音色的220條旋律素材，素材時長為10～15 s左右.本次研究的主要對象為音色，但是有研究證明音色和音調(diào)是不可分的，因此研究中的音色素材也包括了音調(diào)因素.為了排除響度因素對實驗的影響，實驗中的素材均進(jìn)行了響度歸一化.

本次實驗在標(biāo)準(zhǔn)聽音室進(jìn)行，共有66名無聽力障礙的被試參加，年齡在22歲到35歲之間.參加音階情感實驗與旋律情感實驗的人數(shù)均為33人，其中男性14人.在正式實驗前，所有被試均受過專業(yè)音響的聽音訓(xùn)練，具有一定的聽音經(jīng)驗，對音樂情感有較好的理解能力.為使被試能夠把握評價標(biāo)準(zhǔn)和打分尺度，在正式實驗前，播放3條素材庫外同等形式的音階/旋律進(jìn)行預(yù)實驗.正式實驗流程為播放素材片段，被試一次性判斷該素材在各情感上的心理尺度并按照9級尺度進(jìn)行評價.實驗中每段素材播放2～3遍，間隔5 s，每30 min休息10 min.

實驗中的樣本數(shù)據(jù)均進(jìn)行了信度檢驗和效度檢驗，檢驗結(jié)果表明實驗數(shù)據(jù)為理想數(shù)據(jù)，可靠性高.本次研究使用拉伊達(dá)準(zhǔn)則法對噪聲數(shù)據(jù)進(jìn)行處理，通過Z分?jǐn)?shù)對原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，按照Z分?jǐn)?shù)與標(biāo)準(zhǔn)差的倍數(shù)為1.5倍標(biāo)準(zhǔn)差對噪聲數(shù)據(jù)進(jìn)行剔除.對數(shù)據(jù)進(jìn)行正態(tài)分布驗證，驗證結(jié)果顯示實驗數(shù)據(jù)均符合正態(tài)分布，所以下一步相關(guān)分析均使用Pearson相關(guān)系數(shù).

2 音色感知特征與情感的相關(guān)性研究

本節(jié)根據(jù)情感的主觀評價實驗數(shù)據(jù)對音色與情感的關(guān)系進(jìn)行研究，通過分析與建模得到本文的音色感知特征如表1所示.首先在已有的音色感知特征基礎(chǔ)上，計算各音色感知特征與各情感的相關(guān)系數(shù)，然后根據(jù)樂器演奏內(nèi)容的不同，將素材分成音階和旋律；根據(jù)時域特征的不同，將樂器分成持續(xù)性樂器和非持續(xù)樂器，這里持續(xù)和非持續(xù)樂器分類是按照樂器發(fā)聲方式劃分的，非持續(xù)性樂器的聲音演奏后會立即衰減而無法持續(xù)，一般樂器分為吹奏樂器、弦樂器、彈撥樂器和打擊樂器，其中吹奏樂器和管弦樂器為持續(xù)性樂器；根據(jù)樂器種類的不同，將樂器分成中國樂器和西洋樂器，進(jìn)一步研究不同音色的感知特征對情感的影響.

2.1 演奏內(nèi)容對音色感知特征和情感相關(guān)性的影響

將素材按照演奏內(nèi)容進(jìn)行分類，分別計算音色感知特征與情感的相關(guān)系數(shù)，根據(jù)相關(guān)系數(shù)繪制音色感知特征與情感的相關(guān)系數(shù)折線圖，如圖1所示，圖中的相關(guān)性為相關(guān)系數(shù).

圖1 演奏內(nèi)容對音色感知特征與情感相關(guān)性的影響Fig.1 The influence of correlation of playing content on timbre perception features and emotions

表1 5個音色感知特征Tab.1 Five timbre perception features

從圖1可以得到以下結(jié)論：

首先，旋律素材的大部分音色感知特征與各情感為正相關(guān)，對于旋律素材來說，干癟-柔和、嘶啞-協(xié)和這兩個音色感知特征與寧靜、神圣這兩個情感維度具有很高的正相關(guān)性，即帶有旋律的音色越柔和、越協(xié)和，那么這個音色聽起來就越寧靜、越神圣.

其次，無論是旋律素材還是音階素材，明亮-暗淡、粗糙-純凈對悲傷和愉快的相關(guān)性都非常高，并且均具有相反的影響作用，也就是說一種音色越明亮、越純凈，其聽起來就越愉快，越暗淡、越粗糙則聽起來越悲傷，這與人們對音樂情感的感知是一致的.

然后，除了神圣這一情感維度，音階的明亮-暗淡和粗糙-純凈與他4種情感的相關(guān)系數(shù)都分別分布在最頂端和最低端，這說明明亮-暗淡和粗糙-純凈是對情感影響最大且具有相反作用的兩個音色感知特征.

2.2 時域特性對音色感知特征和情感相關(guān)性的影響

根據(jù)樂器的發(fā)聲方式不同，可以將音階素材和旋律素材分為兩類：持續(xù)性樂器和非持續(xù)性樂器.持續(xù)性樂器和非持續(xù)性樂器的音色感知特征和情感的相關(guān)系數(shù)的折線圖如圖2，圖3所示.

圖2 時域特性對音階音色感知特征與情感相關(guān)性的影響Fig.2 The influence of correlation of temporal characteristics on timbre perception features and emotions of scales

圖3 時域特性對旋律音色感知特征與情感相關(guān)性的影響Fig.3 The influence of correlation of temporal characteristics on timbre perception features and emotions of melody

從圖2和圖3可以得到以下結(jié)論：

首先，兩圖中線條的趨勢都是比較一致的，無論是持續(xù)性樂器還是非持續(xù)性樂器，與悲傷情感正相關(guān)的都是明亮-暗淡、尖銳-渾厚這兩個感知特征，剩下的3個音色感知特征均與悲傷負(fù)相關(guān)，且正向相關(guān)性最大的均為明亮-暗淡，負(fù)相關(guān)性最大的均為粗糙-純凈.

其次，兩圖中粗糙-純凈和嘶啞-協(xié)和的折線趨近于重合，因此這兩個音色感知特征對情感的影響基本相同.

2.3 樂器類型對音色感知特征和情感相關(guān)性的影響

中國樂器與西洋樂器的音色是不同的，本節(jié)主要分析中西樂器的音色對情感的不同影響.本節(jié)針對音階素材進(jìn)行研究.中西樂器的音色感知特征和情感的相關(guān)系數(shù)的折線圖如圖4(見 第350頁)所示.

從圖4可以得到以下結(jié)論：

首先，除了神圣這一情感外，中國樂器和西洋樂器的音色感知特征對情感的影響趨勢高度一致.神圣與中國樂器的干癟-柔和、粗糙-純凈和嘶啞-協(xié)和這3個感知特征具有較高的相關(guān)性，也就是說與西洋樂器相比，中國樂器的音色更容易引起神圣這一情感.

其次，無論是中國樂器還是西洋樂器，悲傷和愉快與5個感知特征均具有較高的相關(guān)性；寧靜與干癟-柔和、粗糙-純凈和嘶啞-協(xié)和這3個感知特征有極強(qiáng)的正相關(guān)性；激情與明亮-暗淡和尖銳-渾厚具有較高的負(fù)相關(guān)性.

2.4 三因素對音色感知特征與情感相關(guān)性的影響

為了更直觀地展示音色感知特征與情感的關(guān)聯(lián)關(guān)系與演奏內(nèi)容、時域特性和樂器類型三因素對音色感知特征和情感的影響，我們對實驗數(shù)據(jù)進(jìn)行多維偏好分析.圖5(見 第350頁)是三因素對音色感知特征與情感關(guān)聯(lián)的載荷圖，原點代表整個樣本的平均水平，從原點出發(fā)，散點離原點越遠(yuǎn)，傾向性越強(qiáng)；落在從原點出發(fā)相同方位上大致相同區(qū)域內(nèi)的散點彼此有聯(lián)系，對于變量來說意味著這是一個潛在的因子.

圖4 中西樂器對音色感知特征與情感相關(guān)性的影響Fig.4 The influence of correlation of Chinese and Western Musical Instruments on timbre perception features and emotions of scales

圖5 音色感知特征與情感的載荷圖Fig.5 The load diagram of timbre perception features and emotions

圖5可以從兩個方面分析：

首先，可以從成分載荷的分布中分析音色感知特征與情感的關(guān)系.由圖5中情感的載荷線可以看出寧靜與神圣在情感中比較接近，愉快和激情比較接近，而悲傷是獨立的一個情感成分.音色感知特征的載荷線中，干癟-柔和、粗糙-純凈和嘶啞-協(xié)和為一個主要成分，尖銳-渾厚和明亮-暗淡為一個主要成分.而悲傷與尖銳-渾厚、明亮-暗淡為同一區(qū)域，說明這兩個音色感知特征對悲傷影響比較大，而悲傷的方向與愉快、激情大致為共線反向，說明這兩個音色感知特征與愉快、激情為強(qiáng)烈的負(fù)相關(guān)，這與第2節(jié)的折線圖結(jié)論一致.寧靜與神圣這兩個情感與5個音色感知特征的夾角差別較小，因此5個感知特征對寧靜、神圣的影響力基本相同，與折線圖的結(jié)果相同.

其次可以從樂器類型、時域特性和演奏內(nèi)容的散點分布中分析三因素對音色與情感的影響.三因素中，樂器類型與時域特性的散點出現(xiàn)了明顯的空間定位差異，而演奏內(nèi)容的兩個散點與原點比較近，因此演奏內(nèi)容對音色感知特征與情感關(guān)聯(lián)沒有明顯的影響.相比于西洋樂器，中國樂器與原點接近，說明中國樂器對音色感知特征與情感關(guān)聯(lián)的影響傾向并不明顯；非持續(xù)性樂器與愉快和粗糙-純凈的距離接近，說明非持續(xù)性樂器對粗糙-純凈與愉快的關(guān)系的影響更明顯，而持續(xù)性樂器對明亮-暗淡與悲傷的關(guān)聯(lián)具有明顯影響.雖然音階與旋律的散點均在原點附近，但音階更接近寧靜、神圣和悲傷，而旋律更接近原點，距離各音色特征與情感的距離均比較遠(yuǎn)，所以旋律對音色感知特征和情感關(guān)聯(lián)的影響比較小.

上述結(jié)論進(jìn)一步證明了第2節(jié)的結(jié)論：樂器類型代表不同樂器的音色，對音色影響是最大的，所以認(rèn)為樂器類型對音色和情感關(guān)聯(lián)影響最大；時域特性代表樂音音色的起振變化，會產(chǎn)生不同的打擊感和沖擊感，結(jié)合圖5可以說明時域特性同樣會對音色與情感的關(guān)聯(lián)產(chǎn)生影響；演奏內(nèi)容主要與樂音的音高有關(guān)聯(lián)且基本上對音色沒有影響，所以相對于其他兩個因素，演奏內(nèi)容對音色和情感關(guān)聯(lián)的影響不大，例如用同一個樂器演奏音階和旋律，不會因為演奏內(nèi)容不同而對音色情感產(chǎn)生比較大的影響.

表2 三因素與相關(guān)系數(shù)的方差分析Tab.2 Analysis of variance of three factors and correlation coefficient

為了考察三因素對音色感知特征與情感關(guān)聯(lián)的影響差異，分別計算三因素與相關(guān)系數(shù)的方差分析，表2為方差分析結(jié)果，可以看到演奏內(nèi)容和時域特性對音色情感的影響的p值均遠(yuǎn)大于0.05，說明演奏內(nèi)容和時域特性的統(tǒng)計學(xué)意義不大；而樂器類型對神圣的影響的p值為0.04，因此模型中至少有一個因素有統(tǒng)計學(xué)意義.綜上所述，在下一步建模時將音階素材和旋律素材進(jìn)行合并后再建模.

3 音色感知特征與情感關(guān)聯(lián)模型的構(gòu)建

本節(jié)運用多元線性回歸構(gòu)建情感預(yù)測模型，多元線性回歸時采用逐步回歸法，并對存在共線問題的音色感知特征進(jìn)行了剔除，模型的輸入為音色感知特征與情感，輸出為情感的表達(dá)式.計算各音色感知特征與情感的相關(guān)性系數(shù)，當(dāng)相關(guān)系數(shù)小于0.2時可以認(rèn)為音色感知特征和情感不相關(guān)，則該音色感知特征將不作為該情感預(yù)測模型的輸入.通過相關(guān)系數(shù)R和平均絕對誤差(Mean Absolute Error，MAE)εMAE評估以上模型的精確度，R越大模型的擬合越好，εMAE值越小模型的預(yù)測精確度越好.

YSAD=0.87XB-D-0.47XS-V+0.49XR-M-0.82XH-C+0.57XC-P+2.1,

(1)

YQUI=0.5XB-D+0.71XR-M-0.62XH-C+0.84XC-P-1.52，

(2)

YHOL=0.33XB-D+0.44XR-M+0.19XC-P+0.42，

(3)

YHAP=-0.79XB-D+0.38XS-V-0.29XR-M+0.57XH-C-0.37XC-P+6.98，

(4)

YPAS=-0.89XB-D+0.35XS-V-0.39XR-M+0.67XH-C-0.83XC-P+9.29.

(5)

圖6 模型評價的相關(guān)系數(shù)Fig.6 Correlation coefficient of model evaluation

式(1)～(5)為模型的輸出，其中：YSAD，YQUI，YHOL，YHAP，YPAS分別代表悲傷、寧靜、神圣、愉快和激情5個情感維度；XB-D，XR-M，XS-V，XC-P，XH-C分別代表明亮-暗淡、干癟-柔和、尖銳-渾厚、粗糙-純凈與嘶啞-協(xié)和5個音色感知特征.

圖6為5個情感感知模型的相關(guān)系數(shù)，可以看出5個情感模型的相關(guān)系數(shù)均在0.65及以上，說明模型能較好地預(yù)測5種情感.

4 結(jié) 語

本文對音色感知特征與情感的相關(guān)性展開研究，首先利用MDS方法確定了一個5維的情感空間，根據(jù)5維情感空間進(jìn)行了情感評價實驗，并對實驗數(shù)據(jù)進(jìn)行了信度效度檢驗與噪聲剔除.研究了演奏內(nèi)容、時域特性以及樂器類型對音色感知特征與情感關(guān)系的影響，結(jié)果表明時域特性和演奏內(nèi)容對音色感知特征與情感關(guān)聯(lián)的影響非常小，樂器類型會對音色感知特征與情感的關(guān)聯(lián)產(chǎn)生一定的影響.然后利用多元線性回歸算法建立了5個情感預(yù)測模型，結(jié)果表明建立的模型對5種情感均具有良好的預(yù)測能力.

在未來的研究中，可以將重點放在以下幾點：首先，為了探究樂器類型對情感的影響，在現(xiàn)有的音色數(shù)據(jù)庫的基礎(chǔ)上增加西方樂器的旋律素材，提高模型的通用性；其次，可以對比其他機(jī)器學(xué)習(xí)方式，改進(jìn)模型以提高模型的預(yù)測能力；最后，可以對比分析感知特征與情感的模型和底層物理特征與情感的模型，為解決音色的底層客觀特征與主觀情感空間存在的語義間隙問題提供理論和實驗依據(jù).

致謝：感謝中國音樂學(xué)院為本次實驗提供部分中國樂器的音階材料！感謝中國傳媒大學(xué)音樂與錄音藝術(shù)學(xué)院王鑫老師給論文提出的寶貴建議！