基于時(shí)間序列分解的音樂(lè)動(dòng)態(tài)情感分析

張宗夏,謝凌云

(中國(guó)傳媒大學(xué) 傳播聲學(xué)研究所,北京 100024)

1 研究背景

時(shí)間序列是對(duì)某個(gè)系統(tǒng)或過(guò)程在連續(xù)時(shí)間點(diǎn)進(jìn)行的一系列定量觀(guān)察,通常時(shí)間點(diǎn)的間隔是等距的,不同時(shí)間點(diǎn)的數(shù)據(jù)之間有一定的相關(guān)性[1]。時(shí)間序列中的時(shí)間可以是年、月、日、時(shí)、分、秒等任何時(shí)間形式,取決于觀(guān)察變量的性質(zhì)及其應(yīng)用。

為了挖掘時(shí)序變化中的信息,通常可以將時(shí)間序列分解為4部分: 趨勢(shì)分量、季節(jié)分量、循環(huán)分量和隨機(jī)分量,并對(duì)每個(gè)部分進(jìn)行分析和建模。大多數(shù)時(shí)間序列具有一種或多種上述結(jié)構(gòu)。經(jīng)典的分解方法是根據(jù)加法模型或乘法模型,對(duì)各分量逐步分析。此外,基于加法模型的STL(Seasonal-Trend decomposition using Loess)可以直接得到各分量的值,該方法使用局部回歸計(jì)算趨勢(shì)分量,從而有效地調(diào)整了季節(jié)性分量[2]。

許多真實(shí)世界的時(shí)間序列數(shù)據(jù)表現(xiàn)出復(fù)雜的模式趨勢(shì)、季節(jié)性、異常值和噪音,穩(wěn)健而準(zhǔn)確地分解出這些分量將極大地促進(jìn)時(shí)間序列任務(wù),包括異常檢測(cè)、預(yù)測(cè)和分類(lèi)等。Theodosiou等[3]將時(shí)間序列分解為趨勢(shì)分量、季節(jié)分量和隨機(jī)分量,對(duì)各分量序列進(jìn)行預(yù)測(cè),再相加得到整體序列的預(yù)測(cè)值,改進(jìn)了預(yù)測(cè)的準(zhǔn)確性。Mert等[4]在腦電圖(Electroencephalogram,EEG)數(shù)據(jù)上進(jìn)行了情緒識(shí)別,具體通過(guò)經(jīng)驗(yàn)?zāi)B(tài)分解(Empirical Mode Decomposition,EMD)將腦電圖數(shù)據(jù)分解為多個(gè)平穩(wěn)的子序列,然后提取子序列的功率比、功率譜密度和熵值等特征,采用人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)進(jìn)行分類(lèi),在情感的兩個(gè)維度上分別能達(dá)到75%和72.87%的準(zhǔn)確率。

音樂(lè)信號(hào)是一種動(dòng)態(tài)變化的信號(hào),音樂(lè)的旋律、響度、情感都會(huì)隨著時(shí)間變化,目前一些音樂(lè)信息檢索(Music Information Retrieval,MIR)領(lǐng)域的研究都采用了時(shí)間相關(guān)的特征來(lái)提升預(yù)測(cè)或分類(lèi)結(jié)果的準(zhǔn)確率[5-7],但是將時(shí)間序列分解應(yīng)用在音樂(lè)動(dòng)態(tài)時(shí)間數(shù)據(jù)上的研究還很少見(jiàn)。音樂(lè)的動(dòng)態(tài)情感研究需要人工標(biāo)注音樂(lè)在各個(gè)時(shí)間點(diǎn)上的情感作為真實(shí)值,作為一種時(shí)間序列數(shù)據(jù),音樂(lè)的動(dòng)態(tài)情感序列直接反映了人們受音樂(lè)內(nèi)容變化而產(chǎn)生的情感變化。由于音樂(lè)情感主觀(guān)且難以量化,通過(guò)運(yùn)用經(jīng)典的時(shí)間序列分解方法,可以從數(shù)據(jù)層面解釋和理解音樂(lè)情感隨時(shí)間變化的潛在原因,探索和總結(jié)音樂(lè)情感變化的特征規(guī)律,有利于不同類(lèi)別音樂(lè)動(dòng)態(tài)情感的模型構(gòu)建,進(jìn)行音樂(lè)情感的識(shí)別、預(yù)測(cè)、分類(lèi)等。

因此,本文嘗試采用時(shí)間序列分解來(lái)研究音樂(lè)動(dòng)態(tài)情感。具體來(lái)說(shuō)就是選用音樂(lè)動(dòng)態(tài)情感數(shù)據(jù)集DEAM(Developing a benchmark for Emotional Analysis of Music)中8類(lèi)音樂(lè)的2維VA(Valence-Arousal)情感數(shù)據(jù)[8]。VA情感模型將情感狀態(tài)表示為由效價(jià)度(Valence)和激活度(Arousal)構(gòu)成的2維平面坐標(biāo)點(diǎn),原點(diǎn)代表中等效價(jià)度和激活度,效價(jià)度也叫愉悅度,正向代表更愉悅,激活度正向代表更興奮。在每個(gè)維度上,采用時(shí)間序列分解法將其分解為線(xiàn)性趨勢(shì)分量、周期分量和隨機(jī)分量,統(tǒng)計(jì)每類(lèi)音樂(lè)在這3種分量上的時(shí)序特征參數(shù),比較2種維度的音樂(lè)動(dòng)態(tài)情感在這8種類(lèi)別下的異同。再根據(jù)每個(gè)樣本的特征參數(shù),采用分類(lèi)算法進(jìn)行音樂(lè)流派分類(lèi)。

2 DEAM數(shù)據(jù)集

Hsuan等[9]在2013年開(kāi)發(fā)了emo Music數(shù)據(jù)集,該數(shù)據(jù)集完全由來(lái)自免費(fèi)音樂(lè)檔案庫(kù)(Free music archive)的共享音樂(lè)(Creative commons)組成,共744個(gè)音樂(lè)片段,采用了VA情感模型,動(dòng)態(tài)情感標(biāo)注的時(shí)間分辨率為0.5 s。數(shù)據(jù)庫(kù)在2014年新增了1 000個(gè)音樂(lè)片段,在2015年新增了58首完整音樂(lè),共計(jì)1 802個(gè)音樂(lè)片段。2016年,這些數(shù)據(jù)被匯總為DEAM數(shù)據(jù)集[10],并且該數(shù)據(jù)集已成為音樂(lè)情感識(shí)別研究領(lǐng)域的基準(zhǔn)數(shù)據(jù)庫(kù)。

本文選用了DEAM數(shù)據(jù)集中2013年標(biāo)注的744個(gè)音樂(lè)片段。這些片段均來(lái)自不同曲目,分為8種西方音樂(lè)流派,分別為Blues、Classical、Country、Electronic、Folk、Jazz、Pop和Rock(布魯斯、古典、鄉(xiāng)村、電子、民謠、爵士、流行和搖滾)。每類(lèi)音樂(lè)片段的數(shù)量如表1所示。每個(gè)音樂(lè)片段時(shí)長(zhǎng)為45 s,至少有10人標(biāo)注,對(duì)所有被試的標(biāo)注數(shù)值進(jìn)行平均得到該音樂(lè)最終的情感得分。

表1 DEAM數(shù)據(jù)集的音樂(lè)類(lèi)別Tab.1 Music category of DEAM dataset

在標(biāo)注過(guò)程中,被試在操作界面上使用滑動(dòng)標(biāo)尺記錄自己的情感變化,標(biāo)尺刻度為-10～10。再對(duì)其進(jìn)行頻率為2 Hz的采樣,得到每0.5 s的愉悅度和激活度分?jǐn)?shù),并對(duì)得分進(jìn)行歸一化處理。經(jīng)過(guò)克隆巴赫系數(shù)(Crobach's alpha)和GAM(Generalized Additive Mixed models)系數(shù)這兩種信度檢驗(yàn)方法處理后,每個(gè)音樂(lè)片段至少有10位被試的標(biāo)注數(shù)據(jù)。

由于被試在標(biāo)注的開(kāi)始階段需要一段時(shí)間才能真正熟悉并進(jìn)入標(biāo)注的狀態(tài),所以數(shù)據(jù)集的開(kāi)發(fā)者比較了以秒為單位的數(shù)據(jù)一致性,發(fā)現(xiàn)標(biāo)注數(shù)據(jù)在第13秒左右開(kāi)始收斂,因此從45 s的標(biāo)注數(shù)據(jù)中刪除了前15 s的數(shù)據(jù),最終每個(gè)情感標(biāo)注序列保留了30 s的數(shù)據(jù),有60個(gè)數(shù)據(jù)點(diǎn)。

3 序列分解與特征提取

時(shí)間序列分解一般步驟為: 觀(guān)察時(shí)域波形,看其是否表現(xiàn)出長(zhǎng)期趨勢(shì)或周期性;對(duì)長(zhǎng)期趨勢(shì)進(jìn)行擬合;檢驗(yàn)殘差是否包含周期變化;分析并擬合其周期性分量;最后檢驗(yàn)殘差中的隨機(jī)分量。對(duì)趨勢(shì)項(xiàng)和周期項(xiàng)擬合的模型可以簡(jiǎn)單或復(fù)雜,取決于時(shí)間序列本身或者具體應(yīng)用。

時(shí)間序列的季節(jié)性指一年內(nèi)隨著季節(jié)變化發(fā)生的有規(guī)律的變動(dòng)。季節(jié)性與循環(huán)波動(dòng)都是指時(shí)間序列中的周期性和重復(fù)性波動(dòng),不同之處在于,季節(jié)性變化的周期是固定的,可以用已知周期的正弦波加權(quán)和來(lái)建模,循環(huán)波動(dòng)的周期可能不固定。季節(jié)分量通常指一年內(nèi)觀(guān)察到的季節(jié)性變化,而循環(huán)波動(dòng)可能表現(xiàn)為多年中不具有嚴(yán)格周期性規(guī)則的變化。由于本文中的情感數(shù)據(jù)只在分秒的時(shí)間尺度上變化,不涉及季節(jié)因素,結(jié)合季節(jié)性和循環(huán)變動(dòng)的含義,為便于分析只考慮廣義上的周期性,并認(rèn)為一個(gè)情感序列若含有周期性,該周期值是固定的。具體采用了加法模型,如下所示:

式中:Y(t)表示原始序列;T(t),C(t)和I(t)分別表示趨勢(shì)分量、周期分量和隨機(jī)分量。本章將根據(jù)上述步驟,具體介紹將DEAM數(shù)據(jù)集中的不同流派樣本分解為線(xiàn)性趨勢(shì)分量、周期分量和隨機(jī)分量的過(guò)程和結(jié)果。

3.1 線(xiàn)性趨勢(shì)分量

從長(zhǎng)遠(yuǎn)來(lái)看,時(shí)間序列整體呈現(xiàn)出向上或向下運(yùn)動(dòng)趨勢(shì)時(shí),就說(shuō)時(shí)間序列具有趨勢(shì)。音樂(lè)的情感動(dòng)態(tài)變化也有可能存在這樣的長(zhǎng)期趨勢(shì)。長(zhǎng)期趨勢(shì)可以從時(shí)間序列的時(shí)域圖中直觀(guān)地看出,它代表了系統(tǒng)或過(guò)程的根本性變化,然而,在短期時(shí)間內(nèi),序列的趨勢(shì)可能由于周期性或者隨機(jī)變動(dòng)變得模糊。對(duì)趨勢(shì)分量進(jìn)行擬合的最簡(jiǎn)單方法是用線(xiàn)性回歸方法,即用直線(xiàn)來(lái)擬合時(shí)間與觀(guān)測(cè)值之間的關(guān)系。除了線(xiàn)性擬合,還可以使用更復(fù)雜的非線(xiàn)性擬合,如關(guān)于時(shí)間t的二次模型、指數(shù)模型等。趨勢(shì)擬合后的殘差項(xiàng)將會(huì)被進(jìn)一步分析,以檢查是否含有周期分量和隨機(jī)分量。

有研究發(fā)現(xiàn),被試在每首音樂(lè)標(biāo)注的初始階段,普遍需要8～12 s的時(shí)間,所得的數(shù)據(jù)才有較好的一致性[11]。而DEAM數(shù)據(jù)集標(biāo)注了每首音樂(lè)中30 s的情感變化,相對(duì)于人感知到情感變化所需的時(shí)間來(lái)說(shuō)并不是很長(zhǎng),因此在分析序列的趨勢(shì)性時(shí),選用了線(xiàn)性擬合方法。線(xiàn)性擬合相關(guān)的參數(shù)有斜率、截距和擬合優(yōu)度R2。

初步觀(guān)察線(xiàn)性擬合得到的R2,發(fā)現(xiàn)一些情感序列的R2能夠達(dá)到0.8以上,擬合效果較好,但還有一些情感序列的R2偏低,甚至小于0.1,說(shuō)明這些序列的線(xiàn)性趨勢(shì)較差。圖1所示為R2較大和較小時(shí)序列線(xiàn)性擬合的情況。由圖可以看出,R2為0.841的序列線(xiàn)性趨勢(shì)明顯,而R2為0.034的序列線(xiàn)性趨勢(shì)不明顯,表現(xiàn)出一定的周期性。最終記錄每個(gè)序列線(xiàn)性擬合的斜率和R2。

圖1 時(shí)間序列的線(xiàn)性趨勢(shì)Fig.1 Linear trend of time series

3.1.1 激活度趨勢(shì)分析

獲取8類(lèi)音樂(lè)流派的情感數(shù)據(jù)進(jìn)行激活度線(xiàn)性擬合,得到擬合后的斜率和R2,然后計(jì)算它們的均值和標(biāo)準(zhǔn)差,結(jié)果如表2所示。由表可知,序列進(jìn)行了歸一化之后,線(xiàn)性擬合的斜率整體較小,數(shù)量級(jí)為10-4,其中斜率的正負(fù)代表線(xiàn)性趨勢(shì)是增還是減,斜率的絕對(duì)值代表線(xiàn)性趨勢(shì)的陡峭。表中Classical和Folk兩類(lèi)斜率的均值為負(fù)數(shù),且標(biāo)準(zhǔn)差也較大,表明這兩類(lèi)音樂(lè)的激活度由高到低遞減的趨勢(shì)較其他類(lèi)更多。Classical和Electronic兩類(lèi)的斜率絕對(duì)值的均值較大,說(shuō)明這兩類(lèi)音樂(lè)在激活度上長(zhǎng)期變化趨勢(shì)較陡峭,整體的動(dòng)態(tài)范圍較大。

表2 激活度線(xiàn)性擬合結(jié)果Tab.2 Results of linear trend in arousal

R2反映了線(xiàn)性擬合的程度,整體的R2均值在0.5左右,標(biāo)準(zhǔn)差區(qū)別不大。其中Classical、Folk和Electronic 3類(lèi)的R2都在0.5以上,表明這3類(lèi)的線(xiàn)性趨勢(shì)較好。而Rock、Blues和Jazz這3類(lèi)的線(xiàn)性趨勢(shì)較差,說(shuō)明樣本變化受線(xiàn)性趨勢(shì)的影響較小。綜合來(lái)看,Classical類(lèi)的線(xiàn)性趨勢(shì)明顯好于其他類(lèi),說(shuō)明Classical類(lèi)中樣本激活度的變化更傾向于沿著線(xiàn)性的趨勢(shì)增減。

3.1.2 愉悅度趨勢(shì)分析

獲取8類(lèi)音樂(lè)流派的情感數(shù)據(jù)進(jìn)行愉悅度線(xiàn)性擬合,得到擬合后的斜率和R2,然后計(jì)算它們的均值和標(biāo)準(zhǔn)差,結(jié)果如表3所示。愉悅度中,8類(lèi)音樂(lè)流派之間斜率均值的差異較大,情感由正變負(fù)的趨勢(shì)較激活度多,其中Blues類(lèi)最為明顯。愉悅度整體的R2也比激活度高,說(shuō)明情感變化在愉悅度上更符合線(xiàn)性變化。斜率絕對(duì)值中,Country類(lèi)較低,趨勢(shì)變化較平緩,其余差別不大。Classical和Country兩類(lèi)的R2較低,說(shuō)明這兩類(lèi)在愉悅度上線(xiàn)性趨勢(shì)不明顯。綜合來(lái)看,Folk和Rock類(lèi)在愉悅度上的線(xiàn)性趨勢(shì)好于其他類(lèi)。而且Folk類(lèi)在愉悅度和激活度上的線(xiàn)性趨勢(shì)都較好,Country類(lèi)在愉悅度和激活度上的線(xiàn)性趨勢(shì)都較差。

表3 愉悅度線(xiàn)性擬合結(jié)果Tab.3 Results of linear trend in valence

2014年,Weninger等[12]在該數(shù)據(jù)集上用深度學(xué)習(xí)提取到的特征進(jìn)行多變量回歸,得到模型在激活度上的R2為0.7左右,愉悅度上的R2為0.5左右。本文所用線(xiàn)性擬合的整體的R2在0.5左右,與Weninger等[12]的研究結(jié)果相近,說(shuō)明對(duì)愉悅度采用線(xiàn)性擬合足以表示序列的趨勢(shì)。

3.2 周期分量

時(shí)間序列的一個(gè)重要性質(zhì)是不同時(shí)間點(diǎn)的數(shù)據(jù)具有相關(guān)性,即未來(lái)時(shí)間點(diǎn)的數(shù)據(jù)可以用自身的歷史值進(jìn)行預(yù)測(cè)。常用自相關(guān)和偏相關(guān)來(lái)分析時(shí)間序列的相關(guān)性。自相關(guān)函數(shù)(Autocorrelation function)指同一個(gè)時(shí)間序列在時(shí)刻t處與時(shí)刻t+h處取值的線(xiàn)性相關(guān)程度[13]。由于自相關(guān)分析中,時(shí)刻t與時(shí)刻t+h之間的相關(guān)性會(huì)受中間時(shí)刻變量的影響,因此提出了偏相關(guān)函數(shù)(Partial correlation function)。偏相關(guān)函數(shù)的計(jì)算剔除了中間變量的干擾,得到的是嚴(yán)格的兩個(gè)時(shí)刻變量之間的相關(guān)性。定義3變量中排除中間變量h影響時(shí)的偏相關(guān)系數(shù)計(jì)算公式如下:

式中:r ij,h是i和j時(shí)間點(diǎn)的數(shù)據(jù)在排除h時(shí)間點(diǎn)變量影響后的偏相關(guān)系數(shù);r ij是i和j時(shí)間點(diǎn)數(shù)據(jù)的簡(jiǎn)單相關(guān)系數(shù);r ih和r jh同理。當(dāng)序列存在周期性時(shí),遍歷序列不同時(shí)間差下的相關(guān)系數(shù),最大值對(duì)應(yīng)的時(shí)間差即為周期的大小。

在進(jìn)行周期性分析之前,需要對(duì)原始時(shí)間序列消除趨勢(shì)分量。如圖2所示,用原始時(shí)間序列(藍(lán)色曲線(xiàn))減去線(xiàn)性擬合得到的直線(xiàn),得到消除趨勢(shì)后的序列(黃色曲線(xiàn)),再對(duì)其進(jìn)行周期性分析。

圖2 去除線(xiàn)性趨勢(shì)前后對(duì)比Fig.2 Comparison before and after removing linear trend

本文對(duì)周期性的分析使用偏相關(guān)。圖3(a)為某去除序列線(xiàn)性趨勢(shì)后(Off_trend)的時(shí)域波形圖,圖3(b)為其延遲時(shí)間點(diǎn)從0到29的偏相關(guān)(Partial correlation)圖。從時(shí)域圖中可以看出該序列具有一定的周期性,周期值大約為20個(gè)時(shí)間點(diǎn)。偏相關(guān)圖中延遲了23個(gè)點(diǎn)對(duì)應(yīng)的值最大,由此得到該序列的周期值為23個(gè)時(shí)間點(diǎn),即11.5 s。

圖3 周期性序列的時(shí)序圖和偏相關(guān)圖Fig.3 Time sequence graph and partial correlation diagram of periodic sequence

在計(jì)算偏相關(guān)系數(shù)時(shí),延遲接近于0時(shí)的值總是較大,干擾序列周期性的判斷,因此在尋找偏相關(guān)系數(shù)最大點(diǎn)時(shí),從延遲點(diǎn)為4時(shí)開(kāi)始,認(rèn)為人感知到音樂(lè)情感變化的時(shí)間至少為2 s。為了表示序列周期性是否顯著,計(jì)算偏相關(guān)系數(shù)最大值與偏相關(guān)系數(shù)在不同延遲點(diǎn)和的比值,記為周期顯著性,如下所示:

式中:P l為偏相關(guān)系數(shù)延遲l樣本數(shù)對(duì)應(yīng)的值。最終記錄每個(gè)樣本的周期顯著性,偏相關(guān)系數(shù)的最大值以及對(duì)應(yīng)的時(shí)間延遲點(diǎn)數(shù)。

由于一些序列周期性不明顯,如圖4(a)所示的序列,圖4(b)所示的偏相關(guān)系數(shù)均在置信區(qū)間之內(nèi),近似為0,可以認(rèn)為該序列不存在周期性。在得到每個(gè)序列的周期顯著性后,觀(guān)察其對(duì)應(yīng)的時(shí)序圖和偏相關(guān)系數(shù),發(fā)現(xiàn)周期顯著性在0.1以下時(shí),時(shí)序圖和偏相關(guān)系數(shù)都較難看出序列的周期性,因此對(duì)周期顯著性設(shè)置了0.1的閾值,認(rèn)為周期顯著性小于0.1的序列不存在周期性,不計(jì)入后續(xù)每類(lèi)的周期性分析中。最終激活度的結(jié)果中有74首沒(méi)有表現(xiàn)出周期性,愉悅度的結(jié)果中有96首沒(méi)有表現(xiàn)出周期性。

圖4 周期性不顯著序列的時(shí)序圖和偏相關(guān)圖Fig.4 Time sequence graph and partial correlation diagram of periodic insignificant sequence

3.2.1 激活度的周期性分析

表4給出了不同類(lèi)別激活度周期顯著性的均值和眾數(shù),周期值的均值和眾數(shù)。周期值為偏相關(guān)系數(shù)最大值對(duì)應(yīng)的延遲樣本數(shù)。由表中周期顯著性的均值和眾數(shù)可以看出,Pop和Rock類(lèi)的周期性較強(qiáng),同時(shí)由3.1.1節(jié)可知,這兩類(lèi)在激活度上的線(xiàn)性趨勢(shì)較差,說(shuō)明這兩類(lèi)在激活度中,周期變化是更為主要的特性。從周期顯著性的眾數(shù)可以看出,每類(lèi)的周期顯著性大多集中于0.1附近。整體的周期值均值為25左右,即12.5 s,且大部分序列的周期值為29,約為原始時(shí)間序列的一半。

表4 激活度的周期性分析結(jié)果Tab.4 Periodicity analysis result in arousal

3.2.2 愉悅度的周期性分析

表5給出了不同類(lèi)別愉悅度周期性分析的統(tǒng)計(jì)值。由表中周期顯著性的均值可以看出,Blues和Rock類(lèi)的周期性較強(qiáng),Pop類(lèi)的周期性較弱。愉悅度的周期值平均都為23左右,稍低于激活度的。

表5 愉悅度的周期性分析結(jié)果Tab.5 Periodicity analysis result in valence

3.3 隨機(jī)分量

用趨勢(shì)分量、季節(jié)分量和循環(huán)分量對(duì)時(shí)間序列進(jìn)行擬合后,仍然會(huì)有剩余殘差,這些殘差值一般是隨機(jī)的,與時(shí)間無(wú)關(guān),因此也無(wú)法解釋,這種殘差被稱(chēng)為隨機(jī)分量。隨機(jī)分量出現(xiàn)的原因可能是建模不夠充分,也可能是隨機(jī)噪聲的影響。

為了得到隨機(jī)分量,需要先消除周期分量。常用的方法為移動(dòng)平均法,如圖5所示。移動(dòng)平均法是通過(guò)變量之間的平均來(lái)消除隨機(jī)變動(dòng)對(duì)數(shù)據(jù)的影響。對(duì)有周期性的序列,移動(dòng)項(xiàng)數(shù)為周期的大小,以得到每個(gè)周期的平均水平,再用原始序列減去移動(dòng)平均后的序列,得到剩余的隨機(jī)分量。

圖5 使用移動(dòng)平均消除隨機(jī)分量Fig.5 Using moving average to eliminate random components

理論上,去除趨勢(shì)分量和周期分量后的殘差應(yīng)滿(mǎn)足平穩(wěn)性,因此對(duì)得到的每個(gè)序列的隨機(jī)分量進(jìn)行平穩(wěn)性檢驗(yàn)。常用的統(tǒng)計(jì)檢驗(yàn)方法為ADF檢驗(yàn)(Augmented Dickey-Fuller test)[14]。ADF檢驗(yàn)就是判斷序列是否存在單位根,如果不存在單位根,則序列平穩(wěn),否則序列不平穩(wěn),即對(duì)自回歸模型

檢驗(yàn)其是否存在某個(gè)根大于等于1。式中:x t為t時(shí)刻的值;α1,α2,…,αm分別為x t-1,x t-2,…,x t-m對(duì)應(yīng)的自回歸系數(shù);εt為t時(shí)刻的隨機(jī)誤差值。ADF檢驗(yàn)會(huì)得到一個(gè)假設(shè)檢驗(yàn)結(jié)果P值,序列越平穩(wěn)P就越接近于0。每類(lèi)序列ADF檢驗(yàn)中P的均值如表6所示,總體為0.2左右。

表6 隨機(jī)分量的P的均值Tab.6 P mean of random components

為了更加細(xì)致地比較8類(lèi)音樂(lè)隨機(jī)分量的平穩(wěn)性,圖6和圖7分別給出了愉悅度和激活度中每類(lèi)的P值的頻率分布直方圖。可以看出每類(lèi)中大部分序列的P都接近于0,但仍有一些序列的P較大,激活度中最明顯的是Pop類(lèi),愉悅度中最明顯的是Electronic類(lèi),這也說(shuō)明了這兩類(lèi)的趨勢(shì)分量和周期分量分離的不足。

圖6 激活度中每種類(lèi)別P值的頻率分布直方圖Fig.6 Frequency distribution histogram of P value of each category in arousal

圖7 愉悅度中每種類(lèi)別P值的頻率分布直方圖Fig.7 Frequency distribution histogram of P value of each category in valence

3.4 結(jié)果討論

根據(jù)上述分析,橫向?qū)Ρ燃せ疃群陀鋹偠鹊慕Y(jié)果,可以看出8類(lèi)音樂(lè)在愉悅度上的線(xiàn)性趨勢(shì)總體好于激活度,而在愉悅度上的周期顯著性低于激活度,說(shuō)明愉悅度傾向于沿著線(xiàn)性趨勢(shì)變化,激活度更傾向于有周期性的變化。再縱向比較8類(lèi)音樂(lè)分解的結(jié)果,發(fā)現(xiàn)線(xiàn)性趨勢(shì)與周期分量相互影響,符合時(shí)間序列分解中的規(guī)律[15]。

此外,時(shí)間序列分解的好壞取決于兩個(gè)因素: 一是數(shù)據(jù)序列本身是隱藏著規(guī)律的,不可預(yù)測(cè)的部分較少;二是分解的方法要合適,尤其是周期的判斷要準(zhǔn)確。本文對(duì)線(xiàn)性趨勢(shì)的擬合從結(jié)果上來(lái)看較為合適。但在周期性分析中,對(duì)周期分量沒(méi)有在時(shí)序上進(jìn)行完整的建模。此外,從時(shí)序圖上可以看出有些序列的周期長(zhǎng)短是隨時(shí)間變化的,是不規(guī)則的,對(duì)序列周期長(zhǎng)短固定的假設(shè)使得周期性分析的結(jié)果有一定誤差。從最后隨機(jī)分量的平穩(wěn)性檢驗(yàn)上,也發(fā)現(xiàn)對(duì)周期性分量的去除效果不夠好。此外原始情感數(shù)據(jù)方面,DEAM數(shù)據(jù)集中在2013年標(biāo)注的數(shù)據(jù)一致性也較低,克隆巴赫系數(shù)在愉悅度和激活度上為0.28左右,而在2015年標(biāo)注的58首完整音樂(lè)的克隆巴赫系數(shù)能夠達(dá)到0.60。

4 音樂(lè)流派分類(lèi)

在前一章中,每首音樂(lè)的情感數(shù)據(jù)被分解為線(xiàn)性趨勢(shì)、周期分量和隨機(jī)分量3部分,并統(tǒng)計(jì)了每個(gè)分量的特征參數(shù),得到了一份特征參數(shù)集。不同分量的特征參數(shù)代表了整體不同方面的變化特點(diǎn),可以用于后續(xù)的預(yù)測(cè)、分類(lèi)等任務(wù)中。本章將愉悅度和激活度兩個(gè)維度的特征參數(shù)放在一起,采用支持向量機(jī)(Support Vector Machine,SVM)算法,進(jìn)行8種音樂(lè)流派的分類(lèi)。

在特征參數(shù)的選擇上,每個(gè)樣本在愉悅度和激活度上各選取了6個(gè)特征,一共得到12個(gè)特征參數(shù)。具體來(lái)說(shuō),如表7所示,表示線(xiàn)性分量的特征為線(xiàn)性回歸的系數(shù)和擬合優(yōu)度R2;表示周期分量的特征為偏相關(guān)最大值、該最大值對(duì)應(yīng)的延遲點(diǎn)數(shù)和周期顯著性;表示隨機(jī)分量的特征為平穩(wěn)性檢驗(yàn)的P值。

表7 單個(gè)維度上的特征參數(shù)Tab.7 Features on a single dimension

SVM算法對(duì)數(shù)據(jù)縮放比較敏感,因此我們先對(duì)特征數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。在樣本集上進(jìn)行訓(xùn)練,采用高斯徑向基核函數(shù),調(diào)整模型參數(shù),最終分類(lèi)器在特征集上能達(dá)到96%的準(zhǔn)確率。分類(lèi)器在訓(xùn)練集上的混淆矩陣如表8所示,說(shuō)明SVM能夠在我們提取的時(shí)間序列特征空間中較準(zhǔn)確地找到分類(lèi)的決策邊界。

表8 SVM分類(lèi)的混淆矩陣Tab.8 The confusion matrix of SVM classification

5 結(jié)語(yǔ)

本文運(yùn)用時(shí)間序列分解的方法,對(duì)DEAM數(shù)據(jù)集中的8類(lèi)樣本進(jìn)行分解,得到每個(gè)樣本的線(xiàn)性趨勢(shì)、周期分量和隨機(jī)分量的特征參數(shù)。對(duì)每種類(lèi)別的特征參數(shù)進(jìn)行統(tǒng)計(jì)比較,得出不同類(lèi)別音樂(lè)在不同情感維度下情感變化的異同點(diǎn),發(fā)現(xiàn)情感變化在愉悅度上更符合線(xiàn)性趨勢(shì)。不同樣本的周期顯著性差別較大,得到音樂(lè)情感變化的周期平均為12 s左右。最后采用SVM在時(shí)序特征參數(shù)上進(jìn)行8種音樂(lè)流派的分類(lèi),結(jié)果表明激活度與愉悅度的時(shí)序特征能夠較好地實(shí)現(xiàn)音樂(lè)流派分類(lèi)。

時(shí)間序列分解在音樂(lè)信息檢索和智能分析方面的應(yīng)用還有待于進(jìn)一步的探索,尤其需要尋找合適的時(shí)間序列建模方法,以及更能表征時(shí)間動(dòng)態(tài)變化的時(shí)序特征參數(shù),從而提升音樂(lè)智能處理的能力。