基于音樂情感識別的舞臺燈光控制方法研究

段中興, 嚴(yán)潔杰

(1.西安建筑科技大學(xué) 信息與控制工程學(xué)院，西安 710055；2.西部綠色建筑國家重點(diǎn)實(shí)驗(yàn)室，西安 710055)

0 引言

舞臺燈光是一門藝術(shù)，需根據(jù)表演內(nèi)容和實(shí)際需要不斷調(diào)整，其大都采用電腦燈控臺來設(shè)計(jì)控制方法，通過燈光與音樂的結(jié)合，為觀眾營造一種真實(shí)、生動的藝術(shù)環(huán)境。然而，舞臺燈光系統(tǒng)控制難度大、切換速度快，燈光控制方法設(shè)計(jì)更是一個難點(diǎn)。在傳統(tǒng)的舞臺燈光設(shè)計(jì)中，通常需要音樂專家和燈光設(shè)計(jì)師長時間的合作，在演出前做更多的準(zhǔn)備，非常耗時。為解決傳統(tǒng)舞臺燈光表演設(shè)計(jì)難、效率低等問題，本文研究了基于音樂情感識別的舞臺燈光控制方法，通過音樂情感來控制燈光顏色及燈具的轉(zhuǎn)動，使人將對音樂的聽覺感受同燈光變化的視覺感受溶為一體，營造出完美的藝術(shù)效果。

舞臺燈光控制系統(tǒng)涉及計(jì)算機(jī)控制技術(shù)、數(shù)據(jù)庫技術(shù)、舞美藝術(shù)等，是一個多學(xué)科交叉的研究領(lǐng)域[1]。音樂情感是音樂的本質(zhì)特征[2]，音樂情感識別是該系統(tǒng)的基礎(chǔ)，與燈光控制方法的設(shè)計(jì)有著密不可分的關(guān)系。在音樂情感識別領(lǐng)域，如何對情感進(jìn)行合理的分類是首要的難點(diǎn)，常用方法包括支持向量機(jī)[3]、神經(jīng)網(wǎng)絡(luò)[4-5]、模糊分類[6-7]等。文獻(xiàn)[8]曾采用先提取音樂情感中高層特征、再進(jìn)行分類的思路，進(jìn)行音樂情感識別，克服了人工分類效率低、速度慢等問題，因此我們采用這個思路進(jìn)行我們的工作，但是在特征選取以及情感分類算法都與文獻(xiàn)[8]有很大不同。

本文主要由如下幾個部分組成：1)確定MIDI文件的主音軌，提取主要特征數(shù)據(jù)，建立音樂特征分析模型；2)對音樂特征數(shù)據(jù)進(jìn)行分類，建立音樂情感分類模型；3)使音樂情感與燈光動作相匹配，生成燈光控制方法。

1 基于徑向基函數(shù)的支持向量機(jī)多分類算法

音樂情感分類器的主要任務(wù)是構(gòu)造一個分類函數(shù)或者分類模型將未知情感類別的音樂映射到已知情感類別中。本文選用支持向量機(jī)(Support Vector Machine，SVM)分類算法，其對于解決小樣本、非線性等一些問題的解決有很大優(yōu)勢，具有更好的數(shù)據(jù)泛化性能，是應(yīng)用最廣泛的音樂情感分類技術(shù)之一。

1.1 支持向量機(jī)算法

SVM算法在統(tǒng)計(jì)學(xué)習(xí)理論體系基礎(chǔ)之上提出的思維新型機(jī)器學(xué)習(xí)方法，它通過非線性變換將輸入樣本投影到高維空間中，并在空間中尋找最優(yōu)或廣義最優(yōu)線性分類的超平面，其柔性邊界的表達(dá)式為：

(1)

在公式(1)中，(xi,yi)為訓(xùn)練樣本，且xi∈Rd是輸入向量，yi∈{-1,1}是輸出向量；φ(xi)為將輸入空間特征空間映射到高維特征空間；ω和b分別為d維空間的權(quán)向量和偏置，決定了超平面的位置；ξi為松弛變量；C為懲罰參數(shù)，C的大小決定了對離群樣本的重視程度，C越大，越重視。

由于音樂特征數(shù)據(jù)空間中的分布比較復(fù)雜，因此采用基于內(nèi)核的SVM(非線性)來處理音樂識別問題。引入拉格朗日函數(shù)后，將尋優(yōu)問題轉(zhuǎn)化為對偶問題描述如下：

(2)

其中:K(xi,x)為核函數(shù)，αi為拉格朗日乘子，求解可得α*，b*。

最終得到判別函數(shù)f(x)為：

(3)

1.2 模型核函數(shù)的選取

在SVM算法中，核函數(shù)用于實(shí)現(xiàn)樣本低維到高維空間的轉(zhuǎn)換，對模型的性能有著重要的影響。在本文中，樣本數(shù)遠(yuǎn)超過特征維數(shù)，故選取基于徑向基核函數(shù)(Radial Basis Function，RBF)的支持向量機(jī)訓(xùn)練分類器，相較與線性、多項(xiàng)式、Sigmoid等常用核函數(shù)，RBF函數(shù)具有較寬的收斂域，適應(yīng)性更廣，優(yōu)化參數(shù)較少，是較為理想的映射核函數(shù)。RBF函數(shù)公式如下：

(4)

式中，σ為核參數(shù)，其定義了單個訓(xùn)練樣本的影響大小，值越小影響越大，值越大影響越小。

1.3 多分類算法基本思想

本文選用Thayer 的二維情感模型[9-10]，這兩個維度分別是能量和壓力。為了避免情感用語的歧義并減少系統(tǒng)開發(fā)的工作量，對模型進(jìn)行了改進(jìn)，用四種離散的情感形容詞關(guān)聯(lián)音樂情感與燈光動作。模型將音樂情感劃分為四類：“興奮的、熱烈的”，“緊張的、生氣的”，“悲傷的、憂郁的”和“放松的、寧靜的”。如圖1所示。

圖1 四類離散情感模型圖

SVM不能直接運(yùn)用于多類分類。目前解決SVM多類分類問題常用兩種方法：直接法和間接法[11]。直接法通過優(yōu)化SVM的目標(biāo)函數(shù)和參數(shù)，直接求出能夠適用多分類問題的分類函數(shù)，但其求解難度大、效率低。間接法是將多類問題歸結(jié)為多個兩類問題的思想，通過對多個SVM分類器進(jìn)行組合，以實(shí)現(xiàn)多分類的功能。本文運(yùn)用間接法，構(gòu)建完全二叉樹的SVM多類分類模型，根據(jù)二維情感，先沿能量軸分為活力、平靜兩類，再沿壓力軸分為悲傷、快樂兩類，如圖2所示。

圖2 SVM多分類器構(gòu)造示意圖

2 粒子群優(yōu)化算法及其改進(jìn)

以RBF為核函數(shù)的SVM分類模型中的某些參數(shù)難以確定，手動參數(shù)調(diào)整的準(zhǔn)確性不高且不智能。因此，本文選用改進(jìn)的粒子群算法(particle swarm optimization，PSO)算法以優(yōu)化懲罰參數(shù)C和核參數(shù)σ來提高模型準(zhǔn)確性。

2.1 粒子群算法

粒子群算法(PSO)最初是受到鳥群覓食這一簡單的社會行為啟發(fā)，經(jīng)過簡化之后而提出的。該算法將每個個體看作搜索空間的“粒子”，每個粒子具有位置和速度屬性，及一個被優(yōu)化的函數(shù)決定的適應(yīng)度值。算法開始時先從隨機(jī)解出發(fā)，并在數(shù)次迭代中通過跟蹤局部極值和個體極值來更新自己的速度和位置，公式如下：

(5)

Xidk + 1=Xidk+Vidk + 1

(6)

2.2 改進(jìn)的粒子群算法

由式(5)可知，慣性權(quán)重對算法性能有著重要的影響。ω較大時，全局搜索能力變強(qiáng)；而ω較小時，局部搜索能力變強(qiáng)。為了提高PSO算法平衡全局和局部搜索的能力，本文采用自適應(yīng)權(quán)重的慣性權(quán)重，其取值與目標(biāo)函數(shù)和適應(yīng)度函數(shù)有關(guān)：

(7)

其中，ωmax，ωmin分別為最大和最小慣性系數(shù)；F為粒子的適應(yīng)度函數(shù)，F(xiàn)avg，F(xiàn)min分別為適應(yīng)度函數(shù)的最小值和平均值。本文在每個二分類器的參數(shù)求取時，將五折交叉驗(yàn)證識別率作為PSO每個粒子的適應(yīng)度函數(shù)：

(8)

由于采用五折交叉驗(yàn)證方法，故優(yōu)化的樣本集數(shù)目m設(shè)置為5，Rk，Wk分別為第k次分類時樣本數(shù)據(jù)分類正確和錯誤的數(shù)目。

3 改進(jìn)PSO優(yōu)化的SVM分類算法

為進(jìn)行音樂情感分類，本文選取平均音高、平均音強(qiáng)、旋律方向等七個音樂特征，輸入基于RBF的完全二叉樹SVM多分類模型訓(xùn)練分類器，最后用PSO算法優(yōu)化分類模型的懲罰參數(shù)C和核參數(shù)σ。具體步驟如下：

4)根據(jù)公式(7)設(shè)置慣性權(quán)值ω；

7)得到體最優(yōu)值Nid即為模型最佳的參數(shù)組合{C,σ}，用于構(gòu)建SVM最優(yōu)模型，并用測試樣本來驗(yàn)證模型分類準(zhǔn)確率。

根據(jù)上述算法，本文建立音樂情感分類模型，算法流程如圖3所示。

圖3 音樂情感分類算法流程圖

4 基于音樂情感識別的舞臺燈光控制方案

系統(tǒng)首先依據(jù)四類基礎(chǔ)情感將MIDI音樂的音樂特征(包括平均音高、平均音強(qiáng)、旋律走向等)進(jìn)行提取分析，建立音樂情感分類模型，并將燈光動作模型與情感模型相對應(yīng)，實(shí)現(xiàn)燈光情感與音樂情感同步匹配，最后將燈光動作信息以數(shù)據(jù)庫存儲，發(fā)給電腦燈控制臺，控制舞臺燈光的運(yùn)動方式和顏色變化。

4.1 音樂情感特征分析模型

音樂情感內(nèi)涵只是通過少數(shù)幾種占據(jù)重要地位的音樂的特征元素塑造和表達(dá)的[12]。影響音樂情感計(jì)算的特征主要有調(diào)式、音速、節(jié)奏、節(jié)拍、音高、音強(qiáng)、旋律等。本節(jié)主要根據(jù)MIDI音樂的相關(guān)屬性，確定主音軌的平均音高、平均音強(qiáng)、旋律走向等七個特征來進(jìn)行音樂特征提取，再對提取的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，建立音樂特征分析模型。特征提取方法如下：

(9)

(10)

(11)

(12)

5)速度Tempo：音樂的速度可以使用音符時長來衡量。單個音符演奏的時長越短，音樂的速度越快，反之，速度越慢，是影響音樂情感的重要特征之一。本文使用音符時長duration來衡量。音符演奏的時長越短，音樂的速度越快，反之，速度越慢，描述如下：

(13)

n為主音軌中所有音符的個數(shù)。

6)音符密度NoteBar：音符的密度是指一個小節(jié)中音符數(shù)量的多少程度。音符密度較小的樂曲通常節(jié)奏較慢，而音符密度較大的樂曲通常節(jié)奏較快，音符密度也在一定程度上能夠反應(yīng)出樂曲的情感類型，可用音符個數(shù)NoteNumber和音節(jié)數(shù)BarNumber來表示，描述如下：

(14)

7)旋律方向DirPitch：旋律是音符的序列，在樂譜上呈現(xiàn)為一條起伏不平的波浪線。不同樂曲的音符波浪線在形狀、走勢上的差別，可以從側(cè)面反應(yīng)出不同音樂之間的不同情感?？捎梢舾卟瞀itch和音符時長duration來衡量。

(15)

Δpitchi=pitchi+1-pitchi

(16)

4.2 建立燈光表演動作庫

根據(jù)文獻(xiàn)[13]可知，在燈光顏色情感的研究中可分為兩大類：暖色光和冷色光，與音樂能量特征有關(guān)。為完成舞臺燈光與音樂情感的匹配，本節(jié)從燈光顏色、燈光動作兩個方面，建立燈光動作模型，并將其與離散情感模型一一對應(yīng)，分為四類，如表1所示。

表1 燈光動作模型

4.3 基于音樂情感識別的舞臺燈光控制方法

為實(shí)現(xiàn)音樂情感驅(qū)動的舞臺燈光控制，本文建立音樂情感分類系統(tǒng)，其基本思想如下：

1)提取音樂的情感特征；

2)建立標(biāo)準(zhǔn)音樂情感分類模型；

3)根據(jù)燈光顏色和動作變化建立燈光動作模型；

4)通過通用的離散情感模型，將音樂情感分類結(jié)果與舞臺燈光動作相匹配，得到燈光控制方法。

燈光控制原理如圖4所示。

圖4 燈光控制原理圖

5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)數(shù)據(jù)為從midishow網(wǎng)站上下載的231首不同風(fēng)格的MIDI音樂片段。所有樂曲經(jīng)過篩選，長度控制在1分鐘之內(nèi)，這是因?yàn)檫^長的樂曲選段所包含的情感信息可能更多，不利于實(shí)驗(yàn)分類。實(shí)驗(yàn)開始前對所有的樂曲按照四類基礎(chǔ)情感進(jìn)行人工標(biāo)記。為減少個人偏好和打分誤差，邀請音樂專業(yè)和非音樂專業(yè)學(xué)生對這些歌曲進(jìn)行情感打分，對一首歌只有超過一半的人都標(biāo)記為同一類情感時，才作為實(shí)驗(yàn)數(shù)據(jù)保留下來。本文從231首樂曲中，選出160首作為訓(xùn)練集，每種類型對應(yīng)訓(xùn)練用的數(shù)量均為40首。另外71首作為測試集，其中，“興奮的、熱烈的”有17首，“緊張的、生氣的”有17首，“悲傷的、憂郁的”有19首，“放松的、寧靜的”有18首。

5.1 音樂特征分析

實(shí)驗(yàn)第一步為對音樂特征進(jìn)行分析。對音樂特征分析有兩個部分:1)音樂特征提取技術(shù)；2)特征數(shù)據(jù)預(yù)處理。本文根據(jù)前文所述的計(jì)算機(jī)音樂特征提取技術(shù)，用輪廓線法提取數(shù)百首MIDI片段的出主旋律，在此基礎(chǔ)上提取出每個片段的音頻持征，包括平均音高、平均音強(qiáng)、音高穩(wěn)定性、音強(qiáng)穩(wěn)定性、速度音符、密度、旋律方向這七個特征；之后，為消除指標(biāo)之間的量綱影響、使各項(xiàng)指標(biāo)處于同一數(shù)量級，本文選用標(biāo)準(zhǔn)差歸一化(Z-score)的方法對原始數(shù)據(jù)的均值和標(biāo)準(zhǔn)差進(jìn)行標(biāo)準(zhǔn)化，并存為Excel文件。特征數(shù)據(jù)標(biāo)準(zhǔn)化后部分結(jié)果如表2所示。

表2 音樂特征數(shù)據(jù)表

5.2 分類認(rèn)知模型

實(shí)驗(yàn)第二步為將訓(xùn)練集的MIDI文件的特征向量輸入音樂情感多分類模型，后用改進(jìn)的粒子群算法進(jìn)行優(yōu)化針。并使用一對一的SVM多分類模型[14]、一對多的SVM多分類模型[15]作為對比實(shí)驗(yàn)。為了評估算法的性能，我們的工作中采用了5折交叉驗(yàn)證法，把數(shù)據(jù)隨機(jī)分為5個分區(qū)，其中類的表示形式與完整數(shù)據(jù)集中的屬性大致相同。在每次運(yùn)行期間，選擇1個分區(qū)進(jìn)行驗(yàn)證，而其余部分用于訓(xùn)練。同樣，該過程重復(fù)五次，以便每個分區(qū)僅用于訓(xùn)練一次。

表3為四種SVM多分類器的分類結(jié)果對比。

表3 類別分類結(jié)果

如表3所示，PSO優(yōu)化的二叉樹SVM多分類模型相較于其他三種SVM多分類模型有明顯的優(yōu)勢。

從時間角度來看，時間與決策分類器的數(shù)量、求解分類參數(shù)的計(jì)算量相關(guān)。四種多類分類算法中， PSO優(yōu)化的二叉樹SVM算法由于優(yōu)化問題求解計(jì)算量變大，其訓(xùn)練時間稍長于二叉樹SVM算法，但是由于分類器數(shù)量少，得到分類最優(yōu)參數(shù)后測試時間最短，所以較優(yōu)于其它3種算法。

從分類精度角度來看，分類精度與求解決策最優(yōu)超平面的準(zhǔn)確性有關(guān)。由于引入PSO算法，通過多次迭代尋找到了懲罰參數(shù)C和核參數(shù)σ的最優(yōu)解，使模型參數(shù)調(diào)整的準(zhǔn)確性、智能性都有所提高，所以分類精度明顯優(yōu)于其它3種算法。

5.3 PSO優(yōu)化算法進(jìn)行參數(shù)尋優(yōu)試驗(yàn)

SVM分類模型包含3個分類器，須利用PSO算法對3組懲罰參數(shù)和核參數(shù)進(jìn)行優(yōu)化。首先設(shè)置PSO算法的種群規(guī)模為20，初始化粒子的位置和速度即為{C,σ}，最大迭代次數(shù)為100，設(shè)置局部加速度因子系數(shù)c1為1.5，全局加速度因子的系數(shù)c2為1.7。通過5折交叉驗(yàn)證的方法，5次迭代后求取5次平均交叉驗(yàn)證識別率，提高了算法的可靠性，減小了核函數(shù)參數(shù)誤差。圖5為優(yōu)化后的改進(jìn)PSO優(yōu)化的二叉樹支持向量機(jī)的粒子群適應(yīng)度收斂曲線圖。

圖5 適應(yīng)度收斂曲線

如圖5所示，隨著進(jìn)化次數(shù)的增加，平均適應(yīng)度為75%～90%，驗(yàn)證了PSO的優(yōu)化性能，說明了模型的核參數(shù)變化對分類模型準(zhǔn)確性的影響。該試驗(yàn)通過PSO尋優(yōu)得到的3組{C,σ}參數(shù){5.1682,1.0614},{3.2581,0.6702},{6.3011,1.0372}。

綜上，本文提出的改進(jìn)的PSO優(yōu)化的二叉樹SVM算法具有較明顯的時間優(yōu)勢，較高的分類精度。驗(yàn)證了改進(jìn)的PSO優(yōu)化的二叉樹SVM算法分類器的準(zhǔn)確性和快速性，且整體性能稍優(yōu)于其他3種算法。如果分類類別較多時，使用本文思路構(gòu)建的多層SVM分類模型相較于其他兩種結(jié)構(gòu)的分類模型而言，所需要SVM分類器的個數(shù)明顯減少，所以的分類時間也會明顯縮短，因此該優(yōu)化方法適用于類別數(shù)較多、分類實(shí)時性要求較高的場合。

5.4 燈光控制方案的實(shí)現(xiàn)

基于音樂情感識別的燈光控制分為舞臺燈光情感匹配模塊和舞臺燈光控制模塊。

在舞臺燈光情感匹配模塊，本文使用Matlab編寫了音樂情感識別程序，將音樂基本特征作為輸入，情感識別結(jié)果作為輸出，結(jié)果有[1,1]、[-1,1]、[-1,-1]、[1,-1]，其對應(yīng)情感為“興奮的、熱烈的”、“緊張的、生氣的”、“悲傷的、憂郁的”和“放松的、寧靜的”，根據(jù)表1可對應(yīng)相應(yīng)的燈光控制方案。以《春節(jié)序曲》為例，首先提取樂曲基本特征并做標(biāo)準(zhǔn)化處理，生成情感特征向量x={0.7755,0.0639,0.9805,0.7612,0.3474,0.8427,0.6277}；然后將情感特征向量x通過情感識別模型得到識別結(jié)果，輸出為y=[1,1]，對應(yīng)圖2可知，經(jīng)第一層分類器后輸出結(jié)果為y1=1，判定為“快樂”，經(jīng)第二層分類器后輸出結(jié)果為y2=1，判定為“活力”，對應(yīng)情感類型為興奮的、熱烈的；最后根據(jù)表1可選擇燈光控制方案4，即燈光顏色為黃色、燈光動作為左右快速搖擺，并生成燈光控制方法存入Excel表格。

表4為部分樂曲燈光控制方案表。

表4 燈光控制方案表

在舞臺燈光控制模塊，本文將燈光控制方法通過計(jì)算機(jī)軟件模擬照明控制臺，將控制方案轉(zhuǎn)換為DMX512信號，并利用市場上常見的MCSWEUSB-DMX舞臺燈光控制器，通過與計(jì)算機(jī)的USB接口相連，從而實(shí)現(xiàn)電腦燈光控制平臺與現(xiàn)場舞臺燈具的連接。如圖6所示，本文利用Freestyler和Easy View軟件作為燈光控制方案演示平臺，模擬舞臺使用四個射燈來簡單表示燈光動作。

圖6 燈光控制效果圖

6 結(jié)束語

本文先通過提取MIDI音樂的平均音高、平均音強(qiáng)、旋律方向等基本特征，設(shè)計(jì)情感模型將音樂分為四類基礎(chǔ)情感，再與燈光動作一一匹配，建立基于音樂情感識別的舞臺燈光控制模型。

在構(gòu)建情感分類模型時，根據(jù)情感模型的特點(diǎn)構(gòu)建了一個完全二叉樹SVM多分類器，分別沿能量軸和壓力軸對音樂情感進(jìn)行識別，相較于其他兩種對比模型，該方法有效地減少了分類時間。最后對粒子群算法做出改進(jìn)，并將其用于分類器的參數(shù)尋優(yōu)過程，雖然參數(shù)尋優(yōu)算法增長了訓(xùn)練時間，但是對分類精度有著明顯的提升，并且模型對于測試集的分類時間最短、分類精度最高。在未來研究中，該方法對于離散情感多分類模型及音樂實(shí)時情感識別模型有著重要意義。