基于音樂情感識別的燈光表演方案設(shè)計(jì)

郭強(qiáng)

(重慶市城市照明管理局，重慶 400020)

1 引言

音樂燈光表演起源于舞臺背景燈光，現(xiàn)今發(fā)展到戶外大型音樂燈光表演。香港“幻彩詠香江”、重慶“朝天揚(yáng)帆”、陜西鳳縣“鳳舞歡歌”等大型戶外音樂燈光表演以其震撼的聲光效果吸引了大量的游客，得到了廣泛的關(guān)注［1］。

國內(nèi)外音樂燈光表演正處于發(fā)展探索階段，音樂燈光表演方案的設(shè)計(jì)更是一個(gè)難點(diǎn)。目前，其設(shè)計(jì)仍采用傳統(tǒng)的舞臺燈光設(shè)計(jì)模式:燈光師根據(jù)表演要求，用燈控臺設(shè)計(jì)相應(yīng)動作方案。設(shè)計(jì)一套音樂燈光表演方案需要音樂專家，燈光設(shè)計(jì)師，自控專家長時(shí)間的合作，效率低，而且表演方案單一，這種方式不適合大型戶外燈光表演的設(shè)計(jì)。鑒于傳統(tǒng)設(shè)計(jì)模式的不足，在重慶“朝天揚(yáng)帆”、陜西鳳縣“鳳舞歡歌”大型動感音樂燈光表演工程項(xiàng)目設(shè)計(jì)調(diào)試過程中，筆者所在團(tuán)隊(duì)設(shè)計(jì)開發(fā)了一個(gè)基于音樂情感識別的燈光表演方案計(jì)算機(jī)輔助設(shè)計(jì)系統(tǒng)。該系統(tǒng)不僅能實(shí)現(xiàn)燈控臺的所有功能，更重要的是還可以通過識別音樂的情感特征，從多個(gè)層次上匹配燈光動作，實(shí)現(xiàn)音樂燈光表演方案計(jì)算機(jī)自動生成。

2 系統(tǒng)設(shè)計(jì)原理

在該系統(tǒng)中，首先進(jìn)行音樂和燈光的情感特征識別和分析，然后根據(jù)兩者的情感特征，進(jìn)行音樂燈光表演動作專家匹配，最終得到相應(yīng)的音樂燈光表演方案。系統(tǒng)設(shè)計(jì)原理見圖1。

本系統(tǒng)主要由三個(gè)部分組成:

(1)音樂情感識別:首先提取出音樂特征，然后構(gòu)建出其特征空間，通過模糊分類器進(jìn)行音樂情感識別，得到音樂的情感識別結(jié)果。

(2)燈光情感分析:結(jié)合燈具及布局信息，通過對場景的顏色、造型及動作變換進(jìn)行情感分析，得到這些燈光動作場景的情感特征。

圖1 燈光表演方案設(shè)計(jì)原理圖

(3)音樂—燈光動作專家匹配:這一部分主要是實(shí)現(xiàn)將音樂與燈光動作場景的多層次專家匹配。這種匹配是指根據(jù)情感為各個(gè)MIDI音樂樂句找到合適的燈光動作序列。

下面將從以上三個(gè)方面進(jìn)行詳細(xì)分析。

3 音樂情感識別

MIDI文件是音樂信號在電子樂器之間傳輸?shù)臉?biāo)準(zhǔn)，包括硬件接口標(biāo)準(zhǔn)以及電子音樂信號在不同硬件之間的異步串行傳輸協(xié)議。MIDI格式的音樂文件記錄了音樂的全部樂譜和演奏的全過程［2］。本文結(jié)合燈光表演的特點(diǎn)，選取MIDI音樂文件作為識別對象。

音樂的內(nèi)涵包含三個(gè)層次:基本特征、復(fù)雜特征和總體特征?；咎卣靼ㄋ俣取⒄{(diào)性、調(diào)號、節(jié)拍、音色、音量，以及音符的音高、力度和音長等。復(fù)雜特征包括節(jié)奏、旋律和和聲。總體特征包括曲式結(jié)構(gòu)、音樂風(fēng)格和情感內(nèi)涵［3］。基本特征都可以從MIDI音樂文件中直接獲取，復(fù)雜特征需要在音樂基本特征的基礎(chǔ)上進(jìn)一步分析總結(jié)獲得，而音樂總體特征必須在基本特征和復(fù)雜特征的基礎(chǔ)上，并利用一定的算法和相關(guān)音樂知識，以全局的角度來進(jìn)行探討。音樂情感識別流程如圖2所示。

3.1 主音軌定位

由于MIDI為多音軌形式，主音軌包含了其主要特征，根據(jù)音樂燈光表演的特點(diǎn)，只需要保證燈光與音樂的主要因素配合即可獲得很好的表演效果?？梢娭饕糗壎ㄎ皇菢O為關(guān)鍵的一步。

圖2 音樂情感識別流程圖

彭瓊等對音樂音高進(jìn)行分析統(tǒng)計(jì)發(fā)現(xiàn)主音軌的音程主要都集中在0～6度之間［4］，這點(diǎn)是符合聲樂原理的，但是她僅將音程作為主音軌的判據(jù)是不充分的。筆者通過相關(guān)實(shí)驗(yàn)發(fā)現(xiàn)這種方法的準(zhǔn)確度僅對一部分音樂有效。根據(jù)音樂樂理，主音軌和伴奏音軌主要區(qū)別體現(xiàn)在音程、音量、音高、力度和左右聲道平衡度等幾個(gè)方面，在大量的試驗(yàn)數(shù)據(jù)分析的基礎(chǔ)上，我們提出了一種基于音軌特征量的主音軌定位算法。

首先對各音軌的這些特征進(jìn)行歸一化處理，得到相應(yīng)的特征量。

音量特征量:

TVt=Volumet為音量。

左右聲道平衡度特征量:

Tbt=，Balancet為音軌平衡度。

力度特征量:

Tit=為音符力度值，n為音軌音符個(gè)數(shù)。

然后根據(jù)各個(gè)特征量的重要性來確定其權(quán)重。由樂理知識可知，比如音軌總長小于各音軌長度平均值一半、音軌音符個(gè)數(shù)小于各音軌音符個(gè)數(shù)平均值3/4的都不可能為主音軌。這樣可以排除一些明顯不是主音軌的音軌，也提高了定位的準(zhǔn)確性。

最后將各特征量進(jìn)行加權(quán)累加

式中Trt——音軌 t的加權(quán)特征值;

KT，KV，KB，K1，KP—— 分別為各特征量的加權(quán)系數(shù)。

加權(quán)特征值Trt最大的音軌為主音軌。經(jīng)過對300多首MIDI音樂進(jìn)行分析統(tǒng)計(jì)，97.8%都能準(zhǔn)確地提取出主音軌。

3.2 樂句劃分

樂句是音樂的基本結(jié)構(gòu)單位，具有獨(dú)立的情感語義。在燈光表演中，以樂句作為基本設(shè)計(jì)單元顯得比較合理。在曲式分析理論中，劃分句子的標(biāo)志是“句讀”。然而在MIDI音樂中沒有句讀標(biāo)志，只能根據(jù)音樂基本特征來劃分樂句。在曲調(diào)上有明顯的間歇或結(jié)束感，或則是在和聲上有明確的終止，都可作為劃分樂句的依據(jù)。在大量實(shí)驗(yàn)的基礎(chǔ)上，我們總結(jié)了幾條實(shí)用的劃分依據(jù)，其流程如圖3。

圖3 樂句劃分流程圖

① 休止符/長音規(guī)則。休止符一般為樂句結(jié)束，而MIDI音樂在原始音符表中只有實(shí)在的音符而沒有休止符，它表現(xiàn)為在一定的時(shí)間范圍內(nèi)音軌上沒有任何音處于打開狀態(tài)，需要監(jiān)視音軌上音符的狀態(tài)便來確定休止符;長音上的停留也經(jīng)常實(shí)樂句的結(jié)束。因此，這將作為一條主要劃分規(guī)則。

②速度規(guī)則。速度的改變意味著音樂情感的變化，可視為樂句分割的標(biāo)志。

③音區(qū)/音強(qiáng)規(guī)則，音區(qū)和音強(qiáng)的變化也傳達(dá)了另一個(gè)樂句的開始。

在上面3條規(guī)則當(dāng)中，速度具有最高的優(yōu)先級;長音/休止符規(guī)則次之;音區(qū)音強(qiáng)規(guī)則優(yōu)先級最低。每個(gè)規(guī)則觸發(fā)后，為保證劃分的準(zhǔn)確性，都需要進(jìn)行樂句長度檢查。由樂理知識可知，樂句的長度是不固定的，還需要根據(jù)音樂的風(fēng)格和速度來確定。

3.3 音樂情感識別

目前已有多位專家學(xué)者提出情感模型的分類機(jī)制，如 Hevner、Thayer、Tellegen等人。Hevner情感模型得到了最廣泛的認(rèn)可，她認(rèn)為音樂本身便隱含著情感意義，藉由實(shí)驗(yàn)結(jié)果，將音樂情感歸納為八類代表性情感語匯:圣神、悲傷、向往、抒情、輕盈、快樂、熱情、生機(jī)。本系統(tǒng)也是在Hevner情感模型的基礎(chǔ)上進(jìn)行的。

音樂情感通過其基本特征表現(xiàn)出來，如快速給人以活潑、明快的感覺，而慢速就會獲得優(yōu)雅、閑適的效果。但各個(gè)特征卻具有不一樣的重要性。Hevner證明，影響音樂情感反應(yīng)較為直接的因素次序?yàn)?速度、調(diào)式、音區(qū)，其他因素諸如和聲、節(jié)奏、旋律進(jìn)行方向則次之。本文在綜合各方面的情況下，將音樂速度、調(diào)式、音區(qū)、節(jié)拍、力度和音色作為音樂情感識別考慮的主要因素，如表1所示。

表1 音樂情感模式

4 燈光情感分析

燈光具有四個(gè)可控的屬性:亮度、色彩、分布和運(yùn)動變化。由于光的種種狀態(tài)和光的變化以及光的色彩，都會引起觀眾心理和感情的變化，單是舞臺上光的漸隱漸顯，就能造成不同的氣氛而引起不同的情感。運(yùn)用燈光的這些屬性可達(dá)到四個(gè)目的:清晰度、組合、形狀顯示和氣氛。如圖4所示，本文主要從顏色、造型和動作三個(gè)方面探索燈光的情感內(nèi)涵。

圖4 燈光情感分析原理圖

4.1 燈光顏色的情感內(nèi)涵

燈的有色光常被分為兩大類:寒色光和暖色光。寒色光以藍(lán)色系為主，暖色光則偏黃或偏紅，合適地運(yùn)用色光，不但可產(chǎn)生美的效果，而且還可烘托出不同的藝術(shù)氛圍和作品所要表現(xiàn)的思想。燈光顏色情感內(nèi)涵如表2所示。

表2 燈光顏色情感內(nèi)涵

一個(gè)作品必然有一個(gè)基調(diào)，如多運(yùn)用紅光突出熱烈火爆，運(yùn)用藍(lán)光襯托安靜、委婉、深情。當(dāng)這個(gè)基調(diào)定了，其他的燈都圍繞著去安排運(yùn)用，也就是說，每一場節(jié)目的色調(diào)原則應(yīng)以一個(gè)基本顏色為主，其他顏色為輔，體現(xiàn)出起伏感，在色調(diào)的搭配上要恰到好處，冷暖流色調(diào)變化同顏色飽和度變化要恰當(dāng)。

4.2 燈光造型的情感內(nèi)涵

城市夜景在燈光映射下，這就很自然地表現(xiàn)出光影效果，而燈光的光通量、光強(qiáng)、位置和方向使夜景表現(xiàn)出明暗、濃淡、輪廓、遠(yuǎn)近等受光狀態(tài)，從而起到造型作用。靈活的運(yùn)用燈光，調(diào)整它的位置、方向、光亮和光色等，就可以在空間形成不同的表現(xiàn)力。

表3 燈光造型情感內(nèi)涵

在音樂燈光表演中，燈光造型的多少和質(zhì)量將直接影響燈光表演效果。需要根據(jù)燈具的特點(diǎn)及其在現(xiàn)場安裝布局，設(shè)計(jì)出盡可能多的燈光造型，并利用這些造型衍生出相應(yīng)的動態(tài)和靜態(tài)場景。

4.3 燈光動作的情感內(nèi)涵

燈光表演所追求的是產(chǎn)生強(qiáng)烈情感交融的燈光藝術(shù)效果。這個(gè)效果的體現(xiàn)是通過燈光的群體隨著音樂的韻律和情感的變化，而有序的、有意義的運(yùn)動和亮滅組合來實(shí)現(xiàn)。它可以是翻滾的浪，劃動的槳，旋轉(zhuǎn)的輪，拂面的風(fēng)，交爍的星，綻開的花，還可以是各種幾何圖形的趣味變化。通過這些造型和動作的交織變換，將反映出強(qiáng)烈的動感、時(shí)代韻律的歡快、似行云流水的流暢，以及夢幻般的朦朧感。

5 音樂—燈光動作專家匹配

通過前面設(shè)計(jì)搭建的音樂情感識別系統(tǒng)，計(jì)算機(jī)已自動將整首樂曲分成若干樂句，并分析出每一樂句所表達(dá)的基本感情色彩。同時(shí)根據(jù)表演現(xiàn)場的城市景觀、燈具及其布局特點(diǎn)，我們也為各個(gè)燈光場景標(biāo)定了其情感特點(diǎn)。接下來將是根據(jù)音樂的情感識別結(jié)果匹配能夠表達(dá)其內(nèi)涵情感的燈光動作，實(shí)現(xiàn)音樂燈光表演方案的自動設(shè)計(jì)。結(jié)合音樂的特點(diǎn)，主要進(jìn)行結(jié)構(gòu)匹配，樂句匹配和音符匹配三個(gè)層次上的設(shè)計(jì)，如圖5所示。首先是結(jié)構(gòu)匹配確定燈光的立體結(jié)構(gòu)，接下來以樂句匹配基準(zhǔn)，然后樂句中在補(bǔ)充音符匹配，點(diǎn)面結(jié)合，以保證音樂燈光表演的效果。

圖5 燈光動作匹配原理圖

結(jié)構(gòu)匹配是指根據(jù)音樂的結(jié)構(gòu)配置燈光的表演結(jié)構(gòu)。MIDI音樂包含主音軌和伴奏音軌，每首音樂也有前奏、間奏、主旋律、副旋律等部分組成。燈光也因燈具的特性和布局造型分成不同的部分。可以將燈光的立體結(jié)構(gòu)對應(yīng)音樂的層次，體現(xiàn)出音樂燈光表演的多層次、高立體的藝術(shù)效果。

樂句匹配是指根據(jù)音樂燈光情感的對應(yīng)關(guān)系，為各樂句匹配相應(yīng)的燈光表演動作［6］。比如熱烈和充滿激情的音樂，就配以暖色燈光場景，而對小調(diào)婉約的音樂，可用冷色燈光場景，即依據(jù)音樂的情緒選擇燈光的色調(diào)。

音符匹配是指音樂特殊音符 (高音、長音、重音)匹配一些特殊的燈光動作。我們可以用燈光的時(shí)值、亮度、顏色和類別的變化來體現(xiàn)音符的音長、音強(qiáng)、音高和音色的變化。在視覺形象和聽覺形象和諧統(tǒng)一基礎(chǔ)上，重點(diǎn)突出音樂的關(guān)鍵點(diǎn)。

通過以上匹配規(guī)則，以音樂時(shí)間為主軸確定參演燈具及其動作場景，形成與音樂相對應(yīng)的燈光動作序列，如圖6所示。如果表演效果不滿意，還可以進(jìn)行認(rèn)為修改，最終實(shí)現(xiàn)音樂燈光表演聲光同步，在物理空間上體現(xiàn)動作的層次感、連貫性及多樣性，以展現(xiàn)燈光藝術(shù)的無窮魅力。

圖6 音樂—燈光動作匹配結(jié)論畫面

6 結(jié)束語

本文討論了MIDI音樂的情感特征識別以及燈光的情感體現(xiàn)。系統(tǒng)以音樂燈光情感為核心，進(jìn)行結(jié)構(gòu)、樂句和音符三個(gè)層次匹配，自動設(shè)計(jì)出對應(yīng)的音樂燈光表演方案。該系統(tǒng)已在多個(gè)音樂燈光表演項(xiàng)目設(shè)計(jì)中應(yīng)用，該系統(tǒng)具有很強(qiáng)的推廣價(jià)值。

［1］韓興連，林景棟，覃曾鋒.基于分散控制的智能燈光控制系統(tǒng) ［J］.照明工程學(xué)報(bào)，2008(3)

［2］范建軍.MIDI消息和標(biāo)準(zhǔn) MIDI文件格式剖析 ［J］.咸寧師專學(xué)報(bào)，第22卷第3期，2002

［3］謝嘉幸.音樂分析 ［M］.北京:高等教育出版社，2000

［4］彭瓊，支琤.計(jì)算機(jī)自動識別音樂情感的關(guān)鍵技術(shù)研究 ［J］.電聲基礎(chǔ)，第32卷第4期，2008

［5］孫守遷，王鑫等.音樂情感的語言值計(jì)算模型研究［J］.北京郵電大學(xué)學(xué)報(bào)，第29卷增刊，2006

［6］覃曾鋒.基于音樂特征識別的音樂燈光輔助設(shè)計(jì)系統(tǒng)［D］.重慶:重慶大學(xué)，2009