以情緒為導(dǎo)向的聲音視覺化設(shè)計(jì)模型研究

摘要：在現(xiàn)代數(shù)字技術(shù)發(fā)展背景下，計(jì)算機(jī)可以依據(jù)音樂結(jié)構(gòu)特征進(jìn)行視覺化產(chǎn)出，但實(shí)現(xiàn)效果容易千篇一律，會(huì)削弱聲音的情感表現(xiàn)力和視聽的通感效應(yīng)。文章主要從心理情緒反應(yīng)的角度出發(fā)，探究聲音的情緒體驗(yàn)轉(zhuǎn)化為視覺圖形的設(shè)計(jì)思路。首先分析視聽特征與情感的關(guān)聯(lián)性，將視覺語義的三個(gè)層級(jí)作為視聽設(shè)計(jì)模型的底層框架。再設(shè)定和心理效應(yīng)有關(guān)的兩項(xiàng)視聽實(shí)驗(yàn)，以驗(yàn)證可以將情緒作為媒介進(jìn)行聲音與視覺的轉(zhuǎn)譯，同時(shí)通過收集心理實(shí)驗(yàn)評(píng)估的數(shù)據(jù)結(jié)果，來明確不同情緒方向的視覺傾向，用以構(gòu)建模型的底層視覺特征。后續(xù)結(jié)合符號(hào)學(xué)理論，從符號(hào)三分法的角度分析對(duì)象身份，解析某些對(duì)象身份會(huì)讓人產(chǎn)生對(duì)應(yīng)類型的情緒體驗(yàn)，由此設(shè)定模型的中層邏輯特征。最后由對(duì)象的意義分析和視聽產(chǎn)出的綜合表現(xiàn)，對(duì)人的感官產(chǎn)生刺激，在心理層面形成聲音視覺化作品的情感語義，以達(dá)到模型的高層的抽象屬性?？傮w模型從原始的視覺特征架構(gòu)出對(duì)象身份，再由對(duì)象意義推導(dǎo)出高層的情感語義，相互關(guān)聯(lián)，層層推進(jìn)，形成以情緒為導(dǎo)向的視聽設(shè)計(jì)模型。模型從心理情緒角度出發(fā)，體驗(yàn)更加人性化，能夠?qū)⑷藢?duì)聲樂的理解更好地表達(dá)出來，以此讓聲音視覺化產(chǎn)生的視覺作品更具感染力，達(dá)到視聽通感的跨感官體驗(yàn)效果。

關(guān)鍵詞：聲音；視覺；心理效應(yīng)；情緒體驗(yàn)；視聽氛圍

中圖分類號(hào)：TP391.4；TN912.3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004-9436（2023）06-00-03

聲音與視覺由于信息層級(jí)的差異，因此難以在物理性質(zhì)上直接對(duì)應(yīng)互通，且基礎(chǔ)的視聽要素與更高層的視聽特征之間存在隔閡。本文嘗試從心理學(xué)的角度出發(fā)，利用實(shí)驗(yàn)收集不同視覺特征的情緒反應(yīng)，并從符號(hào)學(xué)角度解析構(gòu)建的圖像意義，從而建立視聽設(shè)計(jì)模型。

1 視聽特征與情感關(guān)聯(lián)分析

通過分析聲音與視覺的基本特征，了解情感相關(guān)性較強(qiáng)的特征和相互之間的導(dǎo)向關(guān)系，建立模型基礎(chǔ)的邏輯框架，提取合適的屬性特征作為實(shí)驗(yàn)變量。

1.1 聲音特征與情感關(guān)聯(lián)

聲音的三要素為音高、響度和音色。音高由物體振動(dòng)的頻率決定，響度指聲音的強(qiáng)弱，音色由不同聲源產(chǎn)生的泛音引起。在現(xiàn)實(shí)世界，越小的物體在共振時(shí)產(chǎn)生的頻率就越高，形狀大小能與頻率映射。同樣，聲音的振幅通常會(huì)映射到圖像的亮度，因?yàn)檎穹土炼确謩e是在聲音和視覺領(lǐng)域測(cè)量刺激強(qiáng)度的物理概念［1］?？梢娨舾吲c響度在視覺化的邏輯上相對(duì)簡(jiǎn)單，更多的是物理經(jīng)驗(yàn)帶來的結(jié)果，通常采用一組映射維度即可。而音色是更復(fù)雜的現(xiàn)象，難以使用單一維度變化來對(duì)應(yīng)視覺元素的轉(zhuǎn)換。音色的差異往往能引起不同的心理反應(yīng)，如動(dòng)聽的交響樂來自多種音色的配合。兩者的構(gòu)成都十分復(fù)雜多變，一些研究也指出音色與情感的關(guān)系更加密切。

1.2 視覺特征與情感關(guān)聯(lián)

埃金斯和格雷厄姆第一次完整提出了關(guān)于圖像的三層語義模型［2］。第一層是視覺的原始特征，如顏色、紋理和形狀；第二層是圖像的邏輯特征，即顯示構(gòu)成對(duì)象的身份；第三層是抽象屬性，即所構(gòu)建畫面的高層意義。

從結(jié)構(gòu)分析來說，底層視覺特征包括色彩、紋理及形狀等靜態(tài)視覺特征，現(xiàn)代圖像動(dòng)效帶來的綜合心理反應(yīng)也常常被納入其中。中層邏輯特征根據(jù)底層視覺特征推導(dǎo)而出，即構(gòu)成對(duì)象的語義。這種語義身份可能是文化積累、人為規(guī)定或現(xiàn)實(shí)生活體驗(yàn)的結(jié)果。相對(duì)于底層特征的視覺基礎(chǔ)要素描述，中層特征主要是對(duì)圖像的架構(gòu)、內(nèi)容等的相應(yīng)描述。高層抽象屬性是對(duì)圖像進(jìn)行更復(fù)雜的推導(dǎo)得出的語義，其中情感語義是最高層語義。情感是一種較為抽象的語義，高層抽象屬性描述的是圖像所包含的語義內(nèi)容，以及心理活動(dòng)綜合產(chǎn)生的情感表達(dá)。

可見聲音特征中音色與情感的關(guān)聯(lián)性較強(qiáng)，而視覺上的情感傳達(dá)需要通過基礎(chǔ)視覺的構(gòu)建，組成對(duì)象語義，再由此導(dǎo)向更高層的情感語義?？蓪⒁曈X的情緒傳達(dá)過程的三個(gè)層級(jí)作為模型基本框架，逐步構(gòu)建聲音情緒與其之間的關(guān)系。

2 底層視覺特征設(shè)定與實(shí)驗(yàn)過程

規(guī)劃兩個(gè)實(shí)驗(yàn)證明心理的情緒效應(yīng)能作為聽覺與視覺的中間橋梁，表明聲音、情緒、視覺三者之間的互通性。再依據(jù)上述分析的底層視覺特征，進(jìn)行各類情緒下的視覺心理實(shí)驗(yàn)，推導(dǎo)情緒變化下的視覺傾向。

2.1 視聽心理實(shí)驗(yàn)

聲音樣本的構(gòu)建選取了大鋼琴、雙簧管、吉他和鐘琴這四種不同類型的樂器演奏同一段旋律，得出四段基礎(chǔ)的聲音片段，為原聲組。再使用失真效果器與混響效果器對(duì)聲音進(jìn)行二次處理，得出另外八段聲音片段，分別為失真組與混響組。再選取符合失真和混響效果的風(fēng)格板，用于對(duì)應(yīng)視覺效果的選擇。采用效價(jià)-喚醒二維模型，即有愉悅度與激活度這兩個(gè)維度，有利于聽覺與視覺兩個(gè)感官刺激下的情緒記錄和實(shí)驗(yàn)數(shù)據(jù)對(duì)比，更加直觀地看到數(shù)據(jù)的集中區(qū)域。評(píng)估方法選取自我評(píng)測(cè)模型的情緒量表，其中優(yōu)勢(shì)度在評(píng)估中影響較弱，故不采用。

實(shí)驗(yàn)對(duì)象皆為音樂愛好者，男女人數(shù)均衡，年齡為20～28歲，視覺聽力正常。原聲組問卷要求被試在空白區(qū)域繪制聲音感知下認(rèn)為的顏色輪廓，失真組和混響組則依據(jù)聽后感受選擇量表內(nèi)容和風(fēng)格圖片。實(shí)驗(yàn)回收有效數(shù)據(jù)50份。

在數(shù)據(jù)轉(zhuǎn)化后的情感模型中可以看出音色改變后的情緒趨勢(shì)。在失真組中，四類聲音樣本情緒大多處于低愉悅度、高激活度的狀態(tài)，被試的情緒體驗(yàn)多為焦慮不安。而在混響組中，被試所記錄的情緒體驗(yàn)多是高愉悅度、低激活度的狀態(tài)，情緒體驗(yàn)多為輕松寧?kù)o。在對(duì)應(yīng)視覺層面，根據(jù)風(fēng)格板的選取比例可認(rèn)為失真音色的視覺表現(xiàn)為粗糙且混亂的趨勢(shì)，混響音色的視覺表現(xiàn)為扁平且模糊的趨勢(shì)。依據(jù)被試?yán)L制原聲組的顏色和輪廓印象，總結(jié)出四段聲音的基礎(chǔ)形狀為藍(lán)色圓形、橙色三角形、冷綠色圓角矩形和黃色散點(diǎn)形，用于測(cè)試視覺特征變化所產(chǎn)生的情緒傾向。

設(shè)定的基礎(chǔ)形狀依據(jù)不同音色產(chǎn)出的視覺風(fēng)格進(jìn)行調(diào)整，將失真組圖形紋理設(shè)定為顆粒感不斷增加且跳動(dòng)閃爍，外輪廓逐漸混亂無序，總體呈現(xiàn)出嘈雜的視覺狀態(tài)；混響組圖形設(shè)定類似漣漪的效果，且逐漸模糊，呈現(xiàn)舒緩朦朧的視覺效果。結(jié)果可見，失真組的情感模型圖與嘈雜圖形組的情感模型圖有較明顯的重合趨勢(shì)，混響組的情感模型圖與漣漪圖形組的情感模型有較明顯的重合趨勢(shì)。再將8個(gè)動(dòng)態(tài)圖形按各自效果分成兩組，交叉疊加兩類聲音樣本，形成四段視頻，詢問被試哪一段視頻更符合氛圍感受。有86%的被試認(rèn)為由實(shí)驗(yàn)推導(dǎo)出的音畫對(duì)應(yīng)視頻更符合情緒氛圍。

可認(rèn)為此圖形動(dòng)態(tài)與紋理質(zhì)感變化能夠激發(fā)對(duì)應(yīng)聲音樣本的相同情緒趨向，并能夠驗(yàn)證視聽共同影響下的情緒感知具有良好的互通性，可以作為視聽模型建立的底層邏輯。

2.2 情緒與視覺感知實(shí)驗(yàn)

驗(yàn)證情緒可以作為媒介后，實(shí)驗(yàn)二從情緒與感知的角度出發(fā)，探索不同情緒中顏色、紋理、形狀和動(dòng)效這四項(xiàng)特征的變化趨勢(shì)。

顏色傾向調(diào)研采用實(shí)用顏色坐標(biāo)系統(tǒng)顏色體系，為了減少被試接收過多信息造成感知混亂，以心理四基色為基礎(chǔ)，將相似色相范圍合并，構(gòu)成8個(gè)色相，3個(gè)明度層級(jí)與3個(gè)純度等級(jí)的色環(huán)，用熱點(diǎn)圖的方式調(diào)研。紋理部分選取10張不同質(zhì)感的紋理圖片，以粗糙度和柔軟度從低到高的規(guī)律劃分，在實(shí)驗(yàn)中以單選題的形式出現(xiàn)。動(dòng)態(tài)中最主要的要素是速度、形變和位置，在這三方面設(shè)定不同語義的形容詞來描述運(yùn)動(dòng)趨勢(shì)，因動(dòng)態(tài)趨勢(shì)可以疊加，所以采用多選題。因聲源種類繁多，所以形狀部分難以用調(diào)研確認(rèn)，但形狀可以從聲源特征和聲音聯(lián)想的角度設(shè)定。

實(shí)驗(yàn)問卷的發(fā)布以網(wǎng)絡(luò)傳播為主，共收集有效問卷151份。從色輪的熱點(diǎn)圖分布可以看出，愉快興奮情緒聯(lián)想下的原始點(diǎn)集中在暖色部分，尤其以高純度的黃、橙、紅色附近為主；焦慮憤怒情緒下的原始點(diǎn)集中于紅、紫紅、紫色等色相區(qū)域，且明度較低色塊的原始點(diǎn)有明顯增加；低落悲傷情緒下的原始點(diǎn)集中于藍(lán)色部分，以低飽和度色塊為主；輕松寧?kù)o情緒下的原始點(diǎn)集中于黃綠與綠色區(qū)域，以偏高明度低飽和度色塊部分為主。

紋理部分，愉悅興奮的情緒狀態(tài)下選擇偏柔軟且平滑的質(zhì)地最多；焦慮憤怒的狀態(tài)下選擇重量感較強(qiáng)且粗糙的紋理質(zhì)感最多；而低落悲傷的結(jié)果相對(duì)復(fù)雜，平滑質(zhì)感的選擇較多，但粗糙巖石質(zhì)感及水波的質(zhì)感選擇數(shù)也較高，可見平滑到粗糙的特征皆有，推測(cè)是低落與悲傷的情感程度不一帶來的紋理差異，可以視具體情緒程度改變質(zhì)感；輕松寧?kù)o的情緒聯(lián)想下選擇重量感較輕且平滑柔和的紋理質(zhì)感最多。

在動(dòng)態(tài)語義的選擇上，對(duì)三個(gè)方向的高頻形容詞作出總結(jié)，可歸納出愉悅興奮的情緒下動(dòng)效呈現(xiàn)較雀躍的姿態(tài)；而焦慮憤怒狀態(tài)下，元素相對(duì)位置的變化較大，給人一種不安穩(wěn)與沖擊暴力感；低落悲傷的狀態(tài)下，總體是一種緩慢黏稠的動(dòng)態(tài)效果，空間帶有阻力感；而輕松寧?kù)o的情緒總體是較為緩和穩(wěn)定的動(dòng)態(tài)效果。

實(shí)驗(yàn)以情緒為中介，進(jìn)行了底層視覺特征邏輯上的探索，得出了視覺變量的趨勢(shì)，為模型的架構(gòu)做了鋪墊。

3 中層邏輯特征設(shè)定思路

視覺特征在實(shí)驗(yàn)中構(gòu)建了表現(xiàn)趨勢(shì)，但能構(gòu)成的對(duì)象選擇較多，表現(xiàn)手法也層出不窮，在此從皮爾斯符號(hào)學(xué)的角度進(jìn)行語義上的分類推導(dǎo)，用于模型中層的構(gòu)建。

中層圖像的設(shè)定過程和內(nèi)容的選取也是一種符號(hào)化的過程，即將圖像作為情緒的符號(hào)代表。皮爾斯符號(hào)學(xué)將符號(hào)劃分為三分構(gòu)造，即再現(xiàn)體、對(duì)象和解釋項(xiàng)。三元結(jié)構(gòu)更具有動(dòng)態(tài)性和普適性。且皮爾斯對(duì)符號(hào)的分類提出了三種方法，其中最常說的是再現(xiàn)體與對(duì)象的關(guān)系，分別為像似符、指示符和規(guī)約符。像似符的邏輯即相似，如物理感官上的相似，或同構(gòu)意義上的相似。指示符是與對(duì)象有實(shí)際關(guān)系或者因果關(guān)聯(lián)的，人們可以直接通過現(xiàn)實(shí)世界的對(duì)象關(guān)系來認(rèn)識(shí)。規(guī)約符的構(gòu)成，主要是被要求這樣理解或者被規(guī)定為這樣使用，不需要考慮這些動(dòng)機(jī)是否合乎人們的先天習(xí)慣，有利于表達(dá)抽象多元的意義［3］。根據(jù)這三類符號(hào)關(guān)系，結(jié)合文化語境與生活環(huán)境，可以推導(dǎo)出不同情緒類別下常用的意象。

愉快興奮等正向情緒的發(fā)生多和良好的體驗(yàn)相關(guān)，以及文化中象征正面情緒的事物，如節(jié)日禮花。而處于焦慮與憤怒情緒下時(shí)，會(huì)產(chǎn)生心跳加速、語氣急促等生理反應(yīng)，常用火光、雷電等符號(hào)表達(dá)這類情緒。低落悲傷通常是情感受到傷害或在意的事物受到損壞時(shí)產(chǎn)生的消極情緒，多采用破碎物品等符號(hào)表達(dá)。而人處在一種平靜舒適的環(huán)境中時(shí)，易產(chǎn)生輕松的情緒體驗(yàn)，如風(fēng)和日麗的午后。以上意象的分析選取從符號(hào)學(xué)角度去闡述和思考，依據(jù)文化經(jīng)驗(yàn)累積下特定圖像反饋的情緒去選?。灰部梢朗挛镆蚬P(guān)系產(chǎn)生的情緒去選取圖像；還可自主設(shè)定本無特殊意義的圖像用于當(dāng)下的情景中，配合視覺特征賦予情緒體驗(yàn)。

值得注意的是，同一事物在不同狀態(tài)下會(huì)產(chǎn)生不一樣的視覺情緒，如枝頭雀躍的小鳥和受傷落地的小鳥，傳達(dá)的氛圍完全不同，這需要明確創(chuàng)作目的，用底層特征展現(xiàn)出區(qū)別。上述作為構(gòu)建對(duì)象身份的思路分析，可在視覺特征導(dǎo)向邏輯特征時(shí)作為參考。

4 高層抽象屬性導(dǎo)出與視聽設(shè)計(jì)模型構(gòu)建

情感抽象屬性是綜合了視覺特征和對(duì)象意義，以及視聽刺激感官后產(chǎn)生復(fù)雜的心理體驗(yàn)形成的，前兩個(gè)層級(jí)的構(gòu)建為情感語義確立了指向性。整體視聽設(shè)計(jì)模型從底層的構(gòu)建開始，依據(jù)聲音音色特征、象征意義和情緒偏好等因素，選取基礎(chǔ)的視覺變量，整合設(shè)計(jì)。進(jìn)而由視覺元素導(dǎo)向邏輯特征，組合構(gòu)建出圖像，形成對(duì)象語義。不同的圖像意義在符號(hào)學(xué)的語境下，以及畫面與音樂結(jié)合的綜合表達(dá)下，傳達(dá)出更具有氛圍渲染力的音樂視覺化作品。

在實(shí)際運(yùn)用中，創(chuàng)作作品可以先明確想要渲染的視聽氛圍，設(shè)計(jì)合理的視覺特征，選取合適的情緒色彩、紋理質(zhì)感與整體的動(dòng)態(tài)效果，并確認(rèn)好聲源的輪廓，由此遞進(jìn)到具體圖像。圖像造型的構(gòu)成可以傳遞對(duì)象身份，用以喚醒并導(dǎo)向情緒體驗(yàn)，配合音樂的綜合演繹，產(chǎn)生良好的情緒體驗(yàn)和在特定環(huán)境下傳達(dá)的情緒。分析作品時(shí)，先從解析底層的原始視覺特征出發(fā)，再看視覺特征建構(gòu)了什么樣的中層畫面圖像，是對(duì)于生活事物的相似再現(xiàn)，或形成了一個(gè)因果邏輯關(guān)系，還是在這個(gè)特定情景下被象征為某個(gè)意義。最后依據(jù)前兩層級(jí)推導(dǎo)出的綜合效果，分析視聽作品所傳達(dá)的意義及自身感受到的后續(xù)體驗(yàn)。

從設(shè)計(jì)者的角度來看，整體模型的架構(gòu)是三層遞進(jìn)導(dǎo)向的關(guān)系；而從觀者角度來說，呈現(xiàn)作品是一個(gè)整體并完成了的，將直接透過視覺音樂完成抽象屬性的情感體驗(yàn)。設(shè)計(jì)模型三個(gè)層級(jí)不能完全獨(dú)立看待，其是層層遞進(jìn)、相互關(guān)聯(lián)影響的，只有明確這一思路，才能創(chuàng)作出更具有情緒氛圍的聲音視覺化作品。

5 結(jié)語

本文通過對(duì)聲音和視覺特征的分析，提出了以情緒為導(dǎo)向的聲音視覺化設(shè)計(jì)思路，運(yùn)用心理實(shí)驗(yàn)構(gòu)建底層視覺特征，并從符號(hào)學(xué)角度解析了中層對(duì)象語義的構(gòu)建，再由畫面身份得出更高層的情感語義。該模型更貼合人類實(shí)際心理活動(dòng)及情感表現(xiàn)，為增添視聽作品情緒氛圍的設(shè)計(jì)方法提供了思路參考。

參考文獻(xiàn)：

［1］ 蘭迪·瓊斯，本·內(nèi)維爾.視覺音樂的創(chuàng)作方法［J］.計(jì)算機(jī)音樂學(xué)報(bào)，2005，29（4）：56.

［2］ 埃金斯，格雷厄姆.基于內(nèi)容的圖像檢索：聯(lián)合信息系統(tǒng)委員會(huì)技術(shù)應(yīng)用項(xiàng)目報(bào)告［EB/OL］.研究之門，https：//www.researchgate.net/publication/238702983，2023-03-14.

［3］ 查爾斯·桑德斯·皮爾斯.皮爾斯：論符號(hào)［M］.成都：四川大學(xué)出版社，2014：51-60.

作者簡(jiǎn)介：陳羽宣（1998—），女，湖南株洲人，碩士在讀，研究方向：視覺傳達(dá)與信息設(shè)計(jì)。

朱文濤（1980—），男，江蘇蘇州人，博士，副教授，研究方向：設(shè)計(jì)價(jià)值與方法論。