結(jié)構(gòu)主義敘事設(shè)計在聲音可視化數(shù)字藝術(shù)創(chuàng)作中的應(yīng)用研究

摘 要 研究內(nèi)容： 本文聚焦于結(jié)構(gòu)主義敘事設(shè)計理論在聲音可視化數(shù)字藝術(shù)創(chuàng)作領(lǐng)域的應(yīng)用路徑探索。通過理論分析與實踐案例相結(jié)合的方式，深入探討如何將結(jié)構(gòu)主義敘事設(shè)計的理論融入聲音可視化作品的創(chuàng)作過程，提升作品的敘事力和藝術(shù)感染力。研究涵蓋了結(jié)構(gòu)主義敘事理論的基礎(chǔ)概念、聲音可視化的技術(shù)與藝術(shù)特性，以及兩者結(jié)合的創(chuàng)新方法和流程。特別是針對大型聲音可視化作品的創(chuàng)作環(huán)境，結(jié)合實踐案例，本研究嘗試提出了可行的框架方法。目的：本研究旨在為聲音可視化數(shù)字藝術(shù)創(chuàng)作提供一種系統(tǒng)的、創(chuàng)新的敘事設(shè)計方法。通過引入結(jié)構(gòu)主義敘事理論和流程管理視角，指導(dǎo)創(chuàng)作者在復(fù)雜的技術(shù)與藝術(shù)融合過程中，實現(xiàn)技術(shù)與情感的平衡，推動數(shù)字藝術(shù)擺脫從過度的技術(shù)效果創(chuàng)作偏向轉(zhuǎn)向更有敘事邏輯和深度的藝術(shù)表達。方法：文章首先對結(jié)構(gòu)主義敘事和聲音可視化理論進行回顧，分析兩者在當代技術(shù)環(huán)境下的結(jié)合點與應(yīng)用潛力，構(gòu)建了理論框架。在此基礎(chǔ)上，提出了一個基于結(jié)構(gòu)主義敘事設(shè)計的創(chuàng)作模型，并以作者的數(shù)字藝術(shù)作品《風(fēng)樂無邊》為實踐案例，詳細分析了該模型在實際創(chuàng)作中的應(yīng)用。通過《風(fēng)樂無邊》的創(chuàng)作過程，展示了如何從創(chuàng)建故事、制定敘事到設(shè)計敘述，系統(tǒng)地將結(jié)構(gòu)主義敘事設(shè)計理論融入聲音可視化作品的創(chuàng)作中，驗證了模型的可行性和有效性。結(jié)論：結(jié)構(gòu)主義敘事設(shè)計能夠為聲音可視化數(shù)字藝術(shù)創(chuàng)作提供有效的指導(dǎo)方法。從敘事出發(fā)結(jié)合流程管理，有助于數(shù)字藝術(shù)創(chuàng)作者在復(fù)雜的媒介環(huán)境中找到技術(shù)與情感、藝術(shù)與科技的平衡點。在《風(fēng)樂無邊》的聲音可視化作品創(chuàng)作實踐中，驗證了本研究所提出的創(chuàng)作流程模型的有效性，同時也發(fā)現(xiàn)了模型在復(fù)雜度和跨領(lǐng)域團隊協(xié)作方面的改進空間。未來，隨著人工智能數(shù)字技術(shù)的不斷發(fā)展，結(jié)構(gòu)主義敘事設(shè)計理論有望在數(shù)字藝術(shù)領(lǐng)域發(fā)揮更廣泛的作用。本研究期待相關(guān)領(lǐng)域的創(chuàng)作者們通過這種流程化的創(chuàng)作方法，可以更高效地整合多方資源，應(yīng)對數(shù)字藝術(shù)創(chuàng)作中日益復(fù)雜的技術(shù)環(huán)境革新和跨學(xué)科挑戰(zhàn)。

關(guān)鍵詞 結(jié)構(gòu)主義敘事設(shè)計；聲音可視化；數(shù)字藝術(shù)；情感表達；設(shè)計管理；創(chuàng)作流程

* 本研究為上海市教委學(xué)位點培優(yōu)培育計劃“人工智能賦能高校應(yīng)用型藝術(shù)設(shè)計人才培養(yǎng)的模式研究”（項目編號：C2025219）成果；上海視覺藝術(shù)學(xué)院視覺傳達設(shè)計國家級一流本科建設(shè)驗收成果。

在新興的數(shù)字藝術(shù)的浪潮中，技術(shù)的進步為相關(guān)領(lǐng)域創(chuàng)作者提供了前所未有的創(chuàng)作工具和表現(xiàn)形式。然而，絢爛的科技背后，一個關(guān)鍵的問題逐漸浮現(xiàn)：盡管新技術(shù)頻頻在感官層面給作品帶來突破，但在此類作品敘事設(shè)計方面卻顯得相對單薄。這種單薄不僅限制了作品深度的表達，也影響了觀眾與作品之間的情感共鳴。特別是在聲音可視化作品中，其創(chuàng)作過程更注重與科技的硬結(jié)合，流程復(fù)雜，很容易讓作品在內(nèi)容、形式和表現(xiàn)方式上流于一種技術(shù)風(fēng)格的偏向，缺乏故事性和藝術(shù)感。在此背景下，結(jié)構(gòu)主義敘事作為一種經(jīng)典的研究故事的構(gòu)成理論，以其對敘事內(nèi)在結(jié)構(gòu)的深刻洞察，逐漸走入藝術(shù)設(shè)計者們的眼簾。

一、結(jié)構(gòu)主義敘事設(shè)計理論概述

（一）敘事理論的領(lǐng)域擴張

敘事理論提出于西方，源自文學(xué)理論。20世紀60年代末，著名文學(xué)理論家、歷史學(xué)家茨維坦·托多洛夫（Tzvetan Todorov）在《〈十日談〉語法》中首次明確提出“敘事學(xué)”這種“關(guān)于敘事作品的科學(xué)”［1］。近年來，隨著藝術(shù)設(shè)計的研究范圍和研究對象的擴張，敘事理論憑借其普遍性和重要性贏得了各學(xué)科的廣泛關(guān)注，敘事理論從文學(xué)領(lǐng)域過渡到藝術(shù)設(shè)計領(lǐng)域不過半個多世紀，屬于新興理論。敘事設(shè)計作為一種設(shè)計的策略及方法，讓設(shè)計關(guān)注的對象從“事物”逐漸轉(zhuǎn)向為“事件”，使得設(shè)計輸出除了滿足其功能需求以外，還能滿足精神上的感動［2］。敘事設(shè)計（Narrative Design），又稱敘事性設(shè)計，是設(shè)計師應(yīng)對問題，提出不同的具有敘事屬性的解決方式，通過用戶對設(shè)計對象的使用和體驗，建立一種與創(chuàng)作者溝通的方式，從而喚起用戶基于生活經(jīng)驗的聯(lián)想與情感記憶。由此使得用戶對歷史文脈、人文精神、價值觀念等有更好的感知與了解［3］。

在文學(xué)理論中敘事指的是創(chuàng)造故事的方法，但是當他被引入敘事設(shè)計的領(lǐng)域后，其概念和范疇則已經(jīng)被擴展。它不僅包括了故事創(chuàng)作，還涵蓋了利用敘事來組織和協(xié)調(diào)技術(shù)、理念、媒介、環(huán)境、材料和體驗等多元化元素的復(fù)雜設(shè)計過程。本文強調(diào)的創(chuàng)作行為涵蓋了設(shè)計創(chuàng)作和藝術(shù)創(chuàng)作活動。筆者想強調(diào)的是，正因設(shè)計創(chuàng)作的復(fù)雜性，引發(fā)了設(shè)計界對敘事設(shè)計理論的廣泛討論。隨著藝術(shù)創(chuàng)作邊界的擴大，對于要管理大規(guī)模創(chuàng)作材料的跨領(lǐng)域藝術(shù)與科技融合的創(chuàng)作，在感性的藝術(shù)思維方法中配合使用嚴謹?shù)脑O(shè)計方法來指導(dǎo)內(nèi)容創(chuàng)作；在復(fù)雜的創(chuàng)作過程中，引入規(guī)范的流程方法來指導(dǎo)平衡技術(shù)和藝術(shù)的結(jié)合應(yīng)用是這個領(lǐng)域的趨勢。

（二）作為形式系統(tǒng)的結(jié)構(gòu)主義敘事設(shè)計

結(jié)構(gòu)主義敘事理論起源于語言學(xué)，代表人物是瑞士語言學(xué)家費爾迪南·德·索緒爾。索緒爾的語言學(xué)研究強調(diào)，語言系統(tǒng)是由符號構(gòu)成的，這些符號在語言系統(tǒng)內(nèi)具有結(jié)構(gòu)化的關(guān)系。索緒爾的理論啟發(fā)了結(jié)構(gòu)主義學(xué)派，隨后，其代表性人物如列維-斯特勞斯將這一思想引入敘事學(xué)，提出所有敘事作品都遵循某種深層次的結(jié)構(gòu)，這種結(jié)構(gòu)在各種敘事作品中具有普遍性。這種普遍性使它隨后被視為經(jīng)典敘事學(xué)的基礎(chǔ)，是后來大量涌現(xiàn)的敘事理論的起點。結(jié)構(gòu)主義敘事在文學(xué)、時尚，甚至某些特定的文化中，嘗試尋找隱藏的規(guī)律，也就是規(guī)則和慣例，通過對思維工具、進程和活動的研究，幫助我們建立和理解敘事［4］。這一理論在創(chuàng)作層面上，通過將敘事劃分為不同的層次來明確敘事設(shè)計的組成要素和運作機制而達到分解和重構(gòu)故事的目的，幫助故事的創(chuàng)作者從深層次上分析和理解敘事過程中的內(nèi)在規(guī)律。

結(jié)構(gòu)主義敘事研究將敘事劃分為三層：敘述、敘事、故事［5］。敘述（narration）是指故事講述的方式，通過何種視角和形式呈現(xiàn)；敘事（narrative）指的是敘事事件的組織方式，即如何安排及發(fā)展情節(jié)；而故事（story）則是敘事的核心內(nèi)容和思想，發(fā)生的事件和情節(jié)。通過分析這些層次，結(jié)構(gòu)主義敘事理論揭示了敘事的內(nèi)在邏輯和運作規(guī)則。結(jié)構(gòu)主義敘事理論的另一個重要特點是其對符號系統(tǒng)的關(guān)注，敘事中的角色、事件和情節(jié)都可以被視為符號，這些符號通過特定的規(guī)則組合在一起，傳遞意義。結(jié)構(gòu)主義敘事通過分解敘事的深層結(jié)構(gòu)、符號系統(tǒng)，能幫助理解和設(shè)計敘事過程中的故事邏輯和情感關(guān)系，它為敘事設(shè)計提供了一個簡約有效的形式系統(tǒng)分析框架。

二、數(shù)字藝術(shù)中的聲音可視化

（一）作為藝術(shù)創(chuàng)作方法和形式的聲音可視化

新媒體技術(shù)的產(chǎn)生與發(fā)展勢必推進對新的藝術(shù)設(shè)計形態(tài)與視覺語言的探索，也必然會形成新的美學(xué)觀。數(shù)據(jù)可視化藝術(shù)設(shè)計是將采集或模擬的數(shù)據(jù)經(jīng)過有效編輯轉(zhuǎn)換為可識別的圖形符號、圖像、視頻或者動畫，通過視覺化的形式呈現(xiàn)，并以此實現(xiàn)對受眾最有價值的信息傳達［6］。聲音作為一種可探知的數(shù)據(jù)，對其可視化最早被藝術(shù)設(shè)計界認知為數(shù)據(jù)可視化學(xué)科的一個細分概念，指的是將聲音信息轉(zhuǎn)化成數(shù)據(jù)通過視覺手段進行表達，使其變得更具可讀性和理解性。然而，翻看藝術(shù)史，早在信息時代之前，聲音可視就已經(jīng)作為一種重要的創(chuàng)作形式和藝術(shù)開始深度的融合了。

西方從17世紀開始對聲音的視覺化進行實驗，試圖基于通感聯(lián)覺，探尋聲音與色彩之間的互譯關(guān)系，并通過平面繪畫或某種機械進行直觀呈現(xiàn)，這被認作為一種客觀的“色彩音樂”（Color Music）藝術(shù)［7］。20世紀初，前衛(wèi)藝術(shù)運動中的未來主義和達達主義興起，意大利藝術(shù)家路易吉·魯索洛是首位以聲音為創(chuàng)作媒介的藝術(shù)家，他提出了“噪音藝術(shù)”的概念，并創(chuàng)造了各種噪聲機器，開創(chuàng)了聲音作為非音樂藝術(shù)表達媒介的先河。達達主義者雨果·拜爾通過聲音詩的形式，進一步探索聲音在藝術(shù)中的表現(xiàn)力。這些實驗為聲音藝術(shù)奠定了基礎(chǔ)，聲音不再僅僅是音樂的附屬物，而是藝術(shù)表達的重要元素。抽象主義藝術(shù)大師康定斯基則由繪畫語言的分析入手，理論化地概括了視覺形態(tài)和音樂特性之間的藝術(shù)連接，提出繪畫中的“內(nèi)在聲音”（Inner Sound）這一概念［8］。隨后，抽象主義興起，藝術(shù)家們厭倦傳統(tǒng)的現(xiàn)實主義繪畫和電影敘事模式，他們嘗試通過抽象表現(xiàn)形式來表達更為深刻和個性化的情感和觀念。在此背景下，德國的一些前衛(wèi)藝術(shù)家們，如瓦爾特·魯特曼、奧斯卡·費欽格等，展開了對“抽象電影”（Abstract Film）又稱“絕對電影”的探索。他們不僅關(guān)注聲音與視覺符號在顏色、形狀上的對應(yīng)關(guān)系，還深入探討了符號的運動與音樂節(jié)奏之間的關(guān)聯(lián)，這些探索為現(xiàn)代的聲音可視化提供了重要的理論基礎(chǔ)。

如果從技術(shù)的視角來考察聲音可視化結(jié)合藝術(shù)設(shè)計的發(fā)展演變，它則顯得相對簡單明了。1787年，德國物理學(xué)家恩斯特·克拉尼發(fā)明了一種聲音可視化的實驗方法，即將細沙撒在金屬板上，并通過振動產(chǎn)生聲波圖案，展示了聲音的可視的形態(tài)?？死岬膶嶒灴梢哉f在物理技術(shù)層面上將聲音可視化帶入了現(xiàn)實。隨后的另一位重要人物，藝術(shù)家、電影制片人奧斯卡·費欽格作為“絕對電影”藝術(shù)運動的代表人物，他對視聽實驗作品在技術(shù)實踐方面的探研體現(xiàn)了早期多媒體跨學(xué)科融合作品的特征，即對視聽內(nèi)容數(shù)據(jù)化一體化同步控制的初期探索［9］。他的創(chuàng)作規(guī)律依托科學(xué)為背景，科學(xué)性的研發(fā)為作品帶來技術(shù)方面的支持。進入21世紀后，標志性的聲音可視化技術(shù)革新是計算機介入后視覺映射（Audiovisual Mapping）的成型。視聽映射通過某種算法篩選、提取聲音信息，并根據(jù)某種對位規(guī)則，轉(zhuǎn)換、傳輸出視覺影像。這要求聲音信息和影像信息具有內(nèi)在結(jié)構(gòu)的相似性，并且這種對位結(jié)構(gòu)可以被數(shù)據(jù)化處理。學(xué)術(shù)界將視聽映射歸納至信息可視化范疇，是結(jié)合設(shè)計美學(xué)、音樂聲學(xué)、物理學(xué)、心理學(xué)和心理學(xué)的跨領(lǐng)域研究［10］。隨后，在信息技術(shù)進一步引導(dǎo)下，聲音可視化與新生的藝術(shù)媒介產(chǎn)生融合。如新媒體藝術(shù)家黑川良一和池田亮司將聲音與數(shù)字圖像、視頻裝置相結(jié)合，通過算法生成實時的視覺表現(xiàn)的系列形式，帶來了其在藝術(shù)領(lǐng)域的成功。可以說彼時，聲音可視化終于成為一種被廣泛認知的藝術(shù)形式。如今，互動、虛擬現(xiàn)實、數(shù)據(jù)驅(qū)動設(shè)計的應(yīng)用進一步推動了此領(lǐng)域的快速發(fā)展。

（二）聲音可視化作為數(shù)字藝術(shù)的審美特征

在國內(nèi)，數(shù)字藝術(shù)作為相對年輕的藝術(shù)門類，學(xué)界依然對它沒有相對明確的界定。正如第十四屆全國美術(shù)展覽對它的分類，并沒有清晰地給予它在理念和特征上區(qū)別于其他藝術(shù)形式的定義，而將其和實驗藝術(shù)、動畫并置于一個展區(qū)。筆者認為，如果說實驗藝術(shù)創(chuàng)作注重對物理裝置和材料的探索，強調(diào)創(chuàng)作者對媒介本身的實驗和感知；那么數(shù)字藝術(shù)創(chuàng)作則依托計算機技術(shù)，強調(diào)聲音、圖像、數(shù)據(jù)等數(shù)字媒介的融合，是通過算法、編程等手段進行的藝術(shù)創(chuàng)作活動。兩者在形式上存在互相借用，但是，聲音可視化作為一種關(guān)鍵的形式，可以說是數(shù)字藝術(shù)區(qū)別其他藝術(shù)類別的審美特征之一。

筆者認為，這種審美特征通過聲音可視化在多領(lǐng)域、跨學(xué)科應(yīng)用場景下的日漸活躍，成為目前大眾對數(shù)字藝術(shù)及相關(guān)領(lǐng)域的通感之一。比如，在音樂和表演藝術(shù)領(lǐng)域中，從純聽音樂或看表演，到通過屏幕或者投影將音樂可視化后映射在演出空間中形成聯(lián)動。近幾年來，隨著泰勒·斯威夫特等歌星的演唱會在全世界范圍獲得巨大成功，聲光電互動融合的演出越來越成為現(xiàn)代舞臺表演藝術(shù)的標準。又如在多媒體互動藝術(shù)中聲音提示配合圖像的指引已經(jīng)成為許多互動藝術(shù)的“入口”，觀眾的聲音通過麥克風(fēng)、傳感器等輸入裝置的捕捉，經(jīng)過處理后生成動態(tài)的圖像、光效或物體運動，增強了作品的沉浸感和交互性。我們在世界知名的數(shù)字媒體藝術(shù)組合teamLab的諸多大型作品中都能看到這種手法。而在被稱為即將成為“第九藝術(shù)”的游戲領(lǐng)域，聲音和視覺反饋的配合，無論是游戲英雄角色出場時背景音樂的渲染，還是戰(zhàn)斗時圖像與聲音的交互，加上擊打、碰撞、使用魔法等即時絢麗的視覺效果，這種視覺化的聲音是玩家建立游戲情節(jié)敘事和體驗快感的核心手段。最近大熱的游戲《黑神話：悟空》除了視覺上的藝術(shù)效果令人贊嘆，它的聲效、交互、敘事情節(jié)也廣受贊譽。

聲音可視化涉及設(shè)計、藝術(shù)，結(jié)合了計算機科學(xué)、數(shù)據(jù)分析、圖形學(xué)、用戶體驗學(xué)等領(lǐng)域的知識，它的學(xué)科跨越特性迎合了當下藝術(shù)設(shè)計的發(fā)展趨勢。它作為一種創(chuàng)作手段，將抽象的聲音轉(zhuǎn)化為即時的視覺圖像，增強了藝術(shù)作品的沉浸感和交互性。它在音樂、表演藝術(shù)、多媒體互動和游戲等領(lǐng)域的廣泛應(yīng)用，不僅豐富了數(shù)字藝術(shù)表現(xiàn)形式，也成為連接不同媒介、激發(fā)通感體驗的關(guān)鍵要素。

（三）聲音可視化創(chuàng)作對敘事設(shè)計方法的呼喚

聲音可視化對敘事設(shè)計的要求在于它需要將抽象的聲音信息轉(zhuǎn)化為直觀的視覺圖像，從而增強觀眾的沉浸感和情感共鳴。這種轉(zhuǎn)化不僅要求技術(shù)上的精確性，還要求藝術(shù)上的創(chuàng)造性，以便在視覺和聽覺之間建立起有意義的聯(lián)系。聲音可視化的敘事設(shè)計需要考慮聲音的節(jié)奏、音調(diào)、強度等元素，并將其與視覺元素如色彩、形狀、動態(tài)等相匹配，以創(chuàng)造出富有表現(xiàn)力和敘事性的作品［11］。可以看出，聲音可視化藝術(shù)作品創(chuàng)作中對敘事設(shè)計方法的呼喚，來自其在技術(shù)發(fā)展與情感表達之間尋求平衡的需求。

另一方面，相對單一的感官媒介如文字、圖像、聲音等，數(shù)字藝術(shù)強調(diào)多媒介、多感官特性。聲音可視化是其中之典型，它不僅依賴于藝術(shù)家對顏色、構(gòu)圖、聲音等元素的審美把握，更要求創(chuàng)作者掌握各種技術(shù)工具，通過編程、算法、數(shù)據(jù)處理等技術(shù)手段來實現(xiàn)，如程序開發(fā)、聲音設(shè)計、圖像處理等技術(shù)環(huán)節(jié)。而且，可視化創(chuàng)作往往還需要多領(lǐng)域、跨學(xué)科的團隊協(xié)作，如編曲、影像等多個領(lǐng)域的專家。總之，創(chuàng)作者不僅要具備藝術(shù)敏感度，還需要具備跨學(xué)科的技術(shù)能力。例如，在第十四屆全國美術(shù)作品展實驗藝術(shù)、數(shù)字藝術(shù)與動畫展區(qū)中，由藝術(shù)家費俊創(chuàng)作的《情緒劇場》就是一件可交互的聲音可視化作品，在它的作品描述和團隊人員名單里，可以看到除了技術(shù)團隊，藝術(shù)家還與心理學(xué)家、音樂家、人工智能專家等各領(lǐng)域團隊進行了緊密的合作［12］。 高技術(shù)門檻、多團隊協(xié)作代表了聲音可視化創(chuàng)作的復(fù)雜性，在實踐創(chuàng)作中這種復(fù)雜性如果缺少理論的指導(dǎo)，就很容易導(dǎo)致創(chuàng)作上的混亂和對技術(shù)效果的偏向。如果我們通過搜索器，如百度和谷歌，用關(guān)鍵字“聲音可視化”快速檢索，就可以得到眾多視覺上看起來光怪陸離，實際高度趨同，內(nèi)容五花八門但是毫無情感的項目和作品（如圖1）。究其原因，不少創(chuàng)作者過度追求效果上的突破，缺少內(nèi)容敘事層面上的思考，從而丟失了藝術(shù)目的。

故事化的敘事方式可以使揭示信息的數(shù)據(jù)可視化更加有效與直觀，如同觀眾觀看電影一般［13］。聲音可視化一方面擁有信息科學(xué)的屬性，另一方面要與藝術(shù)表達融合，其復(fù)雜性不可避免，這是它迫切需要敘事理論支撐的根本原因。而在眾多敘事設(shè)計理論中，結(jié)構(gòu)主義敘事理論分析如何將故事的主題、形式和敘事路徑有效連接，幫助創(chuàng)作者利用符號構(gòu)建一個完整的敘事系統(tǒng)，這種與視覺符號的相關(guān)性和系統(tǒng)性，能給可視化作品的敘事創(chuàng)作帶來方向感。而且與其他敘事設(shè)計理論相比，結(jié)構(gòu)主義敘事理論以簡潔和本質(zhì)著稱，它專注于分析尋找敘事中的普遍性結(jié)構(gòu)。這種對故事創(chuàng)作過程中普遍性的研究，正是當前數(shù)字藝術(shù)創(chuàng)作所需要的。它能馴化復(fù)雜，引導(dǎo)數(shù)字藝術(shù)的審美從注重技術(shù)轉(zhuǎn)向注重情感表達，幫助觀眾更好地理解和共情作品，同時也使創(chuàng)作者能夠整合多方資源，講述一個引人入勝的故事。

三、結(jié)構(gòu)主義敘事設(shè)計方法在聲音可視化中的應(yīng)用框架

在聲音可視化創(chuàng)作中引入敘事設(shè)計方法，聲音不再僅僅是背景聲或輔助元素，它將作為敘事的主體形式引導(dǎo)視覺呈現(xiàn)。我們將聲音作為首要要素置入結(jié)構(gòu)主義理論中的故事、敘事和敘述的三層核心結(jié)構(gòu)中，分析聽覺、視覺及其相互的敘事作用，并嘗試討論構(gòu)建一個可行的、流程化的創(chuàng)作框架。

（一）聲音與故事主題

在結(jié)構(gòu)主義敘事理論中，故事（story）是指作品中所包含的事件、角色和情節(jié)發(fā)展，即“發(fā)生了什么”。故事討論的是整個敘事設(shè)計的主題和思想，是情感的基調(diào)。在聲音可視化作品中，聲音主導(dǎo)故事作為主題事件和情節(jié)的提示。不同故事的主題：正義的、邪惡的、溫情的、悲情的；或者，不同的故事情節(jié)階段：開始，轉(zhuǎn)折和結(jié)束，對應(yīng)不同聲音和視覺，觀眾會迅速理解所處的敘事類型和階段。聲音的作用不僅是識別，它在作品整體層面建立藝術(shù)及審美氛圍、闡述宏大主題，甚至具有超越文字和影像對白的優(yōu)勢。聲音，有能力繞過理性，直達人們的感性。

具體來說，我們可以在情感傳遞、象征與隱喻、啟發(fā)和構(gòu)建三方面分析聲音對故事的作用。

1.情感傳遞：聲音引導(dǎo)觀眾進入某種特定的情感狀態(tài)，如憂郁、喜悅、緊張等。通過音樂的情感層次，觀眾可以感受到視覺內(nèi)容背后的情感核心，即作品想要表達的“故事”。

2.象征與隱喻：使用某種特定的音調(diào)、旋律或音效，來暗示某種概念或思想，反映作品中的深層次主題或概念。

3.啟發(fā)和構(gòu)建：聲音樂可視化作品中的“故事”往往是抽象的，沒有傳統(tǒng)的情節(jié)和固定角色引導(dǎo)。但聲音通過旋律和音效的變化，賦予觀眾某種體驗或聯(lián)想。觀眾會根據(jù)音樂的情緒起伏，感受到不同的啟發(fā)，構(gòu)建他們自己的內(nèi)在故事。

（二）聲音與敘事結(jié)構(gòu)

敘事（narrative）指的是將故事內(nèi)容以特定結(jié)構(gòu)和順序呈現(xiàn)出來的方式，即“如何講述”。 在可視化作品中，敘事討論的是聲音和視覺如何組合成敘事序列，創(chuàng)建特定的結(jié)構(gòu)，如線性的、非線性甚至是可交互的、隨機的。用聲音建立敘事的方法有很多。首先，聲音自身的物理特性，頻率、波段、節(jié)奏等，即伴隨著時間性的，它有明確的線性順序。其中，音樂作為一種有審美規(guī)律的聲音，其自身的內(nèi)在結(jié)構(gòu)如樂理中的樂章、段落、和聲等在敘事層面上就是結(jié)構(gòu)順序，數(shù)字技術(shù)可以快速分析這些聲音特性，生成視覺畫面映射這些聲音的物理屬性，創(chuàng)造出敘事所需的層次和節(jié)奏。可以說這種生成關(guān)系是這類作品敘事上的“原特征”。除了自動生成外，結(jié)合音頻剪輯控制，則可以準確地調(diào)整敘事順序表達具體的情節(jié)。

除了上文論述的較為常見的結(jié)構(gòu)和實現(xiàn)手段之外，還有一些其他值得研究的敘事結(jié)構(gòu)和方法：

1.倒敘結(jié)構(gòu)：通過聲音的剪輯和排列，創(chuàng)造時間上的跳躍或回溯的倒敘結(jié)構(gòu)。

2.強調(diào)與重音：對主題和動機的強化，反復(fù)出現(xiàn)的主題音樂與特定角色或情節(jié)關(guān)聯(lián)，加強敘事的一致性。

3.聲音與空間：設(shè)計沉浸立體聲效果，利用聲道的左右、遠近變化，模擬空間感，增強敘事的真實感。增加聲音層次，疊加多層次的聲音元素，豐富敘事的復(fù)雜性。

4.視聲同步：弱化故事的線性感，強調(diào)聲音與視覺元素的同步變化，創(chuàng)造互動的敘事特征。

隨著交互技術(shù)的引入，敘事上的順序結(jié)構(gòu)也可以被打亂、被控制，甚至實時生成。我們可以看到在不少可視化作品現(xiàn)場中，裝置即時采集環(huán)境音或音效生成視覺畫面，這種方法強調(diào)敘事上的實時感，給觀眾帶來新的體驗。

（三）聲音與敘述風(fēng)格

敘述指的是講述故事的過程和方式，也就是“誰在講述”和“以什么形式講述”。聲音可視化中，聲音本身成為“敘述者”而非視覺上的具體的角色或者形象。旁白是被舞臺戲劇影視常用的一種敘述工具，人聲是顯性具體的敘述聲，它能立即表達“是誰”以及“什么立場”等關(guān)鍵信息。在聲音可視化作品中，敘述的范圍還包括抽象、無明確表意的其他更多的聲音。

敘述關(guān)注的是故事講述的感知形式，這種形式更像美學(xué)中“風(fēng)格”的概念。風(fēng)格，指的是特殊的或者帶有一定特征的表達形式［14］。聲音可視化中的敘述風(fēng)格是整合視覺和聽覺的一種綜合表達描述，包括聲音的音色、節(jié)奏、曲向組成的旋律；視覺上對應(yīng)產(chǎn)生的顏色、形狀、排列、運動方式等融合呈現(xiàn)的多感官風(fēng)格。比如，低沉的鼓聲和碎裂的電吉他演繹某種感情爆破和沖突，搭配涂鴉和拼貼圖像，觀眾會聯(lián)想到朋克或者搖滾風(fēng)格；而悠揚的笛聲和琵琶搭配高山流水，則給觀眾帶來的是經(jīng)典的東方敘述風(fēng)格；合成器電子音樂在光感科技、機器人等圖像視覺中，隨著低頻重拍的反復(fù)出現(xiàn)，畫面跟著震動，則塑造出科技和未來的風(fēng)格。這種風(fēng)格的設(shè)定，將直接影響到包括視覺映射等實現(xiàn)技術(shù)的對應(yīng)。

敘述方式?jīng)Q定作品的呈現(xiàn)形態(tài)，視聽風(fēng)格將帶領(lǐng)觀眾對畫面和內(nèi)容理解和感知。我們可以通過以下幾個方面來思考敘述的策略：

1.敘述風(fēng)格：聲音和視覺元素的選擇和整合方式。

2.互動方式：作品是否允許觀眾參與改變聲音和視覺的呈現(xiàn)。

3.視聽映射：映射算法篩選、技術(shù)選擇、提取聲音信息，并根據(jù)視覺風(fēng)格策略思考、轉(zhuǎn)換、傳輸出的影像。

4.敘述視角：從什么樣的視角出發(fā)來表達主題。主觀感性的，還是客觀理性的等等。

綜上所述，可視化創(chuàng)作場景中，聽覺主導(dǎo)、視聽結(jié)合是構(gòu)建作品敘事的核心?？梢暬髌烦橄蠖鴱?fù)雜，借助結(jié)構(gòu)主義敘事的理論，我們可以整理總結(jié)出敘事結(jié)構(gòu)層次與聲音視覺的一般關(guān)系，請見表1。

故事、敘事和敘述三者在這個框架結(jié)構(gòu)中呈現(xiàn)為線性的關(guān)系。如果將它們放置在創(chuàng)作流程中，故事作為主題和思想的討論，它應(yīng)該最早被確定，然后是敘事結(jié)構(gòu)的搭建，敘述則和作品的整體風(fēng)格有關(guān)，更加關(guān)注完成度。這種線性關(guān)系給了這個框架引入創(chuàng)作流程的可能性，它可以被分解融入在實踐中指導(dǎo)各個階段的創(chuàng)作。

四、《風(fēng)樂無邊》聲音可視化作品的敘事設(shè)計實踐

（一）《風(fēng)樂無邊》數(shù)字藝術(shù)作品概述

《風(fēng)樂無邊》是由筆者創(chuàng)作的一件大型聲音可視化數(shù)字藝術(shù)設(shè)計作品。它以中國書法作為視覺元素，將道家起源哲學(xué)觀念和書法形式美結(jié)合，利用聲音可視化技術(shù)將書法字粒子映射成為各種象征自然有機的形態(tài)，并與聲音互動演繹，打造了一個聲、形、意互通的沉浸式數(shù)字藝術(shù)作品。［15］作品中的書法字來自方正字庫開發(fā)的12組中華精品字庫，字體包括王羲之、顏真卿、劉炳森、柳公權(quán)、蘇軾、沈尹默等名家的書法。作品曾在中國國家博物館展出，入選第十四屆全國美術(shù)作品展實驗藝術(shù)、數(shù)字藝術(shù)與動畫展區(qū)。

整個項目投射在接近8（寬）：1（高）的LED屏幕墻上，首次在中國國家博物館展出時，實際空間寬度接近40米。參加全國美術(shù)作品展時作品做了相應(yīng)的內(nèi)容更新，同時，根據(jù)展覽的空間縮小了尺寸，并增加了背景墻體的部分靜態(tài)圖形設(shè)計（圖2）。

《風(fēng)樂無邊》最早作為一件由方正字庫發(fā)起的邀請創(chuàng)作作品，目的是展示方正字庫開發(fā)的12組以上的書法字庫字體，每組包括至少7000個字體及字符。委托方并不希望平鋪直敘地進行字體展示，期待有藝術(shù)的、創(chuàng)新的方法。在創(chuàng)作過程中，我們首先要對數(shù)萬文字顆粒進行動態(tài)演繹，運算數(shù)量非常大，筆者及團隊最終決定使用生成式可視化的技術(shù)。其次，我們希望創(chuàng)作的是一個中國質(zhì)感結(jié)合當代審美的作品。敘事上，面對王羲之、顏真卿、劉炳森、柳公權(quán)、蘇軾、沈尹默等如此多的人物，橫跨千年歷史，我們放棄了常規(guī)的主角式的具象故事，引入了道家的哲學(xué)觀念，并將聲音作為主導(dǎo)。我們希望討論的是在東方意境中，生命是如何從無到有的，它的形式是什么，人的思想是一種生命形式嗎，書法又代表了什么？

在創(chuàng)作過程中，我們充分利用了結(jié)構(gòu)主義敘事理論的層次框架（圖3）。首先，在故事層面上，收集并制作了風(fēng)、水滴、溪水、鳥、瀑布、潮水等自然聲，隨后與電子樂結(jié)合，創(chuàng)建了一個前半段循序漸進的、從無到有、冥想式的，后半段強調(diào)現(xiàn)代中式美感的聲音故事。敘事層上，對應(yīng)聲音主線出現(xiàn)的由書法顆粒組成的各種自然形，從無到有，從少到多，最后伴隨著電子音樂形成聲形交互的書法字動態(tài)演繹。敘述風(fēng)格上，以黑白為主的色彩強調(diào)道家的意境，伴隨聲音通過映射技術(shù)驅(qū)動書法粒子，從單一到復(fù)雜，從機械到曲線，從無機到有機，再到自然和生命感的運動。最終，將作品引入思維上的、抽象的審美意境。

（二）《風(fēng)樂無邊》的敘事設(shè)計流程模型

在整個長周期、多資源配合的創(chuàng)作過程中，從結(jié)構(gòu)主義敘事理論出發(fā)，結(jié)合聲音可視化藝術(shù)設(shè)計的實踐特點，我們開發(fā)了一個設(shè)計流程模型。它可以直觀地將“故事”“敘事”和“敘述”三個敘事層次用于流程化的創(chuàng)作中。這個流程工具不僅有助于系統(tǒng)地規(guī)劃創(chuàng)作、統(tǒng)籌復(fù)雜的元素，它也能作為項目管理的流程，確保每個創(chuàng)作階段都有明確的目標和行動（圖4）。

流程模型將故事、敘事、敘述分解成為聲音可視化創(chuàng)作場景中的關(guān)鍵設(shè)計動作，主要集中在模塊1-3，分別是：創(chuàng)建故事、制定敘事、設(shè)計敘述，對應(yīng)圖表（見表2）描述了這些關(guān)鍵設(shè)計節(jié)點以及需要實施的動作。當然，根據(jù)實際的項目需求，創(chuàng)作者可以靈活增減相關(guān)的設(shè)計條目。使用時從上到下，依次完成每個步驟，確保不遺漏關(guān)鍵環(huán)節(jié)。其他要點包括：在使用時要做好過程記錄、建立資料庫，在流程框架指導(dǎo)下進行不斷地測試、反饋和迭代。

（三）《風(fēng)樂無邊》的敘事設(shè)計過程分解實例

《風(fēng)樂無邊》的創(chuàng)作實踐展示了結(jié)構(gòu)主義敘事設(shè)計流程模型在聲音可視化藝術(shù)創(chuàng)作中的可行性和有效性，具體的過程分解如下：

1.創(chuàng)建故事

主題：書法、道法、人和自然。

情感核心詞：道、自然、寧靜、共生、生命、科技與人。

靈感及素材庫：書法史、書法家傳記史、字體、水墨、自然物等。

2.制定敘事

聲音設(shè)計：聲音元素，采集自然環(huán)境音，風(fēng)、雨、流水、鳥鳴、海浪、瀑布等。

聲音分析軟件：Touch Designer。

聲音處理軟件：Adobe Audition。

聲音結(jié)構(gòu)：聲音從單一元素逐漸豐富，表現(xiàn)從無到有、融入自然的過程。

敘事結(jié)構(gòu)：線性敘事，分段落，聲形同頻。

時間與節(jié)奏：整體結(jié)構(gòu)，作品由靜到動，從自然音到電子音。過渡效果采用漸變疊加。

3.設(shè)計敘述

視覺風(fēng)格方式：中國風(fēng)，黑白為主，抽象藝術(shù)風(fēng)格，強調(diào)東方美學(xué)體驗。

視角定位：以客觀視角，相對冷靜地展示自然之美。

視覺映射：映射重點，聲音頻率對應(yīng)視覺元素的大小、位置、亮度等。

視覺元素：設(shè)計有機形態(tài)的圖形，模擬自然元素。

實現(xiàn)技術(shù)：映射軟件包括Touch designer、Adobe after effects和GR Trap Code Form。

4. 實施創(chuàng)作并測試

實現(xiàn)作品：確定物理硬件，數(shù)字文件質(zhì)量要求，制作內(nèi)容、剪輯、輸出。

測試和調(diào)整：邀請觀眾體驗，觀察他們的反應(yīng)，訪問、調(diào)整。

收集反饋：根據(jù)反饋優(yōu)化。

5. 完成并發(fā)布

最終完善作品：確保作品在技術(shù)和藝術(shù)上都達到預(yù)期效果。

作品展示與發(fā)布：在相關(guān)藝術(shù)展覽中展出。

可以看出，這個流程模型可以系統(tǒng)地指導(dǎo)創(chuàng)作團隊將多種創(chuàng)作資源有機結(jié)合，圍繞敘事，形成主題鮮明且風(fēng)格統(tǒng)一的作品。模型中的分步驟流程為復(fù)雜的創(chuàng)作提供了清晰的指導(dǎo)，有助于確保多領(lǐng)域協(xié)作和多感官技術(shù)融合的順利實施。這種結(jié)構(gòu)化的設(shè)計方法，在規(guī)劃和管理大型的聲音可視化作品的創(chuàng)作中顯示出了一定的優(yōu)勢。當然，在對其實際運用中我們也發(fā)現(xiàn)了一些問題。首先，作為一個流程模型，它還是相對復(fù)雜，要求使用者具備多學(xué)科的技術(shù)和藝術(shù)知識，對學(xué)習(xí)能力的要求較高。此外，模型在跨領(lǐng)域團隊協(xié)作的易用性上還是比較初級，尤其是跨領(lǐng)域的專業(yè)術(shù)語的解釋和傳遞等，需要通過反復(fù)的溝通和明確的職責(zé)分配來解決，使用成本較高。在未來的實際運用中，需要進一步優(yōu)化模型、降低實施難度，并提供界面化、數(shù)字化的幫助，以便其在數(shù)字藝術(shù)創(chuàng)作中得到更廣泛的應(yīng)用。

結(jié)論

對于新技術(shù)的探索和應(yīng)用可以說是實驗藝術(shù)、數(shù)字藝術(shù)等新興領(lǐng)域在這個時代背景下的使命之一。它們的創(chuàng)作會不得不呈現(xiàn)出數(shù)字化、系統(tǒng)化、工程化、跨媒介的技術(shù)偏向，敘事設(shè)計可以作為其重要的理論支持，將創(chuàng)作拉回藝術(shù)設(shè)計的目的本身。本文在理論層面，通過對結(jié)構(gòu)主義的敘事框架與聲音可視化創(chuàng)作的理論分析，探討了雙方在實踐場景中相結(jié)合應(yīng)用的可能性與可行性。進一步，筆者提出了結(jié)合結(jié)構(gòu)主義敘事理論和設(shè)計流程的創(chuàng)作模型，并通過完整地分析《風(fēng)樂無邊》大型聲音可視化數(shù)字藝術(shù)作品的創(chuàng)作流程，驗證了該模型的有效性與實用性。同時，在實際應(yīng)用過程中我們也發(fā)現(xiàn)了一些急需改進的問題。

筆者認為隨著數(shù)字技術(shù)的不斷進步，結(jié)構(gòu)主義敘事設(shè)計在數(shù)字藝術(shù)領(lǐng)域的應(yīng)用前景廣闊。未來我們可以期待更多創(chuàng)新的聲音可視化作品，它們將結(jié)合先進的技術(shù)手段，如人工智能、虛擬現(xiàn)實等為觀眾提供更加沉浸和互動的藝術(shù)體驗。同時，敘事設(shè)計理論的進一步討論、應(yīng)用和完善，將有助于藝術(shù)家、設(shè)計師及相關(guān)工作者們更好地整合日漸復(fù)雜的創(chuàng)作材料，在講好故事的同時，融合科技與藝術(shù)，創(chuàng)造出更優(yōu)秀的作品。

Research on the Application of Structuralist Narrative Design in Sound Visualization Digital Art Creation

XU Yibing

Abstract： Content" This paper focuses on the application pathways of structuralist narrative design theory in the creation of sound visualization digital art. By combining theoretical analysis with practical case studies， it explores in depth how to integrate the theory of structuralist narrative design into the creation process of sound visualization works to enhance their narrative power and artistic expressiveness. The research covers the basic concepts of structuralist narrative theory， the technical and artistic characteristics of sound visualization， and the innovative methods and processes that combine the two. Objective Specifically， targeting the creation environment of large-scale sound visualization works， this study proposes a feasible and manageable framework method based on practical case studies. Purpose：" This study aims to provide a systematic and innovative narrative design method for the creation of sound visualization digital art. By introducing structuralist narrative theory and a process management perspective， it guides creators to achieve a balance between technology and emotion in the complex integration of technology and art. This approach is intended to shift digital art away from an overemphasis on technical effects towards more narrative logic， depth， and artistic expression. Methods The article first reviews the theories of structuralist narrative and sound visualization， analyzes their convergence and application potential in the contemporary technological context， and constructs a theoretical framework. Based on this framework， it proposes a creation model grounded in structuralist narrative design. Using the author’s digital art work “Boundless Wind Music” as a practical case study， it details the application of this model in actual creation. Through the creation process of “Boundless Wind Music”， the study demonstrates how to systematically integrate structuralist narrative design theory into the creation of sound visualization works， from creating a story， formulating a narrative， to designing the narration， thereby verifying the feasibility and effectiveness of the model. Conclusion：" Structuralist narrative design can provide effective guidance for the creation of sound visualization digital art. By combining narrative with process management， it helps digital art creators find a balance between technology and emotion， as well as between art and technology， in complex media environments. The creation practice of the sound visualization work “Boundless Wind Music” has verified the effectiveness of the creation process model proposed in this study， while also identifying areas for improvement in terms of complexity and cross-domain team collaboration. As digital technology continues to advance， structuralist narrative design theory is expected to play a broader role in the field of digital art. This study anticipates that through this process-oriented and systematic creation method， creators in relevant fields will be able to more efficiently integrate resources from multiple parties， produce engaging works， and better address the complexity and cross-disciplinary challenges in digital art creation.

Keywords： Structuralist Narrative Design; sound visualization; digital art; emotional expression; Design Management; creation process

作者簡介：許一兵，上海視覺藝術(shù)學(xué)院設(shè)計學(xué)院副教授，上海市創(chuàng)意設(shè)計工作者協(xié)會理事、視覺傳達設(shè)計藝委員會副主任，上海美術(shù)家協(xié)會會員，上海美術(shù)家協(xié)會設(shè)計藝委會委員，主要研究方向為視覺傳達與跨媒介設(shè)計、數(shù)字藝術(shù)。

［1］Tzvetan Todorov， Gram maire du Dcameron（The Hague： Mouton， 1969），p.9.

［2］陳俊龍、鄧嶸、時迪：《敘事設(shè)計研究綜述》，《設(shè)計》2023年第15期，第64—66頁。

［3］張學(xué)東：《設(shè)計敘事：從自發(fā)、自覺到自主》，《江西社會科學(xué)》2013年第2期，第232—235頁。

［4］陳俊龍、鄧嶸、時迪：《敘事設(shè)計研究綜述》，《設(shè)計》2023年第15期，第64—66頁。

［5］［美］羅伯特·斯科爾斯、［美］詹姆斯·費倫、［美］羅伯特·凱洛格：《敘事的本質(zhì)》，南京大學(xué)出版社，2015，第252頁。

［6］吳思淼：《可視化：新媒體語境下的數(shù)據(jù)、敘事與設(shè)計研究》，《藝術(shù)與設(shè)計（理論）》2016年第4期，第85—87頁。

［7］朱文濤：《從“色彩音樂”到“視覺音樂”：西方視聽通感的觀念源流與其早期藝術(shù)實驗》，《南京藝術(shù)學(xué)院學(xué)報（美術(shù)與設(shè)計）》2017年第5期，第96—106頁。

［8］ ［俄］瓦西里·康定斯基：《康定斯基論點線面》，中國人民大學(xué)出版社，2003，第5頁。

［9］" 莊曉霓：《抽象動畫電影大師奧斯卡·費欽格的視聽實驗研究》，博士學(xué)位論文，南京藝術(shù)學(xué)院，2023，第1頁。

［10］沈楊欽：《音樂影像的視覺敘事設(shè)計研究》，碩士學(xué)位論文，江南大學(xué)，2023，第2頁。

［11］宋方圓：《聲音的視覺裝飾——圖形動畫教學(xué)中聲音可視化之探索》，《裝飾》2012年第9期，第95—96頁。

［12］某集體MOUJITI：《情緒劇場：藝術(shù)與科技融合介入心理療愈》，2024，站酷：ZCOOL. https：//www.zcool.com.cn/work/ZNjg3Mzg5ODQ=.html?！肚榫w劇場》這一作品由藝術(shù)家費俊與劉正奎 、肖瀛 、薛汀哲 、成紅雨 、Rainer Granzin，、ólafur Arnalds聯(lián)合共創(chuàng)。

［13］N. Gershon and W. Page， \"What Storytelling Can Do for Information Visualization\"， Communications of the ACM，vol. 44， no. 8， （2001）：pp.31-37.

［14］［美］史蒂文·海勒、［美］西摩·切瓦斯特：《平面設(shè)計200年》，文匯出版社，2020，第5頁。

［15］許一兵：《字的風(fēng)，樂，無，邊》，站酷：https：//www.zcool.com.cn/work/ZMzg4MTIxNTY=.html。