當(dāng)代技術(shù)語境下聲音對視覺藝術(shù)的互動增益之思考

林 勇

一

現(xiàn)代腦神經(jīng)科學(xué)研究證明，大腦是人一切感官和認知的核心。各感知機制，以視覺為例，外在器官如視網(wǎng)膜，只是作為光線信號的接收器，而真正對所收信號進行分析、讀解和認知的器官，還是大腦。在特殊的案例中，大腦甚至可以不經(jīng)過眼部系統(tǒng)而獲得視覺感知。1美國盲人邁克爾[Michael G.May，生于1953年]，三歲時因為意外喪失了視力。在他四十六歲的時候，干細胞技術(shù)已經(jīng)發(fā)展到可以做角膜替換手術(shù)讓盲人重見光明的水平。醫(yī)生勸他做手術(shù)，他卻十分猶豫，說已經(jīng)習(xí)慣沒有視覺，生活一點都不受影響。此前他在1984年殘奧會上獲得了三枚銅牌，速滑時速達到了108公里。后來他還是做了手術(shù)，結(jié)果神奇的事情發(fā)生了：眼睛的復(fù)明給他帶來了很多麻煩，恢復(fù)的視覺不僅沒有帶來便利，反而成了一種騷擾。醫(yī)生發(fā)現(xiàn)邁克爾的眼睛對他已經(jīng)失去意義。他腦中的視覺信號解釋系統(tǒng)已經(jīng)完全壞掉了，雖然眼睛視網(wǎng)膜上的感光細胞還在。雖然光信號也可以到達視皮層，但視皮層已經(jīng)完全無法讀取這些信號了。比如在他面前放一個立方體，一個球體，問他哪個是哪個。他必須用手摸了才知道，用眼睛反而無法判斷。所以，眼睛只是視覺系統(tǒng)在外部的延伸而已，真正的解釋功能都在大腦中。此案例經(jīng)多個媒體報道，有美國發(fā)現(xiàn)頻道、英國曼徹斯特衛(wèi)報（Manchester Guardian, Tue 26,Aug, 2003）等。

人類大腦是由800億個神經(jīng)元和10的15次方個突出所構(gòu)成的超復(fù)雜系統(tǒng)，其復(fù)雜性遠遠超出一般人的想象，其中連接、刺激和反饋關(guān)系正是腦神經(jīng)科學(xué)最前沿的內(nèi)容?？茖W(xué)家稱之為“神經(jīng)連接組”[connectome]。由于每個人的大腦連接組都是獨一無二的，而且往往由后天經(jīng)驗等多種因素決定，因此科學(xué)家承現(xiàn)峻[Sebastian Seung]宣稱：“我即我的大腦連接組?！?承現(xiàn)峻［Sebastian Seung］，韓裔美國科學(xué)家，著有 Connectome: How the Brain’s Writing Makes Us Who We Are, (1 ed.), New York: Houghton Mifflin Harcourt Publishing Company, 2012.此處引用發(fā)言選自他2010年TED大會的演講。

由于大腦各個感官的中樞系統(tǒng)的位置非?？拷?，相應(yīng)的感官突出的連接也十分緊密，使得人的各種感官出現(xiàn)互串的現(xiàn)象，科學(xué)家稱之為聯(lián)覺[synesthesia]。著名腦神經(jīng)科學(xué)家拉馬錢德蘭[V.S.Ramachandran]在其專著3V.S.Ramachandran, “Loud Colors and Hot Babes: Synesthesia”, The Tell-Tale Brain A Neuroscientist's Quest for What Makes Us Human, W.W.Norton & Company, 2011.中就聯(lián)覺展開了多個真實案例的討論。比如有的人聽到鋼琴上的升C音就能看見藍色；有的人看見字母就能聯(lián)想到味覺；有的人能在閱讀時大腦中產(chǎn)生和文字對應(yīng)的顏色……這些案例對科學(xué)家研究人類大腦感知有非常重要的價值。但是聯(lián)覺者引起癥狀的獨特性，往往被以生物學(xué)、病理學(xué)的角度研究大腦神經(jīng)的生理功能，其對審美或者藝術(shù)方面影響機制的研究，涉獵相對較淺。因此，我們需要厘清的是，聯(lián)覺其實并非通感。研究證明，它是一種無意識的、不由自主的感官反應(yīng)。4Richard E.Cytowic, Synesthesia, The MIT Press, 2018, p.38.而通感往往是偏于后天的、選擇性的、經(jīng)驗性的、文化性的主觀意識活動。因為它對來自不同感官的信息賦予意義，并在審美層面上將它們聯(lián)系在一起，形成跨越感官的超鏈接。通過這些案例，我可以推知，聯(lián)覺雖然不是通感，但它的存在使得通感不只是文人墨客的空想，而是具有生理基礎(chǔ)的經(jīng)驗行為。因此，當(dāng)我們討論的藝術(shù)欣賞與創(chuàng)作時，實際是偏重于人文的通感一方。

二

誠然，音樂與繪畫作為聽覺與視覺的高度理性組織的信息，其在經(jīng)驗性通感方面的互通，是理論探索層面的最高目標(biāo)。但就藝術(shù)創(chuàng)作而言，則需要由淺入深，一步步來；也需要不拘一格，靈活運用音畫間多層互通，甚至刻意強調(diào)感官，以求迅速抓取觀眾的注意力。但是凡能超越時代進入藝術(shù)史的偉大作品，不光在感官上撼人，也要有嚴謹?shù)膬?nèi)在結(jié)構(gòu)，歷經(jīng)時間的沖刷而凸顯。

藝術(shù)史上運用聯(lián)覺和通感展開創(chuàng)作的藝術(shù)家屢見不鮮，而他們往往以音樂作為其他藝術(shù)追逐的目標(biāo)。19世紀晚期歐美一幫迥異的藝術(shù)家、作家和發(fā)明家認為“色彩音樂”代表了藝術(shù)的未來。作為浪漫主義和象征主義運動的結(jié)果，音樂被推崇為一切形式的創(chuàng)造性表達的至高無上的地位。其他的藝術(shù)門類，比如詩歌與繪畫，則被看作是“音樂的條件”。藝術(shù)家們趨于相信繪畫應(yīng)該類比于音樂。惠斯勒就是最早使用音樂術(shù)語命名繪畫作品的藝術(shù)家。他晚期代表作《黑與金的夜曲：墜落的火箭》體現(xiàn)了他尋求將色彩、線條和形式超越于物像主題的嘗試，音樂對此產(chǎn)生了巨大的影響。康定斯基更是由音樂的啟發(fā)開辟了抽象繪畫的新領(lǐng)域。而在阿爾弗雷德·斯蒂格利茨看來，音樂成為了抽象攝影的形式價值的強有力的證明。5A.Stieglitz, “How I Came to Photograph Clouds”, Amateur photographer and Photography, 56, September 19, 1923, p.255.See also S.Greenough, J.Hamilton,Alfred Stieglitz: Photographs & Writings,Washington, D.C., 1983, pp.24, 206-8.

由于1920年代美國才開始普及商業(yè)無線電廣播，在此之前畫家接觸音樂的機會寥寥，他們的音樂類比主題的創(chuàng)作往往陷入神秘主義。事實上所有關(guān)于色彩音樂的實驗都停在了兩種偽科學(xué)對通感的爭論上。一些藝術(shù)家、發(fā)明家提出了光與聲音特定關(guān)聯(lián)的假說。盡管德國科學(xué)家赫爾曼·馮·亥姆霍茲[Hermann von Helmholtz]在1860年代就證偽了這項假想，色譜與音階等價對應(yīng)的概念依然持續(xù)存在到了20世紀。6關(guān)于亥姆霍茲對顏色和聲音類比的反駁，見L.Koenigsberger, Hermann von Helmholtz, tr.By F.A.Welby, New York, 1965,pp.174-175.倫敦皇家藝術(shù)學(xué)院化學(xué)教授Arthur Herber Church用他的Colour: An Elementary Manual for Students一書向講英語世界的藝術(shù)家傳播了亥姆霍茲光學(xué)研究的成果，該書最初出版于1872年，1897年出現(xiàn)了一個擴增版，1911年重新發(fā)行，使教會工作在紐約和多倫多的分布更加廣泛。而心理學(xué)系統(tǒng)中關(guān)于色譜與音階的對應(yīng)，則是以聯(lián)覺作為人類普遍的感知經(jīng)驗的假設(shè)為前提的。

音樂類比主題的繪畫或攝影，可以看作藝術(shù)家主觀地將音樂增強圖像效果的結(jié)果。雖然這條音樂與圖像相互激發(fā)走向抽象對應(yīng)的路趨于沒落，但是當(dāng)圖像運動起來，我們進入影視藝術(shù)的范疇時，此命題又得到了展開。

《視聽語言》是影視專業(yè)的必修課，其中對聲畫關(guān)系的討論很有借鑒意義。它將聲畫關(guān)系分為四種：同步、分離、對位、錯置。人視覺的空間范圍是在以瞳孔為圓心60度左右的投射面；而聽覺的空間范圍則是360度全方位的。在影視欣賞過程中，由于聲畫的同步，“畫外音”使觀眾的視覺得到了延展。在此，聲音確實為影像起到增效的作用。但是，此增效機制的作用面依然是觀眾對停留在敘事層面，是對生活情景的還原，是對情節(jié)表現(xiàn)的增強。無論聲音還是畫面都沒有獲得獨立的表達性，它們都居于次要地位，服務(wù)于情節(jié)。

《視聽語言》7張菁、關(guān)玲著，《影視視聽語言》，中國傳媒大學(xué)出版社，2014年。將影視中的聲音分為對白、音效和音樂三類。前面已經(jīng)有過對音樂的討論，而音效是更加廣闊的范疇。音效[sound effects]意為表達某些事件的特殊聲音。不論其使用場景，這一聲音事件（漸強或漸弱），使聽眾產(chǎn)生不同的事件想象（靠近或遠去，出現(xiàn)或消失），進而對其評估，產(chǎn)生情緒反應(yīng)，聲音始得其“效”。因此，音效作為人感官認知的一種媒介，它也應(yīng)如音樂一樣是連續(xù)的事件和有完整的邏輯，音效各個變量因素也應(yīng)如音樂一樣各具功效。甚至音效會更加貼近于人的深層生理機制。目前人們對音效的使用，主要還是基于使用場景的需要而主觀推斷使用的。若能將音效的各個變量和其功能像《和聲學(xué)》一樣理清，那么音效作為和音樂一樣的語言，就能自理論層面開始更大的發(fā)展。音效的范圍包羅萬象，譚盾《水樂》利用水之聲音、《地圖》中將石頭碰撞的聲響組成樂章，都可以視為音樂向音效擴展的動向。格式塔學(xué)說對人的視覺機制歸納出八條“不可解釋”的視覺原則。而聽覺機制的似乎無此種對應(yīng)的理論。視聽之間關(guān)聯(lián)互動的關(guān)系，還有很多的方面需要研究。

擬聲在影視配音中有廣泛的應(yīng)用。它的原理是制造比較大的聲音替換原本比較小的聲音，如把大豆拋下來模擬下雨、折斷芹菜來表示骨頭斷裂，來強化了畫面中人物運動、環(huán)境特征，從而推動情節(jié)發(fā)展。擬聲方法利用人想象力的替換原理，使得藝術(shù)中視覺、聽覺的交互方式大大展開，許多原本無聲的事物可以用聲音表達出來，比如行星的運轉(zhuǎn)、墨水的滲化。當(dāng)脫離對文字劇本的呈現(xiàn)要求，圖像／影像與聲音／音樂凸顯獨立價值，不經(jīng)文本要求而直接產(chǎn)生審美表達的對應(yīng)、糾纏、增強、甚至消解。

四維全息聲系統(tǒng)的出現(xiàn)，將會顛覆以往音畫交互的關(guān)系。它基于惠更斯原理，運用WFS波場合成技術(shù)8波場合成[Wave Field Synthesis，WFS]是一種全新的聲音回放技術(shù)。聲波在空間的分布狀態(tài)稱之為波場。波場合成使用揚聲器陣列，通過WFS的3D算法，可以合成出任意時刻的波場。也就是說，通過波場合成進行聲音的回放，整個聲場的分布是精確真實合成出來的，這有別于心理聲學(xué)范疇的虛擬聲像。這一概念首次公開提出于1988年，荷蘭代爾夫特理工大學(xué)[Technische Universiteit Delft, T.U.D.]的聲學(xué)和地震學(xué)權(quán)威A.J.Berkhout教授以及他的團隊。，通過陣列揚聲器回放實現(xiàn)聲音的全息定位，重現(xiàn)自然、真實的聲場環(huán)境；消除了“皇帝位”（即最佳聽音區(qū)），還原真實的聽音感受，令不同位置的聽音者都能聆聽到真實的、高品質(zhì)的聲音；能讓聽音者擁有全息沉浸式的聽音體驗，耳畔響起的音符仿佛能夠觸手可及。在此系統(tǒng)中聲音可以擺脫樂器、演奏者等等條件的束縛，擁有了運動軌跡這個新維度，能夠在三維空間中自由運動。觀眾能感覺雨滴落在肩頭，子彈從耳畔飛過，魚群在頭頂游動、大象在腳底漫步、炮彈自十點鐘方向飛到五點鐘方向。換言之，在此技術(shù)條件下，聲音／成為了三維空間中的空間藝術(shù)。聲音的運動軌跡，成為與觀眾的互動的全新維度。因此，“空間作曲”[Spatial Composition]成為了不光是音樂界，更是跨媒體藝術(shù)的最前沿。一些全新的作品形態(tài)可能應(yīng)運而生。

聽覺對視覺藝術(shù)對增強，是依靠著多個科學(xué)的進步而發(fā)展的。無論是欣賞還是創(chuàng)作，聽覺都為視覺拓寬了感知范圍、開拓了想象空間。

上述通過腦神經(jīng)科學(xué)的研究辨明聯(lián)覺與通感的區(qū)別；由創(chuàng)作的角度梳理音樂與繪畫、聲音與影響之間由感官到經(jīng)驗的多層對應(yīng)，結(jié)合前沿技術(shù)成果，展開藝術(shù)創(chuàng)作新的圖景。