電影符號學、時空理論和虛擬現(xiàn)實符號學

柯巖·托瑪瑟利 達米安·托瑪瑟利 尹 倩

(1.約翰內(nèi)斯堡大學，約翰內(nèi)斯堡市 2146；2. 廣州大學人文學院，廣州 510006)

一、媒介、信息、渠道(1)此小節(jié)摘自柯巖·托瑪瑟利和達米安·托瑪瑟利合著的圖書(即將出版)(Bagliari,Amir.2021.Open Semiotics.Paris:L’Hartman)。同時我們也要感謝已故的阿諾德·謝普森(Arnold Shepperson)所作的貢獻，他在未發(fā)表的筆記中撰寫了這篇文章的第一小節(jié)。

“媒介”(medium)一詞在歷史上被用來描述報紙(通過陸運/空運/海運)、廣播/電視(通過電磁傳輸)和電影(celluloid，賽璐珞)。盡管使用電纜、電信和衛(wèi)星所涉及的技術可與后者相媲美，但這里的關鍵術語不是“媒介”，而是“信息”(對內(nèi)容進行編碼的符號)。

在這種語境下，認識“信息”需要理解古典修辭學概念與實用主義邏輯三段論之間的關系，即一個命題必須在這個世界上有某種可以觀察到的效果才具有意義。信息是數(shù)據(jù)(符號)的一種有組織的表示形式，其本身將多個單一符號轉(zhuǎn)換為一個新的復合符號。在皮爾斯符號學中，一個符號要成其為一個符號，就需要一個解釋項(interpretant)(在解釋者頭腦中產(chǎn)生的意義)。信息將多個單一符號轉(zhuǎn)換為一個對象，這個對象的符號作為一個解釋項基于一些(一組)習慣進行操作。

在模擬時代，主要的支配媒介與符號被編碼成信息的地方有關。例如，艦隊街(Fleet Street)的《泰晤士報》(TheTimes)一旦編輯、撰寫和印刷，就會將各種不同的符號組合成信息，并以一種易于理解的印刷形式呈現(xiàn)出來。報紙的媒介是鐵路運輸，后來也包括高速公路和航空運輸。在城市層面的實物交付包括卡車、自行車和人工交付。讀者作為報紙的接受者，會產(chǎn)生解釋項。這些解釋項中只有一小部分是在艦隊街產(chǎn)生的，后者是報紙被編寫(編碼)和印刷的場所。

事實上，工業(yè)時代的媒介是將知情數(shù)據(jù)(informed data)從組成空間轉(zhuǎn)移到解釋空間(變得“知情”)的一種方式。電影、廣播和電視使書籍、報紙和連續(xù)劇集中在一起。所有這些通常都依賴于信息在這些空間之間的物理傳輸。

新的數(shù)字媒體涉及不同的活動。例如，創(chuàng)建一個網(wǎng)頁，包括將符號組織成信息，而頁面本身則成為一個合并的符號，類似于艦隊街的編輯實踐。電子通知發(fā)送給訂閱者、聽眾，以及身處家中、工作地點或往返路途中的觀眾。該頁面上傳到文件服務器，并定期添加更多信息。這就是在生產(chǎn)和銷售階段所發(fā)生的一切。

相比之下，報紙、廣播和電視(有線電視和電視節(jié)目)則交由解釋者們。他們負責制作和包裝多個符號(數(shù)據(jù))，成為一個新符號的對象——包括報紙版本、廣播或電視節(jié)目——并以一種完整的形式到達其要被解釋的地方。馬歇爾·麥克盧漢(Marshall McLuhan)(2)McLuhan M.Understanding Media:The Extensions of Man[M].New York:McGraw Hill,1964.正是由于充分理解了這一點，而將“媒介”劃分為“冷媒介”和“熱媒介”。然而，事實上，具有上述特質(zhì)的不是媒介，而是信息。媒介相對而言只是一個啞管道，信息沿著它被傳輸?shù)浇忉岉椀恼Z境中。“信息”實際上是作為符號封裝(程序、版本)的對象。

相比之下，虛擬現(xiàn)實(virtual reality，簡稱VR)則必須考慮用戶訪問網(wǎng)站以獲取特定“事件”或“服務”的方式的結果。個體觀眾可以進入任意數(shù)量的網(wǎng)站，在這些網(wǎng)站上，他們可以與其他參與者一起參與交互式體育活動(格蘭披治大賽游戲)、戰(zhàn)略游戲(帝國時代)、智力游戲(國際象棋、撲克、橋牌)以及共享交流空間(用戶列表；聊天室、社交媒體)。這些活動保留了一些類似特性。它們有一個共同特性，即作為解釋項，為了完成符號(即體驗敘事事件)，人們必須到達那里，而不是在這里等待。

二、早期電影符號學

在定義電影形象的本質(zhì)時，20世紀60年代的理論家引用了符號學(semiology)，即對以敘事語言為基礎的符號系統(tǒng)的研究。電影符號學不同于其他電影理論，它并不關注形式和目的，也不關注觀眾和觀眾的詮釋，而是關注代碼的解釋。符號學是所有代碼和子代碼的集合，這些代碼和子代碼結合起來，在媒介(電影)的表現(xiàn)過程中產(chǎn)生意義或含義。電影符號學假設電影的代碼將觀眾“定位”到一個導演預期的特定解釋性反應中。除了異常(即錯誤)之外，這個理論并不能解釋不同的觀眾反應。

克里斯蒂安·麥茨(Christian Metz)(3)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974.(4)Metz C.Language and the Cinema[M].Berlin:De Gryuter Mouton,1974.確定了電影(和電視)的五種基本代碼：1) 圖像；2) 包括書面材料在內(nèi)的圖形印跡；3) 演講；4) 音樂；5) 噪聲和音效。然而，麥茨忽略了故事世界結構的物理和修辭方向(時空)，在某些情況下，例如虛擬現(xiàn)實，它成為通過周圍的越軌感官通道解釋信息的內(nèi)在因素。在虛擬現(xiàn)實之中，文本圍繞著觀眾，觀眾是參與者(生產(chǎn)者-消費者)；參與者通過選擇敘事結果，將解釋項的地位從一級存在提升到三級存在(參見表1)。與虛擬現(xiàn)實不同，基于幀的電影則更為靜態(tài)，并且可以在不同的觀看場景之間進行復制。

表1 顯象學圖表：虛擬現(xiàn)實(5)皮爾斯符號學關系的性質(zhì)要求任何符號都只能是與解釋項的對象有關的真實的(即對行為產(chǎn)生影響)符號。而在皮爾斯的數(shù)學分解上，關聯(lián)就是函數(shù)意義上的映射。因此，“象似符-指示符-象征符”的三大符號分類法就是指符號正確映射到其指代對象上的方式。皮爾斯三分法的圖表，將符號與話語、哲學和與人類狀況有關的現(xiàn)象學聯(lián)系起來。此圖表通過可能體驗世界的表現(xiàn)和再現(xiàn)的方式，借由意義和情感的多個維度進行設計，以便讀者閱讀。

顯象學(phaneroscopy)是對顯象(phaneron)的描述，顯象是所有呈現(xiàn)在大腦中事物的集合。查爾斯·皮爾斯(Charles Peirce)將現(xiàn)象學(phenomenology)劃分為一級存在、二級存在和三級存在，包括觀察、感知和解釋(由解釋者給出)的活動，這些活動構成了顯象。(6)Hartshorne C,Weiss P,Burks A W.The Collected Papers of Charles Sanders Peirce (8 Vols.)[M].Cambridge,MA:Harvard University Press,1931-1958.例如，虛擬現(xiàn)實體驗不僅呈現(xiàn)給大腦，還憑借活躍的有機體，通過情感解釋項(emotional interpretant)和能量解釋項(energetic interpretant)的運作而內(nèi)化。虛擬現(xiàn)實能讓人產(chǎn)生“在那里”(being there)的參與感(中心思想，一級存在，感覺和情感體驗)。同時，演員/行動者/觀眾/解釋者通過能量解釋項操縱攝像機/投影儀。能量解釋項解釋了身體的生理反應，這是由頭戴式顯示器(用模擬術語來說即投影儀)實現(xiàn)的。情節(jié)選項(例如角色)是通過二級存在進行選擇的。這些功能是通過多體驗式虛擬現(xiàn)實實現(xiàn)的，觀眾可以通過它產(chǎn)生一種穿越電影拍攝場景(mise-en-scène)的感覺。這樣，觀眾/參與者可以在預先編程的故事情節(jié)(三級存在，象征性，關系性)和放映或廣播電影中所產(chǎn)生的知識之間進行選擇。敘事是一種組合操作，根據(jù)事件的時間序列所驅(qū)動的內(nèi)容以尋求順序的封閉意義。事件是敘事的最小單位。(7)Metz C.Film Language：A Semiotics of the Cinema[M].New York:Oxford University Press,1974:24.

要在增強現(xiàn)實(Augmented Reality，簡稱AR)和虛擬現(xiàn)實/游戲中詮釋該符號，必須參與信息處理過程。游戲和交互媒體與以用戶為中心的交互性作斗爭，因為重要的情感解釋項很難被喚起。提取和發(fā)現(xiàn)之間存在非正式關系。(8)25 Thoughts on Virtual Reality Filmmaking[EB/OL].(2015-05-08)[2022-06-25].https://www.unit9.com/project/25-thoughts-on-vr-filmmaking-by-anrick/.在基于提取的修辭中，比如虛擬現(xiàn)實和類似《神秘島》(Myst)這樣的視頻游戲，參與者在某種程度上被邀請通過啟用導航交互的線索向文本行進。(9)Tomaselli D.Cosmology of the Relativistic Multi-Modal Chronotype[D].KwaZulu Natal province:University of KwaZulu-Natal,2020.這些設備通過情節(jié)鏈驅(qū)動情節(jié)，其中“在強制情節(jié)推進期間，所有非必要的情節(jié)活動暫?！保?10)Instructive Level Design[EB/OL].[2022-06-08].https://tvtropes.org/pmwiki/pmwiki.php/Main/InstructiveLevelDesign.這是因為采用了極簡設計，沒有分散注意力的結果。

這與“拒絕用戶”符號學(如電影)形成了鮮明對比。增強現(xiàn)實和虛擬現(xiàn)實在人類思維和計算機輸出之間架起了感官橋梁。當涉及解釋者的“一級存在”體驗時，感官通道就會顯著地滲透到時空信息管道中。符號學在分析虛擬經(jīng)驗主義(virtual empiricism)方面是有效的，因為它承認解釋項的作用。(11)Barricelli B R,Gadia D,Rizzi A,et al.Semiotics of Virtual Reality as a Communication Process[J].Behaviour &Information Technology,2016,35(11):879-896.這從根本上改變了講故事的形式，從觀眾/聽眾的被動接受變成了身體操縱信息的主動參與。因此，分布和形式有一些共同點。感官的“分布”意味著它依賴于“一級存在”，因為它在身體內(nèi)部傳播感官/運動功能——身體成為信息(投影)分布過程的延伸；身體成為介質(zhì)和解釋者，通過三級存在連接一級存在。虛擬現(xiàn)實中的身體不僅僅是一個載體，或身體的延伸，正如麥克盧漢的理論框架一樣；相反，它既是媒介，也是內(nèi)容/信息。

與此相反，如上所述，互聯(lián)網(wǎng)用戶轉(zhuǎn)向生產(chǎn)者，其網(wǎng)頁被動地位于文件服務器上，直到被訪問為止。網(wǎng)站和用戶之間發(fā)生的媒體操作不等同于報紙、廣播或電視，因為網(wǎng)站在激活時會提供提示。點擊這些按鈕則會激活一系列的提示，幾乎是趨近無限的提示。

這里提出的基于感官的綜合符號學解釋了由虛擬現(xiàn)實投影設備實現(xiàn)的四維(4D)敘事中觀眾操控的“交互式”游戲選擇。如果空間通過參與而獲得意義，那么具有主動性的觀者將就空間的直觀和感官體驗進行有意義的交流?？臻g以物質(zhì)體驗為前提；事實上，空間以一切為前提：2D/3D/4D抽象的現(xiàn)實世界……現(xiàn)實……意義……存在。

作為身體——有大腦(產(chǎn)生解釋項)的解釋者——虛擬現(xiàn)實和相關技術在未來可能會在身體的擬像之間傳遞思想。模仿很可能超越自然，甚至提供超自然，從而產(chǎn)生一種新的變形的具身化結果?！安淮嬖凇?或“多存在”)成為新的虛擬的“不存在”的動態(tài)狀態(tài)。網(wǎng)絡將取而代之，而我們的身體卻在他處。自拍和自我沉醉的屏幕文化也表明了數(shù)字鏈接。覆蓋于這些之上的是一個日益增長的消費導向型社會的(遠程)個性化[(tele)individuality]特質(zhì)，當然是在數(shù)字鏈接的網(wǎng)絡化城市中。這些路徑是無窮無盡的，因此電影理論需要重塑，以預見這些發(fā)展。

三、從符號學(Semiology)到符號論(Semiotics)

愛森斯坦使用蒙太奇技術——一種辯證的剪輯技術，將一系列短鏡頭按照順序排列，以濃縮空間、時間和信息——在一定程度上阻礙了電影語言的發(fā)展，從而限制了有限的序列而不是整部電影的意義。換言之，蒙太奇繞過了語言學或符號學派生的語法，創(chuàng)造了一個由一系列并列圖像拼貼而成的整體；這些圖像太過于豐富，以致普通語法功能無法對其加以解釋。甚至聲音和有聲圖片的出現(xiàn)，也沒有使愛森斯坦更趨向采用一種語言學的方法。在《管弦樂對位宣言》(ManifestofororchestralCounterpoint)中，愛森斯坦、格里戈里·亞歷山德羅夫(Grigori Alexandrov)和普多夫金接受噪聲和音樂，但不接受言語。(12)Eisenstein S M,Pudovkin V I,Alexandrov G V.A Statement [EB/OL].[2022-06-10].https://soma.sbcc.edu/users/davega/xNON_ACTIVE_CLASSES/FILMST_101/06_FILM_MOVEMENTS/SovietMontage/ASTATEMENTfilmsound_eisenstein_pudovkin.pdf,1928.

符號學的基本問題即：在電影研究中，什么樣的語言最為重要?？死锼沟侔病湸耐ㄟ^討論將電影視為一種包含雙重表達的語言系統(tǒng)來闡釋這一點。他認為，在這個基本層面上，電影沒有最小的單位或最小的實體。他認為電影既沒有音素(phonemes)，也沒有語素(monemes)，甚至沒有任何能與一個簡單的名詞相提并論的事物。他的結論是，電影是一種表達媒介，而不是一種交流系統(tǒng)。它遵循臨時規(guī)則，而不是剛性規(guī)則。因此，他從未處理語言類型的問題。

交流行為的符號學分析需要區(qū)分三維實體語言(substance languages)(如英語)和四維時空語言(如電影，以及新媒體中所包括的空間成像和相關故事敘述的內(nèi)容)。符號學家在傳統(tǒng)上使用的是實體語言，而純粹的電影語言理想情況下最好使用時空語言。在傳統(tǒng)的電影分析中，許多符號學的弊端是無法確定如何以及何時應用這兩種語言，或者何時可以合并。符號學家在其以敘事為基礎的框架中主要將關于電影(一種時空語言)的觀點和索緒爾派生的結構主義語言學(一種基于實體語言的方法論)相結合。(14)例如，Nichols B.Style,Grammar,and the Movies[J].Film Quarterly,1975,28(3):33-49;Beneviste é.La Phrase Nominale[M]//Benveniste é.Probleme de Linguistique Generale.Paris:Guillimard,1966:151-167。因此，這導致20世紀70年代英國屏幕理論(British Screen Theory)的結構主義基礎極其僵化，該理論只能分析敘事文本。屏幕理論假設觀眾不可避免地被確定性的電影代碼 “定位”，從而喚起導演對電影編碼的預先確定的解釋。這種二元符號學排除了解釋者/解釋項連接能指與所指的可能性。因此，這一理論不能將背景、民族志和接受經(jīng)驗結合起來。它也無法識別嵌入在不同符號(或解釋)群體中的觀者對文本的不同解釋(解釋項)。這些可能會導致非常不同的情緒、生理和智力反應(或解釋)。(15)Tomaselli K G.Encoding/Decoding,the Transmission Model,and a Court of Law[J].International Journal of Cultural Studies,2015,19(1):59-70.

20世紀90年代后期，出現(xiàn)了面向“觀眾主動性”概念的“理論轉(zhuǎn)向”。這種觀點認為，敏捷的媒體受眾并不會被動地接收信息。相反，他們在其社會和個人經(jīng)驗的背景下積極參與信息的意義構建。(16)Morley D.The Nationwide Audience:Structure and Decoding[M].London:British Film Institute,1980.數(shù)字媒體的交互性拓展了這一概念：受眾不僅理解他們所消費的事物，而且還主動地參與意義的共同創(chuàng)造。這一點在游戲中表現(xiàn)得最為明顯，在游戲中，“故事情節(jié)”的塑造主要取決于玩家在不同層面上對故事結局的選擇。

英國屏幕理論也不能像四維、增強現(xiàn)實和虛擬現(xiàn)實那樣解釋交互式、體驗式的媒體成像。在四維、AR和VR中，觀察者成為參與者，他們甚至可以在預先設定的行動選擇之間引導敘事結果。例如，愛麗絲在《愛麗絲夢游仙境》(AliceinWonderland)(17)Carroll L.Alice in Wonderland[M].London:Macmillan,1865.中被鏡子隔開——在鏡子里的她，以及穿過了鏡子的她。愛麗絲同時身處兩個空間——現(xiàn)實世界和虛擬空間——她不再通過鏡頭的屏障與故事世界分離。愛麗絲的認知與虛擬世界有關，她的意識是虛擬現(xiàn)實的一部分。意義通過感官通道，可能延伸到觸覺、味覺等。同樣，在虛擬現(xiàn)實中，觀眾/參與者和屏幕之間沒有分離開來。

時空既是抽象的，又扎根于“現(xiàn)實世界”的2D電影符號學。在這里，觀眾/實踐者/參與者/使用者往往對空間意義存在著一種內(nèi)在的直觀性和經(jīng)驗性的理解。阿爾伯特·愛因斯坦(Albert Einstein)的物理概念令人難以想象，因為我們在日常生活中無法“看到”/體驗它們。同樣，我們也看不到發(fā)生在幀或序列之間的表征意義。觀眾看到的不是剪輯，而是敘事的連續(xù)性。時空的概念框架及其修辭意義的傳達之間的聯(lián)系被隱藏起來，因為觀眾自己在認知上填補或連接了不連續(xù)的空白。

運動學分析(kinesic analysis)排除了幀作為分析的基本元素，(18)Eco U.On the Contribution of Film to Semiotics[J].Quarterly Review of Film Studies,1977,2(1):1-14.因為正如比爾·尼科爾斯(Bill Nichols)所解釋的那樣，“動態(tài)圖像不是在幀中，而是在幀之間連接在一起，在動態(tài)圖像到運動學符號的時間流中連接在一起”。(19)Nichols B.Style,Grammar,and the Movies[J].Film Quarterly,1975,28(3):33-49.動態(tài)圖像(kinesic figures)是運動的基本單位，其自身沒有意義。它們是嚴謹?shù)牡珶o意義的符號(以每秒24次的速率從動作連續(xù)體中分割開來)：包含一個(人類)頭部的圖像(在一幀中)并不能判斷他是上下移動還是左右移動。這些符號在幀內(nèi)成倍增加，形成動態(tài)——“由許多動作組成的復雜話語”。(20)Nichols B.Style,Grammar,and the Movies[J].Film Quarterly,1975,28(3):37.這種符號系統(tǒng)限制了我們對戲劇運動的研究，因此不能構成一般理論。

因此，電影符號學家之間的一個普遍共識是，放棄幀作為分析的最小單元。根據(jù)定義，鏡頭(shot)的持續(xù)時間超過一幀。與語言不同，電影中沒有雙重表達。也就是說，電影是一種不包含任何諸如音素(音素是最小的單位)等詞匯項的話語。離散的、無意義的單位結合起來形成了第一個發(fā)音，即語素，其包含一個語義維度。事實上，鏡頭仍然大于語素。鏡頭是一個義素，至少是一個句子，麥茨總結道，“它(電影)沒有任何與音素相對應的事物……它通過整個‘現(xiàn)實塊’(blocks of reality)進行，這些區(qū)塊在話語中實現(xiàn)其全部意義。這些區(qū)塊就是‘鏡頭’”。(21)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974:114.

四、敘事和時空

然而，衡量(measurement)的問題仍然在于實體時空語言的差異性。衡量問題不應與信息的指稱內(nèi)容或所描述對象的意義相混淆。它關注的是一個實體的個性化問題，旨在建立一種元語言(metalanguage)，這種元語言能夠充分彌合電影符號學五種代碼之間的差距，以尋求一種統(tǒng)一的電影語言理論。

敘事電影的內(nèi)容可以形象化地比作一組軸，一組垂直軸(v1，vn)，一組水平軸(h1，hn)，在h1……h(huán)n和v1……vn之間的任意位置動態(tài)相交(見圖1)。

在文本中，按線性鏈順序組織信息的水平軸稱為意義的組合維度。一個符號與所有其他符號形成組合關系，這些符號可能出現(xiàn)在同一軸上，但不會同時出現(xiàn)而是以“非此即彼”為基礎。此系統(tǒng)用于管理影像組合代碼的規(guī)則，以及探究這些代碼如何賦予信息以意義。敘事電影屬于這種尋求內(nèi)容時序意義的組合模式。根據(jù)麥茨的論述，敘事是按照順序排列的事件的總和。它是一個封閉的話語，是通過沒有意識到事件的時間序列而展開的。

可能的選擇性連接的垂直軸被稱為意義的聚合維度。在符號學中，一種范式通過構建影像元素間的關聯(lián)來生成意義。在話語鏈中，一個符號與同一軸線上的所有其他符號同時進入聚合關系。雖然聚合軸只出現(xiàn)在電影展開的過程中，但它獨立于時間敘事組合序列。在兩個軸相交的地方，意義即被破譯。意義的產(chǎn)生與橫軸上所含能指的出現(xiàn)順序無關。在交叉點創(chuàng)建的符號可以通過許多不同的方式提供意義。符號(signs)可能引用一種象征代碼(symbolic code)，而象征代碼反過來又賦予所生成的符號以意義。有時所生成的符號本身就是一種代碼(code)，然后它就變成了特定導演作品序列中的一種風格或特征的代碼類型。換言之，所生成的符號可能是特定導演自己所持有的特殊代碼。在這種情況下，根本不存在對代碼的反向引用；相反，一種新的代碼是由個別獨立的導演或作者創(chuàng)建的。由于符號學關注的是電影的內(nèi)部運作，而不是單部電影或單個導演，因此理論家有必要將這種新的特殊代碼推廣到已知現(xiàn)存的其他代碼中。根據(jù)定義，組合和聚合代碼超越了單部電影，只能通過一系列電影或系統(tǒng)進行研究。

而虛擬現(xiàn)實則將代碼擴展到可能正在操縱范例的“參與者-解釋者”(participant-interpreter)中。符號學關注的是預先給定的電影的內(nèi)部運作，而不是單部電影、單個導演或參與者。根據(jù)定義，組合和聚合代碼超越了單部電影，只能通過一系列電影進行研究，而在虛擬現(xiàn)實中，分析發(fā)生在視覺關系本身中。

在下文中，筆者將指出發(fā)展四維電影符號學理論的基礎，與目前基于三維敘事的研究相比，這一理論結合了虛擬現(xiàn)實。

在實體語言中，個體是通過指定一組屬性(P1、P2、P3……Pn)來定義的。例如，在電影中，我們可以通過陳述一系列幀、光線和色調(diào)的相互作用、紋理、圖像以及所表示的對象來使鏡頭個性化。(22)Wilson N L.Space,Time,and Individuals[J].Journal of Philosophy,1955,52(22):589-598.然而，在四維時空語言中，個性化取決于坐標結構中所指定對象或個體的位置，這個坐標結構表示空間和時間(x，y，z，t)?！扮R頭”目前仍然是一個不可或缺的參考，就像在語言學研究中的“詞”(word)一樣。一部電影的制作至少由一個鏡頭構成，誠如語言表述至少由一個音素組成。

這兩種語言系統(tǒng)具有不同的屬性。因此，將它們混為一談，認為它們在同一時間可以占據(jù)同一地點是有誤導性的。具體而言，影像的時空參照物相當于整部影片的時空坐標結構被記錄在畫面上。思考一下適用于這兩種語言系統(tǒng)的同等概念。在實體語言中，兩個人可能占據(jù)相同的位置。兩個單獨的幀可能描繪完全相同的主題、光線與色調(diào)的相互作用等，但這種情況在時空語言中是不可能的(兩個鏡頭不能在同一時間占據(jù)相同的位置)。這一點即使在分解和疊加的情況下也是如此，因為幀在時空系統(tǒng)的坐標結構中所處的位置仍然是指定的。唯一受影響的因素是幀中所描述的聚合關系。

那么，電影分析中的個體是什么樣的實體？在大多數(shù)符號學研究中，分析的基本單位通常被定義為鏡頭。麥茨說，“膠片中沒有任何與第二個發(fā)音的純粹獨特的單位相對應的事物；它的所有單位——即使是最簡單的，如溶解和擦除——都是直接有意義的……”。(23)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974:105-106.因此，電影語言的準則要求在敘事中有陳述，而不是在陳述中有語素，更不用說在語素中有音素。麥茨得出結論：

“鏡頭”——一個已經(jīng)很復雜的單位，必須加以研究——目前仍然是一個非常重要的參考，就像語言學研究中的“詞”一樣……它構成了最大化的最小片段，因為制作一部電影或電影的一部分至少需要一個鏡頭——同理，語言陳述必須至少由一個音素組成。從一個持續(xù)的鏡頭中分離出多個鏡頭，從一個鏡頭中刪除多個幀就是破壞這個鏡頭。如果鏡頭不是電影意義的最小單位(因為一個鏡頭可以傳達多個信息元素)，那么它至少是電影鏈的最小單位。(24)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974:106.

換言之，“鏡頭是一種論斷……就像一個未定義長度的復雜語句”。(25)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974:105-106.埃米爾·本維尼斯特(émile Benveniste)對此表示贊同，他將鏡頭定義為“完整的論斷”。(26)Benveniste é.La Phrase Nominale[M]//Benveniste é.Probleme de Linguistique Generale.Paris:Guillimard,1966:151-167.照片或電影鏡頭不能收錄在一種視聽詞典中，因為每張圖片都已經(jīng)是一個句子，一種符號話語。彼得斯(J.M.Peters)(27)Peters J M.Pictorial Communication[M].Cape Town:David Phillip,1977.確實承認，一張照片是由更小的離散單元組成，比如透視、角度、持續(xù)時間和相機的位移。這些元素中的每一個都是一個能指，但必須是空的，因為它們在獲取一個具體形式之前必須與圖片話語結合起來。(28)Peters J M.Pictorial Communication[M].Cape Town:David Phillip,1977.約翰·范·齊爾(John van Zyl)將鏡頭定義為“不是一個單一的話語詞匯單位(比如單詞)，而是一個高度復雜的記錄，記錄了其所指對象性質(zhì)內(nèi)部的關系”。(29)Van Zyl J A F.Towards a Socio-Semiology of Performance[M]//Van Zyl J A F,Tomaselli K G.Media and Change.Johannesburg:McGraw-Hill,1977:43.尼科爾斯觀察到，“在(艾柯的)風景中的標志性圖像(包括紋理、陰影、對比度、線條等的標志性代碼的最小單位——其本身是沒有意義的單位，如音素)組合形成標志性符號(識別的最小單位——眼睛、靴子、樹等)”。(30)Nichols B.Movies and Methods,An Anthology[M].Los Angeles:University of California Press,1976:612.

這些圖像在電影幀內(nèi)混合在一起，形成義素——一種類似于話語的多種符號的復合體。因此，鏡頭不是一個詞，它至少是一個句子。(31)Nichols B.Style,Grammar,and the Movies[J].Film Quarterly,1975,28(3):37.安伯托·艾柯(Umberto Eco)(32)Eco U.On the Contribution of Film to Semiotics[J].Quarterly Review of Film Studies,1977,2(1):1-14.談及代碼在原子元素上的符號功能，其中它的功能體(表達和內(nèi)容)彼此獨立。換言之，表達的內(nèi)容必然是對符號的引用。這并非公理。這意味著受不同規(guī)則約束的同一表達，可以與不同的內(nèi)容相關聯(lián)。電影是許多符號學現(xiàn)象的交匯點，因此，內(nèi)容被認為是最小實體的重要組成部分。對電影符號學和語言學假設之間的關系概括如下：“在電影分析中，不可能存在一個鏡頭等于一個句子的問題——一個鏡頭可能由幾個句子組成，甚至可能是一段用自然語言表達的話語。理論語言學結束其分析的那一點也許是進行電影分析的起點?！?33)Young D.Film Language,and the Relevance of Linguistics to Film Semiology[M]//Language of the Arts,Arts Colloquium.University of the Witwatersrand,1975:55-59.“電影從普通語言結束的地方開始：在‘句子’的層面——電影制作人的最小單位和語言的最高屬性單位?！?34)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974:21.

這些定義都不包括時間元素。羅德·惠特克(Rod Whitaker)談及：“乍一看，幀似乎是最基本的內(nèi)容載體，因為大多數(shù)視覺元素都在它的空間范圍內(nèi)。然而，幀可能作為內(nèi)容指示器而被忽略，因為在觀看體驗中，它并不存在。幀是靜止的……畫面中存在的所有視覺元素也都存在于鏡頭中。”(35)Whitaker R.The Language of Film[M].Englewood Cliffs:Prentice Hall,1970:32.

然而，衡量內(nèi)容就是衡量它與信息的其他部分的關系遠近，從而直接與信息的意義相聯(lián)系。時空體(chronotope)即表明時間、空間和意義已被鎖定。雖然單幀鏡頭(frame-shot)的內(nèi)容本身沒有時間特性，但它在坐標時空框架(或整部電影)中的位置確實提供了這樣的條件，通過此條件，使得該幀可以被視為組合模式中最低實體的單位，在這種組合模式中，該幀內(nèi)的空間類似于義素。這反過來又賦予了單幀鏡頭以時間性，因為每一幀都是理解整部電影的重要組成部分。

五、電影理論的啟示

在電影時空語言范圍內(nèi)運作的是相交叉的組合聚合式敘事關系。這些元素在時空語言和實體語言中都是相同的，因此可以應用于更為廣泛的符號系統(tǒng)、符號和語言功能。雖然這一特性繼續(xù)將符號學分析局限于敘事性電影，但它確實抓住了元語言形成的核心，將電影的實體成分(言語)和時空成分結合起來。

最小的實體——鏡頭——是一個句子，甚至是一段話。有些鏡頭比其他鏡頭揭露的更多——鏡頭有潛臺詞和“即時”(on the line)最佳點，它們通過解釋語境，充當潛臺詞的統(tǒng)一體。單幀鏡頭相當于一個句子或一個段落，這取決于幀中所包含符號的豐富程度，以及其在整個電影的坐標時空結構中的位置。因此，這種四維時空語言系統(tǒng)將符號功能作為最小分析段的一個組成部分。總之，單幀鏡頭的概念確實滿足了個性化過程的要求。然而，該單位的識別并不能自動解決電影音軌上的言語問題，盡管它看起來確實滿足了電影視覺特性的條件。元語言仍然有待發(fā)現(xiàn)，它將彌合言語(實體語言)和視覺(時空語言)之間的鴻溝，而體驗則出現(xiàn)在虛擬現(xiàn)實中。

(一) 時空坐標系

如果我們在空間圖像中考慮時間，假設所有時間都存在于一個時空坐標系，我們就可以繪制出空間和時間的拓撲區(qū)分圖。在時空坐標系中，一個維度被認為是時間，另外三個維度被認為是空間。類時和類空的劃分如圖2所示。

圖2 空間圖像中的時間

類時線是垂直的虛線。任何一部給定的電影都可以比作一個特定的時空坐標系，它代表了一個四維物質(zhì)世界，在空間上精準定位，并垂直于時間軸。我們應該把它看作是沿著時間軸任意位置上具有任何期時間段時間的一個時期。根據(jù)羅德·惠特克的定義，他的分析可以外推至將“幀”比作“瞬間”，即瞬間處于沒有持續(xù)時間的時期。無論膠片的相關運動(每秒24幀)如何，這一瞬間是絕對不同的，因此，在y是時空對象的情況下，我們可以將最小單位或?qū)嶓wy定義為t1處的x1，即y是時刻t1處x1的最小值。換言之，從理論上來講，幀可以構成單個或基本的分段分析。這一觀察結果對單幀鏡頭中所表示的時空特性具有一定影響。雖然單幀鏡頭的內(nèi)容本身沒有時間特性，但它在坐標時空框架(或整部電影)中的位置確實提供了這樣的條件，通過這些條件，使得該幀可以視為組合模式中最低實體的單位。這反過來又賦予了單幀鏡頭以時間性，因為每一幀都是理解整部電影的重要組成部分。

梅洛-龐蒂(Merleau-Ponty)的現(xiàn)象學方法則認為，一系列電影就像生活中的奇觀一樣，本身就具有意義。(39)Metz C.Film Language:A Semiotics of the Cinema[M].New York:Oxford University Press,1974:105-106.也就是說，符號是失效的——能指和所指在電影中并不是分離的，但不同于虛擬現(xiàn)實，觀眾與畫面仍然是分離的。另外，一方面，麥茨的結構主義符號學將文本關系置于觀眾解釋之上，觀點占主導地位；從理論上來說，導演借助這樣一種方式對其敘事進行編碼，這一形式?jīng)Q定了觀眾的反應。于是，觀眾反應被電影形式定位成導演編碼的特定解讀。另一方面，符號學賦予解釋者特權，解釋者可以偏離導演的觀點，以不同的方式“觀看”或解讀電影，而這些方式不一定符合導演的意圖或電影的文本形式。換言之，這些觀眾對電影文本意義的理解可能不符合所聲稱的基于符號學引導的解釋?？傊?，電影符號學在其“能指-所指”二元關系中簡單地忽略了觀眾，而符號學則在其三元框架中包括了觀眾。

(二) 膠卷與數(shù)字世界

增強現(xiàn)實是數(shù)字技術在現(xiàn)實世界上的虛擬疊加?；旌犀F(xiàn)實(Mixed Reality，簡稱MR)類似于虛擬現(xiàn)實，但有助于增進真實世界與數(shù)字世界之間的交互?！吧衿娴娘w躍：企業(yè)空間計算”(Magic Leap:Spatial Computing for Enterprise)機構制造出了一種可穿戴的空間計算機裝備，將物理世界和數(shù)字世界融為一體。它能夠投射數(shù)字光場(light fields)，使大腦能夠?qū)D像有形地同化到現(xiàn)實世界中。大腦的渲染功能被認為無法區(qū)分增強之維(augmentation)和現(xiàn)實之維，這實際上模糊了想象和現(xiàn)實之間的界限，在文本的空間場域中創(chuàng)造了一個“第三維度”的主觀現(xiàn)實，幾乎形成了時空的蒙太奇二重性。

在蒙太奇中，觀眾被置于畫面(幀)之間，并且不在任何畫面(幀)中。從理論上來講，表征性和象征性的融合，主體和代理之間的統(tǒng)一，將x、y和z軸合并在一個維度上。存在于非切線維度的表征性符號文本被觀者識別為物理時空語境中的有形物理感官文本，增強了文本的多元性，并將二維現(xiàn)實融為一體，同時反映其各自的維度。文本修辭或解釋項存在于觀者的頭腦中，同時也反映在光學波長上。鏡中的兩個世界，一方面是具有象征性的表征性偏見，另一方面是感官的偏見，在動態(tài)混合的時空中相互超越。(40)Tomaselli D R.Cosmology of the Relativistic Multi-Modal Chronotype[D].KwaZulu Natal province :University of KwaZulu-Natal,2020:205-206.

用符號學的術語來說，這種符號的失效最好用顯象來解釋，這是一種整合了虛構、幻影和擬像的超級符號，無論它們是如何產(chǎn)生的(心理上的或技術上的)。與概念上有局限性的現(xiàn)象相比，顯象在本體論意義上具有更完整的概念，其支持在主體存在的情況下進行有意義條件的設置?？臻g和時間中的任何情況都可能包含大量同時出現(xiàn)的顯象，盡管這個數(shù)字趨于無限大，但并不是無限大。由于符號和解釋項形成邏輯之間的聯(lián)系，任何顯象都將由顯象實現(xiàn)時出現(xiàn)的符號主體的語用能力來定義。這不僅包括從二維到四維的碰撞，還包括想象的、將主體與客體聯(lián)系在一起的場景，無論是在畫面(幀)之內(nèi)還是在畫面(幀)之外的。

相比之下，電影影像模仿自然的模式，并與它所描繪的對象存在聯(lián)系。雖然主要理論家都意識到符號學的不足，但很少有學者在構建一個框架以解釋電影意義時碰到困難。同時，很少有學者討論過時空關系。

結論：時空與感官

電影理論家們發(fā)現(xiàn)現(xiàn)有的理論在解釋能力上存在差異，因此一直在尋求符號學來幫助其構建電影語言。然而，結果卻陷入學術上的僵局、分類學上的噩夢之中。

物體依靠空間關系相互傳遞意義(美學—時空體)。如果時空屬性發(fā)生了變化，那么嵌入其中的意義也會發(fā)生變化。意義根植于“真實世界”的體驗，不僅是通過與身體分離的三維平面，也是通過身體的感官體驗。笛卡爾思想仍然是活躍的，但是它被認為是與身體相分離的，即使身體通過感官通道轉(zhuǎn)譯情感解釋項和信息。在虛擬現(xiàn)實中，空間關系不僅通過抽象進入，而且更大膽地通過感官“空間”引導——身體成為“分布式”出口的延伸。虛擬現(xiàn)實設計中的嵌入式敘述(41)參見Jenkins H.Convergence Culture:Where Old and New Media Collide[M].New York:New York University Press,2006.是通過一系列有意的“插曲”加以實現(xiàn)，這些“插曲”似乎是隨機散布在游戲環(huán)境中的。參與者可以了解到他們采取的是主動反應而不是被動反應。(42)Newton K,Soukup K.The Storyteller’s Guide to the Virtual Reality Audience[EB/OL].(2016-04-07)[2022-07-12].https://medium.com/stanford-d-school/the-storyteller-s-guide-to-the-virtualreality-audience-19e92da57497.

電影語言的派生似乎取決于第四維度的應用，無論是從二維到四維還是多維。在可視化模態(tài)文本表征的系列中，我們可以繪制感官文本(sensory texts)和表征文本(representative texts)的特征簇。誠如瑪麗-勞爾·瑞安(Marie-Laure Ryan)所言，感官或身份文本通過物理刺激功能實現(xiàn)語法意義，而表征文本則暗示象征意義，象征意義充當了分隔真實世界和沉浸式故事世界的框架。(43)Ryan M L.Immersion vs.Interactivity:Virtual Reality and Literary Theory[J].SubStance,1999,28(2):133.表征文本的片段以被幀分隔開的模式聚集在一起，而感官文本則以需要參與者“進入幀”的模式進行提取。表征文本具有戲劇性的腳本特質(zhì)，而感官文本則具有更高程度的提取設備。所提取內(nèi)容解釋的是“浮動”的代碼，而不是“固定”的代碼——也就是說，固定在敘事優(yōu)先的基礎上。“浮動”元素可能會偏離敘述所要求的具有凝聚力的結構。因此，在虛擬現(xiàn)實/游戲中，解釋者很難專注于意義的內(nèi)化。與電影不同的是，電子游戲不會誘導諸如促使玩家哭泣之類的情緒出現(xiàn)。

電影居于隱喻的鏡子之外，散發(fā)出高度的修辭符號學和符號論特質(zhì)，幾乎無法加以利用和提取。通過對幀的劃分以使觀眾區(qū)分開來，這似乎是基于時空語法的相似性而發(fā)生的。在“穿過鏡子”的過程中，虛擬現(xiàn)實等模式似乎暗示了更高比例的感官文本和導航元素，但降低了象征和表征元素的使用——或者至少不像基于幀的模式那樣。在虛擬現(xiàn)實中，“文本表示在某個方面就像全息圖片：你不能同時看到世界和符號。讀者和觀眾必須把注意力集中在符號之外，才能見證一個三維的、栩栩如生的現(xiàn)實的呈現(xiàn)”。(44)Ryan M L.Immersion vs.Interactivity:Virtual Reality and Literary Theory[J].SubStance,1999,28(2):132.因此，感官知覺包含了表征文本。對符號以及與符號相關事物的驅(qū)逐，是因為虛擬現(xiàn)實通過“虛擬現(xiàn)實效應”否定了對中介存在的認可，即否定符號(位、像素和二進制代碼)在產(chǎn)生用戶所體驗的非中介存在過程中的作用。因此，為實現(xiàn)沉浸感，計算機被設計為“不可見”，從而促進用戶和內(nèi)容之間直接達成排他性契約。