多模態(tài)互動：數(shù)字媒介時代作為社會角色的電影

■ 孫承健

在當(dāng)下科技迅猛發(fā)展的時代，人類與AI（Artificial Intelligence）技術(shù)、社會網(wǎng)絡(luò)等，正共同構(gòu)建起一個“強(qiáng)大的混合智能‘社會機(jī)器’”。在此過程中，在賦予機(jī)器更強(qiáng)大能力的同時，混合智能也賦予人們在基于數(shù)字媒介的多模態(tài)互動體驗(yàn)層面更具智能化、更具開放性與沉浸感的視聽體驗(yàn)。在當(dāng)下各個領(lǐng)域中，基于多模態(tài)交互（Multimodel Interaction）的數(shù)字體驗(yàn)設(shè)計(jì)，即是在融合了深度學(xué)習(xí)與計(jì)算機(jī)圖形研究的基礎(chǔ)上，充分模擬人類真實(shí)的自然交互方式，通過視覺、聽覺與語言等不同模態(tài)，實(shí)現(xiàn)人機(jī)交互效果的各種研究和應(yīng)用，已然呈現(xiàn)出數(shù)字媒介時代基于交互性體驗(yàn)的文化特征和形態(tài)。這也意味著，在基于數(shù)字媒介的社會互動中，電影與觀眾間的關(guān)系不再是一種主客間的二元關(guān)系，而是一種基于主體與主體之間的主體間性關(guān)系。在此，“電影”這一概念所指涉的不僅僅只是一部具體的影片，更是一種攜帶著社會角色身份的“機(jī)構(gòu)”。正如美國當(dāng)代電影社會學(xué)家尼·布朗（Nick Browne）所指出的：“電影‘機(jī)構(gòu)’包括生產(chǎn)系統(tǒng)、影片的發(fā)行與接受。電影機(jī)構(gòu)不僅僅是工藝條件，而且是一種社會條件。它包括電影與公眾之間的總體關(guān)系?！盵1][美]尼·布朗：《電影與社會：分析的形式與形式的分析（上）》，齊頌譯，《世界電影》1987年第3期，第90頁。這種總體關(guān)系表明，電影既被社會所建構(gòu)，同時也以一種“社會行動者”（Social Actors）的身份參與到社會建構(gòu)之中。

作為與數(shù)字媒介構(gòu)成緊密關(guān)聯(lián)性的一種藝術(shù)形式，電影在基于數(shù)字媒介的多模態(tài)互動中，通過各種社會化媒體（Social Media）對社會生活的全面滲透，以及媒介間的協(xié)同、融合，甚至是在與“社會機(jī)器”的交互、碰撞中，已逐漸在影院與影院空間之外以及更廣泛的社會文化場域中，成為一種承載著各種社會化功能以及社會大眾“夢幻與情感”的社會角色。這種由功能化到社會化的身份轉(zhuǎn)變，也即意味著，數(shù)字媒介時代的電影，已然開始由原本以審美和娛樂消費(fèi)為主導(dǎo)的功能化媒介特質(zhì)，逐漸轉(zhuǎn)化成為具有社會生命的一種基于多模態(tài)互動的“社會行動者”。但是，這種角色身份的轉(zhuǎn)化并非是對原有審美和娛樂消費(fèi)功能及其價值取向的揚(yáng)棄，而是在基于主體間的交往、互動與協(xié)同關(guān)系層面，將電影視為一種具有思想能動性的存在實(shí)體。

作為社會價值載體與協(xié)調(diào)者的電影

將電影定義為一種社會角色，實(shí)際上是將電影視為一種蘊(yùn)含社會生命、且具有思想能動性與社會互動交流性的存在實(shí)體。并且，在基于主體間的社會互動關(guān)系中，電影在社會系統(tǒng)中所扮演的角色、地位和社會化功能，以及電影自身的“自我預(yù)期”與基于“社會期待”的反饋之間的交互關(guān)系，所體現(xiàn)出的正是電影作為“社會行動者”的一種身份認(rèn)同，一種社會價值之所在。

傳統(tǒng)的電影觀念，從電影何以構(gòu)成一種藝術(shù)門類，到眾多電影探索者，包括大衛(wèi)·格里菲斯（D.W. Griffith）、謝爾蓋·愛森斯坦（Sergei M. Eisenstein）、安德烈·巴贊（André Bazin）等，針對電影本體的一系列相關(guān)思考，直至結(jié)構(gòu)主義與符號學(xué)，對電影文本的深入解讀和分析，自始至終所圍繞著的實(shí)際上是將電影作為一種獨(dú)立的藝術(shù)形式、一種封閉自足的系統(tǒng)展開討論的。尤其是結(jié)構(gòu)主義與符號學(xué)的理論和分析方法，更是在過度聚焦文本、符號及其系統(tǒng)概念的過程中，潛移默化地“割裂”了電影與社會之間的交互關(guān)系，以及電影文本與社會泛文本之間的存在關(guān)系。正是基于此，英國電影文化學(xué)者吉爾·布蘭斯頓（Gill Branston）曾不無感慨地引用一位不知名學(xué)者的話說道，“我們絕大多數(shù)人看的是電影，而電影理論研究的是各種‘文本’?！盵2][英]吉爾·布蘭斯頓：《電影與文化的現(xiàn)代性》，聞鈞、韓金鵬譯，北京：北京大學(xué)出版社，2012年，第182頁。

然而，電影與社會、電影文本與社會泛文本之間始終具有不可分割的內(nèi)在關(guān)聯(lián)性，這也是電影得以構(gòu)成一種社會話語實(shí)踐的根本之所在。并且，就電影產(chǎn)業(yè)而言，20世紀(jì)末以降，伴隨著一些跨國集團(tuán)對電影業(yè)的全面滲透、擴(kuò)張，電影作為文化商品的屬性也開始發(fā)生變化。在此過程中，“電影作為文化商品的屬性的變化，反映出了一個嚴(yán)峻的產(chǎn)業(yè)事實(shí)，即電影產(chǎn)業(yè)不再是一個自給自足的產(chǎn)業(yè)，多數(shù)情況下它僅僅是大型跨國集團(tuán)生產(chǎn)的一系列文化商品的一部分”[1][澳]格雷姆·特納：《電影作為社會實(shí)踐》，高紅巖譯，北京：北京大學(xué)出版社，2010年，第3頁。。與此同時，互聯(lián)網(wǎng)與新興媒體的迅速崛起逐漸打破了電影原本封閉自足的系統(tǒng)結(jié)構(gòu)。在與社會之間愈加頻繁的互動關(guān)系中，電影也開始確立起作為“社會行動者”的角色身份。尤其是進(jìn)入數(shù)字媒介時代之后，伴隨著“屏幕文化”（Screen Culture）的快速興起，以及大數(shù)據(jù)與智能計(jì)算的普遍運(yùn)用等，對社會網(wǎng)絡(luò)的全面滲透使得電影與其他媒介的分工邊界愈加模糊。一種開放的、自由的，以互動體驗(yàn)為主導(dǎo)的，基于多維感知的多層次、多模態(tài)話語交流模式，逐漸取代了以往以語言文字為中心的交流模式。與此同時，數(shù)字視覺技術(shù)對社會生活的全方位“覆蓋”，更是在圍繞視覺性的圖像主因型文化形態(tài)的基礎(chǔ)上，彰顯出數(shù)字媒介時代運(yùn)動影像在多模態(tài)互動層面的話語優(yōu)勢。

與以語言文字為主導(dǎo)的互動模式所不同的是，數(shù)字媒介時代基于主體間的多模態(tài)互動關(guān)系，更加注重參與者在交流過程中的參與狀態(tài)和體驗(yàn)狀態(tài)。這也就意味著，參與者的主觀心理感受與主觀真實(shí)性，在一定程度上是構(gòu)成互動體驗(yàn)?zāi)Ｊ降闹匾蛩?。正是基于此，以往作為被觀看客體的電影，在與觀眾、與社會間的互動關(guān)系中逐漸轉(zhuǎn)化為一種尤爾根·哈貝馬斯（Jürgen Habermas）意義上的主體間的存在關(guān)系。

作為一種社會角色，電影既是社會價值的載體與協(xié)調(diào)者，同時也是社會建構(gòu)與社會互動的參與者。作為現(xiàn)代科技與文化的產(chǎn)物，電影是在先行的被社會文化建構(gòu)中開始了它的建構(gòu)。在電影與社會基于主體間的互動關(guān)系中，既涉及社會對電影這一社會角色的“社會行為”期待，同時也必然涉及電影自身在社會建構(gòu)中，作為“社會行動者”的身份認(rèn)同與自我預(yù)期。前者，所謂“社會行為”期待，主要參照的是基于一定社會規(guī)范和社會行為模式的一種價值理性判斷，也是社會組織和制度通過社會話語等各種形式，賦予電影的一種與其社會位置、社會身份相關(guān)聯(lián)的角色腳本。角色腳本在價值預(yù)設(shè)層面，決定了社會角色在社會互動關(guān)系中所應(yīng)具有的行為模式及其責(zé)任和義務(wù)。后者，所謂“自我預(yù)期”，一方面，關(guān)乎電影在社會文化中所占據(jù)的地位以及試圖產(chǎn)生的社會影響力；另一方面，則關(guān)乎電影自身所預(yù)期的，社會大眾針對電影本身的一系列反饋所構(gòu)成的行動的整體，這其中既包含對電影的各種評價，更包含對一定經(jīng)濟(jì)回報的預(yù)期，等等。

“社會行為”期待與自我預(yù)期之間，往往難以達(dá)成一致性，并且，低于或者是超乎預(yù)期的現(xiàn)象往往成為一種常態(tài)。尤其是對于產(chǎn)業(yè)化改革后的中國電影而言，這種現(xiàn)象尤為凸顯。從《瘋狂的石頭》（2006）、《戰(zhàn)狼Ⅱ》（2017）到《紅海行動》（2018）、《我不是藥神》（2018）、《流浪地球》（2019），直至《你好，李煥英》（2021），等等，諸如此類所謂“爆款”影片，都在一定程度上超出了自我預(yù)期，或者說基于“社會行為”期待的反應(yīng)，遠(yuǎn)高于電影自身的自我預(yù)期。當(dāng)然，在市場化進(jìn)程中，遠(yuǎn)遠(yuǎn)低于預(yù)期者也不乏其例。這樣一種現(xiàn)象，顯然與電影高度市場化的商業(yè)特質(zhì)密切相關(guān)，但在本質(zhì)上則是與知識和道德信仰、審美和價值取向，以及不同社會環(huán)境中的社會心態(tài)密切相關(guān)。

正如美國劇作家斯坦利·D·威廉斯（Stanley D·Williams）所指出的，所有成功的故事都蘊(yùn)含一定的“道德前提”，并且“口頭的故事、書上的故事、舞臺中的故事、熒屏里的故事甚至網(wǎng)絡(luò)上的故事……一直到今天，無論道德前提以怎樣的形式出現(xiàn)，它依然是所有故事的基本要素”[1][美]斯坦利·D·威廉斯：《故事的道德前提》，何姍姍譯，北京：北京聯(lián)合出版公司，2013年，“自序”，第7頁。。因此，道德前提作為一種價值預(yù)設(shè)，對于電影作為社會價值載體與協(xié)調(diào)者的身份形塑而言，可以說是社會角色身份構(gòu)成的一種結(jié)構(gòu)性要素。

事實(shí)上，幾乎所有“爆款”電影在商業(yè)上的成功，都在一定程度上契合了當(dāng)下某種社會心態(tài)?？梢哉f，社會心態(tài)往往是構(gòu)成電影與社會互動效果的一個重要的變量因素。所謂“社會心態(tài)”，簡言之，即是一定時期內(nèi)人們的社會心理狀態(tài)。這種心理狀態(tài)蘊(yùn)含著人們對自身、對現(xiàn)實(shí)社會，在利益訴求與基于道德信仰與價值判斷等層面所持有的一種較為普遍的、對社會生活能夠產(chǎn)生廣泛影響的社會態(tài)度，一種蘊(yùn)含情緒與情感體驗(yàn)的心理傾向或思想趨勢。這也即是說，社會心態(tài)所體現(xiàn)出的正是一定時期內(nèi)社會大眾所關(guān)注聚焦的一些與社會生活密切相關(guān)的社會問題。因此，如果一部影片能夠有效契合一定時期內(nèi)的社會心態(tài)，并且在基于價值理性的判斷層面上，能夠符合作為社會價值載體與協(xié)調(diào)者的社會期待，就必然會獲得更廣泛、更積極的社會反應(yīng)。影片《我不是藥神》之所以能夠獲得社會大眾的廣泛認(rèn)同并獲得高票房的經(jīng)濟(jì)回報，在根本上是契合了那一時期社會大眾尤其是中低收入階層對由高昂醫(yī)藥費(fèi)等引起的醫(yī)患問題的關(guān)注，以及由此而引發(fā)的不穩(wěn)定性社會心理傾向。而《流浪地球》作為第一部真正意義上的國產(chǎn)硬科幻電影，在科技作為話語權(quán)力的時代能夠有效引發(fā)廣泛的社會關(guān)注，也是影片得以獲得廣泛認(rèn)同的一種社會心理學(xué)基礎(chǔ)。

從社會學(xué)的角度而言，雖然社會心態(tài)產(chǎn)生于個體心理，但卻表現(xiàn)為一種整體形態(tài)，并對每個社會成員的行為與價值取向潛移默化地構(gòu)成影響。正是基于這樣一種社會心理學(xué)基礎(chǔ)，電影以其故事世界的建構(gòu)邏輯，將蘊(yùn)含某種社會心態(tài)的社會聚焦具象為一個個具體可感的故事和人物，并通過人物的戲劇性行動以及行動所蘊(yùn)含的那種“延伸于意識維度之下的深層集體心理”[1][美]羅伯特·C.艾倫、[美]道格拉斯·戈梅里：《電影史：理論與實(shí)踐》，李迅譯，北京：中國電影出版社，1997年，第211頁。，在影院與影院空間之外與社會和觀眾展開跨空間、跨媒介的多維度的對話和交流。在此過程中，基于多模態(tài)話語的數(shù)字媒介，通過互聯(lián)網(wǎng)、電視、視頻平臺與自媒體，以及相應(yīng)的數(shù)字技術(shù)手段等，在現(xiàn)實(shí)的社會網(wǎng)絡(luò)與虛擬的數(shù)字網(wǎng)絡(luò)之間，借助視頻、圖像、文字，以及各種動畫或條漫等語言模態(tài)和非語言模態(tài)展開多維度的互聯(lián)。互聯(lián)的交互性效應(yīng)，一方面，可以通過具體可感的人物及其戲劇性行動，以及攜帶情感與情緒體驗(yàn)和蘊(yùn)含價值沖突的情節(jié)，有效調(diào)度起社會關(guān)注機(jī)制的聚焦；另一方面，電影敘事本身的情節(jié)構(gòu)架及其價值預(yù)設(shè)，甚至是故事結(jié)局本身，則在一定程度上構(gòu)成了基于某種利益訴求的社會情緒，能夠獲得意蘊(yùn)回味的反思，或是有效緩解或釋放的一種替代性滿足的場域。

影片《我不是藥神》中，那位老年患者對警察所說的一番話：“誰家能不遇上個病人，你就能保證一輩子不生病嗎？……四萬塊一瓶，我病了三年，吃了三年，為了買藥，房子沒了，家人也拖垮了，我不想死，我想活著”，極具代表性地反映出那一時期由高額醫(yī)藥費(fèi)與醫(yī)患關(guān)系所引發(fā)的一系列復(fù)雜的社會矛盾，凸顯出隱藏在社會經(jīng)濟(jì)高度發(fā)展背后的、因資源分配問題所導(dǎo)致的各種社會情緒與社會心理狀態(tài)。其中，創(chuàng)作者運(yùn)用多模態(tài)的影像話語，包括動作、表情、聲音、語言和場景等，在這一段落的表達(dá)中，緊緊圍繞生與死的價值沖突以及人物基于生命體驗(yàn)的情緒與情感而展開，從而最大化地激發(fā)出觀眾的情感認(rèn)同，令觀眾難以掩飾內(nèi)心的強(qiáng)烈觸動。這也是這一橋段在各種數(shù)字視覺媒介中得以被廣泛地段落化、碎片化傳播的主要動因之所在。

在社會系統(tǒng)中，大眾對社會事件或問題的關(guān)注，實(shí)際上始終是一種變動不居的動態(tài)化過程。社會事件作為一種外部刺激的變量因素，能夠引發(fā)一定時期內(nèi)的社會情緒和社會關(guān)注度。同時，一定數(shù)量的同質(zhì)性社會事件，也可聚合并沉淀為相應(yīng)的社會心態(tài)。在此過程中，作為社會價值的載體與協(xié)調(diào)者，電影在主流價值取向?qū)用?，一方面，需要不斷發(fā)揮它作為社會角色在社會化功能層面，與社會、與大眾間的協(xié)調(diào)者與引導(dǎo)者的身份功能；另一方面，則更需要與其他社會機(jī)構(gòu)之間相互協(xié)作，“共同維護(hù)一個主導(dǎo)性的社會構(gòu)架……分享并共同強(qiáng)化相似的價值觀，這些價值觀就是有關(guān)我們社會關(guān)系的主導(dǎo)性的觀點(diǎn)——比如關(guān)于階級、性別等的觀念”[2][英]利薩·泰勒、[英]安德魯·威利斯：《媒介研究：文本、機(jī)構(gòu)與受眾》，吳靖、黃佩譯，北京：北京大學(xué)出版社，2005年，第86頁。。

多模態(tài)互動分析理論視域下的電影及其運(yùn)作模式

電影與觀眾、與社會之間幾乎所有的互動關(guān)系都是多模態(tài)的，這也是多模態(tài)互動分析理論的一個基本觀點(diǎn)。所謂“多模態(tài)”，所指涉的是根據(jù)人的感知方式，運(yùn)用視覺、聽覺、嗅覺、觸覺與味覺等語言與非語言方式進(jìn)行交流和對話的一種話語形式。多模態(tài)互動分析理論尤為重視參與者的互動意識、反應(yīng)，以及表達(dá)者在參與過程中的感知體驗(yàn)，這也在一定程度上契合了當(dāng)下數(shù)字媒介時代以開放、自由的交互性體驗(yàn)為主導(dǎo)的互動訴求。

就電影與觀眾、與社會間的互動關(guān)系而言，實(shí)際上，可以簡單地劃分為三種模式：一是銀幕中角色與角色之間、角色與規(guī)定情境之間的互動關(guān)系；二是影院空間中電影與觀眾的互動關(guān)系；三是影院之外，在更廣泛的文化場域中，作為文化商品與社會話題的電影通過現(xiàn)實(shí)與虛擬的社會網(wǎng)絡(luò)之間的互動關(guān)系。并且，在諸如此類的互動關(guān)系中，電影始終是以一種互動主體的社會角色身份參與其中的。正如當(dāng)代新修辭學(xué)代表人物詹姆斯·費(fèi)倫（James Phelan）所言：“敘事不僅僅是故事，而且也是行動，某人在某個場合出于某種目的對某人講一個故事?！盵1][美]詹姆斯·費(fèi)倫：《作為修辭的敘事：技巧、讀者、倫理、意識形態(tài)》，陳永國譯，北京：北京大學(xué)出版社，2002年，第14頁。并且，依據(jù)哈貝馬斯的交往行為理論，能夠達(dá)成共識性的有效交往需要滿足表達(dá)的可領(lǐng)會性、陳述的真實(shí)性、溝通的真誠性與表述的合理性。這四個條件對于作為社會角色的電影而言，涉及電影表達(dá)與接受的多個維度。

從結(jié)構(gòu)主義與符號學(xué)的理論視角來看，電影表達(dá)與接受之間的關(guān)系，可以表述為這樣一種過程：意圖意義——（編碼）——文本意義——（解碼）——解釋意義，并且這一過程是以敘事的完整性和連續(xù)性為基本前提的。這其中，基于意圖表達(dá)的編碼系統(tǒng)，以文本為中介，與基于觀眾接受的解碼系統(tǒng)之間的一致性，也即意味著表達(dá)的可領(lǐng)會性。盡管一種普遍性的共識認(rèn)為，可視化的影像是一種“世界語言”，無需“翻譯”即可自然理解，實(shí)際上并非如此。任何電影作品的意圖意義、文本意義和解釋意義，在基于編碼和解碼的關(guān)系層面，都無法真正達(dá)到絕對的一致性，甚至可能因?yàn)榻忉屨叩摹斑^度闡釋”，或者對符號表意的“無限衍義”而造成歧義。這也恰恰說明，“可領(lǐng)會性”是構(gòu)成交往共識的一個必要條件。尤其是在數(shù)字媒介時代，基于網(wǎng)絡(luò)與自媒體的過度闡釋或無限衍義，往往導(dǎo)致對文本意義的闡釋在不斷“增殖”的過程中也不斷產(chǎn)生歧義。

如果從互動意義（Interactional Meaning）的角度，對運(yùn)動影像的意義表達(dá)和接受進(jìn)行多模態(tài)分析的話，那么在以“動作”（Action）為基本分析單位的多模態(tài)互動分析理論中，一個完整的、規(guī)定情節(jié)的戲劇性表意，實(shí)際上是由一連串的，諸如人物的表情、眼神、手勢、姿態(tài)或口語等多個基本的動作鏈所構(gòu)成的。并且，在角色間的互動過程中，既涉及每一種模態(tài)的表意功能，更涉及各種模態(tài)在互動過程中共同發(fā)揮作用的問題。除此之外，人物或角色之間互動行為發(fā)生的場景空間或環(huán)境，以及其中的物質(zhì)對象，諸如各種道具、陳設(shè)、雜志、杯子等，在多模態(tài)互動分析理論中被定義為“凍結(jié)動作”（Frozen Actions）。凍結(jié)動作這一概念蘊(yùn)含著一種動態(tài)化、連續(xù)性的分析邏輯，所指涉的是之前的行動被凍結(jié)在相互作用的物質(zhì)對象之中。比如在張藝謀的影片《滿江紅》（2023）中的一場戲：宰相府總管何立遭暗殺脫險后，小兵張大、親兵營副統(tǒng)領(lǐng)孫均與副總管武義淳隨即紛紛趕來。行刺者半跪著，雙手被吊掛。何立則斜坐在桌案旁的椅子上，胳膊上插著一把刀。書案之上有一張白紙、硯臺和筆墨，硯臺之下便藏有一封能夠證實(shí)秦檜通敵賣國的密信。在這場戲中，與情節(jié)敘事構(gòu)成緊密關(guān)聯(lián)的便是何立胳膊上的那把刀，以及桌面上的那張白紙和硯臺下的密信。當(dāng)三人急匆匆進(jìn)入屋內(nèi)之時，刀已然刺在何立的胳膊上，白紙與書信也都已擺放在書桌之上。這就意味著，作為凍結(jié)動作的刀、白紙和書信，凍結(jié)了在他們進(jìn)入之前行刺者刺殺何立不成，反被刺傷、抓獲，隨后被逼交代動機(jī)和暗號，以及何立在行刺者交出信件后，派人發(fā)送暗號、設(shè)局，并擺放白紙、將信件藏匿在硯臺之下，等待三人到來等一系列戲劇性動作。并且，在敘事進(jìn)程中，作為敘事“空白”，這一系列的戲劇性動作被創(chuàng)作者省略在可見事件之外，但卻可以通過這些凍結(jié)動作，在基于連續(xù)性的敘事邏輯層面讓觀眾得以有效感知。

這也就意味著，在銀幕內(nèi)角色之間的互動以及銀幕外電影與觀眾的“對話”中，作為視覺模態(tài)與聽覺模態(tài)的所有視聽因素都在不同程度地發(fā)生著作用。并且，“所有的動作、所有的聲音和所有的物質(zhì)對象，只要被人感知到，就帶有互動的意義”[1]Sigrid Norris, Analyzing Multimodal Interaction: A Methodological Framework, New York: Routledge,2004, p. 2.。上述影片中三個物質(zhì)對象之所以能夠被觀眾感知和注意，首先因其與張大對之前的凍結(jié)動作、對何立行為動機(jī)判斷的情節(jié)敘事之間具有緊密的關(guān)聯(lián)性；其次是因?yàn)閿z影機(jī)借助張大的視點(diǎn)，對這幾個物質(zhì)對象的關(guān)注通過幾個近景和特寫鏡頭，有意識地聚焦在這幾個物質(zhì)對象上，從而給觀眾信息的提示。此時，攝影機(jī)所承擔(dān)的實(shí)際上是一種指示性手段，對創(chuàng)作者希望觀眾關(guān)注和注意的信息進(jìn)行有意識的組織、調(diào)節(jié)。指示性手段具有一定的支配性，作為一種互動的中介手段在電影表達(dá)中涵蓋較為廣泛，包括演員的表演、剪輯與色彩，等等。例如，史蒂文·斯皮爾伯格（Steven Allan Spielberg）的影片《辛德勒的名單》（Schindler's List，1993），黑白影調(diào)中，一個身著紅色外套的小女孩獨(dú)自走在蒼涼的猶太難民營的街道上，便是創(chuàng)作者有意識地引導(dǎo)觀眾對這一信息進(jìn)行關(guān)注，從而引發(fā)意義的聯(lián)想與反思。因此，與一般日常的互動場景所不同的是，電影對戲劇性的特定互動場景中的各種模態(tài)的變量分析，主要體現(xiàn)在模態(tài)結(jié)構(gòu)與模態(tài)權(quán)重的分析之中。其中，模態(tài)權(quán)重的主要依據(jù)是情節(jié)線索與人物的動機(jī)、行為，以及觀眾和攝影機(jī)對不同模態(tài)或信息的關(guān)注和聚焦。

模態(tài)權(quán)重分析，在基于交流對象的注意機(jī)制層面，往往會把場景中的各種模態(tài)劃分為前景、中景和背景三個層次。這實(shí)際上與攝影機(jī)基于鏡頭縱深的景深劃分既有重疊之處，也有所差異。而差異性的根本，則在于觀眾的注意機(jī)制，及其對信息選擇的主體能動性。并且，模態(tài)權(quán)重的分析與模態(tài)密度（Modal Density）、模態(tài)強(qiáng)度（Modal Intensity）、模態(tài)復(fù)雜度（Modal Complexity）等，與所能引發(fā)的人們的注意機(jī)制密切相關(guān)。其中，模態(tài)密度實(shí)際上是通過模態(tài)的強(qiáng)度和復(fù)雜度得以體現(xiàn)的，也即是“社會行動者”，比如電影創(chuàng)作者在基于表達(dá)的行動構(gòu)建過程中，同時使用多種模態(tài)構(gòu)建行動的方式。雖然一定的密度與復(fù)雜度能夠提供更多的信息量，但是就互動意義本身而言，在一些規(guī)定性戲劇情境下，基于一定情緒與情感變量的模態(tài)強(qiáng)度更具關(guān)注價值。影片《聞香識女人》（Scent of a Woman，1992）中，退役軍人弗蘭克上校在學(xué)校聽證會上的一場有關(guān)正直、勇氣與道德的精彩演講，令許多觀眾都記憶猶新。在這場戲中，飾演上校的阿爾·帕西諾（Al Pacino）基于雙目失明的角色設(shè)定，慷慨激昂地運(yùn)用口語模態(tài)進(jìn)行表達(dá)，即是高強(qiáng)度較少模態(tài)表達(dá)的一個典型例證。在此過程中，校方董事敲擊木槌試圖阻止弗蘭克上校的演講，弗蘭克上校也以敲擊桌面的方式作為回應(yīng)，這些動作與聲音模態(tài)，實(shí)際上都是在模態(tài)強(qiáng)度上有意識地強(qiáng)化這種規(guī)定情境中的情態(tài)變量以及口語模態(tài)的表達(dá)張力。這就意味著，情態(tài)變量實(shí)際上是構(gòu)成電影多模態(tài)話語分析的核心變量因素。

可以說，電影中的任何一組鏡頭、任何一個場景，甚或是某一格畫面，都是多模態(tài)的、基于一定的情態(tài)變量進(jìn)行表達(dá)與交流的。而情緒與情感能否引發(fā)觀眾的共情狀態(tài)，甚至在社會推理模式中能否引發(fā)基于體驗(yàn)的情感認(rèn)同，恰恰所關(guān)涉的是哈貝馬斯基于交往共識的真實(shí)性與真誠性。這也是電影作為社會角色能夠與社會產(chǎn)生互動關(guān)系的基本構(gòu)成因素。從多模態(tài)互動分析的角度而言，真實(shí)性與真誠性實(shí)際上是具有共生性關(guān)系的一組概念，唯有情緒與情感的真實(shí)才具有真誠互動的價值和意義。

一般而言，無論是規(guī)定性戲劇情境，還是日常的社會互動，都是由幾種模態(tài)的協(xié)同使用而得以完成的。每種模態(tài)在不同情境中的功能和作用各有不同，并且在很大程度上，每種模態(tài)的作用是由“社會行動者”的注意焦點(diǎn)所決定的。因此，針對不同情境的互動關(guān)系及其行動訴求，采用哪種或者是將哪幾種模態(tài)的協(xié)同使用作為主導(dǎo)進(jìn)行表達(dá)，所涉及的是模態(tài)結(jié)構(gòu)的配置問題。模態(tài)作為攜帶著一定符號表意規(guī)則且具有一定規(guī)律性的意義表達(dá)體系，既具有相對獨(dú)立的表意功能，同時更需要與其他模態(tài)之間在協(xié)同合作中完成更復(fù)雜情境內(nèi)的意義表達(dá)。而在協(xié)同合作的過程中，針對不同模態(tài)的組織、排序等，對于“社會行動者”而言，實(shí)際上也即是能否進(jìn)行合乎情理的結(jié)構(gòu)配置、能否得以獲得表述的合理性與可理解性問題。從多模態(tài)互動分析的角度，無論是影片內(nèi)角色與角色間的互動，還是電影與觀眾、與社會間的互動，都被視為是一個交際事件。交際事件得以完成的前提，即是不同模態(tài)的組織、協(xié)同，需要遵循一定規(guī)律性的表意規(guī)則。而對于電影這一具有獨(dú)特藝術(shù)身份的“社會行動者”而言，在遵循規(guī)律性表意規(guī)則的基礎(chǔ)上，還需要進(jìn)行更具創(chuàng)造性、更具藝術(shù)想象的拓展和提升。這其中，既涉及每種模態(tài)在風(fēng)格、個性層面的藝術(shù)創(chuàng)造性，更涉及模態(tài)結(jié)構(gòu)配置的更多藝術(shù)想象。藝術(shù)創(chuàng)作過程的所謂“化生活為詩”，實(shí)際上也是基于模態(tài)及其結(jié)構(gòu)配置的藝術(shù)創(chuàng)造過程。

“屏幕文化”形態(tài)下的電影及其社會行動

集合了當(dāng)下數(shù)字技術(shù)、新型互聯(lián)網(wǎng)及其通信技術(shù)，甚至是AI技術(shù)的數(shù)字媒介，從數(shù)字化的信息處理、新型網(wǎng)絡(luò)平臺，到各種終端與播放設(shè)備，幾乎涵蓋了當(dāng)下所有的媒介形式。而“屏幕文化”作為數(shù)字媒介時代的一種獨(dú)特表征形式，則集中體現(xiàn)出當(dāng)下各種社會化媒體對社會生活的全面滲透。而滲透的結(jié)果則導(dǎo)致人們的日常生活已然被包裹在各種數(shù)字化的圖像、符號等所構(gòu)成的一種類像化的世界中。這即意味著，數(shù)字媒介技術(shù)作為一種文化力量，在與社會的交互關(guān)系中，已全面作用于社會生活的各個領(lǐng)域。正是基于此，“屏幕文化”實(shí)際上是在數(shù)字媒介技術(shù)支持下，由屏幕媒介而生成的一種蘊(yùn)含視覺性特征的文化形式?？梢哉f，視覺性是這一文化構(gòu)成的結(jié)構(gòu)性要素。

在包括圖像與運(yùn)動影像在內(nèi)的以往有關(guān)視覺文化的研究中，結(jié)構(gòu)主義與符號學(xué)的分析方法更加注重圖像與符號本身的表意分析。并且，在結(jié)構(gòu)主義看來，“所有有意識的思想都產(chǎn)生在一個給定的模式的范圍內(nèi)并在那個意義上受其決定”[1][英]馬爾科姆·巴納德：《理解視覺文化的方法》，常寧生譯，北京：商務(wù)印書館，2005年，第15頁。。在眾多結(jié)構(gòu)主義與符號學(xué)的理論中，以羅蘭·巴特（Roland Barthes）為代表的符號學(xué)研究成果最具代表性。巴特曾經(jīng)以《巴黎競賽》（Paris Match）雜志的一期封面為例，針對封面圖像，運(yùn)用二級意指系統(tǒng)的分析方法進(jìn)行了深入闡釋，從而進(jìn)一步奠定了結(jié)構(gòu)主義與符號學(xué)的理論地位。

然而，基于數(shù)字媒介的多模態(tài)互動機(jī)制分析，并不專注于各種模態(tài)如何進(jìn)行表意，或者是模態(tài)本身的運(yùn)作機(jī)制與規(guī)則，而是更加關(guān)注多維度、多層面的交流信息，以及人們在使用模態(tài)進(jìn)行互動交流時所需要遵循的具有普遍適用性的一般規(guī)則，或是“社會行動者”如何使用這些模態(tài)以有效實(shí)現(xiàn)社會互動、交流。這也即是為何在上述例證分析中，并沒有對創(chuàng)作者運(yùn)用不同模態(tài)意圖表達(dá)怎樣的意義進(jìn)行分析，而是著眼于這些模態(tài)的協(xié)同使用，以及如何調(diào)度起觀眾的注意機(jī)制，如何引發(fā)觀眾的交流互動意識。這恰恰是多模態(tài)互動分析理論有別于以往以語言為中心的話語分析模式的根本之所在。

事實(shí)上，一方面，在數(shù)字媒介時代，人們的觀影活動并不都是發(fā)生在影院之內(nèi)。觀影活動作為一種社會“交際事件”，在基于“屏幕文化”的影院空間之外，通過諸如電腦、手機(jī)、平板電腦或投影等各種終端和播放設(shè)備得以實(shí)施或完成。正是基于此，影院之外的社會空間環(huán)境決定了觀影過程中的意識和注意機(jī)制，并與影院空間存在明顯的差異。并且，對于游走在“屏幕文化”的大多觀眾而言，在影院之外的觀影過程中，意識與注意機(jī)制并非是高度統(tǒng)一和聚焦的，甚至往往會因?yàn)榄h(huán)境因素的影響，甚或是缺少影院空間的儀式感，導(dǎo)致注意機(jī)制的游離、分散，甚至是斷裂。而這種因注意機(jī)制導(dǎo)致的碎片化信息的接受形式，也是構(gòu)成“屏幕文化”的重要視覺特征。

另一方面，作為“社會行動者”的電影，在基于“屏幕文化”的跨媒介敘事的意義生產(chǎn)以及圍繞視覺性的多模態(tài)社會互動中，實(shí)際上也在文化的觀念層面重新定義了人們有關(guān)文化的概念?！啊幕恢匦露x為建構(gòu)一種社會生活方式的過程：生產(chǎn)意義、感知或者意識的各種系統(tǒng)，尤其是那些賦予影像以文化內(nèi)涵的再現(xiàn)系統(tǒng)和媒體?！盵1][澳]格雷姆·特納：《電影作為社會實(shí)踐》，高紅巖譯，北京：北京大學(xué)出版社，2010年，第55頁。這也意味著，文化實(shí)際上是一種生產(chǎn)行為。并且，不同時代針對意義、感知，甚至是意識的生產(chǎn)方式也各有不同。數(shù)字媒介的視覺性特質(zhì)決定了數(shù)字媒介及其多模態(tài)互動的話語機(jī)制始終是圍繞視覺性而展開的。在此過程之中，“文化被看作是由相互聯(lián)系的意義系統(tǒng)所構(gòu)成”[2][澳]格雷姆·特納：《電影作為社會實(shí)踐》，高紅巖譯，北京：北京大學(xué)出版社，2010年，第55頁。的。就廣泛層面而言，任何電影都無法脫離所創(chuàng)作時代的文化與社會背景。如果將一部影片視為一個意義系統(tǒng)的話，那么，這個時代中的眾多影片在意義系統(tǒng)的相互聯(lián)系層面，已然構(gòu)成對該時代的一種斷代描述。事實(shí)上，包括電影史在內(nèi)，各種史學(xué)研究的時期劃分在歷史敘事的維度也同樣遵循這一原則。

而就具體層面而言，影像表意的每一種模態(tài)實(shí)際上都構(gòu)成一個意義單元、一條意義鏈，多種模態(tài)在意義表達(dá)層面的互為關(guān)聯(lián)，在系統(tǒng)性層面構(gòu)成了影片整體表意的一種運(yùn)作機(jī)制。這其中，多模態(tài)表意之間的關(guān)聯(lián)性，所涉及的即是模態(tài)密度與復(fù)雜度的問題。所謂“多模態(tài)表意”，并非是不同模態(tài)之間簡單的疊加關(guān)系，而是一種互為作用、互為協(xié)同的存在關(guān)系。并且就電影敘事的視聽表意而言，大多情節(jié)場景的敘事表意都不是單一信息的意義表達(dá)，而更多是基于多模態(tài)的復(fù)合信息的一種意義表達(dá)模式。

多模態(tài)的、復(fù)合信息的表意策略所涉及的便是信息密度的問題。信息密度是指單位時間內(nèi)，電影所提供給觀眾的可感知的相關(guān)視聽信息量。其中，既涉及基于感官的感知信息，也涉及基于敘事的情節(jié)表意信息。在影片《雙子殺手》（Gemini Man，2019）中，導(dǎo)演李安采用120幀/4K/3D的高幀率與超高解析度影像方式，在技術(shù)所及的程度上極大消解了24幀2K影像快節(jié)奏運(yùn)動過程中的運(yùn)動模糊（Motion Blur）問題，同時，也最大化地凸顯了影像對細(xì)節(jié)與質(zhì)感的表達(dá)能力。人物肌膚的毛孔、細(xì)膩的紋理等達(dá)到前所未有的逼真的視覺體驗(yàn)效果，從而使每一個畫面都具有高密度的視覺信息。如此高密度的、基于視覺感官的影像信息，不僅對傳統(tǒng)基于“暗箱”視覺機(jī)制的電影本體美學(xué)具有一定的顛覆性，同時更對觀眾的觀影體驗(yàn)極具挑戰(zhàn)性。影片中，以跟拍的運(yùn)鏡方式表現(xiàn)兩輛摩托車在曲折的小巷中快速穿梭、追殺博弈的一場戲，高幀率與超高解析度影像對細(xì)節(jié)高清晰呈現(xiàn)的真實(shí)感，無疑能夠極大提升觀影過程中基于“在場”的互動體驗(yàn)感。但是，在快速運(yùn)動的追逐場面中，不斷變化的視角、不斷傾斜的視覺重心，在有效調(diào)度起觀眾的注意機(jī)制的同時，也導(dǎo)致部分觀眾產(chǎn)生不同程度的視覺體驗(yàn)層面的眩暈感。正是基于此，在臨界值層面，如此高速率、超高解析度的影像體驗(yàn)，對人們在短時間內(nèi)能否有效處理這些非常態(tài)化、高速運(yùn)動的視覺信息提出了挑戰(zhàn)。

信息密度在電影敘事表達(dá)中的功能和價值，可以說是一個尤為值得關(guān)注的問題。但是，就互動意義而言，信息密度與模態(tài)密度之間并非完全的對等關(guān)系，而是與模態(tài)復(fù)雜度相關(guān)。也即是說，多種模態(tài)的互為協(xié)同的確能夠產(chǎn)生高密度的信息，但并不意味著高密度信息一定是多種模態(tài)運(yùn)作的結(jié)果。實(shí)際上，單一模態(tài)的重復(fù)、疊加，也可以產(chǎn)生高密度的信息。尤其是在運(yùn)用大景別表現(xiàn)一些復(fù)雜的戰(zhàn)爭場面時，從模態(tài)分析的角度來看并沒有過多種類模態(tài)的參與，而是更多以眾多士兵基于身體之間的角斗、博弈作為主要模態(tài)進(jìn)行表達(dá)，并由此產(chǎn)生高密度的視覺信息。在此過程中，高密度的信息呈現(xiàn)方式實(shí)際上是通過較少模態(tài)的簡單復(fù)制與基于模態(tài)復(fù)雜度的構(gòu)成形式而得以實(shí)現(xiàn)的。

而就影像敘事本身而言，無論銀幕影像中多種模態(tài)的視覺信息與情節(jié)敘事本身構(gòu)成怎樣的關(guān)聯(lián)度，或者說，無論這些視覺信息是否具有情節(jié)表意的功能和價值，只要可以被視覺感官所感知，就具有互動的意義。正是基于此，多模態(tài)互動分析理論將互動分析與人的意識和注意機(jī)制的分析聯(lián)系起來，通過意識和注意機(jī)制去考察不同模態(tài)的運(yùn)作及其協(xié)同關(guān)系在一個社交事件中的合理性與合法性。正如約翰·塞爾（John R. Searle）所言：“我們無法看見知覺。”[1]John R.Searle, The Rediscovery of the Mind,Massachusetts: MIT Press, 1992, p. 96.雖然“看”與“想”并非同一種行為，但基于感官感知的銀幕信息無論感知多少，本身就具有互動的意義。并且，高密度、快節(jié)奏的視聽信息可以通過感官刺激使人體迅速分泌腎上腺素，從而產(chǎn)生呼吸、心跳、血液流動加快等生理現(xiàn)象。這些生理現(xiàn)象的產(chǎn)生，也即意味著主體的體驗(yàn)已然處于一種互動的關(guān)系之中。但需要指出的是，過度龐雜甚至冗余的信息也必然導(dǎo)致一種無序的、雜亂無章的體驗(yàn)狀態(tài)，甚至可能導(dǎo)致一種接受的阻力、一種反作用力，更有可能導(dǎo)致將創(chuàng)作者所意圖表達(dá)的意義淹沒在龐雜的信息密度之中。實(shí)際上，對于當(dāng)代電影而言，敘事的目的不僅僅在于完成“意義建構(gòu)”，還需要通過多模態(tài)的互動方式，達(dá)到一種基于交互性體驗(yàn)的目標(biāo)訴求。

數(shù)字媒介時代，無論是電影，還是互聯(lián)網(wǎng)，都在社會交互性體驗(yàn)層面提供了更加豐富、基于多模態(tài)互動的交流模式。與此同時，電影作為一種社會角色、一種“社會行動者”，在基于大數(shù)據(jù)智能計(jì)算的信息社會中，愈加凸顯出在社會化功能層面作為社會價值的載體與協(xié)調(diào)者的角色身份及其社會價值和意義。作為一種基于整體分析的理論框架，多模態(tài)互動分析理論將“中介行為”（Mediated Action）作為基本的分析單位，并以人類的所有互動都是多模態(tài)互動這一理論假設(shè)為基本前提，并且在分析的過程中，尤其關(guān)注主體的意識和注意機(jī)制對多種模態(tài)的互動意義。對于數(shù)字媒介時代電影在交互性體驗(yàn)層面的分析，提供了一種有效的理論視角與理論工具，從而有別于以往以語言為中心的話語分析模式。但是就理論本身而言，多模態(tài)互動分析理論還有待于繼續(xù)完善，尤其是在基于模態(tài)的情態(tài)變量分析、社會泛文本及其情境語境對多模態(tài)互動的影響，以及多模態(tài)互動與媒介的關(guān)聯(lián)性層面，還有更多可拓展的理論空間。事實(shí)上，當(dāng)下數(shù)字媒介與流行文化、與社會心態(tài)之間，在交互性體驗(yàn)層面已然構(gòu)成緊密的關(guān)聯(lián)性。人們往往會因流行文化元素、社會心態(tài)、個體的審美差異、價值取向與基于認(rèn)知水準(zhǔn)的文化層次，以及觀影過程所處的具體情境等因素，構(gòu)成對電影“社會行為”期待的不同反應(yīng)，甚或是對電影作為社會角色的不同身份認(rèn)同。