淺析交互式媒體中非語言符號的敘事功能

郭 奇（中國美院上海設(shè)計學(xué)院200000）

淺析交互式媒體中非語言符號的敘事功能

郭 奇（中國美院上海設(shè)計學(xué)院200000）

交互式媒體作為下一代主流媒介形式，承載著信息傳遞的重要使命。交互式媒體在保留傳統(tǒng)媒體語言符號和非語言符號的基礎(chǔ)上，通過高科技的交互形式，衍生出更多帶有敘事功能的非語言符號。這些非語言符號不但通過增強視覺產(chǎn)生，還會通過體感和手勢動作創(chuàng)造而出。如能合理的掌握和運用這些非語言符號，來增強媒體的敘事能力，以滿足交互媒體時代的藝術(shù)創(chuàng)作需求。

交互式媒體；電影化敘事；非語言符號

交互式媒體開啟了人與機器的全方位溝通。從鍵盤、鼠標(biāo)到觸控和體感，交互隨著媒介的變化進行概念的重新定義。智能化便攜終端、語音和體感捕捉、增強現(xiàn)實和虛擬成像技術(shù)將會是未來文化傳播與娛樂媒體的核心內(nèi)容。交互使得影視的二次或者多次傳播得以實現(xiàn)1。被稱為第三代電影的影視媒體將是圍繞交互技術(shù)創(chuàng)作的全新電影形態(tài)。非語言符號在影視媒體信息傳遞中大量存在，例如音樂音效、蒙太奇、燈光色彩和鏡頭運動等。而伴隨著科學(xué)技術(shù)和觀念革新的交互式媒體，則衍生出更多種類的非語言符號，影響并改變了媒體影像的敘事功能。

一、影像媒體發(fā)展各階段的非語言符號敘事特征

傳統(tǒng)影像媒體的本質(zhì)是運用電影化的技巧通過視聽媒介進行敘事，視聽科技的發(fā)展不斷豐富影像媒體的敘事表現(xiàn)材料，主要變革體現(xiàn)為以下方面。

1.非語言符號大量運用、電影化的敘事技巧的不斷革新。電影化是電影特有的講故事方式，非語言符號在蒙太奇、音樂、光影和構(gòu)圖中被著重研究。隨著視聽和科技的發(fā)展，燈光、字體和機械控制的進步引領(lǐng)影像媒體敘事技巧的變化。

2.視聽媒介在技術(shù)進步的浪潮中快速發(fā)展。從無聲到有聲，從高保真環(huán)繞立體聲到數(shù)字化音響系統(tǒng)，從IMAX巨幕電影到3D立體攝像技術(shù)，從標(biāo)清到8K畫幅圖像，和今后的增強現(xiàn)實、全息投影等技術(shù)都在視聽上起到舉足輕重的作用。

3.電影始于故事并終結(jié)于故事2。敘事藝術(shù)是電影的終極追求，導(dǎo)演們總是執(zhí)著于如何講好故事，故事“講”得好聽，觀眾對該影片才會有代入感，從而引發(fā)共鳴。交互性的介入讓影像媒體的敘事方式轉(zhuǎn)向多線性、主觀能動性，創(chuàng)作的開放性。交互性讓觀眾參與“講故事”，在敘事上與以前的媒體形式大不一樣，其中除了傳統(tǒng)的語言和非語言符號外，延伸出更多的非語言敘事形式。

二、交互式媒體中非語言符號的敘事功能體現(xiàn)

1.主觀視覺選擇

主觀視覺選擇是交互式媒體與觀眾互動的主要形式之一，也是影響影視作品敘事的主要因素之一。當(dāng)觀眾與虛擬現(xiàn)實媒介發(fā)生交互活動時，觀眾可以主觀能動的操控視線投射的圖像位置，以此來選擇所顯現(xiàn)的畫面或內(nèi)容。由谷歌公司開發(fā)創(chuàng)作的360度全景式電影Google Spotlight Stories，現(xiàn)以APP的方式在移動平臺投放，用戶可以觀看1部真人短片和3部動畫短片。用戶觀看影片時，可以通過移動和旋轉(zhuǎn)屏幕，來環(huán)顧電影場景中的其它角度，而不是導(dǎo)演安排的固定視角。這時的觀眾被賦予了更多參與影片敘事的權(quán)利，用于敘事的鏡頭語言的控制權(quán)到了觀眾手里，觀眾通過自主的視覺選擇來完成故事講述。非語言符號的創(chuàng)作不只是來源于導(dǎo)演，觀眾參與了攝像和剪輯的部分工作，也就是自發(fā)創(chuàng)造了用于敘事的非語言符號。

2.觀眾的肢體動作交互

我們的行為動作讓我們和周圍的空間發(fā)生聯(lián)系，從與環(huán)境互動中感受空間。影視作品通過虛構(gòu)具有真實感的空間來獲得觀眾的認(rèn)同，新媒體則更注重對空間的塑造，與觀眾產(chǎn)生互動。從以電腦為基礎(chǔ)的媒體產(chǎn)品出現(xiàn)的一刻起，空間就一直是新媒體作品的中心觀念。3觀眾通過體感攝像頭或紅外設(shè)備輸入動作，便可以實現(xiàn)與虛擬景象的互動。這時觀眾的行為將轉(zhuǎn)化為一種非語言符號參與敘事之中，影響敘事中每一件物體或者是事件，成為故事的一個組成部分。揮手，射擊，站立或蹲下等觀眾行為轉(zhuǎn)化為符號輸入進程序，使電影場景中的虛擬物體產(chǎn)生相應(yīng)的反饋：例比如環(huán)境中的落葉、雪花或是放棄主角轉(zhuǎn)而向“你”跑來的恐龍等。這種交互除了適合大型博物館或主題展覽以外，也同樣適合電影院，5D動感電影就需要觀眾做出射擊、蹲下等動作進行指令輸入，同時運用動感座椅設(shè)備和聲光效果增加娛樂交互性。

7D電影的優(yōu)勢在于操作性和游戲性，但同時面臨3D特效電影曾遭遇的困境：敘事的無力。3D技術(shù)的風(fēng)險在于，有可能分散觀眾對故事、情感以及富有藝術(shù)創(chuàng)意的細(xì)節(jié)的關(guān)注。4如何在增加交互性的同時表現(xiàn)精彩的故事，是7D電影和其它交互式媒體共同面對的問題。

3.網(wǎng)絡(luò)交互界面的手勢符號

互聯(lián)網(wǎng)影片作為交互媒體重要的組成部分，有龐大的用戶基礎(chǔ)。它基于網(wǎng)絡(luò)技術(shù)，傳播快而有效、影響力大。隨著HTML5技術(shù)的成熟，互聯(lián)網(wǎng)影片的交互性變得更加容易實現(xiàn)。在美國互動式電影短片網(wǎng)站The wilderness downtown上，觀眾只需在網(wǎng)站上輸入自己的家庭地址，就會自動生成微電影短片。短片采用多畫面形式并全部由瀏覽器視窗展現(xiàn)，影片內(nèi)容則由實拍片段和谷歌街景地圖組成?；贖5技術(shù)支持，在影片播放中觀眾可以與視窗中的電腦動畫互動，影片結(jié)束后還可以進行社交互動。隨著觸摸顯示器的普及化以及各種操作系統(tǒng)對手勢控制的識別支持，手勢控制最終會取代局限性較大的鼠標(biāo)鍵盤控制，演變成更為人性化的操作體驗。不同的手勢對應(yīng)不同的輸入符號，例如兩指分開即為放大、單指滑動是翻頁等等。手勢符號衍生為一種用于人機交互的公認(rèn)代碼，類似傳統(tǒng)的字母縮寫和標(biāo)識圖形，成為交互媒體中無可替代的非語言符號。

法國Quantic Dream公司于2010年開發(fā)的PS3平臺游戲《暴雨》，是一款運用電影化語言設(shè)計，并當(dāng)作電影來開發(fā)的交互式媒體游戲。游戲運用經(jīng)典的QTE操作體現(xiàn)出游戲與玩家的交互。即在劇情發(fā)展時會有許多時間點需要用戶進行互動操作，用戶通過用方向搖桿來輸入簡單的指令以完成動作，指令的操作方式模擬我們?nèi)粘Ｐ袆拥淖藨B(tài)，生成的行為會決定事件是否被觸發(fā)。這款游戲雖沒有針對觸摸屏幕開發(fā)，但其將手勢操作作為一種非語言符號，貫穿于整部作品之中，讓觀眾在操作中和故事的主角一起體驗跌宕起伏的劇情。

4. 虛擬空間距離

在非語言符號的研究中，美國學(xué)者E?霍爾提出人際關(guān)系和人彼此間的空間距離有直接聯(lián)系的觀點。他認(rèn)為不同的人際距離對信息和情感的傳遞產(chǎn)生不同的作用，人與人距離接近則親密，反之則疏遠(yuǎn)。同時，人所處空間大小的差異也會帶來情感的變化，狹窄的空間會產(chǎn)生壓抑的情感，寬廣的空間則感覺舒暢。這些因空間而產(chǎn)生的情緒變化在交互性媒體中更為突顯，是過去傳統(tǒng)媒體所無法顯現(xiàn)的。

在美國環(huán)球影城變形金剛和哈里波特等主題展館中，運用了最高科技的全息影像和球幕電影設(shè)備，讓觀眾獲得以假亂真空間感受。場景的轉(zhuǎn)換，鏡頭的推拉和觀眾的位置改變相呼應(yīng)，虛擬空間營造出的極具氣勢的氣氛，觀眾和影片建立起了無法割舍的情感線。

三、 交互式媒體非語言符號的敘事特點

1. 沉浸式體驗中的交互性敘事

電影和游戲的訴求是讓觀眾置身于影像營造的故事之中。虛擬現(xiàn)實設(shè)備可以將用戶的視覺聽覺封閉，用數(shù)字化的影像來替代實景，加上環(huán)繞立體聲、動作跟蹤、觸覺反饋等技術(shù)來全方位傳遞真實的感受，以讓觀眾獲得沉浸式體驗。電影化的非語言符號通過攝像機位置和角度、符號化的輸入界面、虛擬的空間距離和觀眾的肢體動作反饋產(chǎn)生，影響著敘事的進程，讓講述與被講述的關(guān)系變得更加接近。

2. 交互媒體敘事中非語言符號認(rèn)知的統(tǒng)一性

美國學(xué)者提出“觀眾對統(tǒng)一性的追求成就了電影敘事的動機”的觀點。傳統(tǒng)電影敘事中，觀眾對于電影主題的理解來源于對于電影化語言的認(rèn)知能力，例如蝎子代表惡毒陰險這個概念的認(rèn)同是達成共識的，它來源于文化學(xué)習(xí)的經(jīng)驗和生活的經(jīng)歷。交互媒體產(chǎn)生的全新非語言符號要產(chǎn)生認(rèn)知的統(tǒng)一，一部分繼承了現(xiàn)有的電影化語言，另一部分將由行業(yè)標(biāo)準(zhǔn)來進行統(tǒng)一，例如手勢和肢體運動的規(guī)范。一旦形成了新的規(guī)范，這些人機交互所運用的行為和動作將成為非語言符號中即定的概念，最終將形成一套適用于交互環(huán)境的識別系統(tǒng)。

統(tǒng)一的非語言符號對于敘事的流暢性和可行性有著重要的指導(dǎo)作用。在單人交互時，交互操作的統(tǒng)一化方式有助于為交互媒體的普及樹立規(guī)范標(biāo)準(zhǔn)，幫助相關(guān)行業(yè)的生產(chǎn)和開發(fā)。而在以公共影院為環(huán)境的場所中，多人交互需要能夠調(diào)動觀眾的統(tǒng)一性，因為選擇的分歧會阻礙劇情的進展。互動的設(shè)計最好能是帶有統(tǒng)一性的操作，例如運用按鍵的頻率、或是擊中的次數(shù)來決定劇情發(fā)展的分支。而多人交互時影院的座位排列可能會甚現(xiàn)環(huán)形或是可變換的，這在現(xiàn)代的球幕電影院中可以看到雛形，目的是使得每個觀眾與播放媒介的視角和距離統(tǒng)一，便于獲得更為統(tǒng)一的敘事體驗。

3. 交互媒體非語言符號引導(dǎo)的多線敘事

由于交互式媒體中非語言符號的空間性和主觀選擇性功能，敘事所要求的空間也具有更多不確定性，由此帶來的觀眾對敘事效果的反饋也將會是多樣化的，觀眾不同的選擇會導(dǎo)致敘事不同的內(nèi)容和形式，得到不同的結(jié)局和情感。多線敘事將會對未來交互式媒體的情節(jié)設(shè)計和表現(xiàn)手法有更高要求，但這并不等于內(nèi)容的堆積和線索的混亂，敘事還必須保持形式和內(nèi)容統(tǒng)一的基本原則，以足以讓觀眾能體驗到影像媒體敘事的藝術(shù)感染力。

在國產(chǎn)原創(chuàng)動畫《亡命雞禮花》的公眾放映活動中，觀眾需要通過快速按鍵來讓主人公逃離敵方的魔爪，這種在故事進程中需要觀眾輸入指令的方式類似前文提及的QTE操作。根據(jù)操作的成功與否會引發(fā)兩種故事走向。而早在2003年用DVD光盤發(fā)行的美國3D動畫《龍與地下城》，運用了DVD的可控制界面來進行劇情分支的選擇，并獲得不同的結(jié)局。這類似日本非常流行的AVG式游戲類型，通過玩家的對事件判斷和角色對話de選擇來引發(fā)多線故事進程，玩家通過抉擇改變主人公的命運，與劇中角色的情感產(chǎn)生共鳴。

四、交互媒體非語言符號敘事的跨界學(xué)習(xí)

交互媒體是媒體影像進入數(shù)字時代以來的劃時代變革。隨著視聽技術(shù)的快速進步，多媒體敘事對語言和文字的依賴越來越少。交互媒體融合了游戲化的非語言符號，引導(dǎo)觀眾自發(fā)能動的進行敘事。7D動感交互電影就是通過新穎生動的游戲化敘事形式，讓觀眾從視覺和體感上全方位體驗故事內(nèi)容帶來的震撼感受。

除了游戲化的非語言符號，向繪畫和動漫中跨界學(xué)習(xí)的非語言符號也有很多。電影《急速賽車手》《罪惡都市》等分別是向日本和美國漫畫的致敬的典范之作。美國電影和敘事漫畫的結(jié)合，不僅甚現(xiàn)體制化趨勢，這反映在華納公司重組DC漫畫、迪斯尼公司收購神奇漫畫等舉措上，而且也表現(xiàn)出日益與黑色電影融合的新趨勢。5而游戲、動漫和電影三者結(jié)合的經(jīng)典案例則是前不久獲得很高評價的美國影片《明日邊緣》，其中運用了游戲讀檔和生命循環(huán)的概念講述了一個科學(xué)幻想故事，獲得多數(shù)游戲玩家和動漫愛好者的認(rèn)同。當(dāng)今電影改編動漫游戲作品的案例舉不勝舉，這也成為商業(yè)電影能夠繼續(xù)保持消費力的關(guān)鍵因素。以經(jīng)濟為尺度，將那些已經(jīng)征服了第一批公眾的主題改編，為電影工業(yè)提供食糧。6

隨著新媒體技術(shù)和智能化硬件的不斷革新，交互式媒體的跨界融合使得其敘事功能得到拓展。交互式媒體一方面延續(xù)電影化敘事優(yōu)勢、繼承視聽媒體的藝術(shù)特征，另一方面將其特有的非語言符號提煉而出，為未來的數(shù)字藝術(shù)作品增添了更多表現(xiàn)手段。同時，交互媒體的對于硬件的需求和依賴，也會吸引更多的游戲廠商和數(shù)碼設(shè)備制造商加入，形成百花齊放的態(tài)勢。未來可以預(yù)見的是，交互媒體的創(chuàng)作將以豐富的手段、先進的藝術(shù)創(chuàng)作理念和不斷發(fā)展的科學(xué)技術(shù)，書寫未來數(shù)字媒體行業(yè)的新篇章。

注釋：

1.包鵬程汪伶俐.媒介融合對影視生產(chǎn)和傳播的影響[A].見:張阿利.新世紀(jì)新十年中國影視文化的形勢、格局與趨勢[C].北京：中國電影出版社，2010:48.

2.詹妮弗?范茜秋（美）.電影化敘事[M].廣西:廣西師范大學(xué)出版社，2009:15.

3.孫紹誼.電影經(jīng)緯——影像空間與文化全球主義[M].上海:復(fù)旦大學(xué)出版社，2010:188.

4.李亦中趙菲.辯證看待3D電影熱[A].見:張阿利.新世紀(jì)新十年中國影視文化的形勢、格局與趨勢[C].北京：中國電影出版社，2010:25.

5.孫紹誼.電影經(jīng)緯——影像空間與文化全球主義[M].上海:復(fù)旦大學(xué)出版社，2010:99.

6.雅克琳娜?納卡奇[法]/著巫明明/譯.好萊塢電影[M].北京:中國電影出版社，2008:94.

郭奇，中國美院上海設(shè)計學(xué)院，講師。