視覺傳達(dá)多模態(tài)下的視知覺分析

馮 文 博

(渭南師范學(xué)院 莫斯科藝術(shù)學(xué)院，陜西 渭南 714099)

?

【藝術(shù)研究】

視覺傳達(dá)多模態(tài)下的視知覺分析

馮 文 博

(渭南師范學(xué)院 莫斯科藝術(shù)學(xué)院，陜西 渭南 714099)

研究數(shù)字環(huán)境下，視覺傳達(dá)多模態(tài)下人的視知覺表現(xiàn)。方法：從人類認(rèn)知事物的環(huán)境變化入手，把虛擬作為數(shù)字技術(shù)下視知覺的主要特征進(jìn)行分析，探討了人認(rèn)識活動被動到主動的轉(zhuǎn)變，并隨著對視覺信息多元化的理解，人類記憶的矛盾也開始凸顯。結(jié)論：提出了在多模態(tài)的視覺信息傳達(dá)中，人類視知覺體驗(yàn)發(fā)生了變化，視覺信息內(nèi)容表現(xiàn)形式和視覺信息傳達(dá)手段的多樣化，以及人和信息之間交互關(guān)系的增加，也讓審美主體的審美體驗(yàn)越來越個性化、風(fēng)格化。

視覺傳達(dá)；多模態(tài)；視知覺；視覺語言

一、發(fā)展變化中的視覺形式

隨著社會信息化和數(shù)字化的普及，我們面臨的視覺形式也產(chǎn)生了變化，其中最主要的變化就是視覺信息的傳播由單模態(tài)向多模態(tài)轉(zhuǎn)變。單模態(tài)下的信息傳播主要以單一的手段或者形式完成，比如圖形模態(tài)、圖像模態(tài)、聲音模態(tài)、視頻模態(tài)、交互模態(tài)等；多模態(tài)下的信息傳播可以是兩種或者兩種以上的單模態(tài)相互組合，形成傳播手段和承載形式完成信息傳達(dá)。

這種變化的主要原因在于，隨著科學(xué)技術(shù)的發(fā)展，受眾對信息載體的要求越來越高，信息的表現(xiàn)形式也越發(fā)復(fù)雜和多樣。這種多樣化的視覺信息表現(xiàn)形式在信息傳達(dá)中，不僅要考慮形式自身的表現(xiàn)能力、表達(dá)方式、形式美感以及形式中所包含的內(nèi)容，還要考慮人的視知覺反應(yīng)、群體心理特征、個體的人生經(jīng)驗(yàn)和視覺體驗(yàn)。同時在以互聯(lián)網(wǎng)為基礎(chǔ)、數(shù)字技術(shù)為支持的環(huán)境下，技術(shù)因素也是其發(fā)展的重要成因。

多模態(tài)正是在這種數(shù)字語境下出現(xiàn)的信息傳播形式。互聯(lián)網(wǎng)作為受眾日常生活的重要組成部分，正是這種生活方式的轉(zhuǎn)變使得信息傳播方式逐漸轉(zhuǎn)變，原有的單一模態(tài)的、線性的傳達(dá)形式轉(zhuǎn)為多模態(tài)、非線性的形式，數(shù)字技術(shù)更是讓這種形式有了更大的發(fā)展空間和表現(xiàn)力。

二、視知覺心理活動

(一)認(rèn)知環(huán)境的變化

視知覺是人類對事物認(rèn)知的主要手段，“而視覺知覺則包括圖形知覺、圖像識別、空間知覺等，是人從客觀環(huán)境的許多刺激物中區(qū)別某種圖形，識別熟悉的圖像，產(chǎn)生三維空間感的能力”[1]23。不論是圖形知覺、圖像識別還是空間知覺，這都是人類對認(rèn)知客體的視知覺感受，這種感受可以是圖形圖像和形狀色彩，也可以是客體的運(yùn)動變化。如果認(rèn)為這就是主體對客體的視覺知覺，那就錯了，就人類產(chǎn)生的視覺認(rèn)知來說，除了認(rèn)知客體自身外，客體所處的環(huán)境也是重要的組成部分。環(huán)境的不同，使得人類在認(rèn)知過程會產(chǎn)生差別，同樣大小的一個黑圓，分別位于大小不同的方形環(huán)境中，或者放在大小不同圓的包圍中，給人的感覺卻是形狀大小不一樣(如圖1)。同樣長短的直線因?yàn)榄h(huán)境不同，給人造成長短不一的錯覺(如圖2)。

圖1 圓的錯覺

圖2 直線的錯覺

在數(shù)字技術(shù)的影響下，視覺形式發(fā)展了(單模態(tài)到多模態(tài))，人類認(rèn)知事物的環(huán)境也逐漸發(fā)生變化。在傳統(tǒng)情況下，人類的視知覺產(chǎn)生是在一個真實(shí)的光影環(huán)境下，光線和陰影是視知覺發(fā)生的前提條件。正如阿恩海姆所說：“明暗是個別和獨(dú)立的物體的一個屬性，而光線照射卻為一切物體的存在提供了一個共同的基礎(chǔ)。有了這個基礎(chǔ)，物體和物體的各個部分才能從黑暗的深淵中顯現(xiàn)出來。”[2]442光線通過明暗、色彩、強(qiáng)弱等形成一定的環(huán)境氛圍，影響受眾的主觀視覺認(rèn)知。在視覺傳達(dá)過程中有些環(huán)境是人類有意形成的，目的無外乎加強(qiáng)信息表現(xiàn)的力度，加強(qiáng)視知覺的強(qiáng)度。換句話說環(huán)境也是有“意味的形式”。環(huán)境的視覺認(rèn)知主要是以色彩、光影的象征、主體和背景相互對比襯托來實(shí)現(xiàn)的(如圖3)。這種襯托的元素越多，主體的視知覺范圍越明確，襯托環(huán)境數(shù)量、內(nèi)容、關(guān)系的變化影響人的視知覺認(rèn)知。在新的數(shù)字語境下，人類的視知覺環(huán)境發(fā)生了改變，虛擬是其主要特征。虛擬是相對于真實(shí)環(huán)境而言的，數(shù)字虛擬下的視覺認(rèn)知環(huán)境，更多地依靠計(jì)算機(jī)、數(shù)據(jù)頭盔、環(huán)幕、數(shù)據(jù)手套、全息投影等技術(shù)設(shè)備來實(shí)現(xiàn)。這種虛擬環(huán)境人為因素比真實(shí)環(huán)境要大得多，真實(shí)環(huán)境下的人為設(shè)計(jì)雖然也有，但是大都因勢利導(dǎo)，不像虛擬環(huán)境中純粹的人為設(shè)計(jì)操作，使得信息的傳達(dá)更具目的性。

圖3 在黑色背景襯托下的白色三角

(二)從被動接受到主動參與

人類的認(rèn)知活動是從知覺開始的，當(dāng)感覺的視覺信息被注意才能完成識別。人類的注意行為通常分為主動注意和被動注意，被動注意是因?yàn)榭腕w對象的原因，刺激到受眾從而產(chǎn)生注意行為。傳統(tǒng)環(huán)境中，被動注意下的視覺信息是信息編碼者提前編輯設(shè)計(jì)好的，受眾只能被動接受，在認(rèn)知過程中處于被動接受地位，然后提出批評。如某個活動的標(biāo)志設(shè)計(jì)、海報、宣傳標(biāo)語、形象大使、宣傳片等，這種提前被設(shè)計(jì)好的視覺信息受眾無權(quán)修改變換，只能被動接受。主動注意指的是受眾有意識的認(rèn)識客觀對象，而產(chǎn)生的意識行為。主動注意下受眾的行為模式會受到改變，在信息的編碼和解碼過程中，受眾會成視覺語言信息的主導(dǎo)者，從而主動參與到信息傳播過程中。如在數(shù)字環(huán)境中我們了解一個地方，除了在官方網(wǎng)站、微博、微信和信息圈中，通過圖形圖像、視頻動畫、交流互動等了解其文化意義表達(dá)外，我們又可以主動參與其中，把自己對該地方的了解通過數(shù)字手段表達(dá)出來，個人的表達(dá)可能會有些偏頗，但是不能否認(rèn)它在一定程度上完善了該地方的視覺語言，有甚至還會成為該地方另一個文化。視覺語言的多模態(tài)呈現(xiàn)則最大化的加速了這一過程，其加速不僅體現(xiàn)在視覺信息交流手段方式的變化，更體現(xiàn)在視覺信息內(nèi)涵的拓展上。

(三)對視覺信息的理解多元化

隨著人們逐漸參與到視覺信息本體的構(gòu)建上來，把自己對視覺對象的理解看作是對象的一部分，不再人云亦云，隨之而來的就是人們對視覺信息表達(dá)方式提出更高的要求，于是視覺信息多模態(tài)表現(xiàn)應(yīng)運(yùn)而生。應(yīng)該說這兩者之間是一個相輔相成的關(guān)系，相互促進(jìn)的關(guān)系，多模態(tài)化視覺信息表達(dá)手段豐富了人類的語言表達(dá)能力，人類對信息本質(zhì)的追求又更進(jìn)一步促進(jìn)了表達(dá)手段的發(fā)展。就認(rèn)知心理學(xué)來說，人類所有的行為意識，都可以理解為對信息對象的問題解決過程，從對信息的輸入認(rèn)識—信息的編碼加工—信息的輸出傳播，無不顯示其對信息的理解。數(shù)字環(huán)境下的今天，人們對信息尤其是視覺信息的認(rèn)知已經(jīng)到了主動階段，也就是說人們不僅僅限于對視覺信息本身的認(rèn)識，更要求在自我理解下對其進(jìn)一步進(jìn)行設(shè)計(jì)加工，形成視覺表達(dá)，進(jìn)而進(jìn)入大眾傳播(如圖4)。

圖4 視覺信息多元化示意圖

認(rèn)知心理學(xué)之所以被稱之為信息加工理論，就是因?yàn)樗孕畔⒓庸楹诵膩砝斫夂徒忉屓祟惖母邔哟嗡季S活動和信息加工之間的關(guān)系。在這種關(guān)系下多模態(tài)化視覺信息被人的視知覺感知，通過知覺、注意、理解、思維活動、視覺語言和人工智能等方式完成。

(四)記憶矛盾顯現(xiàn)

普通心理學(xué)將記憶定義為：經(jīng)驗(yàn)的印留、保持和再作用的過程。[3]71記憶的過程就是把感知到的信息經(jīng)過編碼轉(zhuǎn)化成人腦可保存的模式。如果說傳統(tǒng)環(huán)境下記憶的目的是存儲，那么視覺語言多模態(tài)情況下記憶的目的已經(jīng)不再僅僅是存儲，更多的是信息二次加工，是對信息的解碼到編碼加工的過程。多模態(tài)化的視覺信息傳播使得信息源在更直觀的方式下被識別、記憶，同時其內(nèi)涵也不斷得到擴(kuò)充。隨著人的知覺經(jīng)驗(yàn)不斷增加，人類在數(shù)字技術(shù)的支持下，利用人機(jī)交互的手段、通過多模態(tài)的方式，信息源被無限的抽象和簡化了。

三、信息多模態(tài)下思維活動模式分析

(一)思維活動的變化

人的思維活動，不僅受認(rèn)知環(huán)境影響，更是受到信息傳達(dá)手段、方式的影響。當(dāng)我們的神經(jīng)元感受到的信息越多，信息強(qiáng)度越大，大腦所產(chǎn)生的思維反應(yīng)就越大。信息單模態(tài)下，大腦接受的信息比較單一，思維活動相對的比較單一，層級也比較低。信息多模態(tài)下，大腦接受得信息渠道變多，手段變強(qiáng)，本來只是一個圖形模態(tài)傳遞的信息，變成聲音、文字、圖形圖像、視頻等多個模態(tài)組合傳播(如圖5)，受眾可在角度、多層級，多維度的了解信息，思維活動相應(yīng)的也變得強(qiáng)烈深刻起來，受眾的思維受到的影響因素隨之變得多起來。

圖5 信息多模態(tài)下視知覺活動

(二)視知覺的變化

信息多模態(tài)下，人的思維活動變化了，相應(yīng)的人的視知覺也跟著改變。首先改變的是人的視覺注意力，人的視覺注意力一般受客體和客體存在環(huán)境的影響，信息多模態(tài)下，客體表達(dá)方式多樣化以及虛擬環(huán)境的強(qiáng)化認(rèn)知，使得視覺注意力得到加強(qiáng)；其次視覺記憶加快了，當(dāng)人單獨(dú)通過視覺記憶感知一個物體時，思維所形成的聯(lián)想和想象是單純的視覺式的，如果這種記憶感知再配合聽覺、嗅覺、觸覺等方式，其造成聯(lián)想和想象則是立體的、全方位的，這種對神經(jīng)元多層次的沖擊，讓記憶的速度被無限加快了。第三就是視覺想象力的降低，當(dāng)我們告訴一個人獅子的外貌的時候，他對獅子的想象則是無窮大的，是各式各樣的，因?yàn)檫@一切全部源于你的語言描述，就如同中國民間藝人對獅子的造型一樣。但是當(dāng)你不僅讓他看了獅子的造型，還介紹甚至讓他身臨其境感受獅子的威猛，那么它對獅子的想象就受到局限，他甚至再也畫不出個性化的獅子造型來。這種多角度的信息傳達(dá)，就是這樣，它讓受眾對對象的理解變得簡單，讓受眾的想象力受到約束。最后圖形的識別能力得到加強(qiáng)，單純的視覺信息，讓人對圖形的辨別能力降低，多模態(tài)的信息傳達(dá)，則使得受眾可以得到多種提示，來加強(qiáng)視覺認(rèn)知。

(三)視知覺思維模式

在新的數(shù)字環(huán)境下，受眾的思維活動變得更加活躍和強(qiáng)烈起來，視知覺的注意力進(jìn)一步加強(qiáng)，視覺記憶加快，對圖形圖像的識別能力變強(qiáng)，不過相應(yīng)的視覺想象力降低。在這種情形下視覺思維的模式也有了變化。通常我們談到思維模式，就會說理性思維、感性思維、線性思維、非線性思維等，在信息多模態(tài)傳達(dá)下，思維活動已經(jīng)不是單純的某一種模式，而是多樣的結(jié)合。我們可以把它稱之為技術(shù)藝術(shù)思維模式，技術(shù)藝術(shù)思維模式是一種把技術(shù)的理性思維和藝術(shù)的感性思維相結(jié)合的復(fù)合型思維類型。這種思維模式在活動過程中，具備群體性思維、互動性思維、合作性思維、資源性思維和形式思維五個特點(diǎn)。[4]26-27

四、信息多模態(tài)下視知覺體驗(yàn)特征

(一)視知覺的選擇性

隨著人類認(rèn)知環(huán)境的逐漸變化，在虛擬環(huán)境中，受眾面臨對象的表達(dá)方式以多樣的形式呈現(xiàn)出來，(好比圖形圖像的表述手段，可以有若干種不同的藝術(shù)形式表達(dá)每一種的審美體驗(yàn)和視覺感受都不相同，達(dá)達(dá)主義的、表現(xiàn)主義的、水墨風(fēng)格的、剪紙、皮影、刺繡等民間風(fēng)格的)這么多種形式以及形式的組合方式，帶給受眾的則是多樣化的選擇。

當(dāng)然除了選擇客體的視覺表現(xiàn)形式外，視覺認(rèn)知方式也是可以選擇的。視覺認(rèn)知方式就是人類在網(wǎng)絡(luò)虛擬環(huán)境中采用什么手段認(rèn)知對象。視覺信息多模態(tài)下，不僅視覺信息的承載媒介或者信息傳達(dá)的技術(shù)手段有多樣化的選擇，比如現(xiàn)代科學(xué)技術(shù)給我們提供的諸如電腦、手機(jī)、數(shù)據(jù)頭盔、數(shù)據(jù)手套、觸摸屏、環(huán)幕、增強(qiáng)現(xiàn)實(shí)技術(shù)等，每一樣都可以增強(qiáng)人類視知覺認(rèn)知上的能力；而且視覺信息表現(xiàn)的多模態(tài)化，也使得視知覺的選擇多樣起來，視知覺可以選擇單一模態(tài)的文字、圖形、圖像、視頻、虛擬對象等，也可以多模態(tài)的方式呈現(xiàn)。

(二)視知覺的交互性

視覺語言的信息傳播，在數(shù)字技術(shù)的支持下從單向已經(jīng)變化為雙向的。單向傳達(dá)指的是視覺信息的編碼到解碼的過程，比如傳統(tǒng)的讀書看報，聽廣播看電視。雙向傳達(dá)指的是視覺信息的輸入到信息的加工再到信息傳播的過程雙向可逆性(圖4)。這一情況在數(shù)字技術(shù)的介入下已經(jīng)成為信息主客體雙向變化影響的過程，客體在向主體傳遞信息的時候，主體因其生活經(jīng)驗(yàn)的不同，知識、學(xué)歷、認(rèn)知等背景差別，視角的變化，會以自身反饋給客體，使得信息客體的內(nèi)涵變化更豐富起來，而且這種變化在現(xiàn)代技術(shù)的支持下會及時作用于信息客體。甚至?xí)驗(yàn)橐恍┥缃幻襟w如微博、微信平臺、網(wǎng)絡(luò)、聊天平臺等讓信息和受眾的交互上升到受眾—信息—受眾的多方互動，這種多模態(tài)的信息交流方式，讓人類認(rèn)知得到極大化的提升，事物本質(zhì)也被這種交互的方式從更多的角度得以挖掘。

就交互性來說，新媒體下的交互有兩種表現(xiàn)形式，一種是桌面式交互，一種是現(xiàn)場式交互。[5]38桌面式交互主要是通過電腦、手機(jī)、PDA、電子閱讀器、iPad等屏幕來實(shí)現(xiàn)，以鼠標(biāo)或觸屏為交互手段，這種交互方式中，視知覺的多模態(tài)體驗(yàn)局限在視聽交互層次，比如多媒體動畫、虛擬漫游、虛擬展覽館、VR展示等。這種桌面式的人機(jī)互動把純粹的視覺動畫和受眾的參與結(jié)合起來，讓人身臨其境，極大地拓展了人的視覺主動性，對信息的接受也由完全被動變?yōu)橛羞x擇性的主動參與。2008年故宮的“超越紫禁城項(xiàng)目”就是這樣一個典型，受眾在網(wǎng)絡(luò)上進(jìn)入故宮，并且體驗(yàn)大臣、宮女、太監(jiān)等不同身份，感受皇宮不同的活動，如同游戲一般?，F(xiàn)場式交互多是借助虛擬現(xiàn)實(shí)技術(shù)，通過多通道的人機(jī)交互來讓受眾體驗(yàn)包括視覺、味覺、觸覺、聽覺等在內(nèi)的沉浸式體驗(yàn)。這種形式的信息感知更多樣，已不僅僅局限于視知覺。

(三)視知覺的審美體驗(yàn)的個性化

眾所周知，視覺藝術(shù)的審美樣式來自于專業(yè)的圖形圖像設(shè)計(jì)師和藝術(shù)家的手中，但是隨著20世紀(jì)60年代后期，波普藝術(shù)在世界范圍內(nèi)流行開來，它打破了生活和藝術(shù)的界限，打破了高雅和低俗的界限，使得藝術(shù)走向了大眾化、個性化、通俗化的方向。而這一過程被互聯(lián)網(wǎng)無限加快和放大了。人民群眾的生活、學(xué)習(xí)、工作等都受其影響，在這里人人都是P圖高手，人人都是視覺符號的設(shè)計(jì)者和傳播者，手機(jī)隨手隨時拍的圖片視頻，飛快地在一個個事物周圍形成信息群，這些信息群也因?yàn)樵O(shè)計(jì)者審美背景的差異，形成視覺表現(xiàn)百花齊放的情形。

視覺語言的多模態(tài)化讓受眾之間出現(xiàn)了分化，形成了一個一個群體，這些群體因?yàn)槁殬I(yè)不同、信仰差異、知識學(xué)歷背景、民族、地域等聚在一起，他們的審美認(rèn)知有著這樣那樣的相似點(diǎn)。相似的社交群之間又因?yàn)閭€體的差異，在信息視覺表達(dá)中呈現(xiàn)個性化的特征。

(四)全色相的色彩感知

色彩不是視覺傳達(dá)下的一個表達(dá)模態(tài)，它的信息傳達(dá)通常要借助某種具體的形式來完成。傳統(tǒng)的單模態(tài)下，色彩是減色模式，以印刷色為主。新媒體環(huán)境下，多模態(tài)的傳達(dá)模式過程中，色彩的表現(xiàn)發(fā)生了很大變化，主要表現(xiàn)為RGB模式的應(yīng)用。RGB模式是一種紅色、綠色、藍(lán)色相互疊加混合而成的色彩模式，也叫加色模式。這種模式是一種屏幕顯示模式，它主要用于網(wǎng)絡(luò)多媒體的顯示上。色彩有16777216種之多，幾乎顯示了人眼所能感知的和不能感知的所有顏色。色彩對視知覺的影響除了顏色數(shù)量外，顏色強(qiáng)度(明度和飽和度)也是一個很重要的因素。RGB模式下顏色強(qiáng)度到了一個新的高度，尤其是顏色之間的組合使得這個高度范圍更廣更大。從手機(jī)、電腦顯示屏到立體投影，人能感知的色彩效果越來越多。

總而言之，在讀圖時代的今天，人們對事物的觀察，對事件本質(zhì)認(rèn)知，已經(jīng)越來越多的依賴更加直觀的視覺形式(圖形圖像、視頻)，越來越多的通過多模態(tài)化的語言模式，通過現(xiàn)代各種數(shù)字媒介來實(shí)現(xiàn)。人們主動的參與到信息源的構(gòu)建，他們既是設(shè)計(jì)者和傳播者又是接受者，這種主動的心理態(tài)勢也讓信息的內(nèi)涵呈現(xiàn)出動態(tài)的組成中。相應(yīng)的多模態(tài)視覺語言下的視知覺也出現(xiàn)了多樣化特點(diǎn)，人類可以在多樣選擇中，通過人機(jī)交互的方式完成個人的審美體驗(yàn)之旅。

[1] 曹方.視覺傳達(dá)設(shè)計(jì)原理[M].南京：江蘇美術(shù)出版社，2005.

[2] [美]魯?shù)婪颉ぐ⒍骱Ｄ?藝術(shù)與視知覺[M].滕守堯，譯.成都：四川人民出版社，2005.

[3] 張祖述，沈德力.基礎(chǔ)心理學(xué)[M].北京：教育科學(xué)出版社，1987.

[4] 楊崗，羅維亮.技術(shù)和藝術(shù)思維[M].西安：西北大學(xué)出版社，2010.

[5] 李四達(dá).數(shù)字媒體藝術(shù)[M].北京：清華大學(xué)出版社，2012.

【責(zé)任編輯 郝丹娜】

An Analysis of Visual Perception from the Multi-modal Visual Communication

FENG Wen-bo

(Moscow Art School, Weinan Normal University, Weinan 714099, China)

The paper is to study the visual perception performance of human beings under the multi-modality of visual communication in the digital environment. From the environment change of human cognition, it analyzes the main features of virtual perception as digital technology, and discusses the change from passive to active. And with the understanding of visual information diversification, the contradiction of human memory also began to highlight. Conclusion. In the multimodal visual information transmission, human visual perception experience has changed, visual information content expression forms and visual information communication means diversification, as well as the interaction between human and information increase, which makes the subject’s aesthetic experience individualized and stylized.

visual communication; multi-modal; visual perception; visual language

J0-05

A

1009-5128(2016)23-0093-05

2016-10-09

渭南師范學(xué)院特色學(xué)科建設(shè)項(xiàng)目：秦東非遺文化傳承的多模態(tài)(14TSXK09)

馮文博(1979—)，男，陜西咸陽人，渭南師范學(xué)院莫斯科藝術(shù)學(xué)院副教授，藝術(shù)學(xué)碩士，主要從事民間藝術(shù)數(shù)字化研究。