《話語、視覺、認(rèn)知》介紹

王立瓊 李 冰

（紅河學(xué)院 外語學(xué)院，云南 蒙自 661100）

1.前言

《話語、視覺、認(rèn)知》（Discourse，Vision，and Cognition）是由John Benjamins出版社2008年推出的 “人類認(rèn)知加工”系列叢書，本書是該系列的第23冊，包含了前言、文獻、索引（作者索引，主題索引）及9章節(jié)的內(nèi)容，由瑞典的隆德大學(xué)博士Jana Holsanova編著。

Jana Holsanova的研究領(lǐng)域主要是神經(jīng)學(xué)與認(rèn)知學(xué)，她最近的研究涉及了報紙文本、圖像感知行為及讀者模式等。其論文“Entry Points and Reading Paths and Newspaper Spreads”被中國學(xué)者大量引用。由于她高級研究員的有利身份，在她的實證研究中，運用了眼動追蹤報告、多模態(tài)分析及大量的口語腳本資料。本書正是作者多年實驗研究成果的結(jié)晶，它基于話語分析與認(rèn)知主導(dǎo)的行為研究，探討了語言、視覺和認(rèn)知的關(guān)聯(lián)問題。

Jana Holsanova認(rèn)為要直接揭示人類的認(rèn)知過程是不可能的，如果想知道大腦是如何工作的，就必須通過間接而明晰的解釋，比如分析口頭描述話語、圖畫感知及心理意象之間的關(guān)聯(lián)，為此作者進行了這方面的研究。

2.內(nèi)容簡述

第一章：Segmentation ofSpoken Piscourse（口語話語切分）

本章有4節(jié)，是作者進行進一步研究的理論基礎(chǔ)。本章主要涉及了口語描述話語的切分。

作者首先解釋了言語是以噴發(fā)狀態(tài)產(chǎn)出的，具有停頓、猶疑、打斷、重新開始等不流暢特質(zhì)，所以提供了探索認(rèn)知思維的線索。為了分析口頭語的表達(dá)產(chǎn)生，作者把口頭語轉(zhuǎn)錄，轉(zhuǎn)錄的數(shù)據(jù)包含話語特質(zhì)、韻律及非言語特質(zhì)。說話者切分話語及創(chuàng)造整體及局部的轉(zhuǎn)移，這反映了在話語產(chǎn)出時一定的認(rèn)知節(jié)奏（cognitive rhythm）。很多理論提出一次只可以關(guān)注一定的小信息量，但是至于信息量的大小和形式眾說紛紜。所以作者為了進一步研究，她定義了反映人類注意力的口頭描述話語最重要的單位——言語焦點（verbal focus）、言語超焦點（verbalsuperfocus）。接下來，作者介紹了口語數(shù)據(jù)切分規(guī)則，除了韻律、聽覺標(biāo)準(zhǔn)外，還介紹了語義標(biāo)準(zhǔn)及話語標(biāo)記。之后作者對母語聽話者及非母語聽話者進行切分標(biāo)準(zhǔn)的直覺測試，得出了兩個結(jié)論：如果韻律和聽覺標(biāo)準(zhǔn)相互作用能被語義和詞匯標(biāo)準(zhǔn)進一步證實就有助于識別話語邊界；聽者在更高的層次——言語超焦點層面（superfoci）上更容易識別話語邊界。

第二章：Structure and Contentof Spoken Picture Descriptions（圖畫描述口語結(jié)構(gòu)與內(nèi)容）

本章有2節(jié)，介紹了在無眼追蹤場景下，構(gòu)成圖畫描述結(jié)構(gòu)和內(nèi)容的言語焦點分類；比較了在不同場景下言語焦點類型及分布情況。

作者通過12人看圖之后進行交互性描述的實驗得到的腳本說明：說話人不僅談?wù)摿怂吹降?，還談到了它們是如何呈現(xiàn)在說話者面前的。根據(jù)Chafe的分類，作者采用了三大類：呈現(xiàn)功能、態(tài)度功能和組織功能。作者認(rèn)為每一類可以看作是言語焦點或言語超焦點，呈現(xiàn)功能包含了實體焦點（substantive foci）、總結(jié)焦點（summarizing foci）和地點焦點（localizing foci）；態(tài)度功能包含了評價焦點（evaluative foci）和專家焦點（expertfoci）；組織功能包含了交互焦點（interactive foci）、內(nèi)省焦點（introspective foci）、元原文焦點（metatextual foci）。如例5所示（p23）：

1102 it’sa.pictureabout.sowing SUM（summarizing foci）

1103 and.It’sa fellow’SUBST（substantive foci）

1104 Idon’trememberhisname’INTROSPECT（introspective foci）

1105Pettson’Ithink，SUBST（substantive foci）

1106who is firstdigging.in the field’SUBSTLIST（substantive listofitems）

1107 and then he’s sow ing’SUBST LIST（substantive listofitems）

1108 quitebigwhite seeds’SUBST（substantive foci）

1109 and then the cat starts watering’SUBST LIST（substantive listofitems）

1110 theseparticular seeds’SUBST（substantive foci）

1111 and itendsupwith the fellow.eh.raking，.this field SUBSTLIST（substantive listofitems）

作者用描述者的原文圖釋了以上八類焦點的存在，同時，采集了另外三組數(shù)據(jù)來證明在敘述指令下或空間提示的無圖描述與看圖描述（無眼追蹤或有眼追蹤）中以上八類焦點的存在。數(shù)據(jù)量化分析說明了在其他的場合它們同樣存在的事實，但在不同的場景，各焦點的分布和比率不同，比如在憑記憶描述圖畫的場景中總結(jié)焦點占主導(dǎo)地位；而在敘述提示下的現(xiàn)場圖畫描述中實體焦點占主導(dǎo)地位。

第三章：Description Coherence&Connection between Foci（描述時焦點之間連貫性與連接性）

本章有2節(jié)。第一節(jié)探討了圖畫描述時焦點之間的轉(zhuǎn)換。作者對有眼追蹤的即時交互性描述的數(shù)據(jù)進行T檢驗，認(rèn)為如果說話者轉(zhuǎn)到另一個超焦點層面的話，與同一超焦點層面的內(nèi)部焦點之間轉(zhuǎn)換相比，停頓和猶豫的時間會變得更長，超焦點層面的停頓均時為2.53秒，而內(nèi)部焦點之間的停頓均時為0.53秒；改變看圖的位置也會使停頓和猶豫時間變得更長；當(dāng)說話者從呈現(xiàn)圖中的具體事物到總括更高層面轉(zhuǎn)換時，停頓時間變得更長；最長的停頓出現(xiàn)在描述結(jié)束時的人際交流階段。提出了三種模式可以影響焦點的思維距離的轉(zhuǎn)換，它們是語言背景的主題距離，圖像為背景的主題距離，描述話語的行事話語距離，轉(zhuǎn)換同時受詞匯和韻律的影響。第二節(jié)涉及了連貫性描述的圖示。作者利用自發(fā)性描述的腳本，說明了為了到達(dá)連貫的目的，言語、韻律/語音及非言語手段都會用來表示焦點的轉(zhuǎn)換，這樣通過語言，部分非言語的行為（在面對面的場景）共同的注意焦點被創(chuàng)造。

第四章：Variations in Picture Description（圖畫描述的變體）

本章有3節(jié)。作者認(rèn)為我們描述目的不同，其呈現(xiàn)的內(nèi)容和形式會不同，不同的人會在描述時關(guān)注不同的方面，而忽略了其它方面。作者采集的數(shù)據(jù)表明存在動態(tài)和靜態(tài)兩者不同的描述風(fēng)格。在靜態(tài)描述中，空間關(guān)系占主導(dǎo)地位，有大量的空間關(guān)系術(shù)語、名詞、存在結(jié)構(gòu)、情態(tài)動詞、位置動詞及被動語態(tài)。在關(guān)注和重新關(guān)注圖畫的各部分時，表達(dá)會有重音、響亮、音質(zhì)的伴隨。動態(tài)描述中時間關(guān)系和活動的事件是說話者關(guān)注的中心，具有短暫動詞、時間副詞和行為動詞、主動語態(tài)特征。說話者往往遵循敘述的模式：描述以介紹主要角色開始，然后是參與的活動及場景的描述。同時作者把言語焦點的分類對應(yīng)動態(tài)和靜態(tài)的描述風(fēng)格進行研究。

在第二節(jié)中作者探討了造成兩種不同描述風(fēng)格的因素。作者以個人差異、記憶的實證研究、信息的存儲和提取等方面的理論為依據(jù)進行闡述。認(rèn)為Grow提出的言語思考者和視覺思考者與她的研究吻合，她的動態(tài)描述與言語思考者的描述相當(dāng)，而靜態(tài)描述與視覺思考者的描述相當(dāng)，盡管他們的研究有書面語與口語的不同，但動態(tài)描述風(fēng)格與靜態(tài)描述風(fēng)格和言語思考者及視覺思考者平行。從信息提取角度來看，認(rèn)知是由心象系統(tǒng)和言語系統(tǒng)構(gòu)成的。視覺思考者主要依賴心象系統(tǒng)，而言語思考者更多通過言語邏輯手段來加工信息。根據(jù)Bartlett（1932）的記憶實驗，視覺思考者更容易記住物體，有時用二級聯(lián)想描述記住的物體。言語思考者更傾向言語分析策略，他們的描述受命名的影響，運用分類手段描述物體，依賴類別和二級聯(lián)想。而Kozhevnikov et al.（2002）所做的個人差異的研究，證實了神經(jīng)物理學(xué)的研究：一些人是物體視覺，另一些是空間視覺。繼而作者進一步提出她的研究，甚至可以把描述細(xì)分為言語、空間和圖像描述風(fēng)格。

在第三節(jié)中作者進一步探討了動態(tài)描述風(fēng)格與靜態(tài)描述風(fēng)格在空間，敘述的提示下是否受到影響。最后作者的實驗數(shù)據(jù)表明空間提示會導(dǎo)致大量的地點表達(dá)語的產(chǎn)生及明顯少的時間用語和較短的描述，而敘述的提示會提高描述的動態(tài)用語。

第五章：Multimodal Sequential Method and Analytic Tool（多模態(tài)有序性方法及分析工具）

本章有3節(jié)。介紹了用來進行視覺數(shù)據(jù)和言語數(shù)據(jù)對比的多模態(tài)有序性方法。作者首先論述了當(dāng)今研究思維的方法如視線追蹤、口頭言語，提出圖畫瀏覽和圖畫描述是了解思維的兩扇窗戶。作者把視線追蹤和口語描述數(shù)據(jù)綜合起來進行同步研究，以期了解隱藏的思維的動態(tài)過程。作者創(chuàng)造性地把視線追蹤數(shù)據(jù)轉(zhuǎn)換到時間軸，把它變成視覺流，同時把瀏覽到的物體標(biāo)注出來，再把口頭描述言語換成時間軸的言語流，同時把言語焦點與超焦點的邊界標(biāo)出。這樣就創(chuàng)建了一種多模態(tài)時間測量表。作者的多模態(tài)時間測量表與ELAN及其它的轉(zhuǎn)錄工具相比，獨特的是加入了焦點和超焦點分析。這樣就可以隨著時間的變化同步記錄視覺和言語行為，追蹤和比較注意的焦點聚焦的內(nèi)容，抽出視覺和言語流的聚類。

第六章：TemporalCorrespondencebetween Verbaland VisualData（言語和視覺數(shù)據(jù)的時間對應(yīng)）

本章有2節(jié)。是本書的核心及難點。希望回答視覺信號和言語信號是否同步？視覺的目視物體的順序和言語關(guān)注的順序是否相同？在視覺數(shù)據(jù)和言語數(shù)據(jù)中能否發(fā)現(xiàn)參數(shù)單位？作者基于Chafe的看法，認(rèn)為在言語和視覺數(shù)據(jù)流之間蘊含著時間和語義的對應(yīng)關(guān)系。作者首先關(guān)注了時間關(guān)系。通過簡化多模態(tài)時間測量表，橫軸為時間，視覺和言語行為以方格圖表示，作者分別在言語焦點和超焦點內(nèi)進行對比研究，多模態(tài)匹配分析的結(jié)果表明：頻數(shù)最多的匹配是N對1型（37），其次是延遲匹配型（30），接下來是三角形型（17）和N對N型（11），最少的是完美匹配型（5）。從而作者得出了以下結(jié)論：言語和視覺信號不是同步發(fā)生的；視覺感知經(jīng)?？煊谘哉Z產(chǎn)出；有時視覺感知會跟隨言語表達(dá)，這樣描述者會再次瀏覽某物；區(qū)域或物體會被多次回視；一次視覺凝視通常并不匹配于一次的言語焦點，完美的重疊很少。通常，幾次的視覺凝視關(guān)聯(lián)到一次的言語焦點，特別是在總結(jié)焦點類型中；視覺的目視物體的順序和言語關(guān)注的順序不相同；多次來回的視覺焦點會被整合到更大的單位——超焦點；可以發(fā)現(xiàn)參數(shù)單位，但不是在焦點層次，多數(shù)情況下是超焦點層次，所以，在視覺數(shù)據(jù)和言語數(shù)據(jù)之中注意的超焦點才是理想的參數(shù)單位。

第七章：Semantic Correspondencebetween Verbaland VisualData（言語和視覺數(shù)據(jù)的語義對應(yīng)）

本章有4節(jié)，是本書的難點和重點。利用多模態(tài)時間測量表，以有序性方法，作者對比了視覺和言語的集聚焦點，探討了三方面內(nèi)容：語義對應(yīng)、詳細(xì)程度及時間臨近與新“思維單位”的創(chuàng)造。根據(jù)射體—界標(biāo)理論，視覺看到的和言語描述的物體的語義關(guān)系是含蓄的。它們有物體—物體、物體—地點、物體—方向、物體—活動、物體—屬性之間的變化。說話者不僅判斷物體的大小、現(xiàn)狀、位置、典型性、相似性和功能，還形成印象和聯(lián)系。這表明了視覺和言語的語義對應(yīng)只能是更高層次的單位，比如超焦點層面。

數(shù)據(jù)同時表明對物體的關(guān)注度和概念化是在不同的詳細(xì)程度上形成的；從模糊的分類，說話者自己的評論，提取的相關(guān)特征，對物體分類的較具體的猜測到評價。形成了分步的規(guī)格、評價、解讀、甚至重新概念的完整的循環(huán)過程。

至于空間、語義和心理聚合的問題，根據(jù)格式塔的心理學(xué)理論，結(jié)合到她的研究，作者提出了空間臨近原則、分類原則、成分原則、人物和動物原則，并通過實驗證明了受試者的視線是基于空間臨近原則聚合了具體物體；基于分類原則聚合了多數(shù)量的物體；基于成分原則聚合了多數(shù)量的物體；同時證明了思維縮小時，視線會重新追蹤，進行分類；思維聚合具體物體時會基于相同的特性和活動；思維聚合具體物體時基于概況的方案。

作者做了觸發(fā)研究。目的是調(diào)查在看圖之前呈現(xiàn)口頭語是否能觸發(fā)相同視圖模式。12個人聽事先錄好的描述錄音，按要求得出的數(shù)據(jù)分析表明有些眼動模式不限定于描述的情景。通過主動描述一幅圖的言語，可以得到相同的視圖模式即使是對聽者。但在時間順序和視圖長度有較大的差異性。時間、空間和心理聚合研究證明了積極的視覺感知理論：不僅識別物體重要，圖畫怎樣呈現(xiàn)在視者面前的同樣很重要。研究同時表明視覺和言語數(shù)據(jù)的關(guān)聯(lián)有助于視覺維度、眼動角色、凝視模式及言語產(chǎn)出和言語計劃方面領(lǐng)域的研究。

第八章：Picture Viewing，Picture Description and Mental Imagery（圖片瀏覽、圖畫描述及心理意象）

本章有3節(jié)。涉及了在描述話語下的心象和外部形象化問題。作者以當(dāng)前心理語言學(xué)為討論依據(jù)，認(rèn)為在自然發(fā)生的對話中，外部形象化能幫助當(dāng)事者獲得注意的共同焦點，協(xié)作及在構(gòu)建意義時調(diào)整他們的心象，但心象和內(nèi)部形象化同樣重要。為此，作者做了兩個實驗，得出在看圖時的眼動模式和進行圖畫描述時的眼動模式是相同的結(jié)論；眼動反映了原圖的內(nèi)容和時間關(guān)系，說明了在憑記憶描述圖畫中，交流的雙方運用了某種心象作為幫助手段，甚至言語描述觸發(fā)了心象，從而同時觸發(fā)了反映空間關(guān)系的眼動。

作者涉及了心象和心理模式對教育方法和學(xué)習(xí)策略的有用性，提出它和設(shè)計人機互動的相關(guān)性；在學(xué)習(xí)含有多種形式的文本時，信息要以連貫的方式建構(gòu)，這樣使用者才能以自己的形象化方式和經(jīng)驗對不同的資源進行概念化、加工、整合。不過，要注意不同的個體有不同的整合多種表征的能力，最后談到了心理模式對語言理解的重要性。

第九章：Concluding Chapter（總結(jié)）

本章回顧了最重要的問題和發(fā)現(xiàn)，提及了多模態(tài)綜合方法在其他領(lǐng)域的應(yīng)用，它們包含了設(shè)計的評估、使用者的多重表征的交互、多模系統(tǒng)等。

3.簡評

本書屬于語言與視覺的映射實證研究。在當(dāng)今大量的語言與視覺的映射實證研究中，針對句子及詞匯層面的較多，但說話者在更高的話語層次上如何感知、概念化及自發(fā)描述復(fù)雜的圖像的研究幾乎是空白。作者彌補了這個空白，主要在話語層次上進行了在口頭話語中的語言、視覺和認(rèn)知的關(guān)系研究。她的研究和Clare Painter的“兒童畫冊：跨語言和圖像的用途模擬和意義示例”研究具有互補性。Clare Painter在Kress&van Leeuvan（1966）視覺語法的基礎(chǔ)上，提出了一種適合于分析兒童敘事畫冊這一特殊的文學(xué)形式的多模態(tài)分析模式。她根據(jù)每一元功能中兩套符號系統(tǒng)之間的互補性和一致性，闡述了圖像和語言的潛在用途（龐玉厚、方琰，2010）。而本書的特色是調(diào)查了圖畫感知、圖畫描述的動態(tài)過程，以及隱藏于兩者之后的認(rèn)知過程。本書的優(yōu)勢在于通過大量的口頭話語及認(rèn)知主導(dǎo)的研究和眼部運動報告相結(jié)合，通過量化的數(shù)據(jù)探索了潛在的認(rèn)知過程的動態(tài)變化。作者認(rèn)為一方面眼部動作反映了人的思維認(rèn)知過程。它容易看出哪一部分以什么順序及次數(shù)吸引了觀察者的注意。另一方面，在圖畫描述中形成的言語焦點是注意的有意識焦點的言語表達(dá)。有了切分過的話語原文，就可以了解在特定的時間里口語焦點里蘊藏的東西。所以口頭和視覺的數(shù)據(jù)（注意焦點內(nèi)容）是思維的兩扇窗戶。兩種數(shù)據(jù)是間接地探索潛在的認(rèn)知過程的資源。但不足的是作者采集的數(shù)據(jù)量不夠大，以來自瑞典的12人為研究對象，面不夠廣，描述的圖畫雖然符合研究的要求，可惜變化較少。此外作者在最后一章介紹了多模態(tài)綜合法及分析工具。這是上世紀(jì)90年代以來，語篇分析領(lǐng)域關(guān)注的焦點，其領(lǐng)域應(yīng)用于教材、課堂互動、廣告和網(wǎng)頁等（龐玉厚、方琰，2010）。而本書作者把多模態(tài)綜合方法擴大到更深的領(lǐng)域，應(yīng)用到了設(shè)計的評估，使用者的多重表征的交互、多模系統(tǒng)等。本書的價值值得我們認(rèn)真看待本書，作者得出的有價值的研究成果，不僅可以豐富相關(guān)研究領(lǐng)域，而且作者通過實驗的方法，驗證了當(dāng)今心理學(xué)、認(rèn)知語言學(xué)等領(lǐng)域的一些理論，如驗證了Grow提出的言語思考者和視覺思考者結(jié)論；Yarbus’（1967）和Norton&Stari（1971）的眼睛注視模式結(jié)論：“在視圖和進行圖畫描述時，說話者多次回視相同的物體”；Linell’s的話語產(chǎn)出和計劃結(jié)論：“起初交際的目的可能有點模糊，但隨著言語的表達(dá)，結(jié)構(gòu)才慢慢多起來，變得準(zhǔn)確和有意識”等。作者運用的研究方法具有創(chuàng)新性，突破了以往的某些局限，如作者的實驗與以往的心理語言學(xué)比，有了很多的改進，以往的研究以1至3的時間箭頭，3個物體，而本書用的是復(fù)雜的包含許多關(guān)系的圖畫，是真實的描繪的情景，畫里有人、動物，有進行語義闡釋的通道，所以視覺的感知、概念化的過程需要更多的時間；同時我們必須考慮語言描述的產(chǎn)出；說話者擁有組織各個層次的話語的自由，更多選擇話題、指代、狀態(tài)，事件、關(guān)系、判斷等。在心理語言學(xué)的實驗，完全控制可能可以精確測量視覺凝視相應(yīng)的言語，但有局限性。受試者必須用特定的句法和表達(dá)式來識別和標(biāo)出單獨的物體。很難把其發(fā)現(xiàn)擴大到對復(fù)雜的場景和認(rèn)知加工的解讀。另外，作者提出了自己的理論：言語焦點和超焦點是口頭描述話語最重要的單位，這一理論是基于話語層次的認(rèn)知加工研究，同時結(jié)果關(guān)注了視覺和言語信息加工的相似性而提出的，這個發(fā)現(xiàn)對語言學(xué)有價值的同時能豐富人類注意和意識方面的研究。

本書的文字論述清楚，思維嚴(yán)謹(jǐn)，數(shù)據(jù)分析科學(xué)，從實證方面為心理語言學(xué)、認(rèn)知語言學(xué)方面的研究確立了示范地位。作者的研究思路、方法、手段都反映了當(dāng)前認(rèn)知心理學(xué)的潮流。因為近年來，認(rèn)知心理學(xué)已不僅專注于內(nèi)部心理過程的研究，還注意了行為的研究。在研究方法上，認(rèn)知心理學(xué)則既重視實驗室實驗，也重視主觀經(jīng)驗的報告。認(rèn)知心理學(xué)企圖把全部認(rèn)知過程統(tǒng)一起來，它認(rèn)為注意、知覺、記憶、思維等認(rèn)知現(xiàn)象是交織在一起的，對于一組現(xiàn)象的了解有助于說明另一組現(xiàn)象。由于它們之間的相互依賴關(guān)系，很可能會發(fā)現(xiàn)人類認(rèn)知過程的統(tǒng)一加工模式。同時Dirk Geeraerts在“認(rèn)知語言學(xué)的方法論”中就預(yù)測認(rèn)知語言學(xué)必然是實證研究有不斷的增長需要，同時量化的數(shù)據(jù)分析極有可能占據(jù)中心位置（Gitte Kristiansen，MichelAchard，et.al，2006）。

本書的闡釋基于心理學(xué)、認(rèn)知心理學(xué)、認(rèn)知科學(xué)研究成果，使讀者在語言學(xué)、心理語言學(xué)、心理學(xué)、認(rèn)知科學(xué)、計算機科學(xué)方面都能獲得一定背景知識，同時能引起正在進行可用性應(yīng)用領(lǐng)域、語言使用和視覺有關(guān)的認(rèn)知體系的跨學(xué)科領(lǐng)域研究的學(xué)者們的興趣。

［1］Gitte Kristiansen，Michel Achard，Rene Dirven& Francisco J.RuizdeMendoza Ibannez（des.）.Cognitive Linguistics：Current Applications and Future Perspectives. Berlin：Mouton deGruyer.2006.

［2］龐玉厚，方琰，劉世生.系統(tǒng)功能語言學(xué)的發(fā)展和面臨的挑戰(zhàn)［J］.外語教學(xué)與研究，2010，（2）：（144-147）.http：// www.hudong.com/wiki.