圖片在聽力測(cè)試中的應(yīng)用與啟示
——以國(guó)內(nèi)外德語考試為例

鄭彧 莊 利

一、研究背景

隨著多媒體在外語教學(xué)中日益廣泛地運(yùn)用以及多模態(tài)話語分析理論的不斷發(fā)展， 多媒體輔助下的多模態(tài)教學(xué)正在普及。 多模態(tài)是指“綜合語言、視覺圖像、其他符號(hào)資源，構(gòu)建紙質(zhì)、數(shù)字媒體和日常生活文本、事物、事件的理論分析與實(shí)踐”[1]。教學(xué)環(huán)節(jié)的變化必然帶動(dòng)測(cè)試?yán)砟罴笆侄蔚霓D(zhuǎn)變。 近年來，國(guó)內(nèi)外語言測(cè)試中采用音視多模態(tài)組合輸入來評(píng)價(jià)學(xué)習(xí)者聽力水平的任務(wù)逐漸增多。 在眾多視覺材料類型中，圖片使用最為廣泛。隨著聽力測(cè)試?yán)碚摰陌l(fā)展以及多媒體多模態(tài)教學(xué)實(shí)踐的深化，圖片在聽力測(cè)試領(lǐng)域的應(yīng)用愈加廣泛。 以國(guó)內(nèi)外語考試為研究樣本，探究圖片如何應(yīng)用于聽力理解測(cè)試顯得尤為重要。

對(duì)于該課題的研究， 國(guó)內(nèi)外學(xué)者多聚焦于英語作為二語的聽力理解測(cè)試， 從圖片使用數(shù)量和類型角度， 研究靜態(tài)圖片在聽力測(cè)試中的使用情況或動(dòng)態(tài)視頻應(yīng)用于聽力測(cè)試的可行性[2，3]。 以國(guó)內(nèi)外大規(guī)模標(biāo)準(zhǔn)化德語考試聽力部分為研究樣本， 探討靜態(tài)圖片的使用情況以及其在多模態(tài)意義構(gòu)建中作用的研究鮮少可見。 有鑒于此， 本文擬參照Bachman &Palmer 測(cè)試任務(wù)特征框架[4]及Painter et al.新視覺語法[5]，從數(shù)量和質(zhì)量?jī)蓚€(gè)方面分析圖片類視覺材料在國(guó)內(nèi)外德語聽力考試中的使用情況， 對(duì)比分析聽力測(cè)試任務(wù)的多模態(tài)特征， 以揭示國(guó)內(nèi)外聽力測(cè)試在多模態(tài)構(gòu)建方面的異同， 為國(guó)內(nèi)聽力測(cè)試多模態(tài)設(shè)計(jì)提供參考。

本文主要探討： （1）國(guó)內(nèi)外德語測(cè)試中，圖片應(yīng)用于哪些聽力任務(wù)類型？（2）在圖片和文字的選擇和配置方面，國(guó)內(nèi)外聽力測(cè)試任務(wù)有何異同？ （3）聽力測(cè)試任務(wù)如何通過圖像和文字實(shí)現(xiàn)意義的建構(gòu)？

二、研究設(shè)計(jì)

1.聽力測(cè)試任務(wù)試題庫(kù)的建立與分析方法

筆者收集2019 年公布于各考試院官網(wǎng)及出版發(fā)行的國(guó)內(nèi)外大規(guī)模標(biāo)準(zhǔn)化德語考試樣題共57 套，對(duì)其聽力中涉及圖片的任務(wù)進(jìn)行分析。 國(guó)內(nèi)考試有大學(xué)德語四、六級(jí)，德語專業(yè)四級(jí)、八級(jí)；國(guó)外包括Goethe Zertifikat、?SD、telc A1 至C2 級(jí)別德語考試以及德福考試（TestDaF）。 這些考試以德語作為外語的學(xué)習(xí)者為測(cè)試對(duì)象， 旨在考查考生是否具備相應(yīng)等級(jí)的德語語言能力。 在進(jìn)行聽力圖片任務(wù)分析時(shí)， 主要參考Bachman & Palmer 的測(cè)試任務(wù)特征框架，包括任務(wù)類型、輸入和預(yù)期作答。 為確保分析的一致性和準(zhǔn)確性，邀請(qǐng)兩位應(yīng)用語言學(xué)背景的研究者參照框架， 對(duì)以上項(xiàng)目獨(dú)立進(jìn)行分析，一致性為98%。

2.圖片的使用分析

2013 年，Clare Painter、Jim Martin、Len Unsworth三位著名系統(tǒng)功能語言學(xué)學(xué)者在單個(gè)圖像分析框架基礎(chǔ)上，擴(kuò)展了研究對(duì)象，完善了理論框架，提出了新視覺語法， 為深入探索圖文語篇構(gòu)建和意義解讀提供了嶄新的視角， 成為了視覺語法理論發(fā)展的新里程碑[6]。以此為指導(dǎo)，研究者分析了美國(guó)政治漫畫[7]及兒童繪本的敘事結(jié)構(gòu)特征[8，9]。 本研究以Painter et al.新視覺語法為研究框架， 構(gòu)建如圖1 的理論分析框架，從多模態(tài)的投入方面，側(cè)重分析聽力測(cè)試任務(wù)如何通過圖文投入實(shí)現(xiàn)人際意義和組篇意義。 該理論的另一個(gè)重要組成部分概念意義框架，由于其關(guān)注的是人物系統(tǒng)、事件關(guān)系和背景關(guān)系的構(gòu)建，與研究語料的相關(guān)度較低，故本文暫不以此為據(jù)分析。

圖1 新視覺語法中人際意義和組篇意義圖示

根據(jù)新視覺語法，人際意義表達(dá)主要由聚焦、情感及氛圍系統(tǒng)構(gòu)成， 分別考察圖像與讀者的互動(dòng)關(guān)系，闡釋圖像敘事的情感介入以及分析顏色資源。情感系統(tǒng)作為讀者與圖像人物情感關(guān)系的語篇策略可以區(qū)分成異化與介入兩種表征方式。 前者指讀者沒有情感投入，以客觀的、批評(píng)性的態(tài)度閱讀，后者指讀者與圖中人物存在情感關(guān)系。 根據(jù)讀者情感投入程度的不同，介入方式可分為鑒賞類、移情類與個(gè)體類。氛圍系統(tǒng)指顏色所構(gòu)建的情感基調(diào)，按是否使用彩色區(qū)分為情感氛圍激活或未激活。 此外， 顏色色度、 色調(diào)和自然度的合理使用都利于渲染自然貼切的情緒氛圍。

組篇意義構(gòu)建是通過圖片和文字的位置來實(shí)現(xiàn)人際意義和概念意義的構(gòu)建， 具體可分為融合與互補(bǔ)兩種。文字附在圖片中即為融合，圖片和文字分布在不同的位置則為互補(bǔ)。 由于不同的圖文關(guān)系吸引讀者注意力的程度不同，其產(chǎn)生的人際意義、概念意義和篇章意義也不同。

三、統(tǒng)計(jì)結(jié)果與分析

1.圖片在聽力考試中的使用分析

經(jīng)統(tǒng)計(jì)， 試題庫(kù)中的四項(xiàng)國(guó)內(nèi)德語考試均不涉及視覺信息， 基于音頻和文字的雙模態(tài)輸入是最常見的聽力任務(wù)形式。而國(guó)外22 套試題中，總計(jì)30 項(xiàng)聽力任務(wù)使用圖片， 涉及圖片任務(wù)的試卷占測(cè)試總數(shù)量的38.60%。 聽力任務(wù)涉及圖片的共有5 大類，共計(jì)10 種任務(wù)，包括選圖/看圖選擇①選圖指與內(nèi)容相關(guān)的圖片作為選項(xiàng)直接供考生選擇；看圖選擇是指考生對(duì)文字選項(xiàng)做出選擇，圖片僅作為語音輸入的輔助。、排列圖片順序、改錯(cuò)、填空和記錄，詳見表1。 其中后三類任務(wù)采用圖片或圖表形式，僅提供描述場(chǎng)景的視覺輸入。

表1 22 套德語測(cè)試聽力理解任務(wù)圖片使用情況

輸入的特征包括短文、對(duì)話、圖片、問題、部分內(nèi)容缺失的圖表以及文字選項(xiàng)。 期望作答的形式包括聽懂主旨或具體信息、 選擇固定圖片或/及固定文字、文字填空、記錄關(guān)鍵信息、糾正關(guān)鍵信息以及書寫梗概。 從圖片任務(wù)的數(shù)量來看，A1-A2 測(cè)試（初級(jí)水平）涉及圖片的聽力任務(wù)數(shù)量最多，其次為C1-C2測(cè)試（高級(jí)水平）， B1-B2 測(cè)試（中級(jí)水平）則最少。從圖片類型來看，73.21%為與內(nèi)容相關(guān)的圖片，其余為僅提供情境的圖片。其中，初級(jí)水平測(cè)試使用與內(nèi)容相關(guān)的圖片多于僅提供情境的圖片，中、高級(jí)水平測(cè)試只涉及僅提供情境的圖片或圖表。

2.圖像投入對(duì)比分析

表2 直觀展示了各GeR 級(jí)別測(cè)試包含圖像的聽力任務(wù)的人際意義構(gòu)建和組篇意義構(gòu)建這兩方面圖像投入對(duì)比的結(jié)果， 表格包含圖像投入的視覺意義潛勢(shì)系統(tǒng)和視覺意義實(shí)現(xiàn)的選擇。

表2 圖像投入分析

從聚焦系統(tǒng)看， 聽力任務(wù)中所有圖像均使用客觀視角，絕大多數(shù)圖像不參與和考生的互動(dòng)。僅有少部分圖像人物與考生有眼神接觸， 主要集中在初級(jí)測(cè)試聽力任務(wù)，中級(jí)占少數(shù)。

情感系統(tǒng)可分成異化與介入兩種表征方式。 前者指沒有情感投入，以客觀的、批評(píng)性的態(tài)度閱讀，后者指讀者與圖中人物存在情感關(guān)系。 從情感系統(tǒng)看，測(cè)試所用圖片主要采用移情類情感介入方式。此類圖片通過類化風(fēng)格實(shí)現(xiàn)， 考生很容易識(shí)別圖中人物的情感， 但無法確定具體人物。 其次為個(gè)體類圖片，圖片中人物以個(gè)體照片形式出現(xiàn)，風(fēng)格自然，面部表情真實(shí)。 上述這兩類圖像均較能引起考生情感和態(tài)度的共鳴。較為抽象的鑒賞類圖像則使用最少。

從氛圍系統(tǒng)看，測(cè)試任務(wù)圖像使用高飽和度鮮亮色彩的情況略多于黑白色彩。 高色度表達(dá)歡快的氛圍，暖色調(diào)營(yíng)造溫馨的氛圍，色彩豐富度反映其自然程度。 分析后發(fā)現(xiàn)，初級(jí)水平測(cè)試中情感氛圍多被激活， 而高級(jí)水平測(cè)試則較不注重營(yíng)造情感氛圍。

如表3 所示，在組篇意義構(gòu)建方面，聽力測(cè)試任務(wù)中圖文互補(bǔ)的布局方式明顯多于圖文融為一體的布局方式。 尤其在初級(jí)、中級(jí)水平測(cè)試中，圖像與文字多以互補(bǔ)方式投入； 而高級(jí)水平測(cè)試中的圖文布局則恰恰相反。

表3 圖文布局分析

在圖像和文字互補(bǔ)的情況下， 首先看圖像和文字的對(duì)稱性。據(jù)統(tǒng)計(jì)，所有圖文布局均為單個(gè)頁(yè)面的圖片和文字分別位于上中下左右多個(gè)方位， 無對(duì)稱布局。由此可見，測(cè)試設(shè)計(jì)者能根據(jù)圖片和文字投入的差異，將圖片和文字合理安排在不同的聚焦位置，以達(dá)到吸引考生投入不同程度的注意力的目的。 其次，就圖像和文字的重要性而言，初級(jí)與中級(jí)測(cè)試中圖像使用的側(cè)重點(diǎn)有所不同。 初級(jí)測(cè)試均以圖片表達(dá)意義為主，文字輔之，而中級(jí)測(cè)試則主要以文字表達(dá)意義為主，圖像輔之。聽力任務(wù)用圖片和文字共同構(gòu)建意義， 但兩者對(duì)意義構(gòu)建所產(chǎn)生的影響不盡相同。 其中，文字部分需與考生的外語水平相符合，否則將會(huì)給考生的理解帶來困難。 初級(jí)考試針對(duì)初學(xué)者，圖片為主、文字為輔的設(shè)計(jì)布局符合目標(biāo)考生的語言水平。 第三，圖片和文字的位置相鄰，又通過語義關(guān)聯(lián)在一起。

四、結(jié)論與建議

研究發(fā)現(xiàn)， 四項(xiàng)國(guó)內(nèi)德語考試聽力中均不使用圖片類型的視覺材料， 而國(guó)外聽力任務(wù)中使用圖片非常普遍。尤其在初級(jí)階段，聽力任務(wù)中使用圖片的題型較多，且涉及的任務(wù)類型豐富。短文和對(duì)話是比較常見的語言輸入形式， 大多考查對(duì)細(xì)節(jié)信息的理解，對(duì)整體語篇層面的考查較少。圖片的組織形式多樣，包括單張圖片、多張圖片、相互關(guān)聯(lián)的一組圖片等。圖像投入注重營(yíng)造情感氛圍，較能引起考生情感和態(tài)度的共鳴，圖像和文字的布局合理，設(shè)計(jì)靈活，能較好利用多模態(tài)符號(hào)資源為考生提供相對(duì)更加真實(shí)的情境。 同時(shí)，通過分析也可發(fā)現(xiàn)，聽力測(cè)試中的圖片在人際意義構(gòu)建方面存在視角單一、 情感系統(tǒng)真實(shí)度不夠等問題。根據(jù)新視覺語法，圖像聚焦方式設(shè)計(jì)可適當(dāng)增加接觸類圖像， 以此建立考生與圖像之間的關(guān)聯(lián)，引起考生情感和態(tài)度的共鳴。情感系統(tǒng)設(shè)計(jì)可增加個(gè)體類畫風(fēng)，利于引發(fā)考生的情感、判斷和態(tài)度。

圖片在四項(xiàng)國(guó)內(nèi)德語聽力考試中的使用情況一定程度上反映了國(guó)內(nèi)語言考試聽力理解部分的測(cè)評(píng)現(xiàn)狀。 測(cè)試中使用音頻，僅調(diào)動(dòng)聽覺渠道接受信息，沒有利用其他渠道，信息接收量少。 另一方面，傳統(tǒng)的聽力測(cè)試在一定程度上偏離了真實(shí)生活中多模態(tài)的交際方式，既不能滿足實(shí)際的交際需要，也不能真正有效檢測(cè)和評(píng)估學(xué)習(xí)者的聽力能力。因此，研究者主張將視覺輸入納入外語聽力能力的構(gòu)念定義中，以提高考試的真實(shí)性， 從而進(jìn)一步保證測(cè)試的效度（Ockey，2007；Wagner，2007）。研究發(fā)現(xiàn)，相比單模態(tài)信息呈現(xiàn)， 視聽雙模態(tài)呈現(xiàn)的信息表現(xiàn)出更佳的模態(tài)效應(yīng)， 因?yàn)橐曈X輸入能幫助激活情境知識(shí)和背景知識(shí)[10]。 因此，在語言測(cè)試中將圖片類視覺信息用于聽力測(cè)評(píng)具有合理性。研究表明，視聽內(nèi)容相關(guān)度高可以顯著提高聽力理解， 視覺設(shè)計(jì)效應(yīng)在低語言水平者中更強(qiáng)[11]。 現(xiàn)有聽力測(cè)試中常見的聽力任務(wù)類型均可搭配合適的圖片形式加以呈現(xiàn)，因此，測(cè)試設(shè)計(jì)者可以根據(jù)具體的測(cè)試目的采用多樣的圖片聽力任務(wù)形式；尤其在初級(jí)測(cè)試中，應(yīng)充分考慮考生的語言水平， 合理利用圖片提供場(chǎng)景或具體內(nèi)容輔助聽力理解，減少考試焦慮。在聽力測(cè)試任務(wù)中運(yùn)用視覺信息輔助可以將考生置于聲音和圖像互相作用的條件下，為他們提供集圖像和聲音于一體的感官刺激，實(shí)現(xiàn)了在聽力理解過程中多種感官互動(dòng)， 強(qiáng)化自上而下的聽力過程， 提高考生對(duì)聽力輸入的理解。 同時(shí)，考試設(shè)計(jì)者應(yīng)關(guān)注圖片的數(shù)量和質(zhì)量，降低視覺信息負(fù)荷，避免信息量過大、干擾性大于輔助性，并合理設(shè)計(jì)聽力測(cè)試任務(wù)。 具體可通過多樣的圖片組織形式、 圖像投入注重營(yíng)造情感氛圍以及靈活合理的圖文布局等手段實(shí)現(xiàn)。 圖像聚焦方式設(shè)計(jì)可適當(dāng)增加接觸類圖像；情感系統(tǒng)設(shè)計(jì)可增加個(gè)體類畫風(fēng)，利于引發(fā)考生的情感、判斷和態(tài)度。

以上主要參照測(cè)試任務(wù)框架對(duì)圖片在聽力測(cè)試任務(wù)中的應(yīng)用情況進(jìn)行了初步探討， 同時(shí)根據(jù)新視覺語法分析理論， 粗略探討了圖像和文字的意義潛勢(shì)和實(shí)現(xiàn)對(duì)整體語義表達(dá)的投入，希望能夠引起考試設(shè)計(jì)者對(duì)這個(gè)領(lǐng)域的研究興趣，為利用圖片類視覺信息提高聽力測(cè)評(píng)效度提供一些參考。視聽輸入已經(jīng)顯示出其在多模態(tài)意義構(gòu)建中的優(yōu)勢(shì)，因此有必要采取措施促進(jìn)和推廣圖片在聽力測(cè)評(píng)中的應(yīng)用。