視覺輸入對二語聽力測試構(gòu)念效度的影響
——國外二十年研究述評

王 敏

一、引 言

基于網(wǎng)絡（或計算機輔助）語言測試與傳統(tǒng)測試的主要區(qū)別之一在于聽力（在未加說明的情況下，本文中的聽力專指第二語言聽力）測試手段的多樣化。在多媒體技術(shù)輔助下，一些大規(guī)模的測試，如TOFEL的iBT和我國的四、六級網(wǎng)考，開始使用圖片或視頻等視覺輸入材料。早在上世紀90年代，大量的多媒體材料被用于二/外語課堂和教材中，研究者開始探討視覺教學材料對學習效果和學習者心理認知因素的影響。自此，有關(guān)聽力測試中視覺輸入的使用也引起關(guān)注。迄今為止，與此相關(guān)的研究已經(jīng)過了 20多年的發(fā)展。然而，研究的數(shù)量仍總體較少[1-2]，研究結(jié)果之間還存在分歧。因此，視覺輸入方式的介入是否以及如何改變聽力測試的構(gòu)念效度尚無定論。效度問題被認為是在語言測試中使用技術(shù)手段的瓶頸之一[3-5]。Bachman[6]曾指出，新的任務形式以及多媒體的試題呈現(xiàn)模式牽涉到所有既有的效度問題，甚至可能需要我們重新定義我們自認為在測量的特定構(gòu)念。而且，由于相關(guān)研究匱乏，視覺輸入在聽力測試中的應用缺乏理論指導，具有一定的隨意性，繼而影響到測試的信效度。因此，研究視覺輸入方式對聽力測試構(gòu)念的影響具有很強的理論和實際意義。本文擬從理論基礎、研究問題及主要發(fā)現(xiàn)等幾個方面對國外近二十年的相關(guān)研究做一梳理，分析現(xiàn)有研究的缺陷和不足，并指出未來研究的方向，以期為我國語言測試界在這方面的研究提供借鑒。

二、國外研究綜述

1. 理論研究概述

有關(guān)視覺輸入的主要爭議在于其是否會改變測試的構(gòu)念效度，即聽力測試是否真正測量了它本身所要測量的能力。解決爭議的關(guān)鍵在于對聽力理解的界定，即聽力理解的定義是什么？聽力理解是一個怎樣的心理認知過程？相關(guān)的理論研究也主要圍繞這兩個問題展開。

聽力是一個復雜的構(gòu)念，至今仍沒有統(tǒng)一定義。人們對于聽力理解所要測試的能力到底是什么缺乏共識。因此，視覺信息在第二語言聽力構(gòu)念定義中的地位也無定論。爭論的焦點是，納入視覺信息的聽力測試測量的是它原本應該測量的能力——對語言的聽力理解，還是測量了許多其他影響考生成績的因素，如對視圖中所包含的非語言信息的理解力等。早期的定義認為聲音是口頭語篇傳達信息的主要方式[7]，單純強調(diào)聽力中‘聽’的方面。一些學者明確指出，視覺輸入會使測試成績出現(xiàn)與構(gòu)念無關(guān)的差異。例如，Buck認為，如果聽力測試的目的是測量學習者理解聲音輸入的能力而非參與交際的能力，試題設計者應提供描述場景的靜止圖片而非視頻錄像[1]。然而，大多數(shù)研究者[2][8-9]卻主張，視覺輸入應該被包含在二語聽力能力的構(gòu)念定義中。理由是，現(xiàn)實生活的交際場景中，語言信息通常伴以視覺信息，聽力理解自然也應該包括說話者的嘴唇動作、身體動作、手勢和面部表情等，把視覺輸入排除在聽力測試之外反而會影響效度。Suvorov提出折中的立場，認為有關(guān)視覺輸入的爭論可以通過允許多個聽力理解定義并存的方法解決[10]，聽力理解定義中是否需要包含視覺輸入取決于測試的目的以及測試中呈現(xiàn)的交際場景。但這一觀點所面臨的問題是，許多聽力考試測量的構(gòu)念往往涉及好幾種語境，無法進行明確區(qū)分。

研究者也試圖從聽力理解的認知過程入手，探究視覺信息在其中的可能作用，從而為既包括聽覺輸入又包括視覺輸入的聽力定義尋找一個更堅實的理論基礎?；诼?lián)通論的聽力認知模型認為，聽力理解并非各種信息逐步累加的過程，而是一個動態(tài)交互的過程，其中包括許多相互作用的策略和信息源。所以，聽力理解依賴于聽話人大腦中一切可能對理解有影響的東西[1][11]。以這個模型為基礎，有研究進一步提出[12]，聽力理解過程可分為兩個階段：聽的階段和反應階段。聽的階段包括信息接收和認知機制對聲音信號的加工、對三種知識的激活(情境知識、語言知識、背景知識)以及將聲音信號轉(zhuǎn)化為命題。以命題為基礎，學習者產(chǎn)出一個反應，反應的適切性受到學習者的知識和認知因素的影響。這個兩階段模型說明，視覺輸入是聽力理解過程的必然組成部分，因為它能夠幫助激活情境知識和背景知識。此外，這個模型提醒我們，視覺輸入所提供的幫助可能受到注意力、信息屬性以及個體差異等因素的影響。

2. 實證研究概述

以上述理論研究成果為基礎，自上世紀 90年代起，國外研究者開展了一些實證研究，考察視覺輸入對聽力測試構(gòu)念效度的影響，主要的研究問題為視覺輸入因素對考生聽力理解成績及信息處理行為的影響。其中，受到關(guān)注比較多的有三個因素：信息輸入類型、文本類型、個體差異。下文筆者將對這三個因素的研究做一綜述。

（1）信息輸入類型

現(xiàn)有的聽力測試可采用5種不同的信息輸入方式——純音頻輸入以及四種視覺輸入，即僅提供情境的靜止圖像(context-only still images)、僅提供情境的錄像(context-only video)、與內(nèi)容相關(guān)的靜止圖像(content still images)、與內(nèi)容相關(guān)的錄像(content video)。Ockey提出，隨著聽力考試中信息輸入方式的不同，考生處理信息的方式也會發(fā)生改變，從而導致測試表現(xiàn)的差異，并由此影響聽力測試的構(gòu)念效度[2]。所以，現(xiàn)有研究大都集中于比較不同信息輸入方式對考生測試成績和表現(xiàn)的影響。

早期的研究主要對比純音頻輸入與錄像的效果。Gruba將同一個學術(shù)講座分別采用音頻和錄像的方式呈現(xiàn)給 91名高水平二語學習者，考試題目為 14道多項選擇和判斷對錯題[13]。結(jié)果發(fā)現(xiàn)，學生在以音頻為媒介和以錄像為媒介考試中的成績并無顯著差異。他還發(fā)現(xiàn)，有些學生顯然受到視覺輸入的干擾，選擇不看屏幕。Coniam以 104名香港英語學習者為受試對比了純音頻輸入和錄像輸入的差異，試題形式為開放式問答題[14]。測試完成后，受試被要求填寫調(diào)查問卷。結(jié)果表明，音頻組的成績好于錄像組，但是差異并沒有統(tǒng)計學上的顯著意義。而且，錄像組的受試并不認為在聽力中采用錄像為媒介對聽力理解有幫助，音頻組同樣也不認為使用音頻更有好處。反之，36%的考生報告在測試中根本沒有看屏幕，另有少數(shù)考生認為錄像會分散注意力。然而，Wagner卻發(fā)現(xiàn)，錄像組在后測中的成績比音頻組高出 6.5%，而且差異是顯著的[15]。他認為，原因在于錄像中的非語言信息有助于被試提高成績。Cubilo&Winke采用聽后寫作和記筆記（note-taking）任務測量聽力理解[16]，發(fā)現(xiàn)視覺輸入和聽覺輸入條件下聽后寫作質(zhì)量相同，但被試記筆記的行為有差異——視覺輸入中筆記的數(shù)量明顯減少。

也有研究在不同視覺輸入方式之間進行比較。Ockey對比了當聽力測試采用一系列僅提供情境的靜止圖像和僅提供情境錄像時，被試的不同表現(xiàn)[2]。他對六名母語非英語的大學生進行了觀察，并采用回溯報告、訪談及錄像等手段采集數(shù)據(jù)，發(fā)現(xiàn)在這兩種不同輸入呈現(xiàn)方式中，被試對視覺信息的涉入深度（涉入深度被操作化為受試目光與顯示屏接觸的時間）不同。在靜止圖片條件下，受試對視覺輸入的涉入程度很低，且反應一致。大多數(shù)的被試認為靜止圖像只是在聽力理解初始建立情境時有用，其后并無多大幫助，但也沒有干擾作用。但在錄像條件下，受試涉入視覺信息的方式和深度體現(xiàn)出很強的個體差異。一些受試認為錄像對聽力理解非常有幫助，而另一些認為錄像對聽力理解的干擾很大。

（2）文本類型

上述研究結(jié)果間的分歧令研究者逐漸意識到，視覺輸入的作用受到其他因素的調(diào)節(jié)。因此，在研究視覺輸入的作用時，應充分考慮這些因素的影響以及它們之間的交互效應。Ginther對比了不同類型視覺輸入對托福考試聽力理解的影響，發(fā)現(xiàn)文本類型與視覺輸入類型之間存在交互[17]。在研究中，Ginther將視覺輸入方式與文本類型進行了組合。在兩人對話、短會話及學術(shù)討論部分使用僅提供情境的視覺輸入(一張帶有說話人和場景的靜止照片)，在小對話(mini-talk)部分使用一系列靜止照片及內(nèi)容視覺輸入，包括照片、圖表以及/或者與聽力輸入有關(guān)的圖表。他發(fā)現(xiàn)，伴隨小對話出現(xiàn)的內(nèi)容視覺輸入以及伴隨學術(shù)討論的情境視覺輸入有助于聽力理解，而小對話中的情境視覺輸入?yún)s對理解有輕度妨礙。Wagner則主要考察文本類型對被試處理視覺輸入方式的影響[9]，對比了當聽力測試中播放學術(shù)講座和對話視頻時，36名受試觀看顯示器屏幕的時間?？傮w而言，播放視頻時，受試在 69%的時間內(nèi)都會觀看顯示器屏幕，但播放對話時的觀看時間（72%）長于學術(shù)講座（67%）。Wagner認為原因在于，對話是兩個說話人之間的交互，情境依賴程度高，因此其中的情境線索及非語言信息數(shù)量多且十分顯著，對學習者的理解很有幫助。相反，講座的情境依賴程度低，交互性不強，非語言信息貧乏且不明晰。Suvorov的結(jié)果與此基本一致。他發(fā)現(xiàn)，在對話中使用錄像對學生的聽力理解基本沒有影響，但在講座部分使用錄像反而會妨礙理解[10]。

（3）個體差異

目前，專門研究視覺輸入處理中個體差異的研究非常稀少。但許多研究的結(jié)果附帶發(fā)現(xiàn)，被試的個體因素，如學習風格、文化背景、語言水平等都可能影響到他們在有視覺輸入聽力測試中的表現(xiàn)[2][13]。受此啟發(fā)，有研究探討學習者對視覺輸入的喜好及其與測試表現(xiàn)之間的關(guān)系。Progosh采用問卷調(diào)查的方式考察了日本英語學習者對以錄像為媒介的聽力考試的態(tài)度[8]，發(fā)現(xiàn)與純音頻的考試相比，91.9%的學生更喜歡有錄像的聽力考試。但是，該研究并沒有回答，偏好錄像考試的學生是否能從視覺幫助中受益，取得更好的測試成績。Suvorov的研究圍繞這個問題展開，卻沒有發(fā)現(xiàn)統(tǒng)一的規(guī)律[10]。整體看來，考生對不同輸入方式的喜好程度不同，但是他們對某種特定輸入方式的偏好并不能顯著提高測試分數(shù)。譬如，相比純音頻輸入，有些考生更接受錄像輸入方式，可他們在以錄像為輸入媒介的聽力測試部分的表現(xiàn)并不見得好于以音頻為輸入媒介的部分。然而，有趣的是，偏好音頻輸入的學生，在音頻聽力測試部分的成績卻顯著高于錄像部分。

綜上所述，現(xiàn)有研究已經(jīng)證明視覺輸入對二語學習者在聽力測試中的表現(xiàn)有影響，但影響是正面的還是負面的，影響的程度有多大等問題尚無定論。研究也開始關(guān)注視覺輸入方式與其他因素，如文本類型及個體差異等之間的交互，但此類研究尚處于起步階段。

三、現(xiàn)有研究的局限及未來研究方向

作為語言測試中的一個新興領(lǐng)域，有關(guān)視覺輸入的研究中存在諸多問題和挑戰(zhàn)。在下文中，我們將從理論和方法兩個層面對現(xiàn)有研究的局限和不足進行分析，并指出未來研究的發(fā)展方向。

1.存在的主要問題

概括起來，現(xiàn)有視覺輸入研究中主要存在以下三個問題。

（1）理論基礎。研究主要以語言學或測試學中有關(guān)聽力或語言能力的構(gòu)念定義為理論基礎，探討非語言信息是否應被納入聽力測試中。然而，這些定義大多只是從語言使用的一般現(xiàn)象出發(fā)，對聽力中是否應該涉及非語言信息或視覺線索做出基于經(jīng)驗的判斷，未對視覺輸入在聽力理解這個復雜認知過程中的具體作用做出有深度的解釋。雖有研究嘗試從信息加工理論，如聯(lián)通論認知模型入手探討視覺輸入與聽力的關(guān)系，但此類研究的數(shù)量本身較少，而且并未專門在這一理論模型下考察聽力理解的認知心理過程,對其中所涉及的復雜因素尚無具體的描寫和解釋。因此，研究結(jié)論有待進一步檢驗，且無法為實證研究提供統(tǒng)一的操作化框架。受理論基礎的局限，經(jīng)過近 20年的發(fā)展，現(xiàn)有研究依然停留于對比不同輸入方式對聽力測試成績的影響，雖考量的因素有所增加，但依然顯得零散、缺乏深度。

（2）測試工具。測試工具的有效性是研究信效度的根本保證。由于對聽力構(gòu)念的解釋不一，現(xiàn)有研究對聽力理解的操作化方法也不盡相同，對測試工具的有效性沒有統(tǒng)一的衡量標準。研究者采用多項選擇、開放式問答、聽后寫作、記筆記等多種工具來測量被試的聽力理解水平。如果這些測試工具并不能代表和反映二語聽力構(gòu)念所要求測量的能力，研究的結(jié)論自然無法令人信服。而且，測試工具的不統(tǒng)一也嚴重影響研究之間的可比性，研究結(jié)論存在分歧在所難免。此外，研究者自開發(fā)的測量工具的信效度也嚴重影響研究結(jié)論。譬如，Gruba的研究中聽力理解試題的效度僅為0.45。另一個重要的問題是，研究中所用聽力材料的類型比較單一，以學術(shù)講座為主[13]。視覺輸入是否影響其他體裁的理解，如交互性更高的多人對話或非學術(shù)類語篇？這個問題還有待研究。

（3）研究方法?，F(xiàn)有研究一般采用高控制的實驗研究的方法，試圖采用線性的統(tǒng)計方法在輸入方式與聽力理解成績之間建立起因果關(guān)系。如上文所述，由于語言使用以及聽力過程的復雜性，輸入方式的作用可能受到多個因素的調(diào)節(jié)，如學習者的文化背景、語言水平、文本類型、學生的語言水平等，而且其作用也不僅表現(xiàn)在測試的分數(shù)上，對學習者情感因素、策略使用、信息處理方式等也可能造成影響，但純量化的、單一尋找線性關(guān)系的方法很難觀察并解釋此類影響。

2. 未來研究發(fā)展方向

基于以上討論，筆者認為，未來聽力測試中視覺輸入的研究應當在以下幾個方面有所加強。

（1）拓寬理論基礎。信息技術(shù)的發(fā)展使現(xiàn)代社會越來越網(wǎng)絡化、圖像化。近年來興起的多元識讀（multiliteracy）理論明確指出，“意義”已不再僅由文字表達，而總是由視覺、聽覺、空間、姿態(tài)等多重符號模態(tài)來構(gòu)建的[18]。為此，多元識讀理論不僅致力于解釋語言、圖像、音響、動作等模態(tài)的意義構(gòu)建，而且試圖描述多媒體交流中的多模態(tài)關(guān)系[19]。根據(jù)這一理論，在網(wǎng)絡信息化世界中，聽力理解已不僅僅局限于從語言符號中獲取信息，也包含著對其他模態(tài)符號的識讀。因此，傳統(tǒng)的聽力構(gòu)念已無法涵蓋新時代背景下的信息交流方式和語言使用特征。作為聽力測試的基礎，構(gòu)念是核心問題。我們有必要超越經(jīng)典測試學理論的藩籬，借鑒語言學其他分支中的新理論，如多元識讀、多模態(tài)話語分析、交際能力構(gòu)念等來指導二語聽力測試，完善聽力的構(gòu)念定義。另一方面，認知心理學和教育技術(shù)領(lǐng)域的相關(guān)研究也應成為二語聽力測試的理論基礎。近年來，這兩個領(lǐng)域?qū)γ襟w呈現(xiàn)方式與人的心理和行為反應之間關(guān)系的研究不斷深入。譬如，有研究發(fā)現(xiàn)，不同類型的信息與不同的媒體呈現(xiàn)方式結(jié)合給被試造成的認知負擔不同[20]，學習者對不同技術(shù)的態(tài)度會影響到學習的效果等[21]。未來研究應將現(xiàn)有理論和新理論綜合起來，搭建一個多元的二語聽力認知模型，厘清模型中各因素之間的交互關(guān)系，為實證研究提供理論指導。

（2）開發(fā)完善測試工具。測試工具的有效性嚴重影響研究結(jié)論的效度和可推廣性。首先，未來研究應涉及更多元化的、能反映真實語言交際的測試材料，而非僅局限于學術(shù)講座或兩人對話。而且，相關(guān)研究應該對材料選擇有統(tǒng)一的理據(jù)和標準。其次，研究應對測量工具進行效度驗證，以確定多項選擇、判斷對錯這類試題是否真正能夠反映和代表二語聽力構(gòu)念所涵蓋的能力。如果采用非客觀題，則應該有完善的評分標準的設計原則。更重要的是，除了多項選擇、判斷對錯等客觀試題以外，應開發(fā)出更多樣的測試手段，以真正測量學習者的心理和行為反應。例如，Cubilo & Winke所采用的聽寫結(jié)合和記筆記任務等都是非常有益的嘗試[16]。

（3）納入新的研究方法。現(xiàn)有研究以高控制的量化和行為研究方法為主。由于二語聽力和視覺輸入處理都涉及復雜的認知過程，這樣的方法多有局限。未來研究應納入新的方法，采用量化和質(zhì)化研究方法相結(jié)合的混合設計方案，在實驗研究中加入有聲思維、個案分析、訪談等質(zhì)化分析，并采用結(jié)構(gòu)方程、混合效應模型等新統(tǒng)計方法來揭示學習者的心理認知過程以及變量之間的復雜交互關(guān)系。此外，在觀察被試行為的基礎上，采用眼動儀、ERP等腦科學的研究方法，更直接地觀察學習者的大腦認知活動。

四、結(jié) 語

從 Gruba對比音頻和視頻輸入效果的研究算起，有關(guān)聽力中視覺輸入的研究已經(jīng)歷了 20多年的發(fā)展歷程[13]。雖然，在理論和方法上都取得了一定的進展，但研究仍處于起步階段。研究數(shù)量還比較稀少，且研究結(jié)果間還存在較大的分歧，一些重要的問題依然懸而未決。因此，未來還需采用新的研究方法開展更多的實證研究，并吸收借鑒其他學科的新理論，拓寬理論基礎并完善聽力的構(gòu)念，提升研究的深度和廣度。這樣，我們才能真正弄清視覺輸入方式對聽力測試的構(gòu)念效度的影響，為外語教學中聽力材料的使用及計算機網(wǎng)絡化聽力考試的試題設計提供科學的理論指導。與國際相比，國內(nèi)有關(guān)視覺輸入的語言測試研究比較滯后。迄今為止，在外語類核心期刊上還未見有相關(guān)論文發(fā)表。今后，我國語言測試研究者應加快這方面的研究，以推動我國語言測試理論與實踐的發(fā)展。

[1] BUCK G. Assessing listening[M]. Cambridge:Cambridge University Press,2001:23-25.

[2] OCKEY G J. Construct implications of including still image or video in computer-based listening tests[J]. Language Testing, 2007(24):517-537.

[3] CHAPELLE A. English Language Learning and Technology: Lectures on Applied Linguistics in the Age of Information and Communication Technology[M]. Amsterdam:John Benjamins,2003:7-9.

[4] CHAPELLE A. Utilizing technology in language assessment[A]. In E. Shohamy, N. H. Hornberger (Eds),The Encyclopedia of language Education[M]. Language testing and assessment. Kluwer Press,2008(7):123-134.

[5] ROEVER C. Web-based language testing[J]. Language Learning &Technology,2001(5):84-94.

[6] BACHMAN L. Some reflections on task-based language performance assessment[J]. Language Testing,2002(19):453-476.

[7] LADO R. Language testing:The construction and use of foreign language tests[M]. London: Longman,1961:12.

[8] PROGOSH D. Using video for listening assessment: Opinions of test-takers[J]. TESL Canada Journal,1996(14):34-44.

[9] WAGNER E. Are they watching? Test-taker viewing behavior during an L2 video listening test[J]. Language Learning and Technology,2007(1):67-86.

[10] SUVOROV R. Context visuals in L2 listening tests:The effects of photographs and video vs. audio-only format. In C. A. Chapelle,H. G. Jun,&I. Katz (Eds.),Developing and evaluating language learning materials[M]. Ames,IA:Iowa State University,2009:53-68.

[11] GRUBA P. The role of digital video media in second language listening comprehension[D]. Unpublished PhD dissertation,Department of Linguistics and Applied Linguistics,University of Melbourne,1999.

[12] BEJAR I, DOUGLAS D,JAMIESON J,etal. TOEFL 2000 listening framework:a working paper[M]. Princeton, NJ:Educational Testing Service,2000.

[13] GRUBA P. A comparison study of audio and video in language testing[J]. JALT Journal,1993(15):85-88.

[14] CONIAM D. The use of audio or video comprehension as an assessment instrument in the certification of English language teachers:a case study[J]. System,2001(29):1-14.[15] WAGNER E. The effect of the use of video texts on ESL listening test-taker performance[J]. Language Testing,2010(27):493-513.

[16] CUBILO J,WINKE P. Redefining the L2 listening construct within an integrated writing task:Considering the impacts of visualcue interpretation and note-taking[J].Language Assessment Quarterly,2013(10):371-397.

[17] GINTHER A. Context and content visuals and performance on listening comprehension stimuli[J]. Language Testing,2002(19):133-167.

[18] COPEB K,ALANTAZIS M. Multiliteracies: Literacy learning and the design of social futures[M]. London:Routledge,2000:182-183.

[19] 韋琴紅. 多元識讀理論解讀[J]. 杭州電子科技大學學報,2013(9):59-62.

[20] CHAMBLISS M,CALFEE R. Textbooks for Learning:Nurturing Children’s Minds[M]. Oxford:Wiley-Blackwell,1998:76.

[21] ANTONIETTI A,COlOMBO B,LOZOTSEV Y. Undergraduates’ metacognitive knowledge about the psychological effects of different kinds of computer-supported instructional tools[J]. Computers in Human Behavior,2008(24):2178-2192.