以內(nèi)省法檢驗新HSK五級完型填空的效度:基于反應(yīng)過程的證據(jù)

劉書慧

(華南師范大學(xué)國際文化學(xué)院，廣東廣州510631)

一、引 言

漢語水平考試作為測試母語非漢語學(xué)習(xí)者漢語水平的大型標(biāo)準(zhǔn)化考試，自2009年推出新漢語水平考試后，仍延續(xù)原有HSK一般漢語能力考試的定位，其測量結(jié)果對考生求學(xué)、求職以及漢語能力評價的影響后效(consequences)均具有高風(fēng)險性。［1］因此檢驗測試的效度一直是研究人員關(guān)注的焦點。新HSK5級是考生數(shù)量最多的一個等級，但對其效度研究卻明顯不足，目前只有符華均等［2］研究了試卷的內(nèi)部結(jié)構(gòu)效度(聽力理解、閱讀理解和書面表達(dá))。閱讀的第一部分完型填空部分與試卷總分的相關(guān)達(dá)到0.82，［2］是試卷極為重要的一部分。本文力圖從考生答題反應(yīng)過程探討完形填空測試的答題效度。

完型填空題型已經(jīng)被驗證為有效測試外語學(xué)習(xí)者閱讀理解能力的題型之一。新HSK 5級閱讀的第一部分完形填空題，提供幾篇文字，每篇文字中有3－4個空格;空格處填入一個詞語或一個句子，每個空格有4個選項，考生要從中選出答案;共有15個題目，考試時間15分鐘。這個題型是測試考生對上下文的理解和語言綜合運用的得體性和準(zhǔn)確性，包括詞語理解、詞語搭配、詞義辨析(同義詞/近義詞)、語法判斷和語段的理解。［3，4］Bachman將完型填空測試答題所需的信息分為四個層次:(1)分句內(nèi)信息(within clause);(2)分句間、整句內(nèi)信息(across clause，within sentence);(3)句子間、語篇內(nèi)信息(across sentence，within text);(4)超語篇信息(extra－textual)。［5］雖然完型填空是貫穿了原HSK初中等和改進(jìn)版的題型，但有關(guān)其效度研究卻一直空白。

根據(jù)《教育和心理測試標(biāo)準(zhǔn)》第五版［6］，效度證據(jù)主要來自五個方面:(1)試卷內(nèi)容;(2)反應(yīng)過程;(3)試卷的內(nèi)部結(jié)構(gòu);(4)測試分?jǐn)?shù)與其他外部變量之間的關(guān)系;(5)測試的后果。先前對新HSK5級的效度研究［2］提供了試卷內(nèi)部結(jié)構(gòu)的效度證據(jù)，是分?jǐn)?shù)解釋性的必要條件，但并不是充分條件。因為即使知道了一項測試的基本內(nèi)部結(jié)構(gòu)的效度證據(jù)，我們也不一定知道這項測試分?jǐn)?shù)該怎么解釋。［7］但基于反應(yīng)過程的效度證據(jù)有助于分?jǐn)?shù)的解釋，可以幫助試卷開發(fā)人員了解考生分?jǐn)?shù)差異的原因和意義。反應(yīng)過程指的是考生答題時的心理反應(yīng)過程和評分員給主觀題打分時的心理反應(yīng)過程。對考生的答題反應(yīng)過程的分析(包括理論分析和實證分析)，可以提供關(guān)于測試的構(gòu)建與考生實際答題的詳細(xì)心理過程之間的擬合程度方面的證據(jù)。［7］命題人期望考生在完型填空測試題目上能夠根據(jù)分句內(nèi)、整句內(nèi)、語篇內(nèi)的信息完成任務(wù)，同時會區(qū)分近義詞，掌握詞語搭配和語法結(jié)構(gòu)，理解語段的含義。了解考生的答題過程和在回答過程中使用的推理可以幫助出題者明白試卷測試了考生什么能力，考生是否使用了出題者預(yù)期的某些能力。［8］收集考生反應(yīng)過程的效度數(shù)據(jù)通常通過內(nèi)省法獲得，只有對考生答題過程本身進(jìn)行分析，才能更全面、準(zhǔn)確地揭示測試任務(wù)的構(gòu)念在實際操作中實現(xiàn)的程度，從而為測試分?jǐn)?shù)意義和構(gòu)念效度提供實質(zhì)性證據(jù)。［9］本文的研究目的是以內(nèi)省法調(diào)查考生完成新HSK5級的完型填空測試的答題反應(yīng)過程，來檢驗該部分的效度。

二、研究設(shè)計

(一)研究問題

1.考生在完成完型填空測試過程中使用了哪些答題策略?

2.考生實際使用的答題策略是否符合命題人的預(yù)期?

3.不同信息類型的題目是否使用不同的答題策略?

(二)被試

參加本研究的調(diào)查對象是來自華南師范大學(xué)本三的外國留學(xué)生22人，其中2人參加預(yù)測，20人參加實測。這些學(xué)生經(jīng)過2年的漢語學(xué)習(xí)，詞匯量已達(dá)到2 500個，符合新HSK五級的測試對象。

(三)研究工具

2013年7月的新HSK五級共有4 088人參加，信度為0.863。①此數(shù)據(jù)由漢考國際提供，在此表示感謝。完型填空測試選自這套真題閱讀的第一部分，共15題，有四個段落，每個段落有3－4個空格，要求考生要從4個選項中選擇合適的詞語或句子補(bǔ)充完整。

閱讀策略列表使用Cohen和Upton［10］的列表，此列表包括兩部分:閱讀策略(28項)和考試策略(包括28項考試管理策略Test－management strategies和3項應(yīng)試技巧策略 Test－wiseness strategies)。閱讀策略一方面指讀者閱讀時在語音、詞匯、句法、語義和語篇層面的加工，還指建立閱讀目標(biāo)、總結(jié)文本、解釋、監(jiān)管和評估閱讀目標(biāo)實現(xiàn)、使用不同閱讀方法提高理解，根據(jù)需要對理解進(jìn)行修復(fù)。［11］這些閱讀策略在列表中都有體現(xiàn)，如R1設(shè)定閱讀目標(biāo)，R23讀完文章后，運用邏輯連接詞理解文章的內(nèi)容和段落組織?？荚嚥呗灾冈诳荚囍锌忌x擇使用或在某種程度上意識到的答題過程?？荚嚬芾聿呗跃褪悄切┰诜强荚嚽闆r下不會使用的答題策略，如T11選擇一個答案，并把答案放在句子里檢查是否正確。應(yīng)試技巧策略指的是考生不依靠自己的語言能力而回答題目時使用的答題策略，如:因為選項里有一個也許很重要的詞或短語在短文里出現(xiàn)過，所以認(rèn)為這個選項就是答案(TW3)。

這個列表是目前最新最全面的答題策略列表。這個策略列表被翻譯成漢語，經(jīng)修改和核對保證留學(xué)生都能理解每項的意思。與口頭報告相比，列表法能克服以下局限:留學(xué)生因漢語詞匯有限而無法表達(dá)清楚使用的策略;因一些策略的使用是無意識的，所以口頭報告法無法獲得相關(guān)信息，但列表法可以幫助考生提取;口頭報告要求考生在閱讀的同時報告所想，會打斷閱讀過程。［12］

(四)研究步驟

先找2位留學(xué)生做預(yù)測，培訓(xùn)包括解釋研究的目的和策略列表的內(nèi)容，然后發(fā)測試卷并要求考生一邊完成各題目，一邊在指定位置寫出使用的策略編號，可多選。在預(yù)測后修改了部分策略的表達(dá)，使之更清晰明了。2個星期后，對20人進(jìn)行了實測。實測之前進(jìn)行大約30分鐘的培訓(xùn)，確保每個留學(xué)生明白每項策略的意思。學(xué)生答題時間總計為30－40分鐘，答題結(jié)束后，筆者收回問卷。剔除漏答和記錄全部相同策略的問卷4份，有效問卷共16份。本研究使用SPSS13.0統(tǒng)計分析數(shù)據(jù)。

三、研究結(jié)果與分析

(一)考生實際使用的答題策略

根據(jù)頻數(shù)統(tǒng)計，考生回答15個題目共使用閱讀策略286次，使用考試策略258次(考試管理策略244次，應(yīng)試技巧策略14次)，前者略多于后者。這與Salehi［12］的研究結(jié)果是一致的，運用配對T檢驗發(fā)現(xiàn)閱讀策略和考試策略使用頻數(shù)沒有顯著差異(sig=0.582＞0.05)。就是說，考生在完型填空答題過程中使用的考試策略和閱讀策略同樣多。而在實際目標(biāo)閱讀中是不會使用這些考試策略的，閱讀測試沒有單純考察學(xué)生的閱讀技能，因此完型填空測試的真實性程度較低。

統(tǒng)計策略使用頻數(shù)，刪除使用0次的8項策略(R24、R10、R11、R2、R1、TW2、T8、82)，考生共使用51種策略完成完型填空測試，使用頻數(shù)超過(包括)10次的有如下19項策略，其中閱讀策略11項，考試策略8項。

表1 使用頻數(shù)最多的11個閱讀策略

從表1來看，在完成完型填空測試過程中，總體上學(xué)生還是通過理解上下文(R28)和全文來完成各題目(R9、R7、R4、R5、R6、R12)，而不是只簡單看選項選擇合適答案。從運用的閱讀策略來看，完型填空題測試了學(xué)生對詞語的理解(R9、R18)，連接詞的運用(R23)，段落結(jié)構(gòu)的思考(R17)和整篇短文主旨的理解(R4、R5、R13)，實現(xiàn)了完型填空題測試閱讀綜合技能的目的，具有較高的效度。

表2 使用頻數(shù)最多的8個考試策略

從表2使用頻數(shù)最高的這些考試策略可以看出，考生在選擇答案時總是把選項和上下文聯(lián)系在一起(T15、T10、T5、T24、T4)，分析、推斷、理解選項(T19)在上下文中是否合理、是否正確后并作出回答。作為一種測試閱讀理解的手段，完型填空的根本目的則為測試考生運用上下文理解全篇的綜合語言能力。［13］所以，考生在完成題目時使用的這些考試策略也正是命題人所期望的。因此從考試策略也可以看出，新HSK五級的完型填空測試效度較高。但研究也發(fā)現(xiàn)，考生在完成題目時很多時候是借助背景知識排除不合理選項(T23)再做出回答，而這一策略是偏離命題人的預(yù)期的，也影響了測試的效度。

(二)預(yù)期答題策略和實際使用答題策略的擬合度

預(yù)期答題策略是命題人期望考生在完成題目時使用的答題策略，包括全部的閱讀策略和大部分考試管理策略。非預(yù)期答題策略是命題人不期望考生使用的策略。它不僅包括應(yīng)試技巧策略，還有一些根據(jù)背景知識使用的答題策略。完形填空是測試外語學(xué)習(xí)者的閱讀理解能力，不能考查應(yīng)試者的文化背景知識或某一領(lǐng)域的專門知識，因為HSK是一般語言能力考試，考這些知識會造成不公平，而且考的很難說是語言能力。［14］

在策略列表中如下策略屬于非預(yù)期策略:T18根據(jù)背景知識猜答案;T21運用背景知識選擇答案;T23根據(jù)背景知識排除不合理的答案;T27根據(jù)背景知識排除一個或幾個選項;TW1使用排除法(雖然不理解還是選擇一個答案，因為模糊地感覺到別的答案都不對);TW2做一個題目時會從別的題目里受到啟發(fā);TW3選擇一個答案因為答案里有一個也許很重要的詞或短語在短文里出現(xiàn)過。

通過計算考生在15個題目中使用的預(yù)期策略和非預(yù)期策略，可以得到預(yù)期策略與實際使用策略的比率:比率越高就表示考生使用的策略越接近命題人的預(yù)期，比率越低說明考生使用的非預(yù)期策略越多，從而偏離命題人的預(yù)期策略，效度受影響。結(jié)果見表3。

表3 預(yù)期使用策略和實際使用策略的擬合度

從表3看到，16名考生在15個題目的回答中共使用預(yù)期答題策略503次(占總答題策略的90%)，擬合度為0.90，即考生的答題過程90%屬于命題人預(yù)期范圍內(nèi);考生使用非預(yù)期答題策略共54次，即只有10%的答題策略使用了非預(yù)期答題策略，所以總體來說完型填空測試考查了命題人預(yù)期的閱讀理解策略，測試效度較高。其中擬合度最高的是59題0.97，總共使用了29次有效答題策略，其中R5(快速閱讀整篇文章)和T15(看選項，并把選項放在文章里讀)分別使用3次。

59.……當(dāng)你被拒絕時，你應(yīng)該面帶_______，向顧客敬禮，因為他讓你賺了20元。

A贊美 B微笑 C情緒 D決心

擬合度最低的55題使用了7次非預(yù)期答題策略，使用 3次 T18，T23、T27、TW1和 TW3各 1次。55題的答案在分句內(nèi)就能找到，大多數(shù)的時候?qū)W生通過重復(fù)、解釋、翻譯等策略來回答，但使用背景知識來猜測(T18)或排除(T23、T27)不合理的答案，說明學(xué)生對這個詞的用法很熟悉，不需要反復(fù)看原文，所以即使策略使用的擬合度最低，但55題的正確率還是很高(0.94)。

55.……用筷子進(jìn)食的國家_______上集中在亞洲，包括中國以及……

A根本 B總共 C一律 D基本

(三)不同信息類型的題目使用的答題策略

從表3可以看到，本研究使用的完形填空測試題目的信息類型有三種:分句內(nèi)(7個)、整句內(nèi)(6個)和語篇內(nèi)(2個)。三種題目使用的答題策略頻數(shù)分別是255、231和72。運用獨立樣本T檢驗發(fā)現(xiàn)，考生回答三種信息類型題目時使用的閱讀策略，考試策略和答題策略總頻數(shù)的均值上都沒有顯著差異。三種信息類型題目的正確率均值也沒有顯著性差異。但是，深入分析考生回答三種信息類型題目使用最多的前10種答題策略，還是可以發(fā)現(xiàn)一些差異(如表4所示)。

表4 三種信息類型題目使用最多的10種策略

在回答分句內(nèi)信息題目時，與考試策略相比，考生使用了更多的閱讀策略(8∶2)，如理解文本結(jié)構(gòu)(R23、R25、R18)，用短文大意幫助理解(R17、R12、R13)，仔細(xì)閱讀部分或全部文章(R4、R6)?；卮鹫鋬?nèi)信息題目時，考生用了更多的考試策略(6:4)中選擇答案的策略(T10、T5、T24、T11、T19)，閱讀策略中更關(guān)注文章的內(nèi)容(R5、R6)和利用邏輯連接詞理解文章的內(nèi)容和段落組織(R23)，并通過反復(fù)閱讀(R12)來完成題目，而較少關(guān)注分句層面的關(guān)鍵詞等信息?；卮鹫Z篇內(nèi)信息題目使用的閱讀策略和考試策略數(shù)目相當(dāng)(5∶5)，閱讀策略更關(guān)注語篇意義和內(nèi)容的理解(R9、R4、R7、R17)，而較少關(guān)注文章局部的意思和結(jié)構(gòu)，考試策略中更多的關(guān)注各個選項在語篇層面的合適性(T15、T10)。根據(jù)考生在不同信息類型題目上使用策略的運用，可以發(fā)現(xiàn)回答分句內(nèi)題目時，學(xué)生主要使用閱讀策略完成題目，更關(guān)注文本的內(nèi)容和結(jié)構(gòu)，但在整句內(nèi)信息類型和語篇內(nèi)信息題目上，考生偏向使用考試策略，并且還使用了非預(yù)期答題策略(T18、T23)。

四、結(jié) 論

根據(jù)本研究的數(shù)據(jù)結(jié)果和分析，我們可以得出以下結(jié)論。

第一，根據(jù)考生在完形填空測試的答題過程中使用的答題策略(閱讀策略和考試策略)可以看出，完型填空題測試了學(xué)生對詞語的理解、連接詞的運用、段落結(jié)構(gòu)的思考和整篇短文主旨的理解，能把選項和上下文聯(lián)系在一起分析、推斷、理解和判斷。作為一種測試閱讀理解的手段，能夠考查考生對上下文的理解和語言綜合運用的能力，具有較高的效度。

第二，考生在557次策略使用中，有503次使用了命題人的預(yù)期答題策略完成題目，占90%;非預(yù)期答題策略使用54次，占10%，研究表明完型填空測試能夠在實際操作中有效體現(xiàn)本測試的構(gòu)念，效度較高。

第三，在不同信息類型的題目上考生分別使用相應(yīng)的答題策略。通過仔細(xì)分析部分文章的大意和結(jié)構(gòu)，考生更集中使用閱讀策略完成分句內(nèi)的題目;在回答整句內(nèi)和語篇內(nèi)題目時考生更偏向使用考試策略，更關(guān)注語篇意義和段落組織。

本研究的局限在于，正式被試只有16人，樣本較小，大部分是東南亞的留學(xué)生。所以本研究的結(jié)論還有待進(jìn)一步驗證。

［1］柴省三.關(guān)于HSK閱讀理解測驗構(gòu)想效度的實證研究.世界漢語教學(xué)，2012(2).

［2］符華均，張晉軍，李亞男，等.新漢語水平考試HSK(五級)效度研究.考試研究，2013(3).

［3］劉英林.高等漢語水平考試的總體設(shè)計與理論思考.語言文字應(yīng)用，1994(1).

［4］劉英林.中國漢語水平考試十年(一).漢語學(xué)習(xí)，1996(4).

［5］L.F.Bachman.Performance on Cloze Tests with Fixed Ratio and Rational Deletion.TESOL，1985(3):535 －555.

［6］American Psychological Association，American Educational Research Association，and National Council on Measurement in Education.Standards for Educational and Psychological Testing.Washington，D.C.:American Educational Research Association，1999.

［7］鄒申.語言測試.上海:上海外語教育出版社，2005.

［8］J.C.Alderson，C.Clapham，D.Wall.Language Test Construction and Evaluation.Cambridge:Cambridge U-niversity Press，1995.

［9］L.Bachman.Modern Language Testing at the Turn of the Century:Assuring That What We Count Counts.Language Testing，2000(1):1–42.

［10］A.Cohen，T.Upton.Strategies in Responding to the New TOEFL Reading Tasks.Monograph Series:ETS，2006.

［11］A.Cohen，T.Upton.“I want to go back to the text”:Response Strategies on the Reading Subset of the New TOEFL.Language Testing，2007(2):209 －250.

［12］M.Salehi.Test Taking Strategies:Implications for Test Validation.Journal of Language Teaching and Research，2011(4):850－85.

［13］陳曉扣.論英語測試完形填空試題.解放軍外國語學(xué)院學(xué)報，2001(3).

［14］黃理兵，郭樹軍.HSK閱讀理解試題的語料和命題.世界漢語教學(xué)，2008(2).