基于Rasch模型的多項(xiàng)式選擇完型填空與集庫式完型填空信效度對比

甘 橋， 楊 英， 李亞琪

(西安交通大學(xué) 外國語學(xué)院， 陜西 西安 710049)

完型填空是語言測試中一種極為常見的題型，考察應(yīng)試者的詞匯、句法、語用等語言知識(shí)，以及推理、判斷、連貫等答題技能，對于英語專業(yè)四級水平測試而言，完型填空是構(gòu)成該試題的重要組成部分[1]。完型填空是由Taylor(1953)首次設(shè)計(jì)使用，主要是為了測試文章的可讀性[2]。Hofman & Habib-Allah (1982)指出完型填空具有出色的區(qū)分度，有利于區(qū)別學(xué)生的語言學(xué)能[3]，Boyle & Falvey (1994)進(jìn)一步指出完型填空涉及語用層面，在測試學(xué)生的語言學(xué)能力方面有很高的信效度[4]。2016年英語專業(yè)四級的新一輪改革，將完型填空的題型由多選式變?yōu)榱思瘞焓?，試題數(shù)量由以往的20題減少為10題，試題內(nèi)容增加了開放性。至于本研究中完型填空的具體分類和學(xué)科屬性，何蓮珍(1999)指出多項(xiàng)選擇式和集庫式完型填空均為選擇性完型填空試題類型[5]。多項(xiàng)選擇式完型填空指的是每個(gè)題目有4個(gè)選項(xiàng)，但只有一個(gè)最佳答案，該類完型填空具有較高信度，但是效度較缺乏，因?yàn)檫x項(xiàng)分布范圍較小，集中于一道題目，猜測度大幅提高，即猜測度的客觀存在難以區(qū)分不同水平的學(xué)生，不利于測試的公平性。而集庫式完型填空是答案以單詞或短語的形式存在于答案框，由學(xué)生通讀全文進(jìn)行選擇，答案框里的單詞或短語數(shù)目往往多于題目數(shù)，以便增加題型的區(qū)分度，減少猜測度。該類題型將試題的區(qū)分度和猜測度做了平衡，能增加難易度的合理性[6]，理論上應(yīng)當(dāng)具有更高的信效度，而實(shí)際是否如此呢？本研究通過48位被試的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行詳盡探討。

1 研究問題

1)這兩種不同類型的完型填空對考生的表現(xiàn)有影響嗎？

2)多項(xiàng)式選擇完型填空和集庫式完型填空兩者的信效度有否不同？

3)與多項(xiàng)式選擇完型填空相比，集庫式完型填空是否能更好地測量學(xué)生的英語語言能力?

2 研究方法

2.1 研究對象

實(shí)驗(yàn)設(shè)計(jì)時(shí)對被試的基本選取條件是未通過英語專業(yè)四級，因此處于大二年級第一學(xué)期的70位被試收到邀請參加了該項(xiàng)實(shí)驗(yàn)，每位被試要求完成兩個(gè)問卷和改革前后的兩套試題，限時(shí)30分鐘，由于有些被試未能完成整套試題，有些未及時(shí)反饋等原因，最終有效數(shù)據(jù)為48份，平均年齡20歲，平均英語學(xué)習(xí)年限為14年，其中少數(shù)民族學(xué)生4位，漢族學(xué)生44位，因?yàn)橛W(xué)生的分布現(xiàn)狀是女生多于男生，因此此次實(shí)驗(yàn)被試男生14名，女生34名，性別并不是本研究要考慮的因素，便不會(huì)對研究結(jié)果有干擾影響。

2.2 測量工具

研究采用了試題+問卷的模式進(jìn)行實(shí)驗(yàn)操作，以便進(jìn)行更為全面的調(diào)查。每份試題包括背景信息問卷、改革前后的兩套試題和難易度問卷三個(gè)部分構(gòu)成。其中背景信息問卷主要內(nèi)容為性別、年齡、年級、民族、英語學(xué)習(xí)年限、高考英語成績、目前所獲英語等級證書等。

改革前后的試題選擇了2015年(15分鐘完成)和2016年(10分鐘完成)兩年專業(yè)四級考試真題，而難易度問卷主要是測試學(xué)生的難易感知是否與測試結(jié)果匹配，要求被試在完成兩套試題后完成，完成三個(gè)問題：1)以上兩篇完型填空，哪一篇難度更大？A.第一篇 B.第二篇；2)以上兩篇完型填空，你覺得哪一篇更能測試出你的完型填空解答能力？A.第一篇B.第二篇；3)以上兩篇完型填空的題目型式，哪一篇更符合你完型填空的做題習(xí)慣？A.第一篇B.第二篇。

實(shí)驗(yàn)數(shù)據(jù)采用Rasch模型多層面分析軟件FACETS[7]以及SPSS 23.0進(jìn)行測算，以便客觀的對比兩種完型填空試題的信效度。

3 實(shí)驗(yàn)結(jié)果與討論

3.1 多項(xiàng)選擇式完型填空

1)題目難度

由表1可知題目難度介于-3.07～3.23之間，分別對應(yīng)第15題和第9題，表明第15題最難而第9題最簡單。擬合度的值表明第6題的難度是可接受的，而第6題則過度擬合，過度擬合的測驗(yàn)表明兩個(gè)可能的結(jié)果：該題目難易度不理想或者該題目的測試內(nèi)容獨(dú)立于考生的語言能力，不具有針對性。此外，測試者的能力介于-0.87～5.17之間，橫跨8個(gè)單位，表明該套試題的區(qū)分度是較為理想的。在48位考生中，第21位表現(xiàn)最出色，獲得該套試題的滿分，然而第11位表現(xiàn)最弱，只做對了35%的題目。

2)區(qū)分度

表1題目難易度分布

表2 試題與考生的擬合度

學(xué)生序號內(nèi)部擬合均值外部擬合均值內(nèi)部擬合t值外部擬合t值學(xué)生序號內(nèi)部擬合均值外部擬合均值內(nèi)部擬合t值外部擬合t值271.419.900.74.4370.710.53-1.2-0.8311.782.522.31.730.550.12-0.4-0.6381.662.362.32.590.550.12-0.4-0.6421.102.260.41.3240.490.40-2.4-1.6……………190.430.36-2.9-1.850.740.48-0.9-0.6均值0.970.970.10.3160.740.48-0.9-0.6標(biāo)準(zhǔn)誤0.371.220.80.6410.740.58-1.1-0.9

通過考察試題和考生的擬合度能夠準(zhǔn)確的測量試題的區(qū)分度，即試題多大程度上能反映考生的真實(shí)學(xué)能，將不同實(shí)力的考生區(qū)分開來，使得考生成績更具有效度。由表2可知11個(gè)考生內(nèi)部擬合均值超出了0.75～1.3的可接受范圍，而第31位、第38位、第24位和第19位考生的非擬合值最高，試題的構(gòu)念效度未能有效體現(xiàn)，然而試題的區(qū)分度對于其余考生而言是有效的。

綜合以上多項(xiàng)選擇式完型填空實(shí)驗(yàn)的數(shù)據(jù)，結(jié)果顯示個(gè)人能力的值在-0.87～5.17，題目難易度在-3.07～3.23，得滿分的可能性低于50%，27位考生的分?jǐn)?shù)呈現(xiàn)不同分區(qū)。試題的區(qū)分度整體較為理想，但是第6題過度擬合。

3.2 集庫式完型填空

為了比較相同考生在多項(xiàng)式選擇完型填空和集庫式完型填空兩種題型上的不同表現(xiàn)，基于Rasch模型我們進(jìn)一步對集庫式完型填空的不同指標(biāo)進(jìn)行對比匯報(bào)。

表3題目難易度分布

由表3可知題目難度介于-1.48～1.41之間，分別對應(yīng)第7題和第4題，表明第7題最難而第4題最簡單。擬合度的值表明第6題和第9題的難度是不可接受的，因?yàn)樗鼈兊膬?nèi)部擬合MNSQ值超出了0.75～1.3的合理值范圍，此外它們的t值也未介于-2～2之間，因此這兩道題的構(gòu)念效度不夠理想，試題質(zhì)量較差。此外，測試者的能力介于-1.5～1.5之間，橫跨8個(gè)單位，表明該套試題的區(qū)分度是較為理想的。在48位測試者中，第3位、第9位、第14位、第15位和第21位考生表現(xiàn)最出色，獲得該套試題的滿分，然而第38位考生表現(xiàn)最弱，一道題也沒有做對。

表4 試題與考生的擬合度

由表4可知9個(gè)考生內(nèi)部擬合均值超出了0.75～1.3的可接受范圍，只有第39位同學(xué)的非擬合值超出了-2～2，試題的構(gòu)念效度未能有效體現(xiàn)，而多項(xiàng)選擇式完型填空有4位同學(xué)的擬合度不夠理想，相對而言，集庫式完型填空的構(gòu)念效度更好。

對比兩類完型填空的實(shí)驗(yàn)數(shù)據(jù)不難發(fā)現(xiàn)集庫式完型填空的極值多于多項(xiàng)式選擇完型填空，其中5位考生獲得了集庫式完型填空試題的滿分，1位考生獲得0分，而僅1位考生獲得了多項(xiàng)式選擇完型填空的滿分且無人獲得0分，由此可知多項(xiàng)式選擇完型填空的難度高于集庫式完型填空且區(qū)分度不如集庫式完型填空理想，當(dāng)考生在完成多項(xiàng)式選擇完型填空時(shí)，因?yàn)槊康李}有獨(dú)立的4個(gè)選項(xiàng)作參考，試題的猜測度則更大，不利于真實(shí)區(qū)分考生的語言能力。

此外，兩種完型填空數(shù)據(jù)的配對樣本t檢驗(yàn)結(jié)果具有顯著性，即同一群體考生完成兩種類型的完型填空試題，所得分?jǐn)?shù)顯著不同，如表5所示。

表5 配對樣本t檢驗(yàn)結(jié)果

4 結(jié)語

與多項(xiàng)式選擇完型填空相比，集庫式完型填空中個(gè)人能力與試題難度的關(guān)系更加緊密，表明區(qū)分度更好，然而實(shí)驗(yàn)結(jié)果表明目前使用的集庫式完型填空題目數(shù)量偏少，10道題不足以有效反映考生的語篇閱讀能力，給該類完型填空的信效度帶來負(fù)面影響，因此后續(xù)英語專業(yè)四級水平測試中可以考慮繼續(xù)使用集庫式完型填空，但是應(yīng)當(dāng)增加題目數(shù)量，以便更好地實(shí)現(xiàn)試題的構(gòu)念效度，將難易度、區(qū)分度和猜測度有效平衡，達(dá)到更合理的完型填空測試目標(biāo)。

本研究通過系列實(shí)驗(yàn)，基于Rasch模型進(jìn)行了數(shù)據(jù)的信效度分析，探討了多項(xiàng)式選擇完型填空和集庫式完型填空的異同，是英語專業(yè)四級完型填空改革后的首項(xiàng)實(shí)驗(yàn)對比研究，對于后續(xù)的完型填空試題構(gòu)念設(shè)計(jì)具有重大理論和實(shí)踐指導(dǎo)意義，有助于考生更有針對性地準(zhǔn)備英語專業(yè)四級水平測試[8]，也有利于出題者掌握改革前后考生的不同表現(xiàn)進(jìn)行試題的調(diào)整和改進(jìn)。然而由于此次實(shí)驗(yàn)被試樣本量偏小，研究結(jié)論的普遍性不足，后續(xù)研究可通過增加被試數(shù)量并對比影響完型填空構(gòu)念效度的因素，如被試英語學(xué)習(xí)時(shí)長、測試時(shí)間、性別、認(rèn)知風(fēng)格等來進(jìn)一步完善實(shí)驗(yàn)設(shè)計(jì)，提升研究結(jié)果的可推廣性。