認知診斷閱讀測試信效度檢驗

杜文博

摘 要： 本文利用SPSS統(tǒng)計軟件對建立好的一套認知診斷閱讀測試題進行信效度檢驗。結(jié)果顯示：本套閱讀試題的信度為0.794，達到可接受信度0.7，試題的內(nèi)部相關(guān)性較高，并能區(qū)分不同水平的學生?；谏鲜霭l(fā)現(xiàn)，本試題可以用來對學生的閱讀水平進行診斷測試。

關(guān)鍵詞： 認知診斷 閱讀測試 信效度

1.研究背景

認知診斷理論是認知心理學與心理測量學相結(jié)合的新型心理測量理論。它旨在通過對學習者技能掌握情況的細致分析，為學習者提供有效的診斷反饋。（涂東波等2012）通過認知診斷，對個體的評估不再局限于宏觀能力層面，而對個體內(nèi)部微觀認知結(jié)構(gòu)進行剖析，有助于人們更好地了解個體內(nèi)部心理活動規(guī)律及加工機制，準確發(fā)現(xiàn)個體的優(yōu)缺點，及時補救以促進個體全面發(fā)展。（Lee et al.2009；關(guān)丹丹2009）

將認知診斷應(yīng)用于英語閱讀測試旨在發(fā)現(xiàn)學生對不同閱讀技能的掌握情況，從而為他們提供針對性的補救措施。英語閱讀認知診斷試題的構(gòu)建是實現(xiàn)診斷過程的重要步驟，試題的信效度的高低直接決定了它是否可作為診斷工具應(yīng)用于大規(guī)模診斷測試。因此對試題信效度的檢驗尤為重要。本文研究的試題為西安交通大學PELDiaG課題組設(shè)計的一套具有診斷功能的英語閱讀測試題。該套試題分為三大部分，合計43道多項選擇題，每一道題包含若干認知閱讀屬性。第一部分是一篇約800詞的泛讀題，要求學生快速瀏覽文章選出相應(yīng)答案。第一部分結(jié)尾設(shè)有兩道策略題，旨在了解學生完成該部分試題的技巧。第二部分為三篇精讀題，分別含有12道、5道和6道題目。第三部分為10道完形填空題，難度與四級試題相當。整套試題的結(jié)構(gòu)見表。

2.相關(guān)理論

英語閱讀認知屬性指的是被試在完成題目時采用的知識、技能、策略、思維過程、閱讀技巧等。通過對大量文獻回顧及理論指導(dǎo)，課題組定義了8種被試最常用的閱讀屬性，見表1。

“Q矩陣”是一個描述測驗項目與屬性之間關(guān)系的矩陣，首先由Embreston提出，后經(jīng)Tatsuoka完善形成“Q矩陣理論”。本文采用的認知診斷閱讀題共包含43道題目。經(jīng)7位專家標注，形成屬性與題目之間的Q矩陣如下表所示。其中橫排為屬性，豎排為題項，并采用0/1標注。0代表正確答對該題不需要掌握此屬性，1代表正確答對該題該屬性是必須掌握的。由于空間限制，部分矩陣予以省略。

根據(jù)信效度相關(guān)理論，本文提出如下假設(shè)：

1：試題的內(nèi)部一致性應(yīng)較高，Cronbachs alpha應(yīng)高于0.7。

2：試題的各組成部分應(yīng)該顯著相關(guān)。

3：試題應(yīng)能區(qū)分不同水平的學生，不同水平學生的作答情況顯著不同。

3.研究方法

為驗證提出的假設(shè)，本文利用SPSS軟件對學生作答數(shù)據(jù)進行統(tǒng)計分析。參加閱讀測試的學生為西安交通大學非英語專業(yè)的本科生，合計401人。正確回答一道題得1分，合計41分。根據(jù)學生的作答情況，將學生分為高水平組（分數(shù)大于28）與低水平組（分數(shù)等于或低于28）

401份學生數(shù)據(jù)分組后，高水平組共215份，低水平組共186份。將學生數(shù)據(jù)導(dǎo)入SPSS軟件，進行一系列統(tǒng)計分析：信度分析考察試題的內(nèi)部一致性。內(nèi)部相關(guān)性、因子分析及單維ANOVA分析考察試題的結(jié)構(gòu)效度。本文顯著性水平設(shè)為0.05。

4.數(shù)據(jù)分析及討論

試題良好的信度是效度的必要條件。本試題的Cronbachs alpha值為0.794，高于可接受值0.7。說明本試題基本可靠，假設(shè)1得到證實。

試題結(jié)構(gòu)效度可通過試題各部分的相關(guān)系數(shù)，以及與總分的相關(guān)系數(shù)得出，見表。從表中看出，試題的三部分，泛讀、精讀和完形填空顯著相關(guān)。雖然三部分都測試閱讀，但所測屬性不同，我們期待它們之間的相關(guān)較低，在（+0.3，+0.5）的水平（Alderson，Clapham，& Wall，1995）。數(shù)據(jù)顯示三部分之間的相關(guān)系數(shù)在0.3左右。說明三部分所測屬性分布清晰。其次，精讀與完型與總分的相關(guān)系數(shù)均高于0.7（分別為0.872，和0.753），說明這兩部分在該試題中占有比重最大。本試題的效度可靠，假設(shè)2得到證實。

一套有效的試題應(yīng)該能夠區(qū)分不同水平組的學生。單維Anova分析顯示高水平組的平均分在三部分閱讀題中均高于低水平組。兩組在每一部分的變量都顯著不同。說明該試題可以區(qū)分不同水平組的學生，見表5。

5.結(jié)語

根據(jù)信效度統(tǒng)計分析顯示，本試題的信度和效度可觀，所有假設(shè)得到證實。試題內(nèi)部一致性較高，三個子試題的相關(guān)性在可接受范圍內(nèi)，并能區(qū)分不同水平組的學生，該套閱讀認知診斷試題可以用于診斷測試。

參考文獻：

[1]關(guān)丹丹.認知診斷理論與考試評價[J].評價與測量，2009（4）：8-12.

[2]馬曉梅課題組.個性化英語學習診斷與指導(dǎo)系統(tǒng)實證研究與系統(tǒng)構(gòu)架概要[J].外語教學與研究，2008（3）：184-187.

[3]涂東波，蔡艷，丁樹良.認知診斷理論、方法與應(yīng)用[M].北京：北京師范大學出版社，2012.

[4]Alderson，J.，Clapham，C.and Wall，D.1995.Language test construction and evaluation.Cambridge：Cambridge University Press.

[5]Lee，Yong-Won，& Yasuyo，S.Cognitive Diagnosis Approaches to Language Assessment：An Overview.Language Assessment Quarterly，2009，（6）：172-189.

[6]Rupp A.，Templin J.，Henson R.A.Diagnostic Measurement：Theory，Methods，and Applications[M].New York：The Guilford Press，2010.