層級相合性指標(biāo)和噪音的關(guān)系及其在分?jǐn)?shù)減法測驗(yàn)中的應(yīng)用

毛萌萌

（南昌大學(xué)公共管理學(xué)院心理學(xué)系，江西 南昌 330031）

一、引言

傳統(tǒng)測驗(yàn)只關(guān)注作答結(jié)果，忽視學(xué)生作答的內(nèi)在心理過程，為彌補(bǔ)這一缺陷，以認(rèn)知診斷為核心的新一代測驗(yàn)理論被開發(fā)出來。Leighton 和Gierl[1]認(rèn)為教育認(rèn)知診斷的作用是測量個體特定的知識結(jié)構(gòu)和加工技能(或稱“屬性”)，它通過認(rèn)知診斷模型(cognitive diagnostic models,CDMs)分析被試在測驗(yàn)試題上的反應(yīng)模式來推測該被試對屬性的掌握情況，為教師進(jìn)行有針對性的補(bǔ)救教學(xué)和因材施教提供支持。近年來，基于認(rèn)知診斷理論的教育與心理測驗(yàn)被教師和研究者不斷開發(fā)出來，并應(yīng)用于實(shí)踐以評估學(xué)生或被試。CDM 種類豐富，受噪音[2]干擾而效率不一，這時就需要通過認(rèn)知診斷擬合指標(biāo)評估診斷模型與數(shù)據(jù)的的擬合程度，為選擇CDM 提供參考。層級相合性指標(biāo)最初是基于屬性層級模型開發(fā)的個人擬合指標(biāo)，由于其計(jì)算簡便、適用性廣而得到廣泛應(yīng)用；現(xiàn)在，該類指標(biāo)除了在個人擬合指標(biāo)方面不斷發(fā)展外，還拓展到項(xiàng)目擬合指標(biāo)。

Lai,Gierl 和Cui[3]提出項(xiàng)目相合性指標(biāo)（Item Consistency Index，ICI），該指標(biāo)將猜測和失誤綜合在一起來偵測異常項(xiàng)目，考查模型和項(xiàng)目的擬合程度。但仍有部分問題待解決：首先當(dāng)試題屬性矩陣（該矩陣標(biāo)示測驗(yàn)試題考查的屬性，亦簡稱Q 矩陣）有誤的情況下，ICI 指標(biāo)綜合猜測和失誤信息容易造成Q 矩陣修補(bǔ)指向不明，ICI 指標(biāo)是否可以改進(jìn)以明確猜測和失誤；其次，毛萌萌和丁樹良發(fā)現(xiàn)個人層級擬合指標(biāo)（MHCI 和NHCI）的大小受噪音、試題倍數(shù)、屬性個數(shù)影響[2]，那么作為原理相似的ICI 指標(biāo)，它和噪音等因素的關(guān)系如何；第三，ICI指標(biāo)以0.5作為劃分異常項(xiàng)目的截?cái)帱c(diǎn)，這樣做是否合適，是否有更適合的劃分方法；第四，目前已有研究多是將個人、項(xiàng)目層級相合性指標(biāo)單獨(dú)應(yīng)用，那么在實(shí)踐如何將這兩者結(jié)合使用？

二、層級相合性指標(biāo)簡介

第i 個被試的層級相合性指標(biāo)（the hierarchy consistency index,HCI）

為[4]：；式中，為被試i 在項(xiàng)目j，上的得分；為項(xiàng)目，，稱項(xiàng)目為項(xiàng)目j 的子項(xiàng)目，j 為父項(xiàng)目，即項(xiàng)目j 的子項(xiàng)目集合（j 除外）；是被試i 正確作答的項(xiàng)目的子項(xiàng)目數(shù)總和。其原理是：在0-1 評分情況 下，如果被試i 能對項(xiàng)目j 正確反應(yīng),則必可對其子項(xiàng)目正確反應(yīng)；否則則代表出現(xiàn)失擬，用HCI 度量這種失擬的程度，HCI 越大代表模型和數(shù)據(jù)擬合越好，其取值為[-1 1]。

將HCI 定義中的修改為包含項(xiàng)目j 以彌補(bǔ)HCI 定義中分母可能為零的缺陷，有MHCI 提出；HCI 和MHCI 只考慮失誤，而沒有考慮猜測，為全面衡量被試反應(yīng)的失擬的程度，有NHCI 指標(biāo)的提出[5][6]。

三、項(xiàng)目相合性指標(biāo)的分解

ICI 在某些情況下仍然有分母為0 的情況，如第j 題全對卻沒有子項(xiàng)目或者第j 題全錯卻沒有父項(xiàng)目，這在現(xiàn)實(shí)中并不罕見（比如測驗(yàn)中最難的項(xiàng)目沒有一位同學(xué)正確作答，或者測驗(yàn)中有一題非常容易，所有同學(xué)在該項(xiàng)目上都正確反應(yīng)）。同MHCI 指標(biāo)類似，只需將父項(xiàng)目或子項(xiàng)目的定義更改為包含j 本身，就可以避免無法計(jì)算的情況。

ICI 針對某一題綜合衡量其猜測和失誤程度，為評估ICI 指標(biāo)的效率，Lai 等人進(jìn)行了模擬實(shí)驗(yàn)，結(jié)果顯示隨著失擬項(xiàng)目在測驗(yàn)中的比例升高，失擬項(xiàng)目的ICI均值也升高（Lai et al.,2012,Table.2）[3]，這不合邏輯；此外，在Q 矩陣有誤的情況下，它不能像DINA 模型中的s（失誤）參數(shù)，g（猜測）參數(shù)那樣為修補(bǔ)Q 矩陣提供明確的指引；當(dāng)項(xiàng)目屬性多標(biāo)時，g 參數(shù)會升高，當(dāng)項(xiàng)目屬性少標(biāo)時，s 參數(shù)會升高[7]。

鑒于此，將ICI 指標(biāo)進(jìn)行拆分如下：

四、實(shí)驗(yàn)研究

（一）模擬實(shí)驗(yàn)一

實(shí)驗(yàn)?zāi)康模和ㄟ^模擬研究尋找影響項(xiàng)目相合性指標(biāo)和噪音的關(guān)系；并基于逆回歸思想（又稱逆預(yù)測）[8]，建立起以噪音大小為因變量，項(xiàng)目相合性指標(biāo)大小為主要自變量的逆回歸方程，最終實(shí)現(xiàn)對不可直接觀測的噪音大小的預(yù)測。

表2 各結(jié)構(gòu)模型對SP 回歸分析表

（二）模擬實(shí)驗(yàn)二

實(shí)驗(yàn)?zāi)康模寒?dāng)Q 矩陣存在屬性標(biāo)定錯誤的情況下，考查錯標(biāo)項(xiàng)目的項(xiàng)目相合性指標(biāo)在所有項(xiàng)目中的百分等級，為合理劃分異常項(xiàng)目提供參考。

實(shí)驗(yàn)因素：與4.1 相同

實(shí)驗(yàn)步驟：在4.1 的實(shí)驗(yàn)步驟基礎(chǔ)上，隨機(jī)選取Q 矩陣某題上的某個屬性進(jìn)行0-1 互換，并且標(biāo)記其變化類型，如果是0 →1，計(jì)算，并返回該項(xiàng)目在試題中的百分等級；同樣如果是1 →0，計(jì)算，返回該項(xiàng)目的百分等級；無論哪種變化均計(jì)算ICI 并返回該項(xiàng)目的百分等級。

實(shí)驗(yàn)結(jié)果：根據(jù)4.1 的研究結(jié)果，由于SP 是影響這些項(xiàng)目相合性指標(biāo)最主要的原因，因此表3 中只展示統(tǒng)計(jì)量隨SP 的變化情況，以SP=0.1 為例，M=0.19 代表錯標(biāo)項(xiàng)目的值的百分等級均值為0.19，25 分位點(diǎn)值=0.09 代表如果以百分等級9 為劃界則只能偵測出25%的錯標(biāo)項(xiàng)目，同理75 分位點(diǎn)值=0.26 代表如果以百分等級26 為劃界則能偵測出75%的錯標(biāo)項(xiàng)目，同理其它；因?yàn)楸? 中的統(tǒng)計(jì)量值都是百分等級，所以具體值越低越好這樣誤判的可能性就低，比如相同SP=0.1 條件下，同樣要達(dá)到75%的偵測效率，只要以百分等級7 作為劃界。整體來看和普遍好于ICI 的偵測效率，且獨(dú)立型的偵測效率要遠(yuǎn)遠(yuǎn)好于線性型的結(jié)果。

表3 項(xiàng)目相合性指標(biāo)對錯誤標(biāo)定項(xiàng)目的偵測效率

（三）實(shí)證研究

實(shí)驗(yàn)?zāi)康模阂灾腡atsuoka[9]分?jǐn)?shù)減法測驗(yàn)數(shù)據(jù)（含536 個被試，20個項(xiàng)目）為例，將個人層級相合性指標(biāo)和項(xiàng)目層級相合性指標(biāo)結(jié)合使用，考查它們對實(shí)測數(shù)據(jù)的效率。

實(shí)驗(yàn)數(shù)據(jù)：該測驗(yàn)的Q 矩陣和數(shù)據(jù)多年以來被眾多研究者不斷討論，主要原因就是測驗(yàn)Q 陣的標(biāo)定非常困難，本研究中使用de la Torre 和Douglas[10]采用的Q陣，該Q陣含有8個屬性，分別是：A1將整數(shù)轉(zhuǎn)換為分?jǐn)?shù)；A2 從分?jǐn)?shù)中分離出一個整數(shù)；A3 先化簡后減法；A4 找到公分母；A5 從整數(shù)部分借出；A6 列借位，用第一個分子減去第二個分子；A7 減去分子；A8 簡化為最簡形式[11]。

實(shí)驗(yàn)結(jié)果：具體結(jié)果如表4 所示，其中使用原始Q 矩陣計(jì)算得到ICI、和均值分別為0.778、0.818 和0.821，使用變更Q 矩陣計(jì)算得到ICI、和均值分別為0.796、0.835 和0.828，可見項(xiàng)目和數(shù)據(jù)的擬合得到全面提高，此外全體被試的NHCI 均值也從0.5876 提升至0.6151，可見整體來看模型和數(shù)據(jù)的擬合得到提升。

表4 Q 矩陣變動對項(xiàng)目相合指標(biāo)影響明細(xì)表

五、總結(jié)與討論

本研究在對ICI 指標(biāo)補(bǔ)充定義的基礎(chǔ)上，針對ICI 指標(biāo)不能明確指向Q矩陣錯誤標(biāo)定類型的缺陷，將ICI 指標(biāo)進(jìn)行分解提出和，并通過兩個模擬實(shí)驗(yàn)和一個實(shí)證研究證明這兩個指標(biāo)的有效性。其中模擬實(shí)驗(yàn)一在線性型和獨(dú)立型模型下得到ICI、和隨噪音大小SP、試題倍數(shù)L和屬性個數(shù)K 的變化情況，整體來看，這些項(xiàng)目層級相合性指標(biāo)均有相似的變化，即隨著這些影響因素的變大而減小，這和個人層級相合性指標(biāo)的變化規(guī)律相同，這點(diǎn)也表明ICI 指標(biāo)以0.5 作為失擬試題的截?cái)帱c(diǎn)并不合理。并且通過逆回歸的思想實(shí)現(xiàn)了以ICI、和均值分別為主要自變量，噪音為因變量的有效預(yù)測。

模擬實(shí)驗(yàn)二在和模擬實(shí)驗(yàn)一相似的條件下，令Q矩陣的一個屬性發(fā)生0-1互變，這是一個比較難偵測的失擬，因?yàn)楸旧頂?shù)據(jù)就有噪音，還要再此基礎(chǔ)上加上一個微小的錯誤，且這個變動屬性可以是任意一題的任意一個屬性，結(jié)果表明和整體上偵測失擬試題的效率優(yōu)于。但是注意到在獨(dú)立型模型下的偵測效率要遠(yuǎn)遠(yuǎn)由于優(yōu)于線性型，經(jīng)過詳細(xì)分析結(jié)果數(shù)據(jù)發(fā)現(xiàn)，在線性條件下其項(xiàng)目最少只有3，且由于其約束條件最多導(dǎo)致作答反應(yīng)的模式類型單一，很多項(xiàng)目的項(xiàng)目層級相合性指標(biāo)值相同，導(dǎo)致偵測效率較差；與此相反獨(dú)立型模型約束最少，作答反應(yīng)模式類型豐富，所以偵測效率較好。實(shí)驗(yàn)二的結(jié)果還為研究者在不同偵測效率情況下合理選擇截?cái)帱c(diǎn)提供參考。

最后以深受關(guān)注的Tatsuoka 分?jǐn)?shù)減法測驗(yàn)進(jìn)行了實(shí)證研究，通過結(jié)合個人層級相合性指標(biāo)（NHCI)和項(xiàng)目層級相合性指標(biāo)（和）進(jìn)行分析，修訂Q 矩陣。結(jié)果表明無論是NHCI、ICI、和均值都得到了提升，表明模型和數(shù)據(jù)更加擬合，修改Q 陣有效。但是需要注意，不是項(xiàng)目層級擬合指標(biāo)偵測出的所有試題的Q 陣都有問題，可能僅僅是這題上的噪音較大，Q 矩陣的修補(bǔ)要結(jié)合具體試題來討論，而不能僅僅因?yàn)閿M合程度的上升隨意變動Q 矩陣，這也體現(xiàn)出在實(shí)踐中修補(bǔ)Q 矩陣的困難。

本文存在一些不足，模擬實(shí)驗(yàn)只選取線性型和獨(dú)立型模型這兩類認(rèn)知模型進(jìn)行研究，這是因?yàn)檫@兩模型在約束條件方面最為極端，而在實(shí)際中認(rèn)知模型是豐富多樣的，這時本文中的研究結(jié)論是否適用有待驗(yàn)證。在模擬實(shí)驗(yàn)二中，以隨機(jī)方式變動Q 陣中的一個屬性，但在實(shí)際情況下，Q 陣的錯誤類型更加多樣，此時和的偵測效率也有待驗(yàn)證。最后，由于層級相合類指標(biāo)其統(tǒng)計(jì)分布不明，所以未給出區(qū)間估計(jì)，這也是本文的不足之處。