一種高效的CD-CAT在線標定新方法：基于熵的信息增益與EM視角*

譚青蓉 汪大勛 羅 芬 蔡 艷 涂冬波

一種高效的CD-CAT在線標定新方法：基于熵的信息增益與EM視角

譚青蓉 汪大勛 羅 芬 蔡 艷 涂冬波

(江西師范大學心理學院, 南昌 330022)

項目增補(Item Replenishing)對認知診斷計算機自適應測驗(CD-CAT)題庫的維護有著至關重要的作用, 而在線標定是一種重要的項目增補方式?；跀祿诰蛑刑卣鬟x擇(Feature Selection)的思路, 提出一種高效的基于熵的信息增益的在線標定方法(記為IGEOCM), 該方法利用被試在新舊題上的作答聯合估計新題的矩陣和項目參數。研究采用Monte Carlo模擬實驗驗證所開發(fā)新方法的效果, 并同時與已有的在線標定方法SIE、SIE-R-BIC和RMSEA-N進行比較。結果表明：新開發(fā)的IGEOCM在各實驗條件下均具有較好的項目標定精度和項目估計效率, 且整體上優(yōu)于已有的SIE等方法; 同時, IGEOCM標定新題所需的時間低于SIE等方法?？傊? 研究為CD-CAT題庫中項目的增補提供了一種更為高效、準確的方法。

認知診斷計算機自適應測驗, 項目增補, 在線標定,矩陣, 熵的信息增益

1 引言

測評技術與計算機技術的持續(xù)發(fā)展, 使得大眾不僅追求測驗的效率, 更追求綜合性的測驗結果, 而不僅僅是籠統(tǒng)的測驗總分。人們渴望獲取詳實且全面的測驗結果, 使其能根據該結果對自身在所測內容領域上的強弱進行系統(tǒng)評估, 了解其需改進或完善的地方, 從而制定進一步的學習計劃。認知診斷計算機自適應測驗(Cognitive Diagnostic Computerized Adaptive Testing, CD-CAT)是認知診斷(Cognitive Diagnosis, CD)與計算機自適應測驗(Computerized Adaptive Testing, CAT)相結合的產物, 其在提高測驗效率和準確性的同時, 可為被試提供在所測內容領域上優(yōu)缺點的詳細診斷(Wang, 2013; Weiss, 1982)。因此, 可根據被試的診斷結果對其薄弱知識點進行針對性地教學補救, 較好地滿足了當今大眾對于高效且周密的測驗的需求, 有著廣泛的應用前景(Leighton et al., 2004; Liu et al., 2013)。

CD-CAT使用的前提是已建構好的題庫。但是題庫中的部分題目會隨時間的流逝過度曝光或變得過時, 這時需使用新題對這些題目進行替換或者增補(Chen, 2017)。具體來說, 需邀請有經驗的領域專家和心理測量學家根據診斷目的編制新題, 然后估計新題的參數, 并將其與題庫中的舊題置于同一量尺之上。在線標定技術是傳統(tǒng)CAT中一種有效的項目增補方法, 它是指在測驗過程中, 讓被試同時作答新題與舊題, 然后根據其作答標定新題參數的過程, 且施測者需告知被試他們作答的部分項目將不用于最終能力的評估(陳平, 辛濤, 2011a)。相比于傳統(tǒng)的項目增補方法, 在線標定技術的優(yōu)點在于：(1)無需復雜的事后等值技術便可將新舊題的參數置于同一量尺之上(Chen & Wang, 2015); (2)無需外部標定研究便能在估計被試能力的同時標定新題的參數, 可節(jié)省大量人力和物力; (3)相同的測量模式使得被試在作答新舊題時具有相同的動機(Chen et al., 2012)。迄今為止, 在單維計算機自適應測驗(Unidimensional Computerized Adaptive Testing, UCAT)和多維計算機自適應測驗(Multidimensional Computerized Adaptive Testing, MCAT)領域, 研究者已推薦了多種高效的在線標定方法(Chen, 2017)。在UCAT中, Stocking (1988)提出方法A (Method A)和方法B (Method B), Wainer和Mislevy (1990)推薦一個EM循環(huán)的邊際極大似然估計方法(OEM), 隨后Ban等人(2001)提出多個EM循環(huán)的邊際極大似然估計方法(MEM)以及BILOG/先驗方法(BILOG/ Prior method)。此外, 為克服Method A方法將估計能力值當做被試能力真值的理論缺陷, 陳平(2016)提出了FFMLE-Method A和ECSE-Method A方法。在MCAT中, Chen等人(2017)對Method A, OEM和MEM方法進行拓展, 稱其為M-Method A, M-OEM和M-MEM。且在M-OEM和M-MEM方法的基礎上推薦M-OEM-BME和M-MEM-BME方法以用于MCAT中項目參數的標定(Chen, 2017)。

然而, 目前CD-CAT中關于在線標定方法的研究較少, 主要包含了兩大類。第一類方法主要有Chen等人(2012)提出的CD-Method A, CD-OEM與CD-MEM方法, 其基于Method A, OEM與MEM提出。這類方法在標定新題時, 假設新題的矩陣已知, 僅標定新題的項目參數。事實上,矩陣作為認知診斷的核心成分, 在多數情況下都是未知的。實際中,矩陣多由內容領域專家和測量學專家共同界定, 需耗費大量的人力和物力, 且由專家界定的矩陣容易受到主觀因素的影響而造成界定錯誤。而矩陣的錯誤界定最終會影響項目參數的估計精度與被試的分類正確性(de la Torre & Chiu, 2016; Rupp & Templin, 2008)。因此, 第二類在線標定方法應運而生, 其同時標定新題的矩陣與項目參數, 以期減少項目標定所耗費的人力物力, 提高項目標定效率。陳平和辛濤(2011b)提出的聯合估計算法(Joint Estimation Algorithm, JEA), Chen等人(2015)提出的SIE (Single-Item Estimation)方法以及譚青蓉(2019)提出的SIE-R-BIC和RMSEA-N等方法均屬于該類方法。JEA方法借鑒項目反應理論(Item Response Theory, IRT)中被試參數與項目參數的聯合極大似然估計(Joint Maximum Likelihood Estimation, JMLE)思路, 將CD-CAT中被試的屬性掌握模式估計值視為被試屬性掌握模式真值, 然后基于被試屬性掌握模式估計值以及被試在新題上的作答使用極大似然估計(Maximum Likelihood Estimation, MLE)的方法來聯合估計新題的矩陣和項目參數。不同于JEA方法, SIE使用屬性掌握模式的后驗分布來代替屬性掌握模式估計值, 計算每一個被試的后驗預測分布, 然后使用MLE來估計新題的矩陣。與此同時, SIE方法中運用EM算法來估計新題的項目參數。SIE-R-BIC方法是在SIE方法的基礎上提出, 其標定新題時充分利用了題庫中已有項目的信息, 而RMSEA-N方法通過評估觀察作答分布與期望作答分布間的一致性來標定新題(譚青蓉, 2019)。相比于JEA方法, SIE、SIE-R-BIC和RMSEA-N方法在矩陣標定精度上有一定的提升, 而在標定效率上, 各方法均耗時較長, 新題標定效率相對較低。因此, 在CD-CAT情境下, 開發(fā)能提升新題標定精度和標定效率的方法是極為必要的。

數據挖掘作為數據庫和人工智能領域研究的熱點問題, 其面臨的首要問題是如何才能從海量數據中獲得有效信息, 從而達到數據信息的高效利用(Chandrashekar & Sahin, 2014)。特征選擇(Feature Selection)是有效的解決方法之一, 其可通過刪除數據中冗余或無關的特征, 從海量的數據中選擇最為有效的特征集, 以達到提高分類準確率以及效率的目的(Guyon & Elisseeff, 2003)。特征選擇過程中極為重要的一環(huán)是特征選擇標準, 其通過衡量特征與分類之間的關系來刪除數據中的無關特征。特征選擇中使用信息增益、互信息、歸一化互信息以及條件互信息等作為特征選擇標準, 這類標準通過評估特征的分類準確性來選擇最佳的特征(Fleuret, 2004; Hoque et al., 2014; Pereira et al., 2015; Vinh et al., 2012)。特征對被試的分類越精確, 則選擇該特征的可能性越高, 若特征對被試的分類相當于隨機水平, 則選擇該特征的可能性越低。

受數據挖掘中特征選擇的啟發(fā), 提出如下邏輯假設：在CD-CAT中標定新題時, 可利用特征選擇方法來標定新題的矩陣, 并基于該矩陣來估計新題項目參數。將新題所有可能的向量視為待選擇的特征, 在被試屬性掌握模式已知的情況下, 通過特征選擇標準評估每一個可能向量對被試分類的效果, 然后選擇能使特征選擇標準最佳的向量作為新題的向量?；谠摷僭O, 研究提出一種新的CD-CAT在線標定方法, 該方法基于特征選擇方法聯合在線標定新題的矩陣和項目參數(該方法的基本過程、思路及公式等將在文章第3部分詳細介紹), 以期為CD-CAT在線標定提供新的視角及新的方法, 從而進一步推動認知診斷尤其是CD-CAT在實踐中的發(fā)展與應用。

2 已有在線標定方法

目前, CD-CAT中同時標定新題矩陣和項目參數的在線標定方法主要有JEA (陳平, 辛濤, 2011b), SIE (Chen et al., 2015), SIE-R-BIC和RMSEA-N方法(譚青蓉, 2019)。SIE方法基于JEA方法在決定型輸入噪音與門模型(the Deterministic Input, Noisy and Gate Model, DINA; Junker & Sijtsma, 2001)下提出, 其標定新題時考慮了被試屬性掌握模式的估計誤差, 在標定新題矩陣和項目參數時充分利用被試的屬性掌握模式后驗分布。

SIE方法標定新題時包含了矩陣標定和項目參數標定兩個部分。對于新題矩陣的標定, 首先基于被試在舊題上的作答計算作答了新題的被試的屬性掌握模式后驗分布。隨后, 根據被試屬性掌握模式后驗分布及每種屬性掌握模式在向量為q的新題上的正確作答概率計算具有某一特定作答R的被試的后驗預測分布：

其中為測驗測量的屬性個數, π(α)表示被試的屬性掌握模式為α的概率, 其基于被試在舊題上的作答計算,P(q,g,s,α)表示DINA模型下屬性掌握模式為α的被試在項目上的正確作答概率。最后, 結合被試后驗預測分布及其在新題上的作答R構建似然并最大化似然函數來估計新題的向量, 其表達式如下：

其中Q= 2? 1表示新題所有可能向量的集合。此外, SIE方法使用EM算法來估計新題的項目參數。

SIE-R-BIC方法在SIE方法的基礎上考慮了模型的復雜性, 其估計新題矩陣時構建了BIC指標并通過最小化BIC指標來估計新題向量, 表達式如下所示：

其中l(wèi)og(n)表示模型復雜性的懲罰,表示自由參數的個數,n表示作答新題的被試人數。與此同時, SIE-R-BIC方法在標定新題項目參數時利用了題庫中已有項目的信息, 也即將題庫中和新題具有相同向量的舊題的項目參數均值作為新題的項目參數初始值。RMSEA-N方法中項目參數的標定與SIE-R-BIC方法一致, 但其通過評估觀察作答分布與期望作答分布間的一致性來標定新題的矩陣。具體來說, 選擇能使觀察作答分布與期望作答分布間一致性程度最高的向量作為新題的估計向量, 其公式如下：

其中(α)表示第個屬性掌握模式α的被試邊際概率,(α)和(α)分別表示第個屬性掌握模式α下標準化的期望正確作答概率和觀察正確作答概率。

3 基于熵的信息增益在線標定方法(IGEOCM)

3.1 特征選擇方法及基于熵的信息增益

數據挖掘中, 特征選擇的目的之一在于選擇對數據具有高區(qū)分能力的特征, 若基于某一特征的分類與隨機分類的結果大同小異, 則說明這一特征對于數據的分類效果較小(李航, 2012)。基于熵的信息增益(Information Gain of Entropy-based, IGE)是特征選擇中的一個特征選擇準則, 某一特征所具有的基于熵的信息增益值越大, 則其對于數據的分類能力越強(Pereira et al., 2015)。基于熵的信息增益選擇最優(yōu)特征的過程如下：

(1)首先, 確定數據集以及對該數據集進行分類的特征。

(2)然后, 計算數據集的熵

上式中,為數據集的樣本量,表示數據集中的類別,n為數據集中屬于第個類別的樣本量。熵用于評估數據集的不確定性程度, 其值越大, 數據集的不確定性程度越大。不確定性程度指數據集中被試的一致性程度, 若數據集中的被試均屬于同一個類別, 則不確定性程度最低。

(3)隨后, 計算某一特征對數據集的條件熵

其中,為特征的取值個數,n表示數據集中屬于第個類別的被試數量,n表示數據集中第個子類別下, 被試屬于第個類別的數量。條件熵用于評估給定某一特征()的情況下, 數據集的不確定性程度。與熵一致, 條件熵的值越大, 數據集的不確定性程度越大, 則基于特征的分類效果越差。

(4)最后, 計算熵的信息增益值

(,) =()–(|). (7)

熵的信息增益(,)為熵與條件熵之差, 其表示在給定特征的信息的情況下, 數據集的不確定性減少的程度。其值越大, 說明基于特征的分類效果越好。

(5)對于所有特征, 重復(3)和(4), 比較各特征的熵信息增益值。選擇具有最大的熵信息增益值的特征作為最優(yōu)特征。

熵的信息增益的大小取決于數據集的熵(())和特征對數據集的條件熵(())。由公式(5)可看出, 數據集的熵值的計算與特征無關, 換句話說, 所有特征下數據集的熵(())均保持不變。因此, 基于熵的信息增益選擇特征本質上是基于條件熵選擇特征, 某一特征對數據集的條件熵越小, 則該特征的分類效果越好, 該特征更有可能是數據集的最優(yōu)特征。

新題的向量估計可視為一個特征選擇問題, 即從所有可能的向量中為新題選擇一個最佳向量。將被試在新題上的作答看作數據集, 新題所有可能的向量看作特征, 基于向量和被試的估計屬性掌握模式對被試進行分類, 則能使被試分類的不確定性程度達到最低的向量為作答數據集的最優(yōu)特征, 因此可選擇該向量作為新題的估計向量?；谠撍悸? 提出新的在線標定方法—基于熵的信息增益的在線標定方法(Information Gain of Entropy-based Online Calibration Method, IGEOCM), 該方法使用熵的信息增益來標定新題的矩陣, 同時使用EM算法來標定新題的項目參數。

3.2 基于熵的信息增益在線標定方法開發(fā)

DINA作為廣泛應用的認知診斷模型之一, 在每個項目上均只有失誤參數和猜測參數這兩個簡單且易于解釋的項目參數, 且常被用于CD-CAT題庫的構建及在線標定(Junker & Sijtsma, 2001; Liu et al., 2013)。為了便于說明問題以及與國內外同類方法(SIE方法等)進行比較, 以DINA模型為例來說明基于熵的信息增益的在線標定方法(IGEOCM)標定新題的基本思路及其過程。

3.2.1 IGEOCM中的矩陣標定

當新題所測量的屬性個數已知時, 新題所有可能的向量個數為2? 1, 其中不包含元素全為0的向量。從特征選擇的視角, 新題的向量估計便是從2? 1種可能向量中選擇最合適的一個向量作為新題的估計向量。IGEOCM中基于熵的信息增益這一特征選擇準則來估計新題的向量, 其表達式如下所示：

在被試屬性掌握模式已知的情況下(即CD-CAT中基于被試在舊題上的作答估計屬性掌握模式), 若新題的向量正確且被試在新題上的作答不存在失誤和猜測, 那么基于正確向量分類后掌握組中的所有被試在新題上的觀察得分都應為1, 而非掌握組中的被試在新題上的觀察得分都應為0。此時, 掌握組與非掌握組中的被試都具有高度一致性, 不確定程度最小, 所獲得的條件熵(R|q)最小, 信息增益(R,q)最大, 因此正確向量的分類效果最好。若被試的屬性掌握模式為均勻分布且被試在新題上的作答不存在失誤和猜測, 新題的向量正確和錯誤情況下(R|q)和(R,q)的變化如表1所示。

另外, 根據Yu和Cheng (2020)的研究, 當n→∞, 屬性掌握模式已知, 且s,g∈(0, 0.5)時, 以下等式成立：

3.2.2 IGEOCM中的項目參數標定

IGEOCM方法中使用EM算法來估計新題的項目參數, EM算法在每一次迭代中都包含期望步驟(Expectation Step, E-step)和最大化步驟(Maximization Step, M-step)兩步(Chen et al., 2015)。在E-step中, 首先基于被試在新題上的作答R計算每個被試的后驗分布, 其公式如下：

然后, 基于n個被試在新題上的作答向量R和每個被試屬性掌握模式的后驗分布, 假設n個被試在新題上的作答彼此獨立, 可構建對數邊際似然函數如下：

表1 不同q向量下E(Rj|qj)和g(Rj, qj)的計算

M-step的目的在于最大化公式(16)以估計新題的失誤參數s和猜測參數g。EM算法依次迭代E-step和M-step直到滿足預先設定的收斂標準。

上述兩個部分為IGEOCM對新題矩陣和項目參數的標定, 其標定新題的具體步驟如下：

步驟1：新題向量估計。對于新題, 基于作答了新題的被試的屬性掌握模式估計值及其在新題上的作答數據, 計算每一個可能向量下作答數據集R的條件熵(R|q), 選擇最小(R|q)值對應的向量作為新題的估計向量。

步驟2：新題項目參數估計。將步驟1中的估計向量作為新題的真實向量, 基于作答了新題的被試的屬性掌握模式后驗分布及其在新題上的作答, 使用EM算法估計新題的失誤參數和猜測參數。新題標定完成。

步驟3：對于所有待標定的其他新題, 重復步驟1和步驟2可獲得新題的矩陣估計值和項目參數(失誤參數和猜測參數)估計值, 直到所有新題標定完成。

IGEOCM是基于特征選擇的視角提出的在線標定新方法。該方法的優(yōu)點在于僅需獲得被試的屬性掌握模式估計值以及被試在新題上的作答便能估計新題的矩陣, 是一種非參數化的方法, 簡單易懂且無需復雜的計算。此外, IGEOCM將基于非參數化方法估計的向量作為新題的真實向量直接標定新題的項目參數, 不論新題可能向量的多少, IGEOCM均只需估計一個已確定向量下的項目參數, 可有效節(jié)約項目標定的時間, 改善新題標定的效率。這不同于SIE方法, 其需估計所有可能向量下的項目參數, 標定新題的時間長, 標定新題的效率低。

4 研究1：IGEOCM和已有在線標定方法性能及其精度驗證

4.1 實驗設計

研究1旨在考查IGEOCM在不同標定樣本(40、80、120、160、200)、屬性掌握模式分布(均勻分布、高階分布、多元正態(tài)分布)和被試作答新題個數(4、6、8)下標定新題的效果, 并將其與SIE、SIE-R-BIC和RMSEA-N方法進行比較。標定樣本指作答了新題的被試人數n= (×)/, 其中,為參與CD-CAT的被試總人數,為每個被試作答新題的個數,為待標定的新題個數(Chen et al., 2015)。選擇SIE, SIE-R-BIC和RMSEA-N方法作為比較方法, 主要原因在于其新題標定精度略優(yōu)于JEA方法, 具有一定的代表性。研究1為四因素實驗設計, 共5×3×3×4=180種模擬實驗條件, 每種實驗條件重復實驗500次以減少隨機誤差。

4.1.1 被試與題庫模擬

標定樣本共5個水平,n= 40, 80, 120, 160和200, 被試屬性掌握模式分別從均勻分布、高階分布和多元正態(tài)分布(0,)中產生。在均勻分布中, 被試的屬性掌握模式從所有可能的屬性掌握模式中以均勻的概率產生; 在高階分布中, 被試是否掌握第個屬性與被試的一般潛在能力θ有關, 能力為θ的被試掌握第個屬性的概率為

其中,0和1為結構參數, λ1> 0。研究中設置= 6, λ= (–1, –0.6, –0.2, 0.2, 0.6, 1), 且對所有屬性均有λ1= 1.5, 被試的能力值從(0, 1)中產生(de la Torre & Chiu, 2016); 在多元正態(tài)分布中, 屬性間的相關設置為0.5 (J. Chen, 2017)。

題庫模擬包含項目參數(失誤參數和猜測參數g)的模擬和項目矩陣的模擬。題庫中共包含300個題目, 每個題目最多測量3個屬性, 且題庫中測量1、2和3個屬性的項目均設置為100題。測驗測量屬性的總個數= 6, 則共有63種可能的項目向量, 其中測量1個屬性的項目向量個數為6, 測量2個屬性的項目向量個數為15, 測量三個屬性的項目向量個數為20。將測量1個屬性的6個項目向量重復16次并從其中額外抽取4個項目向量, 測量2個屬性的15個項目向量重復6次并從其中額外抽取10個項目向量, 測量3個屬性的20個項目向量重復5次, 構成300×6的臨時測驗矩陣。最后, 對臨時矩陣中的所有行隨機排序以獲得最后的矩陣。每一個項目的失誤參數和猜測參數均從(0.05, 0.25)中隨機抽取。

4.1.2 新題模擬

新題的模擬包括新題失誤參數和猜測參數的模擬以及新題矩陣的模擬。研究中, 令需標定的新題個數= 24, 因此新題的矩陣是一個24×6的矩陣。新題測驗矩陣及其失誤參數和猜測參數的模擬均與題庫的模擬保持一致。

4.1.3 CD-CAT模擬與新題標定

研究使用定長的終止規(guī)則, 每個被試均作答20個舊題和個新題(= 4, 6, 8三個水平)。CD-CAT的模擬過程如下：

測驗開始時, 由于對被試的情況一無所知, 因此(1)隨機從題庫中抽取一個項目作為被試的初始作答項目; (2)模擬當前被試在項目上的作答, 并通過被試在已作答項目上的作答使用MLE估計被試的屬性掌握模式; (3)使用后驗加權KL (Posterior- Weighted Kullback-Leibler, PWKL; Cheng, 2009)選題策略從剩余題庫中挑選最適合被試當前屬性掌握模式估計值的項目作為被試的下一個作答項目。重復步驟(2)和(3)直到測驗長度達到預先指定的標準。

在CD-CAT模擬過程中, 隨機從待標定的24個新題中抽取個新題并將其置于被試測驗過程的隨機位置。CD-CAT測驗結束后, 基于被試的屬性掌握模式估計值, 屬性掌握模式后驗分布及被試在新題上的作答, 分別使用IGEOCM、SIE、SIE-R-BIC和RMSEA-N方法標定新題的矩陣和項目參數。

4.1.4 評價標準

屬性向量正確估計率(Attribute Vector Correct Estimation Rate, AVCER) AVCER用于評估新題矩陣的估計正確率, 其表達式為：

均方根誤差(Root Mean Squared Error, RMSE) RMSE指標用于評價新題項目參數的估計正確性, 其表達式可寫為：

標定效率：即平均運行時間(Average Running Time, ART) ART用于評估各在線標定方法的標定效率, 其計算如下：

其中,t表示第次重復模擬中, 各在線標定方法標定新題所用的時間。ART值越小, 用于標定新題的方法的效率越高。

4.2 實驗結果

圖1、表2和圖2分別呈現了標定方法SIE、SIE-R-BIC、RMSEA-N和IGEOCM的項目標定精度以及標定效率結果。根據Chen等人(2015)的研究, 兩方法間標定精度的差值大于等于1%表明一種方法優(yōu)于另一種方法?？傮w而言, IGEOCM具有較好的項目標定精度和估計效率, 其性能整體上優(yōu)于SIE、SIE-R-BIC和RMSEA-N方法。由圖1可知, IGEOCM的矩陣估計正確率高于其它三種方法, 屬性掌握模式為高階分布和正態(tài)分布時, 各方法間的差異更為明顯。如在屬性掌握模式為均勻分布時, SIE方法和IGEOCM間的最大AVCER差值為2.3%, 而在屬性掌握模式為高階分布和正態(tài)分布時, 兩方法間的最大AVCER差值分別高達6.8%和9.1%。SIE和SIE-R-BIC方法的矩陣標定精度在各條件下均較為接近, 而RMSEA-N方法在高階分布和正態(tài)分布下的矩陣標定正確率低于SIE和SIE-R-BIC方法。在屬性掌握模式分布對矩陣標定精度的影響上, SIE、SIE-R-BIC、RMSEA-N和IGEOCM的矩陣估計正確率在屬性掌握模式為均勻分布時最好, 高階分布時次之, 正態(tài)分布時最差。例如, IGEOCM在均勻、高階和正態(tài)分布下的矩陣估計正確率范圍分別為80.9%～99.8%, 67.0%～97.3%和46.0%～76.7%; 而SIE方法在均勻、高階和正態(tài)分布下的矩陣估計正確率范圍分別為79.0%～ 99.8%, 60.7%～96.9%和38.4%～68.3%。標定樣本對各在線標定方法的矩陣估計正確率影響較大, 標定樣本越大, 各方法的矩陣估計正確率越高。當標定樣本n= 40時, SIE、SIE-R-BIC、RMSEA-N和IGEOCM的平均AVCER值分別為59.6%、60.0%、45.6%和65.1%, 而當標定樣本n= 200時, 4種方法的平均AVCER值上升到88.1%、88.2%、77.2%和91.2%。因此, 增加標定樣本可提高各在線標定方法的矩陣估計正確率。SIE、SIE-R-BIC、RMSEA-N和IGEOCM方法在被試作答新題個數為4、6和8的情況下均具有相近的矩陣估計正確率。

圖1 各在線標定方法在不同條件下的AVCER (屬性向量估計正確率)結果

表2 各在線標定方法在不同條件下的RMSE (均方根誤差)結果

圖2 各在線標定方法在不同條件下的ART (平均運行時間)結果(單位：秒)

表2為SIE、SIE-R-BIC、RMSEA-N和IGEOCM的項目參數標定結果。SIE方法和IGEOCM在項目參數標定精度上具有相似的性能, 其最大RMSE差值不超過0.2%, 大多數實驗條件下兩方法的RMSE值相等。SIE-R-BIC方法的RMSE值在標定樣本較少時略低于SIE方法和IGEOCM (如,n= 40), 在標定樣本較多時略高于SIE方法和IGEOCM (如,n= 200); RMSEA-N方法的RMSE值在多數條件下都高于SIE、SIE-R-BIC和IGEOCM。在屬性掌握模式分布對項目參數標定精度的影響上, SIE、SIE-R-BIC和IGEOCM的項目參數標定精度在屬性掌握模式為高階分布時最好, 而RMSEA-N的項目參數標定精度在屬性掌握模式為均勻分布時最好。如IGEOCM在高階、均勻和正態(tài)分布下的平均RMSE值分別為0.056、0.066和0.071, RMSEA-N在高階、均勻和正態(tài)分布下的平均RMSE值分別為0.093、0.088和0.142。各方法的項目參數標定精度隨標定樣本的增加而提升。如, 標定樣本n= 40時, SIE方法和IGEOCM的平均RMSE值均為0.11, 而當標定樣本n= 200時, 兩方法的平均RMSE值均減少為0.04。與矩陣標定精度一致, 被試作答新題個數對SIE、SIE-R-BIC、RMSEA-N和IGEOCM方法項目參數標定精度的影響可忽略不計。

圖2為使用SIE、SIE-R-BIC、RMSEA-N和IGEOCM方法估計24個新題的平均運行時間。各模擬條件下, 4種在線標定方法均使用4.0運行, 其計算機配置相同(如Intel Core i5-8400 2.81GHz, 內存20G), 因此各標定方法的估計效率具有可比性。由圖2結果可知, 相比于IGEOCM, SIE、SIE-R-BIC和RMSEA-N方法的估計效率更低, 其所有條件下的平均ART值約為IGEOCM的49倍。屬性掌握模式分布與被試作答新題個數對SIE、SIE-R-BIC、RMSEA-N和IGEOCM的估計效率影響較小。此外, SIE、SIE-R-BIC、RMSEA-N和IGEOCM的平均運行時間均隨標定樣本的增加而延長。當標定樣本n= 40時, SIE、SIE-R-BIC、RMSEA-N和IGEOCM的平均ART值分別為106.22、93.38、61.39和1.74, 而當標定樣本n= 200時, 4種方法的平均ART值延長至414.71、322.40、286.06和6.91。

5 研究2：選題策略對IGEOCM和已有在線標定方法性能的影響

IGEOCM、SIE、SIE-R-BIC和RMSEA-N方法均基于CD-CAT測驗中被試屬性掌握模式和屬性掌握模式后驗分布的估計值以及被試在新題上的作答來標定新題, 被試屬性掌握模式及屬性掌握模式后驗分布的估計精度影響各在線標定方法的標定精度(Chen et al., 2015)。而CD-CAT中, 選題策略是影響被試屬性掌握模式估計精度的重要因素之一。因此, 研究2在研究1的基礎上, 進一步考察選題策略對各在線標定方法性能的影響。

5.1 實驗設計

研究2的實驗設計和模擬過程與研究1基本一致, 但研究2在研究1的基礎上新增了MPWKL (the modified PWKL)、GDI (the generalized deterministic inputs, noisy and gate (G-DINA) model discrimination index)和香農熵(Shannon entropy, SHE)選題策略(Cheng, 2009; Kaplan et al., 2015), 以比較IGEOCM和SIE方法在不同選題策略下的可行性和準確性。由于SIE和SIE-R-BIC方法的項目標定精度略高于RMSEA-N方法, 且SIE方法的項目參數標定精度在多數條件下均略高于SIE-R-BIC和RMSEA-N方法。另外, 三者在標定效率上差異較小, 均耗時較長(ART比值不超過1倍), 因此研究2中僅選擇已有方法SIE作為新方法IGEOCM的比較方法。此外, 基于研究1的結果, 被試新題作答個數對SIE方法和IGEOCM項目標定精度的影響較小, 研究2中將被試作答新題的個數固定為6 (= 6)?？紤]到SIE方法和IGEOCM的運行時間隨標定樣本的增加而延長, 因此研究2中將標定樣本固定為40以縮短實驗時長。其余實驗條件和模擬過程請參見研究1。

5.2 實驗結果

表3為SIE方法和IGEOCM在不同選題策略和不同屬性掌握模式分布下的項目標定精度與標定效率結果。與研究1結果相似, 相比于SIE方法, IGEOCM在各選題策略下均具有更高的項目標定精度和項目估計效率。此外, 在所有選題策略下,SIE和IGEOCM方法的矩陣估計正確率在屬性掌握模式為均勻分布時最好, 高階分布時次之, 正態(tài)分布時最差。

CD-CAT選題策略對在線標定方法的新題矩陣標定精度有一定影響。如屬性掌握模式為高階分布的情況下, SIE方法在選題策略為MPWKL時具有較高的矩陣標定精度, 其AVCER值為61.7%; SIE方法在選題策略為PWKL時具有較低的矩陣標定精度, 其AVECR值為60.7%。在屬性掌握模式為正態(tài)分布的情況下, IGEOCM方法在選題策略為GDI時具有較高的矩陣標定精度, 其AVCER值為46.7%; IGEOCM方法在選題策略為PWKL時具有較低的矩陣標定精度, 其AVECR值為45.4%。CD-CAT選題策略對新題項目參數和估計效率的影響可忽略不計。各選題策略下的RMSE均值之差不超過0.2%, 平均運行時間(ART)較為接近。

6 總結與討論

CD-CAT中同時標定新題矩陣和項目參數的在線標定方法較少, 且均為參數化的方法, 標定新題的時間較長, 標定效率較低。因此, 研究借鑒數據挖掘中特征選擇(Feature Selection)的思路, 提出了基于熵的信息增益的在線標定方法(IGEOCM), 以期為CD-CAT題庫中項目的增補提供一種更為高效、準確的方法。不同于CD-CAT中已有的在線標定方法, IGEOCM使用非參數的方法標定新題的矩陣, 較為有效地避免了項目參數估計偏差所帶來的影響, 改善了項目標定的精度, 同時提高了項目標定的效率。隨后, 使用Monte Carlo模擬研究來驗證IGEOCM的可行性和準確性, 并將其與已有在線標定方法SIE、SIE-R-BIC和RMSEA-N進行比較。研究結果表明：(1) IGEOCM在各條件下均具有較好的項目標定精度和項目估計效率, 且整體上優(yōu)于SIE、SIE-R-BIC和RMSEA-N方法。SIE等方法基于新題項目參數的估計值來估計新題矩陣, 項目參數的估計誤差影響新題矩陣的標定精度, 繼而降低新題標定精度; 而IGEOCM基于被試屬性掌握模式及其在新題上的作答直接標定新題矩陣, 新題矩陣的標定與項目參數的估計精度無關, 額外影響因素少, 新題標定精度更高一些。此外, 盡管SIE和IGEOCM項目參數估計方法一致, 但SIE方法使用參數化方法標定新題矩陣, 而IGEOCM方法使用非參數化方法標定新題矩陣。相比參數化方法, 非參數化方法計算更為簡單, 運行時間更短(Chiu et al., 2018), 因此IGEOCM的新題標定效率較好一些。(2) SIE、SIE-R-BIC、RMSEA-N和IGEOCM的項目標定精度隨標定樣本的增加而提高, 4種方法的運行時間隨標定樣本的增加而延長。(3) SIE、SIE-R-BIC、RMSEA-N和IGEOCM在屬性掌握模式分布為均勻分布和高階分布時的項目標定精度高于正態(tài)分布。(4)被試作答新題個數對SIE、SIE-R-BIC、RMSEA-N和IGEOCM項目標定精度和估計效率的影響較小。(5) CD-CAT中選題策略影響SIE方法和IGEOCM的矩陣標定精度。在屬性掌握模式為高階和正態(tài)分布時, 相比PWKL選題策略, SIE方法和IGEOCM在選題策略分別為MPWKL和GDI時的矩陣標定精度略高。此外, 研究還考察了屬性掌握模式為高階分布時不同的λ0和λ1模擬方式對SIE方法和IGEOCM的影響, 即λ0從標準正態(tài)中產生和λ1從對數標準正態(tài)分布中產生, 在被試作答新題個數固定為6, 其余條件與研究1相同的情況下：IGEOCM在該模擬方式下仍優(yōu)于SIE方法。該結果進一步表明IGEOCM的可行性及其優(yōu)勢(具體數據結果參見網絡版附表1)。

表3 SIE方法和IGEOCM在不同條件下的項目標定精度與標定效率結果

當然, 研究仍有許多不足之處, 今后研究中需加以改進與完善。首先, 文中僅驗證了所提出IGEOCM在DINA模型下的性能, 其在較為復雜的認知診斷模型, 如縮減重新參數化融合模型(the Reduced Reparametrized Unified Model, RRUM; Hartz, 2002), 拓廣DINA (the Generalized Deterministic Inputs, Noisy and Gate Model, G-DINA; de la Torre, 2011)等模型下的性能仍有待進一步探討。不同于DINA模型, 其僅將被試分為掌握與非掌握兩個類別。在更為復雜的模型下, 基于被試屬性掌握模式和項目向量可以將被試劃分為更多不同的類別, 而基于熵的信息增益指標會隨著被試所劃分類別的增加而增加, 因此在更為復雜的認知診斷模型下使用基于熵的信息增益指標來標定新題向量的效果值得探討。未來研究中可考慮如何解決被試類別數量對IGEOCM的影響, 如對被試類別數進行懲罰以減少類別個數對IGEOCM的影響。

其次, CD-CAT中已有的在線標定方法均是基于二級計分模型。實際上, 心理與教育評估中存在大量的多級計分數據以及多級計分題目, 且相比于二級計分的作答數據, 多級計分的作答數據可為被試提供更為全面詳盡的診斷信息。文中所提出的在線標定方法應如何推廣到系列G-DINA模型(sequential G-DINA model; Ma & de la Torre, 2016)等多級計分模型之中, 并驗證其在多級計分模型下的性能有待進一步研究。

再次, 研究為每個被試隨機選擇新題, 用于標定每個新題的被試可能并非最合適的被試。未來研究中可考慮使用自適應的方法來為每個項目選擇最合適的被試, 比如使用最優(yōu)設計準則來為每個項目選擇最佳被試(He et al., 2020)。然后考察不同的新題選擇方式(隨機選擇和自適應選擇)對在線標定方法的影響。

最后, 研究假設測驗所測量的屬性之間相互獨立。然而, 在實際的診斷測驗中, 屬性之間可能存在各種層級關系, 比如無結構型、線型、分支型和收斂型(Leighton et al., 2004)。因此, 未來研究一個可考慮的方向是探討不同屬性層級關系對在線標定方法的影響。另外, 研究使用模擬實驗驗證所提出的矩陣與項目參數在線標定方法的科學性與合理性, 雖然模擬研究的結果能為實踐應用提供一定指導, 但模擬研究是在理想的情境下進行, 會忽略很多真實情境中的影響因素, 因此未來研究需進一步評估真實情境中各在線標定方法的性能?？傊? CD-CAT中同時標定新題矩陣與項目參數的在線標定方法仍需進一步的研究。

Ban, J. C., Hanson, B. A., Wang, T., Yi, Q., & Harris, D. J. (2001). A comparative study of on-line pretest item— Calibration/scaling methods in computerized adaptive testing.,(3), 191–212.

Chandrashekar, G., & Sahin, F. (2014). A survey on feature selection methods.,(1), 16–28.

Chen, J. (2017). A residual-based approach to validate Q-matrix specifications.,(4), 277–293.

Chen, P. (2016). Two new online calibration methods for computerized adaptive testing.,(9), 1184–1198.

[陳平. (2016). 兩種新的計算機化自適應測驗在線標定方法.,(9), 1184–1198.]

Chen, P. (2017). A comparative study of online item calibration methods in multidimensional computerized adaptive testing.,(5), 559–590.

Chen, P., & Wang, C. (2015). A new online calibration method for multidimensional computerized adaptive testing.,(3), 674–701.

Chen, P., Wang, C., Xin, T., & Chang, H. H. (2017). Developing new online calibration methods for multidimensional computerized adaptive testing.,(1), 81–117.

Chen, P., & Xin, T. (2011a). Developing on-line calibration methods for cognitive diagnostic computerized adaptive testing.,(6), 710–724.

[陳平, 辛濤. (2011a). 認知診斷計算機化自適應測驗中在線標定方法的開發(fā).,(6), 710–724.]

Chen, P., & Xin, T. (2011b). Item replenishing in cognitive diagnostic computerized adaptive testing.,(7), 836–850.

[陳平, 辛濤. (2011b). 認知診斷計算機化自適應測驗中的項目增補.,(7), 836–850.]

Chen, P., Xin, T., Wang, C., & Chang, H. H. (2012). Online calibration methods for the DINA model with independent attributes in CD-CAT.,(2), 201–222.

Chen, Y., Liu, J., & Ying, Z. (2015). Online item calibration for Q-matrix in CD-CAT.,(1), 5–15.

Cheng, Y. (2009). When cognitive diagnosis meets computerized adaptive testing: CD-CAT.,(4), 619–632.

Chiu, C. Y., Sun, Y., & Bian, Y. (2018). Cognitive diagnosis for small educational programs: The general nonparametric classification method.,(2), 355–375.

de la Torre, J. (2011). The generalized DINA model framework.,(2), 179–199.

de la Torre, J., & Chiu, C. Y. (2016). A General method of empirical Q-matrix validation.,(2), 253–273.

Fleuret, F. (2004). Fast binary feature selection with conditional mutual information.,(11), 1531–1555.

Guyon, I., & Elisseeff, A. (2003). An introduction to variable and feature selection.,(3), 1157–1182.

Hartz, S. M. (2002).(Unpublished doctoral dissertation). University of Illinois at Urbana-Champaign.

He, Y., Chen, P., & Li, Y. (2020). New efficient and practicable adaptive designs for calibrating items online.,(1), 3–16

Hoque, N., Bhattacharyya, D. K., & Kalita, J. K. (2014). MIFS-ND: A mutual information-based feature selection method.,(14), 6371–6385.

Junker, B. W., & Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory.,(3), 258–272.

Kaplan, M., de la Torre, J., & Barrada, J. R. (2015). New item selection methods for cognitive diagnosis computerized adaptive testing.,(3), 167–188.

Leighton, J. P., Gierl, M. J., & Hunka, S. M. (2004). The attribute hierarchy method for cognitive assessment: A variation on Tatsuoka's rule-space approach.,(3), 205–237.

Li, H. (2012).. Beijing: Tsinghua University Press.

[李航. (2012).. 北京: 清華大學出版社.]

Liu, H. Y., You, X. F., Wang, W. Y., Ding, S. L., & Chang, H. H. (2013). The development of computerized adaptive testing with cognitive diagnosis for an English achievement test in China.,(2), 152–172.

Ma, W., & de la Torre, J. (2016). A sequential cognitive diagnosis model for polytomous responses.,(3), 253–275.

Pereira, R. B., Plastino, A., Zadrozny, B., & Merschmann, L. H. (2015). Information gain feature selection for multi-label classification.,(1), 48–58.

Rupp, A. A., & Templin, J. L. (2008). The effects of Q-matrix misspecification on parameter estimates and classification accuracy in the DINA model.,(1), 78–96.

Stocking, M. L. (1988). Scale drift in on-line calibration.,(1), 1–122.

Tan, Q. (2019).(Unpublished master’s thesis). Jiangxi Normal University, Nanchang, China.

[譚青蓉. (2019).(碩士學位論文). 江西師范大學, 南昌.]

Vinh, L. T., Lee, S., Park, Y. T., & d’Auriol, B. J. (2012). A novel feature selection method based on normalized mutual information.,(1), 100–120.

Wainer, H., & Mislevy, R. J. (1990). Item response theory, item calibration, and proficiency estimation. In H. Wainer (Ed),:(Chap. 4, pp. 65–102). Hillsdale, NJ: Erlbaum.

Wang, C. (2013). Mutual information item selection method in cognitive diagnostic computerized adaptive testing with short test length.,(6), 1017–1035.

Weiss, D. J. (1982). Improving measurement quality and efficiency with adaptive testing.,(4), 473–492.

Yu, X., & Cheng, Y. (2020). Data-driven Q-matrix validation using a residual-based statistic in cognitive diagnostic assessment.,(Suppl 1), 145–179.

附錄：

然后(R|)可計算如下

然后(R|)可計算如下

由上述例子可知, 在新題的向量正確時,(R|)最小, 其值為0, 此時熵的信息增益(R,q)達到最大。因此, 在新題向量未知的情況下, 可以選擇能使熵的信息增益(R,q)最大的向量作為新題的估計向量。

附表1 不同λ0和λ1產生方式下SIE和IGEOCM方法的項目標定精度

方法4080120160200 AVCER條件1SIE0.5890.7860.8600.8970.920 IGEOCM0.6410.8230.8850.9130.938 條件2SIE0.6060.8120.8960.9420.965 IGEOCM0.6680.8570.9160.9500.966 RMSE條件1SIE0.1340.0880.0680.0580.051 IGEOCM0.1320.0850.0690.0600.052 條件2SIE0.0950.0620.0490.0410.037 IGEOCM0.0950.0620.0490.0410.037

注：條件1表示λ0和λ1分別從正態(tài)分布和對數正態(tài)分布中產生; 條件2表示設置λ= (–1, –0.6, –0.2, 0.2, 0.6, 1), 且對于所有屬性均有λ1= 1.5。

A high-efficiency and new online calibration method in CD-CAT based on information gain of entropy and EM algorithm

TAN Qingrong, WANG Daxun, LUO Fen, CAI Yan, TU Dongbo

(School of Psychology, Jiangxi Normal University, Nanchang 330022, China)

Cognitive diagnostic computerized adaptive testing (CD-CAT) includes the advantages of both cognitive diagnosis (CD) and computerized adaptive testing (CAT), which can offer detailed diagnosis feedback for each examinee by applying fewer test items and time. It has been a promising field. An item bank is a prerequisite for the implementation of CD-CAT. However, its maintenance is a very challenging task. One of the effective ways to maintain the item bank is online calibration. Till now, there are only a few online calibration methods in the CD-CAT context that can calibrate Q-matrix and item parameters simultaneously. Moreover, the computational efficiency of these methods needs to be further improved. Therefore, it is crucial to find more online calibration methods that jointly calibrate the Q-matrix and item parameters.

Inspired by the SIE (Single-Item Estimation) method proposed by Chen et al. (2015) and information gain feature selection criteria in feature selection, an information gain of entropy-based online calibration method (IGEOCM) was proposed in this study. The proposed method can jointly calibrate Q-matrix and item parameters in a sequential manner. The calibration process of the new items was described as follows: First, for the new item, the q-vector can be calibrated by maximizing the information gain of entropy-based on the basis of the attribute patterns of examinees and the examinees’ responses to item. Second, the item parameters of the new itemare estimated by the EM algorithm based on the posterior distribution of examinees’ attribute pattern, the examinees’ responses to item, and the q-vector estimated in the first step. The first and second step are repeated for all other new items to obtain their estimated Q-matrix and item parameters item by item. Two simulation studies were conducted to examine whether the IGEOCM could accurately and efficiently calibrate the Q-matrix and item parameters of the new items under different calibration sample sizes (40, 80, 120, 160, and 200), different attribute pattern distributions (uniform distribution, higher-order distribution, and multivariate normal distribution), the different number of new items answered by examinee (4, 6, and 8), and different item selection algorithms (posterior-weighted Kullback-Leibler, PWKL; the modified PWKL, MPWKL; the generalized deterministic inputs, noisy and gate model discrimination index, GDI; and Shannon entropy, SHE). Furthermore, the performance of the proposed method was compared with the SIE, SIE-R-BIC, and RMSEA-N methods.

The results indicated that (1) The IGEOCM worked well in terms of the calibration accuracy and estimation efficiency under all conditions, and outperformed the SIE, SIE-R-BIC, and RMSEA-N methods overall. (2) The accuracy of the item calibration increases as the sample size increases for all calibration methods under all conditions. (3) The SIE, SIE-R-BIC, RMSEA-N, and IGEOCM performed better under the uniform distribution and higher-order distribution than under the multivariate normal distribution. (4) The number of new items answered by the examinee had a negligible impact on the calibration accuracy and computation efficiency of the SIE, SIE-R-BIC, RMSEA-N, and IGEOCM. (5) The item selection algorithm in CD-CAT affects the Q-matrix calibration accuracy of the SIE and IGEOCM methods. Under the higher-order distribution and multivariate normal distribution, the SIE method and IGEOCM had higher Q-matrix calibration accuracy when the item selection algorithms were MPWKL and GDI.

On the whole, although the proposed IGEOCM is competitive and outperforms the conventional method irrespective of the calibration precision or computational efficiency, the studies on the online calibration method in CD-CAT still need to be further deepened and expanded.

cognitive diagnostic computerized adaptive testing, item replenishing, online calibration, Q-matrix, information gain of entropy

B841

2020-11-30

* 國家自然科學基金項目(31760288, 31960186, 31660278)。

涂冬波, E-mail: tudongbo@aliyun.com; 蔡艷, E-mail: cy1979123@aliyun.com