試卷結(jié)構(gòu)的多維度研究：基于Rasch 模型的視角

李付鵬 宋吉祥 杜海燕

一、測驗(yàn)的多維度

在教育測驗(yàn)中，一般認(rèn)為測驗(yàn)結(jié)構(gòu)是單維的，目前大多數(shù)的教育考試也以單一的測驗(yàn)分?jǐn)?shù)報(bào)告成績。但在實(shí)踐中測驗(yàn)往往是多維度的，多維測驗(yàn)一般包括兩種基本類型[1，2]，試題間（between-item）多維度和試題內(nèi)（within-item）多維度。試題間多維度的特征是在一個(gè)具有多個(gè)維度的測驗(yàn)中，每個(gè)試題僅僅隸屬于某一個(gè)維度；試題內(nèi)多維度則是在一個(gè)測驗(yàn)中存在一個(gè)或多個(gè)試題隸屬于不同的維度。

測驗(yàn)維度分析的方法較多，包括傳統(tǒng)的主成分分析、探索性因素分析[3，4]和驗(yàn)證性因素分析[5]等。在單維Rasch 模型基礎(chǔ)上發(fā)展起來的多維隨機(jī)系數(shù)多項(xiàng)式Logit 模型 （Multidimensional Random Coefficients Multinomial Logit Model，MRCMLM）可進(jìn)行驗(yàn)證性因素分析。本研究運(yùn)用MRCMLM 分析某高考數(shù)學(xué)試卷的能力維度，對三種可能存在的維度模型進(jìn)行實(shí)驗(yàn)研究，最終確定一種最佳的維度模型，并在該模型框架下進(jìn)行多維試題分析。

二、MRCMLM 模型

MRCMLM 模 型[6，7]是 在 單 維Rasch 模 型 基 礎(chǔ) 上發(fā)展起來的一個(gè)通用的項(xiàng)目反應(yīng)模型。該模型可自適應(yīng)Rasch 類型的多個(gè)試題反應(yīng)類型，包括常見的等級量表模型 （RSM）、 分部評分模型 （PCM）和FACET 模型等。MRCMLM 模型既可以進(jìn)行單維分析，也可以進(jìn)行多維可補(bǔ)償分析；既可以進(jìn)行二分計(jì)分分析，也可以進(jìn)行多分計(jì)分分析。MRCMLM 的數(shù)學(xué)表達(dá)式如下：

其中概率P 是能力為θ 的被試在試題i（i=1，2，…，I）類別j（=1，2，…，Ki）的反應(yīng)概率，其中I 表示試題的數(shù)量，Ki表示試題i 上作答反應(yīng)的類別數(shù)量。被試在試題i 的類別j 正確反應(yīng)時(shí)Xij=1，否則為零，A和B 分別為設(shè)計(jì)矩陣和分?jǐn)?shù)矩陣，bij是試題i 上作答反應(yīng)為j 類別時(shí)對應(yīng)的分?jǐn)?shù)向量，aij是在試題i 上作答反應(yīng)為j 類別時(shí)對應(yīng)的設(shè)計(jì)向量，描述了其與試題參數(shù)向量ξ 之間的線性關(guān)系。

圖1 模型A

圖2 模型B

三、實(shí)驗(yàn)設(shè)計(jì)

（一）建立模型

本研究對某省某年度普通高考數(shù)學(xué)試卷進(jìn)行能力維度分析。試卷共有21 個(gè)試題，樣本數(shù)量1250。從命題藍(lán)圖可知，這套試卷考查了多方面的數(shù)學(xué)能力，由于涉及抽象概括能力、數(shù)據(jù)處理能力、創(chuàng)新能力、應(yīng)用能力、空間想象能力的試題較少，故刪除了這部分試題（共7 個(gè)），保留了考查運(yùn)算求解能力和推理論證能力的共14 個(gè)試題，即試卷被確定為兩個(gè)主要能力維度，運(yùn)算求解能力建模在第一個(gè)維度上，推理論證能力建模在第二個(gè)維度上，所有試題均按二分計(jì)分。根據(jù)專家建議，主要進(jìn)行了三個(gè)模型的擬合，分別命名為模型A、模型B 和模型C，具體模型如圖1、圖2、圖3 所示。模型A 假定所有的試題均測量一種能力，即數(shù)學(xué)方面的能力；模型B 假定第12題主要考查運(yùn)算求解能力；模型C 假定第12 題考查運(yùn)算求解能力和推理論證能力，其他試題的模型結(jié)構(gòu)與模型B 相同。按照上述的模型分類，模型B 屬于項(xiàng)目間的多維模型，模型C 屬于既有項(xiàng)目間又有項(xiàng)目內(nèi)的多維模型。

圖3 模型C

圖4 模型B 多維懷特圖

（二）確定模型

對于同一套試卷中的試題而言，試題與不同潛在維度之間的隸屬劃分，可構(gòu)成不同的試卷維度模型。本研究以不同試卷維度模型與實(shí)測數(shù)據(jù)的擬合偏差大小為主要依據(jù)，同時(shí)結(jié)合方差和相關(guān)性，并以此為標(biāo)準(zhǔn)來篩選出最佳試卷維度模型[8，9]。上述兩個(gè)多維模型與單維模型是層次化的關(guān)系，即模型是嵌套的，模型的擬合偏差越小，擬合度越大，就越接近真實(shí)模型。

維度擬合偏差分析。表1 給出了三個(gè)模型擬合偏差的變化，三個(gè)模型的偏差基本相當(dāng)，模型A 的擬合偏差略大于模型C，模型C 的擬合偏差略大于模型B，從擬合偏差最小的角度來看，模型B 是最佳模型。Akaike 信息準(zhǔn)則（AIC）和貝葉斯信息準(zhǔn)則（BIC）表明，模型B 具有最小的AIC，模型A 具有最小的BIC，但從數(shù)值上來看，三個(gè)模型擬合情況基本相當(dāng)。

表1 模型的全局?jǐn)M合度統(tǒng)計(jì)和信息標(biāo)準(zhǔn)

表2 模型的維度方差、協(xié)方差和相關(guān)性

維度方差和相關(guān)性分析。表2 給出了模型B 和模型C 的方差、協(xié)方差和相關(guān)性數(shù)據(jù)，其中對角元素是兩個(gè)維度的方差，非對角下三角元素是兩個(gè)維度的協(xié)方差，非對角線上三角表示維度之間的相關(guān)性。從兩個(gè)模型維度間的相關(guān)性來看，由于MRCMLM 模型是一種補(bǔ)償多維模型，它利用子測驗(yàn)之間的相關(guān)性來提高測量精度和可靠性，因此，應(yīng)盡可能選擇維度相關(guān)性較高的測量模型，由表2 可知，模型B 和模型C 各自兩個(gè)維度間的相關(guān)性都比較高，模型B 維度間的相關(guān)性略大于模型C。維度間的協(xié)方差可以看作是維度間相關(guān)系數(shù)和維度方差共同作用的結(jié)果，因?yàn)閷τ趦蓚€(gè)給定變量X，Y，在數(shù)學(xué)上其相關(guān)性ρXY與協(xié)方差Cov（X，Y）具有如下的關(guān)系：ρXY=CovVar（X）與Var（X）表示兩個(gè)變量的方差，也就是說，對于一個(gè)給定的模型，協(xié)方差和相關(guān)性的變化方向是一致的。因此，對兩個(gè)模型維度間的相關(guān)性分析與協(xié)方差分析具有類似的解釋。

結(jié)合上述兩個(gè)方面的分析，同時(shí)考慮到模型簡單化的原則，最終確定模型B 為符合試卷實(shí)際結(jié)構(gòu)的最佳模型。

（三）多維分析

基于以上的分析結(jié)果，在模型B 框架下進(jìn)行多維試題分析。

試題難度分布。試題難度是測驗(yàn)的一個(gè)重要參數(shù)，本研究通過懷特圖來展示試題的難度分布.懷特圖不僅給出了試題難度的分布情況，而且在同一個(gè)量尺下，也同時(shí)給出了被試反應(yīng)的分布情況。B 模型下的多維懷特圖如圖4 所示，兩個(gè)維度下的試題都具有較大的分布范圍，維度一試題難度在總體上略大于維度二，但對于考生來說，兩個(gè)維度的試題都略微簡單。維度一第17 題和維度二第21 題分別屬于兩個(gè)維度中的最難試題，維度一第3 題和維度二的第8 題分別屬于兩個(gè)維度中的最簡單試題，被試在兩個(gè)維度上的分布也分別呈現(xiàn)對稱分布。

試題特征曲面。由于模型B 和模型C 的差異主要與試卷中第12 題的維度劃分有關(guān)。下面主要以第12 題的試題反應(yīng)為例進(jìn)行分析。在單維情況下，一般分析試題的特征曲線；在多維情況下，一般分析試題的特征曲面。圖5 給出了第12 題在模型B 下考生作答概率如何隨第一特質(zhì)維度θ1和第二特質(zhì)維度θ2變化的情況。對于僅僅具有一個(gè)維度的試題而言，學(xué)生對試題反應(yīng)的概率僅僅在相關(guān)的一個(gè)潛在特質(zhì)維度方向上變化，而與另一個(gè)潛在特質(zhì)維度無關(guān)。圖5左側(cè)部分顯示無論θ2是高還是低，都無法觀測到該潛在特質(zhì)對θ1的補(bǔ)償情況，該試題正確回答的概率僅僅取決于θ1，相同的θ1具有相同的反應(yīng)概率值。圖5 右側(cè)部分的試題等高線同樣可以反映試題的差異，等高線同樣清晰地表明試題僅僅與θ1有關(guān)，與θ2無關(guān)。由于模型B 中沒有項(xiàng)目內(nèi)的多維性試題存在，圖5 所示的試題特征曲面和試題等高線沒有體現(xiàn)出MRCMLM 模型的補(bǔ)償性。圖6 給出模型C 下第12題的試題特征反應(yīng)曲面和等高線，目的是觀察MRCMLM 模型的補(bǔ)償性特性。圖6 左側(cè)部分顯示了一種潛在特質(zhì)維度可以通過其他潛在特質(zhì)維度的強(qiáng)度來補(bǔ)償，由圖可知，相同的θ1由于受到θ2的補(bǔ)償作用，可能具有不同的反應(yīng)概率值。圖6 右側(cè)部分的等高線也顯示出受到兩個(gè)維度的作用。

試題信息曲面。下面仍以第12 題的試題反應(yīng)為例進(jìn)行試題信息曲面分析。圖7 給出了兩個(gè)模型下第12 題的試題信息曲面。試題信息是關(guān)于潛在特質(zhì)的函數(shù)，它為深入了解試題的測量精度提供了途徑。試題信息在測驗(yàn)構(gòu)建中發(fā)揮著特別的作用。從項(xiàng)目反映理論的角度來看，試題提供的信息非常重要，這是試題有效性和可靠性的重要指示。圖7 左側(cè)部分顯示當(dāng)維度一潛在特質(zhì)θ1在零附近時(shí)，第12 題提供了最大的試題信息，當(dāng)維度一潛在特質(zhì)θ1非常低或非常高時(shí)，試題提供的信息最低。圖7 右側(cè)部分顯示當(dāng)兩個(gè)潛在特質(zhì)θ1和θ2都在零附近時(shí)，項(xiàng)目信息水平最高，而當(dāng)潛在特質(zhì)變得非常低或非常高時(shí)，項(xiàng)目信息最低。

圖5 模型B 試題特征曲面（左）和試題等高線（右）

圖6 模型C 試題特征曲面（左）和試題等高線（右）

圖7 模型B（左）和模型C（右）試題信息曲面

測驗(yàn)層面分析。測試的精度可以通過對每個(gè)試題可用的信息求和來確定，測驗(yàn)信息是試卷所有試題信息總的反映。通過信息函數(shù)，測驗(yàn)人員可以精確評估每個(gè)試題對總測驗(yàn)精度的貢獻(xiàn)，從而選擇與測驗(yàn)構(gòu)建其它方面不沖突的試題。從項(xiàng)目反應(yīng)理論的角度來看，對于一份試卷，要尋求最大的測驗(yàn)信息，同時(shí)獲得最小的測驗(yàn)標(biāo)準(zhǔn)誤。圖8 給出了測驗(yàn)試題的總信息（左圖）和 測驗(yàn)標(biāo)準(zhǔn)誤的圖形分布（右圖）。在試題信息曲面圖中，最陡坡的方向具有信息函數(shù)的最高脊。圖8（左圖）給出了脊線的大致位置，同時(shí)可以看出在兩個(gè)維度不同坐標(biāo)點(diǎn)的測驗(yàn)信息量分布，盡管兩個(gè)維度上的試題數(shù)量相同，但對測驗(yàn)信息的總貢獻(xiàn)不一樣；圖8（右圖）可以看出在兩個(gè)維度的不同坐標(biāo)點(diǎn)測驗(yàn)標(biāo)準(zhǔn)誤的分布情況，兩個(gè)維度的不同特質(zhì)分布坐標(biāo)上的標(biāo)準(zhǔn)誤在大部分區(qū)域是一致的。

圖8 測驗(yàn)試題信息曲面（左）和測驗(yàn)標(biāo)準(zhǔn)誤曲面（右）

（三）結(jié)論

本文基于MRCMLM 模型，從擬合偏差、維度方差和相關(guān)性等幾個(gè)方面，確定了試卷結(jié)構(gòu)的多維模型，并對試卷試題進(jìn)行了多維度的分析。結(jié)果表明，MRCMLM 模型是一種有效的分析試卷多維結(jié)構(gòu)的工具，多維分析能夠提供比單維分析更加豐富的測試信息，多維分析結(jié)果更加符合真實(shí)的試卷結(jié)構(gòu)，分析也驗(yàn)證了MRCMLM 模型具有補(bǔ)償性質(zhì)。

（四）研究局限性

本次研究一個(gè)主要的局限性是所使用的考試數(shù)據(jù)沒有呈現(xiàn)出較為明顯的多維度特征，單維模型和兩個(gè)多維模型的擬合偏差差異較小。在擬合偏差差異較小的情況下，以單維模型A 進(jìn)行分析更加簡單，但考慮到單維分析所提供的試題和試卷的信息較少，本文以模型B 為基礎(chǔ)進(jìn)行了多維度的分析。另一個(gè)局限性在于目前能夠進(jìn)行多維分析的三維或多維的圖形化工具較少，本文利用近年來發(fā)展迅速的R語言的圖形化工具實(shí)現(xiàn)數(shù)據(jù)的多維分析，但還不能完全滿足數(shù)據(jù)分析的需要。

四、結(jié)束語

與傳統(tǒng)因素分析方法類似，可以通過探索性因素分析或驗(yàn)證性因素分析的方法確定多維模型。本文采取的是驗(yàn)證性因素分析方法，基于近年來新發(fā)展的MRCMLM 模型，對某普通高考數(shù)學(xué)試卷可能存在的維度模型，從測驗(yàn)的擬合偏差、相關(guān)性角度確定最佳的維度模型，并對確定的維度模型從試題信息層面和測驗(yàn)信息層面作進(jìn)一步分析，得到了一些有意義的結(jié)論，將該分析方法與傳統(tǒng)的多種因素分析進(jìn)行比較是本研究下一步的工作。