多維數(shù)據(jù)IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值研究

劉 玥，劉紅云

(1.四川省教育科學(xué)研究所，成都610225;2.北京師范大學(xué)心理學(xué)院，北京100875)

1 問題提出

在教育測量中，常常會出現(xiàn)考核同一個內(nèi)容的多個測驗形式，為了實現(xiàn)這些測驗分?jǐn)?shù)之間的比較，會用到測驗等值的方法。針對測驗分?jǐn)?shù)的等值，一般可以分為經(jīng)典測驗理論(CTT)下的等值方法和項目反應(yīng)理論(IRT)下的等值方法(Kolen ＆ Brennan，2004)。其中，IRT 真分?jǐn)?shù)等值和觀察分?jǐn)?shù)等值就是兩種經(jīng)典的實現(xiàn)測驗分?jǐn)?shù)等值的方法。它們既能與傳統(tǒng)觀察分?jǐn)?shù)等值方法的目的一致，實現(xiàn)測驗分?jǐn)?shù)之間的轉(zhuǎn)換，又能結(jié)合IRT 等值的優(yōu)勢，使等值后的項目參數(shù)在同一量尺上，為題庫建設(shè)中鉚定新加入題目的參數(shù)提供了便利。IRT 真分?jǐn)?shù)等值是當(dāng)項目參數(shù)都被置于同一量度上之后，將兩個測驗的真分?jǐn)?shù)通過被試的能力值θ 進(jìn)行鏈接(Kolen ＆ Brennan，2004)。IRT 觀察分?jǐn)?shù)等值是產(chǎn)生兩個測驗的觀察分?jǐn)?shù)分布。然后，使用傳統(tǒng)的等百分位等值方法來進(jìn)行等值(Kolen ＆ Brennan，2004)。但是，基于IRT 的等值方法往往需要測驗結(jié)構(gòu)滿足單維性的前提假設(shè)。

然而，在現(xiàn)實情境里，測驗通常包含多維的結(jié)構(gòu)。如英語測驗，就能根據(jù)內(nèi)容分為閱讀，聽力，寫作等維度。這時，傳統(tǒng)IRT 理論的單維性假設(shè)很容易遭到違背。因此，基于單維IRT 假設(shè)的參數(shù)估計和IRT 等值結(jié)果會出現(xiàn)一定的偏差(Reckase，2009)。有很多研究者已經(jīng)致力于開發(fā)適用于多維IRT 的等值方法。這些方法主要有多維IRT 相等函數(shù)方法，測驗特征函數(shù)方法，項目特征函數(shù)方法，直接方法(Oshima，Davey，＆ Lee，2000)，LL 方法(Li ＆Lissitz，2000)，Min 的方法(Min，2003)，NOP 方法(Reckase ＆ Martineau，2004)和同時等值的方法(Simon ＆ Davison，2008)等。這些方法和單維IRT 等值方法的主要區(qū)別是，多維IRT 等值不僅需要調(diào)整不同測驗量尺原點和單位大小的差異，還要進(jìn)行量尺旋轉(zhuǎn)和維度相關(guān)調(diào)整等一系列過程(Reckase，2009)。

在單維IRT 等值中，一些研究比較了IRT 真分?jǐn)?shù)等值與IRT 觀察分?jǐn)?shù)等值(Harris ＆ Crouse，1993;Han，Kolen，＆ Pohlmann，1997;Lord ＆ Wingersky，1984;劉玥，駱方，劉紅云，2010)。盡管關(guān)于兩種等值方法是否有區(qū)別存在不一致的結(jié)論，但是大多數(shù)研究證明，IRT 真分?jǐn)?shù)等值與IRT 觀察分?jǐn)?shù)等值的結(jié)果有極高的相似性。在多維IRT 等值中，大多研究關(guān)注于項目參數(shù)的等值，很少有研究應(yīng)用針對測驗分?jǐn)?shù)等值。Brossman(2010)首次將單維IRT 真分?jǐn)?shù)等值和觀察分?jǐn)?shù)等值推廣到多維，并對這些方法進(jìn)行比較。結(jié)果證明，對于存在中等程度多維的數(shù)據(jù)，幾種多維IRT 等值方法優(yōu)于單維IRT 等值。

在Brossman(2010)的研究中，參數(shù)估計使用的是邊緣極大似然估計方法。隨著統(tǒng)計方法和計算機(jī)技術(shù)的發(fā)展，貝葉斯估計的MCMC 算法以其估計結(jié)果的準(zhǔn)確性得到了越來越多的應(yīng)用(Yao，Lewis，＆Zhang，2008)。因此，基于貝葉斯估計得到的項目參數(shù)，進(jìn)行單維和多維IRT 分?jǐn)?shù)等值，其結(jié)果是否存在差異，是研究主要關(guān)心的問題。多維近似單維IRT真分?jǐn)?shù)等值(unidimensional approximation of MIRT true score equating)和多維近似單維IRT 觀察分?jǐn)?shù)等值(unidimensional approximation of MIRT observed score equating)，因計算過程相對簡單，等值效果較好，并且等值的項目參數(shù)與單維IRT 的結(jié)果具有可比性，而具有較大的優(yōu)勢(Brossman，2010)。因此，選用這兩種方法作為多維IRT 等值方法。等百分位等值不包含多維性假設(shè)，并且在相等組設(shè)計中具有良好穩(wěn)定的結(jié)果，所以等百分位等值將作為其他幾種方法的比較標(biāo)準(zhǔn)(Brossman，2010)。綜上，研究以實際數(shù)據(jù)為背景，基于貝葉斯估計的MCMC 方法實現(xiàn)參數(shù)估計，比較了四種等值方法:單維IRT 真分?jǐn)?shù)等值，單維IRT 觀察分?jǐn)?shù)等值，多維近似單維IRT 真分?jǐn)?shù)等值，多維近似單維IRT 觀察分?jǐn)?shù)等值。研究豐富了多維IRT 的等值方法，為實際中針對測驗分?jǐn)?shù)的等值方法的選擇提供了參考。

2 研究方法

2.1 實驗數(shù)據(jù)

研究采用2007 年國家教育質(zhì)量分析評估大型初中英語抽樣測試的數(shù)據(jù)。該英語測驗分為A，B卷。測試采用相等組等值設(shè)計，即同一所參加測試的學(xué)生隨機(jī)分為兩組，一組測試A 卷，一組測試B卷。因此估計出的兩套測驗的項目參數(shù)在同一量尺上，項目參數(shù)不需要進(jìn)行量尺轉(zhuǎn)換。每套測驗均由聽力和閱讀兩個部分組成，共40 題。根據(jù)測驗內(nèi)容，可以假設(shè)題目分別屬于兩個維度。所有題目均為0/1 計分，測驗總分為原始分。

完成測驗A 的有3242 名考生，完成測驗B 的有3308 名考生。研究要進(jìn)行測驗B 到測驗A 的分?jǐn)?shù)等值。

2.2 等值方法

2.2.1 多維IRT 真分?jǐn)?shù)等值

多維IRT 真分?jǐn)?shù)等值主要是通過將多維IRT 的參數(shù)估計結(jié)果合成單維參數(shù)，從而采用與單維IRT真分?jǐn)?shù)等值類似的過程完成，因此又稱為多維近似單維IRT 等值方法(Brossman，2010)。

首先，進(jìn)行多維兩參數(shù)Logistic 模型的參數(shù)估計。然后，計算每個維度的權(quán)重。

利用權(quán)重合成多維近似單維項目參數(shù)。

然后根據(jù)下面的公式將正態(tài)肩形模型系統(tǒng)中的上述參數(shù)轉(zhuǎn)換到Logistic 模型中(Lord，1980)。

這時，多維近似單維能力也可以表示為各個維度能力參數(shù)的線性組合。

最后，利用多維近似單維IRT 題目參數(shù)，就能實現(xiàn)多維近似單維IRT 真分?jǐn)?shù)等值。

2.2.2 多維IRT 觀察分?jǐn)?shù)等值

多維IRT 觀測分?jǐn)?shù)等值通過將多維測驗中每個維度能力的結(jié)點值轉(zhuǎn)換到單維能力結(jié)點值，然后采用與單維IRT 觀測分?jǐn)?shù)等值類似的過程完成，又稱為多維近似單維IRT 觀察分?jǐn)?shù)等值，該方法需要得到被試能力的邊緣分布(Brossman，2010)?？梢园凑障旅娴姆椒ㄇ蟪霰辉嚹芰Ψ植嫉慕Y(jié)點與權(quán)重** 結(jié)點與權(quán)重:將連續(xù)的能力分布看做基于有限數(shù)量的能力值的離散分布，其中能力值稱為結(jié)點，與之相對應(yīng)的密度稱為權(quán)重。結(jié)點與權(quán)重可以表示能力的后驗分布。這是進(jìn)行IRT 觀察分?jǐn)?shù)等值需要用到的條件。。

第一步，根據(jù)標(biāo)準(zhǔn)多元正態(tài)分布求出每個維度的結(jié)點和整體的權(quán)重。這個過程可以通過R 語句編程實現(xiàn)。例如，多維IRT 能力的結(jié)點與權(quán)重可以表示為:

第二步，將每個維度的結(jié)點值乘以線性轉(zhuǎn)換系數(shù)α 并求和，得到近似單維結(jié)點值。

第三步，將上一步得到的結(jié)果按照結(jié)點從小到大進(jìn)行排序，得到下面的矩陣:

然后，按順序合成結(jié)點與權(quán)重，結(jié)點數(shù)與單維IRT 觀察分?jǐn)?shù)中保持一致。其中，每個區(qū)間結(jié)點之和作為區(qū)間的結(jié)點，每個區(qū)間的權(quán)重之平均數(shù)作為區(qū)間的權(quán)重。這一步驟是為了使得到的結(jié)點和權(quán)重更加穩(wěn)定。

最后，使用上面得到的參數(shù)、結(jié)點和權(quán)重進(jìn)行多維近似單維IRT 觀察分?jǐn)?shù)等值。

2.3 研究步驟

2.3.1 維度分析

使用DETECT 軟件(Stout，Habing，＆ Douglas，1996)對測驗的維度進(jìn)行非參數(shù)方法的分析，檢驗測驗是否存在多維結(jié)構(gòu)。

2.3.2 參數(shù)估計

采用BMIRT 程序(Yao，Lewis，＆ Zhang，2008)，分別完成單維兩參數(shù)Logistic 模型和多維兩參數(shù)Logistic 模型對數(shù)據(jù)的擬合。

2.3.3 分?jǐn)?shù)等值

研究采用的分?jǐn)?shù)等值方法主要有三類，分別是:單維IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值、多維近似單維IRT 真分?jǐn)?shù)等值IRT 觀察分?jǐn)?shù)等值，以及等百分位等值。

(1)單維IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值

根據(jù)標(biāo)準(zhǔn)正態(tài)分布，使用R 語句求出兩組被試能力的結(jié)點與權(quán)重。最后，使用PIE 程序(Hanson ＆Zeng，1995)，完成IRT 真分?jǐn)?shù)等值和觀察分?jǐn)?shù)等值。

(2)多維近似單維IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值

先求出多維近似單維各題目參數(shù)，以及能力分布的結(jié)點和權(quán)重。然后使用PIE 程序(Hanson ＆Zeng，1995)，完成多維近似單維IRT 真分?jǐn)?shù)等值和觀察分?jǐn)?shù)等值。

(3)等百分位等值

使用RAGE - RGEQUATE(Zeng，Kolen，Hanson，Cui，＆ Chien，2004)完成等百分位等值和平滑。選擇S=0.01 后平滑的結(jié)果作為最終的等百分位等值結(jié)果。

2.3.4 評價標(biāo)準(zhǔn)

(1)DETECT 結(jié)果

根據(jù)DETECT 探索性分析結(jié)果，能夠大致估計多維IRT 等值是否能有較好的表現(xiàn)。如果DETECT的分類與測驗本身的結(jié)構(gòu)較一致，說明每個維度內(nèi)的題目幾乎指向同一個方向，這就為多維IRT 等值提供了很好的基礎(chǔ)。

(2)等值標(biāo)準(zhǔn)誤

等值標(biāo)準(zhǔn)誤表示了等百分位等值中的隨機(jī)誤差。Equating Error 程序(Kolen ＆ Brennan，2004)使用Bootstrap 方法計算等值標(biāo)準(zhǔn)誤。用等百分位等值的分?jǐn)?shù)加減等值標(biāo)準(zhǔn)誤，能得到等百分位等值68%的置信區(qū)間。如果某種等值方法的結(jié)果大部分落在了等百分位等值標(biāo)準(zhǔn)誤置信區(qū)間之外，說明這種方法的結(jié)果與等百分位等值顯著不同。

(3)重要的差異(Differences That Matter)

Dorans 等(2003)提出了一種重要的差異(Differences That Matter)評價標(biāo)準(zhǔn)。他們認(rèn)為，在特定分?jǐn)?shù)點上，等值結(jié)果之間的差異大于0.5 倍原始分?jǐn)?shù)，則為重要的差異。在研究中，用這個標(biāo)準(zhǔn)衡量某等值方法與等百分位等值的差異。

3 結(jié)果

3.1 兩測驗描述性統(tǒng)計匯總

表1 是測驗A，B 的描述統(tǒng)計。

從表中可以看出，兩套試卷上的分?jǐn)?shù)分布略呈負(fù)偏態(tài)，說明這兩套測驗較為容易。參加測驗的人數(shù)都達(dá)到了3000 以上，保證了單維和多維IRT 參數(shù)估計都能得到較準(zhǔn)確的結(jié)果。

3.2 維度分析結(jié)果

DETECT 維度分析在探索性分析和驗證性分析兩種模式下，分別提供三種指標(biāo)。DETECT 值說明測驗在多大程度上符合多維結(jié)構(gòu)。小于0.2 表示單維結(jié)構(gòu)，0.2 到0.4 表示弱至中等程度的多維，0.4到1.0 表示中至強(qiáng)程度的多維。IDN 指數(shù)表示測驗在多大程度上符合簡單結(jié)構(gòu)。接近1 表示數(shù)據(jù)較好地擬合了簡單結(jié)構(gòu)模型。r 比值顯示了分析結(jié)果穩(wěn)定性的程度。接近1 表示得到的結(jié)果較為穩(wěn)定(Zhang ＆ Stout，1999)。表2 是對A，B 兩套測驗進(jìn)行維度分析的結(jié)果。

表2 兩測驗DETECT 結(jié)果

通過DETECT 指數(shù)可以看出，兩套測驗存在著弱至中等強(qiáng)度的多維結(jié)構(gòu)。兩套測驗的IDN 指數(shù)說明數(shù)據(jù)基本符合簡單結(jié)構(gòu)。r 比值證明得到的結(jié)果較為穩(wěn)定。

在DETECT 的探索性分析模式下，將得到的題目維度分類信息與測驗的先驗維度分類設(shè)定進(jìn)行比較，總的來說兩種方法的分類是很一致的?？梢酝茰y，多維IRT 等值能夠得到較好的結(jié)果。

3.3 參數(shù)估計結(jié)果

表3 是兩套測驗項目參數(shù)估計結(jié)果的描述統(tǒng)計。

表3 兩測驗題目參數(shù)估計結(jié)果的描述統(tǒng)計

可以看出，對于區(qū)分度參數(shù)，多維方法得到的均值和標(biāo)準(zhǔn)差小于單維方法。而對于難度參數(shù)，兩種方法得到的均值和標(biāo)準(zhǔn)差是相近的。同時，兩種方法在各參數(shù)估計結(jié)果上的相關(guān)較高，在難度參數(shù)上兩種方法的估計結(jié)果更加接近。

3.4 等值標(biāo)準(zhǔn)誤

研究中，等百分位等值標(biāo)準(zhǔn)誤均值為0.285，說明等百分位等值包含的隨機(jī)誤差較小。圖1 和圖2分別呈現(xiàn)了各等值方法與等百分位等值置信區(qū)間的關(guān)系。

圖1 兩種真分?jǐn)?shù)等值方法和等百分位等值比較

圖2 兩種觀察分?jǐn)?shù)等值方法和等百分位等值比較

從圖中可以看出，各等值方法與等百分位等值的趨勢較為一致(相關(guān)達(dá)到0.998 以上)。其中，多維IRT 等值方法與等百分位等值更加相似，而單維IRT 等值方法在很多分?jǐn)?shù)點上的結(jié)果遠(yuǎn)超過了等百分位等值的標(biāo)準(zhǔn)誤區(qū)間。

3.5 重要的差異

圖3 表示相同分?jǐn)?shù)點上單維IRT 真分?jǐn)?shù)等值、單維IRT 觀測分?jǐn)?shù)等值、多維近似單維IRT 真分?jǐn)?shù)等值、多維近似IRT 觀測分?jǐn)?shù)等值與等百分位等值結(jié)果的差異。

圖3 四種等值方法與等百分位等值結(jié)果的差異

根據(jù)定義，超過縱坐標(biāo)上［-0.5，0.5］這個區(qū)間的結(jié)果與等百分位等值存在重要的差異。從圖中可以看出，多維IRT 等值方法所包含的重要差異的分?jǐn)?shù)點較單維IRT 等值方法少。并且，兩種多維IRT 等值結(jié)果非常接近，僅在低分段和高分段出現(xiàn)了較大的差異。另外，多維近似單維IRT 觀察分?jǐn)?shù)等值與等百分位等值結(jié)果差異絕對值的均值和標(biāo)準(zhǔn)差最小，說明針對這批實際數(shù)據(jù)，這種方法與等百分位等值的結(jié)果最為接近。

4 討論

4.1 關(guān)于單維IRT 和多維IRT 等值方法的比較

對單維和多維IRT 等值方法進(jìn)行比較，首先，這兩類方法得到的等值趨勢是一致的。這是因為兩類方法對題目參數(shù)估計結(jié)果具有較高的相似性，而得到題目參數(shù)之后，單維和多維IRT 等值的過程也是類似的。

其次，對于真分?jǐn)?shù)等值和觀察分?jǐn)?shù)等值方法，單維和多維IRT 等值方法之間的差異較大。這主要是由于兩類方法的前提假設(shè)和模型定義不同，盡管在題目參數(shù)估計中，單維的方法和近似多維方法結(jié)果的相關(guān)很高，但參數(shù)估計的大小存在差異，這就可能導(dǎo)致兩類等值方法的差異。將兩類等值方法與等百分位等值的結(jié)果做比較，發(fā)現(xiàn)在隨機(jī)等組設(shè)計下，多維IRT 等值的結(jié)果與等百分位等值的結(jié)果更加接近。這是由于根據(jù)維度分析的結(jié)果，該英語測驗存在著弱至中等強(qiáng)度的多維結(jié)構(gòu)，違背了傳統(tǒng)IRT 的單維性假設(shè)。而多維IRT 等值是建立在多維性的假設(shè)下，所以這類等值方法所包含的系統(tǒng)誤差較小，其結(jié)果也與等百分位等值更為相似。另外，在所比較的四種等值方法中，多維IRT 觀察分?jǐn)?shù)等值與等百分位等值的結(jié)果最為接近。一方面歸因于這種方法是建立在多維IRT 的結(jié)構(gòu)下;另一方面是由于觀察分?jǐn)?shù)等值的方法與等百分位等值都利用了被試分布的信息，所以，以等百分位等值作為比較標(biāo)準(zhǔn)，可以認(rèn)為在四種等值方法中，多維IRT 觀察分?jǐn)?shù)等值的方法所包含的誤差最小，得到的結(jié)果最準(zhǔn)確。

最后，在整個分?jǐn)?shù)的量尺上，單維IRT 等值與多維IRT 等值方法的差異并不一致，在一些分?jǐn)?shù)點上單維IRT 和多維IRT 等值方法的差異較小，而在一些分?jǐn)?shù)點上兩種方法的差異較大。產(chǎn)生這種現(xiàn)象的原因可能是，在不同的分?jǐn)?shù)點上，測驗多維性結(jié)構(gòu)對分?jǐn)?shù)的影響是不同的，即，當(dāng)測驗測量的結(jié)構(gòu)為多維時，在不同分?jǐn)?shù)點上，考生在兩個測驗上分?jǐn)?shù)的差異，所代表的意義可能不同。例如，在這兩套英語試卷上，可能對于低分段的考生，他們分?jǐn)?shù)的差異更大程度上來自于聽力，對于高分段的考生，他們分?jǐn)?shù)的差異更大程度上來自于閱讀，而中等分?jǐn)?shù)考生的差異同時來自于這兩個方面。也就是說，在整個分?jǐn)?shù)段上，可能一些分?jǐn)?shù)體現(xiàn)了更多的多維性結(jié)構(gòu)，而一些分?jǐn)?shù)則顯得更接近單維性結(jié)構(gòu)。因此，在多維性結(jié)構(gòu)較強(qiáng)的分?jǐn)?shù)點上，單維IRT 和多維IRT 等值方法的差異就較大，而在單維性結(jié)構(gòu)較強(qiáng)的分?jǐn)?shù)點上，這兩種方法的結(jié)果就更接近。

4.2 關(guān)于IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值方法的比較

IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值的原理不同。真分?jǐn)?shù)等值是將兩個測驗上的真分?jǐn)?shù)進(jìn)行鏈接，而觀察分?jǐn)?shù)等值旨在使用統(tǒng)計的方法對觀察分?jǐn)?shù)的分布進(jìn)行調(diào)整，從而使得兩個測驗上觀察分?jǐn)?shù)的分布盡量相似。對四種等值方法比較可以看出，真分?jǐn)?shù)等值和觀察分?jǐn)?shù)等值的差異較小，而單維和多維等值方法的結(jié)果差異相對較大。這與Brossman(2010)的研究結(jié)果是相似的。Kolen 和Brennan(1995)曾經(jīng)指出，單維IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值的結(jié)果非常接近，它們最大的區(qū)別可能會出現(xiàn)在滿分附近，或者是C 參數(shù)估計之和的分?jǐn)?shù)之下。在劉玥等人(2010)的研究中，也對單維IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值進(jìn)行了比較，發(fā)現(xiàn)兩種方法得到的等值結(jié)果基本相等，差別較大的部分出現(xiàn)在被等值測驗的低分?jǐn)?shù)段。

在研究中，真分?jǐn)?shù)等值和觀察分?jǐn)?shù)等值表現(xiàn)出很高的一致性，尤其在中高分?jǐn)?shù)段，兩種方法得到的等值結(jié)果幾乎相同。而在低分段和滿分附近，兩種等值方法表現(xiàn)出了一定的差異。這說明單維IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值的規(guī)律，也能延伸到多維IRT 的體系中。另外，相對于真分?jǐn)?shù)等值的方法，觀察分?jǐn)?shù)等值的方法與等百分位等值的結(jié)果更加接近，這是因為等百分位等值的過程從原理上說就是觀察分?jǐn)?shù)等值。

4.3 實際數(shù)據(jù)中進(jìn)行真分?jǐn)?shù)等值和觀察分?jǐn)?shù)等值的建議

在實際數(shù)據(jù)中，要進(jìn)行IRT 真分?jǐn)?shù)等值和IRT觀察分?jǐn)?shù)等值，首先最好使用多維分析的軟件，對測驗的多維性及其具體結(jié)構(gòu)進(jìn)行檢驗。如果測驗符合單維性結(jié)構(gòu)，則可以選用傳統(tǒng)的單維IRT 真分?jǐn)?shù)和觀察分?jǐn)?shù)等值的方法;如果測驗符合多維性結(jié)構(gòu)，但是測驗對維度的先驗分類和軟件探索性分析的結(jié)果不一致，則可以考慮通過一些探索性的方法重新劃分維度，再進(jìn)行維度檢驗;如果測驗符合多維性結(jié)構(gòu)，測驗對維度的先驗分類和軟件探索性分析的結(jié)果也一致，則選用多維IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值的方法能得到較好的結(jié)果。

4.4 有待進(jìn)一步研究的問題

由于研究采用了實際數(shù)據(jù)，所得到的等值結(jié)果只適用于該等值情境。因此研究得到的結(jié)論具有一定的局限性。并且研究中各等值方法的比較標(biāo)準(zhǔn)為等百分位等值的結(jié)果，但是這種等值方法本身也包含了等值誤差，也不能準(zhǔn)確地反映兩套測驗之間真實關(guān)系，因此使用它的結(jié)果作為比較標(biāo)準(zhǔn)是帶有偏差的。

另外，目前針對IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值的研究大部分是針對實際數(shù)據(jù)的，模擬研究還較少，沒有得到廣泛認(rèn)可的等值評價標(biāo)準(zhǔn)，因此在今后的研究中可以探索如何對這兩種等值方法的比較進(jìn)行模擬研究。從而使得研究結(jié)論更具有推廣性，為方法的比較和選擇提供參考。

最后，研究使用的多維IRT 分?jǐn)?shù)等值方法，只能實現(xiàn)總分的等值，不能進(jìn)行維度分?jǐn)?shù)的轉(zhuǎn)換。今后可以出于實際應(yīng)用的考慮，對多維數(shù)據(jù)維度分?jǐn)?shù)等值進(jìn)一步探索。

5 結(jié)論

5.1 在研究設(shè)置的等值情境下，四種等值方法和等百分位等值具有相似的趨勢。

5.2 當(dāng)測驗存在弱至中等程度的多維結(jié)構(gòu)時，基于多維測驗的IRT 真分?jǐn)?shù)等值和觀察分?jǐn)?shù)等值方法優(yōu)于單維IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值方法;多維IRT 觀察分?jǐn)?shù)等值略優(yōu)于多維IRT 真分?jǐn)?shù)等值，但是兩者之間的差異較小。

5.3 在實際情況下，最好先對測驗的維度結(jié)構(gòu)進(jìn)行分析，再根據(jù)分析結(jié)果選擇合適的等值方法。如果測驗確實存在多維結(jié)構(gòu)，最好選用多維IRT 的等值方法以減小系統(tǒng)誤差。

劉玥，駱方，劉紅云.(2010).IRT 真分?jǐn)?shù)等值和IRT 觀察分?jǐn)?shù)等值的對比研究.心理科學(xué)，33(3)，676 -680.

Brossman，B.G.(2010). Observed score and true score equating procedures for multidimensional item response theory.University of Iowa.

Dorans，N. J.，Holland，P. W.，Thayer，D. T.，＆ Tateneni，K.(2003).Invariance of score linking across gender groups for three Advanced Placement Program Examinations. In N. J.Dorans(Ed.)，Population invariance of score linking:Theory and applications to Advanced Placement Program examinations(pp.79 -118).Princeton，NJ:Educational Testing Service.

Han，T.，Kolen，M.，＆ Pohlmann，J. (1997). A comparison among IRT true-and observed-score equatings and traditional equipercentile equating.Applied Measurement in Education，10(2)，105 -121.

Hanson，B.，＆ Zeng，L. (1995). PIE:A computer program for IRT equating(Version 1.0).Iowa City，IA:ACT.

Harris，D.J.，＆ Crouse，J.D.(1993).A study of criteria used in equating. Applied Measurement in Education，6(3)，195 -240.

Kolen，M.J.，＆ Brennan，R. L. (2004). Test equating，scaling，and linking:Methods and practices.Springer Verlag.

Li，Y.H.，＆ Lissitz，R.W.(2000).An evaluation of the accuracy of multidimensional IRT linking. Applied Psychological Measurement，24(2)，115 -138.

Lord，F(xiàn).M.(1980).Applications of item response theory to practical testing problems. Lawrence Erlbaum Associates New Jersey.

Lord，F(xiàn). M.，＆ Wingersky，M. S. (1984). Comparison of IRT True - Score and Equipercentile Observed - Score“Equatings”.Applied Psychological Measurement，8(4)，453.

Min，K.S.(2003).The impact of scale dilation on the quality of the linking of multidimensional item response theory calibrations. Michigan State University，Department of Counseling，Educational Psychology，and Special Education.

Oshima，T.，Davey，T.，＆ Lee，K. (2000). Multidimensional linking:Four practical approaches. Journal of Educational Measurement，357 -373.

Reckase，M.D. (2009). Multidimensional item response theory.Springer Verlag.

Reckase，M.，＆ Martineau，J.A.(2004).The vertica lscaling of science achievement tests. Unpublished Report. Michigan State University.

Simon，M. K. (2008). Comparison of concurrent and separate multidimensional IRT linking of item parameters.University of Minnesota.

Stout，W.，Habing，B.，＆ Douglas，J.(1996).Conditional covariance-based nonparametric multidimensionality assessment.Applied Psychological Measurement，20(4)，331.

Yao，L.，Lewis，D.，＆ Zhang，L.(2008). An introduction to the application of BMIRT:Bayesian multivariate item response theory software. Training Secession Presented at the Annual Meeting of the National Council on Measurement in Educa -tion，Ny.

Zeng，L.，Kolen，M.，Hanson，B.，Cui，Z.，＆ Chien，Y.(2004).RAGE-RGEQUATE［Computer software］.Iowa City:University of Iowa.

Zhang，J.，＆ Stout，W. (1999). The theoretical DETECT index of dimensionality and its application to approximate simple structure.Psychometrika，64(2)，213 -249.