基于項(xiàng)目反應(yīng)理論的自適應(yīng)考試系統(tǒng)的研究與設(shè)計(jì)

劉洪峰　郭文明　余曉佳

(南方醫(yī)科大學(xué)網(wǎng)絡(luò)中心　廣東 廣州 510515)

?

基于項(xiàng)目反應(yīng)理論的自適應(yīng)考試系統(tǒng)的研究與設(shè)計(jì)

劉洪峰郭文明余曉佳

(南方醫(yī)科大學(xué)網(wǎng)絡(luò)中心廣東 廣州 510515)

針對(duì)基于經(jīng)典測(cè)量理論的傳統(tǒng)考試暴露出越來越多的缺點(diǎn)和不足這一情況，提出基于項(xiàng)目反應(yīng)理論的計(jì)算機(jī)自適應(yīng)考試系統(tǒng)。它能根據(jù)被試者的能力水平選擇相應(yīng)難度的題目，實(shí)現(xiàn)更快、更準(zhǔn)確地估計(jì)出被試者的能力值。對(duì)自適應(yīng)考試系統(tǒng)中所涉及的幾個(gè)關(guān)鍵技術(shù)(參數(shù)估計(jì)、參數(shù)等值、題目曝光率控制、題庫(kù)建設(shè)等)進(jìn)行研究與改進(jìn)，實(shí)現(xiàn)了系統(tǒng)的設(shè)計(jì)與開發(fā)。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)可以有效地測(cè)試出被試者的能力值，達(dá)到了預(yù)期目的。

項(xiàng)目反應(yīng)理論自適應(yīng)考試參數(shù)估計(jì)

0　引　言

隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的快速發(fā)展，將計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)應(yīng)用于教育已經(jīng)成為一種趨勢(shì)?；诮?jīng)典測(cè)量理論CTT(ClassicalTestTheory)的傳統(tǒng)考試已經(jīng)暴露出很多的缺點(diǎn)和不足。因?yàn)镃TT不論被測(cè)試者能力水平的不同，都用相同的試題進(jìn)行測(cè)試，這樣就導(dǎo)致對(duì)試題區(qū)分度和難度的估計(jì)嚴(yán)重依賴于被試者的作答情況，對(duì)被試者的能力值估計(jì)也會(huì)依賴于所測(cè)試的題目，使得基于CTT所測(cè)試出來的結(jié)果并不能真正代表被試者的能力水平[1]。因此，探索一種新的考試形式已經(jīng)迫在眉睫。計(jì)算機(jī)自適應(yīng)考試系統(tǒng)建構(gòu)在項(xiàng)目反應(yīng)理論的基礎(chǔ)之上，讓考試變得更加高效。由于項(xiàng)目反應(yīng)理論有關(guān)信度理論的先進(jìn)性，測(cè)量的精度也得到了更有力的保證。讓人驚喜的是，測(cè)驗(yàn)效度的改善和精度的提高并沒有帶來人力和財(cái)力的增長(zhǎng)，相反考試變得更加高效了。因?yàn)樽赃m應(yīng)考試的突出特點(diǎn)就是考試的剪裁性，被試者所做的每一道題目對(duì)他來說都是最有效的測(cè)量，從而可以使被試者要做的題目數(shù)量大大減少，有效地節(jié)約了考試時(shí)間；并且這是在保證測(cè)量在一定精度上而達(dá)到的[2]。

自適應(yīng)考試現(xiàn)在還處于起步階段，現(xiàn)有的自適應(yīng)考試系統(tǒng)也各種各樣，功能參差不齊。本文針對(duì)自適應(yīng)考試系統(tǒng)所涉及的幾個(gè)關(guān)鍵技術(shù)進(jìn)行了研究與改進(jìn)，設(shè)計(jì)并開發(fā)了一個(gè)穩(wěn)定和可靠的自適應(yīng)考試系統(tǒng)。

1　自適應(yīng)考試系統(tǒng)理論基礎(chǔ)

1.1項(xiàng)目反應(yīng)理論

項(xiàng)目反應(yīng)理論IRT(ItemResponseTheory)是建立在潛在特質(zhì)理論基礎(chǔ)上的現(xiàn)代測(cè)量理論，是該自適應(yīng)考試系統(tǒng)構(gòu)建的理論基礎(chǔ)。項(xiàng)目反應(yīng)理論模型提出了被試者對(duì)測(cè)試內(nèi)容的反應(yīng)行為和其潛在的能力特質(zhì)之間的關(guān)系。在IRT中應(yīng)用最廣泛的是Logistic模型，因?yàn)樵撃Ｐ捅苊饬藦?fù)雜的積分運(yùn)算，在估計(jì)能力和項(xiàng)目參數(shù)時(shí)要簡(jiǎn)便得多[3]。

三參數(shù)的Logistic模型表達(dá)式是：

(1)

其中：i=1,2,…,n;θ表示考生的能力水平；pi(θ)表示能力水平為θ的考生答對(duì)試題i的概率；ai表示試題i的區(qū)分度；bi表示試題i的難度；ci表示試題i的猜測(cè)系數(shù)。另外，當(dāng)猜測(cè)系數(shù)ci為0時(shí)就變成了雙參數(shù)模型；當(dāng)ci=0并且ai=1時(shí)就變成了單參數(shù)模型。

1.2項(xiàng)目信息函數(shù)

項(xiàng)目信息函數(shù)是項(xiàng)目反應(yīng)理論中用以刻畫試題有效性的工具，它是直接反映被試者的得分情況對(duì)其能力估計(jì)精度的指標(biāo)。項(xiàng)目信息函數(shù)的定義為：

(2)

由函數(shù)定義可知，I(θ)只是θ的函數(shù)。項(xiàng)目信息函數(shù)在測(cè)試題目質(zhì)量高低的過程中扮演著舉足輕重的角色，因?yàn)樗芊从吵鲱}目對(duì)被試者能力值估計(jì)的正確性判斷上提供的信息量大小，并且只有當(dāng)被試者的能力參數(shù)接近試題難度參數(shù)時(shí)，項(xiàng)目信息函數(shù)才能取得極大值。同時(shí)，根據(jù)項(xiàng)目信息函數(shù)的定義，可以計(jì)算出當(dāng)信息函數(shù)為極大值時(shí)的能力參數(shù)取值為：

(3)

式(3)也是在自適應(yīng)考試過程中選擇后續(xù)試題的理論依據(jù)所在?？傊?xiàng)目信息函數(shù)是反映試題優(yōu)劣的一個(gè)綜合指標(biāo)，是項(xiàng)目反應(yīng)理論的重要組成部分。

2　自適應(yīng)考試系統(tǒng)的功能模塊設(shè)計(jì)

根據(jù)該自適應(yīng)考試系統(tǒng)功能的要求，該系統(tǒng)分為3個(gè)模塊，分別是學(xué)生在線考試模塊、教師管理模塊和管理員系統(tǒng)模塊，整個(gè)系統(tǒng)結(jié)構(gòu)如圖1所示。

該自適應(yīng)考試系統(tǒng)采用B/S模式，前臺(tái)主要負(fù)責(zé)學(xué)生的自主考試，滿足學(xué)生對(duì)所學(xué)知識(shí)點(diǎn)有更深入了解的需求，同時(shí)教師也能根據(jù)學(xué)生的考試得分情況掌握學(xué)生的學(xué)習(xí)狀況。后臺(tái)主要提供題庫(kù)中各種試題信息的更新與維護(hù)以及試題庫(kù)的升級(jí)等功能。

圖1　自適應(yīng)考試系統(tǒng)框架結(jié)構(gòu)圖

3　系統(tǒng)關(guān)鍵技術(shù)及實(shí)現(xiàn)

3.1參數(shù)估計(jì)

在自適應(yīng)考試中，如何能正確估計(jì)學(xué)生的能力值是關(guān)鍵之一。目前應(yīng)用最廣泛的是極大似然估計(jì)法，但是極大似然估計(jì)法有時(shí)會(huì)出現(xiàn)迭代過程不穩(wěn)定、無法滿足收斂精度等問題，特別是當(dāng)被試者答對(duì)或答錯(cuò)所有題目時(shí)，能力估計(jì)將無法進(jìn)行等缺點(diǎn)[4]。所以，下面介紹另外一種估計(jì)方法——貝葉斯估計(jì)法。

貝葉斯估計(jì)法是在貝葉斯公式基礎(chǔ)上進(jìn)行的：

(4)

(5)

對(duì)于來自于先驗(yàn)分布g(θ)的某一被試者產(chǎn)生反應(yīng)數(shù)據(jù)Uj的無條件概率就是：

(6)

經(jīng)過計(jì)算，可以求得θj的無條件期望為：

(7)

(8)

這一算法的一個(gè)突出特點(diǎn)是沒有迭代計(jì)算。其次，公式中A(Xk)值是在采用“貝葉斯估計(jì)法”估計(jì)題目參數(shù)時(shí)，經(jīng)過最后一次EM循環(huán)(求期望—極大化)調(diào)整過的能力節(jié)點(diǎn)Xk的權(quán)重。這意味著使用了這些A(Xk)值作為能力參數(shù)θj的先驗(yàn)分布，同理L(Xk)值也是以同樣方法得到的[5]。

基于貝葉斯估計(jì)法的優(yōu)點(diǎn)，并且為了更加準(zhǔn)確地估計(jì)出被試者的能力值，這里采用貝葉斯估計(jì)法與極大似然估計(jì)法相結(jié)合的方法來精確估計(jì)被試者的能力值。在考試的初始階段，使用貝葉斯估計(jì)法；隨著題目數(shù)量的增多，在貝葉斯估計(jì)法基礎(chǔ)上附加一個(gè)極大似然估計(jì)。這么做的優(yōu)點(diǎn)是貝葉斯估計(jì)提供了被試者較好的能力估計(jì)初值，從而可以使極大似然估計(jì)的精度大大提高，同時(shí)也可以降低貝葉斯估計(jì)對(duì)能力先驗(yàn)分布的依賴。

3.2題目參數(shù)的等值

根據(jù)項(xiàng)目反應(yīng)理論的原理，參數(shù)估計(jì)值具有不變性的特點(diǎn)，但是，參數(shù)估計(jì)值的單位系統(tǒng)具有不確定性。在IRT題庫(kù)建設(shè)中最重要的是題目參數(shù)的等值問題。在能力參數(shù)未知的情況下，同一批題目根據(jù)不同被試樣組的實(shí)測(cè)數(shù)據(jù)分別估計(jì)出的兩套題目參數(shù)，也會(huì)由于參照系的不同而有著不同的表現(xiàn)形式，但兩者之間一定具有某種線性轉(zhuǎn)換關(guān)系[6]，這也就是題目參數(shù)等值的理論基礎(chǔ)。

對(duì)于題目參數(shù)的等值問題，這里可以利用不同的測(cè)試樣本中所包含的相同題目(又稱錨題)這一特征。由于不同的被試者都對(duì)錨題做出了反應(yīng)，因此錨題中的每道試題都有成對(duì)的估計(jì)參數(shù)值。如果使用的是二參數(shù)Logistic模型，就分別是區(qū)分度參數(shù)ax和ay、難度參數(shù)bx和by，并且存在下列的線性轉(zhuǎn)換關(guān)系：

(9)這里，A、B稱作等值常數(shù)，對(duì)于等值常數(shù)的求解，利用題目特征曲線的方法。由于題目特征曲線集中了題目各個(gè)方面的信息，因此建立在題目特征曲線基礎(chǔ)上的等值方法也有著更優(yōu)良的特點(diǎn)。

這里用一個(gè)函數(shù)來表示m道錨題在不同的兩個(gè)量表上的題目特征曲線之差求平方后再求和：

(10)

再令：

(11)

其中N表示被試樣組人數(shù)，然后通過極小化Hcrit函數(shù)就能求得等值常數(shù)A、B的值。

3.3題目曝光次數(shù)控制

題庫(kù)中的題目由于性能上優(yōu)劣的不同，造成在自適應(yīng)考試的過程中，有的題目經(jīng)常會(huì)被選中，顯得很活躍，有些題目則相反?；钴S的題目主要是一些難度適中和區(qū)分度較好的試題，而非活躍的題目則是一些知識(shí)內(nèi)容比較偏僻的試題。對(duì)于活躍的題目，使用一次就曝光了一次，如果在短期內(nèi)頻繁地被使用，就可能造成這些題目大面積被曝光，產(chǎn)生漏題現(xiàn)象[7]，所以題目曝光次數(shù)必須要嚴(yán)格加以控制。

為了改善這一狀況，可以給每道題目賦予一個(gè)曝光控制參數(shù)K。然后在考試過程中，當(dāng)某道題目被選為下個(gè)最合適的施測(cè)題目時(shí)，這時(shí)讓計(jì)算機(jī)產(chǎn)生一個(gè)0～1之間的隨機(jī)數(shù)x(0

3.4起點(diǎn)算法與終止算法

表面上看，初始題目的選擇對(duì)被試者最終得到的估計(jì)能力值并不重要，因?yàn)樽赃m應(yīng)考試的特點(diǎn)就是通過被試者對(duì)每一道題目做出的反應(yīng)來逐步估計(jì)出其能力值。但是，實(shí)際上事情并不這么簡(jiǎn)單，不同的試題難度起點(diǎn)算法，其影響是多方面的。對(duì)于一個(gè)被試者來說，假如起點(diǎn)題目選得很難，他將通過不斷地答錯(cuò)大多數(shù)題目來向自己的能力真值靠攏，心理上會(huì)感到挫敗，這樣會(huì)削弱他對(duì)后面題目的信心；相對(duì)的，假如起點(diǎn)題目選得很容易，他將通過不斷地答對(duì)大多數(shù)題目向自己的能力真值逼近，其信心會(huì)激發(fā)，但這也有可能使其產(chǎn)生麻痹思想[8]。

為了使上述情況有所緩解，起點(diǎn)算法可以采用給所有被試者施測(cè)一個(gè)平均難度相等但卻包含了難度不等的m道題目的測(cè)驗(yàn)。這些測(cè)驗(yàn)在題庫(kù)中有很多等值的副本，每一個(gè)被試者可以隨機(jī)選擇，但是試題的曝光次數(shù)要受到一個(gè)參數(shù)的控制。被試者做完這個(gè)測(cè)驗(yàn)后，使用貝葉斯方法估計(jì)其能力參數(shù)的初值。

而終止算法則采用達(dá)到了固定的測(cè)驗(yàn)長(zhǎng)度與達(dá)到了測(cè)驗(yàn)估計(jì)精度相結(jié)合的方法。當(dāng)然，如果發(fā)現(xiàn)有人在考試過程中作弊，考試也可以在人為干預(yù)下強(qiáng)行終止。整個(gè)考試過程可以用圖2來表示。

圖2　自適應(yīng)考試系統(tǒng)流程圖

3.5題庫(kù)建設(shè)和系統(tǒng)實(shí)現(xiàn)

在試題庫(kù)的建設(shè)過程中，為了節(jié)省人力、物力和節(jié)約時(shí)間，采用專家估計(jì)和似然法相結(jié)合的方法來求出試題的難度、區(qū)分度及猜測(cè)系數(shù)。同時(shí)，題庫(kù)中的題目還要保證具有一定的寬度，即試題的考核點(diǎn)要覆蓋考試幾乎所有的內(nèi)容；題目又要有足夠的深度，即在每一項(xiàng)考試內(nèi)容上都要有足夠多的和難度層次不同的題目來對(duì)能力水平不同的被試者施測(cè)，這樣才能估計(jì)出他們的能力值。由于自適應(yīng)考試是根據(jù)“最大信息量”原則從題庫(kù)中選取后續(xù)試題，即每選一道試題都要對(duì)題庫(kù)中所有題目進(jìn)行信息量的計(jì)算，這樣會(huì)對(duì)服務(wù)器造成極大負(fù)擔(dān)。根據(jù)式(3)可以計(jì)算出使項(xiàng)目信息函數(shù)取最大時(shí)的能力參數(shù)取值，因此，在構(gòu)建題庫(kù)時(shí)，題庫(kù)表增加一個(gè)字段ability，此字段存放的是最適合此題目的能力值。這樣在選取后續(xù)試題時(shí)只需搜索與被試者當(dāng)前能力值相匹配的題目即可，從而大大減輕了服務(wù)器的負(fù)擔(dān)。題庫(kù)表的一些字段說明如表1所示。

該自適應(yīng)考試系統(tǒng)使用VisualStudio2010和SQLServer2008作為開發(fā)工具，對(duì)于后續(xù)試題的選擇算法，采用遺傳算法。因?yàn)檫z傳算法具有其他算法所沒有的自適應(yīng)性、全局優(yōu)化性和隱含并行性，并且在解決問題時(shí)有很強(qiáng)的魯棒性，所以采用遺傳算法來完成后續(xù)試題的選取。

表1　題庫(kù)表字段說明

4　實(shí)驗(yàn)與評(píng)價(jià)

4.1題目參數(shù)估計(jì)檢驗(yàn)

題目參數(shù)估計(jì)是題庫(kù)建設(shè)中的重要環(huán)節(jié)，也是自適應(yīng)考試質(zhì)量能否得到保證的關(guān)鍵[9]。在實(shí)驗(yàn)中，采用與現(xiàn)在常用的參數(shù)估計(jì)軟件Bilog軟件進(jìn)行對(duì)比的方法，分別對(duì)取自題庫(kù)中的100道題目進(jìn)行題目參數(shù)估計(jì)。該自適應(yīng)考試系統(tǒng)估計(jì)出的區(qū)分度和難度分別用a、b表示，Bilog軟件估計(jì)出的區(qū)分度和難度則用A、B表示。其中一部分題目的參數(shù)估計(jì)結(jié)果如表2所示。

表2　題目參數(shù)估計(jì)值

從表2中的實(shí)驗(yàn)數(shù)據(jù)可以看出，該自適應(yīng)考試系統(tǒng)的題目參數(shù)估計(jì)結(jié)果是可靠的，基本上實(shí)現(xiàn)了Bilog軟件同樣的功能。由于可以對(duì)該系統(tǒng)的題目參數(shù)估計(jì)程序根據(jù)實(shí)際需求作進(jìn)一步的修改和完善，因此，它將會(huì)更適合復(fù)雜的具體應(yīng)用環(huán)境。

4.2能力參數(shù)估計(jì)檢驗(yàn)

由自適應(yīng)考試的原理，即根據(jù)被試者對(duì)所呈現(xiàn)題目的反應(yīng)數(shù)據(jù)，動(dòng)態(tài)地估計(jì)被試者的能力值，并貫穿于考試過程的始終。這里基于題庫(kù)中的題目，利用計(jì)算機(jī)模擬一個(gè)考試，并進(jìn)一步模擬了被試者不同的得分模型。其中一部分的實(shí)驗(yàn)結(jié)果如表3所示。

表3　能力參數(shù)估計(jì)值及估計(jì)誤差

從表3中的數(shù)據(jù)可以看出，答對(duì)題數(shù)越多，能力值的估計(jì)也就越大。其中第2個(gè)和第3個(gè)雖然答對(duì)題目的數(shù)量一樣，但由于其答對(duì)的具體題目不相同，所以能力估計(jì)值也不相同。除了第5個(gè)的能力值估計(jì)標(biāo)準(zhǔn)誤差稍大一點(diǎn)外，其他的能力值估計(jì)標(biāo)準(zhǔn)誤差都很接近。這些實(shí)驗(yàn)結(jié)果無論是從理論上還是從實(shí)際考試經(jīng)驗(yàn)上看，都是合理的。

5　結(jié)　語(yǔ)

基于項(xiàng)目反應(yīng)理論的自適應(yīng)考試系統(tǒng)在提高考試效率的同時(shí)著重考察被試者的實(shí)際能力水平，對(duì)于提高學(xué)生的學(xué)習(xí)自主性和積極性有一定幫助。由于在考試過程中呈現(xiàn)給考生的試題難度與其能力水平相適應(yīng)，因此每一名考生的答題情況更為可靠，更能充分體現(xiàn)出考生的能力水平。經(jīng)過改進(jìn)后的該自適應(yīng)考試系統(tǒng)，參數(shù)估計(jì)過程更加穩(wěn)定，結(jié)果更加可靠；起點(diǎn)算法的改進(jìn)提高了出題速度；同時(shí)，對(duì)試題曝光次數(shù)的控制保證了考試的安全性。今后，如何能更加準(zhǔn)確地評(píng)估考生的能力值，以及如何改善出題策略，使得考試變得更加高效，是未來研究的重點(diǎn)。

[1] 羅永蓮，郭玉棟．經(jīng)典測(cè)量理論在小型專業(yè)題庫(kù)中的應(yīng)用研究[J]．計(jì)算機(jī)應(yīng)用與軟件，2009，26(10)：105-106,129．

[2] 劉麗平，王文杰，郭世寧．計(jì)算機(jī)自適應(yīng)考試系統(tǒng)題庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)[J]．計(jì)算機(jī)系統(tǒng)應(yīng)用，2006，15(3)：10-12,16．

[3]LindenWJVD,GlasCAW．Computerizedadaptivetesting:Theoryandpractice[M].Netherlands:KluwerAcademicPublishers，2000：101-116．

[4] 張淑梅，辛濤，曾莉，等．2PL模型的EM缺失數(shù)據(jù)處理方法研究[J]．應(yīng)用概率統(tǒng)計(jì)，2011，27(3)：241-255．

[5]WainerH．Computerizedadaptivetesting:APrimer[M].Hillsdale,NJ;LawrenceErlbaumAssociates,1990．

[6] 全敏鳴．基于項(xiàng)目反應(yīng)理論的計(jì)算機(jī)化自適應(yīng)測(cè)試系統(tǒng)的研究[D]．上海交通大學(xué)，2010．

[7] 羅永蓮，賈玉芳．項(xiàng)目反應(yīng)理論在題庫(kù)建設(shè)中的應(yīng)用研究[J]．計(jì)算機(jī)應(yīng)用與軟件，2015，32(1)：86-88,152．

[8] 黃伯平，趙蔚，余延冬．自適應(yīng)學(xué)習(xí)系統(tǒng)參考模型比較分析[J]．中國(guó)電化教育，2009(8)：97-101．

[9] 王芳，燕雁，趙守盈．項(xiàng)目反應(yīng)理論模型應(yīng)用中需要注意的幾個(gè)問題[J]．中國(guó)考試，2015(2)：20-24．

RESEARCHANDDESIGNOFADAPTIVEEXAMSYSTEMBASEDONITEMRESPONSETHEORY

LiuHongfengGuoWenmingYuXiaojia

(NetworkCenter,SouthernMedicalUniversity,Guangzhou510515,Guangdong,China)

Inlightofthesituationthattheclassicmeasuretheory-basedtraditionalexaminationsexposemoreandmoreshortcomingsanddeficiencies,weputforwardtheitemresponsetheory-basedadaptivecomputerexamsystem.Itcanchoosethequestionswithappropriatedifficultiesaccordingtothefacultyofexamineestoachievefasterandmoreaccurateestimatesontheabilityvalueofthem.Westudiedandimprovedseveralkeytechnologiesinvolvedinadaptiveexamsystem(parameterestimation,parameterequivalent,questionsexposureratecontrol,itembankconstruction,etc.),andimplementedthedesignanddevelopmentofthesystem.Experimentalresultsshowedthatthesystemcaneffectivelytesttheabilityvalueofexamineesandachievestheexpectedgoals.

ItemresponsetheoryAdaptiveexamParameterestimation

2015-07-30。廣東省科技計(jì)劃項(xiàng)目(2013B090500024，2014A040401026)。劉洪峰，碩士生，主研領(lǐng)域：云計(jì)算，遠(yuǎn)程教育。郭文明，教授。余曉佳，工程師。

TP

ADOI:10.3969/j.issn.1000-386x.2016.10.020