IRT模型參數(shù)估計(jì)的GRNN方法研究

陶永才，賈圣杰，石 磊，衛(wèi) 琳2(鄭州大學(xué)信息工程學(xué)院，鄭州45000)

2(鄭州大學(xué)軟件技術(shù)學(xué)院，鄭州450002)

E-mail:ieyctao@zzu.edu.cn

1 引言

測驗(yàn)通常由許多經(jīng)過適當(dāng)安排的項(xiàng)目(問題、任務(wù)等)構(gòu)成，被試者對這些項(xiàng)目的作答可以記分，分?jǐn)?shù)被用于評估被試者的情況.

項(xiàng)目反應(yīng)理論(Item Response Theory，IRT)［1］是評估系統(tǒng)中作為項(xiàng)目參數(shù)估計(jì)的主要方法，較經(jīng)典測驗(yàn)理論(Classical Test Theory，CTT)具有參數(shù)多的優(yōu)點(diǎn)，且項(xiàng)目參數(shù)的估計(jì)與被試者的樣本無關(guān)［2］.同時(shí)在項(xiàng)目參數(shù)已知的情況下，可以根據(jù)相應(yīng)的項(xiàng)目反應(yīng)模型計(jì)算出被試者的能力參數(shù).

參數(shù)估計(jì)是項(xiàng)目反應(yīng)理論的重要組成部分，但是由于項(xiàng)目反應(yīng)理論模型的復(fù)雜性，目前參數(shù)估計(jì)主要采用數(shù)理統(tǒng)計(jì)方法，項(xiàng)目參數(shù)和能力參數(shù)估計(jì)中常采用極大似然估計(jì)法、貝葉斯方法或最大期望(EM)算法進(jìn)行參數(shù)估計(jì)的求解，求解中需要處理大量的積分運(yùn)算，估計(jì)相對困難.而且數(shù)理統(tǒng)計(jì)方式的參數(shù)估計(jì)法要求較大的樣本容量，才能得到標(biāo)準(zhǔn)誤足夠小的參數(shù)估計(jì)值［3］，即測驗(yàn)人數(shù)和題數(shù)都較大時(shí)才有理想的估計(jì)結(jié)果.實(shí)際應(yīng)用中需要大量的考生參加組有新試題的試驗(yàn)考試，樣本的獲取難度較大，同時(shí)也增加了試題的曝光度.估計(jì)IRT模型參數(shù)，就是在考生作答試題得到的作答結(jié)果中，找到一組與IRT模型相符合的參數(shù)，這樣的一組參數(shù)能夠描繪出能力參數(shù)不同的被試者作答項(xiàng)目參數(shù)不同的試題，得到作答的概率分布與實(shí)際分布擬合.于是，IRT參數(shù)估計(jì)問題等價(jià)于IRT模型(函數(shù))的擬合問題［4］.

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)［5］是一種非經(jīng)典數(shù)學(xué)方法，它通過生物神經(jīng)網(wǎng)絡(luò)的模擬，使用網(wǎng)絡(luò)中的神經(jīng)元間聯(lián)結(jié)權(quán)重值的學(xué)習(xí)機(jī)制，可以處理復(fù)雜的非線性函數(shù)擬合問題.文獻(xiàn)［6］使用ANN方法在小樣本數(shù)據(jù)下進(jìn)行IRT模型的參數(shù)估計(jì)，其使用神經(jīng)網(wǎng)絡(luò)研究CTT中的項(xiàng)目參數(shù)與IRT中的項(xiàng)目參數(shù)間的隱含關(guān)系.

本文提出基于廣義回歸神經(jīng)網(wǎng)絡(luò)(GRNN)［7］的參數(shù)估計(jì)方法，以二值記分的測驗(yàn)結(jié)果作為樣本，通過實(shí)驗(yàn)與數(shù)理統(tǒng)計(jì)方法進(jìn)行對比，并分析不同樣本量下參數(shù)估計(jì)結(jié)果的誤差.

2 項(xiàng)目反應(yīng)理論模型

項(xiàng)目反應(yīng)理論是一種用來分析測驗(yàn)成績或調(diào)查問卷結(jié)果的數(shù)學(xué)模型.項(xiàng)目反應(yīng)理論模型是為了確定相關(guān)潛在特征(latent trait)，被試者能力能否通過測試題反應(yīng)得出，以及被試者與測試題間的互動(dòng)關(guān)系.目前在心理測量和教育測量相關(guān)領(lǐng)域有較廣泛的應(yīng)用.

項(xiàng)目反應(yīng)理論的Logistics模型為一個(gè)非線性函數(shù)，其表示被試者在項(xiàng)目上的反應(yīng)與被試者的能力和項(xiàng)目的參數(shù)之間的關(guān)系，常用的 3參數(shù)模型(3-parameter Logistic model，3PLM)的表達(dá)式如式(1):

圖1 項(xiàng)目特征曲線Fig.1 Item characteristic curve

其中被試者j的能力值為θj，項(xiàng)目i的區(qū)分度、難度和猜測系數(shù)分別由ai、bi和ci表示，D 為常數(shù)值 －1.702，表示被試者 j答對項(xiàng)目i的概率.根據(jù)3PLM繪制出的函數(shù)曲線為項(xiàng)目特征曲線(Item Characteristic Curve，ICC).項(xiàng)目特征曲線如圖1所示的S型曲線，其意義在于描述“被測試者成功作答某一特定項(xiàng)目的可能性”和“被測試者能力”之間的關(guān)系，其中被試者的能力值θ取值一般限定在［－3，3］.對于項(xiàng)目i在圖像上，c所代表的是ICC的下限，一個(gè)能力值θ接近負(fù)無窮(非常低)的被測試者仍能答對此題的概率，c為項(xiàng)目的猜測系數(shù).b一般表示在ICC圖像拐點(diǎn)處所對應(yīng)的θ值，對于ICC下限為0(猜測系數(shù)c=0)的項(xiàng)目來說，b為p(θ)=0.5時(shí)被試者的能力值.b的改變會(huì)使曲線橫向移動(dòng)，形狀保存不變，當(dāng)b增加大時(shí)曲線向右移動(dòng)，即θ保持不變時(shí)答對題的概率減小，題目的難度增加.題目的難度降低時(shí)曲線向左移動(dòng)，b隨之減小.曲線拐點(diǎn)處的斜率k與區(qū)分度a的取值成正比(a=4k)，在這一點(diǎn)附近上，能力值θ的微小的改變會(huì)引起最大的答對概率p(θ)變動(dòng).雙參數(shù)模型(2PLM)為ci=0時(shí)的特例，單參數(shù)模型(1PLM)為ci=0且ai=1時(shí)的特例.

參數(shù)估計(jì)是確定一組項(xiàng)目參數(shù)估計(jì)值以及被試者能力參數(shù)估計(jì)值的過程，估計(jì)出的參數(shù)值代入模型后，能夠最大程度的擬合項(xiàng)目反應(yīng)矩陣P.當(dāng)n個(gè)被試者對m個(gè)項(xiàng)目作出反應(yīng)時(shí)，共有n+3m個(gè)參數(shù)需要估計(jì).顯然，如果同時(shí)對如此多的未知數(shù)進(jìn)行估計(jì)，那將是非常困難的.伯恩鮑姆(1968)提出將該問題分為兩個(gè)步驟［8］:

步驟1.假設(shè)項(xiàng)目的參數(shù)已知，只估計(jì)能力參數(shù).

步驟2.將能力的估計(jì)值假設(shè)為真實(shí)值，只估計(jì)項(xiàng)目參數(shù).并將迭代這一過程，當(dāng)參數(shù)估計(jì)值趨于穩(wěn)定時(shí)停止.目前參數(shù)估計(jì)的各種方法依據(jù)伯恩鮑姆提出的兩步驟進(jìn)行.

測試的項(xiàng)目按照評分方式可分為二級評分項(xiàng)目、多級評分項(xiàng)目、連續(xù)評分項(xiàng)目.實(shí)際應(yīng)用中，對二級評分項(xiàng)目的分析最為成熟.研究分析中的多級評分項(xiàng)目大多先轉(zhuǎn)化為多個(gè)二級評分項(xiàng)目再進(jìn)行處理.在連續(xù)評分項(xiàng)目模型的研究分析中，通常先將其轉(zhuǎn)化為級數(shù)趨于無窮的多級項(xiàng)目，再做處理［9］.二級評分又稱二值記分或0－1記分.本文主要研究二值記分項(xiàng)目的參數(shù)估計(jì)方法.

3 廣義回歸神經(jīng)網(wǎng)絡(luò)

廣義回歸神經(jīng)網(wǎng)絡(luò)(GRNN)是一種徑向基神經(jīng)網(wǎng)絡(luò)，建立在非參數(shù)回歸的基礎(chǔ)上，以樣本數(shù)據(jù)為后驗(yàn)條件，進(jìn)行非參數(shù)估計(jì)，根據(jù)最大概率原則計(jì)算網(wǎng)絡(luò)的輸出，具有良好的非線性函數(shù)逼近性能，尤其適合解決曲線擬合問題.實(shí)驗(yàn)表明［10］，相比 RBF 網(wǎng)絡(luò)［11］和 BP［12］網(wǎng)絡(luò)，GRNN 在學(xué)習(xí)速度上較有更強(qiáng)的優(yōu)勢，網(wǎng)絡(luò)在積聚較多樣本量的優(yōu)化回歸面收斂.GRNN需要調(diào)節(jié)的唯一參數(shù)為平滑因子α(smoothing parameter)，平滑因子的確定依賴于所選樣本，很好的避免了人為對參數(shù)的影響.樣本數(shù)據(jù)相對較少時(shí)，預(yù)測效果也可達(dá)到要求，得到較好的預(yù)測精度［14］，這也是使用 GRNN進(jìn)行預(yù)測的重要原因.GRNN學(xué)習(xí)過程就是確定平滑因子α的過程，相比其他網(wǎng)絡(luò)類型構(gòu)建更為方便，在信號過程、結(jié)構(gòu)分析、控制決策系統(tǒng)等各個(gè)學(xué)科和工程領(lǐng)域得到了廣泛應(yīng)用.

GRNN的理論基礎(chǔ)

GRNN神經(jīng)網(wǎng)絡(luò)為四層結(jié)構(gòu)，各層由功能劃分分別為輸入層、模式層、求和層和輸出層，其中輸入為x=(x1，x2，…，xd)T，輸出為 y=(y1，y2，…，yL)T.學(xué)習(xí)樣本的向量維數(shù) m 為輸入層的神經(jīng)元數(shù)，神經(jīng)元為簡單的分布單元，將輸入變量直接傳遞到模式層.學(xué)習(xí)樣本的個(gè)數(shù)n為模式層神經(jīng)元數(shù)，樣本與神經(jīng)元一一對應(yīng).求和層將兩類神經(jīng)元求和.學(xué)習(xí)樣本的輸出向量維數(shù)L為輸出層的神經(jīng)元數(shù)，輸出層神經(jīng)元將求和層神經(jīng)元各個(gè)輸出相除，估計(jì)的輸出結(jié)果yj對應(yīng)第j個(gè)神經(jīng)元.模型如圖2.

圖2 廣義回歸神經(jīng)網(wǎng)絡(luò)模型Fig.2 GRNN model

若自變量x及其函數(shù)y均為隨機(jī)變量，其聯(lián)合概率密度函數(shù)記為f(x，y).x的實(shí)際觀測值記為X，y基于X的函數(shù)值記為Y，其數(shù)學(xué)期望 ^Y為:

使用GRNN進(jìn)行回歸分析的主要步驟為3步.

第1步.將學(xué)習(xí)樣本數(shù)據(jù)按照規(guī)則分為兩個(gè)部分，第一部分樣本數(shù)據(jù)用做擬合訓(xùn)練，使用擬合訓(xùn)練所得到的網(wǎng)絡(luò)預(yù)測第二部分樣本數(shù)據(jù)，結(jié)合預(yù)測的誤差對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整，當(dāng)預(yù)測精度趨于穩(wěn)定時(shí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)即可確定;

第2步.使用確定結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練全部樣本數(shù)據(jù)，獲得該學(xué)習(xí)樣本數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)預(yù)測模型;

第3步.使用得到的神經(jīng)網(wǎng)絡(luò)模型預(yù)測.

4 運(yùn)用GRNN進(jìn)行IRT參數(shù)估計(jì)

GRNN預(yù)測效果由唯一的參數(shù)平滑因子α決定.α的取值大于0，當(dāng)其趨于0時(shí)^Y(X)與學(xué)習(xí)樣本近似，而且對非樣本點(diǎn)預(yù)測的效果非常差，表明網(wǎng)絡(luò)泛化能力較差.α越大時(shí)回歸曲面越平滑，α非常大時(shí)，^Y(X)接近樣本整體的因變量平均值.即α越小時(shí)，網(wǎng)絡(luò)對于樣本數(shù)據(jù)的數(shù)值逼近性越強(qiáng);α越大時(shí)，網(wǎng)絡(luò)對于樣本數(shù)據(jù)的數(shù)值逼近過程就越平滑，但誤差也相應(yīng)增大，通常α取值在0.01～1之間時(shí)能夠得到理想的結(jié)果.由于訓(xùn)練數(shù)據(jù)通常較少，構(gòu)建GRNN時(shí)常采取交叉驗(yàn)證方法進(jìn)行GRNN神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，并結(jié)合循環(huán)找出最佳的平滑因子.

參數(shù)估計(jì)步驟

根據(jù)伯恩鮑姆的兩階段參數(shù)估計(jì)思想，使用GRNN網(wǎng)絡(luò)進(jìn)行參數(shù)估計(jì)的步驟如下:

第1步.對于一個(gè)實(shí)際的得分矩陣F進(jìn)行二值化處理得到項(xiàng)目反應(yīng)矩陣P;

第2步.使用數(shù)理統(tǒng)計(jì)法由矩陣P估計(jì)出一組初始被試者能力θ;

第3步.根據(jù)上述θ，使用蒙特卡洛模擬法［13］產(chǎn)生項(xiàng)目參數(shù)(a，b，c)已知的項(xiàng)目反應(yīng)矩陣 P'.項(xiàng)目參數(shù)(a，b，c)作為網(wǎng)絡(luò)輸出，樣本P'作為網(wǎng)絡(luò)輸入，學(xué)習(xí)得到item-GRNN網(wǎng)絡(luò)，用于估計(jì)項(xiàng)目參數(shù)(a，b，c);

第4步.根據(jù)上述項(xiàng)目參數(shù)(a，b，c)，使用蒙特卡洛模擬法產(chǎn)生被試者能力參數(shù)θ'已知的項(xiàng)目反應(yīng)矩陣P''.被試者參數(shù)θ'作為網(wǎng)絡(luò)輸出，由P''作為網(wǎng)絡(luò)輸入，學(xué)習(xí)得到θ-GRNN網(wǎng)絡(luò)，用于估計(jì)被試者能力參數(shù)θ;

第5步.重復(fù)進(jìn)行第3步、第4步，直到估計(jì)值趨于穩(wěn)定或循環(huán)次數(shù)達(dá)到限定終止.此時(shí)最終得到的兩個(gè)GRNN網(wǎng)絡(luò)可分別用于對被試者能力和項(xiàng)目參數(shù)的估計(jì).

實(shí)驗(yàn)表明，兩階段參數(shù)估計(jì)法在迭代次數(shù)較小時(shí)就能達(dá)到參數(shù)估計(jì)值在較小的范圍變化.

正在進(jìn)行的FAVOR Ⅲ(The FAVOR Ⅲ China Study)中國單中心臨床試驗(yàn)(NCT03656848)計(jì)劃入組評估3 000例冠心病患者，與冠狀動(dòng)脈造影指導(dǎo)下的經(jīng)皮冠狀動(dòng)脈介入標(biāo)準(zhǔn)治療方案進(jìn)行對照， 研究QFR指導(dǎo)下的經(jīng)皮冠狀動(dòng)脈介入治療方案能否獲得優(yōu)效的臨床結(jié)果和手術(shù)成本效益。

本文使用實(shí)際考試作答結(jié)果即得分矩陣作為實(shí)驗(yàn)樣本數(shù)即項(xiàng)目反應(yīng)矩陣，對上述參數(shù)估計(jì)方法進(jìn)行實(shí)驗(yàn).使用傳統(tǒng)的數(shù)理統(tǒng)計(jì)方法和GRNN參數(shù)估計(jì)法分別對得分矩陣進(jìn)行項(xiàng)目參數(shù)和能力參數(shù)的估計(jì)，得到每一被試者的能力值和每一項(xiàng)目的項(xiàng)目參數(shù)，并計(jì)算其估計(jì)值對應(yīng)的誤差(BIAS、RMSE).

5 實(shí)驗(yàn)與分析

本文使用于某初級中學(xué)采集到的真實(shí)測驗(yàn)數(shù)據(jù)(2000個(gè)被試者對50道選擇題的作答結(jié)果)作為原始數(shù)據(jù).對原始數(shù)據(jù)進(jìn)行二值化處理(答對為1，答錯(cuò)為0)，將處理后的數(shù)據(jù)作為樣本.從樣本數(shù)據(jù)中隨機(jī)抽取100個(gè)被試者作為小樣本數(shù)據(jù)，原樣本數(shù)據(jù)作為大樣本數(shù)據(jù)，分別使用數(shù)理統(tǒng)計(jì)法和GRNN神經(jīng)網(wǎng)絡(luò)法對大樣本和小樣本進(jìn)行參數(shù)估計(jì).

5.1 數(shù)理統(tǒng)計(jì)法估計(jì)參數(shù)

從二值化處理(答對為1，答錯(cuò)為0)后的項(xiàng)目反應(yīng)矩陣中隨機(jī)抽取N個(gè)被試者與M個(gè)項(xiàng)目組成的項(xiàng)目反應(yīng)矩陣P，使用數(shù)理統(tǒng)計(jì)方法的Langtest［15］工具1http://langtest.jp.(2015)對矩陣P進(jìn)行項(xiàng)目和被試者的參數(shù)進(jìn)行估計(jì).得出所有被試者的能力參數(shù)θ和所有項(xiàng)目的項(xiàng)目參數(shù)(a，b，c)，并計(jì)算參數(shù)對應(yīng)的誤差.

5.2 GRNN法估計(jì)參數(shù)

同樣從二值化處理后的項(xiàng)目反應(yīng)矩陣中隨機(jī)抽取N個(gè)被試者與M個(gè)項(xiàng)目組成的矩陣P作為GRNN參數(shù)估計(jì)的樣本.根據(jù)數(shù)理統(tǒng)計(jì)法估計(jì)出的被試者能力參數(shù)θ，使用蒙特卡洛模擬法，按照表1的項(xiàng)目參數(shù)分布和取值范圍生成項(xiàng)目反應(yīng)矩陣P'，通過折交叉驗(yàn)證法確定item-GRNN網(wǎng)絡(luò)的平滑因子.同樣按照表1中能力參數(shù)分布和取值范圍生成項(xiàng)目反應(yīng)矩陣，通過k折交叉驗(yàn)證法確定θ-GRNN網(wǎng)絡(luò)的平滑因子.根據(jù)3.1中的參數(shù)估計(jì)步驟進(jìn)行迭代，直至參數(shù)估計(jì)值穩(wěn)定.

表1 IRT參數(shù)分布及取值范圍Table 1 IRT parameter distribution＆value range

隨機(jī)抽取N'個(gè)被試者與M'個(gè)項(xiàng)目組成矩陣作為樣本輸入item-GRNN和θ-GRNN網(wǎng)絡(luò)估計(jì)出項(xiàng)目參數(shù)和能力參數(shù).

5.3 誤差統(tǒng)計(jì)指標(biāo)

本文使用的標(biāo)準(zhǔn)誤差(Standard Error，SE)［16］作為誤差統(tǒng)計(jì)指標(biāo).

其中誤差E=測試值-真實(shí)值.

5.4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中被試者人數(shù) N 分別取 2000、1000、500、200、100、50，項(xiàng)目個(gè)數(shù)M取50，分別對每組數(shù)據(jù)使用Langtest方法和GRNN方法進(jìn)行參數(shù)的估計(jì).

表2 平均標(biāo)準(zhǔn)誤對比Table 2 Comparison of average standard errors

5.5 分析與結(jié)論

對比表2中在大樣本N=2000、N=1000、N=500時(shí)，兩種方法估計(jì)得出的各個(gè)參數(shù)的平均標(biāo)準(zhǔn)誤相差不大，當(dāng)樣本數(shù)量N逐漸減小時(shí)Langtest法和GRNN法對應(yīng)的平均標(biāo)準(zhǔn)誤差均增大，當(dāng)樣本數(shù)量N=50時(shí)，Langtest方法對應(yīng)的平均標(biāo)準(zhǔn)誤遠(yuǎn)大于GRNN方法對應(yīng)的平均標(biāo)準(zhǔn)誤.

當(dāng)樣本量很小時(shí)(N＜100)，傳統(tǒng)的基于數(shù)理統(tǒng)計(jì)方法的IRT參數(shù)估計(jì)方法估計(jì)出的參數(shù)存在較大的誤差，而GRNN方法估計(jì)出的參數(shù)誤差較小.

表2列出了6組實(shí)驗(yàn)的結(jié)果，其中每組為兩行數(shù)據(jù)，分別為被試者樣本數(shù)量為N時(shí)，兩種參數(shù)估計(jì)方法中估計(jì)出的各個(gè)參數(shù)的標(biāo)準(zhǔn)誤差的平均值值由式(11)計(jì)算得出.

6 結(jié)束語

本文針對測驗(yàn)中參數(shù)估計(jì)的實(shí)際問題，提出一種基于神經(jīng)網(wǎng)絡(luò)的試題參數(shù)和被試者能力參數(shù)的估計(jì)方法，以二值記分的IRT三參數(shù)模型，以GRNN為神經(jīng)網(wǎng)絡(luò)模型，基于實(shí)際測驗(yàn)數(shù)據(jù)使用蒙特卡洛模擬方法進(jìn)行實(shí)驗(yàn)研究，將GRNN估計(jì)方法與數(shù)理統(tǒng)計(jì)估計(jì)方法進(jìn)行了比較.結(jié)果表明，該方法具有一定的優(yōu)點(diǎn)，相對于數(shù)理統(tǒng)計(jì)方法，GRNN法在小樣本情況下參數(shù)估計(jì)的誤差較小，可在較少被試者參加的測驗(yàn)中估計(jì)出較精確的參數(shù).