計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)研究綜述

胡悅　陳俊

摘 要 計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)（CAT）是教育測(cè)評(píng)發(fā)展的必然趨勢(shì)。采用內(nèi)容分析法，對(duì)1998—2016年4月公開(kāi)發(fā)表在國(guó)內(nèi)學(xué)術(shù)期刊的計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)相關(guān)論文以及碩博論文進(jìn)行量的統(tǒng)計(jì)和質(zhì)的分析，以期揭示1998—2016年4月，我國(guó)計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)的研究現(xiàn)狀、問(wèn)題及其主要成果，為相關(guān)學(xué)者的學(xué)習(xí)研究提供參考。

關(guān)鍵詞 計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)；文獻(xiàn)研究；碩博論文

中圖分類號(hào)：G652 文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：1671-489X（2017）04-0066-04

Abstract Computerized adaptive testing is the inevitable trend of education evaluation development. We used the content analysis me-

thod to analysis the statistical and qualitative characteristics of thesis

on computerized adaptive testing， which publish in the domestic aca-

demic journals and the master and the doctor ‘s thesis in 1998 to 2016

in order to reveal the research status， questions， and main achieve-ments of 1998 to 2016 domestic computerized adaptive testing， in

order to provide reference for the study and research related to aca-demics.

Key words computerized adaptive testing； literature research； master

and the doctors thesis

1 引言

隨著時(shí)代的進(jìn)步，許多大型測(cè)驗(yàn)（如GRE、TOEFL等）[1]

已經(jīng)采用計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)，江西師范大學(xué)自1987年至今也編制了一系列的CAT[2]，未來(lái)測(cè)驗(yàn)的主要形式也將成為具有自適應(yīng)性的測(cè)驗(yàn)。

計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)（CAT）這種依靠大型題庫(kù)靈活施測(cè)且因人施考的測(cè)驗(yàn)形式，正是符合當(dāng)今社會(huì)需求的一種測(cè)驗(yàn)，也是未來(lái)測(cè)驗(yàn)發(fā)展的必然趨勢(shì)。與傳統(tǒng)測(cè)驗(yàn)相比，它針對(duì)不同水平層次的考生提供不同的題目，可以更加客觀、準(zhǔn)確地測(cè)驗(yàn)出考生的真實(shí)能力和水平，可實(shí)現(xiàn)測(cè)驗(yàn)的有效性。同時(shí)，計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)不會(huì)受考試時(shí)間與空間的限制，測(cè)驗(yàn)更加靈活，可保證測(cè)驗(yàn)的公平性。計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)正隨著各種新的考試?yán)碚摰陌l(fā)展而蓬勃發(fā)展。

本文以“計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)”“計(jì)算機(jī)化自適應(yīng)測(cè)試”“計(jì)算機(jī)化自適應(yīng)考試”為關(guān)鍵詞，對(duì)中國(guó)知網(wǎng)資源庫(kù)1998—2016年4月內(nèi)文獻(xiàn)進(jìn)行整理、統(tǒng)計(jì)，分析得出我國(guó)計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)的研究綜述。

2 計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)簡(jiǎn)述

從單機(jī)考試系統(tǒng)到計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)，考試作為衡量教育效果和學(xué)生能力的重要手段，正經(jīng)歷網(wǎng)絡(luò)化、無(wú)紙化的變革[3]。計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)依靠大型題庫(kù)，采用現(xiàn)代測(cè)量理論，自行去適應(yīng)被試水平，靈活施測(cè)難度最恰當(dāng)且性能優(yōu)良的項(xiàng)目，從而實(shí)現(xiàn)對(duì)被試的高效測(cè)量[4]。2007年，Elissavet等提出計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)系統(tǒng)主要包括四部分：1）題庫(kù)；2）選題策略；3）能力估計(jì)方法；4）終止條件[5]。張華華認(rèn)為，在CAT中，怎樣從題庫(kù)中選擇題目是一個(gè)重要的問(wèn)題[6]。選題策略作為CAT的重要組成部分，它的好壞直接影響到測(cè)驗(yàn)效率和題庫(kù)的安全性以及測(cè)驗(yàn)的成本[7]。

3 研究對(duì)象與數(shù)據(jù)來(lái)源

研究對(duì)象 本研究的研究對(duì)象是1998—2016年4月公開(kāi)發(fā)表在國(guó)內(nèi)學(xué)術(shù)期刊上、在1998—2016年4月發(fā)表的碩博論文中關(guān)于計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)研究的學(xué)術(shù)性文章與論文。選取關(guān)鍵詞為“計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)”“計(jì)算機(jī)化自適應(yīng)測(cè)試”“計(jì)算機(jī)化自適應(yīng)考試”，在中國(guó)期刊全文數(shù)據(jù)庫(kù)以及碩博論文數(shù)據(jù)庫(kù)中進(jìn)行檢索，經(jīng)過(guò)檢索并分揀，考慮到本文旨在整理與分析計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)的研究成果，所以在統(tǒng)計(jì)時(shí)剔除非學(xué)術(shù)性文章，最終獲得期刊文獻(xiàn)64篇、碩博論文22篇。

研究方法 本文采用文獻(xiàn)研究法與內(nèi)容分析法，并利用Microsoft Excel從論文的作者、作者署名單位、來(lái)源期刊、研究領(lǐng)域、研究?jī)?nèi)容等方面對(duì)檢索到的86篇文獻(xiàn)進(jìn)行分類。由于碩博論文與期刊文章在內(nèi)容與形式上有所區(qū)別，本研究將對(duì)碩博論文與期刊文章分別從不同的角度進(jìn)行統(tǒng)計(jì)研究。

4 數(shù)據(jù)統(tǒng)計(jì)與分析

載文基本情況 1998—2016年4月國(guó)內(nèi)學(xué)術(shù)期刊共登載了64篇計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)論文，碩博論文數(shù)據(jù)庫(kù)中共有22篇計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)碩博論文，可見(jiàn)關(guān)于計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)研究的期刊文章明顯多于碩博論文。以作者陳平為例，發(fā)表計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)相關(guān)期刊文章4篇，碩博論文1篇。筆者認(rèn)為主要原因在于研究的產(chǎn)出比，每個(gè)碩博作者最終只能有一篇碩博論文，而期刊文章，一名作者可發(fā)表多篇，這在很大程度上決定了碩博論文相對(duì)于期刊文章是一種低產(chǎn)的狀態(tài)。碩博論文自2004年開(kāi)始才有人研究計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)，而自1998年已經(jīng)有學(xué)者開(kāi)始研究并發(fā)表在期刊上，這也可以說(shuō)明，對(duì)于計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)的研究，期刊文章對(duì)于碩博論文是具有一定的導(dǎo)向作用的。

1998—2016年4月國(guó)內(nèi)學(xué)術(shù)期刊登載的64篇計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)論文來(lái)自25種期刊，其中刊載文章數(shù)超過(guò)1篇的刊物有9種，按刊載文章數(shù)量對(duì)其由高到低排序如表1所示。其中有21篇公開(kāi)發(fā)表在CSSCI來(lái)源期刊，占文獻(xiàn)總數(shù)的32.81%。

由表1可以看出，《江西師范大學(xué)學(xué)報(bào)》《心理學(xué)報(bào)》《中國(guó)考試》《心理科學(xué)進(jìn)展》是1998—2016年4月我國(guó)計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)研究論文發(fā)表的主要期刊。其中有4種期刊是心理學(xué)相關(guān)期刊，共19篇文章；兩種關(guān)于考試的期刊。由此可知，心理學(xué)理論對(duì)計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)的研究支撐度為29.69%，心理學(xué)為計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)的研究起到重要的支撐作用。

研究者分析

1）合作研究分析。1998—2016年4月國(guó)內(nèi)學(xué)術(shù)期刊登載的64篇計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)論文中，獨(dú)立作者發(fā)表的文章12篇，兩人及以上作者發(fā)表的文章52篇，具體統(tǒng)計(jì)情況見(jiàn)表2。

如表2所示，在這64篇文章中，合作研究的論文占總文章數(shù)的81.25%，平均作者數(shù)為2.44人。由此可見(jiàn)，我國(guó)1998—2016年4月計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)研究以合作研究為主。與此同時(shí)，合作研究也為高質(zhì)量論文做出了貢獻(xiàn)。發(fā)表在CSSCI來(lái)源期刊的21篇文章中，以獨(dú)立作者名義發(fā)表的論文數(shù)為兩篇，所占比例為9.52%；合作發(fā)表的文章數(shù)為19

篇，所占比例為90.48%。

2）論文作者分析。對(duì)1998—2016年4月國(guó)內(nèi)學(xué)術(shù)期刊登載的64篇計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)論文的作者進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果見(jiàn)表3。其中丁樹(shù)良與甘登文所在單位為江西師范大學(xué)，辛濤和陳平所在單位為北京師范大學(xué)心理發(fā)展研究所，毛秀珍所在單位為四川師范大學(xué)。

對(duì)作者合作研究的情況作進(jìn)一步研究，參考科學(xué)知識(shí)圖譜可視化分析方法[8]，對(duì)發(fā)表文章數(shù)量在2篇及以上的作者進(jìn)行統(tǒng)計(jì)，結(jié)果見(jiàn)圖1（圖1中直線的粗細(xì)代表合作研究論文的數(shù)量，線條越粗代表合作文章數(shù)量越多，線條越細(xì)代表合作文章數(shù)量越少；獨(dú)立作者發(fā)表文章的數(shù)量利用圓圈表示，圓圈線條的粗細(xì)與直線線條粗細(xì)意義相同，且直線與圓圈線條均采用相同比例）。

由圖1可知，毛秀珍、辛濤、陳平、丁樹(shù)良、甘登文形成學(xué)術(shù)研究團(tuán)隊(duì)效應(yīng)，且丁樹(shù)良和甘登文合作最為密切。

3）文章作者單位排序。1998—2016年4月國(guó)內(nèi)學(xué)術(shù)期刊登載的64篇計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)論文中，有5家單位發(fā)表超過(guò)兩篇文章，見(jiàn)表4。

1998—2016年4月發(fā)表在中國(guó)知網(wǎng)的碩博論文共22篇，分別來(lái)自7所不同的學(xué)校，見(jiàn)表5。

由表1文章來(lái)源期刊排序表中也可以看到，發(fā)表在《江西師范大學(xué)學(xué)報(bào)》上的關(guān)于計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)文章最多，占總數(shù)的20.31%。由表3可知，發(fā)表論文最多的是江西師范大學(xué)的丁樹(shù)良，占總數(shù)的31.25%；甘登文工作單位也為江西師范大學(xué)，發(fā)文數(shù)占總數(shù)的6.25%，兩人共占37.5%。由表4可知，有42.18%的文章的作者單位為江西師范大學(xué)，那么由此可知，丁樹(shù)良與甘登文兩個(gè)人所發(fā)表的計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)文章占江西師范大學(xué)發(fā)表的相關(guān)文章的88.9%。由表5可知，72.73%的關(guān)于計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)的碩博論文出自江西師范大學(xué)。由此可見(jiàn)，江西師范大學(xué)是計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)研究的主要陣營(yíng)，且以丁樹(shù)良和甘登文為主要研究者。

研究熱點(diǎn)分析 本文采用內(nèi)容分析法對(duì)在中國(guó)知網(wǎng)上搜索到的64篇期刊以及22篇碩博論文進(jìn)行分析，由于是以“計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)”“計(jì)算機(jī)化自適應(yīng)測(cè)試”“計(jì)算機(jī)化自適應(yīng)考試”為關(guān)鍵詞檢索出來(lái)的文章，因此，文章均圍繞這3個(gè)關(guān)鍵詞，出現(xiàn)的頻次也最高。另外，“項(xiàng)目反應(yīng)理論”“選題策略”“認(rèn)知診斷”“能力估計(jì)”“最大信息量分層法”“等級(jí)反應(yīng)模型”“影子題庫(kù)”等詞也是主要的研究熱點(diǎn)。用于指導(dǎo)考試的測(cè)量理論有經(jīng)典測(cè)驗(yàn)理論和項(xiàng)目反應(yīng)理論[9]。其中關(guān)鍵詞為項(xiàng)目反應(yīng)理論的文章數(shù)最多，占總文章數(shù)的33.33%；關(guān)鍵詞“選題策略”占總文章數(shù)的29.07%，僅次于“項(xiàng)目反應(yīng)理論”，這也正是因?yàn)樵谧赃m應(yīng)測(cè)試過(guò)程中的關(guān)鍵步驟是如何選擇測(cè)試題目，即選題方法的設(shè)計(jì)[10]。其次為認(rèn)知診斷以及能力估計(jì)。

根據(jù)關(guān)鍵詞出現(xiàn)的頻率對(duì)研究熱點(diǎn)進(jìn)行統(tǒng)計(jì)，見(jiàn)圖2（圖2中為出現(xiàn)頻率在兩次及以上的關(guān)鍵詞。每個(gè)關(guān)鍵詞均用半徑不同的圓形表示。如“項(xiàng)目反應(yīng)理論”出現(xiàn)的頻次為28，則半徑記為2.8，利用公式S=πr2求取圓形的面積，繪制圖2；兩個(gè)關(guān)鍵詞出現(xiàn)在同一篇文章中，用直線連接）。

若想研究計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)，可從項(xiàng)目反應(yīng)理論、選題策略、認(rèn)知診斷等方面進(jìn)行研究。

研究領(lǐng)域分析 計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)成為無(wú)紙化考試與心理學(xué)測(cè)試關(guān)注的領(lǐng)域[10]。本研究從“理論探索”“選題策略”“系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)”“技術(shù)與方法”“問(wèn)題與展望”5個(gè)領(lǐng)域?qū)?4篇期刊文章以及22篇碩博論文進(jìn)行統(tǒng)計(jì)，論文研究細(xì)分領(lǐng)域統(tǒng)計(jì)見(jiàn)圖3。

由圖3可知，期刊文章中，研究選題策略的文章最多，占31.25%；碩博論文中，研究選題策略的文章也最多，占40.90%。其次是對(duì)計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)的技術(shù)與方法的研究，期刊和碩博論文分別占各自總數(shù)的23.44%和27.27%。期刊文章中有21.88%的是關(guān)于系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)研究的文章，22.73%的碩博論文是關(guān)于系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)研究的文章。無(wú)論是碩博論文還是期刊文章，關(guān)于選題策略的研究均最多。

5 結(jié)語(yǔ)

計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)彌補(bǔ)了傳統(tǒng)考試在實(shí)現(xiàn)測(cè)驗(yàn)有效性中的不足，大大提高了測(cè)驗(yàn)的效率，能夠更加準(zhǔn)確地測(cè)出被試的真實(shí)能力與水平。且計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)擺脫了傳統(tǒng)考試在時(shí)間與空間上所受的限制，可更好地確保測(cè)驗(yàn)的公平性。綜觀計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)文獻(xiàn)綜述情況：

1）計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)研究形成以毛秀珍、辛濤、陳平、丁樹(shù)良、甘登文為主的學(xué)術(shù)研究團(tuán)隊(duì)效應(yīng)，且江西師范大學(xué)為主要研究學(xué)校；

2）計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)的主要研究熱點(diǎn)為項(xiàng)目反應(yīng)理論、選題策略、認(rèn)知診斷、能力估計(jì)等，若想對(duì)計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)做深入研究，可從以上幾方面進(jìn)行；

3）計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)研究中，有29.69%的文獻(xiàn)是關(guān)于心理學(xué)的研究，這也正說(shuō)明計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)這種測(cè)驗(yàn)形式已經(jīng)將心理測(cè)量與計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)結(jié)合，且取得豐碩成果，若想對(duì)其他測(cè)驗(yàn)進(jìn)行研究，可以心理測(cè)量為鑒來(lái)進(jìn)行；

4）近幾年關(guān)于計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)的研究熱度有所下降，研究總量有所減少，但研究深度沒(méi)有減弱，仍有不少教育專家學(xué)者為優(yōu)化未來(lái)測(cè)驗(yàn)形式與環(huán)境投身到計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)中。

相信計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)在未來(lái)幾年必將迅速發(fā)展和完善，為未來(lái)測(cè)驗(yàn)提供更多選擇。計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)也必將推動(dòng)教育信息化的進(jìn)程。

參考文獻(xiàn)

[1]陳平，丁樹(shù)良，林海菁，等.等級(jí)反應(yīng)模型下計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)選題策略[J].心理學(xué)報(bào)，2006，38（3）：461-467.

[2]劉珍，丁樹(shù)良，林海菁.基于GPCM的計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)選題策略比較[J].心理學(xué)報(bào)，2008，40（5）：618-625.

[3]申田靜，陳俊.國(guó)內(nèi)在線考試系統(tǒng)研究綜述[J].中國(guó)教育技術(shù)裝備，2015（14）：19-22.

[4]王茶生.教育測(cè)量理論在網(wǎng)絡(luò)考試系統(tǒng)中的應(yīng)用[D].上海：華東師范大學(xué)軟件學(xué)院，2007.

[5]Georgiadou E， Triantafillou E. A Review of Item Exposure Control Strategies for Computerized Adaptive Testing Developed from 1983 to 2005[J].The Journal of Technology， Leaning， and Assessment，2007，5（8）：39.

[6]張華華，程瑩.計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)（CAT）的發(fā)展和前景展望[J].考試研究，2005（1）：12-24.

[7]汪文義，丁樹(shù)良.2PLM下CAT選題策略比較[J].考試研究，2009（3）：60-70.

[8]邱均平，呂紅.近五年國(guó)際圖書情報(bào)學(xué)研究熱點(diǎn)、前沿及其知識(shí)基礎(chǔ)：基于17種外文期刊知識(shí)圖譜的可視化分析[J].圖書情報(bào)知識(shí)，2013（3）：4-15，58.

[9]朱小明，李向榮，林捷，等.計(jì)算機(jī)信息技術(shù)課無(wú)紙化考試的研究[J].中國(guó)教育技術(shù)裝備，2007（1）：11-14.

[10]李昕，荊永君，劉天華.自適應(yīng)測(cè)試與輔導(dǎo)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代教育技術(shù)，2013（4）：106-109.