項(xiàng)目反應(yīng)理論在題庫(kù)系統(tǒng)建設(shè)中的應(yīng)用

馮 熠

(南京師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院，江蘇 南京 210097)

項(xiàng)目反應(yīng)理論在題庫(kù)系統(tǒng)建設(shè)中的應(yīng)用

馮 熠

(南京師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院，江蘇 南京 210097)

加強(qiáng)標(biāo)準(zhǔn)化題庫(kù)建設(shè)是檢測(cè)教學(xué)效果的必然要求，也是大學(xué)物理課程建設(shè)和教學(xué)改革的需要。運(yùn)用項(xiàng)目反應(yīng)理論開(kāi)發(fā)題庫(kù)，可以彌補(bǔ)基于經(jīng)典測(cè)試?yán)碚摰念}庫(kù)的不足，提高測(cè)量精度，縮短測(cè)驗(yàn)長(zhǎng)度，使試題系數(shù)更加規(guī)范，保證試題的科學(xué)性和有效性。

項(xiàng)目反應(yīng)理論；物理課程；試題庫(kù)；標(biāo)準(zhǔn)化

隨著信息技術(shù)的快速發(fā)展和廣泛應(yīng)用，計(jì)算機(jī)、互聯(lián)網(wǎng)因其強(qiáng)大的功能已進(jìn)入人類(lèi)社會(huì)生活的方方面面，在文字處理、信息管理、輔助設(shè)計(jì)、圖像處理、教育培訓(xùn)以及游戲娛樂(lè)等領(lǐng)域，具有不可替代的作用。在教育體系中，以試卷的形式考試是考查學(xué)生學(xué)習(xí)情況的一種常用辦法，試題庫(kù)系統(tǒng)也是計(jì)算機(jī)輔助教學(xué)的一種有效方式。在尚未利用計(jì)算機(jī)技術(shù)開(kāi)發(fā)題庫(kù)之前，教師們每年必須花費(fèi)大量的時(shí)間和精力預(yù)先設(shè)計(jì)試卷的所有題型、難易程度等。然后，學(xué)校要組織大批人力對(duì)試題抽樣研究，之后再排版、印刷，考試結(jié)束后還要對(duì)成績(jī)進(jìn)行分析、評(píng)價(jià)。每位教師所出試題的難度不同，而且每年的試卷難度也不同，造成考試的標(biāo)準(zhǔn)波動(dòng)。伴隨著大學(xué)物理課程建設(shè)和教學(xué)改革力度的加大，教育教學(xué)方式逐步多樣化，學(xué)生自主學(xué)習(xí)的積極性和能力不斷提高，傳統(tǒng)的出卷方式已經(jīng)不能滿(mǎn)足大學(xué)物理教育教學(xué)的需要。為了體現(xiàn)因材施教，為了促進(jìn)教考分離、講學(xué)分離從而提高教學(xué)質(zhì)量，為了更及時(shí)、客觀(guān)、公平、高效地評(píng)估、檢測(cè)教學(xué)效果，迫切需要科學(xué)的考試分析系統(tǒng)和標(biāo)準(zhǔn)化題庫(kù)。

一、項(xiàng)目反應(yīng)理論概述

項(xiàng)目反應(yīng)理論(Item Response Theory，簡(jiǎn)稱(chēng)IRT)是一系列心理測(cè)量與統(tǒng)計(jì)學(xué)模型的總稱(chēng)，用來(lái)分析考試成績(jī)或問(wèn)卷調(diào)查數(shù)據(jù)，在20世紀(jì)六七十年代開(kāi)始受到教育測(cè)量理論界和實(shí)踐界的關(guān)注。這一理論認(rèn)為被測(cè)試者的潛在心理特質(zhì)可以通過(guò)測(cè)試題反映出來(lái)，它彌補(bǔ)了經(jīng)典測(cè)量理論(Classical Test Theory，簡(jiǎn)稱(chēng)CTT)的不足，通過(guò)優(yōu)化難度、區(qū)分度、一致性等指標(biāo)分析和一系列參數(shù)估計(jì)方法，能夠高效、客觀(guān)、公正地評(píng)價(jià)被測(cè)試者的學(xué)習(xí)能力和學(xué)習(xí)效果。

經(jīng)典測(cè)量理論的各種測(cè)驗(yàn)參數(shù)需從考生樣本中求出，其理論基礎(chǔ)是真分?jǐn)?shù)模型。在信度和測(cè)量誤差的估計(jì)方面，經(jīng)典測(cè)量理論的信度針對(duì)所有被試者，只代表所有被試的平均測(cè)量精度，不能反映不同能力被測(cè)試者的測(cè)量精度。而項(xiàng)目反應(yīng)理論則用測(cè)驗(yàn)信息函數(shù)來(lái)表示測(cè)量的精度。項(xiàng)目反應(yīng)理論主要根據(jù)被測(cè)試者回答問(wèn)題的情況來(lái)推斷其能力，被測(cè)試者的能力和項(xiàng)目參數(shù)與樣本無(wú)關(guān)。在參數(shù)選擇方面，項(xiàng)目反應(yīng)理論所采用的項(xiàng)目參數(shù)不受樣本數(shù)量的影響，這些參數(shù)的獲得不會(huì)因被試樣本的變化而改變，同時(shí)對(duì)被試能力的估計(jì)也不會(huì)因?yàn)樵囶}的不同而不同。

二、題庫(kù)建設(shè)目標(biāo)

題庫(kù)不是試題的簡(jiǎn)單組合或大集合，而是有關(guān)人員遵循一定的教育測(cè)量理論，將不同學(xué)科知識(shí)經(jīng)過(guò)科學(xué)的數(shù)學(xué)模型設(shè)計(jì)、測(cè)算而成的數(shù)據(jù)庫(kù)。完善的題庫(kù)系統(tǒng)應(yīng)該具有數(shù)據(jù)錄入、試題使用、查詢(xún)、維護(hù)與更新、分析等功能，是集信息化、智能化、電子化于一體的應(yīng)用系統(tǒng)，便于師生利用。

在設(shè)計(jì)大學(xué)物理題庫(kù)之前要充分考慮以下內(nèi)容：一是題庫(kù)的使用者。各年級(jí)的學(xué)生知識(shí)面不同、學(xué)習(xí)要求不同、計(jì)算機(jī)水平不同，對(duì)題庫(kù)的需求自然不同。二是開(kāi)發(fā)題庫(kù)的目的。由于存在不同學(xué)習(xí)能力的學(xué)生、不同學(xué)習(xí)內(nèi)容、不同教師運(yùn)用不同的教學(xué)方法等多種差異，開(kāi)發(fā)題庫(kù)的目的應(yīng)該不同。開(kāi)發(fā)題庫(kù)是為了檢查學(xué)生的學(xué)習(xí)進(jìn)度，是為了測(cè)量入學(xué)水平，還是為了診斷學(xué)習(xí)過(guò)程中的問(wèn)題，或是為了選拔人才？目的不同，那么使用的檢測(cè)手段和內(nèi)容設(shè)計(jì)等自然不同。三是題庫(kù)的性質(zhì)。所要設(shè)計(jì)的題庫(kù)是用于常模參考性考試、目標(biāo)參考性的考試還是普通的習(xí)題？是用于課后測(cè)試還是大規(guī)模的考試？如果要設(shè)計(jì)為習(xí)題，那么是用于單元測(cè)試、階段測(cè)試，還是綜合練習(xí)、基礎(chǔ)知識(shí)訓(xùn)練？四是題型設(shè)計(jì)。采用不同題型測(cè)試的效果不同，一般來(lái)說(shuō)，主觀(guān)題便于測(cè)試學(xué)生的創(chuàng)造力、綜合運(yùn)用能力，而客觀(guān)題便于計(jì)算機(jī)批改；單選題、多選題、填空題、問(wèn)答題、操作題等對(duì)學(xué)生的知識(shí)和技能的考查效果不同。在設(shè)計(jì)題庫(kù)之前，需要考慮不同題型的比例。五是題量設(shè)計(jì)。一般來(lái)說(shuō)，題庫(kù)中的題量越大越好，而限于人力、物力等客觀(guān)條件的制約，不可能做到越多越好。題庫(kù)中的題目應(yīng)該不斷擴(kuò)充、更新，或是補(bǔ)充新的試題，或是改編原有題目。

在明確題庫(kù)建設(shè)目標(biāo)之后，先要確定題庫(kù)類(lèi)型，制訂設(shè)計(jì)原則，然后進(jìn)行題型設(shè)計(jì)，組織教師命題，再經(jīng)過(guò)多次拼題組卷，最后經(jīng)過(guò)審核建成題庫(kù)。在這個(gè)過(guò)程中，需要運(yùn)用相關(guān)測(cè)量理論和測(cè)量工具，對(duì)題庫(kù)進(jìn)行客觀(guān)的分析，對(duì)試題進(jìn)行等值處理，才能保證題庫(kù)的科學(xué)性、公平性。

三、評(píng)價(jià)題庫(kù)質(zhì)量的維度

試卷是考試組織者根據(jù)一定的考試目標(biāo)而設(shè)計(jì)開(kāi)發(fā)的若干試題的有機(jī)組合。試題的設(shè)計(jì)質(zhì)量關(guān)系到整個(gè)題庫(kù)的質(zhì)量，關(guān)系到考核的準(zhǔn)確性和有效性。試題要有科學(xué)性、綱領(lǐng)性、有效性、嚴(yán)謹(jǐn)性、公平性和針對(duì)性。從微觀(guān)角度來(lái)看，可以通過(guò)對(duì)每道試題分析來(lái)評(píng)價(jià)試卷的質(zhì)量，也就是考查試題的難度、區(qū)分度以及所涵蓋的知識(shí)面等；從宏觀(guān)角度來(lái)看，可以通過(guò)效度、信度等指標(biāo)來(lái)評(píng)價(jià)試題的規(guī)范性、題型結(jié)構(gòu)組合等是否合理。

效度一般是指根據(jù)考試成績(jī)所做出決策或推測(cè)的有效程度，考查試題的內(nèi)容及方式等是否符合測(cè)試的目的。理論界一般從三個(gè)方面分析試題的效度，即內(nèi)容效度、結(jié)構(gòu)效度和效標(biāo)關(guān)聯(lián)效度。效度以證據(jù)為基礎(chǔ)，效度檢驗(yàn)的過(guò)程就是積累和收集各種證據(jù)的過(guò)程。效度的證據(jù)主要包括考試內(nèi)容、考生的應(yīng)答過(guò)程、考試的內(nèi)部結(jié)構(gòu)以及考試結(jié)果與其他變量之間關(guān)系的證據(jù)。常模參照性考試和標(biāo)準(zhǔn)參照性考試都要求高效度。不同的是，標(biāo)準(zhǔn)參照性考試一般都規(guī)定了具體的學(xué)習(xí)標(biāo)準(zhǔn)，特別強(qiáng)調(diào)內(nèi)容效度，要求題庫(kù)內(nèi)容的覆蓋面廣，便于考查考生對(duì)知識(shí)和技能的掌握程度；而常模參照性考試對(duì)考試內(nèi)容的覆蓋面要求不嚴(yán)。

信度是指考試的測(cè)量誤差，即多次測(cè)量結(jié)果的一致性。也就是說(shuō)，在使用同一試卷對(duì)考生重復(fù)測(cè)驗(yàn)時(shí)，或用兩種平行試卷對(duì)考生測(cè)驗(yàn)時(shí)，所得分?jǐn)?shù)的一致性和穩(wěn)定性程度。項(xiàng)目反應(yīng)理論對(duì)信度的分析主要是針對(duì)考生能力參數(shù)的估計(jì)值H計(jì)算考試的信息量，然后得出能力估計(jì)值的標(biāo)準(zhǔn)誤差。通常說(shuō)來(lái)，信度和效度關(guān)系密切。只有信度較高的測(cè)試才可能有較高的效度，但效度較高并不能保證信度也一定較高。信度主要涉及試題本身的可靠性和評(píng)分的可靠性，而試題本身是否可靠主要取決于試題的范圍、數(shù)量、區(qū)分度等因素；評(píng)分是否可靠則與評(píng)分標(biāo)準(zhǔn)是否客觀(guān)有關(guān)。

四、參數(shù)設(shè)計(jì)

根據(jù)項(xiàng)目反應(yīng)理論，試題的難度與考生人數(shù)及答對(duì)題的數(shù)目有關(guān)。在項(xiàng)目反應(yīng)理論中，難度被定義為試題本身固有的特性，不隨考生樣本的變化而變化。通過(guò)項(xiàng)目分析，對(duì)參數(shù)進(jìn)行設(shè)計(jì)和修訂，可以對(duì)試題進(jìn)行等值處理，剔除不合格的試題，再對(duì)合格試題的難度、區(qū)分度等進(jìn)行優(yōu)化調(diào)整，最大限度地保證題庫(kù)的科學(xué)性。

參數(shù)設(shè)計(jì)有以下內(nèi)容：一是難度參數(shù)。難度，就是指學(xué)生答題時(shí)所感受的困難程度。經(jīng)典測(cè)量理論用答對(duì)率來(lái)描述試題難度，通過(guò)率高，則試題容易；反之，則難。而項(xiàng)目反應(yīng)理論是以項(xiàng)目特征曲線(xiàn)的拐點(diǎn)處被試能力值作為試題的難度值。二是區(qū)分度參數(shù)。區(qū)分度是指試題對(duì)不同知識(shí)、能力水平的測(cè)試者的鑒別程度。根據(jù)項(xiàng)目特性曲線(xiàn)，曲線(xiàn)越陡峭，區(qū)分度越高，當(dāng)被試能力稍為偏離試題難度值時(shí)，被試正確做答試題的概率取值迅速增大或變小。三是被試能力參數(shù)。經(jīng)典測(cè)量理論將被測(cè)試者的總得分作為能力的衡量指標(biāo)，沒(méi)有專(zhuān)門(mén)的能力參數(shù)。在項(xiàng)目反應(yīng)理論中，針對(duì)考生對(duì)試題的應(yīng)答情況，利用項(xiàng)目反應(yīng)模型來(lái)估計(jì)被試的能力參數(shù)值，參數(shù)值不隨試題的變化而變化。一般來(lái)說(shuō)，被試的總得分與被試能力參數(shù)總體趨勢(shì)是一致的，但也不完全相同。

綜上所述，隨著高等教育教學(xué)改革的深化，在大學(xué)物理教學(xué)過(guò)程中，加大題庫(kù)建設(shè)力度，便于實(shí)施分層教學(xué)，滿(mǎn)足學(xué)生的不同學(xué)習(xí)需求，從而在整體上提高教學(xué)質(zhì)量，讓學(xué)生得到應(yīng)有的發(fā)展。題庫(kù)中存儲(chǔ)的每一道試題都是經(jīng)過(guò)項(xiàng)目反應(yīng)理論模型篩選和參數(shù)修正過(guò)的，可以和其他的題目自由組合而成難度、信度、效度、區(qū)分度各不相同的試卷。題庫(kù)中試題的數(shù)量應(yīng)當(dāng)不斷擴(kuò)充，才能夠保障題庫(kù)的分?jǐn)?shù)具有可比性、內(nèi)容具有廣泛性。物理題庫(kù)建設(shè)是一項(xiàng)復(fù)雜的、動(dòng)態(tài)的、長(zhǎng)期的系統(tǒng)工程，需要從事物理教學(xué)和研究的教研人員以及計(jì)算機(jī)、心理測(cè)量、統(tǒng)計(jì)學(xué)等領(lǐng)域的專(zhuān)業(yè)人員共同努力。

[1]Christine E DeMars. Application of the Bi-Factor Mult-idimensional Item Response Theory Model to Testlet BasedTests[J].Journal of Educational Measurement，2006，(2)：145-168.

[2]雷新勇.大規(guī)模教育考試：命題與評(píng)價(jià)[M].上海：華東師范大學(xué)出版社，2006:101-115.

[3]于嘉元.項(xiàng)目反應(yīng)理論及其應(yīng)用[M].南京：江蘇教育出版社，1992：15-20.

[4]戴海琦.基于項(xiàng)目反應(yīng)理論的測(cè)驗(yàn)編制方法研究[J].考試研究，2006，(2)：31-44.

[5]孔燕，張凡.基于項(xiàng)目反應(yīng)理論的中國(guó)公民科學(xué)素質(zhì)測(cè)評(píng)方法研究[J].科技管理研究，2009，(4)：280-283.

[6]鄭國(guó)成.基于IRT動(dòng)態(tài)題庫(kù)系統(tǒng)分析和設(shè)計(jì)[J].中國(guó)科技信息，2006，(3)：203.

[7]約瑟夫·M·瑞安.基于經(jīng)典測(cè)量理論和項(xiàng)目反應(yīng)理論的等值與連接——項(xiàng)目反應(yīng)理論等值程序[J].考試研究，2011，(3)：80-94.

[8]李映紅.項(xiàng)目反應(yīng)理論在構(gòu)建標(biāo)準(zhǔn)化考試題庫(kù)系統(tǒng)中的應(yīng)用[J].邵陽(yáng)學(xué)院學(xué)報(bào)：社會(huì)科學(xué)版，2012，(5)：91-93.

[9]何立新.基于項(xiàng)目反應(yīng)理論的大學(xué)英語(yǔ)分級(jí)測(cè)試題庫(kù)建設(shè)[J].沈陽(yáng)師范大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版，2013，(5)：78-80.

[10]王曉華，文劍冰.項(xiàng)目反應(yīng)理論在命題質(zhì)量評(píng)價(jià)中的應(yīng)用[J].教育科學(xué)，2010，(3):20-26.

[11]莊維平.論標(biāo)準(zhǔn)化考試的題庫(kù)建設(shè)[J].中國(guó)電大教育，1998，(10)：29.

[責(zé)任編輯：王東霞]

TheApplicationofItemResponsesTheoryinBuildingSystemofTestQuestions

FENG Yi

(SchoolofPhysicsandTechnology,NanjingNormalUniversity,Nanjing210097,Jiangsu,China)

Strengthening the construction of normalized questions bank is an inevitable requirement of examining the effects of teaching, and it is also the necessary for curriculum construction of college physics and teaching reform. The application of item responses theory in building system of test questions can make up for the lack of CTT-based question bank, improve measurement precision, shorten the length of test, make the coefficient of test questions more standardized and ensure the test scientific and effective.

item responses theory; physics curriculum; question bank; standardized

2013-12-17

馮熠(1985—)，男，南京師范大學(xué)物理科學(xué)與技術(shù)學(xué)院在讀碩士研究生，南京財(cái)經(jīng)大學(xué)營(yíng)銷(xiāo)與物流管理學(xué)院教師。

G40-03

：A

：1672-2604(2014)02-0049-03