題庫建設(shè)及其自動(dòng)組卷質(zhì)量的定量分析

摘要：為檢測(cè)題庫自動(dòng)組卷產(chǎn)生的試卷質(zhì)量及題庫中試題的質(zhì)量，利用SPSS軟件從信度、難度、區(qū)分度及效度4個(gè)方面對(duì)10套組卷的質(zhì)量進(jìn)行定量分析，根據(jù)所得結(jié)果，為題庫的下一步建設(shè)提供有力依據(jù)。

關(guān)鍵詞：題庫；自動(dòng)組卷；SPSS；信度；效度；區(qū)分度；難度

0.引言

考試改革是精品課程建設(shè)的重要組成部分，而題庫建設(shè)是近年來精品課程建設(shè)中比較重要的一種考試改革措施。題庫的建設(shè)有助于考試朝著標(biāo)準(zhǔn)化方向邁進(jìn)，而且有效實(shí)現(xiàn)授課、出題、考試、批卷4個(gè)環(huán)節(jié)的自動(dòng)分離，有利于學(xué)生全面而重點(diǎn)地掌握學(xué)習(xí)內(nèi)容，同時(shí)有利于檢驗(yàn)教師的教學(xué)質(zhì)量。因此，題庫中試題的質(zhì)量以及基于題庫進(jìn)行自動(dòng)組卷所產(chǎn)生的試卷質(zhì)量成為題庫建設(shè)中需要重點(diǎn)關(guān)注的方面。不少同行在對(duì)題庫質(zhì)量的定量分析方面做了大量研究與探索，對(duì)題庫建設(shè)乃至精品課程的建設(shè)在質(zhì)量方面起到了把關(guān)和監(jiān)督的效果。

1.題庫建設(shè)

以精品課程C語言程序設(shè)計(jì)的題庫為例，該題庫可以按章節(jié)人工錄入題型、試題內(nèi)容及其分值、試題答案等，以便為系統(tǒng)的自動(dòng)組卷功能提供必要的試題信息。題量是按照考試大綱給出的各章節(jié)的知識(shí)點(diǎn)要求和不同的掌握程度要求而設(shè)定的，收集或編寫的題目數(shù)量初步定在“1個(gè)知識(shí)點(diǎn)×掌握程度個(gè)數(shù)×5道左右”。題目來源可以是教師在多年授課過程中積累下來的、比較典型的、有針對(duì)性的優(yōu)秀試題，也可以是近幾年全國二級(jí)c語言考試試題，也可以是國內(nèi)外優(yōu)秀的C語言書籍上遴選的能夠鞏固知識(shí)點(diǎn)的題目等。該題庫現(xiàn)已建設(shè)完畢，那么試題質(zhì)量如何，基于該題庫自動(dòng)組卷產(chǎn)生的試卷質(zhì)量又如何？我們?cè)趯⑵渫度雽W(xué)生考試之前對(duì)試題質(zhì)量和試卷質(zhì)量做了定量分析，從而對(duì)題庫的總體質(zhì)量進(jìn)行了把關(guān)。

題庫共880道題目，自動(dòng)組卷10套，每套50道題目，共500道題，考慮重復(fù)抽題，大約涵蓋了50%的題量?，F(xiàn)從整體和局部兩個(gè)方面來分析題庫的試題及試卷質(zhì)量：整體方面，主要針對(duì)10套試卷的答題分?jǐn)?shù)分析系統(tǒng)的組卷質(zhì)量，利用SPSS軟件的統(tǒng)計(jì)功能對(duì)10套試卷分別從試卷信度、難度、區(qū)BtiIxybFk4BNPBtv8AsEk65kBnwHvg0x939xVzzCiPs=分度及效度4個(gè)方面定量分析試卷的整體質(zhì)量；局部方面是對(duì)錄入題庫的6大題型：選擇題、填空題、程序填空題、編程題、程序閱讀題、算法設(shè)計(jì)題分別從以上方面定量分析每種題型的試題質(zhì)量。

2.題庫組卷質(zhì)量的定量分析

2.1操作方法

首先是生成試卷。使用題庫自動(dòng)組卷系統(tǒng)輸入抽題條件，包括覆蓋的章節(jié)、題型、每種題型的題量和分值，然后使用抽題功能產(chǎn)生10套總分默認(rèn)為100分的試卷及參考答案。根據(jù)抽題算法，對(duì)產(chǎn)生的每套試卷給出相應(yīng)的難度：易、一般、難3種之一。

然后是答題。10套試卷，每套由3位多次教授過C語言課程的教師作答，并記下答題所用時(shí)間、每種題型的所得分?jǐn)?shù)及試卷總分。一共得到30份試卷的上述數(shù)據(jù)。

最后是對(duì)所得數(shù)據(jù)的整理、統(tǒng)計(jì)、分析。使用SPSS統(tǒng)計(jì)軟件錄入、統(tǒng)計(jì)、處理得到答題數(shù)據(jù)，從而對(duì)10套試卷的總體質(zhì)量給出～個(gè)比較客觀的基于定量分析的結(jié)論，并比對(duì)組卷系統(tǒng)給出的每套試卷的難易程度，在出入較大的情況下修改組卷算法，提高試卷難度的預(yù)測(cè)水平。

2.2結(jié)果分析

針對(duì)10套試卷中的每套試卷分別由3位教師作答得到的答題數(shù)據(jù)，包括每種題型3位教師所得的分值及總分，分別采用SPSS軟件按圖1所示組織方式生成10個(gè)數(shù)據(jù)文件并保存。

在這10個(gè)數(shù)據(jù)文件的基礎(chǔ)上利用SPSS軟件提供的相關(guān)性分析功能，分別從信度、難度、區(qū)分度和效度4個(gè)方面對(duì)10套試卷進(jìn)行定量分析，結(jié)果如下所述。

（1）信度：指對(duì)同一事物的重復(fù)測(cè)量結(jié)果的一致性程度。試卷信度就是指試卷結(jié)果的可靠程度，用信度系數(shù)a（即克龍巴赫a系數(shù)）表示，一般認(rèn)為試卷信度在0.5～0.9以內(nèi)是合理的。如果是編制預(yù)測(cè)問卷，信度系數(shù)在0.5～0.6足夠。針對(duì)每套試卷的答題分?jǐn)?shù)情況，分別利用SPSS中的“分析”→“度量”→“可靠性分析”功能，得到每套試卷的a值，見表1。同時(shí)得到每套試卷的F值，見表2。F統(tǒng)計(jì)量取值越大，考試所反映的學(xué)生或教師真實(shí)水平的差異就越可信，試卷的可靠性也就越好，而且如果對(duì)應(yīng)的顯著性水平Sig值遠(yuǎn)小于0.01，則F統(tǒng)計(jì)量的取值是顯著的大，由此可推斷出試卷的可信度不錯(cuò)。

從表1的數(shù)據(jù)可以看出，題庫自動(dòng)抽題產(chǎn)生的10套試卷中有70%的試卷信度比較好；表2的數(shù)據(jù)可以看出10套預(yù)測(cè)試卷的可靠性也比較好，反映出與表1數(shù)據(jù)得出的結(jié)論比較一致。為了檢測(cè)題庫的總體信度，將10個(gè)數(shù)據(jù)文件匯總在一起，按照上述方法得出a值為0.700，F(xiàn)值為422.862，Sig值為0.000。說明該題庫自動(dòng)組卷的可信度是比較好的。

（2）難度：指試卷的難易程度。該指標(biāo)可以反映出試卷的復(fù)雜程度。難度H的計(jì)算公式為：H=考生平均得分/試卷滿分。H越大，試題就越容易，反之，試題越難。在難度分析中，H值在0.9-1.0之間的試卷，無意義，一般應(yīng)淘汰；H值小于0.4的試卷，難度比較大，學(xué)生失分嚴(yán)重，需要分析原因。一般H值在0.7～0.8之間較好，有利于測(cè)量學(xué)生的真實(shí)水平。表3為10套預(yù)測(cè)試卷的難度結(jié)果及自動(dòng)組卷系統(tǒng)給出的難度系數(shù)。

從表3中的H值可以看出，10套試卷的難度都在0.8以上，難度偏小。但是考慮到學(xué)生與教授C語言課程的教師之間在課程水平上的差別，這個(gè)結(jié)果應(yīng)該是合理的。對(duì)于學(xué)生來說，H值可能還要再減小一些。對(duì)10套試卷的答題數(shù)據(jù)匯總后，按照上述方法計(jì)算出平均H值為0.8975，在此基礎(chǔ)上減小一些H值，也就意味著對(duì)學(xué)生來說，試卷的難度再增加一些，但不會(huì)低于0.7，因此，該結(jié)果在合理范圍之內(nèi)是比較滿意的。只是H值與組卷系統(tǒng)給出的難度標(biāo)示有不相符的情況，需要考慮改進(jìn)組卷中對(duì)難度計(jì)算的算法部分。

對(duì)于各種題型來說，難度是指各題型試題的難易程度。該指標(biāo)可以反映出某題型的復(fù)雜程度，難度H的計(jì)算公式可以表述為：H=考生某題型的平均得分/該題型滿分。根據(jù)該公式得出各題型的難度值見表4。從表4中看出，各種題型的難度都在0.8以上，偏簡單，與試卷難度分析的總體結(jié)果比較一致，可以接受。只有算法設(shè)計(jì)題的難度值為1，說明沒有難度，原因在前面已經(jīng)分析過，可考慮去掉該題型或增加相應(yīng)試題的數(shù)量。

（3）區(qū)分度：又稱為鑒別度，是指試題或試卷對(duì)學(xué)生實(shí)際水平的區(qū)分程度或鑒別能力。區(qū)分度高的試題或試卷能對(duì)不同知識(shí)水平和能力的學(xué)生加以區(qū)分，使能力高的學(xué)生得高分，能力低的學(xué)生得低分，即區(qū)分度的高低能讓試卷將不同水平的學(xué)生區(qū)分開來。

目前區(qū)分度的計(jì)算方法主要采用“兩端分組法”，即把學(xué)生第i題考分由高到低排序，取前27%的學(xué)生作為高分組，取后27%的學(xué)生作為低分組，分別計(jì)算第i題高分組學(xué)生的平均成績XH和低分組學(xué)生的平均成績X1。設(shè)第i題滿分為XR，第i題區(qū)分度為Di，則有：

D=（1/X）（X-X）

一般情況下，D值越大，意味著此題對(duì)高、低組考生的區(qū)分能力越強(qiáng)。如果D≥0.4，則此題的區(qū)分度為“優(yōu)”；如果0.3≤D≤0.39，區(qū)分度為“良”，如果0.2≤D≤0.29，區(qū)分度為“中”；如果D≤0.19，則此題目應(yīng)淘汰。表5中的D值分別為10套試卷中選擇題、填空題、程序填空題、編程題、程序閱讀題及算法設(shè)計(jì)題6類大題各自的區(qū)分度。

從表5的D值結(jié)果看出，這6種題型中，選擇題、填空題和程序閱讀題的區(qū)分度在良或中；編程題的區(qū)分度不到0.2，這是因?yàn)閷?duì)于編程題來說，參考答案的評(píng)分要求比較寬松，因此只要給出關(guān)鍵的實(shí)現(xiàn)語句，扣分就不是很嚴(yán)格；而算法設(shè)計(jì)題的區(qū)分度為0，是因?yàn)樗惴ㄟ@章的內(nèi)容在公選課中不是重點(diǎn)章節(jié)，因此該題型在題庫中對(duì)應(yīng)的試題數(shù)量非常少，使得抽題的時(shí)候會(huì)產(chǎn)生大量的重復(fù)，再加上參考答案不唯一，只要能設(shè)計(jì)出合理的算法即可，因此無法區(qū)分，導(dǎo)致D值為0。后續(xù)在更新題庫的時(shí)候可以考慮撤掉該題型。

如果不考慮算法設(shè)計(jì)題，按照該方法對(duì)10套試卷的其余題型計(jì)算試卷的總區(qū)分度，得到D值為0.2286。區(qū)分度為“中”?？紤]到學(xué)生與教師的差異，如果使用該題庫組卷給學(xué)生測(cè)試用的話，D值還要比0.2286更高一些，但也說明在今后的題庫建設(shè)中，還要加強(qiáng)不同難度韙目的比例協(xié)調(diào)問題，同時(shí)優(yōu)化抽題算法，使每套試題的區(qū)分度值更高，爭取達(dá)到優(yōu)良水平。

（4）效度：是衡量考試結(jié)果對(duì)考試目標(biāo)實(shí)現(xiàn)程度的指標(biāo)。效度反映了考試的準(zhǔn)確性和有效性。效度分為內(nèi)容效度、效應(yīng)關(guān)聯(lián)效度和構(gòu)想效度…。對(duì)于學(xué)生試卷來說，主要指內(nèi)容效度，即試卷中試題對(duì)欲測(cè)教學(xué)內(nèi)容（教學(xué)目標(biāo)）的代表性程度。也就是說，考試內(nèi)容體現(xiàn)了教學(xué)大綱或考試大綱的知識(shí)點(diǎn)的準(zhǔn)確性程度。試卷的效度在眾多參考文獻(xiàn)中的計(jì)算方法均不同，有的使用各章節(jié)考題分?jǐn)?shù)與教學(xué)學(xué)時(shí)數(shù)兩列數(shù)據(jù)的積差相關(guān)系數(shù)來反映考試與教學(xué)的一致性，用于內(nèi)容效度的測(cè)試；有的采用效表關(guān)聯(lián)效度法，用于效應(yīng)關(guān)聯(lián)效度的測(cè)試；還有的采用通過計(jì)算各試題的考生得分與其卷面總成績的Pearson相關(guān)系數(shù)來反映各試題的效度，也是用于效應(yīng)關(guān)聯(lián)效度的測(cè)試。這里將采用SPSS因子分析功能實(shí)現(xiàn)對(duì)試卷效度的分析。因子分析的基本思想是把聯(lián)系比較緊密的變量歸為同一個(gè)類別，而不同類別的變量之間的相關(guān)性則較低。在這里主要測(cè)試各題型之間的相關(guān)性，如果高的話，就說明各題型是受到了考試大綱或教學(xué)大綱規(guī)定的主要知識(shí)點(diǎn)這個(gè)共同因素的影響才彼此高度相關(guān)的。具體操作是將10套試卷的答題分值按圖1所示數(shù)據(jù)格式匯總后，進(jìn)行選擇分析→降維→因子分析，將需要分析的各種題型選中，單擊“描述”，在彈出的窗口中選中“原始分析結(jié)果”和“KMO和Bartlett的球形度檢驗(yàn)”，單擊確定后得到圖2所示結(jié)果。

KMO檢驗(yàn)各種題型間的偏相關(guān)性。一般KMO統(tǒng)計(jì)量大于0.9時(shí)效果最佳，0.7-0.9之間可以接受，0.5以下不宜作因子分析。圖2中的因子分析結(jié)果為0.737，進(jìn)一步印證了做因子分析的重要性。Bartlett球形度檢驗(yàn)統(tǒng)計(jì)量的Sig值為0.000，遠(yuǎn)遠(yuǎn)小于0.01，則認(rèn)為各題型之間存在顯著的相關(guān)性，說明在考察內(nèi)容知識(shí)點(diǎn)的時(shí)候不是各自獨(dú)立的，而是以多種題型共同考察了重要的知識(shí)點(diǎn)。換句話說，也就是在多種題型中都涉及了相同或相近的知識(shí)點(diǎn)，說明題庫中的試題大多數(shù)是針對(duì)重要知識(shí)點(diǎn)設(shè)計(jì)的，不管以哪種題型出現(xiàn)。這也說明了入庫的試題對(duì)知識(shí)點(diǎn)的把握上是準(zhǔn)確和有效的，而不是毫無目的隨意設(shè)計(jì)的題目。

效度是指各種題型之間的相關(guān)性分析，因此獨(dú)自就某個(gè)題型拿出來進(jìn)行因子分析是沒有意義的。

3.結(jié)語

綜上所述，將10套試卷的答題情況在SPSS軟件的輔助下，從信度、難度、區(qū)分度和效度4個(gè)方面做定量分析，得到了信度為0.700、難度為0.8975、區(qū)分度為0.2286、效度為0.737的結(jié)果。從而可以得出以下結(jié)論：10套試卷大概覆蓋了題庫50%的題量，經(jīng)過教師答題，結(jié)合考慮到學(xué)生與教師在對(duì)課程掌握程度的差別情況，可以看出題庫的建設(shè)是比較成功的。試題在測(cè)試的可靠性、難度把握、能力的區(qū)分上以及對(duì)考試內(nèi)容的準(zhǔn)確性和有效性方面都經(jīng)受住了定量分析的考驗(yàn)，說明教師在試題選擇方面嚴(yán)格以考試大綱和教學(xué)大綱要求的知識(shí)點(diǎn)為選題依據(jù)，并考慮了題目難度的分層次，同時(shí)也表明組卷系統(tǒng)的算法設(shè)計(jì)需要進(jìn)一步改進(jìn)，以便在難度系數(shù)方面給出更準(zhǔn)確的信息。