考易網(wǎng)絡(luò)題庫與考試系統(tǒng)實測研究

席衛(wèi)文，張春輝，朱漢祎，胡 桂，耿景海，王 飛，文民剛*

(1.南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院;2.南方醫(yī)科大學(xué)教務(wù)處，廣東 廣州 510515)

南方醫(yī)科大學(xué)于2009年9月28日正式推出考易網(wǎng)絡(luò)題庫與考試系統(tǒng)(以下簡稱考易系統(tǒng))，我們對兩年的工作進(jìn)行了實測研究，希望能為網(wǎng)絡(luò)題庫建設(shè)提供有益的借鑒。

一、題庫規(guī)模的實測研究

截止2012年元月12日，我校共有448名教師投身參與題庫建設(shè)，已經(jīng)形成了162門課程，206765道的系列試題庫。其中22門課程是學(xué)校指定建設(shè)的題庫。其他課程均因系統(tǒng)能顯著提高教學(xué)工作效率，由教師自發(fā)建設(shè)。題庫涉及醫(yī)學(xué)、藥學(xué)、英語、工程等多個學(xué)科領(lǐng)域。試題數(shù)量最多的均為綜合考試題庫。

從正式推出考易系統(tǒng)計算，截止到2011年元月12日，共計837天，平均每天增加247道試題，實施了427場網(wǎng)絡(luò)考試，共有95038學(xué)生人次參加了網(wǎng)絡(luò)考試。平均每個教學(xué)周實施網(wǎng)絡(luò)考試5.9場，每場考試的平均人數(shù)為223人。系統(tǒng)共生成95038份學(xué)生個人成績分析報告，427份試卷分析和試題分析報告，對3萬多道試題進(jìn)行了實測分析。

二、試題結(jié)構(gòu)的實測研究

題型一直是困擾題庫軟件開發(fā)的一個重要因素，如果題型不能滿足課程要求，題庫軟件就會失去生命力，對此我們有深刻的認(rèn)識。近20年的題庫研究與實踐，我們發(fā)現(xiàn)和總結(jié)了試題的構(gòu)成規(guī)律，考易系統(tǒng)不再受題型困擾。

1.試題結(jié)構(gòu)。一道試題一般由四部分組成，分別由題干、備選答案、標(biāo)準(zhǔn)答案和媒體素材四部分組成。不同的題型，這四部分略有變化，但不影響試題的基本結(jié)構(gòu)。媒體素材本應(yīng)屬于題干的一部分，但媒體素材的出現(xiàn)，導(dǎo)致對試題的處理方法會變得復(fù)雜，所以應(yīng)該把它作為試題的獨(dú)立構(gòu)成部分。

2.試題應(yīng)用的制約因素。一道試題如何應(yīng)用，受到三個因素的制約。第一個因素是試題是否與其他試題共用一個題干。這中題型除了有自身的題干外，還與其他試題共用一個題干，這在醫(yī)學(xué)考試中非常常見。每次呈現(xiàn)這類試，除了要顯示自身的題干外，還必須顯示共用的題干，考生才能準(zhǔn)確作答此試題。第二個因素是試題與其他試題是否關(guān)聯(lián)。在醫(yī)學(xué)考試中，有大量的A3、A4型題，這些試題是由幾道單獨(dú)試題組成的一組試題。在成卷過程中，單獨(dú)抽取一道試題是無效的，因為一組試題相互關(guān)聯(lián)，用來的測試一個比較大的知識點(diǎn)，所以選中這組的任何一道試題，相關(guān)聯(lián)的試題也必須抽取，我們把這樣的試題稱作“串題”或者“關(guān)聯(lián)試題”。屬于這樣的題目還有用于知識的分析和鑒別B型、C型試題。外語題庫中，關(guān)聯(lián)試題也非常多，比如閱讀理解題。而且關(guān)聯(lián)試題的呈現(xiàn)順序是有事先約定的順序，不能打亂順序。第三個因素是標(biāo)準(zhǔn)答案是否固定唯一。從理論上講，答案本身并沒有質(zhì)的區(qū)別，但對軟件系統(tǒng)來說，不同的答案有不同的處理方法。如果試題答案簡短、固定、唯一，這樣的試題可由題庫軟件系統(tǒng)自動判卷。這類試題主要體現(xiàn)在多項選擇題上。如果答案不十分固定，允許考生充分發(fā)揮，那么系統(tǒng)必須給考生提供靈活的答題空間，比如論述題。

正是因為我們把握了試題構(gòu)成規(guī)律，所以考易系統(tǒng)不再受題型的制約，允許老師創(chuàng)建任意題型。

三、常用題型的實測研究

一門課程的題庫需要多少種題型，目前國內(nèi)外沒有確切的理論依據(jù)，為了加強(qiáng)題庫建設(shè)的指導(dǎo)，我們對已完成建設(shè)，并實施過網(wǎng)絡(luò)考試的79門課程，184958道試題進(jìn)行了分析，得出以下結(jié)論。

1.題型的種類數(shù)量。這79門課程涉及醫(yī)學(xué)、理學(xué)、工學(xué)、外語、人文類課程，先后涉及到31種題型，其中外語類課程使用的題型與其他類課程差異性最大。外語類課程共使用了13中題型，這些題型在其他課程均未使用。其他課程均在18種題型內(nèi)選擇，盡管有些題型名稱不一樣，但從試題結(jié)構(gòu)看，完全一致，只是答題說明體現(xiàn)出個性化。

2.一門課程題庫使用的題型。在79門課程中，題型超過10種的有4門，9種題型的有8門，8種題型的有11門，7種題型的有6門，6種題型的有12門，5種題型的有18門，4種題型以下的有20門。79門課程平均使用題型為5.9種。分析已實施網(wǎng)考的371門課程，考試中涉及到的題型一般不超過5種。

因此我們認(rèn)為課程試題庫的題型限定在6種左右比較合適，這也符合教育測量學(xué)理論。有3-4種題型測量考生對知識點(diǎn)的掌握(以多項選擇題為主)，有2-3種題型測量考生的分析問題、解決問題和文字表達(dá)能力的試題。這樣的考試是科學(xué)合理的。

3.最常用的題型。見附表。

附表 常見的題型

從附表我們可以看出，從使用次數(shù)看，A1型題、X型、題簡答題、論述題、B1型題在課程題庫中使用到的次數(shù)最多。從試題數(shù)量看，A1型題、B1型題、X型題、A2型題、A3型題在題庫中數(shù)量最多。

由此我們可以得出結(jié)論，A1、A2、A3、B1、X 型題、簡答題、論述題是最常用的題型。

4.媒體素材使用的研究。多媒體網(wǎng)絡(luò)技術(shù)為在考試中應(yīng)用多種媒體素材提供了平臺，所以大量的圖片、音頻視頻題，正逐步取代傳統(tǒng)的文字試題。多媒體試題的廣泛應(yīng)用，使經(jīng)典、傳統(tǒng)的課程考試，煥發(fā)新的生機(jī)，課程考試的信度、效度和區(qū)分度大大提高，考試結(jié)果更加科學(xué)、合理。多媒體網(wǎng)絡(luò)考試有效地引導(dǎo)學(xué)生不但要掌握基礎(chǔ)知識、基本理論，更要學(xué)會運(yùn)用所學(xué)理論知識，去分析、解決相關(guān)問題。課程考試不再僅僅局限于認(rèn)知領(lǐng)域，精神運(yùn)動領(lǐng)域也在課程考試中逐漸涉及，考試的診斷、反饋功能得到充分的發(fā)揮。

在已完成題庫建設(shè)的79門課程中，使用了多媒體素材(包括視頻、音頻、動畫和圖片)為題干主要內(nèi)容的課程有8門，已實施的427門課程考試中，使用到媒體素材(包括音頻、照片、視頻、動畫)的考試有75門，占考試數(shù)量的19.4%，而且這一趨勢正在快速增加。

四、題量的實測研究

我們曾在90年代初期，聯(lián)合四所軍醫(yī)大學(xué)開發(fā)了40門課程10萬道試題的臨床醫(yī)學(xué)專業(yè)系列試題庫，并研制了單機(jī)版的通用題庫軟件［1］。當(dāng)時規(guī)定每學(xué)時按照15-25道試題開發(fā)題庫［2］。通過對試題的會審，我們發(fā)現(xiàn)每學(xué)時規(guī)定的題量有點(diǎn)高，所以在2009年開始建設(shè)的22門課程題庫時，我們規(guī)定每學(xué)時按照10-15試題開發(fā)試題庫。

按照這一標(biāo)準(zhǔn)，兩年內(nèi)先后建設(shè)了162門課程的試題庫，我們對題量超過400道試題、有完整的知識體系，實施過網(wǎng)絡(luò)考試的79門課程題庫進(jìn)行了題量分析。

1.79門課程試題庫的總題量為184958道試題。其中有八門題庫屬于綜合試題庫，用于各專業(yè)的綜合測試。去除這八門課程的71968道試題，屬于課程試題庫有71門，題量為110293道試題。我們按照專業(yè)中課程的最大學(xué)時數(shù)進(jìn)行統(tǒng)計，71門課程的總學(xué)時為6828學(xué)時，平均每學(xué)時的題量為16.2 道試題。

考慮到還有部分課程的試題仍在增加，最后平均每學(xué)時的題量將會穩(wěn)定在18左右。我們認(rèn)為按照每學(xué)時18道試題建設(shè)題庫的指標(biāo)是科學(xué)合理的。

2.單門課程試題庫量最多的分別為:內(nèi)科學(xué)、診斷學(xué)、外科學(xué)、病理學(xué)和生理學(xué)。每學(xué)時平均題量最多的是方劑學(xué)、傳染病學(xué)、醫(yī)學(xué)生物學(xué)、生理學(xué)、婦產(chǎn)科護(hù)理學(xué)，均在每學(xué)時35道以上。

所以在建設(shè)題庫過程中，不應(yīng)過多的追求試題數(shù)量，而要把精力放在提高試題質(zhì)量和試題均衡分布上來。從實際情況推測，如果按照每次考試100道試題的用量，1000道的試題庫可以保證10年試卷試題不重復(fù)使用。

五、題庫建設(shè)方法的實測研究

目前已經(jīng)開始建設(shè)的題庫共有162門，總題量有206765道試題。這些題庫的建設(shè)方法有兩種。

1.嚴(yán)格按照規(guī)定的題庫建設(shè)的六步驟逐步推進(jìn)。即:確定題庫的知識框架，確定題型和題量，確定題庫相關(guān)參數(shù)、明確個人分工，錄入試題、審核試題。使用這樣方法建設(shè)題庫的大約有70%的課程，一般的建設(shè)周期在2個月左右，最快的2周完成建設(shè)任務(wù)。方法是3位以上的老師利用網(wǎng)絡(luò)協(xié)同作戰(zhàn)，建設(shè)速度非?？?。

2.有些課程由于沒有足夠的試題資源，我們采取了邊使用，邊建設(shè)的方法建設(shè)試題庫。即:每次考試前，先把AB兩套試卷的題庫錄入系統(tǒng)中，先實施網(wǎng)考，讓教師體會網(wǎng)考的優(yōu)越性，提高教師題庫建設(shè)的動力，然后按照題庫建設(shè)規(guī)定的步驟，構(gòu)建題庫框架，再把網(wǎng)考的試題轉(zhuǎn)化為題庫中的試題，對題庫進(jìn)行補(bǔ)充和完善。這一方法促進(jìn)了題庫建設(shè)的廣泛性，提高了老師建設(shè)題庫的自覺性和動力。

六、網(wǎng)考的實測研究

截止2011年12月31號，考易網(wǎng)絡(luò)題庫與考試系統(tǒng)共完成了427門課程的組卷和網(wǎng)絡(luò)在線考試，共有95038人次參加了網(wǎng)絡(luò)在線考試。

1.網(wǎng)考課程數(shù)量和人數(shù)呈快速增長趨勢。2010年春季學(xué)期有13門課程，1350人次參加了網(wǎng)考。到2011年秋季學(xué)期共有196門課程，46050人次參加了網(wǎng)考。網(wǎng)絡(luò)課程考試的門數(shù)和網(wǎng)考人數(shù)快速的增長。

2.網(wǎng)絡(luò)在線支持能力。在已實施的網(wǎng)絡(luò)課程考試中，有224場考試人數(shù)均在200人以上。其中，在2011年7月14日8:00-10:00期間，共有三門課程，925名學(xué)生同時參加網(wǎng)考?？家拙W(wǎng)絡(luò)題庫系統(tǒng)運(yùn)行平穩(wěn)、流暢，說明考易系統(tǒng)使用一臺服務(wù)器，可同時支持1000人在線考試。

七、題庫效益的實測研究

兩年的實踐，也充分證明了網(wǎng)絡(luò)題庫與實施網(wǎng)考的質(zhì)量效益、經(jīng)濟(jì)效益和社會效益都非常顯著。具體表現(xiàn)在:

1.質(zhì)量效益。從教師角度分析，傳統(tǒng)考試的流程中，教師多次往返系、學(xué)院、考試中心，學(xué)科教師把大量的時間用于非核心的教學(xué)工作，不能把有效的時間用于研究教學(xué)工作，提高教學(xué)質(zhì)量上。有了網(wǎng)絡(luò)考試系統(tǒng)，這些工作就能坐在辦公室和家中，敲敲鍵盤、動動鼠標(biāo)即可完成，提高了考試工作的效率。教師能把更多的精力用在提高教學(xué)質(zhì)量上和教學(xué)改革上。從學(xué)生角度看，由于網(wǎng)絡(luò)考試采取了多重的防作弊措施，有效地促進(jìn)了學(xué)風(fēng)建設(shè)，促使學(xué)生把精力用在學(xué)業(yè)上，顯著地提高了教學(xué)質(zhì)量。在國家大型考試中，我校學(xué)生屢創(chuàng)佳績，執(zhí)業(yè)醫(yī)師考試通過率從2006年的全國49名一路攀升到2011年的全國第5名。印度留學(xué)生回國參加的醫(yī)師執(zhí)照考試的通過率也高達(dá)73%。

2.經(jīng)濟(jì)效益。以我校為例，印刷一份試卷的平均成本為1.5元(我校采用施樂高速復(fù)印機(jī)印刷試卷)，每份試卷平均12頁A4紙，計0.6元;印刷費(fèi)每張7分錢，計0.84元，每份試卷的裝訂費(fèi)用0.06元，合計為1.5元)，加上一張答題卡0.3元，大約每個學(xué)生一次考試直接成本需要1.8元。照此計算，自我校開展網(wǎng)絡(luò)題庫與網(wǎng)考工作以來，共有95038人次的學(xué)生參加了網(wǎng)絡(luò)考試，直接節(jié)約試卷印刷費(fèi)17.2萬多元。如果把這17.2萬元用于購買學(xué)生用計算機(jī)，足以更新60臺學(xué)生用機(jī)，網(wǎng)絡(luò)考試真正的促進(jìn)了教學(xué)基本建設(shè)。

3.社會效益的研究。根據(jù)相關(guān)數(shù)據(jù)，用傳統(tǒng)木纖維制漿造紙，每生產(chǎn)1噸紙:需消耗木材2.5立方米，耗水100立方米。一包500頁的A4紙大約重2.48公斤。這樣計算，我校四個學(xué)期共節(jié)約紙張114.1萬張，重約5657公斤。相當(dāng)于節(jié)約了14.1立方米的木材，保護(hù)了14畝林地免遭砍伐，節(jié)約用水566立方米，減少了大量的污水排放。如此計算，院校實施網(wǎng)考的確是一項效益明顯的環(huán)保工程。

兩年的網(wǎng)絡(luò)題庫與考試系統(tǒng)的實測研究表明，廣大教師在使用了網(wǎng)考，親身感受到網(wǎng)絡(luò)題庫和考試的魅力后，建設(shè)網(wǎng)絡(luò)題庫的積極性更高，目前題庫系統(tǒng)的試題以每天200道試題的速度增長。我們也感覺到，這次建設(shè)題庫和上世紀(jì)90年代建設(shè)題庫感受有天壤之別。過去是我求教師做，現(xiàn)在是教師主動做。

為了更多地了解廣大教師和各院校對考試的需求，我們已經(jīng)召開了三次全國性題庫建設(shè)研討會，80多家單位150多名代表參加了研討，與12家院校簽訂了技術(shù)開發(fā)合同，7家院校已經(jīng)安裝完畢，并且成功實施了網(wǎng)絡(luò)題庫建設(shè)和網(wǎng)絡(luò)在線考試。

［1］文民剛，方振偉，胡 桂，等.試論建立醫(yī)學(xué)試題庫的程序和原則［J］.醫(yī)學(xué)教育，1993(8):17-19.

［2］文民剛，陳立明，胡 桂，等.醫(yī)學(xué)通用試題庫系統(tǒng)［J］.中國高等醫(yī)學(xué)教育，1993(6):5-6.