基于網(wǎng)絡(luò)考試的試題庫設(shè)計及組卷策略的研究

摘要：試題庫設(shè)計及組卷策略是網(wǎng)絡(luò)考試系統(tǒng)的核心內(nèi)容，同樣也是開發(fā)系統(tǒng)的重點和難點。根據(jù)試題庫建庫要求，運用試題庫建庫理論，設(shè)計基于網(wǎng)絡(luò)考試的試題庫邏輯結(jié)構(gòu)，并在此基礎(chǔ)上，提出基于人工設(shè)置參數(shù)的組卷策略，既能仿真人工組卷方法又能確保試卷的多樣性和針對性。

關(guān)鍵詞：網(wǎng)絡(luò)考試 組卷策略 試題庫

考試是教學(xué)活動的一個重要組成部分，也是檢測學(xué)校教學(xué)效果和質(zhì)量的重要手段。目前大部分學(xué)校還是采用傳統(tǒng)的考試形式，大體上要經(jīng)歷任課教師出卷、教務(wù)部門組織印刷、統(tǒng)一安排考試、相關(guān)老師流水閱卷、最后任課教師上報分數(shù)、試卷統(tǒng)一歸檔等過程。整個考試過程繁瑣，浪費了教學(xué)資源；同時教師個人組卷導(dǎo)致試卷的難易程度、考核知識點的全面性缺少客觀性評價。因此，網(wǎng)絡(luò)考試這種利用現(xiàn)代計算機技術(shù)、網(wǎng)絡(luò)技術(shù)的考試方式是當前改革的主要方向，試題庫設(shè)計及組卷策略是網(wǎng)絡(luò)考試系統(tǒng)的核心內(nèi)容。

1 試題庫的設(shè)計和構(gòu)建

試題庫是按照一定的教育測量理論，在計算機系統(tǒng)中實現(xiàn)的某個學(xué)科題目的集合，它是嚴格遵循教育測量理論，在精確的數(shù)學(xué)模型基礎(chǔ)上建立起來的教育測量工具[1]。試題庫是構(gòu)建網(wǎng)絡(luò)考試的基礎(chǔ)和前提。試題庫在教學(xué)活動中的優(yōu)越主要體現(xiàn)在兩個方面，首先是管理優(yōu)勢，體現(xiàn)在試題庫的高效性、經(jīng)濟性和保密性；其次是測量優(yōu)勢，體現(xiàn)在由試題庫組卷的試卷具有內(nèi)容質(zhì)量高、測試結(jié)果可預(yù)控的特點。試題庫的建設(shè)是一項艱巨的工作，需要相關(guān)人員的精心設(shè)計和認真實施。第一，所選題目的內(nèi)容必須是優(yōu)質(zhì)的，而且要有一定的試題量，否則不利于抽題，這就需要保證經(jīng)常由任課教師進行試題的補充和更新，同時還要建立題目的屬性指標，包括試題編號、章節(jié)、知識點、難易度、區(qū)分度等。第二，每個題目都是相對獨立的，都可以單獨用于測試。第三，試題庫一定要建立一個完善的組卷策略，否則充其量只能算是堆積試題的倉庫。每道題目入庫前都經(jīng)過嚴格的篩選，試題的各類屬性指標都要經(jīng)過嚴格的測定。

1.1 試題庫建庫理論 目前考試系統(tǒng)中試題的集合是按照一定的教育測量理論來實現(xiàn)，主要有兩種：試題反應(yīng)理論（IRT）以及傳統(tǒng)測驗理論（CCT），評價標準和指標主要包括項目難度、區(qū)分度、正確應(yīng)答測驗分數(shù)、信度等。

傳統(tǒng)測驗理論的上述指標相互制約、相互依賴。其中的項目難度、信度、區(qū)分度都依賴于考試學(xué)生的能力水平分布，而考試學(xué)生的分數(shù)又依賴于項目的難易程度，它們互為前提，不可避免的為該理論帶來許多難以克服的困難。

試題反應(yīng)理論在許多方面有其優(yōu)點，根據(jù)題目反映理論所得參數(shù)具有不變性，可使得各個被試體的題目參數(shù)具有可比性，不過其技術(shù)更加復(fù)雜，實現(xiàn)難度更大。相比較而言，傳統(tǒng)測驗理論比較容易掌握。因此，本試題庫在設(shè)計過程中，將兩者結(jié)合起來進行考慮。

主要指標體系包括：

1.1.1 區(qū)分度。試題的區(qū)分度是指試題對于被試者的區(qū)分程度和鑒別能力。區(qū)分度高就意味著該題對于學(xué)習(xí)成績不同的被試者有良好的鑒別和區(qū)分能力。所以測量專家把試題的區(qū)分度作為試題編制過程中篩選試題的主要指標與依據(jù)。

本試題庫采用“兩端分組法”進行區(qū)分度的計算，根據(jù)研究，試題得分基本呈正態(tài)分布的前提下，兩端分組的最佳測量點是27%左右，因此，我們將某一試題得分前27%的測試者劃入高分組，將得分后27%的測試者劃入低分組，具體公式如下：

Qi=■（1）

公式中i為試題編號，Qi表示第i題的區(qū)分度，Hi表示高分組第i題的平均分，Li表示低分組第i題的平均分，Ci是第i題的分值。根據(jù)研究結(jié)果，試題的區(qū)分度如果能夠大于0.4，那么說明這道題目是非常優(yōu)秀的，所以很多系統(tǒng)將0.4作為試題區(qū)分度的典型值。

1.1.2 難度。難度是試題的難易程度。試題的難度，是評價試題擬定的好壞的指標之一，也是篩選試題的依據(jù)之一。確定試題難度的方法有多種，常用的一種方法可用如下公式：

Pj=1-■（2）

公式中j為試題編號，Pj表示第j題的難度，Sj表示全體測試者第j題的平均分；F■是第j題的分值。

由公式（2）可知，當有n個測試者參加測試時，用下面的公式可以得出試題的難度。

Pj=1-■（3）

公式（3）中，Xji為第i個學(xué)生、第j題的得分。

從難度的計算公式我們可以看出，測試者的得分和試題難易程度成反比。這樣一來，難度系數(shù)的確定受測試者能力的影響，缺乏一定的客觀性。

一般來說，試卷的總體難度最好在0.5左右。但也不可能每道試題難度都正好是0.5，否則又會使得分數(shù)分布呈雙峰狀態(tài)。為了保證試卷試題的適用性，不打擊成績差的學(xué)生的答題興趣和信心，試卷中應(yīng)該有一些基礎(chǔ)性的、簡單些的試題，同時為了更好的體現(xiàn)考試的區(qū)分功能，也應(yīng)該有一些難度大的試題。因此，一套試卷中每道試題的難度均分布在0.35至0.65之間最好，這樣試題對被測者有較大的鑒別力，而且可以使考試分數(shù)接近正態(tài)分布。

1.2 試題庫建庫基本要求 網(wǎng)絡(luò)考試系統(tǒng)利用計算機的數(shù)據(jù)庫來建設(shè)和管理試題，由試題庫隨機生成試卷，使試題更加科學(xué)、規(guī)范，將人為因素降到最低，同時也便于教學(xué)質(zhì)量的監(jiān)控，符合目前高校教學(xué)改革的需要。真正做到了教考分離，反映了考試的公正性，廣大教師也可以擺脫煩雜的命題工作。

試題庫應(yīng)滿足以下幾個基本要求：①合理設(shè)計題型，保證試題庫能測試考生的綜合能力。題庫中的題型一般為兩類：客觀題和主觀題。判斷題、選擇題和填空題等屬于客觀題，這類題型有標準答案，評分不受改卷老師的主觀愿望轉(zhuǎn)移。簡答題、改錯題、論述題等屬于主觀題，這類題型能測試出學(xué)生的知識掌握程度，如實反映學(xué)習(xí)效果。不過主觀性題評分標準不統(tǒng)一，任課教師在主觀題的判卷過程中，或多或少會帶有自己的一些主觀意向，因此，在設(shè)計試卷的題型組成前要綜合考慮課程自身特點、課程教學(xué)大綱的內(nèi)容和人才培養(yǎng)目標。②合理設(shè)置相應(yīng)的技術(shù)指標，保證試題庫題目質(zhì)量。題目有多種屬性（如科目，章節(jié)，課程代碼，考核點，難度系數(shù)，選中頻度，題干，答案，區(qū)分度，出題人，日期，題目分值等），特別要注意維護好每道題目區(qū)分度和難度等核心指標，這樣系統(tǒng)就能參考指標進行更加有效篩選，從而保證組卷質(zhì)量。③試題庫題目必須全面，有一定數(shù)量的保證。試題庫必須要能夠覆蓋課程教學(xué)大綱中所有的知識點，而且各章節(jié)、知識點、各種題型的題目數(shù)量分布要合理。同時要保證試題庫中試題的數(shù)量，否則，則有可能造成考生試題重復(fù)率過高的現(xiàn)象，也不利于系統(tǒng)自動組卷。④試題庫動態(tài)性。試題庫應(yīng)該具有動態(tài)可維護性，隨情況的變化而變化。畢竟學(xué)科或者學(xué)科的內(nèi)容都是不斷更新的，因此要求題庫中的試題可以隨時被刪除、添加、修改。因此，在設(shè)計試題屬性結(jié)構(gòu)時要求系統(tǒng)可進行功能擴充。⑤可擴展性：具體軟件的設(shè)計和實施，必將是不完善的，同時客戶的要求也可能需要新功能或改變，應(yīng)預(yù)留一些可擴展接口，便于未來可能需要的改善和系統(tǒng)升級。

2 常見組卷方式與策略

組卷是一個成熟的網(wǎng)絡(luò)考試系統(tǒng)的核心內(nèi)容，如何根據(jù)一定的組卷理論和算法進行自動組卷，要綜合考慮試題的各類自身屬性（包括區(qū)分度、難度、分值、題型等）和外部命題規(guī)則的因素，這也是在線考試系統(tǒng)的研究重點。

2.1 組卷方式 當前考試系統(tǒng)使用最多組卷方式分為自動組卷和交互式組卷兩種方式。交互式組卷：任課教師控制試卷生成的整個過程，在題庫中進行檢索，選擇考試試題，置上標志。最后系統(tǒng)統(tǒng)一抽取有標志的試題。這類方式缺點是效率低、教師介入度高、安全性沒有保障。自動組卷是指在使用試題庫的基礎(chǔ)上，根據(jù)系統(tǒng)設(shè)定的選題約束條件，從庫中抽取一組滿足各項性能指標的試題，從而組成用于實際考試的試卷。這類方式的優(yōu)點是效率高、知識點覆蓋全面、多題多卷。

2.2 組卷策略 目前大家經(jīng)常使用的自動組卷策略包括隨機抽取策略、回溯組卷策略和優(yōu)先權(quán)策略等，這些方法各有自身優(yōu)缺點。

隨機選取策略是依據(jù)用戶提交的組卷要求，隨機地從試題庫中抽取符合選題約束條件的試題，加入試卷草稿中，一直到生成可以用于實際測試的試卷為止。這種算法運行速度比較快，但隨意性較大，組卷成功率比較低。如果試題庫中試題量較少，在試題庫中極易產(chǎn)生死區(qū)，而且不可回溯，只得重新抽取試題。

回溯組卷策略通過驗證所選試題是否滿足系統(tǒng)給定的目標條件，來決定對該試題是否進行抽取，當發(fā)現(xiàn)目前沒有任何試題滿足要求而組卷過程又沒有完成時，取消上一選擇，重新選題組卷[2]。這種組卷策略程序結(jié)構(gòu)相對復(fù)雜，對內(nèi)存的占用大，一旦題庫中試題量較大，狀態(tài)類型的變換數(shù)值也大大增多。因此，這種策略在實際使用的過程中更加適合小型的試題庫系統(tǒng)。

優(yōu)先權(quán)策略在試題抽取的初期，不存在約束的牽制問題，因為試題屬性的取值范圍較大，隨著被選中的題目增多，試題屬性的取值范圍變小，矛盾就會產(chǎn)生，會出現(xiàn)一道待選題的某項屬性在范圍內(nèi)，而其他值卻超出范圍。它的缺點在于在組卷過程中需要不斷調(diào)整優(yōu)先權(quán)的排序和計算方法，有時會導(dǎo)致算法非常復(fù)雜，降低組卷效率。

3 組卷策略的設(shè)計

通過上述的分析，我們可以看到每種組卷策略各有優(yōu)缺點。因此在實際組卷的時候要綜合考慮并設(shè)計出更科學(xué)的組卷策略。本系統(tǒng)設(shè)計一套基于人工設(shè)置參數(shù)的組卷策略，教師設(shè)定組卷方案表，系統(tǒng)根據(jù)組卷方案自動生成試卷。它既能仿真人工組卷方法又能確保試卷的多樣性。

3.1 任課教師設(shè)定試卷的總分和考試題型。

3.2 確定題型的分值。針對某一具體的題型，根據(jù)該題型的分值，確定該類型題的小題數(shù)、每小題的分數(shù)。系統(tǒng)將自動校驗所有題型的分值與試卷總分是否相同，如若不等，系統(tǒng)提示，要求修改。

3.3 為每一類題型抽題，具體方法如下：①先按題型分值大小來抽取。大分值的試題一般在試題庫中的選擇就比較少，對試卷的整體指標影響大，因此首先要抽取分值大、難度大的試題。②按教學(xué)要求，試題涵蓋要廣，每個章節(jié)都應(yīng)該包括在內(nèi)，為避免抽題過分集中，需要給定章節(jié)參數(shù)，設(shè)置每章最多能被抽中的次數(shù)，避免知識點分布不均衡。③為了學(xué)生的成績呈狀態(tài)分布，以顯示出差異，這就需要在題目上的難度拉開檔次，我們將難度系數(shù)在0.35-0.45題目定為易，難度系數(shù)在0.46-0.55題目定位中，難度系數(shù)在0.56-0.65題目定為難，三者的比例是3：5：2。這樣系統(tǒng)組卷的最終試卷難度系數(shù)在我們設(shè)定的難度范圍之內(nèi)，我們就可以基本認定組卷成功。④當試題庫中試題數(shù)量有限，很難同時滿足所有的命題要求的時候，組卷工作不能完成，這時可以用近似匹配的策略，允許試題在某些指標上與試卷的要求可以存在一定的誤差，使組卷工作可以完成并在后期進行適當?shù)娜斯じ深A(yù)。

3.4 當對所有的題型都抽題完畢后，則本次的組卷工作也宣告完成。隨著計算機技術(shù)的發(fā)展和網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用，新型的教學(xué)模式，新型的考試模式為我們提供了新的思路。因此，利用計算機技術(shù)、網(wǎng)絡(luò)技術(shù)轉(zhuǎn)變傳統(tǒng)紙質(zhì)的考試方式，能提高教師和教務(wù)人員的工作效率和質(zhì)量。網(wǎng)絡(luò)考試這種更靈活，更方便，更節(jié)省人力物力的新型考試方式正被逐步推廣使用并漸漸替換傳統(tǒng)的考試形式。

參考文獻：

[1]CELTS一41.1，教育資源建設(shè)技術(shù)規(guī)范[S].

[2]胡鈺.基于網(wǎng)絡(luò)教學(xué)平臺的試題庫組卷算法研究[D].2008.

[3]雷國雨.組卷策略的分析與設(shè)計[J].科技信息（學(xué)術(shù)版），2006.

[4]方大良.在線考試系統(tǒng)組卷策略分析[J].電腦知識與技術(shù)，2008，4卷，9.

作者簡介：張徐（1982-），男，安徽宿州人，教務(wù)處考試中心主任，助理研究員，研究方向：高等教育管理。