基于命題細(xì)目表的二階段組卷策略研究

邢博特

【摘要】組卷策略是題庫(kù)系統(tǒng)的重要環(huán)節(jié)，而使用命題細(xì)目表進(jìn)行組卷則可以有效克服組卷的主觀隨意性，優(yōu)化試卷結(jié)構(gòu)。通過(guò)計(jì)算機(jī)系統(tǒng)自動(dòng)生成命題細(xì)目表，再根據(jù)細(xì)目表進(jìn)行組卷是基于命題細(xì)目表的二階段組卷策略的核心思想。

【關(guān)鍵詞】命題細(xì)目表；組卷策略；二階段

【中圖分類號(hào)】G40-057【文獻(xiàn)標(biāo)識(shí)碼】A【論文編號(hào)】1009－8097(2012)09－0097－04

題庫(kù)通常是指大量試題的集合，這些試題分類有序地存放，便于構(gòu)造某種考試所用的試題或試卷。在教育測(cè)量學(xué)理論中，題庫(kù)被定義為是在某種測(cè)量理論指導(dǎo)下，試題經(jīng)過(guò)試測(cè)計(jì)算出相關(guān)的統(tǒng)計(jì)參數(shù)，試題參數(shù)經(jīng)過(guò)等值并建立在同一量表上，按照一定原則組織起來(lái)的能夠滿足某種考試需要的大量?jī)?yōu)良試題的組合。建設(shè)優(yōu)良題庫(kù)是一種命題方式的變革，是提高命題效率和試卷組配質(zhì)量的基礎(chǔ)，有利于實(shí)現(xiàn)命題工作的日?；?。

以題庫(kù)方式進(jìn)行命題，可以組織更多的專家和命題教師參與命題，便于廣泛征集試題，使編制試題工作成為一種經(jīng)常性的活動(dòng)，命題人員有較充裕的時(shí)間研磨和審查試題，從而有利于提高試題質(zhì)量。建立題庫(kù)后，命題人員可以集中精力設(shè)計(jì)好試卷藍(lán)圖，使試卷結(jié)構(gòu)更科學(xué)、更合理，并且選擇題庫(kù)中的優(yōu)良試題組配試卷，有利于提高組配效率和試卷質(zhì)量。通過(guò)題庫(kù)方式命題，有利于組配平行試卷，堅(jiān)持考試標(biāo)準(zhǔn)的一致性。以題庫(kù)方式組織命題，還有利于提高考試的信度和效度，有利于做好保密工作。

一常見(jiàn)組卷策略分析

題庫(kù)系統(tǒng)的核心是智能組卷系統(tǒng)，它可以在題庫(kù)中選擇合適的試題，自動(dòng)完成組卷任務(wù)。它是數(shù)據(jù)庫(kù)理論、教育測(cè)量理論和人工智能理論相結(jié)合的產(chǎn)物，是從傳統(tǒng)教育向現(xiàn)代教育發(fā)展的一種新型教育考評(píng)體系，是我國(guó)教育考試體系的重要組成部分。目前的研究及應(yīng)用中，各類組卷策略大致可以分為基于經(jīng)典考試?yán)碚摰慕M卷策略和基于項(xiàng)目反應(yīng)理論的組卷策略兩種類型。其中，基于經(jīng)典考試?yán)碚摰慕M卷策略又包括基于隨機(jī)算法的組卷策略、基于深度與廣度搜索算法的組卷策略和基于遺傳算法的組卷策略等幾大類。

1、基于隨機(jī)算法的組卷策略

基于隨機(jī)算法的組卷策略是最直觀的一種組卷策略。在題庫(kù)中隨機(jī)抽取試題，然后判斷其是否符合試卷要求，如果符合，則將其加入到試卷中，如果不符合，則將其放入題庫(kù)重新抽取試題。不斷重復(fù)這一過(guò)程，直至組卷完畢或無(wú)法從題庫(kù)中抽選合適的試題為止。

該算法優(yōu)勢(shì)在于結(jié)構(gòu)簡(jiǎn)單，單次選題過(guò)程運(yùn)行速度較快，但如果組卷的約束條件較復(fù)雜，完成組卷方案的時(shí)間復(fù)雜度較大，而且試卷往往不能滿足某些約束條件。因此，該算法只適用于組卷約束條件較少的小型試題庫(kù)系統(tǒng)的組卷。

2、基于深度與廣度優(yōu)先搜索算法的組卷策略

深度優(yōu)先搜索算法和廣度優(yōu)先搜索算法都是圖論的遍歷圖算法。在題庫(kù)組卷策略中，回溯組卷算法就是一種最常見(jiàn)的基于深度與廣度優(yōu)先的搜索算法，它對(duì)隨機(jī)算法有很大的改進(jìn)，可遍歷所有狀態(tài)組合。其主要思想是從題庫(kù)中隨機(jī)抽取試題，但在抽取過(guò)程中通過(guò)驗(yàn)證所選擇的試題是否滿足系統(tǒng)給定的目標(biāo)條件確定是否抽取該試題，當(dāng)發(fā)現(xiàn)目前沒(méi)有任何試題滿足約束時(shí)，廢棄前一步或幾步操作后重新組卷，通過(guò)回溯試探的方法遍歷所有可能的組卷方式，完成組卷任務(wù)。

回溯算法組卷成功率高，理論上可以遍歷所有可能狀態(tài)組合，但當(dāng)題庫(kù)題量或試卷總題量較大時(shí)，搜索空間變大，實(shí)現(xiàn)過(guò)程的時(shí)間開(kāi)銷也會(huì)隨之變大，組卷效率較低。加之所選試題缺乏隨機(jī)性，因此在實(shí)際應(yīng)用中單純的基于回溯試探算法應(yīng)用受到制約。

3、基于遺傳算法的組卷策略

遺傳算法(GeneticAlgorithms，GA)通過(guò)模擬自然生態(tài)進(jìn)化過(guò)程，采用迭代式搜索算法，根據(jù)一定的標(biāo)準(zhǔn)，在保持種群穩(wěn)定的基礎(chǔ)上，激勵(lì)好的結(jié)果，淘汰劣質(zhì)結(jié)果，最終搜索到理想的最優(yōu)解或次優(yōu)解。遺傳算法與其他算法不同的是，除去“染色體”的編碼規(guī)則，求解問(wèn)題的本身對(duì)算法的影響并不大。當(dāng)按照適當(dāng)?shù)木幋a將待解問(wèn)題的解表示成“染色體”形式后，每個(gè)個(gè)體就成為問(wèn)題的一個(gè)解。建立一定規(guī)模的這種個(gè)體后，就可構(gòu)成一個(gè)種群，根據(jù)計(jì)算種群中個(gè)體的適應(yīng)度函數(shù)值，可以評(píng)價(jià)個(gè)體的優(yōu)劣，在保持一定種群規(guī)模的前提下，按適者生存的原則執(zhí)行選擇、交叉和變異等操作，得到更適應(yīng)環(huán)境的下一代種群。反復(fù)迭代這一過(guò)程，直到得到符合要求的最優(yōu)解，或者次優(yōu)解為止。將遺傳算法應(yīng)用于組卷策略，是近年來(lái)組卷策略研究的熱點(diǎn)之一。

遺傳算法的計(jì)算復(fù)雜度只與編碼規(guī)則、種群規(guī)模及迭代次數(shù)等條件有關(guān)，與問(wèn)題本身的復(fù)雜度無(wú)關(guān)，而且可同時(shí)并行計(jì)算，因此更適合大規(guī)模復(fù)雜問(wèn)題的優(yōu)化求解；同時(shí)，遺傳算法是在所有解空間中使用多點(diǎn)隨機(jī)搜索最優(yōu)解，因此能夠一定程度上避免局部最優(yōu)的缺點(diǎn)；而遺傳算法的交叉、變異等操作有利于保持種群多樣性。但是，使用遺傳算法處理多目標(biāo)優(yōu)化問(wèn)題時(shí)，需要將多目標(biāo)優(yōu)化問(wèn)題轉(zhuǎn)化為單目標(biāo)優(yōu)化問(wèn)題，因此求得的最優(yōu)解(或次優(yōu)解)有可能并非一份理想的試卷，而且，如果題庫(kù)規(guī)模較大，容易導(dǎo)致染色體過(guò)長(zhǎng)，時(shí)間開(kāi)銷呈非線性增長(zhǎng)趨勢(shì)，從而降低算法的運(yùn)算效率。

4、基于項(xiàng)目反應(yīng)理論的組卷策略

基于項(xiàng)目反應(yīng)理論的組卷算法最早是由自適應(yīng)考試發(fā)展而來(lái)的。其具體操作為：開(kāi)始時(shí)選取中等難度試題作為初始試題，當(dāng)考生回答完成一道試題后，系統(tǒng)立即對(duì)其評(píng)分并重新估計(jì)學(xué)生能力，然后從題庫(kù)中選取下一道試題，直至對(duì)考生能力的測(cè)量精度達(dá)到指定的水平。

使用基于項(xiàng)目反應(yīng)理論的策略對(duì)考生進(jìn)行心理測(cè)量，優(yōu)勢(shì)在于測(cè)量結(jié)果與考試試題樣本無(wú)關(guān)，突破了經(jīng)典測(cè)量理論的局限性，具有題目參數(shù)估計(jì)更為準(zhǔn)確、全面解決考試等值問(wèn)題、適用于大規(guī)模自適應(yīng)考試系統(tǒng)等優(yōu)勢(shì)。但由于入庫(kù)試題需要進(jìn)行試測(cè)以確定試題參數(shù)，而我國(guó)的各類大規(guī)模考試中無(wú)法進(jìn)行試測(cè)，因此使用這一策略仍有一定困難。此外，該算法需要在考試過(guò)程中實(shí)施組卷策略，對(duì)考試系統(tǒng)的壓力也較大。

二基于命題細(xì)目表的兩階段組卷策略的構(gòu)想與實(shí)現(xiàn)

一份合格的試卷需要多方面的衡量，難度分布、評(píng)價(jià)目標(biāo)分布、知識(shí)內(nèi)容分布等各項(xiàng)指標(biāo)都需要控制在合理范圍之內(nèi)。盡管上述幾種智能組卷策略都有其自身的優(yōu)勢(shì)，而且近年在計(jì)算機(jī)等級(jí)考試、廣播電視大學(xué)等教育考試系統(tǒng)中有所應(yīng)用，但這些策略都屬于單目標(biāo)約束問(wèn)題，實(shí)際操作過(guò)程中很難達(dá)到預(yù)期的組卷效果，因此需要命題細(xì)目表協(xié)助進(jìn)行組卷。

命題細(xì)目表相當(dāng)于試卷藍(lán)圖，它是試卷試題的考核內(nèi)容、評(píng)價(jià)目標(biāo)、難度、題型、分值等屬性的數(shù)量化表格，是命題、審題和組卷的直接操作依據(jù)。編制命題細(xì)目表是克服命題、組卷的主觀隨意性、保證試卷結(jié)構(gòu)合理規(guī)范、有效提高試卷內(nèi)容效度的關(guān)鍵步驟，也是聯(lián)結(jié)考試大綱與實(shí)際命題工作的紐帶，代表考試機(jī)構(gòu)對(duì)命題工作的具體要求。同時(shí)，命題細(xì)目表是試卷平行性控制的重要依據(jù)。

本文提出了一種基于命題細(xì)目表的組卷方法，其主體思想是計(jì)算機(jī)自動(dòng)生成滿足用戶需求的命題細(xì)目表，然后題庫(kù)系統(tǒng)根據(jù)該細(xì)目表從題庫(kù)中抽取滿足要求的試題，經(jīng)過(guò)篩選，最終將這些試題組合成卷。因此本策略將組卷過(guò)程分為兩階段進(jìn)行，分別為制作細(xì)目表階段和組卷階段。

1、組卷策略控制參數(shù)的約定

為實(shí)現(xiàn)上述組卷策略，需要建立一系列試題參數(shù)及試卷參數(shù)，作為題庫(kù)與組卷策略之間的橋梁。

(1)總體參數(shù)

總體參數(shù)是試卷的整體屬性，包括考試科目、試卷名稱、考試時(shí)間、考核知識(shí)點(diǎn)、滿分、及格分等。

(2)題型分布

題型分布是試卷的組成結(jié)構(gòu)，即試卷使用的題型、題量及各題分?jǐn)?shù)等。

(3)考核內(nèi)容分布

考核內(nèi)容分布是指試卷包含的各部分考核內(nèi)容的比例，好的分布可以保證考核知識(shí)的覆蓋面，突出考核知識(shí)的重點(diǎn)。

(4)難度分布

難度分布是試卷中各類型難度題目分值的比例。一般可將難度分為易、較易、較難、難等四個(gè)等級(jí)，可分別使用A、B、c和D標(biāo)記。較好的難度分布可以提高試卷的區(qū)分度和信度，是組卷過(guò)程中重要的指標(biāo)。

(5)評(píng)價(jià)目標(biāo)分布

根據(jù)布魯姆認(rèn)知領(lǐng)域教育目標(biāo)分類學(xué)，試題的評(píng)價(jià)目標(biāo)可以分為記憶、理解、運(yùn)用、分析、評(píng)價(jià)和創(chuàng)造，可以使用Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ和Ⅵ表示(本文僅列出Ⅰ、Ⅱ、Ⅲ、Ⅳ)。評(píng)價(jià)目標(biāo)分布是試卷中各題考查各類認(rèn)知層次的比例分布，好的分布可以提高考試的效度。

2、生成細(xì)目表階段

當(dāng)用戶給定試卷各項(xiàng)參數(shù)及目標(biāo)分布后，進(jìn)入到生成細(xì)目表階段。由于本文細(xì)目表涉及四個(gè)維度的分布，因此編制合格細(xì)目表的工作量很大，即使使用計(jì)算機(jī)進(jìn)行協(xié)助，其計(jì)算量也相當(dāng)龐大，因此本文將采用降維調(diào)整算法構(gòu)建命題細(xì)目表。

(1)相關(guān)術(shù)語(yǔ)及解釋

降維調(diào)整算法的核心思想就是首先將四維的命題細(xì)目表降低成二維的“考核內(nèi)容一題型”細(xì)目表，再根據(jù)難度分布與評(píng)價(jià)目標(biāo)分布構(gòu)建完整細(xì)目表。為完成上述操作，首先需要介紹相關(guān)術(shù)語(yǔ)及解釋。

塊：在僅以考核內(nèi)容與題型構(gòu)建的二維表格中，每個(gè)單元稱為一個(gè)塊，見(jiàn)表1。每個(gè)塊中的數(shù)字表示每個(gè)題型中各考核內(nèi)容的題目數(shù)量。

塊分配：是指根據(jù)一定算法將試題分配到各個(gè)塊中的過(guò)程，其結(jié)果是形成滿足題型分布和考核內(nèi)容分布的“考核內(nèi)容一題型”二維表格。選擇1題分布在相應(yīng)塊內(nèi)，同時(shí)TNum[]數(shù)組相應(yīng)位置數(shù)值－1，PAC[]數(shù)組相應(yīng)位置減去相應(yīng)題目的TSco[]數(shù)值。

第三步：重復(fù)上述操作，直至某題型相應(yīng)位置的TNum[]數(shù)值變?yōu)榱恪?/p>

第四步：對(duì)前一道大題執(zhí)行第二步及第三步的操作。

第五步：當(dāng)TNum[]數(shù)組中的所有數(shù)值均為零時(shí)，算法完成。

格點(diǎn)：在以題型、考核內(nèi)容、難度和評(píng)價(jià)目標(biāo)而構(gòu)建的細(xì)目表中，每個(gè)單元格稱為一個(gè)格點(diǎn)，見(jiàn)表2。

格點(diǎn)分配：是指根據(jù)塊分配結(jié)果，將相應(yīng)數(shù)量的題目按照一定算法分配到細(xì)目表的各個(gè)格點(diǎn)中，其結(jié)果是形成基本滿足難度分布和評(píng)價(jià)目標(biāo)分布的命題細(xì)目表。

(2)塊分配算法

塊分配算法只考慮在“考核內(nèi)容一題型”表格中的分配。這一過(guò)程中不考慮試題的難度和評(píng)價(jià)目標(biāo)，從而把四維的命題細(xì)目表問(wèn)題降為二維情況處理，大大簡(jiǎn)化了操作復(fù)雜度。分配的原則是大題盡量分布在考核內(nèi)容的重點(diǎn)部分，小題則盡量平均分布，這樣既可以保證試卷對(duì)知識(shí)點(diǎn)的覆蓋面，又可以突出對(duì)重點(diǎn)內(nèi)容的考核。操作步驟如下：

第一步：設(shè)定相關(guān)參數(shù)：

數(shù)組TNum[]為各題型中未分配的小題數(shù)量，初始值為試卷中各大題中包含的小題數(shù)量；

數(shù)組TSco[]為各題型中每小題的分值，此為常數(shù)數(shù)組；

數(shù)組PAC[]為考核內(nèi)容分布概率，其初始值為考核內(nèi)容的目標(biāo)分布。

第二步：從最后一道大題開(kāi)始，按照PAC[]的概率分布，

(3)格點(diǎn)分配算法

格點(diǎn)分配算法則是根據(jù)塊分配構(gòu)建的“考核內(nèi)容，題型”分布表，在塊內(nèi)的格點(diǎn)中分配試題。分配過(guò)程不會(huì)改變塊分布，同時(shí)需要同時(shí)滿足難度分布和評(píng)價(jià)目標(biāo)分布的要求。具體操作如下：

第一步：設(shè)定相關(guān)參數(shù)：

數(shù)組TBlock[]為各塊中未分配的小題數(shù)量，初始值為塊分配中構(gòu)建的“考核內(nèi)容，題型”分布表。

數(shù)組TSco[]仍為各題型中每小題的分值，此為常數(shù)數(shù)組；

數(shù)組PDif[]為難度分布概率，其初始值為難度的目標(biāo)分布：

數(shù)組PAO[]為評(píng)價(jià)目標(biāo)分布概率，其初始值為評(píng)價(jià)目標(biāo)的目標(biāo)分布。

第二步：從最后一個(gè)塊開(kāi)始，分別按照PDif[]和PAO[]的概率分布，隨機(jī)分配塊內(nèi)題目，同時(shí)TBlock[]數(shù)組相應(yīng)位置數(shù)值－1，PDif[]數(shù)組和PAO[]數(shù)組相應(yīng)位置減去相應(yīng)題目的TSeo[]數(shù)值。

第三步：重復(fù)上述操作，直至某塊對(duì)應(yīng)的TBlock[]單元的數(shù)值為零。

第四步：對(duì)前一個(gè)塊執(zhí)行第二步和第三步的操作。

第五步：當(dāng)TBlock[]數(shù)組中的所有數(shù)值均為零時(shí)，算法完成。

執(zhí)行上述步驟后，可以得到一份符合題型分布、考核內(nèi)容分布、難度分布和評(píng)價(jià)目標(biāo)分布的四維命題細(xì)目表，此時(shí)可以進(jìn)入組卷階段。

3按照細(xì)目表組卷階段

制作命題細(xì)目表是本組卷策略十分重要的一環(huán)，組卷階段的任務(wù)就是按照編制好的細(xì)目表抽取試題組卷。抽取方法可采用查詢后抽取的方式進(jìn)行操作，即組卷系統(tǒng)從題庫(kù)中查詢符合細(xì)目表要求的試題作為備選，以不重復(fù)考核知識(shí)點(diǎn)為原則隨機(jī)抽取試題組卷。當(dāng)題庫(kù)按照細(xì)目表完成試題抽取任務(wù)后，輸出并打印試卷，組卷完成。如果在抽取試題過(guò)程中發(fā)現(xiàn)沒(méi)有滿足某些屬性要求的試題，可以局部調(diào)整細(xì)目表后重新組卷。

三總結(jié)

基于命題細(xì)目表的二階段組卷策略有效地降低了隨機(jī)搜索組卷策略和回溯算法組卷策略在搜索試題時(shí)的盲目性，大幅度提高了組卷的成功率；同時(shí)，該算法還可以根據(jù)命題細(xì)目表快速搜索試題并組卷，有利于大規(guī)模計(jì)算機(jī)化考試和網(wǎng)絡(luò)考試，這是遺傳算法組卷策略所不能做到的，因?yàn)槠湫枰M(jìn)行大規(guī)模的并行計(jì)算工作。

本組卷策略的優(yōu)勢(shì)在于，它是基于多維命題細(xì)目表構(gòu)建而成的，可以很好地保證試卷的難度控制和考核目標(biāo)分布，有利于提高試卷的效度，只要保證了題庫(kù)試題的容量和多樣性，完全可以命制出具有較高專家水平的試卷。而且，第一階段制作的細(xì)目表可以重復(fù)利用，使用同一雙向細(xì)目表可以命制不同的試卷，因此可以提高題庫(kù)的使用效率。同時(shí)，對(duì)不同的課程，可定制不同的細(xì)目表要求，滿足用戶多樣化需求?？傊?，該組卷策略符合現(xiàn)代考試的特點(diǎn)，是一種非常實(shí)用的組卷技術(shù)。

本組卷策略在計(jì)算機(jī)技術(shù)方面的優(yōu)勢(shì)在于，抽取題目過(guò)程與制作細(xì)目表過(guò)程可同時(shí)進(jìn)行，提高計(jì)算機(jī)的并行效率。同時(shí)，在計(jì)算機(jī)的空閑時(shí)間也可執(zhí)行制作細(xì)目表的操作，提高了計(jì)算機(jī)的使用效率。最后，本組卷策略僅需使用重復(fù)查詢的算法即可實(shí)現(xiàn)滿意的組卷結(jié)果，有效縮短了組卷時(shí)間，有利于實(shí)現(xiàn)大規(guī)模計(jì)算機(jī)化考試和網(wǎng)絡(luò)考試。

但是，執(zhí)行本組卷策略時(shí)還應(yīng)注意，其對(duì)題庫(kù)中題目多樣性的要求較高，理論上，命題細(xì)目表中的任意位置都需有符合屬性要求的試題才可較好地完成組卷過(guò)程。此外，由于目前國(guó)家大型考試中無(wú)法施行試測(cè)，因此對(duì)試題的難度只能使用專家估計(jì)的方式進(jìn)行，避免入庫(kù)試題屬性的主觀性是比較困難的，如果某些試題的預(yù)估屬性不夠客觀，組卷的合理性就會(huì)受到影響，因此在實(shí)際操作中，采用多位專家獨(dú)立預(yù)估并取平均值的方式可以盡量減少這種主觀性。最后，本組卷策略仍有改進(jìn)的余地，例如，由于分值較高的題目具有難度相對(duì)較大、考核目標(biāo)相對(duì)較高等特點(diǎn)，對(duì)難度、考核目標(biāo)的分布概率可以進(jìn)行相應(yīng)調(diào)整，可使組卷更加科學(xué)、合理等。