智能化考試系統(tǒng)組卷評(píng)估研究*

杜向然，吳樹錦，王文清

(天津海運(yùn)職業(yè)學(xué)院，天津　300350)

智能化考試系統(tǒng)組卷評(píng)估研究*

杜向然，吳樹錦，王文清

(天津海運(yùn)職業(yè)學(xué)院，天津300350)

摘要：組卷功能是計(jì)算機(jī)考試系統(tǒng)的核心功能之一。它是以組卷評(píng)估函數(shù)為導(dǎo)向，通過組卷算法從試題庫中抽取出滿足用戶要求的試題。組卷評(píng)估函數(shù)的好壞直接決定了系統(tǒng)組卷質(zhì)量的優(yōu)劣。目前，雖然市場(chǎng)上的考試系統(tǒng)很多，但是組卷質(zhì)量問題和試題庫的后期更新和維護(hù)仍是制約著系統(tǒng)進(jìn)一步發(fā)展的主要障礙之一。本文提出了組卷評(píng)估函數(shù)智能化的方法，它不僅可以節(jié)省大量的人力和物力，更重要的是它可以在沒有教育專家干預(yù)的情況下，通過“自身”學(xué)習(xí)不斷完善評(píng)估函數(shù)的準(zhǔn)確性。

關(guān)鍵詞：考試系統(tǒng)；組卷模型；機(jī)器學(xué)習(xí)；評(píng)估函數(shù)

一、引言

計(jì)算機(jī)考試系統(tǒng)是計(jì)算機(jī)輔助教學(xué)的重要部分之一，它的出現(xiàn)不僅有效地提高了出卷的效率和考試的公平性，而且避免了傳統(tǒng)考試所花費(fèi)巨大的人力和物力。一套完整的考試系統(tǒng)主要包括五個(gè)部分：試題庫模塊、試卷庫模塊、組卷模塊、考試模塊和試卷分析模塊，其中最重要的部分，也是最體現(xiàn)考試系統(tǒng)智能的部分是組卷模塊。組卷模塊的主要功能是通過組卷算法從試題庫中，以評(píng)估函數(shù)為導(dǎo)向快速和準(zhǔn)確地抽取出滿足用戶要求的試題集，它是決定試卷合理與否的關(guān)鍵部分。

計(jì)算機(jī)考試系統(tǒng)的智能化不僅可以使考試系統(tǒng)可以根據(jù)考生的實(shí)際情況動(dòng)態(tài)地調(diào)整考試內(nèi)容和考試難度，而且系統(tǒng)可以通過分析考試結(jié)果不斷調(diào)整試題中的相應(yīng)參數(shù)，從而實(shí)現(xiàn)系統(tǒng)的“自身”完善。目前，智能考試系統(tǒng)的主要集中于組卷算法的研究，如：2009年王鳳蕊實(shí)現(xiàn)了基于差分差分進(jìn)化算法的智能組卷系統(tǒng)；2014年南京航空航天大學(xué)的王友仁和他的研究團(tuán)隊(duì)提出用免疫遺傳算法實(shí)現(xiàn)智能組卷；2011年袁桂霞提出用遺傳算法對(duì)多目標(biāo)的組卷問題實(shí)現(xiàn)求解等?？荚囅到y(tǒng)評(píng)估函數(shù)智能化的研究，目前還處于起步階段。

計(jì)算機(jī)考試系統(tǒng)評(píng)估函數(shù)是通過試題和考試的相關(guān)參數(shù)對(duì)試卷進(jìn)行評(píng)估。如果評(píng)估函數(shù)不準(zhǔn)確很可能導(dǎo)致組卷算法抽取不出理想的試卷，從而使考試結(jié)果不能反映出考生的真實(shí)水平。傳統(tǒng)考試系統(tǒng)中試卷參數(shù)都是由教育專家給出的，如果沒有一個(gè)強(qiáng)大的教育團(tuán)隊(duì)支持的話，考試系統(tǒng)是很難準(zhǔn)確地評(píng)估每張?jiān)嚲淼?，而且這種方式產(chǎn)生的試卷很容易受到人為主觀意識(shí)的影響。考試系統(tǒng)的評(píng)估函數(shù)的智能化可以減少系統(tǒng)開發(fā)對(duì)于教育專家的依賴，從而節(jié)省系統(tǒng)開發(fā)的高額費(fèi)用，降低系統(tǒng)的維護(hù)和更新成本。

本文提出用粒子群算法和遺傳算法對(duì)評(píng)估函數(shù)進(jìn)行優(yōu)化。借助于機(jī)器學(xué)習(xí)的算法，考試系統(tǒng)在沒有人為干預(yù)的情況下不斷完善試題庫中每道試題的屬性，以使評(píng)估函數(shù)可以更好地引導(dǎo)組卷算法抽取出合理的試卷。

二、組卷評(píng)估

組卷是多目標(biāo)、多約束的優(yōu)化問題，它的數(shù)學(xué)描述：假設(shè)在試題庫有n個(gè)候選試題Q1,Q2, …Qn，組卷要求從試題庫中找出滿足m個(gè)約束條件C1C2…Cm，使得目標(biāo)函數(shù)的值最大。

組卷問題的(數(shù)學(xué))模型的建立涉及到試卷的目標(biāo)(評(píng)價(jià))函數(shù)，試題的相關(guān)屬性、屬性的約束條件或范圍和變量說明等等。

(一)組卷目標(biāo)

組卷目標(biāo)是從試題庫中抽取出滿足約束條件的試題集。這些約束條件是由出卷人(教師或?qū)＜?指定的，如試題類型、難度系數(shù)、考點(diǎn)、答題時(shí)間、分值等。組卷目標(biāo)(T)包括信度(R)、效度(V)、試題難度(Dif)和試題區(qū)分度(Dis)，公式表示如下：

T=w1R+w2V+w3Dif+w4Dis

(1)

其中wi是權(quán)重參數(shù)，它表示每個(gè)分量的重要程度。

信度主要考察試卷能夠在多大程度上真實(shí)地反映出應(yīng)試者能力，也可以理解為試卷的可信程度。信度的測(cè)試最常見的是重新測(cè)試法。重新測(cè)試法是指在不同的時(shí)間和不同的地點(diǎn)對(duì)同一批測(cè)試者進(jìn)行多次測(cè)試，測(cè)試結(jié)果之間的比值是試卷的信度。比值在0.9到1之間，表示試卷信度在合理范圍內(nèi)，否則認(rèn)為試卷信度不合理。

試卷效度是判斷試卷內(nèi)容符合教學(xué)大綱要求的程度，它的計(jì)算公式如公式(2)所示。

(2)

其中vij和xij分別表示題庫中第i種題型的第j道題是否滿足教學(xué)大綱要求和是否包含在試卷中，TN表示試卷中的題量。

試卷效度的取值范圍是0到1之間，當(dāng)效度值趨向0時(shí)，表示試卷符合教學(xué)大綱的程度較低；當(dāng)效度值趨向1時(shí)，試卷符合教學(xué)大綱內(nèi)容的程度較高。效度取值是由出題人給出的，合理的取值范圍是在0.8到0.95之間。

試卷難度表示試題的難易程度，它常常用試題的難度系數(shù)與試題分?jǐn)?shù)之積表示。常見的試題難度分為易、較易、中等、較難和難5個(gè)等級(jí)，相關(guān)的系數(shù)分別用d1、d2、d3、d4和d5表示。試卷難度可以表示為試題難度之和與試卷總分?jǐn)?shù)之商，其計(jì)算公式如(3)所示。

(3)

試卷區(qū)分度是試卷區(qū)分應(yīng)試者實(shí)際能力的程度，它是試卷中包含的所有試題的區(qū)分度之和。試卷區(qū)分度和試卷難度之間沒有直接關(guān)系，它是評(píng)價(jià)試卷合理性的重要指標(biāo)之一。試題區(qū)分度的計(jì)算方法是該試題高分?jǐn)?shù)平均值與低分?jǐn)?shù)段平均值之差，它的初始值是由專家給出的。試卷區(qū)分度是試卷中所有試題的區(qū)分度之和，計(jì)算公式如下。

(4)

其中fij表示第i種題型的第j道試題的區(qū)分度。一般情況下，區(qū)分度分成三個(gè)等級(jí)，區(qū)分等級(jí)為k的試題在試卷中的百分比FPk可以通過下式計(jì)算出。

(5)

(二)組卷約束條件

組卷約束條件是決策變量的取值范圍，它是組卷質(zhì)量的重要保證。常見的約束條件包括：題量、總分?jǐn)?shù)、章節(jié)(項(xiàng)目)、考試時(shí)間、知識(shí)點(diǎn)和能力層次等等。這些條件的具體要求如下：

1.題量分布。題量(TN)的計(jì)算公式如公式(6)所示，其中TN表示題量。

(6)

變量xij表示第i種題型的第j道題是否被選中，當(dāng)xij=1時(shí)，表示該題被選中；當(dāng)xij=0時(shí)，表示該題未被選中。

2.總分?jǐn)?shù)的分布。試卷總分?jǐn)?shù)(TS)的計(jì)算公式用公式(7)表示：

(7)

(8)

6.知識(shí)點(diǎn)分布是根據(jù)教學(xué)大綱的內(nèi)容劃分的。對(duì)于一份合理的試卷，知識(shí)點(diǎn)的覆蓋面不僅要廣，而且要詳略得當(dāng)。知識(shí)點(diǎn)的具體比例是由出題人員給出。題庫中的知識(shí)點(diǎn)由矩陣K表示，其中kij表示第i章第j題屬于的知識(shí)點(diǎn)數(shù)。如kij=1表示第i章第j題屬于第一個(gè)知識(shí)點(diǎn)。公式(8)表示試卷中第e個(gè)知識(shí)點(diǎn)Ke的值。

(9)

7.能力層次分布是把教學(xué)內(nèi)容按照不同的能力要求劃分成不同的層次，常見的層次劃分是：了解、(熟悉)理解、掌握和靈活運(yùn)用四個(gè)層次。矩陣P表示不同章節(jié)不同試題的能力層次，Pij取值范圍是從1到4的整數(shù)，分別表示了解、(熟悉)理解、掌握和靈活運(yùn)用。

不同能力層次的試題在試卷中的比例是由出題人給定的，計(jì)算公式如(9)所示。

(10)

8.曝光度約束

試題曝光度是指試題使用的次數(shù)，它是衡量試題有效性和保密性的重要指標(biāo)。試題的曝光度越小證明該試題越少被使用，這樣的試題更能考察出學(xué)生的真實(shí)水平。試卷的曝光度是試題曝光度之和，常用公式(13)表示。

(11)

其中eij第i種題型的第j道試題的曝光度。

9.約束條件中的試卷難度和試卷區(qū)分度與目標(biāo)函數(shù)中的概念和數(shù)學(xué)表示相同，限定條件也是有出題人或教育專家給定的。

三、智能優(yōu)化算法

考試系統(tǒng)的試卷評(píng)估模塊的需要在(上面提到)9個(gè)因素的限定下，通過目標(biāo)函數(shù)對(duì)試卷的優(yōu)劣進(jìn)行評(píng)價(jià)。評(píng)估系統(tǒng)中涉及到大量的參數(shù)，這些參數(shù)的初始化一般都是由教育專家憑借自身經(jīng)驗(yàn)給出的，而且它們往往是靜態(tài)的，一旦設(shè)定就不會(huì)改變。智能化的評(píng)估模塊可以借助人工智能的優(yōu)化算法，通過系統(tǒng)本身的不斷學(xué)習(xí)，自動(dòng)地調(diào)整相應(yīng)的參數(shù)。粒子群算法和遺傳算法是優(yōu)化算法中的佼佼者，它們已經(jīng)被成功地應(yīng)用到很多實(shí)際領(lǐng)域中。

(一)粒子群算法

粒子群算法是高效的優(yōu)化算法之一，它模擬鳥群的捕食活動(dòng)實(shí)現(xiàn)目標(biāo)優(yōu)化。粒子群算法的研究工作起步較晚，但其憑借自身的特點(diǎn)，它已經(jīng)成功地應(yīng)用到很多實(shí)際項(xiàng)目中，成為優(yōu)化問題的研究新熱點(diǎn)。

粒子群算法優(yōu)化時(shí)，每個(gè)粒子代表一組需要優(yōu)化的參數(shù)，由多個(gè)粒子組成的粒子群表示優(yōu)化問題的解空間集合。粒子群算法的最終目的是在解空間中找到適應(yīng)度最高的粒子，將其作為優(yōu)化問題的最優(yōu)解。粒子群中的每個(gè)粒子包括兩部分信息：位置信息和優(yōu)化速度信息。位置信息由n維向量表示，它表示需要優(yōu)化的參數(shù)。

對(duì)于考試系統(tǒng)而言，位置信息表示組卷約束條件的參數(shù)。每個(gè)粒子的速度與相應(yīng)的位置信息相對(duì)應(yīng)，它用于調(diào)節(jié)每個(gè)粒子的優(yōu)化速度，避免相應(yīng)屬性陷入局部極值。粒子群位置信息和速度信息的更新是通過下列公式實(shí)現(xiàn)的。

S(t+1)=w·S(t)+C1·rand·(LBest-S(t))+C2·rand·(GLBest-S(t))

(12)

L(t+1)=L(t)+S(t+1)

(13)

其中S(t+1)和L(t+1)分別表示第t+1代的粒子位置信息速度信息。LBest是每個(gè)粒子全局極值，它是粒子在更新過程中遇到的位置信息最優(yōu)值。GLBest代表粒子群中最優(yōu)粒子位置信息。參數(shù)C1、C2和rand控制優(yōu)化的速度和方向，這些參數(shù)一般都是靠試驗(yàn)給出答案。

(二)遺傳算法

遺傳算法是一種學(xué)習(xí)算法，它模擬人類的進(jìn)化過程，通過選擇、交叉和變異等操作在假設(shè)空間中尋找最優(yōu)解。算法中每個(gè)染色體代表一組需要優(yōu)化的參數(shù)，常用N維向量表示。多個(gè)染色體構(gòu)成群體。染色體常用二進(jìn)制的編碼方式表示。每一代進(jìn)化完成時(shí)，適應(yīng)度較高的染色體會(huì)被直接進(jìn)入到下一代，而適應(yīng)度較低的染色體會(huì)被淘汰掉。遺傳算法還會(huì)通過遺傳算子決定進(jìn)行交叉和變異的染色體，從而產(chǎn)生下一代的染色體。圖1給出了遺傳算法的標(biāo)準(zhǔn)優(yōu)化過程。

圖1　遺傳算法流程圖

遺傳算法優(yōu)化組卷評(píng)估函數(shù)時(shí)，每個(gè)染色體表示一組組卷約束條件的參數(shù)。每個(gè)染色體的適應(yīng)度通過組卷目標(biāo)函數(shù)計(jì)算。優(yōu)化過程中需要的遺傳算子則需要通過實(shí)驗(yàn)得出。如果現(xiàn)有的遺傳算子的無法滿足組卷評(píng)估的要求，則可以根據(jù)組卷的特點(diǎn)對(duì)遺傳算子進(jìn)行改進(jìn)。種群中交叉和變異的概率也是需要通過實(shí)驗(yàn)得出的。

除了遺傳算法和粒子群算法的以外，還有很多有效的優(yōu)化算法，如蟻群算法、魚群算法等。至于哪個(gè)算法能更加貼近考試系統(tǒng)的特點(diǎn)，需要進(jìn)一步的研究給出答案。

四、總結(jié)

考試系統(tǒng)評(píng)估模塊的智能化不僅可以擺脫系統(tǒng)維護(hù)對(duì)教育專家的依賴，而且可以使考試系統(tǒng)在沒有人為干預(yù)的情況下，通過對(duì)考試結(jié)果的分析實(shí)現(xiàn)系統(tǒng)進(jìn)化。本文從理論上提出用粒子群算法和遺傳算法等優(yōu)化算法實(shí)現(xiàn)考試系統(tǒng)評(píng)估函數(shù)智能化的方法，詳細(xì)地給出了組卷評(píng)估函數(shù)所需要考慮的各項(xiàng)限定因素和組卷目標(biāo)函數(shù)。該方法的建立為考試系統(tǒng)的智能化指明了方向，對(duì)系統(tǒng)智能化的實(shí)現(xiàn)起到指導(dǎo)和促進(jìn)作用。目前，考試系統(tǒng)評(píng)估模塊的智能化研究還處于探索階段，至于哪個(gè)優(yōu)化算法可以更好的提高評(píng)估函數(shù)的精度還需要進(jìn)一步研究。

參考文獻(xiàn)：

[1]杜向然，吳樹錦，王文清.計(jì)算機(jī)組卷算法分析[J].天津職業(yè)學(xué)院聯(lián)合學(xué)報(bào)，2015，(05).

[2]應(yīng)繼儒,胡立新,龍毅等.試題庫隨機(jī)選題數(shù)學(xué)模型的構(gòu)建及實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用,2000,(01).

[3]王鳳蕊,王文宏,潘全科.基于差分進(jìn)化算法的智能組卷研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2009,(08).

[4]王友仁,張砦,崔江,姚睿,儲(chǔ)劍波.智能組卷系統(tǒng)的建模與算法研究[J].系統(tǒng)工程理論與實(shí)踐，2014，(09).

[5]袁桂霞.自動(dòng)組卷的建模和仿真研究[J].計(jì)算機(jī)仿真，2011，(11).

[6]王萌,唐培和,李春貴.基于改進(jìn)遺傳算法的智能組卷研究[J].計(jì)算機(jī)應(yīng)用與軟件,2008,(02).

[7]張志堯,陳欣,張彤.評(píng)估考試質(zhì)量的數(shù)學(xué)模型[J].天津醫(yī)科大學(xué)學(xué)報(bào),2001,(02).

[8]王亞敏，冀俊忠.基于粒子群優(yōu)化的考試時(shí)間安排問題的求解算法[J].計(jì)算機(jī)應(yīng)用，2009,(06).

[9]袁桂霞.自動(dòng)組卷的建模和仿真研究[J].計(jì)算機(jī)仿真,2011，(11).

[10]朱明,王俊普.一種智能組卷方法的研究與實(shí)現(xiàn)[J].微小型計(jì)算機(jī)開發(fā)與應(yīng)用，1997，(05).

[11]羅毅.基于知識(shí)點(diǎn)-難度比例的組卷算法研究[J].武漢理工大學(xué)學(xué)報(bào)，2009，(10).

Research on Test Paper Organizing Evaluation of Intelligent Examination System

DU Xiang-ran, WU Shu-jin, WANG Wen-qing

(TianjinMaritimeCollege,Tianjin, 300350)

Abstract:Test paper organizing function is one of core functions of computer-based examination system. With test paper organizing evaluation function as orientation, and through test paper organizing algorithm, it is to extract the question items meeting the user requirements from the question bank. The test paper organizing function directly determines the test paper organizing quality of system. Currently, although there are many examination systems in the market, the test paper quality problem and the later upgrading and maintenance of question bank are still the main barriers which restrict the further development of systems. This paper presents the method to intelligentize the test paper organizing evaluation function. It can save lots of manpower and material resources, and more importantly, it is able to continuously perfect the accuracy of evaluation function through “self” learning without the interference of education specialists.

Key words:examination system; test paper organizing model; machine learning; evaluation function

收稿日期：2015-10-30

作者簡(jiǎn)介：杜向然(1982-)，男，天津人，天津海運(yùn)職業(yè)學(xué)院信息工程系講師，碩士研究生，主要研究方向是人工智能、機(jī)器學(xué)習(xí)與機(jī)器博弈。

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1673-582X(2016)05-0059-06

*天津海運(yùn)職業(yè)學(xué)院教育教學(xué)改革研究項(xiàng)目《基于J2EE體系結(jié)構(gòu)的智能組卷系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)》，項(xiàng)目編號(hào)201305。