具有自適應特征的在線考試系統(tǒng)的研究與應用

徐彩云

摘要：自適應考試系統(tǒng)能有效測出應試者的真實能力水平，但題庫質(zhì)量要求高，試題參數(shù)計算復雜，系統(tǒng)實現(xiàn)有一定難度。具有自適應特征的在線考試系統(tǒng)能夠以知識點相關(guān)聯(lián)，融合兩種考試方式的優(yōu)點，實現(xiàn)對應試者真實能力水平的考查。文章對初始選題、自適應選題策略、終止規(guī)則等關(guān)鍵技術(shù)進行了研究，實驗表明該系統(tǒng)測試效果較好。

關(guān)鍵詞：自適應考試；在線考試；在線組卷；選題策略

中圖分類號：TP311

文獻標志碼：A

文章編號：1006-8228（2017）01-30-04

0.引言

在線考試系統(tǒng)憑借評閱準確及時、人為干擾少、公平性強等特點，已經(jīng)逐步替代紙質(zhì)考試。但大部分在線考試系統(tǒng)只是利用計算機對考試過程進行管理與控制，實現(xiàn)自動閱卷，無法突破經(jīng)典測量理論（classic Test Theory，簡稱CCT）。

項目反應理論（Item Response Theory，簡稱IRT）出現(xiàn)后，以IRT為基礎(chǔ)的計算機自適應測試系統(tǒng)（computerized Adaptive Testing，簡稱CAT）采用“因人施測”的基本思想，每個應試者都能接受一組符合自身能力水平的試題進行測試。

與傳統(tǒng)考試相比，CAT具有對應試者的能力評估準確、測試效率高、評估方法公正科學等優(yōu)點。CAT雖然優(yōu)點多，但社會認同度較低，除了試題參數(shù)計算復雜，題庫質(zhì)量要求高之外，以能力值表示的考試結(jié)果認同度低也是重要原因。

本文以知識點關(guān)聯(lián)為基礎(chǔ)，實現(xiàn)一個具有自適應特征的在線考試系統(tǒng)AFOMS（Online ExaminationSystem with Adaptive Features，簡稱AFOMS），避免自適應考試系統(tǒng)的缺點的同時，達到測試應試者真實知識水平的目的。

在設計AFOMS之前，參照CAT通用考試過程模型，設計了自適應性在線考試模型SAFM（SelfAdaptive Features Model，簡稱SAFM）。

1.SAFM的設計

CAT的工作過程如下：系統(tǒng)在測試初始探查階段獲取應試者能力值之后，在考試過程中根據(jù)答題情況動態(tài)地評估應試者的能力值，選取最接近應試者能力值的試題進行施測，直至考試結(jié)束。

SAFM的設計思路：設有初始探查階段，自適應選題施測階段以及測試終止階段。在選題策略方面，以知識點關(guān)聯(lián)關(guān)系，根據(jù)答題情況選取試題進行施測，達到測試目的。

1.1初始探測選題

由教師用戶選定考查的知識點后，設置各題型試題數(shù)量，整體難易度后，系統(tǒng)自動生成一組試題進行施測。在第一部分測試結(jié)束之后，系統(tǒng)自動對第一部分答題情況進行分析統(tǒng)計。

1.2自適應選題策略

基本思想是：分析第一部分考試結(jié)果后，根據(jù)之前某個知識點的試題答題情況，按照難度等級遞增或者遞減的原則來隨機選取下一道關(guān)聯(lián)這個知識點的試題施測，直至考查結(jié)束，實現(xiàn)考查知識點的全覆蓋。在本階段，關(guān)于某個知識點的試題至多只有兩道。

自適應特征選題工作流程如圖1所示。

由圖1可知，第一道題與第二道題的選題策略是保證考試質(zhì)量的核心。

假設第一部分考試中出現(xiàn)的知識點為T（a₁，a₂，a₃......a_x），某個知識點考查的試題為M（M₁，M₂，M₃，M_x），試題對應的難易度為P（P₁，p₂）2，P_x）。

對于某個知識點a_i，關(guān)于知識點a_i的試題集合M，自適應特征考試第一題選題策略如圖2所示。

第一道試題選擇策略簡述如下。

（1）若全部答對，且試題M中存在某一試題M_i難度等級為難，則該知識點考查結(jié)束，考查下一個知識點。

（2）若全部答對，且試題M中不存在試題難度等級為難的試題，選取集合P中的等級最高值P_i，抽取一道關(guān)于知識點a_i難度等級為（p₁+1）的試題進行測試。

（3）若全部答錯，則選取一道關(guān)于知識點ai的難度等級為容易的試題進行測試。

（4）若答錯和答對都有，則記錄答錯題的最高難度等級Pi，選取一道難度等級為（P_i-1）的試題進行測試。

第二道試題選擇策略簡述如下。

（1）若答對N，且R為難，則知識點a_i考查結(jié)束。

（2）若答對N，且R不為難，則選取一道難度等級為（R+1）的試題繼續(xù)測試。

（3）若答錯N，且R不為容易，則選取一道難度等級為（R—1）的試題繼續(xù)測試。

（4）若答錯N，且R為容易，則知識點鞏考查結(jié)束。

1.3終止規(guī)則

過多的測試題目容易導致測試時間過長，測試效率不高。SAFM采用終止策略是：在自適應特征考試部分，關(guān)于某個知識點的試題達到一定數(shù)量即終止考查，考查下一個知識點。

2.AFOMS的設計

2.1 AFOMS的總體結(jié)構(gòu)

AFOMS的系統(tǒng)模型結(jié)構(gòu)如圖4所示。

2.2數(shù)據(jù)庫設計

采用Oracle 10g作為數(shù)據(jù)庫管理系統(tǒng)，設計了—個考試數(shù)據(jù)庫，共建了27個數(shù)據(jù)表。其中主要的數(shù)據(jù)庫表為15個，分別是學生信息表（命名為“STUDENT”）、課程信息表（命名為“LESSON”）、知識點信息表（命名為“KNOWLEDGE”）、題目信息表（命名為“QUESTION”）、考試配置表（命名為“TESTCONFIG”）、試卷難易度表（命名為“NYDTEST”）、第一部分考試知識點表（命名為“PRE_KNOW”）、第一部分考試答題信息表（命名為“PRE_PAPER”）、第一部分考試成績表（命名為“PRE_SCORE”）、第一部分考試分析表（命名為“PRE_RESULT”）、自適應特征考試知識點表（命名為“TEST_KNOW”）、自適應特征考試答題信息表（命名為“PAPER”）、自適應特征考試成績表（命名為“SCORE”）、自適應特征考試分析表（命名為“F_RESULT”）、第一部分考試和自適應特征分析表（命名為“F_RESULT_ALL”）。

主要數(shù)據(jù)表之間的關(guān)系如圖5所示，其中pk表示主鍵，fk表示外鍵。

3.系統(tǒng)測試與分析

系統(tǒng)初步搭建后，兩位考生完成了考試。兩位考生的考試情況如表1所示。對比數(shù)據(jù)來看，第一部分考試答對的試題越多，自適應特征考試的時間相應縮短，收斂速度較快?？紤]到考生心理因素及其他因素，由兩部分考試的答題情況來評定最終成績比較合理。因此考試成績能反映出應試者的知識水平，具有一定的實用性。

4.總結(jié)

為考查應試者知識掌握水平，避免cAT的缺點，設計了以知識點為關(guān)聯(lián)的具有自適應特征的在線考試系統(tǒng)。實驗證明，具有自適應特征的在線考試系統(tǒng)能夠?qū)崿F(xiàn)應試者初始能力評估、自適應選題測試以及知識點的全覆蓋考查?？荚嚱Y(jié)果能夠反映應試者的知識掌握水平。

我們將在未來繼續(xù)對選題策略、題庫結(jié)構(gòu)、知識點體系結(jié)構(gòu)的布局等展開研究。如在題庫中加入主觀題后，存儲結(jié)構(gòu)如何發(fā)生變化；主觀題的評判結(jié)果是否準確及是否會影響選題策略；選題策略如何調(diào)整等。