衛(wèi)生統(tǒng)計(jì)學(xué)智能題庫(kù)的設(shè)計(jì)*

中國(guó)醫(yī)學(xué)科學(xué)院醫(yī)學(xué)信息研究所(100020) 胡紅濮 雷行云 栗 佳 魏路通 張愛(ài)超

題庫(kù)概述

1.題庫(kù)概念與發(fā)展

智能題庫(kù)[1](item bank)是以一定的教育測(cè)量理論為基礎(chǔ)，按照測(cè)試目標(biāo)收集編制的量多質(zhì)優(yōu)、附有試題參數(shù)并經(jīng)過(guò)分類編碼的題目的有序集合。它通過(guò)相應(yīng)的數(shù)學(xué)模型對(duì)試題進(jìn)行多項(xiàng)性能指標(biāo)分析，選出符合要求的優(yōu)秀題目，并能夠按照要求調(diào)出所需試題，最終按規(guī)定的條件組合成卷[2]。

我國(guó)的題庫(kù)建設(shè)與國(guó)外相比起步較晚[2]，針對(duì)衛(wèi)生統(tǒng)計(jì)學(xué)學(xué)科特色智能題庫(kù)的研究較少。已有衛(wèi)生統(tǒng)計(jì)學(xué)智能題庫(kù)研究，多為關(guān)注在線教學(xué)平臺(tái)搭建[3]、組卷功能[4]或試題建庫(kù)流程[2]等單個(gè)環(huán)節(jié)的研究，尚缺乏對(duì)衛(wèi)生統(tǒng)計(jì)學(xué)學(xué)科智能題庫(kù)構(gòu)建及功能設(shè)計(jì)的系統(tǒng)性研究。

2.題庫(kù)建設(shè)的重要性

在傳統(tǒng)教學(xué)考核方式中，教師需要花費(fèi)大量的時(shí)間根據(jù)教學(xué)大綱的要求對(duì)試題進(jìn)行甄別、篩選，確定試題標(biāo)準(zhǔn)，完成試卷編排。智能題庫(kù)的建立，可以幫助教師從題庫(kù)中快速尋找合適的試題，通過(guò)輸入簡(jiǎn)單的參數(shù)，由題庫(kù)智能組卷,從而節(jié)省命題時(shí)間、提升出題效率和試卷質(zhì)量[5]。

需求分析

1.試題庫(kù)分析

衛(wèi)生統(tǒng)計(jì)學(xué)智能題庫(kù)需建立在課程教學(xué)大綱基礎(chǔ)上，按照教學(xué)目標(biāo)設(shè)計(jì)。本題庫(kù)的建設(shè)中參考了姜晶梅教授主編的《醫(yī)學(xué)統(tǒng)計(jì)學(xué)基礎(chǔ)》等15本優(yōu)秀教材和教輔資料及其衍生試題、部分重點(diǎn)大學(xué)歷屆考試中總結(jié)的優(yōu)秀試題、教師總結(jié)科研實(shí)際數(shù)據(jù)案例的試題等[6]。題庫(kù)建設(shè)過(guò)程中對(duì)每道題的元數(shù)據(jù)進(jìn)行標(biāo)記，包括：所屬章節(jié)、難易程度、要求掌握的水平、對(duì)應(yīng)的知識(shí)點(diǎn)、參考答案、分值參考等。目前在衛(wèi)生統(tǒng)計(jì)學(xué)課程中，常用到的題目類型包括：名詞解釋、判斷題、選擇題、填空題、簡(jiǎn)答題和計(jì)算分析題等。智能題庫(kù)根據(jù)不同的題型設(shè)置不同的格式進(jìn)行儲(chǔ)存，并設(shè)置對(duì)應(yīng)參數(shù)。

2.試卷分析

應(yīng)用智能題庫(kù)組卷應(yīng)考慮到試卷的信度、效度及區(qū)分度，即被測(cè)試者在測(cè)驗(yàn)中的實(shí)測(cè)值與其真實(shí)能力的一致性，考試內(nèi)容是否能有效地測(cè)量學(xué)生的知識(shí)和能力，以及試題對(duì)學(xué)生不同掌握水平的區(qū)別能力[7]。因此，在組卷時(shí)，智能題庫(kù)需注意以下幾點(diǎn)：試卷范圍和內(nèi)容，各知識(shí)點(diǎn)題目及分值占比；不同難易程度，題目所占比例；不同題型所占比例及分值；題目排序，考慮到學(xué)生答題心理和答題習(xí)慣，題目排序應(yīng)先易后難，分析計(jì)算題靠后；降低重復(fù)率，盡量避開(kāi)往屆出過(guò)的題目[8]。

3.系統(tǒng)管理分析

用戶管理與系統(tǒng)日常維護(hù)是題庫(kù)不可缺少的部分。其中，用戶管理方面需要對(duì)用戶進(jìn)行身份驗(yàn)證，進(jìn)行用戶的添加與刪除，不同身份的用戶設(shè)置不同的權(quán)限，并提供密碼驗(yàn)證與修改，從而加強(qiáng)系統(tǒng)的安全性和試題內(nèi)容的保密性[8]。

系統(tǒng)功能設(shè)計(jì)

本研究智能題庫(kù)設(shè)計(jì)主要采取模塊化的設(shè)計(jì)方法，根據(jù)不同的功能來(lái)進(jìn)行模塊劃分。面向的用戶類型主要為：系統(tǒng)管理員、教師、考務(wù)人員和學(xué)生。主要包括的模塊有：試題配置模塊、題庫(kù)管理模塊、試卷管理模塊、在線考試模塊、評(píng)卷模塊以及用戶管理模塊[8-10]，系統(tǒng)功能架構(gòu)如圖1所示。

1.基礎(chǔ)題庫(kù)建設(shè)

基礎(chǔ)題庫(kù)建設(shè)，主要功能是形成所需的試題資源，在建設(shè)智能題庫(kù)過(guò)程中把優(yōu)選的試題通過(guò)批量導(dǎo)入途徑生成基礎(chǔ)題庫(kù)；題庫(kù)建設(shè)者將匯總的試題根據(jù)教學(xué)目標(biāo)，進(jìn)行去重、歸類、選優(yōu)、重新設(shè)計(jì)并標(biāo)記相應(yīng)參數(shù)，完成基礎(chǔ)題庫(kù)的建設(shè)。

2.試題錄入

該模塊面向用戶為課程教師，其功能包括：

(1)手動(dòng)錄入

系統(tǒng)針對(duì)每種題目類型，設(shè)置相應(yīng)的試題模版，并定義好必要的元數(shù)據(jù)項(xiàng)。教師通過(guò)選擇題目類型，在系統(tǒng)內(nèi)置的試題模版中手工錄入試題及元數(shù)據(jù)，系統(tǒng)檢索基礎(chǔ)題庫(kù)，并顯示類似題目，教師通過(guò)比對(duì)填寫相應(yīng)標(biāo)簽，經(jīng)系統(tǒng)邏輯校驗(yàn)審核后存入數(shù)據(jù)庫(kù)中。

圖1 系統(tǒng)功能架構(gòu)圖

(2)自動(dòng)生成試題

①半自動(dòng)生成。半自動(dòng)生成功能一般用于選擇題、填空題、判斷題等客觀題，教師需要先按照手動(dòng)錄入的方式錄入試題，并在原有正確和錯(cuò)誤選項(xiàng)的基礎(chǔ)上，額外增加一些選項(xiàng)。系統(tǒng)能夠在原有選項(xiàng)的基礎(chǔ)上，根據(jù)該類題型的構(gòu)成規(guī)則生成試題，經(jīng)系統(tǒng)邏輯校驗(yàn)初步審核后，存入題庫(kù)數(shù)據(jù)庫(kù)中。

②基于人工智能的全自動(dòng)生成。教師首先在系統(tǒng)中錄入學(xué)生所需掌握的知識(shí)點(diǎn)，知識(shí)點(diǎn)可以包括概念、定義、公式、統(tǒng)計(jì)方法等多種形式，并對(duì)該條知識(shí)點(diǎn)的元數(shù)據(jù)進(jìn)行定義，包括所屬章節(jié)、重要程度、掌握程度、知識(shí)類型等。軟件利用內(nèi)置的詞庫(kù)和分詞算法，自行對(duì)知識(shí)點(diǎn)進(jìn)行自然語(yǔ)言處理，形成計(jì)算機(jī)可讀取、可理解、可分析的衛(wèi)生統(tǒng)計(jì)學(xué)知識(shí)庫(kù)。隨后，教師通過(guò)選擇某條知識(shí)的考點(diǎn)，并設(shè)置題目類型、所屬章節(jié)、難易程度等基本參數(shù)，系統(tǒng)讀取知識(shí)庫(kù)中的相應(yīng)內(nèi)容，利用內(nèi)置的人工智能算法，自動(dòng)生成對(duì)應(yīng)的題目。自動(dòng)生成試題流程示例：

Ⅰ教師錄入一條概念型知識(shí)“在抽樣研究中，當(dāng)樣本例數(shù)逐漸增多時(shí)，標(biāo)準(zhǔn)誤逐漸減小?！?/p>

Ⅱ系統(tǒng)通過(guò)切詞算法，對(duì)該條知識(shí)進(jìn)行分解，并標(biāo)記可供選擇的考點(diǎn)。

在抽樣研究中，當(dāng)樣本例數(shù)逐漸增多時(shí)，標(biāo)準(zhǔn)誤逐漸減小。

Ⅲ教師選擇“標(biāo)準(zhǔn)誤”考點(diǎn)，并設(shè)置題型為選擇題，系統(tǒng)根據(jù)內(nèi)置詞庫(kù)和算法自動(dòng)生成考題。

“標(biāo)準(zhǔn)誤”在詞庫(kù)中的關(guān)聯(lián)概念為“標(biāo)準(zhǔn)差”；(易混淆概念)

“逐漸減小”在詞庫(kù)中的關(guān)聯(lián)概念為“逐漸增大”；(反義詞)

系統(tǒng)自動(dòng)生成如下題目：

在抽樣研究時(shí)，當(dāng)樣本例數(shù)逐漸增多時(shí)( )

A.標(biāo)準(zhǔn)誤逐漸減小 B.標(biāo)準(zhǔn)差逐漸減小

C.標(biāo)準(zhǔn)誤逐漸增大 D.標(biāo)準(zhǔn)差逐漸增大

3.題庫(kù)管理

該模塊面向用戶為課程教師，其功能包括：

(1)試題瀏覽及查詢

教師可以瀏覽題庫(kù)中的題目，題目對(duì)應(yīng)屬性，及相應(yīng)參考答案。同時(shí)，通過(guò)對(duì)題目參數(shù)進(jìn)行編碼，可以查詢不同屬性對(duì)應(yīng)的題目。例如每道題的前4位數(shù)0101為第一章第一節(jié)。

(2)試題編輯

通過(guò)該功能，教師可以對(duì)題庫(kù)中本人添加的試題內(nèi)容和元數(shù)據(jù)信息進(jìn)行刪除和修改，并填寫編輯理由，提交審核者進(jìn)行審核后修改、刪除操作方可生效。

(3)試題審核

高年資教師、系主任等具有審核權(quán)限的教師可對(duì)其他教師錄入的試題進(jìn)行審核，審核通過(guò)后方可進(jìn)入正式題庫(kù)，未通過(guò)的可直接進(jìn)行修改后進(jìn)入題庫(kù)，或退回錄入修改后再提交審核。

(4)試題統(tǒng)計(jì)

應(yīng)用該功能，教師可以對(duì)題庫(kù)中的題目進(jìn)行統(tǒng)計(jì)分析，了解題庫(kù)中題目的總量以及在不同屬性中的分配，并可查詢不同時(shí)間段更新的題目數(shù)量。

4．試卷管理

該模塊面向用戶為課程教師，其功能包括：

(1)智能組卷

①手動(dòng)組卷。結(jié)合試題查詢?yōu)g覽功能，查詢不同屬性符合要求的試卷，教師手動(dòng)進(jìn)行添加和刪除。此種方法效率較低，不易控制題目總量及占比，常用于輔助經(jīng)驗(yàn)豐富的教師進(jìn)行組卷[9]。

②自動(dòng)組卷。首先對(duì)試卷進(jìn)行參數(shù)設(shè)置，包括總分，各章節(jié)知識(shí)點(diǎn)所占比例與分值(常用的參數(shù)設(shè)置有：均等，或要求掌握程度：掌握>熟悉>了解)，各題型所占比例與分值，試卷的難易度(通過(guò)難易度賦值，輸入相應(yīng)的難度值)，然后系統(tǒng)根據(jù)設(shè)置的參數(shù)從題庫(kù)中抽取相應(yīng)的題目(自動(dòng)規(guī)避知識(shí)點(diǎn)重復(fù)的試題)，進(jìn)行排序。試卷的排序默認(rèn)為名詞解釋、單選題、對(duì)錯(cuò)題、填空題、計(jì)算分析題，由易到難，教師也可根據(jù)自身需求進(jìn)行排序修改。在組卷完成后，可通過(guò)預(yù)覽功能進(jìn)行試卷預(yù)覽。

(2)試卷上傳與下載

已編輯排版的試卷，連同參考答案及試卷參數(shù)一同上傳到服務(wù)器存檔。試卷包括未考過(guò)與已考過(guò)的試卷，一般以word形式輸出。未考過(guò)的試卷，可在下載后進(jìn)行紙質(zhì)試卷考試。對(duì)于已在線考過(guò)的試卷，其信息增加了學(xué)生在此次考試中的成績(jī)及成績(jī)分布，不同分?jǐn)?shù)段人數(shù)統(tǒng)計(jì)，該部分內(nèi)容在考試及評(píng)卷完成后由系統(tǒng)生成。

(3)試卷分析

通過(guò)試卷分析功能，教師可以查看已編輯試卷的參數(shù)，如題量和分值的分布、難易度等，便于教師通過(guò)試卷分析功能控制試卷的質(zhì)量，從而進(jìn)行編輯修改。

5.在線考試(包括考試監(jiān)管)

在線考試模塊供考務(wù)人員和學(xué)生使用，其登錄后系統(tǒng)根據(jù)用戶的不同提供不同的權(quán)限。該模塊具有以下功能：

(1)考務(wù)監(jiān)考

考務(wù)人員可以進(jìn)行人員信息管理，對(duì)在線考試學(xué)生的試卷進(jìn)行監(jiān)控。對(duì)考試中出現(xiàn)的機(jī)器故障，根據(jù)開(kāi)考時(shí)系統(tǒng)為每個(gè)學(xué)生綁定的座序，考務(wù)人員進(jìn)行座序的重新綁定，保障學(xué)生可以重新登錄，并從斷點(diǎn)處繼續(xù)答題。

(2)在線考試

學(xué)生登錄進(jìn)行考試后，系統(tǒng)綁定座序，為鄰座學(xué)生提供不同題目或選項(xiàng)順序的試卷，防止作弊。在考試過(guò)程中，學(xué)生可在界面上看到考試剩余時(shí)間及未答題量，并可對(duì)已答題目進(jìn)行查看和修改，系統(tǒng)自動(dòng)保存?？忌衫糜?jì)算機(jī)上安裝的SPSS等統(tǒng)計(jì)軟件進(jìn)行分析計(jì)算，把結(jié)果輸入到答題框中[11]。教師評(píng)卷后，學(xué)生可登錄查看成績(jī)。

6.智能評(píng)卷

該模塊的用戶為教師。評(píng)卷分為客觀題和主觀題的評(píng)卷?？陀^題由系統(tǒng)自動(dòng)比對(duì)參考答案進(jìn)行評(píng)閱。主觀題在系統(tǒng)自動(dòng)比對(duì)的基礎(chǔ)上可由教師進(jìn)行修改，系統(tǒng)通過(guò)比對(duì)試卷與參考答案中相應(yīng)的得分點(diǎn)進(jìn)行評(píng)閱，但考慮到系統(tǒng)主觀題評(píng)閱可能由技術(shù)帶來(lái)的偏差，可由教師進(jìn)一步修改評(píng)閱結(jié)果。

此外，評(píng)閱結(jié)束后，該模塊還可進(jìn)行試卷成績(jī)分析。系統(tǒng)自動(dòng)統(tǒng)計(jì)學(xué)生成績(jī)及不同分?jǐn)?shù)段人數(shù)分布，不同題目及知識(shí)點(diǎn)答題的正確率。教師通過(guò)瀏覽試卷成績(jī)分析，可了解試卷的考核效果，掌握學(xué)生的學(xué)習(xí)情況。該分析結(jié)果由系統(tǒng)與對(duì)應(yīng)試卷進(jìn)行關(guān)聯(lián)，可在試卷管理模塊查閱。

7.用戶管理

該模塊供系統(tǒng)管理員使用。系統(tǒng)管理員進(jìn)行系統(tǒng)的日常維護(hù)，為用戶提供系統(tǒng)使用的幫助，可為忘記密碼的用戶進(jìn)行密碼修改，進(jìn)行用戶的添加、注冊(cè)和注銷，以及其他用戶信息的修改變動(dòng)等。

結(jié) 語(yǔ)

該智能題庫(kù)是目前正在建設(shè)的北京協(xié)和醫(yī)學(xué)院衛(wèi)生統(tǒng)計(jì)學(xué)智能化教學(xué)體系的一個(gè)重要組成部分，該體系從三個(gè)方面進(jìn)行建設(shè)：(1)構(gòu)建多樣化的知識(shí)體系，形象化展示“抽象的概念”，可視化展示”復(fù)雜的邏輯關(guān)系”，動(dòng)態(tài)顯示”知識(shí)的關(guān)聯(lián)”，從而達(dá)到“降低學(xué)習(xí)難度、增加趣味性”的目的；(2)開(kāi)發(fā)智能工具，研發(fā)APP學(xué)習(xí)軟件、構(gòu)建智能題庫(kù)、建立案例庫(kù)，達(dá)到“促進(jìn)對(duì)知識(shí)的理解、記憶和深化”的目的；(3)搭建交流互動(dòng)平臺(tái)：收集和傳播優(yōu)質(zhì)資源、建立交流互動(dòng)的機(jī)制、提供應(yīng)用和科研指導(dǎo)，達(dá)到“促進(jìn)優(yōu)質(zhì)資源傳播、強(qiáng)化知識(shí)的應(yīng)”的目的。實(shí)現(xiàn)教學(xué)管理的計(jì)算機(jī)化是教學(xué)改革的趨勢(shì)，該智能題庫(kù)的設(shè)計(jì)可為類似學(xué)科題庫(kù)構(gòu)建提供借鑒。在智能題庫(kù)構(gòu)建中，通過(guò)遺傳算法[12]，LT-backfilling算法[9]，基于知識(shí)點(diǎn)的主觀題自動(dòng)評(píng)判技術(shù)[10]，Rijndael 加密算法[10]等方法，將進(jìn)一步提升智能組卷、主觀題評(píng)閱的質(zhì)量[9-10]。