征題模式下自考命題題庫系統(tǒng)建設(shè)研究

農(nóng)民強(qiáng) 陳浪林

摘要：文章探討了自學(xué)考試命題與考試管理中存在的主要問題，提出基于征題模式下自學(xué)考試課程題庫的建設(shè)思路、系統(tǒng)結(jié)構(gòu)及系統(tǒng)建設(shè)內(nèi)容，提出了系統(tǒng)應(yīng)用與發(fā)展思路，對(duì)自學(xué)考試管理部門進(jìn)行課程題庫建設(shè)具有現(xiàn)實(shí)參考意義。

關(guān)鍵詞：征題模式;自學(xué)考試;題庫建設(shè)

中圖分類號(hào)：TP3? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）17-0009-03

終身教育、學(xué)習(xí)型社會(huì)是世界教育未來發(fā)展的大趨勢(shì)，也是我國(guó)教育事業(yè)發(fā)展的重要目標(biāo)。高等教育自學(xué)考試，是對(duì)自學(xué)者進(jìn)行以學(xué)歷考試為主的高等教育國(guó)家考試，是個(gè)人自學(xué)、社會(huì)助學(xué)和國(guó)家考試相結(jié)合的高等教育形式。自學(xué)考試作為終身學(xué)習(xí)和人才成長(zhǎng)的重要渠道，正在引起社會(huì)各界的關(guān)注。目前，廣西的高等教育水平和教育發(fā)達(dá)地區(qū)還有一定差距，因此，大力發(fā)展高等教育自學(xué)考試是提高區(qū)域教育水平一大重要途徑。針對(duì)傳統(tǒng)的自學(xué)考試命題采用分散命題的卷庫形式、效率低，考試難度難以保持一致性的局限性，探討如何充分利用計(jì)算機(jī)技術(shù)、教育測(cè)量學(xué)、統(tǒng)計(jì)學(xué)知識(shí)，建設(shè)一個(gè)具有廣西特色的自考命題題庫系統(tǒng)，推動(dòng)自考命題的標(biāo)準(zhǔn)化，促進(jìn)考教分離，建立以自學(xué)考試為國(guó)民終生教育體系，推動(dòng)建立學(xué)習(xí)型、知識(shí)性社會(huì)，具有重要的現(xiàn)實(shí)意義。

1研究背景

教育信息化作為國(guó)家信息化建設(shè)的重要組成部分和戰(zhàn)略重點(diǎn)，是深化教育領(lǐng)域綜合改革中不可或缺的支撐和推動(dòng)力。隨著工作的全面推進(jìn)，全國(guó)各地主動(dòng)利用信息技術(shù)為教學(xué)模式、學(xué)習(xí)方式的深度變革提供新方法和新動(dòng)力。在教育部頒布的《教育信息化2.0行動(dòng)計(jì)劃》中明確提到“堅(jiān)持融合創(chuàng)新。發(fā)揮技術(shù)優(yōu)勢(shì)，變革傳統(tǒng)模式，推進(jìn)新技術(shù)與教育教學(xué)的深度融合，真正實(shí)現(xiàn)從融合應(yīng)用階段邁入創(chuàng)新發(fā)展階段，不僅實(shí)現(xiàn)常態(tài)化應(yīng)用，更要達(dá)成全方位創(chuàng)新”[1]。教育大數(shù)據(jù)在推動(dòng)教育改革與發(fā)展方面的戰(zhàn)略地位凸顯，以教育大數(shù)據(jù)采集、評(píng)價(jià)分析和應(yīng)用為代表的技術(shù)體系與平臺(tái)已成為推動(dòng)教育改革的重要載體和前沿陣地之一。

自學(xué)考試開考課程超過8000門，分為統(tǒng)考課程和各省自命題課程，其中自命題課程占80%以上[2]。當(dāng)前廣西自命題課程的自學(xué)考試還是以人工命題、紙質(zhì)試卷、集中考試為主，命題管理、考試組織存在工作量大，管理復(fù)雜等問題，主要體現(xiàn)在：一是課程題庫尚未實(shí)施，每次考試命題組織工作量大，重復(fù)性高，缺乏科學(xué)性;二是考務(wù)工作量大，閱卷效率低，人工評(píng)分受主客觀因素影響較大;三是考試數(shù)據(jù)分散，匯總和集中低效，無法實(shí)現(xiàn)統(tǒng)一管理;四是考試數(shù)據(jù)分析與評(píng)估方式不夠豐富，反饋給命題老師、命題管理人員及自考考生、教師的考試評(píng)估數(shù)據(jù)不夠全面，考試對(duì)命題、自學(xué)、教學(xué)的作用有待提高。

隨著信息技術(shù)的迅猛發(fā)展，社會(huì)各行業(yè)的工作對(duì)學(xué)歷要求越來越高，越來越多的人，尤其是已經(jīng)工作的人，認(rèn)識(shí)到學(xué)歷的重要性，想通過提升學(xué)歷來充實(shí)自己，提高個(gè)人就業(yè)競(jìng)爭(zhēng)力，高等教育自學(xué)考試就成為重要的選項(xiàng)。網(wǎng)絡(luò)化考試、增加每年考試次數(shù)、降低時(shí)間成本是自學(xué)考試適應(yīng)社會(huì)發(fā)展需求的發(fā)展方向，可以更多、更快地為社會(huì)培養(yǎng)適切型、復(fù)合型的人才。

2建設(shè)思路

系統(tǒng)建設(shè)以全面、便捷、穩(wěn)定、實(shí)用、安全和靈活為指導(dǎo)思想。

2.1 試題庫建設(shè)要與考試大綱為標(biāo)準(zhǔn)，全面覆蓋課程知識(shí)點(diǎn)，指標(biāo)完整規(guī)范

題庫是指大量?jī)?yōu)良試題的集合，采用計(jì)算機(jī)管理題庫有存儲(chǔ)量大、檢索高效、平等性高、安全性強(qiáng)等特點(diǎn)[3]，同時(shí)，課程考試大綱是厘定標(biāo)準(zhǔn)的關(guān)鍵，是課程考試命題的根據(jù)[4]。在題庫建設(shè)的過程中，試題命題必須以考試大綱為標(biāo)準(zhǔn)，以教材為依托，全面覆蓋大綱要求的知識(shí)點(diǎn)。通過系統(tǒng)向課程專家征集課程試題，規(guī)范試題題型、樣式和標(biāo)準(zhǔn)，規(guī)范難度系數(shù)等小題技術(shù)指標(biāo)，為自動(dòng)組卷構(gòu)建好各類基礎(chǔ)指標(biāo)數(shù)據(jù)，能根據(jù)考試評(píng)估反饋信息修正試題指標(biāo)數(shù)據(jù)，保障試題不斷進(jìn)化完善，試題庫內(nèi)容得到不斷豐富和拓展。

2.2 系統(tǒng)要操作便捷，實(shí)用性強(qiáng)，穩(wěn)定性高

參與征題的課程專家通過系統(tǒng)方便地進(jìn)行命題，評(píng)卷、統(tǒng)計(jì)等操作通過瀏覽器即可完成，用戶不需要安裝客戶端軟件、不需要大量培訓(xùn)即可方便快捷地使用。

系統(tǒng)向命題專家提供便捷、實(shí)用的命題操作界面，提供課程試卷參考樣卷，提供各類題型的命題模板，使命題專家用熟悉的方式開展命題工作;為評(píng)卷人員提供形式多樣、操作方便的評(píng)分方式，提供閱卷監(jiān)控與信息反饋功能，能對(duì)閱卷質(zhì)量進(jìn)行實(shí)時(shí)監(jiān)控。

系統(tǒng)以模塊化結(jié)構(gòu)構(gòu)建，確保流程清晰，運(yùn)行維護(hù)簡(jiǎn)單，容錯(cuò)能力強(qiáng)，具備很高的穩(wěn)定性。

2.3 系統(tǒng)要實(shí)現(xiàn)安全性與靈活性相統(tǒng)一

系統(tǒng)可定義多元化的角色，要具備完善的用戶管理功能，對(duì)不同角色能分別授予不同的權(quán)限、功能，同時(shí)要具備完善的操作日志管理功能，可進(jìn)行多種形式的數(shù)據(jù)備份和還原，能保障系統(tǒng)數(shù)據(jù)的可用性、安全性和完整性;系統(tǒng)應(yīng)能靈活適應(yīng)業(yè)務(wù)發(fā)展需求，在保障系統(tǒng)安全的前提下，方便地添加新功能模塊，靈活擴(kuò)充，擴(kuò)展性強(qiáng)。

3建設(shè)內(nèi)容與系統(tǒng)架構(gòu)

建設(shè)內(nèi)容主要有征題系統(tǒng)、考試系統(tǒng)、閱卷與統(tǒng)計(jì)分析三大系統(tǒng)，實(shí)現(xiàn)一個(gè)完整的征題、考試、閱卷、分析閉環(huán)系統(tǒng)，三個(gè)系統(tǒng)之間物理上隔離，系統(tǒng)間只通過系統(tǒng)接口進(jìn)行數(shù)據(jù)交換。系統(tǒng)邏輯結(jié)構(gòu)如圖1。

3.1 征題系統(tǒng)

征題系統(tǒng)包括建立試題庫、生成試卷（組卷）、試題編輯等部分。

1）建立試題庫

建立試題庫時(shí)向課程專家征集課程試題，每份試題以課程考試大綱為依據(jù)，以教材為參考，設(shè)置試題難度系數(shù)等各類指標(biāo)，專家通過征題系統(tǒng)輸入試卷內(nèi)容到題庫中，輸入方式可以是在線輸入，也可以是從word試卷中導(dǎo)入，方式靈活，為出題專家提供各種操作便捷的出題方式。同一課程委托不同課程專家以課程大綱為依據(jù)、按相同的指標(biāo)要求各自出題，建立符合課程要求、內(nèi)容科學(xué)、結(jié)構(gòu)嚴(yán)謹(jǐn)、指標(biāo)統(tǒng)一的課程題庫。隨著課程命題人次的增加，試題庫的題量不斷增加，試題內(nèi)容越來越豐富，逐漸達(dá)成基于征題的題庫建設(shè)目的。

2）生成試卷

生成試卷分為手工組卷、自動(dòng)組卷、隨機(jī)組卷三類。手動(dòng)組卷是人工選擇課程、教材，按課程考試知識(shí)點(diǎn)挑選題庫中的試題加入試卷，系統(tǒng)提供試卷難度系數(shù)、知識(shí)點(diǎn)覆蓋情況等統(tǒng)計(jì)信息;自動(dòng)組卷則根據(jù)選擇的題型、題量、題類、難度等指標(biāo)參數(shù)，由系統(tǒng)自動(dòng)生成試卷;隨機(jī)組卷按自動(dòng)組卷的規(guī)則，從試題庫中直接讀取的試題內(nèi)容即時(shí)組成一份臨時(shí)試卷。

手工組卷、自動(dòng)組卷經(jīng)過審核后加入試卷庫，可用于正式考試等場(chǎng)合;隨機(jī)組卷不須審核，不存入試卷庫，可以用于模擬考試等場(chǎng)合。

3）審核試卷

試卷生成后，必須由不同的課程專家審核，審核通過后保存到試卷庫。試卷庫是電子試卷和紙質(zhì)試卷的試卷來源，電子試卷主要用于網(wǎng)絡(luò)考試，紙質(zhì)試卷主要用于線下集中考試。

3.2 考試系統(tǒng)

考試由考試管理部門統(tǒng)一組織管理，可以分為網(wǎng)絡(luò)考試和傳統(tǒng)紙質(zhì)考試兩種組織形式。紙質(zhì)考試以傳統(tǒng)的線下集中考試為主，網(wǎng)絡(luò)考試基于局域網(wǎng)開展。以下主要探討網(wǎng)絡(luò)考試系統(tǒng)。

1）考試系統(tǒng)的獨(dú)立性保障考試的安全性

網(wǎng)絡(luò)考試系統(tǒng)獨(dú)立于征題系統(tǒng)，兩者間通過系統(tǒng)接口傳遞電子試卷，保障兩個(gè)系統(tǒng)的獨(dú)立性、安全性。此外，網(wǎng)絡(luò)考試在一個(gè)局域網(wǎng)內(nèi)完成，管理端和考試端均與外網(wǎng)物理隔離，杜絕從外網(wǎng)進(jìn)行考試攻擊、破壞或作弊，保障考試的安全。

2）多樣化網(wǎng)絡(luò)試卷保障考試的公平性

網(wǎng)絡(luò)考試時(shí)，在滿足考試總體要求情況下，一個(gè)課程可以提供多套考試試卷，每個(gè)考生隨機(jī)抽取試卷，每個(gè)考生的試卷版面重新組織，使每個(gè)考生拿到來自不同試卷，并且題目順序、答案順序都不盡相同的試卷，在保證同一批次考試內(nèi)容完整相同的前提下，提高試卷生成效率，防范考試作弊，保障考試的規(guī)范性、權(quán)威性、公平性。

3）智能監(jiān)控提升考試管理效率

網(wǎng)絡(luò)考試組織形式除了傳統(tǒng)的組織人工實(shí)施之外，還可以借助人工智能等技術(shù)，大幅減輕考試管理和監(jiān)考過程的工作量，提升考試管理效率。

首先利用AI核驗(yàn)拒絕替考現(xiàn)象。進(jìn)入系統(tǒng)前進(jìn)行人臉身份核驗(yàn)，考生完成人臉身份核驗(yàn)才可以進(jìn)入無紙化考試系統(tǒng)，確保是本人參考;考試過程中，隨機(jī)對(duì)進(jìn)行考生拍照驗(yàn)證，與系統(tǒng)中的人臉照片進(jìn)行對(duì)比檢測(cè)，若有異常，強(qiáng)制考生結(jié)束考試，登記異常情況，向系統(tǒng)發(fā)送異常信息。

其次利用多路監(jiān)測(cè)實(shí)現(xiàn)監(jiān)考自動(dòng)化。采用PC主攝像頭+副攝像頭+共享屏幕三路音視頻實(shí)時(shí)監(jiān)考，杜絕在線考試作弊發(fā)生。具體如下：

考生答題端支持在開始作答前進(jìn)行設(shè)備調(diào)試，考試前調(diào)整副攝像頭到指定的視角;答題時(shí)PC端攝像頭錄像監(jiān)考，實(shí)時(shí)監(jiān)考學(xué)員正面的音視頻，同時(shí)隨機(jī)AI人臉識(shí)別驗(yàn)證考生真實(shí)性;PC端桌面錄屏監(jiān)考，實(shí)時(shí)掌控學(xué)員電腦的屏幕畫面;考試過程副攝像頭全程實(shí)時(shí)監(jiān)考學(xué)員任意視角的音視頻;支持批量推送考試提醒，考試中可對(duì)所有答題中學(xué)員進(jìn)行通知提醒。

考試管理端通過監(jiān)考中心查看實(shí)時(shí)視頻監(jiān)考畫面，三路音視頻一覽無余，考生狀態(tài)隨時(shí)可以監(jiān)控，杜絕作弊可能性。學(xué)員交卷后，視頻按管理規(guī)定的長(zhǎng)時(shí)保存，保障考試過程數(shù)據(jù)的安全性，為考試結(jié)束后隨時(shí)調(diào)取播放和復(fù)盤提供全程數(shù)據(jù)支持。

3.3 閱卷與統(tǒng)計(jì)分析系統(tǒng)

考試完成后，網(wǎng)絡(luò)考試的主、客觀題通過系統(tǒng)接口即可實(shí)現(xiàn)網(wǎng)絡(luò)閱卷;紙質(zhì)考試的客觀題通過答題卡閱讀器讀入并進(jìn)行歸一化處理，可以有效保障計(jì)算機(jī)自動(dòng)評(píng)閱卷的正確率[5]。主觀題通過掃描輸入為電子答卷，實(shí)現(xiàn)紙質(zhì)試卷的網(wǎng)絡(luò)閱卷。網(wǎng)絡(luò)閱卷系統(tǒng)對(duì)客觀題可自動(dòng)閱卷，以下主要探討主題的閱卷。

1）一題多閱，自動(dòng)監(jiān)控，保障閱卷結(jié)果的合理性

自動(dòng)從考生答卷庫中選取考生答卷圖片發(fā)給閱卷老師進(jìn)行批閱卷，閱卷老師可以基于瀏覽器使用閱卷系統(tǒng)進(jìn)行評(píng)分，也可以安裝閱卷App進(jìn)行評(píng)分，閱卷老師通過閱卷系統(tǒng)提交評(píng)閱分?jǐn)?shù)以及批注。同一小題的答卷至少推給兩個(gè)閱卷老師獨(dú)立評(píng)分、批注，系統(tǒng)自動(dòng)監(jiān)控評(píng)分情況，如果出現(xiàn)較大比例的評(píng)分誤差，則由閱卷組長(zhǎng)審核，發(fā)回重新評(píng)分，有爭(zhēng)議的結(jié)果，組織仲裁組進(jìn)行仲裁，保障評(píng)分公正性與可信度。

2）AI輔助評(píng)分，減少人為因素干擾，提升閱卷效率

基于孿生神經(jīng)網(wǎng)絡(luò)和BERT模型等主觀題自動(dòng)評(píng)分技術(shù)的應(yīng)用，使閱卷系統(tǒng)可引入AI輔助評(píng)分功能成為可能[6]。通過對(duì)學(xué)生答案和參考答案進(jìn)行相似度計(jì)算，以閱卷老師評(píng)分的結(jié)果為訓(xùn)練數(shù)據(jù)進(jìn)行評(píng)分學(xué)習(xí)，積累一定量的學(xué)習(xí)樣本后，把AI輔助評(píng)分作為一個(gè)獨(dú)立的閱卷老師對(duì)試卷獨(dú)立評(píng)分，監(jiān)控系統(tǒng)把AI輔助評(píng)分評(píng)出的分?jǐn)?shù)納入評(píng)分監(jiān)控，分?jǐn)?shù)差異在合理范圍內(nèi)則接受，否則進(jìn)入審核、仲裁程序，減少人為因素對(duì)閱卷結(jié)果的影響。

3）多維統(tǒng)計(jì)分析，理清考試狀況，完善題庫建設(shè)，促進(jìn)學(xué)科教學(xué)質(zhì)量提升

閱卷完成后，對(duì)考試情況進(jìn)行統(tǒng)計(jì)分析，如標(biāo)準(zhǔn)分、正確率、區(qū)分度，難度、信度等統(tǒng)計(jì)指標(biāo)，為準(zhǔn)確判斷考試情況提供類型豐富的統(tǒng)計(jì)數(shù)據(jù)、統(tǒng)計(jì)圖表，為考試評(píng)估提供數(shù)據(jù)支持。

結(jié)合歷屆考試數(shù)據(jù)進(jìn)行綜合分析，評(píng)估課程試卷考試變化情況，分析數(shù)據(jù)通過系統(tǒng)接口返回到征題系統(tǒng)，征題系統(tǒng)根據(jù)分析數(shù)據(jù)，對(duì)試題的難度、信度等信息進(jìn)行修正，使試題不斷完善，使征題題庫不斷豐富、完善。

通過深度挖掘數(shù)據(jù)意義，提供多元有效的數(shù)據(jù)，多維度、多層次綜合評(píng)估學(xué)生各科專業(yè)水平，方便主管部門科學(xué)地評(píng)價(jià)自學(xué)考試教學(xué)狀況和教學(xué)質(zhì)量。

4應(yīng)用與展望

征題系統(tǒng)的應(yīng)用，可以減輕考試管理部門命題的管理工作量，不斷增加課程試題規(guī)模，豐富自動(dòng)組卷、手動(dòng)組卷的多樣性，降低試卷的重復(fù)率，提升試卷質(zhì)量。

考試系統(tǒng)的應(yīng)用，可以降低大規(guī)?？荚嚨目紕?wù)成本，節(jié)省人力，保證考務(wù)工作各環(huán)節(jié)質(zhì)量，將極大地提升高等教育教學(xué)自學(xué)考試管理的工作效率，實(shí)現(xiàn)經(jīng)濟(jì)效益和社會(huì)效益雙豐收。

閱卷系統(tǒng)的應(yīng)用，可以多手段促進(jìn)考試公平、公正。隨機(jī)分發(fā)不帶任何考生信息的試題到閱卷老師，閱卷老師獨(dú)立評(píng)分，避免人情分、流水分等人為因素對(duì)閱卷的干擾，監(jiān)督、審核機(jī)制保障了獨(dú)立閱卷的合理性，AI輔助閱卷的加入，則可以極大提高閱卷促效率，促進(jìn)考試的公平、公正。

統(tǒng)計(jì)分析系統(tǒng)的應(yīng)用，可進(jìn)行自動(dòng)、智能、快速的統(tǒng)計(jì)分析，提供內(nèi)容、樣式豐富的統(tǒng)計(jì)報(bào)表，同時(shí)通過統(tǒng)計(jì)信息的反饋，改進(jìn)征題系統(tǒng)中試題庫信息的試題各項(xiàng)指標(biāo)，提高試題的質(zhì)量，實(shí)現(xiàn)命題、考試、教學(xué)相輔相成，共同促進(jìn)質(zhì)量提升，實(shí)現(xiàn)三方共贏的良性循環(huán)。

在未來的應(yīng)用中，在強(qiáng)化安全機(jī)制、管理機(jī)制的前提下，可以把考試系統(tǒng)由局域網(wǎng)拓展到因特網(wǎng)上實(shí)施，同時(shí)加強(qiáng)AI閱卷的訓(xùn)練，提升AI閱卷的準(zhǔn)確率，加大AI閱卷的應(yīng)用，著手AI命題的研究，綜合應(yīng)用人工智能、大數(shù)據(jù)、高速網(wǎng)絡(luò)技術(shù)、教育測(cè)量學(xué)、統(tǒng)計(jì)學(xué)等知識(shí)，實(shí)現(xiàn)無紙化、智能化、網(wǎng)絡(luò)化的自學(xué)考試系統(tǒng)，讓自學(xué)考試不再受時(shí)間、場(chǎng)地等各種制約因素的影響，實(shí)現(xiàn)按時(shí)、按需、按量靈活安排考試，豐富各類綜合型人才的培養(yǎng)渠道，促進(jìn)高等教育自學(xué)考試高質(zhì)量發(fā)展。

參考文獻(xiàn)：

[1]中華人民共和國(guó)教育部.教育信息化2.0行動(dòng)計(jì)劃[Z].2018-04-18.

[2] 楊穎濤.高等教育自學(xué)考試國(guó)家課程庫建設(shè)研究[J].高等繼續(xù)教育學(xué)報(bào)，2019，32（6）：73-77.

[3] 沈鋼，趙曉茫.自學(xué)考試計(jì)算機(jī)題庫管理系統(tǒng)的設(shè)計(jì)與實(shí)踐[J].中國(guó)考試，2014（4）：55-59.

[4] 馮筠.高等教育自學(xué)考試命題質(zhì)量控制因素分析[J].中國(guó)輕工教育，2018（6）：21-24，54.

[5] 范新龍，董奇.網(wǎng)絡(luò)考試系統(tǒng)自動(dòng)評(píng)閱卷的一種處理方案[J].現(xiàn)代計(jì)算機(jī)，2017（22）：36-38，43.

[6] 錢升華.基于孿生網(wǎng)絡(luò)和BERT模型的主觀題自動(dòng)評(píng)分系統(tǒng)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2022，31（3）：143-149.

收稿日期：2021-11-15

基金項(xiàng)目：廣西教育科學(xué)“十三五”規(guī)劃2020年度專項(xiàng)課題《征題模式下自考命題題庫系統(tǒng)的建設(shè)需求研究》（編號(hào)：2020ZJY201）

作者簡(jiǎn)介：農(nóng)民強(qiáng)（1972—），男（苗族），廣西大新人，碩士，講師，主要從事教育信息化研究;陳浪林（1965—），男，廣西陸川人，學(xué)士，高級(jí)工程師，主要從事教育技術(shù)研究。