基于自動(dòng)評(píng)分技術(shù)的高中信息科技考試機(jī)考系統(tǒng)設(shè)計(jì)

袁德玲 羅雙虎

摘要：該文根據(jù)高中學(xué)業(yè)水平考試“信息科技”科目的教學(xué)情況和考試需求，設(shè)計(jì)了機(jī)考系統(tǒng)的主要架構(gòu)和功能，闡述了操作題自動(dòng)評(píng)分技術(shù)的三種策略，并對(duì)未來(lái)研究和實(shí)踐應(yīng)用的方向進(jìn)行了展望。

關(guān)鍵詞：機(jī)考系統(tǒng);信息科技;自動(dòng)評(píng)分

中圖分類號(hào)：TP311 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）32-0139-02

1 概述

機(jī)考是指利用計(jì)算機(jī)硬件和軟件來(lái)共同完成考試設(shè)計(jì)和組織實(shí)施的一種考試方式。在世界范圍內(nèi)，基于計(jì)算機(jī)的考試已經(jīng)很普遍，如美國(guó)的TOEFL（檢定非英語(yǔ)為母語(yǔ)者的英語(yǔ)能力考試）[1]、GRE（美國(guó)研究生入學(xué)能力測(cè)試）[2]等。而我國(guó)的證書(shū)考試領(lǐng)域，多個(gè)項(xiàng)目也在逐步采用機(jī)考，如注冊(cè)會(huì)計(jì)師考試[3]、司法考試[4]等?！靶畔⒖萍肌笨颇渴菄?guó)家實(shí)施高中學(xué)業(yè)水平考試制度后，被納入考試范疇的一門與計(jì)算機(jī)基礎(chǔ)知識(shí)和操作密切相關(guān)的課程，為了充分體現(xiàn)計(jì)算機(jī)教育教學(xué)的特色，在考試中，上機(jī)操作環(huán)節(jié)必不可少，因此，為考試設(shè)計(jì)適合的機(jī)考系統(tǒng)，顯得至關(guān)重要。然而，上機(jī)操作環(huán)節(jié)所產(chǎn)生的考生答案，卻給教師評(píng)卷帶來(lái)極大的難題。有利的是，實(shí)施機(jī)考后，數(shù)據(jù)變得結(jié)構(gòu)化，可以為開(kāi)展標(biāo)準(zhǔn)一致、穩(wěn)定公平的計(jì)算機(jī)自動(dòng)評(píng)分奠定基礎(chǔ)。本文針對(duì)以上問(wèn)題，對(duì)信息科技考試的機(jī)考系統(tǒng)與自動(dòng)評(píng)分策略進(jìn)行設(shè)計(jì)，并對(duì)未來(lái)研究方向進(jìn)行展望。

2 考試系統(tǒng)的設(shè)計(jì)

信息科技考試機(jī)考系統(tǒng)的設(shè)計(jì)、構(gòu)建和應(yīng)用水平，決定著考試的成敗。按照信息科技科目的初始教學(xué)和考試設(shè)計(jì)，除了計(jì)算機(jī)基礎(chǔ)知識(shí)以外，還有三個(gè)選考模塊，在教學(xué)和考試中，都涉及具體的應(yīng)用軟件，如：算法與程序設(shè)計(jì)的Microsoft Visual Basic6.0，數(shù)據(jù)管理的Microsoft Access 2003，設(shè)計(jì)與創(chuàng)作模塊的Adobe Photoshop CS8.0和Macromedia Flash MX。因此，考試系統(tǒng)必須調(diào)用這些第三方應(yīng)用軟件，讓考生在真實(shí)環(huán)境下作答，且能收集到考生的操作題作答結(jié)果。

在組織管理上，信息科技考試采用考場(chǎng)管理模式，每個(gè)考場(chǎng)為獨(dú)立的管理單位。因此，機(jī)考系統(tǒng)設(shè)計(jì)為局域網(wǎng)版本，采用C/S架構(gòu)，適用于在一個(gè)計(jì)算機(jī)機(jī)房?jī)?nèi)組織考試，分為監(jiān)考端和考生端。監(jiān)考端即監(jiān)考管理子系統(tǒng)，安裝在監(jiān)考計(jì)算機(jī)上，由操作員來(lái)操縱控制考試當(dāng)天所有場(chǎng)次的進(jìn)程，運(yùn)行前必須插入經(jīng)過(guò)統(tǒng)一校時(shí)的時(shí)鐘加密狗，以保證每個(gè)場(chǎng)次的開(kāi)考時(shí)間相同?？忌税惭b在考生使用的計(jì)算機(jī)上，供考生作答選擇題、填空題、操作題等各類題型，要求真實(shí)調(diào)用安裝在考生機(jī)上的應(yīng)用軟件。

2.1 監(jiān)考端主要功能設(shè)計(jì)

（1）監(jiān)考機(jī)應(yīng)有檢測(cè)和報(bào)告網(wǎng)絡(luò)環(huán)境、考生機(jī)軟硬件環(huán)境的功能，確保機(jī)房環(huán)境符合考試要求。

（2）監(jiān)考機(jī)具有系統(tǒng)性和便捷性，并能反映出考試流程的管理界面，即用直觀的方式展示管理界面和相應(yīng)的功能按鈕。

（3）具有遠(yuǎn)程控制、監(jiān)控每一臺(tái)學(xué)生機(jī)的功能，其中必須有：遠(yuǎn)程啟動(dòng)及關(guān)閉所有考生機(jī)的考試系統(tǒng)，可以遠(yuǎn)程重啟、關(guān)閉考生機(jī)，可以監(jiān)控每一臺(tái)考生機(jī)的答題進(jìn)度，可以監(jiān)控每一臺(tái)考生機(jī)的網(wǎng)絡(luò)連接狀況?？梢员O(jiān)控每個(gè)考生的考試情況（如：開(kāi)始登錄、開(kāi)始考試、正常交卷、單機(jī)交卷、備份收卷等信息）。

（4）具有統(tǒng)一發(fā)卷、收卷、控制考試機(jī)運(yùn)行的功能;具有開(kāi)考后規(guī)定時(shí)間內(nèi)禁止交卷的功能和正式開(kāi)考后禁止登錄、未登錄提示標(biāo)記缺考的功能。

（5）能即時(shí)反映出每臺(tái)考生機(jī)的考試狀態(tài)（包含：IP地址、機(jī)器名、考生姓名、登錄狀態(tài)、網(wǎng)絡(luò)狀態(tài)、答題進(jìn)度、交卷狀態(tài)等信息），并根據(jù)登錄狀態(tài)以不同背景顏色顯示。如遇考生機(jī)死機(jī)、重啟等離線時(shí)，應(yīng)用特殊標(biāo)識(shí)清晰地反映出來(lái)。

（6）具有斷點(diǎn)續(xù)考、換座位續(xù)考、單機(jī)收卷、多重備份、考試違規(guī)標(biāo)記并強(qiáng)制收卷等輔助功能，并能最大限度地減少斷點(diǎn)續(xù)考、換座位續(xù)考等發(fā)生異常情況后考生答案和操作的丟失。

（7）考生答卷文件中具有缺考、斷點(diǎn)續(xù)考、換座位續(xù)考、考試違規(guī)等標(biāo)識(shí)功能。

（8）具有非考試時(shí)段進(jìn)行整場(chǎng)考試的限制和管理功能。

（9）能根據(jù)要求，在分發(fā)試卷時(shí)選擇不同的分發(fā)方式，如單雙號(hào)分發(fā)、普通分發(fā)等;考試結(jié)束后，可以對(duì)考生試卷進(jìn)行校驗(yàn)功能，確?？忌嚲淼目捎眯浴?/p>

監(jiān)考端的主要功能如圖1所示。

圖中，虛線框內(nèi)是監(jiān)考端在考試實(shí)施過(guò)程中的主要功能，前期準(zhǔn)備主要是導(dǎo)入考生信息和試卷數(shù)據(jù)，而后期工作主要是數(shù)據(jù)處理與導(dǎo)出，中間的5個(gè)功能模塊是核心功能。

2.2 考生端主要功能設(shè)計(jì)

（1）考生開(kāi)始登錄到開(kāi)始考試前，系統(tǒng)提供界面供考生檢測(cè)鍵盤（包括數(shù)字和符號(hào)區(qū)按鍵）是否正常;具有友好、簡(jiǎn)潔、大方的答題界面，題干有適當(dāng)?shù)淖煮w、字號(hào)，試題間有一定的間距，按鈕風(fēng)格盡量保持一致。

（2）考生做完當(dāng)前題目后，可以退回修改答案。題目在考試時(shí)間內(nèi)，可以多次作答，以最后一次作答為準(zhǔn)。

（3）具有考生不可進(jìn)入本機(jī)操作系統(tǒng)界面的功能（軟件操作題除外），考生進(jìn)入考試系統(tǒng)后，考試系統(tǒng)全屏顯示，除了答題所必需的按鍵和鼠標(biāo)操作外，考試系統(tǒng)應(yīng)屏蔽其他任何操作。

（4）作答操作題時(shí)，考生無(wú)法啟動(dòng)和查看與操作題無(wú)關(guān)的文件和程序。操作題作答完畢，立即返回考生機(jī)主界面。

（5）考生機(jī)能明顯標(biāo)志考生各題答題情況;考生機(jī)與監(jiān)考機(jī)同步計(jì)時(shí)，且在斷點(diǎn)續(xù)考與換座位續(xù)考后也要求做到同步計(jì)時(shí)。

（6）考生機(jī)在裝有各種軟硬件保護(hù)卡情況下能正常運(yùn)行，考生機(jī)在考試過(guò)程中遇網(wǎng)絡(luò)故障能正常運(yùn)行，不影響考生答題，故障排除后可自動(dòng)恢復(fù)連接。

（7）考試系統(tǒng)能夠定時(shí)自動(dòng)保存考生作答答案，也需支持手動(dòng)保存答案的功能，以防答案的丟失;“交卷”按鈕有多次提示的功能，防止誤操作。

（8）在考試臨近結(jié)束時(shí)，能在原時(shí)間顯示基礎(chǔ)上，醒目提示考生剩余時(shí)間。

3 自動(dòng)評(píng)分技術(shù)的策略設(shè)計(jì)

自動(dòng)評(píng)卷系統(tǒng)是基于完全使用計(jì)算機(jī)進(jìn)行自動(dòng)評(píng)分的軟件，只要事先將參考答案、評(píng)分規(guī)則等條件配置好，即可由計(jì)算機(jī)自動(dòng)運(yùn)行，調(diào)取考生的答題文件，根據(jù)設(shè)置好的規(guī)則自動(dòng)賦分，除需技術(shù)人員保障系統(tǒng)運(yùn)行穩(wěn)定外，無(wú)須評(píng)卷教師的參與。

信息科技考試的評(píng)卷基于自動(dòng)評(píng)分技術(shù)，難點(diǎn)在于對(duì)操作題自動(dòng)評(píng)分策略的設(shè)計(jì)上，應(yīng)采用“對(duì)過(guò)程評(píng)判”與“對(duì)結(jié)果評(píng)判”相結(jié)合的方法。具體來(lái)說(shuō)，設(shè)計(jì)了三種判分模式：“以過(guò)程動(dòng)作軌跡判分”“以考生作品結(jié)果與標(biāo)準(zhǔn)操作結(jié)果的相似度判分”和“以輸入輸出值的比對(duì)結(jié)果判分”，主要針對(duì)考生的Photoshop平面作品、Flash動(dòng)畫(huà)作品以及算法程序作品。

3.1 以過(guò)程動(dòng)作軌跡判分

針對(duì)屬性類的操作，主要以過(guò)程動(dòng)作軌跡來(lái)判分，即所要求元素是否存在、所要求屬性是否已設(shè)置、所要求歷史動(dòng)作軌跡是否存在，這些可以通過(guò)檢測(cè)考生提交的原格式作品文件是否存在相應(yīng)屬性、記錄考生在操作作品中所做過(guò)的操作動(dòng)作來(lái)判斷。

3.2 以考生作品結(jié)果與標(biāo)準(zhǔn)操作結(jié)果的相似度判分

考試中另外還有一類考查點(diǎn)，比如指定對(duì)象的大小、位置等，就要通過(guò)與標(biāo)準(zhǔn)操作結(jié)果文件來(lái)對(duì)比了?？梢韵榷ㄎ粯訌堉兴疾鞂?duì)象三個(gè)定位點(diǎn)位置的X、Y坐標(biāo)，再根據(jù)評(píng)分標(biāo)準(zhǔn)指定的冗余范圍，計(jì)算考生作品中相應(yīng)對(duì)象可以容許的坐標(biāo)范圍，最后判斷考生作品中對(duì)象的實(shí)際坐標(biāo)，是否處于允許范圍內(nèi)，根據(jù)具體的評(píng)分標(biāo)準(zhǔn)來(lái)賦予相應(yīng)的分?jǐn)?shù)。

3.3 以輸入輸出值的比對(duì)結(jié)果判分

此種判分方式主要針對(duì)的是編程題，可將命題專家指定的輸入值，導(dǎo)入考生編寫(xiě)的程序中，運(yùn)行考生程序，獲取程序的輸出值，檢驗(yàn)其是否正確。當(dāng)然，在運(yùn)行考生程序前，還會(huì)自動(dòng)先對(duì)其進(jìn)行編譯，若出現(xiàn)編譯報(bào)錯(cuò)，則說(shuō)明程序有語(yǔ)句錯(cuò)誤或其他瑕疵，導(dǎo)致無(wú)法運(yùn)行，直接判定為錯(cuò)誤不得分。這樣的評(píng)分策略，以程序的運(yùn)行結(jié)果為導(dǎo)向，忽略具體實(shí)現(xiàn)路徑，如循環(huán)體，既可以用do while…loop結(jié)構(gòu)，也可以用for…next結(jié)構(gòu)，或其他實(shí)現(xiàn)方式，只要能達(dá)成試題所要求的目標(biāo)即可，給考生保留了較大的發(fā)揮空間。

4 總結(jié)與展望

“信息科技”考試是上海市多年來(lái)在大規(guī)模統(tǒng)一教育考試領(lǐng)域進(jìn)行機(jī)考深度探索的實(shí)例之一，尤其在計(jì)算機(jī)自動(dòng)評(píng)分策略的研究、設(shè)計(jì)和實(shí)踐上，取得了一定的進(jìn)展。然而，基于當(dāng)前每年組織一次大規(guī)模統(tǒng)一考試且考場(chǎng)分散在幾百所學(xué)校的現(xiàn)狀，還未能做到考場(chǎng)環(huán)境的絕對(duì)統(tǒng)一，學(xué)科題庫(kù)的建設(shè)也有待起步;計(jì)算機(jī)自動(dòng)評(píng)分技術(shù)，還有進(jìn)一步提升的空間;也期待能形成系統(tǒng)性的項(xiàng)目實(shí)施管理標(biāo)準(zhǔn)，供其他機(jī)考項(xiàng)目借鑒。這些都是未來(lái)研究和實(shí)踐應(yīng)用的方向。

參考文獻(xiàn)：

[1] 劉燁.TOEFL考試變更方式簡(jiǎn)介[J].出國(guó)與就業(yè)，1999（3）：8.

[2] 潛心.GRE計(jì)算機(jī)考試最新介紹[J].出國(guó)與就業(yè)，1999（8）：22-23，3.

[3] 葉松濤.基于我國(guó)注冊(cè)會(huì)計(jì)師考試改革的研究與探討[J].現(xiàn)代經(jīng)濟(jì)信息，2013（16）：269.

[4] 劉子陽(yáng).5個(gè)考區(qū)將試點(diǎn)司法考試“機(jī)考”[N].法制日?qǐng)?bào)，2017-06-06（1）.

【通聯(lián)編輯：代影】