■ 宋璇 孟海翠 張煒麟
隨著軍隊教育改革的不斷深入,信息化手段越來越成為教育教學(xué)工作的重要手段,影響著教學(xué)領(lǐng)域的各個階段??荚嚬ぷ魃婕鞍踩浴⒈C苄院凸叫?,對于教學(xué)管理人員和教育者也提出了更多的要求,所以以往單一的紙質(zhì)考試在某些方面越來越不適應(yīng)于目前教育信息化的發(fā)展,而市場中出現(xiàn)的在線考試系統(tǒng)在多方面亦不適用于相對封閉的士兵訓(xùn)練機(jī)構(gòu)。本文通過對自開發(fā)的在線考試系統(tǒng)進(jìn)行剖析,使用問卷、訪談、數(shù)據(jù)統(tǒng)計分析等多種形式,總結(jié)目前系統(tǒng)出現(xiàn)的問題,提出新的、更加科學(xué)的在線考試系統(tǒng)功能結(jié)構(gòu)。
在線考試系統(tǒng)包括兩大模塊:考生考試和管理員模塊,前臺主要是考生考試,考生登錄后可直接進(jìn)行測試、提交試卷;后臺主要是管理員模塊,主要是管理員進(jìn)行試題庫、試卷組卷、考場設(shè)置、考生成績處理,由于考試模塊功能相對簡單,本文主要針對管理員模塊進(jìn)行研究。
在線考試系統(tǒng)管理員模塊包括六大功能,系統(tǒng)結(jié)構(gòu)圖如圖1 所示。
圖1 在線考試管理系統(tǒng)模塊結(jié)構(gòu)圖
1.1.1 試題庫管理功能
試題庫管理模塊可支持試題庫導(dǎo)入導(dǎo)出、規(guī)范性檢測、備份還原和簡單的分類分級。如圖2 所示。
圖2 試題庫管理功能圖
1.1.2 組織試卷功能
組織試卷管理模塊可通過從相應(yīng)試題庫中抽題或設(shè)置組卷模式兩種方式靈活組織試卷。
1.1.3 考生管理功能
管理員需選擇相應(yīng)的考試,將考生信息,包括準(zhǔn)考證號、姓名、證件號、專業(yè)、密碼導(dǎo)入系統(tǒng)。
1.1.4 人工判卷功能
人工判卷將主觀題單獨剝離出來,通過機(jī)上閱卷的方式得出成績。
1.1.5 成績管理功能
管理員可將每場或多場考試導(dǎo)出數(shù)據(jù),系統(tǒng)會自動分析每道題目的正確率。
與傳統(tǒng)紙質(zhì)試卷考試不同,在線考試節(jié)省人力、物力,主要需要管理員按照組卷流程,設(shè)置試卷,并導(dǎo)入考生,做好相關(guān)準(zhǔn)備工作。考試程序流程圖如圖3 所示。
圖3 在線考試程序流程圖
在線考試系統(tǒng)在某士兵訓(xùn)練機(jī)構(gòu)應(yīng)用半年以來,主要進(jìn)行士兵共同科目、專業(yè)理論考試,筆者采用問卷調(diào)查的方式,選擇使用過在線考試系統(tǒng)的教育者及教學(xué)管理人員發(fā)放問卷,共發(fā)放35份,回收35 份,回收率100%。
對回收數(shù)據(jù)進(jìn)行分析,35 人中,教員占57%,教學(xué)管理人員占43%,86%人員更傾向于在線考試,14%人員傾向于筆試??梢?,在線考試系統(tǒng)應(yīng)用以來,在使用過程中的優(yōu)勢是比較突出的,無論對教學(xué)管理人員還是教員來說,都是一種更加高效、便捷的考試形式。
2.2.1 在線考試與傳統(tǒng)考試等效性分析
雖然大多數(shù)教員或教學(xué)管理人員傾向于在線考試,但仍有29%人員質(zhì)疑在線考試與傳統(tǒng)考試的等效性,認(rèn)為機(jī)考成績優(yōu)于筆試成績,筆者為驗證在線考試與傳統(tǒng)考試成績是否存在顯著差異,選擇某專業(yè)同一班次、相似課程紙質(zhì)試卷考試成績與在線考試成績,使用R 軟件“meta”程序包中的meta gen()函數(shù)進(jìn)行隨機(jī)效應(yīng)模型下的效應(yīng)量合并發(fā)現(xiàn),在隨機(jī)效應(yīng)模型下,本研究的20 個樣本合并效應(yīng)量Hedges’s g=0.067。依 據(jù) 科 恩(Cohen,1988)提出的效應(yīng)量分析理論,當(dāng)效應(yīng)量在0.2~0.5 時,可認(rèn)為差異較小;當(dāng)效應(yīng)量在0.5~0.8 時,可以認(rèn)為有中等差異;當(dāng)效應(yīng)量大于0.8 時,則認(rèn)為差異很大。本研究的總體效應(yīng)量低于0.1,說明在線考試成績與傳統(tǒng)考試成績相比差異很小。并且合并效應(yīng)量的95%置信區(qū)間均包含零。這表明,從已有研究的元分析結(jié)果看,在線考試與傳統(tǒng)考試成績之間不存在顯著差異,兩者具有等效性。
2.2.2 在線考試系統(tǒng)問題缺陷分析
問題5:對目前使用的在線考試系統(tǒng),你認(rèn)為有哪些缺點亟待解決?數(shù)據(jù)統(tǒng)計見表1。
表1 在線考試系統(tǒng)亟待解決的缺點數(shù)據(jù)統(tǒng)計表
問題6:您覺得該系統(tǒng)還需添加哪些功能?數(shù)據(jù)統(tǒng)計見表2。
表2 添加功能數(shù)據(jù)統(tǒng)計表
在使用過在線考試系統(tǒng)的教員或教學(xué)管理人員中,大多數(shù)人員認(rèn)為在線考試管理系統(tǒng)中,試題庫的建設(shè)尚不體系、完整,分類較為簡單,一定程度上未達(dá)到分類的效果;帶有數(shù)字的選項有很大概率在試題中無法顯示,為在線考試帶來了很多準(zhǔn)備工作上的困難,也為正式考試帶來了可能會出現(xiàn)錯誤的風(fēng)險;組卷模式可選用“從所有試題庫中抽題”“從指定試題庫中抽題”“按組卷模式抽題”,大多數(shù)教員選擇“從指定試題庫中抽題”,教員們反映,這是一種最方便、快捷的組卷方式,這樣抽出的試卷在難度上相同,但獲取不同的試題,與我們常見的大學(xué)英語等級四、六級考試模式類似,但是否是最公正、公平的組卷模式,有待商榷。這時,需要靈活的組卷模式供教員進(jìn)行試用,如從試題庫中組合多套試卷,形成試卷庫等;成績管理功能只能得出每道試題正確率的信息,整體上的合格率、良好率及優(yōu)秀率,更多深入的分析數(shù)據(jù)無法獲取,如從整體分析,錯誤集中出現(xiàn)的位置等,可以給教員提供有跡可循的線索;另外,7 人認(rèn)為在線考試系統(tǒng)“不要再復(fù)雜了”,也能體現(xiàn)出用戶需要管理系統(tǒng)操作流程更加簡化。綜上所述,問題反映集中體現(xiàn)在系統(tǒng)的試題庫管理、試題導(dǎo)入、組織試卷、模擬練習(xí)、成績分析、流程簡化方面,需要根據(jù)用戶需求進(jìn)行優(yōu)化升級。
考務(wù)工作作為士兵訓(xùn)練機(jī)構(gòu)貫穿全年的大項工作,一直致力于形成一套規(guī)范、科學(xué)、準(zhǔn)確、拒絕冗雜的體系化流程,以往繁瑣的出題、組卷、印卷、分發(fā)試卷、閱卷、歸檔流程占據(jù)了大量的時間和精力,在線考試系統(tǒng)的使用無疑為軍隊人員解放雙手提供極其重要的助力,因此,在使用過程中根據(jù)實際不斷優(yōu)化升級,是一項有重大意義的工作。本文通過闡述功能、分析問題、總結(jié)需求,為在線考試系統(tǒng)提供了一種面向用戶、面向?qū)嵺`的更加真實、人性化的發(fā)展線索,筆者將按照功能需求,對管理系統(tǒng)需要優(yōu)化的子功能進(jìn)行具體分析。
目前的試題庫管理只具備添加、修改和刪除功能。從課程理論來講,試題應(yīng)連接具體的專業(yè)、課程和知識點,就目前的試題庫而言,缺乏這樣的連接。因此,優(yōu)化升級的題庫管理結(jié)構(gòu)圖如圖4 所示。
圖4 題庫管理功能結(jié)構(gòu)圖
試題庫建設(shè)依托專業(yè)、課程、知識點的層級管理,其中知識點查詢包括具體知識點、試題難度系數(shù)、試題區(qū)分度等。為增加試題類型豐富性,試題添加首先分類為圖形型試題和文本型試題,同時,為增加試題保密性,對試題查詢進(jìn)行限制,只限管理員可以查詢?nèi)吭囶}信息,普通用戶只能添加和修改試題。
隨著教育教學(xué)信息化的深入,士兵訓(xùn)練機(jī)構(gòu)信息化條件建設(shè)日漸完善,在線學(xué)習(xí)室的設(shè)置為信息化教學(xué)提供了便利,每個專業(yè)都可以在自己的教室進(jìn)行網(wǎng)上學(xué)習(xí),因此在線考試系統(tǒng)增加模擬練習(xí)功能是基于現(xiàn)實的、具備操作性的功能。
模擬練習(xí)功能讓在線考試系統(tǒng)的功能空間延伸至課堂,教員可將該環(huán)節(jié)加入自己的教學(xué)設(shè)計當(dāng)中。該功能應(yīng)支持教員即時加入新題或調(diào)取試題庫中任意試題進(jìn)行當(dāng)堂練習(xí),具體功能結(jié)構(gòu)如圖5 所示。
圖5 模擬練習(xí)功能結(jié)構(gòu)圖
在線考試系統(tǒng)應(yīng)具備成績自動分析功能,從教育教學(xué)管理的實際需求出發(fā),對成績管理功能進(jìn)行設(shè)計,具體功能結(jié)構(gòu)圖如圖6 所示。初步設(shè)計使用的在線考試系統(tǒng)雖然能夠滿足在線考試的基本需求,但在一些功能的使用和處理上仍存在缺陷和問題,本文通過調(diào)查研究、數(shù)據(jù)分析對問題進(jìn)行分析,從而優(yōu)化在線考試系統(tǒng),使其在使用過程中更加有效地獲得成績,優(yōu)化的功能將在下一步得到具體實現(xiàn)。
圖6 成績分析功能結(jié)構(gòu)圖