馬鵬飛 李建軍
省級教育考試機(jī)構(gòu)作為國家教育考試工作的重要一級組織管理部門,承擔(dān)著各類國家教育考試命題的組織實(shí)施。近年來,隨著省級教育考試機(jī)構(gòu)組考職能的拓展,命題任務(wù)逐年增加。在高考綜合改革深入推進(jìn)的背景下,大規(guī)模、高利害的學(xué)業(yè)水平考試(以下簡稱“學(xué)考”)受到社會和廣大考生高度關(guān)注。在新形勢下,命題質(zhì)量和考試安全面臨著新的挑戰(zhàn),傳統(tǒng)的命題組織管理模式已很難適應(yīng)新形勢下命題工作的需要,題庫建設(shè)的重要性和緊迫性愈發(fā)明顯。《國務(wù)院關(guān)于深化考試招生制度改革的實(shí)施意見》和《國務(wù)院辦公廳關(guān)于新時(shí)代推進(jìn)普通高中育人方式改革的指導(dǎo)意見》都明確提出要加強(qiáng)命題能力建設(shè),加快題庫建設(shè),提高命題質(zhì)量[1]??梢哉f,題庫建設(shè)是省級考試機(jī)構(gòu)命題能力建設(shè)的基礎(chǔ)性工作,也是深化考試招生制度改革的迫切要求,更是打造專業(yè)化教育考試機(jī)構(gòu)的必由之路。
掌握全國省級教育考試機(jī)構(gòu)題庫建設(shè)現(xiàn)狀,了解命題組織實(shí)施方式,吸收借鑒兄弟?。ㄊ校┙?jīng)驗(yàn),是做好題庫建設(shè)的基礎(chǔ)。為此,課題組采取調(diào)查問卷、考察走訪等方式,面向全國31 個?。ㄊ校┙逃荚嚈C(jī)構(gòu)開展了廣泛的調(diào)研。
結(jié)果發(fā)現(xiàn),大多數(shù)考試機(jī)構(gòu)尚未采用題庫命題方式(約占60%),命題組織方式一般采取集中入闈命題、分散與集中入闈命題相結(jié)合兩種模式;試題以卷庫方式呈現(xiàn),制作平行試卷,隨機(jī)抽用??荚嚈C(jī)構(gòu)普遍反映這種命題方式入闈時(shí)間長,工作壓力大,安全保密風(fēng)險(xiǎn)逐年增加。主要表現(xiàn)為:命題教師選聘困難,組織管理難度大,命題成本高,試題質(zhì)量把控缺乏有效手段等,對采取題庫命題方式普遍看好。
制約題庫建設(shè)的主要因素包括建設(shè)周期、研發(fā)費(fèi)用、專業(yè)技術(shù)人員配備、題庫管理維護(hù)等。其他諸如題庫功能、題庫建設(shè)重點(diǎn)難點(diǎn)等,考試機(jī)構(gòu)認(rèn)識相對比較清晰,這也反映出了題庫建設(shè)的長期性和復(fù)雜性。對于已采用題庫系統(tǒng)實(shí)施命題的考試機(jī)構(gòu)(約占40%),題庫使用滿意度較高,普遍認(rèn)為題庫建設(shè)是考試機(jī)構(gòu)命題工作方式和管理模式上的巨大變革,是考試機(jī)構(gòu)核心競爭力的體現(xiàn),有助于提高考試機(jī)構(gòu)命題工作組織實(shí)施的能力和水平,具有節(jié)約命題成本、提高命題工作效率、提升命題質(zhì)量和保證命題安全等優(yōu)勢。
從題庫建設(shè)的實(shí)踐考察,隨著互聯(lián)網(wǎng)的普及和信息技術(shù)的飛速發(fā)展,題庫系統(tǒng)不僅應(yīng)用于在線考評、測試、網(wǎng)絡(luò)培訓(xùn)等教育領(lǐng)域,而且拓展到了公務(wù)選拔、職業(yè)技能鑒定、企業(yè)招聘等非教育領(lǐng)域,取得了良好的經(jīng)濟(jì)和社會效益。國外許多專業(yè)考試機(jī)構(gòu)都已建立起了適應(yīng)大規(guī)??荚嚨念}庫系統(tǒng),例如雅思(IELTS)、學(xué) 術(shù) 能 力 評 估 測 試(SAT)、托 福(TOEFL)、國際學(xué)生評估項(xiàng)目(PISA)、研究生管理科學(xué)入學(xué)考試(GMAT)等。國內(nèi)考試機(jī)構(gòu)和行業(yè)部門題庫系統(tǒng)的研究與應(yīng)用也逐步走向成熟。如教育部考試中心的全國英語等級考試(PETS)、財(cái)政部會計(jì)資格評價(jià)中心的全國會計(jì)專業(yè)技術(shù)資格考試等。題庫系統(tǒng)在國內(nèi)外的廣泛應(yīng)用以及在行業(yè)部門考試中的成功實(shí)踐都充分證明了題庫建設(shè)在教育考試領(lǐng)域應(yīng)用的前景。
整體上,省級教育考試機(jī)構(gòu)題庫建設(shè)進(jìn)展不一,程度各異。在題庫建設(shè)的研究和應(yīng)用方面,省級教育考試機(jī)構(gòu)普遍認(rèn)為題庫不僅是儲存各類試題或試卷的“倉庫”,更是一個以編題和組卷為核心,實(shí)現(xiàn)命題工作全流程信息化、規(guī)范化、精細(xì)化和科學(xué)化的管理系統(tǒng)和工作平臺。也就是說,完整意義上的題庫,除了具有錄入、存儲、編輯試題的功能外,還應(yīng)具備智能組卷、查重、數(shù)據(jù)分析反饋等功能[2]。
省級教育考試機(jī)構(gòu)題庫建設(shè)普遍起步較晚,研究和應(yīng)用缺乏深度和廣度,整體水平不高。一是命題工作的組織形式以傳統(tǒng)的集中入闈命題為主,常態(tài)化的命題工作機(jī)制體制還未完全建立;二是題庫建設(shè)缺乏統(tǒng)一規(guī)劃和指導(dǎo),進(jìn)度不一,整體水平差異較大,不能完全適應(yīng)新高考背景下命題工作開展的需要;三是題庫建設(shè)經(jīng)費(fèi)投入不足,相關(guān)專業(yè)人才匱乏,專技術(shù)力量薄弱;四是題庫建設(shè)理論研究滯后,對題庫系統(tǒng)功能、運(yùn)行機(jī)制、工作模式等缺乏深入研究;五是題庫系統(tǒng)實(shí)際運(yùn)用存在短板,題庫系統(tǒng)功能的通用性發(fā)揮不充分。
新高考背景下,學(xué)考分為合格性考試和選擇性考試,考試科目覆蓋國家課程方案規(guī)定的所有科目。因此,題庫建設(shè)必須圍繞考試科目特點(diǎn)、考生群體、考試性質(zhì)等要素,結(jié)合自身命題組織實(shí)施過程中的實(shí)際情況,對照題庫建設(shè)實(shí)踐中的薄弱環(huán)節(jié),以提高命題質(zhì)量為重點(diǎn),以保障命題安全為核心,不斷優(yōu)化題庫建設(shè)思路和實(shí)施路徑,最終建立起與新高考相適應(yīng)的題庫系統(tǒng)。
根據(jù)學(xué)考的性質(zhì)和特點(diǎn),題庫建設(shè)主要是建立覆蓋命題、審題、組卷和考后分析評價(jià)全流程的工作管理平臺,提升考試命題組織和管理的科學(xué)化、標(biāo)準(zhǔn)化、規(guī)范化工作水平。通過題庫管理平臺有效識別、發(fā)掘和培養(yǎng)高水平的命題教師隊(duì)伍。滿足紙筆考試、機(jī)考、網(wǎng)評、機(jī)器自動評卷的命題能力建設(shè),適應(yīng)未來信息化考試的要求。
學(xué)考作為高考綜合改革的重要組成部分,科目覆蓋面廣,考試頻次多,考生數(shù)量龐大,在題庫建設(shè)中應(yīng)遵循以下基本原則:一是先進(jìn)性和實(shí)用性相結(jié)合。系統(tǒng)在設(shè)計(jì)開發(fā)時(shí)應(yīng)充分利用計(jì)算機(jī)技術(shù)發(fā)展的最新成果,保證系統(tǒng)設(shè)計(jì)的先進(jìn)性和適度的超前性,同時(shí)也要考慮題庫使用者的計(jì)算機(jī)操作水平,簡化操作流程,方便使用。二是穩(wěn)定性和安全性相結(jié)合。系統(tǒng)的開發(fā)設(shè)計(jì)應(yīng)遵循軟件開發(fā)的流程和技術(shù)規(guī)范,研發(fā)成果和系統(tǒng)運(yùn)行應(yīng)具有完備的技術(shù)文檔,通過設(shè)置相應(yīng)權(quán)限、角色模塊等保證數(shù)據(jù)的絕對安全和系統(tǒng)的可靠運(yùn)行。三是開放性與可擴(kuò)展性相結(jié)合。在系統(tǒng)的設(shè)計(jì)架構(gòu)基礎(chǔ)上,實(shí)現(xiàn)系統(tǒng)與其他業(yè)務(wù)系統(tǒng)的有效對接,保持系統(tǒng)的開放性和可擴(kuò)展性。
題庫功能是指為了滿足特定命題業(yè)務(wù)開展需要,題庫使用者提出初始化需求,并在題庫軟件系統(tǒng)上賦能實(shí)現(xiàn)的過程。為更好地滿足新高考背景下學(xué)考命題工作需要,省級考試機(jī)構(gòu)題庫系統(tǒng)的建設(shè)應(yīng)聚焦以下基本功能的實(shí)現(xiàn)。
1.用戶管理功能
用戶管理是對題庫系統(tǒng)中不同業(yè)務(wù)流程中涉及的不同角色的管理,主要有兩方面的內(nèi)容:一是對命題參與人員的信息維護(hù)。主要包括命題管理人員、學(xué)科秘書、學(xué)科組長和命題教師等,信息維護(hù)中應(yīng)當(dāng)包含用戶的基本信息,如姓名、年齡、工作單位、職稱、學(xué)科、研究特長等,以便在開展命題工作時(shí)能夠進(jìn)行準(zhǔn)確、快速的人員篩選。二是對命題參與人員的權(quán)限管理。根據(jù)命題工作人員職能分工,在系統(tǒng)中設(shè)置對應(yīng)的角色和權(quán)限,分配相應(yīng)的功能菜單,給予適當(dāng)?shù)臄?shù)據(jù)權(quán)限,同時(shí)對所有命題參與人員在系統(tǒng)中的操作記錄要有詳細(xì)的工作日志。
2.試題管理功能
試題管理是題庫系統(tǒng)的基礎(chǔ),主要包含題庫基礎(chǔ)數(shù)據(jù)管理和試題命制流程管理等。題庫基礎(chǔ)數(shù)據(jù)管理部分,要能夠提供科目、試卷、題型、知識點(diǎn)以及試題擴(kuò)展參數(shù)的配置。對于試題命制流程的管理,則需要與實(shí)際的工作開展相匹配,能夠制定命題計(jì)劃、分配命題任務(wù),支持試題的審校、修改、備注,并能夠?qū)崿F(xiàn)根據(jù)試卷參數(shù)進(jìn)行自動組卷。同時(shí)根據(jù)命題工作的實(shí)際需要,試題管理還需要具備一定的查重功能,能夠?qū)︻}庫的試題進(jìn)行內(nèi)網(wǎng)和外網(wǎng)的查重。
3.組卷管理功能
組卷管理功能是題庫系統(tǒng)的核心功能,也是題庫建設(shè)的重點(diǎn)和難點(diǎn)。組卷功能的設(shè)計(jì)與開發(fā)主要是滿足命題管理人員或?qū)W科專家通過相應(yīng)的組卷規(guī)則來實(shí)現(xiàn)人工組卷和自動組卷的目的。組卷功能應(yīng)依托靈活的組卷規(guī)則,支持根據(jù)知識點(diǎn)、難度、題型、數(shù)量等參數(shù)來組配不同要求的試卷。通過智能組卷,形成高質(zhì)量的平行卷。
4.考試評價(jià)功能
考試評價(jià)屬于題庫的考后功能,主要用于評價(jià)試題的質(zhì)量,驗(yàn)證試題的預(yù)設(shè)參數(shù),反饋命題得失,為后續(xù)的試題命制提供參考,最終達(dá)到提升命題質(zhì)量的目的。由于涉及考后數(shù)據(jù)的回流,考試評價(jià)功能需要支持與評卷系統(tǒng)之間的數(shù)據(jù)對接,基于評卷數(shù)據(jù)重新整理、輸出考后試卷試題的數(shù)據(jù)分析,主要包括兩方面的內(nèi)容:一是考生考試成績數(shù)據(jù)統(tǒng)計(jì),主要包含總分和單科最高、最低、平均分等,用于評價(jià)試卷的整體情況。二是基于單個試題或某一題型的考生答題情況統(tǒng)計(jì)分析,如得分分布、選項(xiàng)比例、實(shí)測難度等,用于計(jì)算試題的信度、效度和區(qū)分度等。
目前,省級教育考試機(jī)構(gòu)的命題組織形式主要包括入闈集中命題和分散命題。入闈集中命題基本采用傳統(tǒng)的卷庫命題方式:試題用word 軟件輸入調(diào)整,打印出來審核、研磨后將修訂結(jié)果錄入該軟件,再手工組卷、排版、定稿。整個過程以人工操作為主,工作繁重,效率不高,容易出錯,也不利于流程環(huán)節(jié)的保密。這種命題方式時(shí)間長,命題效率低,命題成本居高不下,命題質(zhì)量主要依賴命題教師的個人經(jīng)驗(yàn)和主觀判斷。因此,如何建立一個集命題任務(wù)下發(fā)、分配、試題生產(chǎn)、加工、消費(fèi)、反饋評價(jià)為一體的綜合性管理平臺就成了題庫建設(shè)需要解決的首要問題。即由傳統(tǒng)的集中入闈命題轉(zhuǎn)變?yōu)槌B(tài)化征題,由粗放型的人工管理模式轉(zhuǎn)變?yōu)橹悄芑芾?,從而達(dá)到入闈命題和分散命題的有效整合,最終實(shí)現(xiàn)三個轉(zhuǎn)變:一是由傳統(tǒng)的經(jīng)驗(yàn)式命題向科學(xué)化、規(guī)范化命題的轉(zhuǎn)變;二是由手工命題向依托于計(jì)算機(jī)技術(shù)的信息化命題的轉(zhuǎn)變;三是由單一性的考試命題機(jī)構(gòu)向綜合性的考試評價(jià)機(jī)構(gòu)的轉(zhuǎn)變。通過題庫建設(shè),將實(shí)現(xiàn)教育考試機(jī)構(gòu)命題工作全周期的信息化管理,提高命審題的效率,降低命題成本,壓縮入闈時(shí)間,提高命題科研水平,為考試評價(jià)和改革提供決策依據(jù)。
題庫系統(tǒng)應(yīng)具有性良好的穩(wěn)定性,人機(jī)界面友好,操作簡單,易上手;系統(tǒng)錄入具有缺省值、操作提示、自動檢查、自動糾錯功能;具有先進(jìn)的試題和數(shù)據(jù)加密技術(shù),確保試題數(shù)據(jù)安全、保密,不被破解;系統(tǒng)還須具備良好的開放性,可以滿足多任務(wù)、多科目、多種題型的命、審題與題庫建設(shè)的需求。
安全性是題庫系統(tǒng)最基本的要求。在題庫建設(shè)中,必須保證信息安全和系統(tǒng)安全,要對應(yīng)用系統(tǒng)、試題庫、數(shù)據(jù)存儲、訪問控制、權(quán)限管理等各個方面進(jìn)行高可靠性的規(guī)劃和設(shè)計(jì)。因此,在加強(qiáng)入闈命題管理制度建設(shè)的同時(shí),要確保入闈時(shí)工作網(wǎng)絡(luò)獨(dú)立組網(wǎng),系統(tǒng)軟件的運(yùn)行要經(jīng)過嚴(yán)格的授權(quán)并在規(guī)定的時(shí)間內(nèi)使用。對采用分散命題方式的,數(shù)據(jù)傳輸要經(jīng)過高強(qiáng)度加密,不易破解。題庫系統(tǒng)還應(yīng)有完善的數(shù)據(jù)備份與應(yīng)急恢復(fù)機(jī)制,具備完善的日志管理功能,可以根據(jù)需要靈活配置,符合調(diào)查取證要求。最后,要建立一種安全可控的數(shù)據(jù)安全和服務(wù)管理手段,嚴(yán)格控制對數(shù)據(jù)的訪問與修改。
題庫的系統(tǒng)部署需要考慮系統(tǒng)運(yùn)行的場景,因此在部署上需要能夠滿足常態(tài)化征題和封閉入闈命題的需要。一般情況下需要分三臺服務(wù)器部署三套系統(tǒng),分別用于數(shù)據(jù)存儲、常態(tài)化征題和封閉入闈組卷。其中數(shù)據(jù)存儲服務(wù)器僅用于存儲試題數(shù)據(jù),在專門的保密室中單獨(dú)管理,隔離外網(wǎng),可選用塔式服務(wù)器或刀片式服務(wù)器;常態(tài)化征題服務(wù)器主要用于面向命題教師開展常態(tài)化征題工作,需要連接外網(wǎng),可選用塔式服務(wù)器或刀片式服務(wù)器;封閉入闈服務(wù)器主要用于在封閉入闈場景中搭建臨時(shí)局域網(wǎng)絡(luò),需要滿足便攜的要求,可選用2 臺工作站筆記本電腦,一主一備。同時(shí)整個系統(tǒng)在運(yùn)行時(shí),需要支持至少1000 人同時(shí)命題的并發(fā)規(guī)模,確保試題數(shù)據(jù)傳輸?shù)牧鲿澈头€(wěn)定。
題庫建設(shè)專業(yè)性強(qiáng),涉及面廣,是一個系統(tǒng)工程。同時(shí),題庫建設(shè)是一個長期的過程,不可能一蹴而就,需要在實(shí)踐運(yùn)用中不斷發(fā)現(xiàn)問題,解決問題。因此,題庫建設(shè)必須堅(jiān)持問題導(dǎo)向,以命題工作需要為出發(fā)點(diǎn)和落腳點(diǎn),探索適合本省省情和命題工作實(shí)際的題庫建設(shè)思路和方法。