數(shù)據(jù)賦能課程結(jié)果性評(píng)價(jià)的應(yīng)用研究

周建芳，周 振，張楚俊

（武漢體育學(xué)院 體育工程與信息技術(shù)學(xué)院，武漢 430079）

教育評(píng)價(jià)根據(jù)作用可以分為診斷性評(píng)價(jià)、過程性評(píng)價(jià)（形成性評(píng)價(jià)）和結(jié)果性評(píng)價(jià)（總結(jié)性評(píng)價(jià)）。其中診斷性評(píng)價(jià)是在教學(xué)計(jì)劃執(zhí)行前進(jìn)行的評(píng)價(jià)，是為了了解學(xué)生的學(xué)習(xí)情況，對(duì)學(xué)生學(xué)習(xí)過程中存在的問題進(jìn)行診斷和評(píng)估。過程性評(píng)價(jià)是以改進(jìn)教學(xué)為目的進(jìn)行的教學(xué)評(píng)價(jià)。結(jié)果性評(píng)價(jià)是指在一個(gè)大的學(xué)習(xí)階段、一個(gè)學(xué)期或一門課結(jié)束后對(duì)學(xué)生學(xué)習(xí)效果進(jìn)行的評(píng)價(jià)，是判斷學(xué)生達(dá)到教學(xué)目標(biāo)的評(píng)價(jià)。

結(jié)果性評(píng)價(jià)作為檢驗(yàn)教學(xué)成果最重要的教育評(píng)價(jià)方式，在我國(guó)沿用已久，起著選拔、甄別、鼓勵(lì)競(jìng)爭(zhēng)的作用。例如，課程的期末考試、四六級(jí)考試、中考及高考等各種通過試卷進(jìn)行的考試。但是，結(jié)果性考試執(zhí)行頻率小（在整個(gè)教學(xué)過程中僅執(zhí)行一次），最終表現(xiàn)為一個(gè)考試的分?jǐn)?shù)，評(píng)價(jià)指標(biāo)過于單一和片面，忽視了人的個(gè)性化發(fā)展，越來越無法適應(yīng)新時(shí)代教育事業(yè)內(nèi)涵化、現(xiàn)代化發(fā)展的要求。教育評(píng)價(jià)改革勢(shì)在必行。

2020 年10 月中共中央、國(guó)務(wù)院印發(fā)了指導(dǎo)教育評(píng)價(jià)改革的綱領(lǐng)性文件《深化新時(shí)代教育評(píng)價(jià)改革總體方案》，明確提出“堅(jiān)持科學(xué)有效”的導(dǎo)向，將“改進(jìn)結(jié)果評(píng)價(jià)，強(qiáng)化過程評(píng)價(jià)，探索增值評(píng)價(jià)，健全綜合評(píng)價(jià)”作為改革的重點(diǎn)。隨著信息技術(shù)在教育領(lǐng)域的深度應(yīng)用，通過各種教學(xué)設(shè)備、教學(xué)平臺(tái)能夠采集到大量描述完整教學(xué)過程的教育大數(shù)據(jù)，這些數(shù)據(jù)為新時(shí)代教育評(píng)價(jià)改革提供了重要的技術(shù)支撐和實(shí)踐基礎(chǔ)。基于教育數(shù)據(jù)的教育評(píng)價(jià)得到了長(zhǎng)足的發(fā)展。在很多學(xué)?，F(xiàn)行的課程教育評(píng)價(jià)中，普遍采用形成性評(píng)價(jià)和結(jié)果性評(píng)價(jià)相結(jié)合的方式，更能夠體現(xiàn)評(píng)價(jià)的發(fā)展性和科學(xué)性。其中，結(jié)果性評(píng)價(jià)的代表——期末考試也由原來的線下紙質(zhì)試卷考試遷移到教學(xué)平臺(tái)的信息化考試，從組卷到考試再到閱卷環(huán)節(jié)產(chǎn)生的大量考試數(shù)據(jù)，為改進(jìn)結(jié)果性評(píng)價(jià)提供了新的思路和手段。

一 傳統(tǒng)的結(jié)果性評(píng)價(jià)存在的問題

（一）數(shù)據(jù)單一，難以真實(shí)客觀地對(duì)教學(xué)效果進(jìn)行評(píng)價(jià)

傳統(tǒng)的課程結(jié)果性評(píng)價(jià)主要是采用期末考試的方式進(jìn)行，期末考試分?jǐn)?shù)作為評(píng)價(jià)學(xué)生學(xué)習(xí)效果的依據(jù)。但這個(gè)分?jǐn)?shù)過于單一，難以真實(shí)客觀地評(píng)價(jià)學(xué)生的學(xué)習(xí)效果，同樣也不能根據(jù)班級(jí)學(xué)生的成績(jī)分布評(píng)價(jià)教師的教學(xué)效果。

（二）試卷的質(zhì)量評(píng)價(jià)數(shù)據(jù)獲取和處理較為困難

由于期末考試是對(duì)整門課程的綜合性考察，而且必須在限定的時(shí)間內(nèi)完成，試卷的科學(xué)性評(píng)價(jià)從以下幾個(gè)方面來評(píng)價(jià)。

覆蓋面：試卷中的試題是否覆蓋了教學(xué)大綱的要求，并突出重難點(diǎn)。

難度：試卷的難易程度要適中，整套試卷中不同難度題目的分布要適中。

區(qū)分度：試題對(duì)考試者的真實(shí)水平的區(qū)分度。區(qū)分度越大越好。

題量飽滿度：試卷中的題量是否飽滿，中等學(xué)生能否在限定的考試時(shí)間內(nèi)完成答題。

在缺乏信息技術(shù)支持的前提下，試卷的質(zhì)量取決于教師自身對(duì)教學(xué)大綱的理解、對(duì)學(xué)情的充分了解及對(duì)教學(xué)工作的責(zé)任心。

（三）學(xué)生無從反思

尤其是在高等學(xué)校，期末考試的完成意味著一門課程結(jié)課，期末試卷存檔保存。學(xué)生在期末只能拿到一個(gè)期末考試的成績(jī)，至于考試中自己哪些題（知識(shí)點(diǎn)）出錯(cuò)無從得知，無法對(duì)自己在考試中檢驗(yàn)出來的知識(shí)點(diǎn)短板進(jìn)行反思和改進(jìn)，而這一點(diǎn)對(duì)學(xué)生來說十分重要。

以上問題存在的根本原因是考試過程中數(shù)據(jù)的產(chǎn)生、收集、清理及處理缺乏信息化手段支持，人工處理繁瑣緩慢。在將信息技術(shù)與考試過程緊密結(jié)合的前提下，對(duì)產(chǎn)生的大量考試數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，以上問題可以得到全面解決，有效地改進(jìn)結(jié)果性評(píng)價(jià)。

二 數(shù)據(jù)賦能結(jié)果性評(píng)價(jià)改進(jìn)的實(shí)踐

以教育技術(shù)學(xué)專業(yè)21 級(jí)的操作系統(tǒng)原理課程在“學(xué)習(xí)通”平臺(tái)進(jìn)行的期末考試為例，探討了數(shù)據(jù)賦能結(jié)果性評(píng)價(jià)改進(jìn)的實(shí)踐路徑和改進(jìn)效果。

（一）“學(xué)習(xí)通”考試過程各環(huán)節(jié)的功能及相關(guān)數(shù)據(jù)

自2020 年新冠病毒感染疫情“停課不停學(xué)”期間第一次采用“學(xué)習(xí)通”進(jìn)行期末考試以來，一直沿用至今?！皩W(xué)習(xí)通”的考試功能也在持續(xù)改進(jìn)，目前其考試功能及考試過程中搜集的數(shù)據(jù)如下。

題庫(kù)管理。支持智能導(dǎo)入、模板導(dǎo)入和手工輸入的方式建立題庫(kù)。題庫(kù)中的題目可以標(biāo)注知識(shí)點(diǎn)、難度、課程目標(biāo)等信息。這些信息十分重要，是考試前進(jìn)行智能組卷的重要前提。題庫(kù)中的題不僅可供期末考試時(shí)組卷用，也可以供教學(xué)過程中平時(shí)的隨堂練習(xí)、課后作業(yè)用。高質(zhì)量題庫(kù)的重要性不言而喻。

智能組卷。支持智能組卷和手工組卷。其中，智能組卷可以根據(jù)設(shè)定好的組卷策略，從指定題庫(kù)中生成指定數(shù)量的試卷。組卷策略可以設(shè)置根據(jù)章節(jié)、知識(shí)點(diǎn)、難度及課程目標(biāo)進(jìn)行隨機(jī)抽題。采用智能組卷方式組成的試卷質(zhì)量與題庫(kù)的質(zhì)量有關(guān)。比較推薦的組卷方法是先采用智能組卷生成若干套試卷，再選取一套試卷進(jìn)行手工微調(diào)，形成期末考試試卷。組卷完成后，可以對(duì)試卷進(jìn)行封存，避免試卷泄露。

發(fā)布考試?？记鞍l(fā)布考試信息，為這場(chǎng)考試進(jìn)行相關(guān)參數(shù)設(shè)置，包括基礎(chǔ)信息設(shè)置，如考試的開始時(shí)間，結(jié)束時(shí)間，考試時(shí)長(zhǎng)，遲到多久不允許進(jìn)入考試，允許提前多久交卷，考試結(jié)束是否自動(dòng)收卷；防作弊設(shè)置，如題目亂序，選擇題選項(xiàng)亂序防止座位相鄰的同學(xué)抄襲；切屏設(shè)置，對(duì)于學(xué)生的每次切屏，設(shè)置切屏次數(shù)，切屏?xí)r長(zhǎng)的閾值，超過閾值系統(tǒng)向監(jiān)考老師發(fā)送通知；評(píng)分設(shè)置，多選題未選全是否給分；填空題的類型設(shè)置，如設(shè)置為主觀題，需要教師手工批閱，如設(shè)為客觀題，系統(tǒng)自動(dòng)判分，判分時(shí)還可以設(shè)置是否區(qū)分大小寫。

監(jiān)考。學(xué)生在指定教室、指定時(shí)間進(jìn)入考試，監(jiān)考系統(tǒng)根據(jù)考試信息允許學(xué)生進(jìn)入考試，考試過程進(jìn)行隨機(jī)抓拍，詳細(xì)記錄學(xué)生的答題記錄、切屏記錄，對(duì)于切屏次數(shù)、時(shí)長(zhǎng)達(dá)到閾值的向監(jiān)考老師發(fā)出預(yù)警信息，考試結(jié)束后進(jìn)行強(qiáng)制收卷。其中，監(jiān)考過程中生成的學(xué)生答題記錄十分重要，教師可以根據(jù)學(xué)生某道題的答題行為（答題時(shí)長(zhǎng)、答題正確度、是否反復(fù)修改答案等）判斷學(xué)生對(duì)該題涉及知識(shí)點(diǎn)的掌握熟練情況，根據(jù)學(xué)生每道題的平均答題時(shí)間和試卷完成時(shí)間，判斷試卷的題量飽滿度。

閱卷。客觀題系統(tǒng)自動(dòng)閱卷，主觀題由閱卷教師根據(jù)評(píng)分標(biāo)準(zhǔn)進(jìn)行評(píng)分。試卷批閱完成系統(tǒng)生成學(xué)生的小題得分明細(xì)，教師根據(jù)班級(jí)在每個(gè)知識(shí)點(diǎn)上的得失分?jǐn)?shù)分布情況進(jìn)行教學(xué)反思，持續(xù)改進(jìn)教學(xué)效果。

（二）考試數(shù)據(jù)處理

考試過程中產(chǎn)生的數(shù)據(jù)，有些是結(jié)構(gòu)化數(shù)據(jù)，進(jìn)行簡(jiǎn)單的數(shù)據(jù)清洗后就可以用于統(tǒng)計(jì)和分析。例如，智能組卷的組卷策略（命題計(jì)劃表）、考試成績(jī)表（小題得分明細(xì)）。有些數(shù)據(jù)是非結(jié)構(gòu)化的數(shù)據(jù)，例如學(xué)生的答題記錄，系統(tǒng)為每個(gè)學(xué)生產(chǎn)生一個(gè)答題記錄，記錄學(xué)生從進(jìn)入考試到交卷的過程中的所有行為，包括答題、試卷瀏覽、切屏、隨機(jī)抓怕的照片和人臉驗(yàn)證的情況。這些數(shù)據(jù)對(duì)于分析學(xué)生的考試行為和試卷的質(zhì)量比較重要，需要將非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行解析，得到結(jié)構(gòu)化的數(shù)據(jù)后再進(jìn)行統(tǒng)計(jì)分析。

以教育技術(shù)學(xué)專業(yè)21 級(jí)的操作系統(tǒng)期末考試為例，主要考試數(shù)據(jù)如下。

題庫(kù)數(shù)據(jù)：操作系統(tǒng)作為教育技術(shù)學(xué)專業(yè)的軟件基礎(chǔ)課，是一門理論與實(shí)踐相結(jié)合的原理課，學(xué)生要掌握課程相關(guān)的概念、原理、算法，需要在基礎(chǔ)記憶、理解的基礎(chǔ)上強(qiáng)調(diào)知識(shí)的應(yīng)用。在平時(shí)上課的隨堂練習(xí)、課后練習(xí)和期末考試都要用到題庫(kù)中的數(shù)據(jù)。目前該門課程的題庫(kù)數(shù)據(jù)見表1。

表1 題庫(kù)數(shù)據(jù)

試卷結(jié)構(gòu)。采用智能組卷，從題庫(kù)中根據(jù)章節(jié)進(jìn)行隨機(jī)抽題生成若干套試卷，選取其中一套試卷，根據(jù)考試時(shí)間和試卷題量、難度進(jìn)行手工微調(diào)，得到的期末試卷構(gòu)成見表2。

表2 試卷構(gòu)成

答題記錄。答題記錄是系統(tǒng)記錄每一個(gè)考生從進(jìn)入系統(tǒng)開始考試到學(xué)生主動(dòng)交卷或系統(tǒng)自動(dòng)收卷的時(shí)間內(nèi)學(xué)生的全部考試行為，包括人臉驗(yàn)證、答題、試卷瀏覽、抓怕和切屏等信息，以PDF 文件方式輸出。該信息為非結(jié)構(gòu)化數(shù)據(jù)，計(jì)算機(jī)并不能直接統(tǒng)計(jì)分析，需要編寫代碼將PDF 文件讀取為文本、對(duì)文本進(jìn)行解析、轉(zhuǎn)換為Excel 或存入數(shù)據(jù)庫(kù)成為便于計(jì)算機(jī)處理的結(jié)構(gòu)化數(shù)據(jù)。而且在進(jìn)行智能抽卷的過程中設(shè)置了“題目亂序”和“選項(xiàng)亂序”，從答題記錄解析出來的結(jié)構(gòu)化答題記錄中不同學(xué)生試卷的相同題號(hào)對(duì)應(yīng)的題目不一樣，相同題目的選項(xiàng)也不一樣，還需要將答題記錄和試卷數(shù)據(jù)、成績(jī)數(shù)據(jù)集成后將不同試卷中亂序的題目、分?jǐn)?shù)對(duì)齊后再進(jìn)行統(tǒng)計(jì)、分析、處理，得到的結(jié)果才真實(shí)有效。

經(jīng)過處理轉(zhuǎn)換，31 名同學(xué)的考試答題明細(xì)文件中提取出答題記錄5 578 條，切屏記錄81 條，整卷瀏覽修改答案記錄271 條，交卷記錄29 條，強(qiáng)制收卷記錄2條，進(jìn)入考試記錄31 條。

成績(jī)數(shù)據(jù)。完成試卷批閱后，系統(tǒng)會(huì)生成成績(jī)數(shù)據(jù)：每個(gè)學(xué)生的小題得分明細(xì)。根據(jù)小題得分明細(xì)可以算出試題的難度和區(qū)分度，試卷的平均難度和區(qū)分度。

（三）考試數(shù)據(jù)分析結(jié)果

通過對(duì)以上數(shù)據(jù)進(jìn)行收集、清洗、集成后進(jìn)行統(tǒng)計(jì)分析，得到如下結(jié)果。

1 試卷質(zhì)量評(píng)價(jià)

1）覆蓋率：本試卷從題庫(kù)中總計(jì)574 道題中抽取35 道題，從組卷策略可以看出，出題范圍覆蓋教學(xué)大綱中全部章節(jié)，主要知識(shí)點(diǎn)覆蓋90%以上。分值分布與教學(xué)計(jì)劃中教學(xué)時(shí)間安排大致對(duì)應(yīng)，突出重點(diǎn)和難點(diǎn)。

2）難度：難度系數(shù)代表了題目的難易程度。難度系數(shù)越大，題目越容易；難度系數(shù)越小，題目越難。閱卷后根據(jù)小題得分明細(xì)統(tǒng)計(jì)出不同難度的題目在試卷中的分布見表3。

表3 試卷中不同難度題目分布情況

從數(shù)據(jù)中可以看出，太難（0≤P＜0.3）和太容易（0.9≤P≤1）的題目占比較小，中等難度（0.3≤P＜0.9）占比較大，試題難度分布合理，難易程度適中。

3）區(qū)分度：一般認(rèn)為區(qū)分度在0.4 以上具有很好的區(qū)分度，0.15～0.4 區(qū)分度較好，低于0.15 區(qū)分度不好。試卷中不同區(qū)分度的題目分布見表4。整個(gè)試卷具有較好的區(qū)分度。

表4 試卷中不同區(qū)分度試題分布情況

4）題量飽滿度?？荚嚂r(shí)間一般限定為一個(gè)固定的時(shí)間。組卷的時(shí)候要充分考慮題量和時(shí)間之間的匹配度，能夠讓大部分同學(xué)在限定的時(shí)間內(nèi)完成試卷。根據(jù)學(xué)生的答題記錄，統(tǒng)計(jì)出學(xué)生在答題過程中的答題時(shí)間見表5。其中有2 名同學(xué)時(shí)間截止系統(tǒng)自動(dòng)收卷（本實(shí)例中考試時(shí)間為90 min）。整個(gè)試卷的題量較為飽滿。

表5 學(xué)生答題時(shí)間分布

2 評(píng)價(jià)與反饋

結(jié)果性評(píng)價(jià)是檢驗(yàn)教學(xué)效果的最重要的方式?？荚嚁?shù)據(jù)中每個(gè)考生的小題得分明細(xì)可以甄別出每個(gè)學(xué)生對(duì)所學(xué)課程知識(shí)點(diǎn)掌握情況，也可以檢驗(yàn)教師的教學(xué)效果。

1）教學(xué)效果評(píng)價(jià)。在考試試卷的科學(xué)性得到保證，學(xué)生的考試成績(jī)真實(shí)有效的前提下，教師的教學(xué)效果可以通過學(xué)生的成績(jī)分布（表6）進(jìn)行評(píng)價(jià)。期末考試平均分為71 分，成績(jī)分布符合正態(tài)分布。

表6 學(xué)生成績(jī)分布

2）學(xué)生反思。試卷批閱完成后，系統(tǒng)生成的考生試卷電子檔可以發(fā)送給學(xué)生，學(xué)生通過查看試卷反思自己的不足之處。在傳統(tǒng)的紙質(zhì)考試場(chǎng)景下，期末試卷需要存檔保存，只有對(duì)考試分?jǐn)?shù)有疑義的情況下才可以通過辦理手續(xù)查閱自己的試卷。

3）教師持續(xù)改進(jìn)?？荚嚱Y(jié)束后，教師通過每一小題的難度統(tǒng)計(jì)，難度系數(shù)小于0.5 意味著有一半人出錯(cuò)。教師通過查看這些題診斷出問題所在，在下一輪教學(xué)設(shè)計(jì)中針對(duì)存在的問題進(jìn)行教學(xué)設(shè)計(jì)和教學(xué)方法上的調(diào)整，形成持續(xù)改進(jìn)機(jī)制。在本次結(jié)果性評(píng)價(jià)數(shù)據(jù)中發(fā)現(xiàn)，難度系數(shù)小于0.5 的題目，都是需要學(xué)生基于知識(shí)掌握的基礎(chǔ)上，進(jìn)行思辨、判斷、評(píng)價(jià)的題。而這正是布魯姆認(rèn)知目標(biāo)層次中的高階認(rèn)知。對(duì)于根據(jù)算法進(jìn)行計(jì)算的題目，學(xué)生的得分率較高，說明學(xué)生在知識(shí)的理解和應(yīng)用層次掌握較好。在下一輪教學(xué)過程中，要適當(dāng)增加一些分組討論環(huán)節(jié)，學(xué)生在討論過程中可以給出自己的判斷和評(píng)價(jià)，教師加以引導(dǎo)，提高學(xué)生的思辨能力。

三 結(jié)束語

基于學(xué)習(xí)通平臺(tái)的考試功能和考試系統(tǒng)生成的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、集成、統(tǒng)計(jì)及分析之后，與傳統(tǒng)的基于紙質(zhì)試卷的考試對(duì)比，在以下方面可以得到改進(jìn)。

豐富的考試數(shù)據(jù)。通過教學(xué)平臺(tái)進(jìn)行的考試，從試題庫(kù)的建設(shè)與管理、組卷、考試、監(jiān)考和批閱等各個(gè)環(huán)節(jié)都能采集到考試數(shù)據(jù)，為結(jié)果性評(píng)價(jià)的改進(jìn)提供了數(shù)據(jù)支撐，評(píng)價(jià)結(jié)果更加真實(shí)客觀。

試卷的質(zhì)量評(píng)價(jià)有數(shù)據(jù)依據(jù)。覆蓋率、難度、區(qū)分度、試卷題量飽滿度等指標(biāo)的計(jì)算都有相應(yīng)的數(shù)據(jù)支持，而且計(jì)算出來的指標(biāo)可以用來綜合評(píng)價(jià)期末試卷的質(zhì)量。與傳統(tǒng)的“命題（組）教師負(fù)責(zé)，教研室審核”相比較，得到的結(jié)果更加真實(shí)可信。

精準(zhǔn)反饋、持續(xù)改進(jìn)教與學(xué)。學(xué)生通過考試數(shù)據(jù)能夠了解自己本次考試主要是哪些知識(shí)點(diǎn)掌握不牢，及時(shí)進(jìn)行反思和改進(jìn)。教師通過試卷中普遍失分的知識(shí)點(diǎn)進(jìn)行教學(xué)反思，回顧教學(xué)過程中該知識(shí)點(diǎn)講授過程中是否存在教學(xué)設(shè)計(jì)不夠科學(xué)，知識(shí)講授是否不夠透徹，在下一輪教學(xué)中進(jìn)行改進(jìn)。