基于學(xué)習(xí)測評數(shù)據(jù)的個性化評價建模與工具設(shè)計研究

牟智佳 李雨婷 彭曉玲

[摘 ? 要] 大量的測評練習(xí)是基礎(chǔ)教育中開展學(xué)習(xí)測評的一種常態(tài)化評價活動，學(xué)習(xí)者由此產(chǎn)生的各類測評數(shù)據(jù)為分析其知識掌握水平和目標(biāo)達成情況提供了數(shù)據(jù)基礎(chǔ)。首先，對個性化評價以及教育測量理論進行了分析，將研究問題與理論的優(yōu)劣進行耦合，確定以布魯姆教學(xué)目標(biāo)分類學(xué)和Q矩陣?yán)碚摓槔碚撝?，以屬性掌握概率方法為算法實現(xiàn)支撐，結(jié)合教育評價的實施過程構(gòu)建了基于學(xué)習(xí)測評數(shù)據(jù)的個性化評價模型。該模型包括教學(xué)目標(biāo)達成情況、知識點掌握程度兩個維度以及知識點掌握度、學(xué)習(xí)風(fēng)險問題點、學(xué)習(xí)目標(biāo)達成度、課程成績四個方面。其次，以江蘇某高中高一50名學(xué)生的學(xué)習(xí)測評數(shù)據(jù)對個性化評價模型進行了數(shù)據(jù)檢驗，測評數(shù)據(jù)包含關(guān)于《解三角形》和《數(shù)列》的六個知識點。最后，在模型構(gòu)建的基礎(chǔ)上設(shè)計了個性化評價工具原型，并進行了UAT測試。研究結(jié)果表明：所構(gòu)建的模型能夠?qū)W(xué)習(xí)者的學(xué)習(xí)結(jié)果進行個性化評價，幫助學(xué)生及時進行具有針對性的補救;相較于認(rèn)知水平，教師更加關(guān)注學(xué)生的知識點掌握程度，其中，學(xué)習(xí)風(fēng)險問題點是師生最關(guān)心的個性化評價數(shù)據(jù);學(xué)生的認(rèn)知水平和知識點的掌握程度正相關(guān)，表明測評數(shù)據(jù)是學(xué)生對知識點內(nèi)化的外顯形式;工具原型在不同維度上的UAT測試平均評價得分為8.834，表明該工具整體接受度較高，可用性較好，為后期工具的技術(shù)實現(xiàn)奠定了基礎(chǔ)。

[關(guān)鍵詞] 測評數(shù)據(jù); 個性化評價; 教學(xué)目標(biāo)分類; Q矩陣?yán)碚? 知識點掌握

[中圖分類號] G434 ? ? ? ? ? ?[文獻標(biāo)志碼] A

[作者簡介] 牟智佳（1987—），男，山東棲霞人。副教授，博士，主要從事教育大數(shù)據(jù)與學(xué)習(xí)分析、信息技術(shù)與課程整合等方面的研究。E-mail：ambitionyt@163.com。

一、研究背景

測量是評價的基礎(chǔ)，評價是對測量結(jié)果教學(xué)意義的闡述。在測量理論指導(dǎo)下，學(xué)習(xí)評價結(jié)果逐漸由籠統(tǒng)測驗分?jǐn)?shù)轉(zhuǎn)向精準(zhǔn)個性化診斷結(jié)果[1]，以此來了解學(xué)習(xí)者認(rèn)知結(jié)構(gòu)與學(xué)習(xí)水平。然而，傳統(tǒng)考試中教師多采用人工計算的方法，對學(xué)習(xí)者成績、班級平均分、排名變化等進行統(tǒng)計分析，往往忽略試卷內(nèi)容和試題作答情況等細節(jié)信息，造成數(shù)據(jù)信息不能得到有效記錄、挖掘和利用。當(dāng)人數(shù)、試題數(shù)及題型過多時，會因其計算時間長、工作負(fù)荷重導(dǎo)致錯誤情況的發(fā)生，影響評價結(jié)果的準(zhǔn)確性和時效性。美國2016國家教育技術(shù)計劃《未來學(xué)習(xí)準(zhǔn)備：重塑技術(shù)在教育中的角色》[2]和我國《教育信息化2.0行動計劃》[3]都強調(diào)，教育應(yīng)依托大數(shù)據(jù)和人工智能技術(shù)，創(chuàng)新完善教育數(shù)據(jù)系統(tǒng)，促進個性化學(xué)習(xí)和教育治理。當(dāng)前，數(shù)據(jù)驅(qū)動學(xué)習(xí)評價逐漸趨向智能化，針對基礎(chǔ)教育考試數(shù)據(jù)收集不全面、分析淺層次、僅以分?jǐn)?shù)論優(yōu)劣的現(xiàn)狀，本研究基于學(xué)生學(xué)習(xí)測評數(shù)據(jù)構(gòu)建個性化測評模型，從不同教學(xué)目標(biāo)達成情況、知識點掌握程度等維度分析學(xué)生的學(xué)習(xí)測評數(shù)據(jù)，進而為學(xué)生和教師提供個性化的評價報告，為各類學(xué)習(xí)平臺實現(xiàn)個性化評價提供有效參考。

二、個性化評價研究現(xiàn)狀分析

為了解近年來國內(nèi)外個性化評價研究的整體狀況，我們對國內(nèi)外相關(guān)文獻進行了梳理和內(nèi)容分析，從而合理把握其整體研究狀態(tài)，洞察其研究現(xiàn)狀，發(fā)現(xiàn)可探索方向和亟待解決的問題。在此基礎(chǔ)上，對個性化評價相關(guān)文獻運用聚類分析及橫縱對比方法發(fā)現(xiàn)目前相關(guān)研究主要集中在以下方面：

（一）教育測量理論及其差異對比研究

教育測量是根據(jù)測驗理論和心理計量學(xué)的原理與方法，對學(xué)生學(xué)業(yè)成績、智力水平、人格特征、品德狀況等教育現(xiàn)象進行量化的過程，主要測量的是學(xué)生心理特征，側(cè)重考查學(xué)生對特定知識、技能的掌握程度，關(guān)注教育對個體產(chǎn)生的影響，具有客觀性、間接性、復(fù)雜性[4]。教育測量領(lǐng)域先后出現(xiàn)了經(jīng)典測量理論、概化理論、項目反應(yīng)理論及認(rèn)知診斷理論等多種理論。其中，經(jīng)典測量理論模型簡單，使用性廣，但是參數(shù)估計依賴于樣本，試題難度和學(xué)生能力水平難以耦合;概化理論使用條件較容易得到滿足且便于控制測量誤差，但是對測量設(shè)計要求較高且容易受隨機誤差的影響;項目反應(yīng)理論對學(xué)生和試題的分析估計準(zhǔn)確，但計算方法復(fù)雜、工作量大，對能力的測量比較籠統(tǒng);認(rèn)知診斷理論可以深入學(xué)生的認(rèn)知過程、加工技能和知識結(jié)構(gòu)層面，但與大腦內(nèi)部加工機制相關(guān)的描述性指標(biāo)難以量化。

（二）個性化評價模型構(gòu)建與系統(tǒng)設(shè)計研究

隨著教育測量的發(fā)展和計算機輔助教學(xué)的應(yīng)用，個性化評價模型構(gòu)建與系統(tǒng)設(shè)計研究引起了教育領(lǐng)域和學(xué)術(shù)領(lǐng)域?qū)＜覍W(xué)者的重視。其中，比較具有代表性的是Yankovskaya等基于三個單棱鏡和兩個單棱鏡的認(rèn)知組件，構(gòu)建了用于評估學(xué)生專業(yè)技能、設(shè)計課程學(xué)習(xí)軌跡的混合診斷智能系統(tǒng)[5]。牟智佳構(gòu)建了基于電子書包的個性化學(xué)習(xí)評價模型，設(shè)計了基于教育大數(shù)據(jù)的個性化評價層次塔，并通過云管理層實現(xiàn)對教育云服務(wù)平臺、云存儲池和云集群計算平臺的調(diào)控和管理，為后面開展個性化評價系統(tǒng)的設(shè)計與開發(fā)奠定了基礎(chǔ)[6]。Hlaoui Bendaly等提出了一個名為Cloud-AWAS的云適應(yīng)工作流電子評估系統(tǒng)，該系統(tǒng)根據(jù)電子評估活動、文件日志和個人信息等方面提取數(shù)據(jù)，創(chuàng)建了為學(xué)習(xí)者個體提供個性化評價的個人資料庫，而且該系統(tǒng)可以無縫集成到任何學(xué)習(xí)管理系統(tǒng)中[7]。

（三）個性化評價的數(shù)據(jù)收集及評價標(biāo)準(zhǔn)研究

學(xué)習(xí)測評數(shù)據(jù)作為學(xué)習(xí)分析的基礎(chǔ)，直接決定學(xué)習(xí)評價的信效度。陳明選等認(rèn)為，學(xué)習(xí)測評數(shù)據(jù)主要包括以知識點為核心的知識點內(nèi)容、類別、難度、多知識點關(guān)系等試題維度的數(shù)據(jù)，以及以學(xué)習(xí)者的作答情況為核心的得分、選項、解題過程等學(xué)習(xí)者維度的數(shù)據(jù)[8]。此外，在網(wǎng)絡(luò)在線學(xué)習(xí)和移動學(xué)習(xí)管理系統(tǒng)中，學(xué)習(xí)測評數(shù)據(jù)還應(yīng)包括在線學(xué)習(xí)時間、學(xué)習(xí)行為點擊次數(shù)、電子檔案袋等[9-10]。在評價標(biāo)準(zhǔn)方面，陳敏等認(rèn)為，不同的學(xué)習(xí)者應(yīng)采用不同的評價方案，即不同的學(xué)習(xí)者的評價維度、內(nèi)容和標(biāo)準(zhǔn)是不同的[11]?；诖耍麄冊O(shè)計了六種個性化的評價方案，以滿足學(xué)生個體差異需求。