基于大數(shù)據(jù)的教育評價研究綜述

萬曉容，朱麗佳，陳 俊，席寧麗

（1.貴州師范大學教育學院；2.貴州師范大學外國語學院，貴州貴陽 550025）

0 引言

大數(shù)據(jù)已成為教育評價研究領(lǐng)域的熱門詞匯，而學界現(xiàn)存關(guān)于大數(shù)據(jù)的定義尚未達成共識。一般而言，大數(shù)據(jù)（Big Data）即巨量的資料，學界普遍認為它具有4V 的特點：①規(guī)模性（Volume），從TB 級別躍升到PB 乃至EB 級別，數(shù)據(jù)總量不斷增長；②多樣性（Variety），數(shù)據(jù)類型繁多，包含結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)，如文本、音視頻等；③高速性（Velocity），數(shù)據(jù)處理速度快，實時滿足用戶的需求，這也是區(qū)別于傳統(tǒng)數(shù)據(jù)的顯著特點；④價值性（Value），對海量數(shù)據(jù)進行分析、處理與集成，快速獲取高價值信息［1］。

當前，大數(shù)據(jù)逐漸深入教育行業(yè)，促使教育評價實踐愈加精準與深入。作為對教育活動現(xiàn)實或潛在價值進行分析并做出判斷的過程［2］，教育評價對打破單一評價類型，打造更具效率、數(shù)據(jù)真實、主體自覺、途徑多元、結(jié)果公平的多元評價生態(tài)具有重要意義［3］。2020 年10 月13 日，《深化新時代教育評價改革總體方案》（以下簡稱《總體方案》）指出，扭轉(zhuǎn)不科學的教育評價導(dǎo)向，強調(diào)利用大數(shù)據(jù)等現(xiàn)代信息技術(shù)，創(chuàng)新評價工具等舉措，破除“唯分數(shù)、唯升學、唯文憑、唯論文、唯帽子”的教育評價痼疾［4］。誠然，大數(shù)據(jù)已成為教育評價變革與創(chuàng)新的重要驅(qū)動力量，帶動了教育評價從傳統(tǒng)的“經(jīng)驗主義”向“數(shù)據(jù)主義”轉(zhuǎn)變，消除了評價過程中的“信息孤島”與“數(shù)據(jù)壁壘”，克服了教育評價認知有限性與模糊性［5］。但在大數(shù)據(jù)驅(qū)動下，大數(shù)據(jù)對教育評價的具體導(dǎo)向如何？教育評價的研究現(xiàn)狀與發(fā)展趨勢是什么？為此，本文對國內(nèi)大數(shù)據(jù)支持下的教育評價現(xiàn)狀進行梳理，為該領(lǐng)域后續(xù)探索提供不同研究視角。

1 數(shù)據(jù)來源與研究方法

1.1 數(shù)據(jù)來源

數(shù)據(jù)來源于CNKI 數(shù)據(jù)庫搜索，時間起始年不限，截止日期為2021 年6 月10 日，主題詞為“大數(shù)據(jù)”或“數(shù)據(jù)驅(qū)動”與“教育評價”，來源類別為北大核心和CSSCI，共檢索期刊113 篇，人工剔除會議、新聞、報告及與研究無關(guān)文獻23篇，最終選取90篇文獻進行分析。

1.2 研究方法

首先利用Citespace 對研究作者、機構(gòu)、關(guān)鍵詞進行可視化分析，然后利用書目共現(xiàn)分析系統(tǒng)（Bicomb2）對關(guān)鍵詞進行詞篇矩陣分析，并將高頻關(guān)鍵詞詞篇矩陣導(dǎo)入SPSS25.0 進行系統(tǒng)聚類，生成高頻關(guān)鍵詞聚類樹圖譜，最后將構(gòu)建的相似矩陣從SPSS 中導(dǎo)出，利用Excel 轉(zhuǎn)換為Ochiai 系數(shù)相異矩陣，再將相異矩陣導(dǎo)入SPSS 進行多維尺度分析，得到教育評價研究趨勢。充分發(fā)揮這3 種軟件的優(yōu)點，互相彌補不足，從而對大數(shù)據(jù)的教育評價應(yīng)用進行較為全面的梳理與分析。

2 研究結(jié)果與分析

2.1 文獻研究類型與數(shù)量分析

通過對文獻樣本內(nèi)容分析發(fā)現(xiàn)，當前研究可分為兩類：①理論分析類（80 篇），從理論視角探討大數(shù)據(jù)下的教育評價路向、理論架構(gòu)、發(fā)展趨勢或教育評價模型框架；②實證研究類（10 篇），基于實驗和大量數(shù)據(jù)開展的實證研究，以探索評價方式、構(gòu)建評價模型、開發(fā)應(yīng)用平臺、系統(tǒng)等為主要內(nèi)容。同時，由期刊年份趨勢圖可知，2013 年以前，教育評價文獻為零，此后學者才陸續(xù)展開研究；2013-2016 年為緩慢增長期；2016 年后，大數(shù)據(jù)、云計算、移動互聯(lián)網(wǎng)、人工智能技術(shù)與教育的深度融合促進了智慧教育的發(fā)展，促使研究者關(guān)注大數(shù)據(jù)與教育的發(fā)展價值，理論分析類步入快速增長階段，而實證研究始終不溫不火，數(shù)量沒有較大突破。

Fig.1 Research types and quantitative analysis of literatures圖1 文獻研究類型與數(shù)量分析

2.2 作者與機構(gòu)分析

利用Citespace 輸出作者可視化分析結(jié)果，時間跨度為“2013-2021”，時間切片跨度為一年，節(jié)點類型選擇“作者”。由圖2（彩圖掃OSID 碼可見，下同）可知，作者整體分布較分散，沒有形成大的合作網(wǎng)絡(luò)。為了更好把控研究的核心團隊與科研規(guī)模，研究將Citespace 中的“Node Types”值設(shè)定為Institution+Author，“Top N”值設(shè)定為30，其他設(shè)置選擇默認值，最終結(jié)果如圖3所示。

由圖3 可知，北京師范大學、華中師范大學、西南大學以及重慶市教育評估院是研究的主陣地。其中北京師范大學有兩個主要團隊：一是以陳麗、王懷波等學者為主的北京師范大學遠程教育研究中心；二是以牟智佳、張志禎等學者為主的北京師范大學教育學部教育技術(shù)學院。華中師范大學的教育學院、國家數(shù)字化學習工程技術(shù)研究中心、教育學部等都參與了研究，研究較多的是張浩、楊宗凱等學者。教育評價也引起了重慶部分機構(gòu)的重視，如重慶市教育評估院、重慶大學等，而西南大學教育學部擁有教育評價領(lǐng)域數(shù)量最多的作者團隊，包含龔春燕、賈玲、朱德全等學者?？傮w而言，教育評價領(lǐng)域的研究流派以高校內(nèi)部為研究團體，但更多以個人研究為主，他們共同構(gòu)成了該研究領(lǐng)域的學術(shù)前沿陣地。

Fig.2 Author visualization atlas圖2 作者可視化圖譜

2.3 關(guān)鍵詞共現(xiàn)分析

根據(jù)圖中節(jié)點大小可以尋找關(guān)鍵節(jié)點，由圖4 可知大數(shù)據(jù)是最大的節(jié)點，其次教育評價、人工智能等節(jié)點較為明顯。增值評價、教育質(zhì)量評價、大數(shù)據(jù)時代等節(jié)點相對較小，反映了我國大數(shù)據(jù)下教育評價的研究進展。

通過Citespace 輸出詞頻大于3的關(guān)鍵詞，中心度與頻次代表著一段時間內(nèi)研究者共同關(guān)注的問題，即研究熱點。由表1 可知，教育評價、大數(shù)據(jù)、思想政治教育、人工智能、教育變革、教育大數(shù)據(jù)、教育質(zhì)量、信息技術(shù)及增值評價是研究的熱點。2013 年被各大媒體稱為中國的大數(shù)據(jù)元年，也正是從2013 年起，國內(nèi)掀起了基于大數(shù)據(jù)技術(shù)促進教育改革和創(chuàng)新發(fā)展相關(guān)研究的熱潮。隨后，教育大數(shù)據(jù)、信息技術(shù)、人工智能、數(shù)據(jù)驅(qū)動技術(shù)飛速發(fā)展，使教育信息化真正落地，催生了教育評價的數(shù)據(jù)化。

2.4 關(guān)鍵詞聚類分析

采用Bicomb2 軟件對確定的高頻關(guān)鍵詞生成詞篇矩陣，并通過Excel 的相異矩陣運算消除關(guān)鍵詞自身頻次差異帶來的影響。其中，相異矩陣=1-相似矩陣［6］，部分結(jié)果見表2。將相似矩陣導(dǎo)入SPSS 進行聚類分析后，可將教育評價研究的高頻關(guān)鍵詞分為五大領(lǐng)域，如圖5所示。

Fig.3 Analysis of authors and cooperative organizations圖3 作者與合作機構(gòu)分析

Fig.4 Keyword co-occurrence analysis圖4 關(guān)鍵詞共現(xiàn)分析

Table 1 Keyword frequency analysis表1 關(guān)鍵詞頻次分析

Table 2 High frequency keywords dissimilarity matrix（partial）表2 高頻關(guān)鍵詞相異矩陣（部分）

熱點一：教育評價下的教育質(zhì)量評價研究。包含“數(shù)據(jù)挖掘”“教育質(zhì)量評價”“教育質(zhì)量監(jiān)測”“增值評價”“教育決策”“教育評價”和“教育質(zhì)量”7 個關(guān)鍵詞。教育質(zhì)量評價是提高教育教學的重要保障，提高教育質(zhì)量可從兩個方面著手：一是依靠相關(guān)技術(shù)，如使用數(shù)據(jù)挖掘技術(shù)對平臺中的大量教育評價信息進行關(guān)鍵信息抽取，進而完成智能評定與預(yù)測工作。孫力［7］、牟智佳［8］、王亮［9］等都利用在線學習平臺數(shù)據(jù)開展預(yù)測學生成績的研究。在數(shù)據(jù)挖掘技術(shù)的輔助下，學習者可以擴寬自身思維，重構(gòu)知識結(jié)構(gòu)，教師通過分析信息改善教學，管理者亦可借助數(shù)據(jù)挖掘進行教育決策。二是從理論上進行突破，堅持以政策為導(dǎo)向?！犊傮w方案》中針對我國教育發(fā)展的新態(tài)勢，提出要探索“增值評價”，破除“五唯”教育評價痼疾［4］，為提升教育質(zhì)量提供了契機。但相關(guān)研究表明，教育質(zhì)量的評價工具較為簡單，往往由一兩名教師完成，缺乏科學性，在評價內(nèi)容、評價方法和評價結(jié)果的運用上缺乏整體的思考，教育質(zhì)量評價的數(shù)據(jù)結(jié)果往往局限于對單一指標的描述性分析，得到的僅是孤立性的數(shù)據(jù)［10］。教育質(zhì)量作為我國教育發(fā)展的長期訴求，需要進行全面深入的挖掘，依據(jù)各學段特點進行開展，充分發(fā)揮大數(shù)據(jù)的規(guī)律性與價值性。

熱點二：大數(shù)據(jù)下的思想政治教育評價研究。包含關(guān)鍵詞“大數(shù)據(jù)時代”“思想政治教育評價”“思想政治教育”“高?！薄按髷?shù)據(jù)”“新時代”。大數(shù)據(jù)時代，人們習慣于借助大數(shù)據(jù)獲取信息、學習知識，面對信息的沖擊，高校德育范式和思想政治范式正發(fā)生著巨大的變化。為此，高校推廣實施“第二課堂成績單”制度［11］，創(chuàng)建了“學生畫像”“教師畫像”“精準扶貧”“網(wǎng)絡(luò)文化產(chǎn)品影響力評估”等大數(shù)據(jù)應(yīng)用系統(tǒng)［12］。但通過文獻梳理發(fā)現(xiàn)，大多研究以高校群體為主，多針對大數(shù)據(jù)形勢提出相應(yīng)對策分析，大都尚處于初級階段，方案的可行性有待確證，在未來研究中，亟須將對策與實踐融合開展。

Fig.5 High frequency keywords clustering map圖5 高頻關(guān)鍵詞聚類圖譜

熱點三：教育大數(shù)據(jù)研究。隨著大數(shù)據(jù)時代的到來，越來越多的學者展開了教育大數(shù)據(jù)領(lǐng)域的研究，如信息技術(shù)、學習過程、數(shù)據(jù)挖掘、學習分析、教育大數(shù)據(jù)、個性化教育、教育信息化、學習行為等［13］。學習分析在教育上的應(yīng)用受到了廣泛關(guān)注，研究者們致力于運用學習分析方法對學習進行優(yōu)化，促使教育成為每個學習者滿足其個人需要和發(fā)展自身的途徑。然而，基于大數(shù)據(jù)視角的學習分析應(yīng)用研究尚存較大空白，缺乏相應(yīng)案例分析。面對海量大數(shù)據(jù)顯現(xiàn)的內(nèi)容，人們很難厘清事物如何通過數(shù)據(jù)顯現(xiàn)自身，而從多個維度探究，挖掘背后隱含的真理才是教育大數(shù)據(jù)的研究價值。

熱點四：教育評價技術(shù)研究。包括“信息技術(shù)”“教育信息化”“人工智能”三個關(guān)鍵詞。以人工智能為代表的信息技術(shù)在教育領(lǐng)域的應(yīng)用與融合主要體現(xiàn)在三個方面：一是利用數(shù)據(jù)庫平臺、機器運算力、算法模型代替評價人員的人工操作做出智能評定和預(yù)測工作；二是在教育評價的部分環(huán)節(jié)，輔助評價人員采集、計算、評定、決策工作；三是通過“人機對話”達到評價過程的自動化測定、精準化診斷與個性化反饋等［14］。毫無疑問，隨著新興技術(shù)的加入，教育評價必將走向客觀、全面、科學［15］，逐步形成“智慧評價”。但現(xiàn)有評價技術(shù)的不穩(wěn)定性，如硬件、操作系統(tǒng)等可能會給教育評價帶來潛在影響，導(dǎo)致數(shù)據(jù)收集失敗或者尚難以察覺的錯誤，如何有效規(guī)避上述問題是未來研究亟需關(guān)注和實踐的重要方向。

熱點五：數(shù)據(jù)驅(qū)動下的學習評價研究。包含關(guān)鍵詞“數(shù)據(jù)驅(qū)動”“學習評價”“教育變革”。數(shù)據(jù)驅(qū)動存在于評價方式、評價內(nèi)容、評價過程中，催生著教育的變革與發(fā)展。黃濤等［16］構(gòu)建了包含多場景數(shù)據(jù)采集、多空間數(shù)據(jù)融合、精準分析模型構(gòu)建、分析結(jié)果可視化的學習評價機制，并提出以區(qū)塊鏈技術(shù)為核心，從認知、情感、動機和社會四個方面學習綜合素質(zhì)評價方法。牟智佳［17］從評價內(nèi)容上進行了細分和聚類，構(gòu)建了基于電子書包的個性化學習評價模型。吳永和等［18］提出了基于xAPI 規(guī)范的3D 設(shè)計軟件數(shù)據(jù)采集機制與STEAM 3D 教育學習者行為分析模型，實現(xiàn)了利用學習者學習過程的行為數(shù)據(jù)進行數(shù)據(jù)驅(qū)動的學習分析及評價。相比于傳統(tǒng)學習評價，數(shù)據(jù)驅(qū)動下的學習評價從多維度關(guān)注學生學習過程，評價結(jié)果更加客觀全面。但由于數(shù)據(jù)驅(qū)動的學習評價需數(shù)據(jù)采集、加工、人工智能算法等步驟對數(shù)據(jù)進行有效分析，相關(guān)平臺進行智能操作，國內(nèi)研究仍處于起步階段。此外，精準化評價還需從認知、情感、注意力等方面作分析預(yù)測，需進一步探討。

2.5 研究趨勢分析

多維尺度分析法指對實驗觀察數(shù)據(jù)在概念空間中的特殊位置進行分配，根據(jù)所有由數(shù)據(jù)構(gòu)成點之間的距離在數(shù)值上等于預(yù)計算的不相似性，分別展示以向心度與密度作為參數(shù)的二維坐標系［19］。從坐標系中點的位置來看，若某關(guān)鍵詞處于第一象限，則研究處于中心；位于第二象限，說明其結(jié)構(gòu)緊密程度較低，位于第三象限，則已有研究內(nèi)部聯(lián)系較為緊密；位于第四象限，說明研究處于邊緣地帶［20］。為厘清教育評價的發(fā)展趨勢，研究根據(jù)相似矩陣利用Excel 進行相異矩陣運算，最后將Ochiai 系數(shù)相異矩陣導(dǎo)入SPSS，利用其多維尺度分析（ALSCAL）功能，進一步對關(guān)鍵詞聚類分析進行深化和擴展，結(jié)果如圖6所示。

由圖6 可知，領(lǐng)域1 處于第二、三象限，“數(shù)據(jù)挖掘”“教育質(zhì)量評價”“教育質(zhì)量監(jiān)測”“增值評價”處于第二象限。近年來，國家強調(diào)發(fā)展“增值評價”，要積極利用學生的進步而非學生在關(guān)鍵考試中的原始分數(shù)來評價學校的績效［21］。為了迎合這一目標，部分學者開始探究當前教育質(zhì)量評價如何改進，文章內(nèi)容主要以策略提出為主，并未深入剖析，說明該主題內(nèi)部結(jié)構(gòu)較為松散?！敖逃龥Q策”“教育評價”和“教育質(zhì)量”處于第三象限，這表明提高教育質(zhì)量是我國教育的長期訴求，無論是從源頭上還是過程中進行著手，都存在相關(guān)研究，內(nèi)部聯(lián)系較為緊密。

Fig.6 Multidimensional scaling analysis圖6 多維尺度分析

領(lǐng)域2 的關(guān)鍵詞處于第四象限。習近平談到要用信息技術(shù)推動思想政治工作的發(fā)展，積極利用大數(shù)據(jù)相關(guān)技術(shù)了解學生學習思想狀況。而由于大多教師缺乏大數(shù)據(jù)理念，學校缺乏數(shù)據(jù)平臺等系列問題，相關(guān)研究并未得到有效開展，該領(lǐng)域處在研究網(wǎng)絡(luò)中心的邊緣地帶。

領(lǐng)域3 處于第三象限。教育大數(shù)據(jù)為許多研究者提供了研究思路，但在實際應(yīng)用中卻存在一定的技術(shù)瓶頸，如數(shù)據(jù)挖掘與學習分析在數(shù)據(jù)采集中的技術(shù)挑戰(zhàn)，以及數(shù)據(jù)存儲、處理和分析過程都存在技術(shù)難度；此外，不同系統(tǒng)之間的兼容性也是一個主要問題，這些現(xiàn)實問題都導(dǎo)致該主題處于較邊緣位置，有待進一步研究。

領(lǐng)域4 的關(guān)鍵詞處于一、四象限，其中“教育信息化”“信息技術(shù)”處于第一象限。利用信息化技術(shù)將為教育評價改革提供便捷，它可以全方位、全過程采集教學數(shù)據(jù)，且可以獲得情感因素、心理傾向、實踐能力等非結(jié)構(gòu)化數(shù)據(jù)［22］，這種全面、科學、精準的評價往往更能讓人接受，也迅速成為學者研究的網(wǎng)絡(luò)中心?！叭斯ぶ悄堋碧幱诘谒南笙蓿员惶岢鲆詠?，其一直是研究的熱點，但并未滲透到教育教學的各個方面。近年來，人工智能才逐漸融入教育領(lǐng)域，為推動教育評價改革創(chuàng)新提供了條件，這條路在未來該如何革新還有待進一步挖掘。但總體而言，教育評價的技術(shù)研究正逐漸落地在人工智能支持下的信息技術(shù)中。

領(lǐng)域5 處于第一象限。數(shù)據(jù)驅(qū)動的學習評價研究可以觀察、解釋和反饋教學活動的信息流動和運行軌跡，還能發(fā)現(xiàn)教育中存在的問題，為課堂教學提供幫助。從現(xiàn)有的研究來看，該主題是我國研究網(wǎng)絡(luò)的中心，面對互聯(lián)網(wǎng)的浩瀚數(shù)據(jù)，它將不斷為學習評價提供數(shù)據(jù)支持?？梢灶A(yù)見，在未來很長的一段時間內(nèi)，數(shù)據(jù)驅(qū)動的學習評價研究將是一個熱點問題。

3 討論與展望

通過對90 篇期刊文獻的梳理分析，在大數(shù)據(jù)的支持下，教育評價研究具有以下特點：

首先，在研究成果上，教育評價的理論研究數(shù)量呈現(xiàn)上升趨勢，特別是《總體方案》的出臺推動了大批學者進行研究，但實證研究卻沒有很大改善，數(shù)量較少，雖然此前提出了一些切實可行的解決方法，但還有待進一步研究和思考。同時，研究作者團隊較分散，沒有形成較好的合力。未來研究工作可繼續(xù)深化自身理論認識，結(jié)合學生、學校實際情況，積極探索大數(shù)據(jù)教育評價的實踐研究，避免實踐與理論脫節(jié)的現(xiàn)象。

其次，在研究內(nèi)容上，教育評價技術(shù)與數(shù)據(jù)驅(qū)動的學習評價是當前研究的中心，學習評價正逐漸從傳統(tǒng)的教師評價、學生評價向以數(shù)據(jù)驅(qū)動支持的多維度評價轉(zhuǎn)變，但數(shù)據(jù)驅(qū)動可能造成研究和實踐偏離真實的教育問題［23］。教育評價更為重要的是回歸教育實踐，打造符合時代發(fā)展、學生發(fā)展的教育需求。大數(shù)據(jù)時代下的思想政治教育評價、教育大數(shù)據(jù)等均處于研究邊緣，且多圍繞高校展開研究。每個人都是信息的載體與傳播者，基礎(chǔ)教育、職業(yè)教育等領(lǐng)域都應(yīng)加入思想政治教育的評價。

第三，在研究領(lǐng)域上，大數(shù)據(jù)支持下的教育評價實際應(yīng)用缺乏案例。大數(shù)據(jù)為教育評價服務(wù)，且需要通過不斷獲取、整合、分析學習過程中的文字、聲音、圖像、視頻與人體感知等多模態(tài)數(shù)據(jù)，對教學和學習活動的信息流與運行軌跡做出觀測、解釋和反饋［24］才能得知其真實服務(wù)效果。對于當前研究而言，還需加強大數(shù)據(jù)在教育評價中實際應(yīng)用案例的分析，如計算機科學、教育科學、認知心理學，甚至融合藝術(shù)、人文等領(lǐng)域，拓寬實踐案例［25］。

面對海量數(shù)據(jù)，過去常規(guī)的數(shù)據(jù)采集與相關(guān)技術(shù)（數(shù)據(jù)挖掘、IRS 系統(tǒng)）已不能滿足大數(shù)據(jù)背景下的現(xiàn)實需求，需在教學評估領(lǐng)域快速積累有關(guān)爆炸式的大數(shù)據(jù)采集、存儲、清洗等方面知識與技術(shù)，在數(shù)據(jù)采集的質(zhì)和量之間有效權(quán)衡［26］。以此實現(xiàn)全樣本、多模態(tài)、智能化的數(shù)據(jù)挖掘分析，幫助教師找出具體教學問題，提高教育質(zhì)量［1］。