數(shù)據(jù)驅(qū)動的教學(xué)決策效果總覽與視野突破

劉晉 張學(xué)波 林書兵

[摘? ?要] 數(shù)據(jù)驅(qū)動的教學(xué)決策應(yīng)用作為當(dāng)前基礎(chǔ)教育實踐的新趨勢，仍然存在著證據(jù)不足、效果不明和路徑不清等問題，即教學(xué)數(shù)據(jù)干預(yù)的作用范疇涉及哪些方面，數(shù)據(jù)使用具體給學(xué)校帶來哪些實際成效，如何評價其實際效果，掣肘數(shù)據(jù)使用的主要因素有哪些，學(xué)校具體如何構(gòu)建教育數(shù)據(jù)使用的實踐機制，這一系列問題反映著教育數(shù)據(jù)應(yīng)用的主要困惑，也預(yù)示著數(shù)據(jù)驅(qū)動教學(xué)決策的深入探究方向。鑒于相關(guān)專題元分析數(shù)量不斷增長但存在角度和范圍的局限，本研究采用傘型評價的方式，提取十項基于元分析的研究，從作用范疇、周期、措施和路徑等角度對數(shù)據(jù)驅(qū)動的教學(xué)應(yīng)用干預(yù)效果進(jìn)行了系統(tǒng)性再回顧，并提出了數(shù)據(jù)驅(qū)動的主要影響因素、決策方法、評估機制和長遠(yuǎn)目標(biāo)等關(guān)鍵議題，以期為后續(xù)相關(guān)研究提供全面分析結(jié)論和未來突破方向。

[關(guān)鍵詞] 數(shù)據(jù)驅(qū)動的教學(xué)決策; 效果評估; 傘型評價

[中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

一、研究背景

在過去的20年，促進(jìn)“基于數(shù)據(jù)的決策”（Data-Based Decision Making，DBDM）、“數(shù)據(jù)驅(qū)動的決策”（Data-Driven Decision Making，DDDM）和“基于數(shù)據(jù)的個性化”（Data-Based Individualization，DBI）等改革舉措迅速增加。教育決策者們越來越強調(diào)通過數(shù)據(jù)分析告知教師學(xué)生的學(xué)習(xí)需求，以改進(jìn)教育教學(xué)措施，達(dá)到提高學(xué)生成績的目的。

數(shù)據(jù)作為當(dāng)今社會現(xiàn)代性的一個典型隱喻，與科學(xué)性、客觀性和有效性等特征天然地聯(lián)系在一起。數(shù)據(jù)使用往往攜帶著美好的假設(shè)，所有促進(jìn)數(shù)據(jù)使用的干預(yù)措施都根植于這一信念，即認(rèn)為只要正確收集和分析數(shù)據(jù)，便能為關(guān)鍵的教育問題提供答案，隨后將產(chǎn)生更好的教育結(jié)果[1]?；跀?shù)據(jù)的教學(xué)決策似乎具有不證自明的先進(jìn)性與合理性，但對于具體的數(shù)據(jù)應(yīng)用過程，學(xué)校仍需驗明其實際成效和厘清其具體實現(xiàn)機制。盡管DBDM在提高學(xué)生成績方面被賦予很高的期望，但其干預(yù)措施的科學(xué)性和有效性仍然相當(dāng)有限，目前關(guān)于DBDM的實施和效果的建議并沒有建立在強有力的實證基礎(chǔ)上。雖然有些開展了支持?jǐn)?shù)據(jù)使用的各種干預(yù)研究，但缺乏對支持學(xué)校數(shù)據(jù)使用的專業(yè)發(fā)展干預(yù)措施效果的系統(tǒng)研究[2]，因此也就無法回答影響數(shù)據(jù)使用的因素，以及這些因素之間如何相互影響。

在國內(nèi)，以數(shù)據(jù)驅(qū)動精準(zhǔn)教學(xué)命名的研究和實踐不斷涌現(xiàn)，主要集中在精準(zhǔn)教學(xué)策略、活動、模式、模型和操作路徑等方面[3-5]，但數(shù)據(jù)驅(qū)動是否就一定能確?！熬珳?zhǔn)教學(xué)”？教師的決策機制和過程如何對精準(zhǔn)教學(xué)產(chǎn)生影響？哪些因素會左右其精準(zhǔn)性？精準(zhǔn)的程度如何判定？這些問題并沒有得到準(zhǔn)確回應(yīng)。當(dāng)前相關(guān)教育數(shù)據(jù)應(yīng)用常陷入精準(zhǔn)、智慧、深度等模糊不定、似是而非的空泛表述語境，需要來自教育一線數(shù)據(jù)應(yīng)用實證研究的科學(xué)結(jié)論，對數(shù)據(jù)應(yīng)用理論、方法和技術(shù)應(yīng)用于教學(xué)的實際效果作出準(zhǔn)確判定。如何讓數(shù)據(jù)驅(qū)動的變革從短期的課題、項目或活動式推進(jìn)方式轉(zhuǎn)變?yōu)閷W(xué)校教育的科學(xué)決策和理性思維的第一選擇，從而成為學(xué)校變革的長期穩(wěn)固范式，需要對當(dāng)前數(shù)據(jù)驅(qū)動的教學(xué)決策效果評估和機制構(gòu)建層面深入研究。

此外，有關(guān)教育數(shù)據(jù)應(yīng)用效果的實證研究以及元分析數(shù)量已有很多，但既往的相關(guān)文獻(xiàn)評述在數(shù)量、時效、檢索程序范圍和效果評估等方面都有不同程度的局限和偏頗，現(xiàn)有綜述仍然沒有告訴我們?yōu)槭裁椿趯W(xué)校的決策在不同的條件和環(huán)境下會產(chǎn)生積極或消極的影響。因此，需要站在更高層面對教育數(shù)據(jù)應(yīng)用于教學(xué)決策的整體效果進(jìn)行審查和概覽，系統(tǒng)回應(yīng)數(shù)據(jù)驅(qū)動教學(xué)決策的應(yīng)用實效性和實現(xiàn)機制之問，并透過一般層面數(shù)據(jù)干預(yù)研究，總結(jié)教育數(shù)據(jù)應(yīng)用的普遍規(guī)律和策略，為更深入地研究構(gòu)建教育數(shù)據(jù)應(yīng)用理論和機制提供理論基礎(chǔ)。

二、傘型評價程序

傘型評價[6]（Umbrella Reviews）是一種基于循證的分析方法。傘型評價來源于系統(tǒng)評價和元分析，但又與二者存在差異，其相互關(guān)系和比較分別如圖1和表1所示。系統(tǒng)評價及元分析是以大量的單個研究為基礎(chǔ)進(jìn)行的綜合研究，而傘型評價通過對某項研究主題的所有系統(tǒng)評價和元分析進(jìn)行再次系統(tǒng)評估，從而得出更可靠的結(jié)論。當(dāng)某項研究主題的系統(tǒng)評價和元分析達(dá)到一定數(shù)量以后，且這些系統(tǒng)綜述和元分析得出的研究結(jié)論存在一定爭議時，才有必要進(jìn)行深入傘型評價。近年來，有關(guān)DBDM的元分析數(shù)量不斷增加但主題范疇和結(jié)論啟示各不相同，有必要對此進(jìn)行更高層次的總結(jié)概括。Hennessy等提出的傘型評價具體步驟[7]得到了學(xué)術(shù)界普遍認(rèn)可，為開展相關(guān)研究提供了指南。

本研究使用Web of Science、ERIC、PsychINFO、Education Full Text、ProQuest學(xué)位論文和學(xué)術(shù)論文等電子數(shù)據(jù)庫進(jìn)行搜索，關(guān)鍵詞主要分為三類：（1）使用數(shù)據(jù)為決策提供信息的過程常用描述語包括數(shù)據(jù)驅(qū)動的決策（Data-Driven Decision Making，DDDM）、課程本位測量（Curriculum-Based Measurement，CBM）、基于數(shù)據(jù)的個性化（Data-Based Individualization，DBI）、基于數(shù)據(jù)的項目調(diào)整（Data-Based Program Modification，DBPM）、基于數(shù)據(jù)的決策（Data-Based Decision Making，DBDM）、反饋干預(yù)（Feedback Interventions），形成性評價（Formative Assessment）等;（2）常用干預(yù)結(jié)果范疇包括學(xué)生成績、學(xué)術(shù)成績、學(xué)術(shù)成果、學(xué)生學(xué)習(xí)、教師專業(yè)發(fā)展、學(xué)校提升、學(xué)校改進(jìn)等;（3）文獻(xiàn)類型包括綜述、元分析、系統(tǒng)綜述等。

根據(jù)傘型評價的基本標(biāo)準(zhǔn)：僅納入與研究主題相關(guān)的系統(tǒng)評價和元分析，不納入其他類型的文獻(xiàn);包括數(shù)據(jù)應(yīng)用的結(jié)果，如學(xué)生成績變化、教師素養(yǎng)提升或?qū)W校改進(jìn);納入的元研究原則上建議包括以下納入標(biāo)準(zhǔn)：（1）使用了隨機對照試驗、準(zhǔn)實驗或單一受試者設(shè)計;（2）包括至少七周的干預(yù)和進(jìn)度監(jiān)測;（3）包括效應(yīng)大小描述值。圖2以PRISMA圖[8]的形式概述了本研究搜索過程和結(jié)果。

數(shù)據(jù)提取內(nèi)容都來源于原始系統(tǒng)評價和元分析，三名作者團隊評審員獨立收集相關(guān)數(shù)據(jù)，然后對這些信息的準(zhǔn)確性進(jìn)行交叉核對，具體收集關(guān)于納入研究的關(guān)鍵特征見表2。數(shù)據(jù)提取過程提取可靠性通過讓兩名研究人員獨立編碼約50%的選定文獻(xiàn)，獲得80%的一致性率，科恩kappa系數(shù)為0.62，證明了令人滿意的編碼器間可靠性。采用AMSTAR[19]標(biāo)準(zhǔn)對入選文獻(xiàn)進(jìn)行評分，依據(jù)11個條目檢測系統(tǒng)評價/元分析控制偏倚的情況。若同一個主題有多篇元分析，納入最新發(fā)表、納入原始研究最多、AMSTAR評分高的元分析?；诟哔|(zhì)量的研究的綜述考慮，論文不低于7分才能被納入研究。在團隊兩個作者篩選了最初的搜索標(biāo)題和摘要之后，如若兩名作者不能達(dá)成一致，將引入第三個作者參與決定。篩選后，完成全文篩選，以確定包含在審查中的文本。最終，10項總括審查符合進(jìn)一步分析的納入標(biāo)準(zhǔn)，見表3。

三、數(shù)據(jù)驅(qū)動的教學(xué)決策效果綜合分析

基于文獻(xiàn)篩選，本研究從以下角度對元分析搜集結(jié)果進(jìn)行總體定性分析：（1）數(shù)據(jù)驅(qū)動教學(xué)決策有效作用范疇，以定量研究數(shù)據(jù)作為主要匯總指標(biāo)，從范圍、主題和程度多方面分析數(shù)據(jù)驅(qū)動的教學(xué)決策應(yīng)用狀況;（2）數(shù)據(jù)干預(yù)有效作用周期，分析數(shù)據(jù)干預(yù)作用時長，頻率和周期變化等影響情況;（3）數(shù)據(jù)干預(yù)有效措施，分析不同干預(yù)措施的設(shè)計背景和有效特征因素;（4）數(shù)據(jù)干預(yù)有效路徑，分析相關(guān)數(shù)據(jù)應(yīng)用干預(yù)的作用方式和途徑。

（一）數(shù)據(jù)干預(yù)有效作用范疇

從數(shù)據(jù)驅(qū)動的教學(xué)干預(yù)效果來看，效應(yīng)大小是相關(guān)實證研究干預(yù)效應(yīng)最直接的證據(jù)，代表著實驗組和對照組之間的標(biāo)準(zhǔn)差。從文獻(xiàn)總體來看，教育數(shù)據(jù)干預(yù)的總體效應(yīng)大小普遍低于0.8，位于小到中等程度，與事先人們所期待的“立竿見影”和“包治百病”式的作用效果有一定落差，也預(yù)示著教育數(shù)據(jù)應(yīng)用并非一蹴而就的過程。由于實驗條件、范圍和規(guī)模的限制，很少有研究涉及了不同條件下DBDM的效果對比，如與小學(xué)階段的干預(yù)相比較，中學(xué)階段干預(yù)則比較缺乏。DBDM實施過程保真度調(diào)查也較為少見，數(shù)據(jù)驅(qū)動決策干預(yù)效應(yīng)因此無法有力支撐因果推論，限制了其進(jìn)一步擴展推廣的可能性。由于研究者發(fā)表偏倚原因，在相關(guān)綜述當(dāng)中也較難看到無影響及負(fù)面影響的研究個案。

從數(shù)據(jù)干預(yù)的作用群體來看，雖然DBDM旨在最大限度地提高所有學(xué)生的成績，但針對不同層次、經(jīng)濟地位和年級的學(xué)生干預(yù)效果差異較為明顯。相關(guān)研究顯示效應(yīng)大小與學(xué)習(xí)者初始水平有關(guān)，學(xué)習(xí)困難的學(xué)生往往從干預(yù)措施中受益最大，這可能是因為教師更關(guān)注學(xué)習(xí)表現(xiàn)特別典型的學(xué)生[20]。數(shù)據(jù)使用的互動效應(yīng)也表明，對于社會經(jīng)濟地位較低的學(xué)生比例較高的學(xué)校來說，數(shù)據(jù)干預(yù)效果也較為明顯[21]，因為相對于經(jīng)濟地位高的學(xué)生，他們更需要通過學(xué)校的實踐項目和輔助資源獲得幫助。此外，干預(yù)效果也并非對所有年級都同樣顯著，高年級又比低年級段的干預(yù)效果大[22]，可能與其是否能夠理解和接受干預(yù)措施有關(guān)。當(dāng)前DBDM實施效果研究主要集中在學(xué)校、班級和小組層面，后續(xù)應(yīng)加強針對個別學(xué)生的干預(yù)研究。

干預(yù)規(guī)模與效應(yīng)大小也存在相關(guān)關(guān)系，隨著學(xué)生數(shù)量的增多，效應(yīng)隨之逐漸減少[23]。因為隨著干預(yù)規(guī)模擴大時，相關(guān)干擾和隨機因素逐漸增多，而這些因素并不是都可以精準(zhǔn)控制，這也導(dǎo)致數(shù)據(jù)應(yīng)用預(yù)設(shè)與現(xiàn)實情況之間差距的主要原因。從數(shù)據(jù)使用的主題來看，現(xiàn)有的DBDM干預(yù)主要集中在“以學(xué)習(xí)者為主體”的數(shù)學(xué)、閱讀理解、詞匯或拼寫成績的影響上，而對教師的知識、技能和態(tài)度的影響較少探討。為了拓寬我們對DBDM影響的理解，有必要對多主體和多學(xué)科的DBDM效應(yīng)進(jìn)行全面研究。

（二）數(shù)據(jù)干預(yù)有效作用周期

對于數(shù)據(jù)驅(qū)動的最佳干預(yù)周期，并沒有定論，從上述文獻(xiàn)統(tǒng)計數(shù)據(jù)來看，大多數(shù)數(shù)據(jù)應(yīng)用干預(yù)的時間都在7周以上，這也是適用標(biāo)準(zhǔn)決策規(guī)則時，可以進(jìn)行教學(xué)調(diào)整和評估的最短時間。對于學(xué)生而言，增加干預(yù)的總時間或使用更個性化的教學(xué)方法支持學(xué)生學(xué)習(xí)來加強干預(yù)，不會有助于閱讀成績的增加，僅靠頻繁的進(jìn)度監(jiān)控（沒有教學(xué)修改）似乎并不能提高學(xué)生的成績[15]。但對教師而言，持續(xù)時間是有效專業(yè)發(fā)展的一個重要特征，較長的教師專業(yè)發(fā)展干預(yù)有助于教師和學(xué)生的學(xué)習(xí)。因為學(xué)習(xí)和改變實踐需要時間。改變教師的行為并不容易，他們在工作中面臨許多任務(wù)，根據(jù)Supovitz和Turner的觀點，改變教師行為需要80個小時[24]。而DBDM要求所需的主題內(nèi)容知識、教學(xué)知識和技能以及所需的評估和測試能力太多，教師無法在如此短的時間內(nèi)掌握。因此，建議向教師提供持續(xù)的教師專業(yè)發(fā)展數(shù)據(jù)，而不是傳統(tǒng)的一次性教師專業(yè)發(fā)展干預(yù)。

現(xiàn)實中教學(xué)數(shù)據(jù)應(yīng)用干預(yù)效果不明顯或是無效可能只是暫時的，干預(yù)的影響往往需要持續(xù)一段時間才能出現(xiàn)。相關(guān)研究顯示數(shù)據(jù)干預(yù)影響是在一個學(xué)年后發(fā)現(xiàn)的[25-26]。在數(shù)據(jù)干預(yù)項目中，教師需要學(xué)習(xí)和實踐一套復(fù)雜的數(shù)據(jù)素養(yǎng)，干預(yù)項目完成后，他們可能仍然需要更多的時間在教學(xué)中使用數(shù)據(jù)。因此，干預(yù)后不能馬上看到對學(xué)生成績的影響。這表明持續(xù)時間在數(shù)據(jù)使用過程中的重要性，以及需要有足夠時間對學(xué)生成績進(jìn)行現(xiàn)實評估。此外，學(xué)校教師和學(xué)校管理人員流動性也會對DBDM持續(xù)發(fā)展產(chǎn)生一定影響。建議采用全校整體參與的方法，規(guī)避人員變動風(fēng)險，使學(xué)校工作人員能夠相互支持實施DBDM，并促進(jìn)成為學(xué)校的教學(xué)常規(guī)舉措，而非個人行為。

數(shù)據(jù)干預(yù)的持續(xù)成效需要教師教學(xué)內(nèi)容知識的介入，干預(yù)存在一定的上限效應(yīng)，即學(xué)生學(xué)習(xí)成績在最初的增長后趨于平穩(wěn)，只有當(dāng)數(shù)據(jù)使用與教師教學(xué)內(nèi)容知識相結(jié)合時，才會取得更加可觀的增長[27]。因為數(shù)據(jù)干預(yù)可以帶來一定的收益，之后需要專注于所分析的內(nèi)容領(lǐng)域（如識字、算術(shù)），當(dāng)數(shù)據(jù)與內(nèi)容領(lǐng)域的知識一起進(jìn)行時，數(shù)據(jù)干預(yù)的效力才是最佳的。

（三）數(shù)據(jù)干預(yù)有效措施

從干預(yù)形式來看，當(dāng)前教育數(shù)據(jù)應(yīng)用的干預(yù)主要包括評估、形成性評價、課程本位測量、基于數(shù)據(jù)的個性化和數(shù)據(jù)驅(qū)動的決策，雖然名稱不同，但相關(guān)概念之間存在著一定繼承關(guān)系，其本質(zhì)原理都是以學(xué)生成績數(shù)據(jù)為基礎(chǔ)，通過分析告知教師學(xué)生的個人需求，以此制定教學(xué)的基礎(chǔ)，從而系統(tǒng)地致力于教育改進(jìn)。其中DBDM是對數(shù)據(jù)應(yīng)用規(guī)律不斷進(jìn)行深化所延伸出的概念，與其他干預(yù)方式僅強調(diào)數(shù)據(jù)分析過程相比，它更強調(diào)依據(jù)數(shù)據(jù)分析作出決策和反饋調(diào)整的過程，即在不同的時間為不同的學(xué)生調(diào)整教學(xué)，或者確定哪些變化對不同類型的學(xué)習(xí)者構(gòu)成潛在合理的調(diào)整機會，這些決策過程是數(shù)據(jù)干預(yù)對教學(xué)現(xiàn)實產(chǎn)生影響的最為重要的方式，也是教師專業(yè)發(fā)展在數(shù)據(jù)應(yīng)用領(lǐng)域面臨的最大挑戰(zhàn)。

從數(shù)據(jù)干預(yù)過程來看，DBDM是作為一個系統(tǒng)程序來實施的，包括評估和分析結(jié)果，設(shè)定具體、可衡量、可實現(xiàn)、相關(guān)和及時目標(biāo)，確定目標(biāo)實現(xiàn)戰(zhàn)略以及最終執(zhí)行目標(biāo)實現(xiàn)戰(zhàn)略四個組成部分[28]，它們相互關(guān)聯(lián)，且執(zhí)行過程具有一致性和連貫性要求。因此，為了使數(shù)據(jù)干預(yù)措施有效，它必須包括完整的DBDM組件，即在分析和評估數(shù)據(jù)步驟之后，教師必須要有后續(xù)的跟進(jìn)步驟，才能在整個DBDM周期中實現(xiàn)其意義。教師通過基于數(shù)據(jù)分析獲得的見解，設(shè)定具有挑戰(zhàn)性的目標(biāo)，選擇并執(zhí)行合適的策略來實現(xiàn)目標(biāo)。數(shù)據(jù)用于監(jiān)測和評估所實施策略的效果和評估目標(biāo)實現(xiàn)的程度，以及作出新的基于數(shù)據(jù)的決定。雖然識別和分析數(shù)據(jù)為有效改進(jìn)學(xué)生學(xué)習(xí)奠定了基礎(chǔ)，但由此產(chǎn)生的行動和進(jìn)度監(jiān)控將最終決定DBDM干預(yù)的成效[29]。

從干預(yù)的精細(xì)和深入程度來看，數(shù)據(jù)干預(yù)既要考慮學(xué)校層面的組織，也要考慮教師層面的實施。相關(guān)研究顯示，學(xué)?；?qū)W區(qū)積極推廣DBDM，但教師們可能對使用數(shù)據(jù)毫無準(zhǔn)備。即使他們學(xué)會了如何分析和解釋數(shù)據(jù)，也沒有改變課堂實踐的意愿[30]。當(dāng)建議使用學(xué)生數(shù)據(jù)來改進(jìn)教學(xué)時，教育政策的倡議往往過于籠統(tǒng)和抽象，沒有以清晰和詳細(xì)的方式描述期望的變革行為，干預(yù)內(nèi)容和教育實踐之間缺少明確的聯(lián)系，也就不可能據(jù)此系統(tǒng)地培訓(xùn)教育者。

（四）數(shù)據(jù)干預(yù)有效路徑

教育領(lǐng)域中“數(shù)據(jù)路徑”指數(shù)據(jù)在學(xué)校中的傳播和作用路線，主要研究不同類型數(shù)據(jù)如何在不同級別進(jìn)行流轉(zhuǎn)以及不同層次的參與者如何就數(shù)據(jù)的使用進(jìn)行相互交流。數(shù)據(jù)路徑受學(xué)校文化以及負(fù)責(zé)人領(lǐng)導(dǎo)風(fēng)格的影響，在相同數(shù)據(jù)干預(yù)框架下，數(shù)據(jù)干預(yù)的路徑不盡相同，數(shù)據(jù)應(yīng)用效果也呈現(xiàn)出一定的復(fù)雜性和異質(zhì)性，這也凸顯了我們對數(shù)據(jù)使用過程進(jìn)行深入探究的必要性，其內(nèi)容應(yīng)主要包括使用了什么類型的數(shù)據(jù)，數(shù)據(jù)在系統(tǒng)的不同層次（地區(qū)、學(xué)校和課堂）具體是如何使用的，以及這些層次是如何相互作用的。

首先，從數(shù)據(jù)干預(yù)的目的來看，開展數(shù)據(jù)驅(qū)動教學(xué)決策的教育工作者可以根據(jù)數(shù)據(jù)采取的行動主要分為三種不同的類別：問責(zé)、指導(dǎo)教學(xué)和學(xué)校發(fā)展的行動，但它們之間并不是相互排斥的關(guān)系，用于問責(zé)目的的數(shù)據(jù)行動也可用于學(xué)校發(fā)展目的。此外，用于教學(xué)目的以及學(xué)校發(fā)展目的數(shù)據(jù)行動也都可以帶來學(xué)校改善。這些使用方式的區(qū)別更多體現(xiàn)的是數(shù)據(jù)聚集的程度的差別。如教師可以使用個人學(xué)生成績數(shù)據(jù)在課堂中設(shè)置目標(biāo)，學(xué)校領(lǐng)導(dǎo)也可以使用學(xué)校級別的學(xué)生成績數(shù)據(jù)在學(xué)校層面設(shè)置目標(biāo)。學(xué)校應(yīng)根據(jù)這些不同成員角色設(shè)立相應(yīng)層級化目標(biāo)，以有效指引數(shù)據(jù)使用程序[31]。

其次，先進(jìn)和復(fù)雜的數(shù)據(jù)使用方式并不總是能給學(xué)校帶來改進(jìn)，學(xué)校應(yīng)根據(jù)自身學(xué)校文化、學(xué)校領(lǐng)導(dǎo)方法、教師發(fā)展水平、學(xué)校環(huán)境和運作水平等因素選擇最為適合的數(shù)據(jù)使用路徑。Archer等研究發(fā)現(xiàn)，學(xué)校的數(shù)據(jù)路徑主要包括團隊、級聯(lián)和自上而下三種方式[32]。不同級別參與者以不同方式使用不同類型的數(shù)據(jù)。例如，學(xué)校領(lǐng)導(dǎo)可能對學(xué)校的整體成績水平感興趣，以此作為決策的基礎(chǔ)。教師可能會對學(xué)生的成績水平更感興趣，從而根據(jù)這類數(shù)據(jù)改變教學(xué)策略。從教師到負(fù)責(zé)人，數(shù)據(jù)分析、解釋和應(yīng)用過程中通常涉及多個角色，學(xué)校應(yīng)為不同的數(shù)據(jù)角色設(shè)定相應(yīng)的數(shù)據(jù)訪問許可權(quán)限，提供的數(shù)據(jù)也必須滿足不同人員在不同數(shù)據(jù)使用復(fù)雜程度上的個別化需求，這些數(shù)據(jù)也被用來促進(jìn)不同年級和角色教師就課程和個性化支持計劃進(jìn)行對話。

四、數(shù)據(jù)驅(qū)動的教學(xué)決策效果研究的新視角

傳統(tǒng)的DBDM研究主要從理論上將數(shù)據(jù)干預(yù)的作用過程看作是一個由數(shù)據(jù)直接施加影響的線性作用過程，而沒有從實踐應(yīng)用的實際情境中對影響數(shù)據(jù)應(yīng)用的關(guān)鍵因素和關(guān)鍵環(huán)節(jié)進(jìn)行重點審視，更沒有從構(gòu)建數(shù)據(jù)應(yīng)用規(guī)律和機制的角度去探討穩(wěn)定長遠(yuǎn)提升DBDM效果的可能性，需要從以下視角進(jìn)一步研究和實踐。

（一）重視數(shù)據(jù)干預(yù)影響效果研究，抓住教師這一關(guān)鍵因素

數(shù)據(jù)使用過程不是孤立發(fā)生的，而是一個復(fù)雜的非線性過程。數(shù)據(jù)使用涉及人為解釋過程，教師必須獲取、收集和分析數(shù)據(jù)，才能將其轉(zhuǎn)化為信息，并與理解和專業(yè)知識相結(jié)合，成為有意義和有用的行動基礎(chǔ)[1]。教育數(shù)據(jù)干預(yù)領(lǐng)域的長期實踐證明，教師是教學(xué)改進(jìn)的主導(dǎo)因素，只有改變教師才能改變學(xué)生，這是學(xué)校改善必要的第一步[33]?？紤]到具體現(xiàn)實情境中基礎(chǔ)資源基本不變的前提下，教師個體是唯一調(diào)整可變的空間，教師因素也是影響數(shù)據(jù)干預(yù)效果最重要的因素，包括教師知識、技能和態(tài)度等在內(nèi)的教師數(shù)據(jù)素養(yǎng)整體狀況決定了教育數(shù)據(jù)使用的最終成效，而通過各種教師專業(yè)發(fā)展措施（團隊會議、教學(xué)教練、教學(xué)培訓(xùn)、教學(xué)輔導(dǎo)等）提升教師數(shù)據(jù)素養(yǎng)也是最直接、經(jīng)濟的提升數(shù)據(jù)干預(yù)效果的途徑[11]。因此教師專業(yè)發(fā)展應(yīng)特別重視那些旨在提高教師和學(xué)校領(lǐng)導(dǎo)提供反饋和根據(jù)學(xué)生評價數(shù)據(jù)調(diào)整教學(xué)的能力的環(huán)節(jié)，強調(diào)使用數(shù)據(jù)與實踐行動相互聯(lián)系的重要性， 將數(shù)據(jù)驅(qū)動教學(xué)決策能力培育作為教師專業(yè)發(fā)展方向[34]。應(yīng)傾向于解決諸如制定研究問題、解釋結(jié)果以及有效開發(fā)和使用課堂評估等技能，并且為教育工作者提供討論數(shù)據(jù)和使用真實數(shù)據(jù)的機會，而不是假設(shè)的案例和問題。為了提高學(xué)生的成績，教育者需要實際運用他們的知識和技能來使用數(shù)據(jù)，使之成為專業(yè)發(fā)展的一部分。當(dāng)教師能夠有意識地選擇滿足學(xué)生需求的策略時，學(xué)生的成績就有可能得到提高。

（二）探究數(shù)據(jù)驅(qū)動教學(xué)決策規(guī)律，提升數(shù)據(jù)應(yīng)用效能

決策環(huán)節(jié)是數(shù)據(jù)干預(yù)的最終應(yīng)用環(huán)節(jié)，也是決定其是否能夠發(fā)揮效用的關(guān)鍵環(huán)節(jié)。在決策進(jìn)度控制方面，大多數(shù)研究使用嵌入課程的措施[35]，診斷圖[36]、策略使用規(guī)則[37]等決定何時以及如何調(diào)整教學(xué)。在DBDM團隊行動控制方面，Crone建議DBDM團隊重點考慮一些重要問題，以確定團隊是否達(dá)到了關(guān)鍵目標(biāo)，包括：作出了哪些決定，這些決定能夠提高學(xué)生的成績嗎？是否有作出決定所需的所有相關(guān)數(shù)據(jù)？決策的實施過程是否明確（如指定人員、設(shè)定目標(biāo)、確定時間表）？在多大程度上滿足了最高優(yōu)先級的學(xué)生的需求？數(shù)據(jù)團隊通過定期自我評估，形成DBDM建議框架中規(guī)定的迭代過程[38]。在決策模型方面，目前已經(jīng)有眾多學(xué)者提出了相關(guān)決策概念模型，如DBDM組件模型[25]、DBDM八個步驟[32]、教師數(shù)據(jù)素養(yǎng)[39]和多成分模型[40]等。由于決策涉及不同的時間尺度，支持決策所需的證據(jù)應(yīng)該與其時間尺度相關(guān)。一些決策需要在教學(xué)實踐進(jìn)行過程中提供信息的數(shù)據(jù);而另一些決策，如資源分配或規(guī)劃專業(yè)發(fā)展，發(fā)生在較慢的時間尺度上，則可以從更大粒度的數(shù)據(jù)中受益。未來的DBDM研究不僅需要描述數(shù)據(jù)用于指導(dǎo)決策的過程，還要詳細(xì)說明決策過程中使用了什么數(shù)據(jù)，使用了什么規(guī)則來作出決策，多久收集一次數(shù)據(jù)，多久使用一次數(shù)據(jù)作出決策。加強數(shù)據(jù)驅(qū)動教學(xué)應(yīng)用規(guī)律的探究，對決策進(jìn)程的持續(xù)關(guān)注和對干預(yù)保真度的跟蹤，提供深入的決策細(xì)節(jié)描述，最終提升DBDM應(yīng)用效率和效力。

（三）擴展數(shù)據(jù)作用效果分析思路，構(gòu)建評估核心機制

圖3? ?評估數(shù)據(jù)使用專業(yè)發(fā)展干預(yù)對

教師和學(xué)生結(jié)果的影響的一般框架[41]

當(dāng)前的數(shù)據(jù)干預(yù)效果驗證思路，主要是通過數(shù)據(jù)干預(yù)隨機對照組實驗效應(yīng)大小或是數(shù)據(jù)使用過程質(zhì)性描述的方式來開展的。實驗研究關(guān)注最終效應(yīng)大小，缺少針對數(shù)據(jù)干預(yù)過程和機制的詳細(xì)描述，質(zhì)性研究又因研究者通常存在社會期望效應(yīng)，在結(jié)論推廣上缺乏說服力。因此，有必要突破現(xiàn)有的數(shù)據(jù)作用效果分析思路，基于一般的數(shù)據(jù)使用通用路徑提出綜合性的評估框架，來對數(shù)據(jù)干預(yù)的效果進(jìn)行全面評估。Merchie等通過研究教師專業(yè)發(fā)展干預(yù)對學(xué)生影響的一般過程，認(rèn)為教師變量、數(shù)據(jù)使用實踐和教學(xué)條件真正相關(guān)，提出了一個包括干預(yù)（輸入）、數(shù)據(jù)使用的實踐（過程）以及最終的結(jié)果（輸出）的通用路徑模型（如圖3所示），用于評估專業(yè)發(fā)展干預(yù)對教師成果、課堂實踐和學(xué)生成果的影響[41]。但在某些現(xiàn)實情況下，很難評估數(shù)據(jù)使用項目的實際效果，因為不同的數(shù)據(jù)使用流程決定了不同的數(shù)據(jù)績效模型，不同的數(shù)據(jù)干預(yù)之間很難就數(shù)據(jù)使用績效評估框架達(dá)成一致。因此，有效性問題的重點將需要再次轉(zhuǎn)移到更廣泛的學(xué)習(xí)或組織環(huán)境，以及它在多大程度上有足夠的資源來支持基于證據(jù)的專業(yè)實踐，以加強學(xué)生的學(xué)習(xí)。未來的研究應(yīng)側(cè)重檢查與成就效益相關(guān)的不同項目開發(fā)過程，以確定數(shù)據(jù)使用過程的哪些方面似乎與更高的效益最相關(guān)。

（四）改變數(shù)據(jù)應(yīng)用短視行為，致力長遠(yuǎn)發(fā)展目標(biāo)

目前DBDM應(yīng)用過程中普遍的短視行為表現(xiàn)為對數(shù)據(jù)的來源渠道和最終目標(biāo)的狹隘界定，特別是由于不同教育背景下的問責(zé)壓力，導(dǎo)致教學(xué)領(lǐng)域大多數(shù)時候只關(guān)注學(xué)生的考試成績和分?jǐn)?shù)，并且片面地以成績和分?jǐn)?shù)數(shù)據(jù)作為依據(jù)，從而作出較為膚淺的教學(xué)理論假設(shè)。雖然以學(xué)生成績數(shù)據(jù)作為數(shù)據(jù)源符合教學(xué)實踐領(lǐng)域的便利性原則，但基于成績和分?jǐn)?shù)的來源數(shù)據(jù)，教師無法做到全面客觀地評價學(xué)生。數(shù)據(jù)干預(yù)的短視還表現(xiàn)在比較關(guān)注干預(yù)的當(dāng)下效應(yīng)，長期是否能夠促成學(xué)校數(shù)據(jù)文化的形成，數(shù)據(jù)團隊是否會繼續(xù)使用數(shù)據(jù)，如何能夠一直延續(xù)數(shù)據(jù)干預(yù)的有效性等問題亟待進(jìn)一步關(guān)注，也是通過數(shù)據(jù)應(yīng)用促進(jìn)學(xué)校師生長遠(yuǎn)發(fā)展必須解決的難點。一般而言，數(shù)據(jù)干預(yù)項目結(jié)束后，學(xué)校的數(shù)據(jù)文化很難維持下去，學(xué)生成績提升也得不到持續(xù)保障。此外，多數(shù)數(shù)據(jù)干預(yù)項目并沒有評估在取消研究者支持后教師繼續(xù)參與DBDM的程度，也沒有評估在不太理想的條件下DBDM對教師的影響，因此也就無法得出關(guān)于數(shù)據(jù)應(yīng)用的一般性應(yīng)用結(jié)論。未來的研究應(yīng)盡量在自然教學(xué)情境中，檢驗DBDM數(shù)據(jù)干預(yù)行動給師生帶來的實際影響，并應(yīng)在研究完成后對DBDM繼續(xù)使用狀況進(jìn)行后續(xù)跟蹤評估。通過研究這些背景下DBDM行動促進(jìn)教師專業(yè)發(fā)展和提升學(xué)生成績的經(jīng)驗和規(guī)律，研究人員可據(jù)此構(gòu)建基于真實自然情境下的數(shù)據(jù)干預(yù)理論，從而真正實現(xiàn)對常規(guī)教學(xué)的精準(zhǔn)指導(dǎo)。

五、結(jié)? ?語

近年來，數(shù)據(jù)驅(qū)動的教學(xué)決策的理論和實踐研究不斷增長，數(shù)據(jù)驅(qū)動教學(xué)決策理念和行動在世界教育范圍內(nèi)蔚然成風(fēng)，利用數(shù)據(jù)來改善學(xué)校教育實踐，已經(jīng)成為一種流行的學(xué)校變革趨勢，并為探究教育教學(xué)活動規(guī)律，提升教育教學(xué)質(zhì)量提供了新視角、新動能和新路徑。但從數(shù)據(jù)到?jīng)Q策不是一蹴而就的，現(xiàn)實教育決策難題也不能簡單轉(zhuǎn)嫁數(shù)據(jù)驅(qū)動解決，數(shù)據(jù)干預(yù)應(yīng)用效果需要審慎評估，盲目而動、急功近利、缺乏有效評估的數(shù)據(jù)驅(qū)動極易導(dǎo)致教育教學(xué)陷入“數(shù)據(jù)泥沼”。本研究圍繞數(shù)據(jù)驅(qū)動教學(xué)決策效果，從作用范疇、周期、措施和路徑等角度進(jìn)行了系統(tǒng)性再回顧，提出了數(shù)據(jù)驅(qū)動教學(xué)決策的主要影響因素、決策方法、評估機制和長遠(yuǎn)目標(biāo)等關(guān)鍵議題，以期為相關(guān)研究提供新的參考和幫助。

[參考文獻(xiàn)]

[1] COBURN C E，TURNER E O. The practice of data use： an introduction[J]. American journal of education， 2012， 118（2）： 99-111.

[2] MARSH J A， FARRELL C C. How leaders can support teachers with data-driven decision making： a framework for understanding capacity building[J]. Educational management administration & leadership， 2015， 43（2）： 269-289.

[3] 彭紅超，祝智庭.面向智慧學(xué)習(xí)的精準(zhǔn)教學(xué)活動生成性設(shè)計[J].電化教育研究，2016，37（8）：53-62.

[4] 郭利明，楊現(xiàn)民，張瑤.數(shù)據(jù)驅(qū)動的精準(zhǔn)教學(xué)五維支持服務(wù)框架設(shè)計與實踐研究[J].電化教育研究，2021，42（4）：85-92.

[5] 萬力勇，黃志芳，黃煥.大數(shù)據(jù)驅(qū)動的精準(zhǔn)教學(xué)：操作框架與實施路徑[J].現(xiàn)代教育技術(shù)，2019，29（1）：31-37.

[6] PAPATHEODOROU S. Umbrella reviews： what they are and why we need them[J]. European journal of epidemiology， 2019， 34（6）： 543-546.

[7] HENNESSY E A， JOHNSON B T， KEENAN C. Best practice guidelines and essential methodological steps to conduct rigorous and systematic meta-reviews[J]. Applied psychology： health and well-being， 2019， 11（3）： 353-381.

[8] MOHER D， LIBERATI A， TETZLAFF J， et al. Preferred reporting items for systematic reviews and meta-analyses： the PRISMA statement[J]. Plos medicine， 2009， 6（7）：1-6.

[9] SCHOLIN S E， BURNS M K. Relationship between pre-intervention data and post‐intervention reading fluency and growth： a meta-analysis of assessment data for individual students[J]. Psychology in the schools， 2012， 49（4）： 385-398.

[10] ANSYARI M F， GROOT W， DE WITTE K. Tracking the process of data use professional development interventions for instructional improvement： a systematic literature review[J]. Educational research review， 2020，31： 100362.

[11] JUNG P G， MCMASTER K L， KUNKEL A K， et al. Effects of data-based individualization for students with intensive learning needs： a meta-analysis[J]. Learning disabilities research & practice， 2018， 33（3）： 144-155.

[12] PETERS M T， F？魻RSTER N， HEBBECKER K， FORTHMANN B， SOUVIGNIER E. Effects of data-based decision-making on low-performing readers in general education classrooms： cumulative evidence from six intervention studies[J]. Journal of learning disabilities， 2021，54（5）：334-348.

[13] VISSCHER A J. On the value of data-based decision making in education： the evidence from six intervention studies[J]. Studies in educational evaluation， 2020，69：100899.

[14] GESEL S A， LEJEUNE L M， CHOW J C， et al. A meta-analysis of the impact of professional development on teachers' knowledge， skill， and self-efficacy in data-based decision-making[J]. Journal of learning disabilities， 2021， 54（4）：269-283.

[15] STECKER P M， FUCHS L S， FUCHS D. Using curriculum-based measurement to improve student achievement： review of research[J]. Psychology in the schools， 2005， 42（8）： 795-819.

[16] HENDRIKS M A， SCHEERENS J， SLEEGERS P. Effects of evaluation and assessment on student achievement： a review and meta-analysis[J]. The influence of school size， leadership， evaluation， and time on student outcomes， 2014： 127-174.

[17] FUCHS L S， FUCHS D. Effects of systematic formative evaluation： a meta-analysis.[J]. Except child， 1986， 53（3）：199-208.

[18] FILDERMAN M J， TOSTE J R， DIDION L A， et al. Data-based decision making in reading interventions： a synthesis and meta-analysis of the effects for struggling readers[J]. The journal of special education， 2018， 52（3）： 174-187.

[19] SHEA B J， BOUTER L M， PETERSON J， et al. External validation of a measurement tool to assess systematic reviews （AMSTAR）[J]. Plos one， 2007， 2（12）： e1350.

[20] ESPIN C A， WAYMAN M M， DENO S L， et al. Data-based decision-making： developing a method for capturing teachers' understanding of CBM graphs[J]. Learning disabilities research & practice， 2017， 32（1）： 8-21.

[21] VAN GEEL M， KEUNING T， VISSCHER A J， et al. Assessing the effects of a school-wide data-based decision-making intervention on student achievement growth in primary schools[J]. American educational research journal， 2016， 53（2）： 360-394.

[22] KONSTANTOPOULOS S， MILLER S R， VAN DER PLOEG A. The impact of Indiana's system of interim assessments on mathematics and reading achievement[J]. Educational evaluation and policy analysis， 2013， 35（4）： 481-499.

[23] CHEUNG A C K， SLAVIN R E. How methodological features affect effect sizes in education[J]. Educational researcher， 2016， 45（5）： 283-292.

[24] SUPOVITZ J A， TURNER H M. The effects of professional development on science teaching practices and classroom culture[J]. Journal of research in science teaching： the official journal of the national association for research in science teaching， 2000， 37（9）： 963-980.

[25] VAN DER SCHEER E A， VISSCHER A J. Effects of a data-based decision-making intervention for teachers on students' mathematical achievement[J]. Journal of teacher education， 2018， 69（3）： 307-320.

[26] SLAVIN R E， CHEUNG A， HOLMES G C， et al. Effects of a data-driven district reform model on state assessment outcomes[J]. American educational research journal， 2013， 50（2）： 371-396.

[27] LAI M K， WILSON A， MCNAUGHTON S， et al. Improving achievement in secondary schools： impact of a literacy project on reading comprehension and secondary school qualifications[J]. Reading research quarterly， 2014， 49（3）： 305-334.

[28] STAMAN L L， TIMMERMANS A C A， VISSCHER A J A. Effects of a data-based decision making intervention on student achievement[J]. Studies in educational evaluation， 2017， 55： 58-67.

[29] KAUFMAN T E， GRAHAM C R， PICCIANO A G， et al. Data-driven decision making in the K-12 classroom[M]//Handbook of research on educational communications and technology. New York： Springer， 2014： 337-346.

[30] SCHILDKAMP K， KUIPER W. Data-informed curriculum reform： which data，what purposes，and promoting and hindering factors[J]. Teaching and teacher education， 2010， 26（3）： 482-496.

[31] EBBELER J， POORTMAN C L， SCHILDKAMP K， et al. The effects of a data use intervention on educators' satisfaction and data literacy[J]. Educational assessment， evaluation and accountability， 2017， 29（1）： 83-105.

[32] ARCHER E， SCHERMAN V， HOWIE S. Approaches to effective data use： does one size fit all？[M]//Data-based decision making in education. Springer， Dordrecht， 2013： 91-112.

[33] EVANS A. No child left behind and the quest for educational equity： the role of teachers' collective sense of efficacy[J]. Leadership and policy in schools， 2009， 8（1）： 64-91.

[34] 張學(xué)波，林書兵，孫元香.從數(shù)據(jù)到知識：數(shù)據(jù)驅(qū)動教學(xué)決策的理論模型與能力提升[J].電化教育研究，2021，42（12）：41-47.

[35] COYNE M D， SIMMONS D C， HAGAN-BURKE S， et al. Adjusting beginning reading intervention based on student performance： an experimental evaluation[J]. Exceptional children， 2013， 80（1）： 25-44.

[36] VERNON-FEAGANS L， GALLAGHER K， GINSBERG M C， et al. A diagnostic teaching intervention for classroom teachers： helping struggling readers in early elementary school[J]. Learning disabilities research & practice， 2010， 25（4）： 183-193.

[37] ORTLIEB E， MCDOWELL F D. Investigating the effects of an experimental approach to comprehension instruction within a literacy clinic[J]. Current issues in education， 2016， 19（1）： 1-15.

[38] CRONE D A， STOOLMILLER M， BAKER S K， et al. The middle school intervention project： use of a regression discontinuity design to evaluate a multi-component intervention for struggling readers in middle school in six school districts[R]. Oregon：Society for Research on Educational Effectiveness， 2012.

[39] REEVES T D， CHIANG J L. Online interventions to promote teacher data-driven decision making： optimizing design to maximize impact[J]. Studies in educational evaluation， 2018， 59： 256-269.

[40] VAN KUIJK M F， DEUNK M I， BOSKER R J， et al. Goals， data use， and instruction： the effect of a teacher professional development program on reading achievement[J]. School effectiveness and school improvement， 2016， 27（2）： 135-156.

[41] MERCHIE E， TUYTENS M， DEVOS G， et al. Evaluating teachers' professional development initiatives： towards an extended evaluative framework[J]. Research papers in education， 2018， 33（2）： 143-168.

Overview of Effect of Data-driven Instructional Decision-making and Vision Breakthrough —An Umbrella Evaluation Based on Ten Meta-Analysis

LIU Jin1，? ZHANG Xuebo2，? LIN Shubing3

（1.Office of Information Construction and Management， South China Normal University， Guangzhou Guangdong 510631; 2.School of Information Technology in Education， South China Normal University， Guangzhou Guangdong 510631; 3.Institute of Advanced Studies in Humanities and Social Sciences， Beijing Normal University， Zhuhai Guangdong 519087）

[Abstract] The application of data-driven instructional decision-making， as a new trend in current basic education practice， still has some problems， such as insufficient evidence， unclear effects， and unclear paths. In other words， what is the scope of instructional data interventions， what are the actual effects of data use in schools， how do schools evaluate the actual effects， what are the main factors that constrain the use of data， and how do schools build the practical mechanism for the use of educational data. This series of questions reflects the main confusion in the application of educational data， and also foreshadows the direction of further exploration of data-driven instructional decision-making. Given the growing number but limited perspective and scope of relevant thematic meta-analyses， this study adopts an umbrella evaluation approach， extracts ten studies based on meta-analysis and systematically reviews the effects of data-driven interventions for instructional applications from the perspectives of scope， cycle， measures， and paths. The key topics such as the main influencing factors， decision-making methods， evaluation mechanisms and long-term goals of data-driven are also proposed， with a view to providing comprehensive analysis conclusions and future breakthrough directions for subsequent related studies.

[Keywords] Data-driven Instructional Decision-making; Effect Evaluation; Umbrella Evaluation

[作者簡介] 劉晉（1984—），男，湖北武漢人。助理研究員，博士研究生，主要從事多模態(tài)教學(xué)行為分析、智慧校園建設(shè)研究。E-mail：liujin@scnu.edu.cn。張學(xué)波為通訊作者，E-mail：zhangxb@126.com。

基金項目：2018年國家社科基金重大項目“信息化促進(jìn)新時代基礎(chǔ)教育公平研究”（項目編號：18ZDA334）;2022年華南師范大學(xué)哲學(xué)社會科學(xué)重大培育項目“數(shù)據(jù)驅(qū)動的教學(xué)決策理論與實踐研究”（項目編號：ZDPY2207）