美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估經(jīng)驗(yàn)何在？＊
——基于25 項(xiàng)高質(zhì)量評(píng)估研究的主題文本分析

時(shí)晨晨

（中國(guó)人民大學(xué)教育學(xué)院，北京 100872）

自1978 年改革開(kāi)放以來(lái)，我國(guó)教育改革已持續(xù)了40 余年，并將繼續(xù)進(jìn)行下去（吳康寧，2012），“建設(shè)高質(zhì)量教育體系”便是國(guó)家持續(xù)深化教育改革這一意志的集中體現(xiàn)。在當(dāng)下教育改革全面推進(jìn)與持續(xù)深入階段，隨著我國(guó)教育事業(yè)發(fā)展主要矛盾的變化—從“有學(xué)上”到“上好學(xué)”再到“公平而有質(zhì)量的教育”以及“更加公平更高質(zhì)量的教育”，教育改革的理念與重心也開(kāi)始發(fā)生轉(zhuǎn)向，逐漸由此前對(duì)合法性、正當(dāng)性和價(jià)值性的追求轉(zhuǎn)向?qū)茖W(xué)性、有效性和可行性的追求。為了有效響應(yīng)和推進(jìn)這一改革重心的轉(zhuǎn)向，近年來(lái)教育政策、項(xiàng)目或?qū)嵺`評(píng)估研究開(kāi)始不斷成長(zhǎng)與發(fā)展，以期為科學(xué)、有效和可行的教育改革政策、項(xiàng)目或?qū)嵺`的制定或?qū)嵤┨峁﹣?lái)自教育科學(xué)研究的證據(jù)?；诖?，本文將對(duì)美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估較為成熟的實(shí)踐經(jīng)驗(yàn)進(jìn)行研究，希望能為我國(guó)教育政策、項(xiàng)目或?qū)嵺`評(píng)估研究的實(shí)踐發(fā)展提供有效的經(jīng)驗(yàn)參考。

一、問(wèn)題提出：美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的實(shí)踐經(jīng)驗(yàn)

為了有效推進(jìn)教育領(lǐng)域的知識(shí)生產(chǎn)，美國(guó)教育科學(xué)研究院（Institute of Education Sciences，IES）與國(guó)家科學(xué)基金會(huì)（National Science Foundation，NSF）于2013 年合作編制出《教育研究與開(kāi)發(fā)指南》（Common Guidelines for Education Research and Development），將教育領(lǐng)域的科學(xué)研究分為三大類—基礎(chǔ)性和探索性研究（foundational and exploratory research）、設(shè)計(jì)和開(kāi)發(fā)研究（design and development research）以及效果評(píng)估（impact evaluation），三者依序筑就了一條完整的教育知識(shí)生產(chǎn)“管道”。其中，位于“管道”最后一環(huán)的效果評(píng)估，是指對(duì)那些以基礎(chǔ)性和探索性研究為知識(shí)基礎(chǔ)而被科學(xué)設(shè)計(jì)與開(kāi)發(fā)的政策、項(xiàng)目、產(chǎn)品或服務(wù)達(dá)成其預(yù)期結(jié)果和最終目標(biāo)的能力進(jìn)行可靠估計(jì)，以生產(chǎn)效果證據(jù)（Earle et al.，2013，p.49）。就基礎(chǔ)教育項(xiàng)目而言，效果評(píng)估最為主要的目的是判斷項(xiàng)目的績(jī)效或價(jià)值，利益攸關(guān)者可將這一判斷結(jié)果用于多種用途，包括項(xiàng)目采納決策、項(xiàng)目研發(fā)或項(xiàng)目管理的改進(jìn)與完善，等等（Fitzpatrick，Sanders，&Worthen，2011，p.16）。

而這種對(duì)項(xiàng)目在現(xiàn)實(shí)世界情境（real-world settings）中的實(shí)施效果進(jìn)行評(píng)估的特殊研究目前也已發(fā)展成為美國(guó)新近興起的循證教育改革（evidence-based reform in education）的證據(jù)來(lái)源（時(shí)晨晨，2020，第55 頁(yè)）。所謂循證教育改革，是指教育政策制定者和教育實(shí)踐者基于教育研究者循證教育研究的證據(jù)結(jié)果，尤其是利用嚴(yán)格實(shí)驗(yàn)研究方法開(kāi)展的高質(zhì)量效果評(píng)估研究的證據(jù)整合結(jié)果，來(lái)決策和實(shí)施“被證據(jù)證實(shí)”（evidence-proven）的教育項(xiàng)目、產(chǎn)品或服務(wù)的教育改革政策與實(shí)踐。與美國(guó)以往的教育市場(chǎng)化與標(biāo)準(zhǔn)化等制度性改革不同，這場(chǎng)新近興起的循證教育改革運(yùn)動(dòng)將變革的著眼點(diǎn)聚焦在學(xué)校與課堂層面上，變革的核心要素有四—項(xiàng)目研發(fā)、效果評(píng)估、證據(jù)整合和學(xué)校改進(jìn)，它們分別構(gòu)成了循證教育改革的首要前提、證據(jù)來(lái)源、直接依據(jù)和實(shí)踐落地（時(shí)晨晨，2020，第1 頁(yè)）。由此也不難看出，項(xiàng)目效果評(píng)估在整個(gè)循證教育改革中具有承前啟后的重要意義。

盡管項(xiàng)目效果評(píng)估的教育研究?jī)r(jià)值與教育改革意義重大，但實(shí)施一項(xiàng)高質(zhì)量的評(píng)估研究并非易事。從項(xiàng)目方這一角度而言，需要周全考慮評(píng)估研究的資源前提、人力輸入、開(kāi)展過(guò)程以及成果輸出等諸多環(huán)節(jié)。那么，實(shí)踐發(fā)展根基相對(duì)堅(jiān)實(shí)的美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估目前在這些環(huán)節(jié)上到底積累了哪些較為成熟的實(shí)踐經(jīng)驗(yàn)？

二、文獻(xiàn)綜述：美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的實(shí)踐發(fā)展

相較于包括中國(guó)在內(nèi)的世界許多國(guó)家，美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的實(shí)踐起步較早。諸多文獻(xiàn)均指出，其實(shí)踐源頭可以追溯至19 世紀(jì)以前。不過(guò)，其現(xiàn)代意義上的效果評(píng)估則是伴隨著1965 年《初等和中等教育法》（Elementary and Secondary Education Act，ESEA）的頒布而出現(xiàn)的。該法案推動(dòng)美國(guó)聯(lián)邦政府為基礎(chǔ)教育事業(yè)的發(fā)展投入了大量的經(jīng)費(fèi)（例如學(xué)前教育的“開(kāi)端計(jì)劃”項(xiàng)目），但隨之而來(lái)的擔(dān)憂是，這些經(jīng)費(fèi)投入的效果到底如何？所以，提議經(jīng)費(fèi)接受者需提交效果評(píng)估報(bào)告的聲音開(kāi)始不斷涌現(xiàn)（Fitzpatrick et al.，2011，pp.44-45）。

在此后的20 世紀(jì)70—90 年代，效果評(píng)估開(kāi)始茁壯成長(zhǎng)與發(fā)展。它的實(shí)踐表現(xiàn)主要有：首先，在評(píng)估的專業(yè)人員上，高校爭(zhēng)相開(kāi)設(shè)相關(guān)學(xué)科、專業(yè)、學(xué)位項(xiàng)目和課程，培養(yǎng)與訓(xùn)練評(píng)估研究人才。第二，在評(píng)估的專業(yè)社群上，美國(guó)教育研究協(xié)會(huì)（American Educational Research Association，AERA）評(píng)估分部（Evaluation Division）、教育評(píng)估標(biāo)準(zhǔn)聯(lián)合委員會(huì)（Joint Committee on Standards for Educational Evaluation，JCSEE）、美國(guó)評(píng)估協(xié)會(huì)（American Evaluation Association，AEA）等組織先后成立。第三，在評(píng)估的專業(yè)期刊上，《教育評(píng)估研究》（Studies in Educational Evaluation）、《評(píng)估季刊》（Evaluation Quarterly）、《評(píng)估新動(dòng)向》（New Directions for Evaluation）、《教育評(píng)估與政策分析》（Educational Evaluation and Policy Analysis）、《美國(guó)評(píng)估期刊》（American Journal of Evaluation）等先后被創(chuàng)辦。第四，在評(píng)估的專業(yè)規(guī)范上，教育評(píng)估標(biāo)準(zhǔn)聯(lián)合委員會(huì)于1981 年發(fā)布首版《項(xiàng)目評(píng)估標(biāo)準(zhǔn)》（Program Evaluation Standards），1995 年美國(guó)評(píng)估協(xié)會(huì)發(fā)布首版《評(píng)估人員指導(dǎo)準(zhǔn)則》（Guiding Principles for Evaluators）。

“21 世紀(jì)是評(píng)估的時(shí)代。進(jìn)入新世紀(jì)后，項(xiàng)目效果評(píng)估迎來(lái)了激動(dòng)人心的發(fā)展階段（Fitzpatrick et al.，2011，p.V）?！痹?002 年《不讓一個(gè)孩子掉隊(duì)法》（No Child Left Behind，NCLB）時(shí)期，一方面由于教育問(wèn)責(zé)體制的建立與需求，美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估開(kāi)始更為關(guān)注研制效果測(cè)量指標(biāo)，并評(píng)估項(xiàng)目在這些指標(biāo)上的具體效果表現(xiàn)（Fitzpatrick et al.，2011，pp.53-54）。另一方面由于對(duì)教育研究事業(yè)強(qiáng)有力的經(jīng)費(fèi)支持，美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估逐漸采用嚴(yán)格揭示因果關(guān)系的實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究方法（Borman，2002），為此，不少學(xué)者認(rèn)為美國(guó)教育研究的軌道開(kāi)始發(fā)生轉(zhuǎn)向（Angrist，2004）。

在2015 年《每個(gè)學(xué)生都成功法》（Every Student Succeeds Act，ESSA）這部新修訂的聯(lián)邦教育法頒布后，美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估也開(kāi)始獲得了新的實(shí)踐發(fā)展：第一，證據(jù)等級(jí)界定。該法之于效果評(píng)估的重要意義之一就在于其對(duì)“證據(jù)”的明文定義與等級(jí)劃分。第一等級(jí)的“強(qiáng)有力”（strong）證據(jù)和第二等級(jí)的“中等的”（moderate）證據(jù)分別是指來(lái)自精心設(shè)計(jì)且被良好實(shí)施的實(shí)驗(yàn)研究和準(zhǔn)實(shí)驗(yàn)研究的統(tǒng)計(jì)顯著積極效果，這為高質(zhì)量效果評(píng)估的研究設(shè)計(jì)指明了明確方向。第二，經(jīng)費(fèi)資助提升。其典型表現(xiàn)是美國(guó)教育科學(xué)研究院對(duì)效果評(píng)估的研究資助不斷提升，2021 財(cái)年的單項(xiàng)立項(xiàng)資助上限已上調(diào)至380 萬(wàn)美元（U.S.Institute of Education Sciences，2020，p.5）。第三，管理系統(tǒng)建立。2018 年10 月31 日，美國(guó)教育科學(xué)研究院與美國(guó)教育效能研究學(xué)會(huì)（Society for Research on Educational Effectiveness，SREE）聯(lián)合推出“效力和效能評(píng)估研究注冊(cè)系統(tǒng)”（Registry of Efficacy and Effectiveness Studies，REES）。它鼓勵(lì)評(píng)估人員在該系統(tǒng)中提前登記即將開(kāi)展的因果推斷性效果評(píng)估，具體包括隨機(jī)對(duì)照實(shí)驗(yàn)（randomized controlled trial，RCT）、準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)（quasi-experimental design，QED）、斷點(diǎn)回歸設(shè)計(jì)（regression discontinuity design，RDD）和單個(gè)案實(shí)驗(yàn)設(shè)計(jì)（single-case experimental design，SCED）等四種研究方法，目的是為了增加效果評(píng)估開(kāi)展過(guò)程的透明度以及成果使用的開(kāi)放度。不少評(píng)估人員將其視為效果評(píng)估發(fā)展歷程上一項(xiàng)具有里程碑意義的政策支持（Slavin，2018）。

三、研究設(shè)計(jì)：25 項(xiàng)高質(zhì)量評(píng)估研究的主題文本分析

在2015 年《每個(gè)學(xué)生都成功法》對(duì)學(xué)生出勤這一教育問(wèn)題的重視與問(wèn)責(zé)背景之下，美國(guó)約翰·霍普金斯大學(xué)教育研究與改革中心（Center for Research and Reform in Education，CRRE）①的“《每個(gè)學(xué)生都成功法》證據(jù)庫(kù)”（Evidence for ESSA）②目前已經(jīng)完成了對(duì)全美境內(nèi)基礎(chǔ)教育階段學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估的證據(jù)整合（evidence synthesis）③。

具體而言，該庫(kù)基于如下十條嚴(yán)格的篩選標(biāo)準(zhǔn)④，篩選出如表1 所示的18 個(gè)學(xué)生出勤改進(jìn)項(xiàng)目的25 項(xiàng)高質(zhì)量效果評(píng)估研究（Shi et al.，2019，pp.8-11）。第一，研究應(yīng)對(duì)美國(guó)基礎(chǔ)教育階段的學(xué)生出勤改進(jìn)項(xiàng)目進(jìn)行效果評(píng)估，且所評(píng)估的項(xiàng)目需是校本的、能夠被傳統(tǒng)公立學(xué)校自主采納和實(shí)施的。第二，研究的撰寫語(yǔ)言須為英語(yǔ)，發(fā)表時(shí)間在1990 年之后。第三，研究必須使用隨機(jī)對(duì)照實(shí)驗(yàn)或準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)的研究方法。如果是匹對(duì)分配，分配需在項(xiàng)目干預(yù)實(shí)施前完成，事后匹配（post-hoc）或回顧性（retrospective）研究不予考慮。第四，研究中項(xiàng)目干預(yù)的實(shí)施時(shí)長(zhǎng)不能低于12 周。第五，研究必須設(shè)置有同實(shí)驗(yàn)組相似的對(duì)照組，以接收替代性項(xiàng)目干預(yù)或正常教育教學(xué)。第六，研究中的實(shí)驗(yàn)組和對(duì)照組必須包含30 名以上的學(xué)生。如果分配水平是在班級(jí)水平或?qū)W校水平上，實(shí)驗(yàn)組和對(duì)照組必須均包含2 個(gè)及以上的班級(jí)或?qū)W校。實(shí)驗(yàn)組和對(duì)照組的流失率不能超過(guò)50%，兩組之間的流失率差距不能大于15%。第七，研究需展示實(shí)驗(yàn)組和對(duì)照組初始樣本的基線等值（baseline equivalence），即不超過(guò)0.25 個(gè)標(biāo)準(zhǔn)差。此外，兩組流失后的最終樣本的基線等值也不能超過(guò)0.25 個(gè)標(biāo)準(zhǔn)差。如果研究中沒(méi)有呈現(xiàn)兩組學(xué)生的出勤率基線數(shù)據(jù)，那么必須要提供兩組樣本在人口統(tǒng)計(jì)學(xué)和學(xué)業(yè)成績(jī)上的基線等值，亦即，兩組樣本的人口統(tǒng)計(jì)學(xué)基線等值不能超過(guò)0.50 個(gè)標(biāo)準(zhǔn)差，學(xué)業(yè)成績(jī)的基線等值不能超過(guò)0.25 個(gè)標(biāo)準(zhǔn)差。第八，研究必須定量測(cè)量學(xué)生的學(xué)校出勤（school attendance）效果，比如出勤率或缺勤天數(shù)，而不是學(xué)生的項(xiàng)目出勤（program attendance）結(jié)果。研究中出勤數(shù)據(jù)的收集必須來(lái)自學(xué)校記錄或教師報(bào)告，不能來(lái)自家長(zhǎng)或?qū)W生自己的匯報(bào)。第九，研究對(duì)出勤效果的分析必須要使用意向處理分析（intent-to-treat，ITT），而不是處理中的處理分析（treatment-on-the-treated，TOT）。第十，研究必須要提供充分的數(shù)據(jù)分析結(jié)果以計(jì)算出項(xiàng)目出勤效果的效應(yīng)值（effect size）和統(tǒng)計(jì)顯著性（statistical significance）。

表1 25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究

為了有效解答上述研究問(wèn)題并得出可信的研究發(fā)現(xiàn)，本文不僅以表1 中的25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究個(gè)案作為文本分析對(duì)象，而且還對(duì)它們進(jìn)行了深入的主題文本分析（thematic text analysis）。作為質(zhì)性文本分析（qualitative text analysis）的基本方法之一⑤，主題文本分析是指對(duì)文本中的相關(guān)內(nèi)容（如話題、論斷、經(jīng)驗(yàn)等）進(jìn)行主題式探究，例如探究文本中“人們關(guān)于氣候變化的看法”，具體分析過(guò)程則通常包含有初步閱讀文本、建構(gòu)主要主題、初始編碼過(guò)程、整理主要主題編碼、確定次要主題、二次編碼過(guò)程、分析主題與呈現(xiàn)結(jié)果等七個(gè)典型階段（Kuckartz，2014，pp.41+70）。

就本文而言，25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究的主題文本分析過(guò)程主要表現(xiàn)為：第一階段，通讀紙質(zhì)文本。將25 項(xiàng)評(píng)估打印出來(lái)之后，帶著研究問(wèn)題、有目的地閱讀紙質(zhì)文本，并在文本中的相應(yīng)地方進(jìn)行標(biāo)記、注釋、評(píng)論以及備忘記錄。第二階段，演繹一級(jí)主題。在對(duì)25 項(xiàng)評(píng)估文本有了整體了解之后，立足研究問(wèn)題，并以“評(píng)估研究的實(shí)踐邏輯（包括資源前提、人力輸入、開(kāi)展過(guò)程和成果輸出等）”為依據(jù)，自上而下演繹式建構(gòu)⑥出“評(píng)估經(jīng)費(fèi)”“評(píng)估人員”“評(píng)估開(kāi)展”與“評(píng)估成果”這四個(gè)互斥的一級(jí)主題，作為“美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估實(shí)踐經(jīng)驗(yàn)”的核心分析框架。第三階段，初始人工編碼。由于25 項(xiàng)評(píng)估文本的撰寫語(yǔ)言為英語(yǔ)，且數(shù)量也并不算多，為了有效地進(jìn)行中文編碼，筆者在經(jīng)過(guò)反復(fù)深入地閱讀、理解與挖掘后，采用人工編碼的方式，從文本中提取同四個(gè)一級(jí)主題相關(guān)的描述或信息，手動(dòng)記錄在編碼單中。第四階段，分析一級(jí)主題。在初始編碼工作完成后，開(kāi)始對(duì)四個(gè)一級(jí)主題的編碼單進(jìn)行粗略的系統(tǒng)分析。具體的分析路徑主要有三：一是事實(shí)統(tǒng)計(jì)，如評(píng)估經(jīng)費(fèi)項(xiàng)數(shù)；二是實(shí)體識(shí)別，如評(píng)估人員來(lái)源組織；三是語(yǔ)義分析，如評(píng)估問(wèn)題表述。第五階段，歸納二級(jí)主題?；谝患?jí)主題的初步聚類分析結(jié)果，在各個(gè)一級(jí)主題之下自下而上地歸納式凝煉出三個(gè)互斥的二級(jí)主題，亦即，進(jìn)一步細(xì)分出“評(píng)估經(jīng)費(fèi)來(lái)源”“評(píng)估經(jīng)費(fèi)籌措”“評(píng)估經(jīng)費(fèi)使用”“評(píng)估人員來(lái)源”“評(píng)估人員選擇確定”“評(píng)估人員角色定位”“評(píng)估規(guī)劃”“評(píng)估設(shè)計(jì)”“評(píng)估實(shí)施”“評(píng)估發(fā)現(xiàn)”“評(píng)估結(jié)果”和“評(píng)估產(chǎn)品”等十二個(gè)二級(jí)主題。第六階段，二次人工編碼。重新梳理此前一級(jí)主題編碼單上的已有編碼，并合理歸類與放置在各個(gè)二級(jí)主題之下。第七階段，分析二級(jí)主題并呈現(xiàn)研究發(fā)現(xiàn)。不同于一級(jí)主題，該階段對(duì)二級(jí)主題編碼單的聚類分析更加細(xì)致、全面，并且還是在一定理論指導(dǎo)之下進(jìn)行的。最后，按照一二級(jí)主題分析框架這一最為常見(jiàn)的主題文本分析呈現(xiàn)方式⑦，有序撰寫并清晰勾勒出如下美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估實(shí)踐經(jīng)驗(yàn)的研究發(fā)現(xiàn)。

四、充足的評(píng)估經(jīng)費(fèi)—美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的首要前提

項(xiàng)目效果評(píng)估的財(cái)力、人力、物力和時(shí)間成本巨大，其成功開(kāi)展離不開(kāi)充足的經(jīng)費(fèi)支持這一首要資源前提與條件保障。目前美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的經(jīng)費(fèi)支持具體在經(jīng)費(fèi)來(lái)源、經(jīng)費(fèi)籌措以及經(jīng)費(fèi)使用上積累出以下實(shí)踐經(jīng)驗(yàn)。

（一）評(píng)估經(jīng)費(fèi)來(lái)源：政府為首的各界支持

美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的經(jīng)費(fèi)支持一般來(lái)源于四大渠道：聯(lián)邦政府、州政府和地方政府，社會(huì)上的基金會(huì)、公司和企業(yè)、研究機(jī)構(gòu)等組織，高校和研究人員個(gè)人，以及項(xiàng)目研發(fā)或管理組織。

第一，聯(lián)邦政府通常是項(xiàng)目效果評(píng)估的首要政府經(jīng)費(fèi)來(lái)源。25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究尤其得到了來(lái)自聯(lián)邦教育部（Department of Education）、聯(lián)邦衛(wèi)生與公眾服務(wù)部（Department of Health and Human Services）、聯(lián)邦司法部（Department of Justice）和聯(lián)邦農(nóng)業(yè)部（Department of Agriculture）這四個(gè)聯(lián)邦行政部門（Executive Department），以及國(guó)家藝術(shù)基金會(huì)（National Endowment for the Arts，NEA）和國(guó)家與社區(qū)服務(wù)公司（Corporation for National and Community Service，CNCS）這兩個(gè)聯(lián)邦獨(dú)立機(jī)構(gòu)（Independent Agency）的經(jīng)費(fèi)支持。州政府和地方政府的公共經(jīng)費(fèi)也通常是項(xiàng)目效果評(píng)估的次要政府經(jīng)費(fèi)來(lái)源。第二，社會(huì)上一些對(duì)教育事業(yè)投資感興趣的基金會(huì)、公司和企業(yè)、研究機(jī)構(gòu)等組織也會(huì)為項(xiàng)目效果評(píng)估提供捐贈(zèng)，是項(xiàng)目效果評(píng)估的重要社會(huì)經(jīng)費(fèi)來(lái)源。第三，如果項(xiàng)目效果評(píng)估的研究人員來(lái)自高校，那么其所在高校的相關(guān)部門及其個(gè)人的研究經(jīng)費(fèi)也是評(píng)估的潛在經(jīng)費(fèi)來(lái)源。第四，項(xiàng)目研發(fā)或管理組織有時(shí)也會(huì)對(duì)自己項(xiàng)目的效果評(píng)估提供一定經(jīng)費(fèi)支持。盡管這一情況在25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究中并不多見(jiàn)。

（二）評(píng)估經(jīng)費(fèi)籌措：集體同心的智慧行動(dòng)

美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的經(jīng)費(fèi)支持不僅來(lái)源豐富，具體的籌措工作也別具特色。25 項(xiàng)高質(zhì)量學(xué)生出勤項(xiàng)目效果評(píng)估研究的經(jīng)費(fèi)籌措尤其展現(xiàn)出如下經(jīng)驗(yàn)做法。

首先，就籌措的主體而言，項(xiàng)目效果評(píng)估的經(jīng)費(fèi)籌措通常是多位作者的集體行動(dòng)。所謂“集體行動(dòng)”（collective action），是指評(píng)估研究的多位作者為了研究的集體利益，充分利用自己的資源與優(yōu)勢(shì)，共同承擔(dān)經(jīng)費(fèi)籌措任務(wù)（Savage，2000，pp.13-16）。其次，就籌措的路徑而言，項(xiàng)目效果評(píng)估的經(jīng)費(fèi)籌措往往會(huì)呈現(xiàn)出一定的針對(duì)性、競(jìng)爭(zhēng)性與就近性特征。“針對(duì)性”，是指根據(jù)項(xiàng)目干預(yù)類型、發(fā)展成熟度以及效果評(píng)估目的等有目標(biāo)有針對(duì)地籌措評(píng)估經(jīng)費(fèi)?！案?jìng)爭(zhēng)性”，是指項(xiàng)目效果評(píng)估的經(jīng)費(fèi)申請(qǐng)往往會(huì)經(jīng)歷一個(gè)同行評(píng)審的、差額的、競(jìng)爭(zhēng)性的評(píng)選過(guò)程，尤其是在申請(qǐng)政府這一渠道的評(píng)估經(jīng)費(fèi)時(shí)，更是如此?！熬徒浴保侵疙?xiàng)目效果評(píng)估就近尋求評(píng)估開(kāi)展地的經(jīng)費(fèi)資助，尤其表現(xiàn)在尋求社會(huì)這一渠道的評(píng)估經(jīng)費(fèi)上。最后，就經(jīng)費(fèi)籌措的結(jié)果而言，匯聚與整合來(lái)自各個(gè)渠道的各項(xiàng)評(píng)估經(jīng)費(fèi)，以全力支持評(píng)估開(kāi)展，是項(xiàng)目效果評(píng)估經(jīng)費(fèi)籌措的最終結(jié)果。

（三）評(píng)估經(jīng)費(fèi)使用：貫穿評(píng)估全程

美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估所獲的經(jīng)費(fèi)支持，每一項(xiàng)少則數(shù)十萬(wàn)美元，多則數(shù)百萬(wàn)美元。那么，這些金額巨大的研究經(jīng)費(fèi)到底用在了哪些方面？事實(shí)上，美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的時(shí)間戰(zhàn)線通常較長(zhǎng)，25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究中最長(zhǎng)的歷時(shí)六年，經(jīng)費(fèi)使用基本上貫穿整個(gè)項(xiàng)目效果評(píng)估的研究全程，尤其使用在如下四個(gè)方面上：

第一，評(píng)估啟動(dòng)。項(xiàng)目效果評(píng)估的啟動(dòng)具體是指評(píng)估開(kāi)展過(guò)程中啟動(dòng)階段的評(píng)估規(guī)劃與設(shè)計(jì)工作。第二，評(píng)估實(shí)施。項(xiàng)目效果評(píng)估的實(shí)施主要包括評(píng)估開(kāi)展過(guò)程中實(shí)施階段的樣本招募與分配、干預(yù)培訓(xùn)與實(shí)施、效果數(shù)據(jù)收集等。第三，評(píng)估結(jié)果撰寫。項(xiàng)目效果評(píng)估的開(kāi)展過(guò)程固然重要，但之后的效果數(shù)據(jù)分析、評(píng)估發(fā)現(xiàn)解釋、評(píng)估結(jié)果撰寫等工作也不容忽視。第四，評(píng)估產(chǎn)品傳播。如前所述，項(xiàng)目效果評(píng)估的目的是為了判斷與使用。所以，將評(píng)估產(chǎn)品分享給教育政策制定者、教育實(shí)踐者等利益攸關(guān)者以充分發(fā)揮評(píng)估的價(jià)值與意義，是整個(gè)項(xiàng)目效果評(píng)估的最后一站。

五、專業(yè)的評(píng)估人員—美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的核心輸入

項(xiàng)目效果評(píng)估的人力成本極高，尤其需要兩大類核心群體的人力輸入—評(píng)估人員和利益攸關(guān)者。而作為評(píng)估研究的領(lǐng)導(dǎo)者與開(kāi)展者，前者因其專業(yè)的知識(shí)與技能更是會(huì)對(duì)評(píng)估研究產(chǎn)生重要影響。目前美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的評(píng)估人員輸入具體在人員來(lái)源、選擇確定以及角色定位上表現(xiàn)出如下實(shí)踐經(jīng)驗(yàn)。

（一）評(píng)估人員來(lái)源：高校為主的專業(yè)組織

美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的評(píng)估人員主要來(lái)自高校、社會(huì)研究機(jī)構(gòu)、政府機(jī)構(gòu)中的相關(guān)評(píng)估部門等三類專業(yè)組織。

第一，高校。25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究中有14 項(xiàng)是由高校研究人員領(lǐng)頭開(kāi)展的。具體來(lái)看，有的是由來(lái)自同一家高校的研究人員共同開(kāi)展，有的是由來(lái)自多家高校的研究人員合作開(kāi)展，也有的是由高校研究人員一人獨(dú)立開(kāi)展。這些來(lái)自高校的評(píng)估人員大多為熟練掌握項(xiàng)目效果評(píng)估研究方法與技術(shù)的教授、副教授、助理教授、博士后研究員和博士生。第二，社會(huì)研究機(jī)構(gòu)。余下11 項(xiàng)則是由一些提供項(xiàng)目效果評(píng)估服務(wù)的社會(huì)研究機(jī)構(gòu)領(lǐng)頭開(kāi)展，其中較為知名的有蘭德公司（RAND Corporation）和美國(guó)研究所（American Institutes for Research，AIR）等。這些社會(huì)研究機(jī)構(gòu)中評(píng)估人員的技術(shù)職稱多為研究員和研究助理。第三，政府機(jī)構(gòu)中的相關(guān)評(píng)估部門。盡管25 項(xiàng)評(píng)估中沒(méi)有一項(xiàng)是由政府評(píng)估部門領(lǐng)頭開(kāi)展的，但“第二步”項(xiàng)目高質(zhì)量效果評(píng)估研究（Neace &Mu?oz，2012）的第二作者是來(lái)自杰斐遜公立學(xué)校系統(tǒng)（Jefferson County Public Schools）問(wèn)責(zé)、研究與規(guī)劃部（Department of Accountability，Research and Planning）的評(píng)估專員（evaluation specialist）。

（二）評(píng)估人員選擇確定：多方因素的全面衡量

盡管能夠領(lǐng)導(dǎo)和開(kāi)展項(xiàng)目效果評(píng)估的評(píng)估人員來(lái)源廣泛，但具體到某一特定項(xiàng)目上，如何選擇與確定合適的評(píng)估人員仍是一門值得深思的學(xué)問(wèn)。

對(duì)25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究的評(píng)估人員的選擇與確定進(jìn)行分析后發(fā)現(xiàn)：第一，對(duì)于那些由評(píng)估人員自行發(fā)起的項(xiàng)目效果評(píng)估（11 項(xiàng)），評(píng)估人員就是他們自己，不會(huì)經(jīng)歷項(xiàng)目研發(fā)或管理組織或者學(xué)區(qū)對(duì)其的選擇與確定。他們自籌經(jīng)費(fèi)、組建團(tuán)隊(duì)開(kāi)展對(duì)某一特定項(xiàng)目的效果評(píng)估，主要是出于專業(yè)發(fā)展的需求或興趣。第二，對(duì)于那些由項(xiàng)目研發(fā)或管理組織或者學(xué)區(qū)基于項(xiàng)目研發(fā)或管理改進(jìn)或者學(xué)區(qū)教育改進(jìn)等目的而發(fā)起的項(xiàng)目效果評(píng)估（14 項(xiàng)），評(píng)估人員的選擇與確定往往會(huì)經(jīng)歷一個(gè)全面考量的過(guò)程，并且會(huì)重點(diǎn)思考以下因素：項(xiàng)目類型與特征，項(xiàng)目研發(fā)或管理組織所在地、內(nèi)部自我評(píng)估能力、外部評(píng)估資源與合作基礎(chǔ)，學(xué)區(qū)所在地，效果評(píng)估開(kāi)展地，外部評(píng)估人員所在地、專業(yè)知識(shí)與技能，經(jīng)費(fèi)支持方的要求與限制尤其是其推薦合作的外部評(píng)估資源，等等。

（三）評(píng)估人員角色定位：三種類型并存

評(píng)估人員確定后，從項(xiàng)目方角度來(lái)看，他們可以被劃分為三類—內(nèi)部評(píng)估人員、外部評(píng)估人員和內(nèi)外合作評(píng)估人員。這些不同類型的評(píng)估人員角色定位會(huì)對(duì)整個(gè)項(xiàng)目效果評(píng)估產(chǎn)生不同的潛在影響。

1.在地的內(nèi)部評(píng)估人員

內(nèi)部評(píng)估人員（internal evaluator），也被稱為在地評(píng)估人員（on-site evaluator），是指項(xiàng)目效果評(píng)估的開(kāi)展者來(lái)自項(xiàng)目研發(fā)或管理組織內(nèi)部，是組織雇員（Giancola，2014，p.3）。25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究中有5 項(xiàng)是由項(xiàng)目研發(fā)或管理組織的內(nèi)部評(píng)估人員領(lǐng)導(dǎo)與開(kāi)展的。例如，“早期預(yù)警干預(yù)和監(jiān)督系統(tǒng)”項(xiàng)目高質(zhì)量效果評(píng)估研究（Faria et al.，2017）的七位評(píng)估人員均是項(xiàng)目研發(fā)組織美國(guó)研究所的雇員，其中，該評(píng)估的首席研究員還是項(xiàng)目的研發(fā)人員之一。

內(nèi)部評(píng)估人員的“在地性”角色屬性，會(huì)對(duì)項(xiàng)目效果評(píng)估產(chǎn)生一些潛在的積極影響：第一，熟悉和了解項(xiàng)目以及項(xiàng)目研發(fā)或管理組織，有利于評(píng)估工作的迅速啟動(dòng)；第二，熟悉和了解評(píng)估的利益攸關(guān)者以及他們?cè)谶@項(xiàng)評(píng)估中的利益、關(guān)切點(diǎn)和影響力，有助于促進(jìn)最終評(píng)估結(jié)果的最大化使用；第三，即便評(píng)估工作結(jié)束，內(nèi)部評(píng)估人員本身在項(xiàng)目研發(fā)或管理組織中的存在也能夠時(shí)刻提醒他人這項(xiàng)評(píng)估結(jié)果，有益于增強(qiáng)評(píng)估結(jié)果的長(zhǎng)遠(yuǎn)影響力。此外，內(nèi)部評(píng)估人員也會(huì)產(chǎn)生一些潛在的消極影響：第一，由于內(nèi)部評(píng)估人員距離項(xiàng)目太近，很可能會(huì)導(dǎo)致他們不能夠客觀地認(rèn)清項(xiàng)目；第二，盡管一些成功的內(nèi)部評(píng)估人員能夠克服來(lái)自視角上的障礙，但難以克服職位上的障礙（Fitzpatrick et al.，2011，pp.28+274）。

2.第三方的外部評(píng)估人員

外部評(píng)估人員（external evaluator），也被稱為第三方評(píng)估人員（third-party evaluator）、獨(dú)立評(píng)估人員（independent evaluator）、評(píng)估顧問(wèn)（evaluation consultant）或評(píng)估承包商（evaluation contractor），是指項(xiàng)目效果評(píng)估的開(kāi)展者來(lái)自項(xiàng)目研發(fā)或管理組織外部而非內(nèi)部雇員。由外部評(píng)估人員開(kāi)展的評(píng)估研究，通常也被稱為“第三方獨(dú)立評(píng)估”（independent third-party evaluation）（Fitzpatrick et al.，2011，p.271）。25 項(xiàng)評(píng)估中有18 項(xiàng)是由非項(xiàng)目研發(fā)或管理組織雇員的外部評(píng)估人員領(lǐng)導(dǎo)與開(kāi)展的。

外部評(píng)估人員由于他們遠(yuǎn)離項(xiàng)目研發(fā)或管理組織的角色屬性以及過(guò)硬的專業(yè)技能（如果選擇正確的話），會(huì)給項(xiàng)目效果評(píng)估帶來(lái)一些潛在的積極影響。第一，外部評(píng)估人員通常具有更大的行政和財(cái)政獨(dú)立性，因而社會(huì)公眾會(huì)普遍認(rèn)為其開(kāi)展的評(píng)估是公正的、客觀的和可信的。第二，外部評(píng)估人員能夠?yàn)槟骋惶囟?xiàng)目的效果評(píng)估帶來(lái)新鮮的外部視角，以及更廣和更深的專業(yè)知識(shí)與技能。第三，利益攸關(guān)者有時(shí)更愿意將一些敏感信息暴露給外部評(píng)估人員。第四，外部評(píng)估人員能更無(wú)負(fù)擔(dān)地全面呈現(xiàn)評(píng)估結(jié)果、揭露不受歡迎的消息、倡議項(xiàng)目改革（Fitzpatrick et al.，2011，pp.28+273）。但是同樣也由于外部評(píng)估人員的非“在地性”，不僅使其不能具備上述內(nèi)部評(píng)估人員對(duì)評(píng)估研究的潛在積極影響，甚至還會(huì)因此增加評(píng)估研究的時(shí)間成本和差旅成本（Hatry，Winnie，&Fisk，1973，p.119）。

3.取長(zhǎng)補(bǔ)短的內(nèi)外合作評(píng)估人員

項(xiàng)目的內(nèi)部評(píng)估人員與外部評(píng)估人員并非互斥，可以共同合作，組建成內(nèi)外合作評(píng)估人員團(tuán)隊(duì)，這被認(rèn)為是確保評(píng)估質(zhì)量以及結(jié)果使用的最佳安排（Giancola，2014，p.5）。25 項(xiàng)評(píng)估中有2 項(xiàng)是由項(xiàng)目研發(fā)或管理組織的內(nèi)外部評(píng)估人員合作開(kāi)展的。

內(nèi)外合作評(píng)估人員不僅可以取長(zhǎng)補(bǔ)短，對(duì)共同合作的評(píng)估產(chǎn)生潛在積極影響。例如，內(nèi)部評(píng)估人員可為外部評(píng)估人員補(bǔ)充項(xiàng)目的背景性信息；由內(nèi)部評(píng)估人員負(fù)責(zé)收集數(shù)據(jù)可以有效節(jié)約外部評(píng)估人員在此的時(shí)間成本和差旅成本；敏感的評(píng)估結(jié)果由外部評(píng)估人員負(fù)責(zé)向利益攸關(guān)者解釋更容易被接受與認(rèn)可；即便外部評(píng)估人員撤離后，內(nèi)部評(píng)估人員也能繼續(xù)引導(dǎo)對(duì)評(píng)估結(jié)果的使用。而且從長(zhǎng)遠(yuǎn)來(lái)看，外部評(píng)估人員與內(nèi)部評(píng)估人員的合作也有助于增進(jìn)項(xiàng)目研發(fā)或管理組織內(nèi)部的自我評(píng)估能力（Fitzpatrick et al.，2011，p.275）。

六、科學(xué)的評(píng)估開(kāi)展—美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的關(guān)鍵過(guò)程

項(xiàng)目效果評(píng)估的經(jīng)費(fèi)支持與評(píng)估人員到位后，關(guān)鍵的評(píng)估過(guò)程便提上日程。盡管評(píng)估研究的開(kāi)展過(guò)程非常復(fù)雜，但目前美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的科學(xué)開(kāi)展在評(píng)估規(guī)劃、評(píng)估設(shè)計(jì)和評(píng)估實(shí)施這三個(gè)核心環(huán)節(jié)上均積累了豐富的實(shí)踐經(jīng)驗(yàn)。

（一）評(píng)估規(guī)劃：確定評(píng)估類型與問(wèn)題

項(xiàng)目效果評(píng)估的評(píng)估規(guī)劃通常會(huì)明確和定位評(píng)估研究的類型與問(wèn)題。

1.不同評(píng)估目的之下的評(píng)估類型

效果評(píng)估的研究類型可被細(xì)分為三種—效力（efficacy）評(píng)估、效能（effectiveness）評(píng)估和推廣（scale-up）評(píng)估。三者的主要區(qū)別在于評(píng)估目的、評(píng)估中的項(xiàng)目實(shí)施情境、項(xiàng)目研發(fā)或管理組織工作人員對(duì)項(xiàng)目實(shí)施的支持程度以及評(píng)估所面向的學(xué)生群體（Earle et al.，2013，p.9）。

第一，效力評(píng)估。效力評(píng)估允許項(xiàng)目的效果評(píng)估發(fā)生在“理想”的“溫室”情境中，此時(shí)項(xiàng)目研發(fā)或管理組織工作人員參與和支持項(xiàng)目實(shí)施的程度高于通常情況，他們也會(huì)選擇將研究限制在所感興趣的某類學(xué)生群體上。為此，效力評(píng)估通常適用于新近研發(fā)的項(xiàng)目以初步測(cè)試項(xiàng)目效力（Flay et al.，2005），也常被用來(lái)將項(xiàng)目此前的評(píng)估研究復(fù)制到不同的實(shí)施情境中或?qū)W生群體里。25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究中的絕大多數(shù)是效力評(píng)估。第二，效能評(píng)估。效能評(píng)估是對(duì)“典型”學(xué)校教育教學(xué)情境中項(xiàng)目的實(shí)施效果進(jìn)行評(píng)估，這主要考慮到學(xué)校里的教育教學(xué)實(shí)踐并非發(fā)生在嚴(yán)格控制的實(shí)驗(yàn)室里，而是在現(xiàn)實(shí)世界情境中（Giancola，2014，p.25）。此外，項(xiàng)目研發(fā)或管理組織工作人員參與和支持項(xiàng)目實(shí)施的程度與通常情況并無(wú)二致。一般而言，被效力評(píng)估證實(shí)有效的項(xiàng)目會(huì)進(jìn)一步開(kāi)展效能評(píng)估，以證實(shí)其在現(xiàn)實(shí)世界情境中的真實(shí)效果。25 項(xiàng)評(píng)估中僅有3 項(xiàng)為效能評(píng)估。第三，推廣評(píng)估。同效能評(píng)估一樣，推廣評(píng)估是在項(xiàng)目研發(fā)或管理組織工作人員沒(méi)有過(guò)多參與和支持的“典型”情境中開(kāi)展的，主要評(píng)估項(xiàng)目在更廣地域范圍上和更加多樣化學(xué)生群體里的效果。它的存在，主要是因?yàn)楸恍茉u(píng)估證實(shí)在現(xiàn)實(shí)世界情境中有效的項(xiàng)目并不一定做好了大規(guī)模推廣的準(zhǔn)備（Gottfredson et al.，2015）。所以，評(píng)估那些已經(jīng)被效能評(píng)估證實(shí)有效的項(xiàng)目在大規(guī)模推廣時(shí)的效果，能夠?yàn)橥茝V決策提供重要參考依據(jù)。25 項(xiàng)評(píng)估中尚未有任何一項(xiàng)屬于推廣評(píng)估。

2.有益效果證據(jù)獲取的評(píng)估問(wèn)題

項(xiàng)目類型的多樣性以及評(píng)估類型的多樣性也在一定程度上決定了評(píng)估問(wèn)題的多樣性。盡管評(píng)估問(wèn)題可以多種多樣，但高質(zhì)量的項(xiàng)目效果評(píng)估研究一般會(huì)提出盡可能開(kāi)放的評(píng)估問(wèn)題，避免“是或否”的封閉式問(wèn)題，例如“某項(xiàng)目有效嗎”，因?yàn)檫@類問(wèn)題會(huì)限制評(píng)估研究的信息獲?。℅iancola，2014，p.24）。

就25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究的評(píng)估問(wèn)題而言，它們均含有一個(gè)核心或根本要素，即“項(xiàng)目效果或項(xiàng)目影響”。有些評(píng)估問(wèn)題會(huì)在這一核心要素基礎(chǔ)之上繼續(xù)突出評(píng)估的研究方法，有些會(huì)強(qiáng)調(diào)評(píng)估中的項(xiàng)目實(shí)施情境與時(shí)長(zhǎng)，還有些會(huì)指出評(píng)估的研究樣本或者效果指標(biāo)。

（二）評(píng)估設(shè)計(jì)：厘清理論基礎(chǔ)、評(píng)估方法與效果指標(biāo)

項(xiàng)目效果評(píng)估的評(píng)估設(shè)計(jì)會(huì)思考和厘清評(píng)估研究的理論基礎(chǔ)、評(píng)估方法與效果指標(biāo)。

1.以項(xiàng)目理論為首選的理論基礎(chǔ)

項(xiàng)目效果評(píng)估的研究設(shè)計(jì)通常會(huì)首先考慮用項(xiàng)目理論（program theory）作為評(píng)估研究的理論基礎(chǔ)。而這種在項(xiàng)目理論驅(qū)動(dòng)下的評(píng)估，也會(huì)被稱為基于理論的評(píng)估（theory-based evaluation）或者理論驅(qū)動(dòng)式評(píng)估（theory-driven evaluation）（Fitzpatrick et al.，2011，p.160）。所謂項(xiàng)目理論，其實(shí)質(zhì)是對(duì)項(xiàng)目研發(fā)之初所建構(gòu)的邏輯模型（logic model）的深入，是在要素式的邏輯模型基礎(chǔ)之上進(jìn)一步揭示出項(xiàng)目發(fā)生作用的因果機(jī)制或變化過(guò)程。因此，項(xiàng)目理論能夠?yàn)檎麄€(gè)評(píng)估研究提供一個(gè)結(jié)構(gòu)性的理論框架，指導(dǎo)評(píng)估人員更好地確定后續(xù)評(píng)估方法與效果指標(biāo)，以及解釋最終評(píng)估發(fā)現(xiàn)（Fitzpatrick et al.，2011，pp.161-162）。

例如，“閱讀、寫作、尊重和解決”項(xiàng)目的高質(zhì)量效果評(píng)估研究（Jones，Brown，&Lawrence，2011）明確指出其所依賴的理論基礎(chǔ)是該項(xiàng)目的“多水平項(xiàng)目理論”（multilevel program theory）。它揭示了：第一，該項(xiàng)目的作用變化過(guò)程發(fā)生在多種水平上，如學(xué)生個(gè)體、課堂以及學(xué)校等；第二，該項(xiàng)目的核心作用領(lǐng)域（即社會(huì)—情感）會(huì)對(duì)項(xiàng)目的次要領(lǐng)域（即學(xué)業(yè)學(xué)習(xí)）產(chǎn)生影響；第三，該項(xiàng)目是在動(dòng)態(tài)系統(tǒng)中、在多種水平上、多個(gè)領(lǐng)域里隨著時(shí)間的推進(jìn)而不斷發(fā)生作用效果的變化。在這一項(xiàng)目理論的指導(dǎo)下，評(píng)估人員對(duì)評(píng)估研究的設(shè)計(jì)是：第一，分別測(cè)試該項(xiàng)目在學(xué)生水平、課堂水平和學(xué)校水平上的效果；第二，同時(shí)測(cè)試該項(xiàng)目在社會(huì)—情感作用領(lǐng)域的效果、學(xué)業(yè)學(xué)習(xí)作用領(lǐng)域的效果以及兩個(gè)作用領(lǐng)域的交互效果；第三，連續(xù)測(cè)試該項(xiàng)目在實(shí)施第一年、第二年和第三年的效果。

2.以實(shí)驗(yàn)為黃金標(biāo)準(zhǔn)的評(píng)估方法

項(xiàng)目效果評(píng)估的研究方法多種多樣，包含質(zhì)性研究方法、定量研究方法和混合研究方法等。它們各有各自的突出優(yōu)勢(shì)：質(zhì)性研究和定量研究中的相關(guān)性研究對(duì)于項(xiàng)目效果的定性描述或各關(guān)聯(lián)因素之間的理論建構(gòu)十分有益；而實(shí)驗(yàn)研究更能理想地揭示項(xiàng)目干預(yù)實(shí)施與項(xiàng)目效果產(chǎn)生之間的因果關(guān)系，是項(xiàng)目效果評(píng)估的黃金標(biāo)準(zhǔn)（Slavin &Cheung，2017）。

具體而言，在實(shí)驗(yàn)研究中，自變量即為在一定情境中實(shí)施的項(xiàng)目，因變量為期待產(chǎn)生的項(xiàng)目效果（Mertens &Wilson，2019，p.63）。高質(zhì)量的實(shí)驗(yàn)研究通常會(huì)設(shè)置實(shí)驗(yàn)組和對(duì)照組兩組樣本，實(shí)驗(yàn)組樣本接受項(xiàng)目干預(yù)，而對(duì)照組樣本則接受其他替代性項(xiàng)目干預(yù)或正常教育教學(xué)。根據(jù)實(shí)驗(yàn)組和對(duì)照組的分配策略，高質(zhì)量的實(shí)驗(yàn)研究還可被進(jìn)一步細(xì)分為隨機(jī)對(duì)照實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)。隨機(jī)對(duì)照實(shí)驗(yàn)的分配策略是隨機(jī)分配，即樣本以同等的機(jī)會(huì)被隨機(jī)分配到實(shí)驗(yàn)組和對(duì)照組，這有利于將兩組的分配偏差控制到最低程度。而準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)的分配策略則是匹對(duì)分配，即首先確定實(shí)驗(yàn)組，然后再根據(jù)一些關(guān)鍵變量（如人口統(tǒng)計(jì)學(xué)變量、學(xué)業(yè)成績(jī)等）為實(shí)驗(yàn)組樣本匹配相似的對(duì)照組樣本。因此，相較于隨機(jī)對(duì)照實(shí)驗(yàn)，準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)在實(shí)驗(yàn)組和對(duì)照組的分配上存在一定的分配偏差，通常被視為前者的替代性方案，適用于無(wú)法隨機(jī)分配樣本的情況。除此之外，在高質(zhì)量的實(shí)驗(yàn)研究中，實(shí)驗(yàn)組和對(duì)照組樣本的分配水平也有兩類，一是學(xué)生、教師等個(gè)體水平上的分配，二是班級(jí)、學(xué)?；?qū)W區(qū)等群組水平上的分配?！啊睹總€(gè)學(xué)生都成功法》證據(jù)庫(kù)”對(duì)高質(zhì)量項(xiàng)目效果評(píng)估的篩選條件之一即是利用隨機(jī)對(duì)照實(shí)驗(yàn)或準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)的研究方法，在最終篩選出的25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究中有24 項(xiàng)是隨機(jī)對(duì)照實(shí)驗(yàn)，其中有14 項(xiàng)是學(xué)生水平上的，余下10 項(xiàng)是學(xué)校水平上的；而僅有的1 項(xiàng)準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)的分配是在學(xué)校水平上。

3.客觀、可測(cè)量、非自制的效果指標(biāo)

項(xiàng)目效果到底如何測(cè)量？這尤其是利用了隨機(jī)對(duì)照實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)方法的項(xiàng)目效果評(píng)估在設(shè)計(jì)階段需要重點(diǎn)思考的一個(gè)問(wèn)題，它直接關(guān)系到后續(xù)實(shí)施階段的效果數(shù)據(jù)收集以及評(píng)估問(wèn)題最終能否被有效解答。為此，評(píng)估人員通常會(huì)在此階段明確制定項(xiàng)目預(yù)期作用結(jié)果（outcome）的測(cè)量指標(biāo)（measure），即能夠指示出項(xiàng)目在一定情境中對(duì)實(shí)施群體產(chǎn)生預(yù)期作用的程度的變量（variable）?？偟膩?lái)說(shuō)，高質(zhì)量的效果測(cè)量指標(biāo)應(yīng)該是客觀的、可觀察的、可測(cè)量的、非項(xiàng)目研發(fā)人員或項(xiàng)目評(píng)估人員自制的，許多既有研究表明自制指標(biāo)會(huì)對(duì)實(shí)驗(yàn)組有利進(jìn)而夸大項(xiàng)目效果（Slavin，2019）。

25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究中的效果測(cè)量指標(biāo)也是緊緊圍繞如何有效解答評(píng)估問(wèn)題來(lái)確定，均是客觀的、可測(cè)量的、非自制的。它們中既有同項(xiàng)目類型⑧相關(guān)的效果測(cè)量指標(biāo)，如學(xué)業(yè)成績(jī)、社會(huì)—情感、輟學(xué)、犯罪逮捕等，也有出勤效果測(cè)量指標(biāo)。就其中的出勤效果測(cè)量指標(biāo)而言，25 項(xiàng)評(píng)估又確定了多種形式的子指標(biāo)，如學(xué)年度的出勤率、缺勤率、出勤天數(shù)、缺勤天數(shù)、無(wú)故缺勤天數(shù)、出勤率在95%以上的學(xué)生比例或者慢性缺勤的學(xué)生比例等。

（三）評(píng)估實(shí)施：做好樣本招募、干預(yù)實(shí)施與數(shù)據(jù)收集

項(xiàng)目效果評(píng)估的評(píng)估實(shí)施也會(huì)重視并做好樣本招募、干預(yù)實(shí)施以及數(shù)據(jù)收集。

1.首先進(jìn)行的樣本招募與分配

在利用了隨機(jī)對(duì)照實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)研究方法的項(xiàng)目效果評(píng)估中，樣本招募與分配是評(píng)估正式實(shí)施階段的首項(xiàng)重要工作。

第一，就學(xué)校水平上的實(shí)驗(yàn)組和對(duì)照組樣本招募而言，“積極行為”項(xiàng)目的一項(xiàng)高質(zhì)量效果評(píng)估研究（Bavarian et al.，2013）首先根據(jù)評(píng)估開(kāi)展地點(diǎn)和項(xiàng)目干預(yù)對(duì)象，將樣本學(xué)校鎖定為芝加哥公立學(xué)校系統(tǒng)（Chicago Public Schools）中的483 所K-6/8 年級(jí)學(xué)校。然后，依據(jù)六條標(biāo)準(zhǔn)篩選出68 所待招募學(xué)校。經(jīng)過(guò)溝通，18 所學(xué)校同意參與評(píng)估。最后，基于諸多人口統(tǒng)計(jì)學(xué)變量確定了7 對(duì)人口統(tǒng)計(jì)學(xué)特征相似的、最優(yōu)匹配的實(shí)驗(yàn)組與對(duì)照組學(xué)校。第二，至于學(xué)校水平上的實(shí)驗(yàn)組和對(duì)照組的隨機(jī)分配程序，“積極行為”項(xiàng)目的這項(xiàng)評(píng)估研究在確定了7 對(duì)最優(yōu)匹配的實(shí)驗(yàn)組與對(duì)照組學(xué)校后，利用電腦的隨機(jī)數(shù)字生成器（computer-based random number generator）賦予每對(duì)學(xué)校中第一所學(xué)?！?”或“1”的數(shù)字編號(hào)。被賦予“0”的學(xué)校自動(dòng)歸入實(shí)驗(yàn)組、“1”為對(duì)照組，它們所配對(duì)學(xué)校則相應(yīng)被歸列為對(duì)照組或?qū)嶒?yàn)組。至此，該評(píng)估研究的隨機(jī)分配工作全部完成。最后，再來(lái)看學(xué)校水平上的實(shí)驗(yàn)組和對(duì)照組的匹對(duì)分配程序?！暗诙健表?xiàng)目的高質(zhì)量效果評(píng)估研究（Neace &Mu?oz，2012）以杰斐遜縣公立學(xué)校系統(tǒng)中已實(shí)施該項(xiàng)目的學(xué)校為實(shí)驗(yàn)組，從學(xué)區(qū)余下未實(shí)施該項(xiàng)目的學(xué)校中挑選出同實(shí)驗(yàn)組學(xué)校人口統(tǒng)計(jì)學(xué)特征較為相似的對(duì)照組學(xué)校。為了進(jìn)一步縮小因匹對(duì)分配而導(dǎo)致的實(shí)驗(yàn)組學(xué)校和對(duì)照組學(xué)校的基線差異，評(píng)估人員還進(jìn)一步基于學(xué)生的五大人口統(tǒng)計(jì)學(xué)變量對(duì)實(shí)驗(yàn)組學(xué)校和對(duì)照組學(xué)校里的學(xué)生進(jìn)行個(gè)體層面的匹配。

2.培訓(xùn)之后的干預(yù)保真實(shí)施

在利用了隨機(jī)對(duì)照實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)研究方法的項(xiàng)目效果評(píng)估中，項(xiàng)目干預(yù)在實(shí)驗(yàn)組中的實(shí)施也非常重要，它直接關(guān)乎到項(xiàng)目效果目標(biāo)的實(shí)現(xiàn)以及后續(xù)效果數(shù)據(jù)的收集。

首先，就項(xiàng)目干預(yù)的實(shí)施時(shí)長(zhǎng)而言，高質(zhì)量的項(xiàng)目干預(yù)實(shí)施至少持續(xù)12 周。已有大量研究表明，較短的干預(yù)時(shí)長(zhǎng)會(huì)夸大干預(yù)效果。其次，項(xiàng)目干預(yù)實(shí)施的主體會(huì)因干預(yù)路徑不同而不同。有的是學(xué)校任課教師，有的是學(xué)區(qū)或?qū)W校管理人員，有的是家長(zhǎng)和社區(qū)伙伴，有的是項(xiàng)目研發(fā)或管理組織工作人員，還有的是由多種不同身份的人員組成的干預(yù)實(shí)施團(tuán)隊(duì)。再次，項(xiàng)目研發(fā)或管理組織或者學(xué)區(qū)一般會(huì)對(duì)實(shí)驗(yàn)組的項(xiàng)目干預(yù)實(shí)施提供一定的培訓(xùn)與支持。例如，在“追求公平和恢復(fù)性社區(qū)”項(xiàng)目的高質(zhì)量效果評(píng)估研究（Augustine et al.，2018）中，項(xiàng)目研發(fā)組織恢復(fù)性實(shí)踐國(guó)際研究所（International Institute for Restorative Practice，IIRP）在項(xiàng)目實(shí)施前組織了一個(gè)為期四天的專業(yè)發(fā)展培訓(xùn)，實(shí)驗(yàn)組學(xué)校的全體教職員工被要求必須完整參加前兩天培訓(xùn)，余下兩天可自主選擇；在實(shí)驗(yàn)組學(xué)校兩年的項(xiàng)目干預(yù)實(shí)施期間里，項(xiàng)目研發(fā)組織一方面為教職員工發(fā)放教材、影像、海報(bào)以及其他支持性材料，組織兩周一次的專業(yè)發(fā)展活動(dòng)；另一方面還為每位校長(zhǎng)配備了一名來(lái)自項(xiàng)目研發(fā)組織的教練，每月定期與校長(zhǎng)領(lǐng)導(dǎo)的項(xiàng)目實(shí)施團(tuán)隊(duì)進(jìn)行會(huì)議溝通，以監(jiān)督項(xiàng)目干預(yù)的實(shí)施進(jìn)展并幫助解決實(shí)施過(guò)程中所遇到的難題與挑戰(zhàn)。除此之外，匹茲堡公立學(xué)校系統(tǒng)（Pittsburgh Public Schools）也為實(shí)驗(yàn)組學(xué)校的項(xiàng)目干預(yù)實(shí)施提供了相應(yīng)的學(xué)區(qū)資源。最后，項(xiàng)目干預(yù)實(shí)施的保真度（fidelity）評(píng)估也通常包含在項(xiàng)目效果評(píng)估中。例如，“出勤和曠課干預(yù)及普遍程序”項(xiàng)目的高質(zhì)量效果評(píng)估研究（Berg，2018）還專門開(kāi)發(fā)了針對(duì)該項(xiàng)目干預(yù)實(shí)施保真度的評(píng)估工具。

3.反復(fù)充分的效果數(shù)據(jù)收集

在利用了隨機(jī)對(duì)照實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)研究方法的項(xiàng)目效果評(píng)估中，項(xiàng)目效果的數(shù)據(jù)收集是評(píng)估實(shí)施的最后一個(gè)關(guān)鍵方面，其核心依據(jù)是先前設(shè)計(jì)的效果測(cè)量指標(biāo)，它決定了收集哪些數(shù)據(jù)、從誰(shuí)那里收集以及借助什么工具收集等問(wèn)題。

25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究中的項(xiàng)目效果數(shù)據(jù)收集對(duì)象主要有學(xué)生、家長(zhǎng)、教師和其他教職員工、學(xué)校和學(xué)區(qū)管理人員以及其他項(xiàng)目干預(yù)實(shí)施人員等。項(xiàng)目效果數(shù)據(jù)收集工具則包括州、學(xué)區(qū)和學(xué)校官方記錄、問(wèn)卷、量表、觀察、訪談、測(cè)試等。值得注意的是，項(xiàng)目效果數(shù)據(jù)收集并非一次完成的，需要在多項(xiàng)效果測(cè)量指標(biāo)、多類數(shù)據(jù)收集對(duì)象、多種數(shù)據(jù)收集工具、前測(cè)與后測(cè)以及各學(xué)年度等多個(gè)時(shí)間節(jié)點(diǎn)上進(jìn)行反復(fù)收集，以確保收集到充分的數(shù)據(jù)信息并計(jì)算出項(xiàng)目效果。

七、實(shí)用的評(píng)估成果—美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的重要輸出

項(xiàng)目效果評(píng)估最后的重要終端就是輸出評(píng)估成果，這同樣不容忽視。目前美國(guó)項(xiàng)目效果評(píng)估在評(píng)估發(fā)現(xiàn)、評(píng)估結(jié)果和評(píng)估產(chǎn)品這三個(gè)層次評(píng)估成果的輸出上，也有豐富的經(jīng)驗(yàn)。

（一）評(píng)估發(fā)現(xiàn)：恰當(dāng)分析與合理解釋

在利用了隨機(jī)對(duì)照實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)研究方法的項(xiàng)目效果評(píng)估中，效果數(shù)據(jù)收集后的效果數(shù)據(jù)分析與評(píng)估發(fā)現(xiàn)解釋更是至關(guān)重要。

1.恰當(dāng)?shù)男Ч麛?shù)據(jù)分析

通常而言，效果數(shù)據(jù)分析的方法選擇標(biāo)準(zhǔn)能夠有效回答評(píng)估問(wèn)題。25 項(xiàng)高質(zhì)量學(xué)生出勤項(xiàng)目效果評(píng)估研究中絕大多數(shù)采用的是多層線性模型（hierarchical linear modeling，HLM）這一統(tǒng)計(jì)分析技術(shù)。除此之外，25 項(xiàng)評(píng)估也均采用了專門針對(duì)樣本流失問(wèn)題的意向處理分析路徑。所謂意向處理分析，是指評(píng)估人員獲取和使用所有參與了前測(cè)的樣本的后測(cè)數(shù)據(jù)，即便部分樣本在實(shí)驗(yàn)過(guò)程中已經(jīng)流失。它被認(rèn)為是隨機(jī)對(duì)照實(shí)驗(yàn)的嚴(yán)格數(shù)據(jù)分析，能夠避免因樣本流失而造成的對(duì)實(shí)驗(yàn)組或?qū)φ战M任何一方有失公平的有利或不利影響（Slavin &Cheung，2017）。在進(jìn)行了意向處理分析之后，25 項(xiàng)評(píng)估中也有部分評(píng)估對(duì)流失后的最終樣本進(jìn)行處理中的處理分析⑨。

效果數(shù)據(jù)分析的最終結(jié)果是計(jì)算出項(xiàng)目效果的效應(yīng)值和統(tǒng)計(jì)顯著性。前者也被稱為實(shí)踐顯著性（practical significance）或教育顯著性（educational significance），揭示的是項(xiàng)目實(shí)施在效果測(cè)量指標(biāo)上的真實(shí)結(jié)果，效應(yīng)值越大，項(xiàng)目效果越好。后者則揭示的是項(xiàng)目實(shí)施與項(xiàng)目效果之間因果關(guān)系成立的可能性，P 值越小，因果關(guān)系成立的可能性就越大。二者共同決定了項(xiàng)目效果的最終判定。25 項(xiàng)評(píng)估的效果數(shù)據(jù)分析結(jié)果顯示，“星火”項(xiàng)目在改進(jìn)學(xué)生出勤上的效應(yīng)值最高且統(tǒng)計(jì)顯著（ES=0.25*），達(dá)到了《每個(gè)學(xué)生都成功法》的“強(qiáng)有力”證據(jù)等級(jí)。

2.合理的評(píng)估發(fā)現(xiàn)解釋

如果效果數(shù)據(jù)分析是對(duì)收集到的數(shù)據(jù)進(jìn)行信息組織與總結(jié)的話，那么評(píng)估發(fā)現(xiàn)解釋則是在一定理論視角或概念的指導(dǎo)下，對(duì)效果數(shù)據(jù)分析結(jié)果的進(jìn)一步探究、判斷與意義賦予，以便得出評(píng)估結(jié)論、回答評(píng)估問(wèn)題（Fitzpatrick et al.，2011，p.446）。在評(píng)估發(fā)現(xiàn)解釋中，錯(cuò)誤解釋（misinterpretation）和過(guò)度解釋（overinterpretation）是兩種需要避免的常見(jiàn)錯(cuò)誤，而有利益攸關(guān)者參與的聯(lián)合解釋（co-interpretation）備受鼓勵(lì)。

25 項(xiàng)高質(zhì)量學(xué)生出勤項(xiàng)目效果評(píng)估研究也基本上都做到了合理解釋評(píng)估發(fā)現(xiàn)，而且大多數(shù)是從項(xiàng)目自身的理論基礎(chǔ)以及項(xiàng)目干預(yù)的保真實(shí)施等角度對(duì)項(xiàng)目效果數(shù)據(jù)分析結(jié)果進(jìn)行了更加深入的解釋與討論。

（二）評(píng)估結(jié)果：規(guī)范撰寫與多樣呈現(xiàn)

盡管“文本寫作同評(píng)估研究中的其他技術(shù)性任務(wù)一樣，也是一項(xiàng)艱難的挑戰(zhàn)”（Weiss，1998，p.295），但通過(guò)正式的書面文本輸出項(xiàng)目效果評(píng)估結(jié)果十分必要，而且一般會(huì)進(jìn)行規(guī)范撰寫與多樣呈現(xiàn)。

1.規(guī)范的文本撰寫結(jié)構(gòu)

項(xiàng)目效果評(píng)估結(jié)果文本的撰寫結(jié)構(gòu)沒(méi)有一個(gè)統(tǒng)一的固定格式，需要評(píng)估人員根據(jù)多方面因素來(lái)確定。不過(guò)，令受眾信服的規(guī)范文本基本上均包含以下七個(gè)核心部分：

第一，導(dǎo)言。25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究在導(dǎo)言部分主要回顧了項(xiàng)目干預(yù)所針對(duì)的教育問(wèn)題以及解決或改進(jìn)這一問(wèn)題的其他同類項(xiàng)目，重點(diǎn)介紹了該評(píng)估的目標(biāo)項(xiàng)目（包括其邏輯模型、干預(yù)路徑等）、評(píng)估開(kāi)展地的教育情境以及對(duì)這一項(xiàng)目進(jìn)行效果評(píng)估的背景、目的、類型與問(wèn)題等。第二，設(shè)計(jì)。25 項(xiàng)評(píng)估在設(shè)計(jì)部分主要描述了評(píng)估的方法設(shè)計(jì)（包括具體的數(shù)據(jù)收集與分析方法以及效果測(cè)量指標(biāo)等），評(píng)估的倫理審查，評(píng)估的樣本招募、選擇與分配，項(xiàng)目干預(yù)的培訓(xùn)與實(shí)施。第三，發(fā)現(xiàn)。25 項(xiàng)評(píng)估在發(fā)現(xiàn)部分主要以圖表的形式客觀揭示項(xiàng)目效果數(shù)據(jù)分析的發(fā)現(xiàn)。第四，討論。25 項(xiàng)評(píng)估在討論部分主要是進(jìn)一步解釋評(píng)估發(fā)現(xiàn)。有些評(píng)估還會(huì)在這一部分討論項(xiàng)目干預(yù)實(shí)施存在的問(wèn)題。還有些評(píng)估會(huì)討論項(xiàng)目干預(yù)實(shí)施與項(xiàng)目效果之間的因果機(jī)制。第五，總結(jié)。25 項(xiàng)評(píng)估在總結(jié)部分主要概述了評(píng)估的結(jié)論，評(píng)估的創(chuàng)新與局限，相關(guān)啟示與建議，如對(duì)未來(lái)相關(guān)評(píng)估研究與項(xiàng)目實(shí)踐發(fā)展方向的建議以及對(duì)教育政策制定者和教育實(shí)踐者的建議等。第六，致謝與聲明。25 項(xiàng)評(píng)估在致謝部分主要對(duì)評(píng)估所獲的經(jīng)費(fèi)支持以及給予評(píng)估幫助和奉獻(xiàn)的所有相關(guān)人士表示感謝。此外，還通常會(huì)聲明評(píng)估研究的發(fā)現(xiàn)與總結(jié)僅是作者的研究結(jié)果，不代表評(píng)估研究利益攸關(guān)者中任何一方的官方立場(chǎng)。第七，附錄。25 項(xiàng)評(píng)估在附錄部分主要補(bǔ)充了樣本知情同意書，樣本分配工具，項(xiàng)目干預(yù)實(shí)施的培訓(xùn)材料和保真度評(píng)估工具，問(wèn)卷、量表、訪談、觀察等數(shù)據(jù)收集工具，數(shù)據(jù)分析的統(tǒng)計(jì)模型，以及其他補(bǔ)充性數(shù)據(jù)分析等。

2.多樣的文本呈現(xiàn)形式

項(xiàng)目效果評(píng)估結(jié)果的文本撰寫完成之后，以何種形式呈現(xiàn)給評(píng)估受眾也需要評(píng)估人員深思。就25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究而言，其文本呈現(xiàn)形式主要有以下四種：

第一，技術(shù)報(bào)告。25 項(xiàng)評(píng)估中有15 項(xiàng)以技術(shù)報(bào)告（technical report）的形式呈現(xiàn)。技術(shù)報(bào)告也被稱為工作論文（working papers），通常被視為同行評(píng)審期刊論文的底稿。因此，相較于期刊論文，技術(shù)報(bào)告一般會(huì)詳細(xì)地呈現(xiàn)整個(gè)項(xiàng)目效果評(píng)估的各個(gè)方面，篇幅較長(zhǎng)。此外，技術(shù)報(bào)告也特別重視內(nèi)容與視覺(jué)上的雙重吸引力，通常會(huì)有一個(gè)精心設(shè)計(jì)的封面，便于廣告和營(yíng)銷、吸引受眾（尤其是非專業(yè)受眾）閱讀其內(nèi)容。值得注意的是，雖然評(píng)估研究的技術(shù)報(bào)告大都由評(píng)估人員所在組織發(fā)布，但有時(shí)也會(huì)交由項(xiàng)目研發(fā)或管理組織或者評(píng)估經(jīng)費(fèi)支持組織來(lái)發(fā)布。第二，期刊論文。25 項(xiàng)評(píng)估中有8 項(xiàng)以期刊論文的形式呈現(xiàn)。相較于技術(shù)報(bào)告，正式發(fā)表的期刊論文因期刊載體的限制，篇幅大都比較精簡(jiǎn)。但考慮到細(xì)致呈現(xiàn)評(píng)估研究的必要性，許多期刊也在官方網(wǎng)站上開(kāi)設(shè)了網(wǎng)絡(luò)附錄，即將評(píng)估的支持性信息、補(bǔ)充性材料或附錄的電子版添置在期刊的網(wǎng)站上，受眾可自行查閱并下載。第三，學(xué)位論文。25 項(xiàng)評(píng)估中有1 項(xiàng)以俄勒岡大學(xué)（University of Oregon）博士學(xué)位論文的形式呈現(xiàn)。第四，會(huì)議論文。25 項(xiàng)評(píng)估中也有1 項(xiàng)以美國(guó)教育效能研究學(xué)會(huì)2016 年年會(huì)論文的形式呈現(xiàn)。

（三）評(píng)估產(chǎn)品：大力傳播與有效使用

以各種形式呈現(xiàn)出的評(píng)估研究結(jié)果即為評(píng)估研究的最終產(chǎn)品。但這個(gè)產(chǎn)品的完成并不意味著評(píng)估的結(jié)束，它會(huì)被進(jìn)一步大力傳播與有效使用。

1.媒介助力的產(chǎn)品傳播

評(píng)估產(chǎn)品面向社會(huì)公眾的宣傳與傳播一般會(huì)借助新聞發(fā)布、網(wǎng)站公告、博客和社交軟件、郵件訂閱、研究簡(jiǎn)報(bào)、宣傳手冊(cè)、網(wǎng)絡(luò)研討會(huì)、項(xiàng)目研發(fā)或管理組織的年度會(huì)議、其他專業(yè)社群年會(huì)等多種媒介與途徑。

例如，在25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究中，“學(xué)校中的社區(qū)”組織對(duì)《“學(xué)校中的社區(qū)”芝加哥伙伴項(xiàng)目對(duì)學(xué)生學(xué)業(yè)成就影響的實(shí)驗(yàn)證據(jù)》（Figlio，2015）這一評(píng)估產(chǎn)品的宣傳與傳播主要借助的是該組織的季度簡(jiǎn)報(bào)這一媒介。而“星火”項(xiàng)目的研發(fā)組織“男孩女孩俱樂(lè)部”（Boys &Girls Club）主要通過(guò)組織的領(lǐng)導(dǎo)人會(huì)議、年度會(huì)議和網(wǎng)絡(luò)信息系統(tǒng)對(duì)《“星火”早期讀寫項(xiàng)目的隨機(jī)對(duì)照實(shí)驗(yàn)評(píng)估結(jié)果》（Jones，Christian，&Rice，2016）這一評(píng)估產(chǎn)品在全美范圍內(nèi)進(jìn)行宣傳與傳播。

2.實(shí)用本位的產(chǎn)品使用

美國(guó)教育評(píng)估標(biāo)準(zhǔn)聯(lián)合委員會(huì)發(fā)布的《項(xiàng)目評(píng)估標(biāo)準(zhǔn)》首先將“實(shí)用”（utility）列為判斷評(píng)估研究質(zhì)量的第一大類標(biāo)準(zhǔn)。因此，通過(guò)報(bào)告會(huì)等多種途徑與形式，同項(xiàng)目研發(fā)或管理組織方、評(píng)估經(jīng)費(fèi)支持方等利益攸關(guān)者反復(fù)溝通與交流評(píng)估產(chǎn)品以充分發(fā)揮產(chǎn)品的功能與作用，十分必要且重要。具體來(lái)看，評(píng)估產(chǎn)品的使用主要包括五種核心類型：第一，工具性使用（instrumental use），指評(píng)估產(chǎn)品被直接用來(lái)決策或解決問(wèn)題；第二，概念性使用（conceptual use），指評(píng)估產(chǎn)品用來(lái)影響受眾的思維觀念；第三，象征性使用（symbolic use），指評(píng)估產(chǎn)品無(wú)意被真正使用，其意義僅是象征性的存在；第四，勸服性使用（persuasive use），即對(duì)評(píng)估產(chǎn)品進(jìn)行選擇性使用，以支持某種既存的立場(chǎng)。第五，辯護(hù)性使用（legitimate utilization），指評(píng)估產(chǎn)品被決策者用來(lái)為某種已定決策辯護(hù)（Mertens &Wilson，2019，pp.485-486）。

僅就其中的工具性使用而言，評(píng)估產(chǎn)品可被直接用來(lái)應(yīng)對(duì)利益攸關(guān)者的問(wèn)責(zé)，指導(dǎo)教育政策者與實(shí)踐者對(duì)項(xiàng)目的采納決策，敦促項(xiàng)目的改進(jìn)與完善，助力市場(chǎng)營(yíng)銷與經(jīng)費(fèi)申請(qǐng)，等等（Giancola，2014，pp.68-73）。例如，在25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究中，《通過(guò)干預(yù)家長(zhǎng)觀念來(lái)減少低年級(jí)學(xué)生的缺勤》（Robinson et al.，2018）和《通過(guò)干預(yù)家長(zhǎng)錯(cuò)誤觀念來(lái)大規(guī)模減少學(xué)生缺勤》（Rogers &Feller，2018）這兩個(gè)“每日在校實(shí)驗(yàn)室”項(xiàng)目評(píng)估產(chǎn)品就被項(xiàng)目評(píng)估人員（同時(shí)也是項(xiàng)目研發(fā)人員）用來(lái)推進(jìn)與項(xiàng)目同名的管理組織的建立。

八、結(jié)語(yǔ)：美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的實(shí)踐趨勢(shì)

盡管目前美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估積累了豐富的實(shí)踐經(jīng)驗(yàn)，但毋庸諱言，美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估尤其是利用隨機(jī)對(duì)照實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)方法開(kāi)展的效果評(píng)估還存在諸多問(wèn)題：首先，實(shí)驗(yàn)研究方法本身并非完美無(wú)缺；其次，在開(kāi)展過(guò)程中，實(shí)驗(yàn)研究還存在耗費(fèi)大量財(cái)力、人力、物力、時(shí)間成本的問(wèn)題，這從25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究的經(jīng)費(fèi)、人員、項(xiàng)目干預(yù)培訓(xùn)和開(kāi)展時(shí)長(zhǎng)中可以看出；最后，也還存在研究質(zhì)量不高的問(wèn)題，這從25 項(xiàng)高質(zhì)量學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究篩選自2000 余項(xiàng)同類研究中也能夠看出來(lái)。⑩

不過(guò)值得注意的是，目前美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估在正視問(wèn)題、努力提升質(zhì)量的同時(shí)，也開(kāi)始不斷迸發(fā)出新的發(fā)展趨勢(shì)：第一，激勵(lì)學(xué)校參與實(shí)驗(yàn)評(píng)估。針對(duì)“隨機(jī)分配是不公平的，剝奪了對(duì)照組學(xué)校實(shí)施項(xiàng)目干預(yù)的機(jī)會(huì)”的批評(píng)，以及學(xué)校不愿意參與實(shí)驗(yàn)研究尤其是作為對(duì)照組的現(xiàn)實(shí)問(wèn)題，項(xiàng)目效果評(píng)估項(xiàng)目開(kāi)始采取一些激勵(lì)舉措，譬如，待實(shí)驗(yàn)研究結(jié)束后，在對(duì)照組學(xué)校中補(bǔ)償實(shí)施項(xiàng)目干預(yù)，或者直接給予對(duì)照組學(xué)校一定的經(jīng)費(fèi)補(bǔ)貼（Slavin &Cheung，2017）。第二，開(kāi)展復(fù)制性效果評(píng)估。效仿物理、生物、化學(xué)等硬科學(xué)領(lǐng)域的科學(xué)研究，教育領(lǐng)域同樣也需要對(duì)早期階段的效果評(píng)估，尤其是顯示出項(xiàng)目積極效果的效果評(píng)估，進(jìn)行復(fù)制、驗(yàn)證與延伸。目前，復(fù)制性效果評(píng)估在美國(guó)也得到了許多引導(dǎo)與資助，例如，2018 年美國(guó)教育科學(xué)研究院和國(guó)家科學(xué)基金會(huì)又合作推出《教育研究的復(fù)制與再現(xiàn)指南》（Companion Guidelines on Replication &Reproducibility in Education Research），以作為2013 年《教育研究與開(kāi)發(fā)指南》的補(bǔ)充。與此同時(shí)，美國(guó)教育科學(xué)研究院在年度教育研究立項(xiàng)資助中還專門設(shè)置了針對(duì)效力評(píng)估復(fù)制性研究和效能評(píng)估復(fù)制性研究的立項(xiàng)資助。第三，開(kāi)展推廣性效果評(píng)估。許多循證教育改革的批判者都表達(dá)過(guò)“在一些學(xué)校里開(kāi)展的項(xiàng)目效果評(píng)估無(wú)法推廣到其他不同類型學(xué)?！保⊿lavin，2020）的擔(dān)憂，所以，相比于在“理想”和“典型”學(xué)校教育教學(xué)情境中的效力評(píng)估和效能評(píng)估，開(kāi)展在更廣地域范圍內(nèi)和更加多樣化的學(xué)生群體里的推廣性效果評(píng)估，更有利于確保被其證實(shí)有效的項(xiàng)目在日后的大規(guī)模推廣。第四，在效果評(píng)估之后繼續(xù)進(jìn)行經(jīng)濟(jì)評(píng)估（economic evaluation）。在對(duì)項(xiàng)目進(jìn)行效果評(píng)估、判斷項(xiàng)目的實(shí)施是否帶來(lái)了更好的結(jié)果之后，繼續(xù)進(jìn)行成本分析（cost analysis）、成本—效益（cost-benefit）分析、成本—效能（cost-effectiveness）分析等經(jīng)濟(jì)評(píng)估，更有利于項(xiàng)目成效的全面評(píng)估以及大規(guī)模推廣的明智決策。

綜上所述，雖然美國(guó)基礎(chǔ)教育項(xiàng)目效果評(píng)估的實(shí)踐經(jīng)驗(yàn)無(wú)法完全移植到我國(guó)，但為我國(guó)教育政策、項(xiàng)目或?qū)嵺`評(píng)估研究的實(shí)踐發(fā)展提供了如下有益啟發(fā)：第一，政府等社會(huì)各界需要重視并加大對(duì)評(píng)估研究的經(jīng)費(fèi)支持力度。評(píng)估研究并非一日之功，充足的經(jīng)費(fèi)會(huì)帶來(lái)一定的激勵(lì)與保障。第二，高校等專業(yè)組織需要不斷加強(qiáng)對(duì)專門評(píng)估人才的培養(yǎng)與訓(xùn)練。譬如，開(kāi)設(shè)相關(guān)學(xué)科、專業(yè)、學(xué)位項(xiàng)目和課程，成立專業(yè)社群，創(chuàng)辦專業(yè)期刊，發(fā)布專業(yè)規(guī)范。第三，各類評(píng)估研究人員需要努力建設(shè)科學(xué)規(guī)范地開(kāi)展評(píng)估研究的能力，尤其是設(shè)計(jì)和實(shí)施高質(zhì)量實(shí)驗(yàn)研究的能力。第四，相關(guān)利益攸關(guān)者不僅需要有效使用評(píng)估研究成果、充分發(fā)揮評(píng)估研究?jī)r(jià)值，也需要盡可能參與到評(píng)估研究過(guò)程中去。最后，也可嘗試進(jìn)一步整合教育政策、項(xiàng)目或?qū)嵺`評(píng)估研究的證據(jù)發(fā)現(xiàn)，建立證據(jù)庫(kù)，推進(jìn)科學(xué)、有效、可行的循證教育改革。

（致謝：感謝匿名評(píng)審專家給本文提出的修改建議。時(shí)晨晨工作郵箱：cshi92@ruc.edu.cn。）

注釋：

①美國(guó)約翰·霍普金斯大學(xué)教育研究與改革中心（https://education.jhu.edu/crre/）的核心業(yè)務(wù)正是項(xiàng)目效果評(píng)估與循證教育改革。

②在2015 年《每個(gè)學(xué)生都成功法》頒布之后，美國(guó)約翰·霍普金斯大學(xué)教育研究與改革中心在其原有的“最佳證據(jù)百科全書”（Best Evidence Encyclopedia,http://www.bestevidence.org/）基礎(chǔ)之上，于2017 年新建“《每個(gè)學(xué)生都成功法》證據(jù)庫(kù)”（https://www.evidenceforessa.org/）。截至目前，該庫(kù)已經(jīng)完成了對(duì)全美境內(nèi)PK-12 年級(jí)閱讀、數(shù)學(xué)、社會(huì)-情感學(xué)習(xí)、學(xué)生出勤等領(lǐng)域項(xiàng)目效果評(píng)估的證據(jù)整合，此外也正在進(jìn)行科學(xué)、寫作、放學(xué)后教育、暑期教育等其他PK-12 教育領(lǐng)域項(xiàng)目效果評(píng)估的證據(jù)整合。

③本質(zhì)而言，項(xiàng)目效果評(píng)估是由評(píng)估人員在現(xiàn)實(shí)世界情境中開(kāi)展的一場(chǎng)與多方利益攸關(guān)者不斷磋商、妥協(xié)與共識(shí)的“政治性”（politics）研究。也正是由于其復(fù)雜的“政治性”內(nèi)核屬性，不同評(píng)估人員在不同時(shí)間與地點(diǎn)開(kāi)展的對(duì)同一項(xiàng)目的效果評(píng)估，會(huì)存在研究質(zhì)量不一、效果證據(jù)不一等問(wèn)題。因此，基于嚴(yán)格標(biāo)準(zhǔn)篩選出高質(zhì)量的評(píng)估研究，并對(duì)它們的證據(jù)發(fā)現(xiàn)進(jìn)行系統(tǒng)性綜述（systematic review）和元分析（meta-analysis）十分必要。而整合后的證據(jù)結(jié)果才是美國(guó)這場(chǎng)新近興起的循證教育改革的直接依據(jù)。

④這十條嚴(yán)格的篩選標(biāo)準(zhǔn)是美國(guó)約翰·霍普金斯大學(xué)教育研究與改革中心Robert Slavin 教授及其團(tuán)隊(duì)自20 世紀(jì)80 年代以來(lái)開(kāi)展的諸多項(xiàng)目效果評(píng)估與證據(jù)整合研究的經(jīng)驗(yàn)產(chǎn)物，能夠有效確保最終篩選出的評(píng)估研究是高質(zhì)量的。而本文以這些高質(zhì)量評(píng)估研究為文本分析對(duì)象，是有助于達(dá)成研究目的的，因此也是合理的。

⑤除了主題文本分析以外，質(zhì)性文本分析的基本方法還包括評(píng)估文本分析（evaluative text analysis）和類型建構(gòu)文本分析（type-building text analysis）兩種。評(píng)估文本分析是指對(duì)文本中的相關(guān)信息（如現(xiàn)狀、程度、情感等）進(jìn)行等級(jí)性評(píng)估，例如，評(píng)估文本中“教師的失業(yè)表現(xiàn)”是“高度自信”“一般自信”還是“不自信”等。類型建構(gòu)文本分析則是指對(duì)文本中的相關(guān)概念（如模式、屬性、行為等）進(jìn)行類型學(xué)總結(jié)，例如，將文本中“失業(yè)社群應(yīng)付失業(yè)的心態(tài)”總結(jié)為“不屈服型”“放棄型”“失望型”和“漠然型”等四種類型。由此可見(jiàn)，本文選擇主題文本分析這一質(zhì)性文本分析方法是適切的，是有益于解答研究問(wèn)題并得出研究發(fā)現(xiàn)的。

⑥在主題文本分析中，主題建構(gòu)的方式主要有兩種。一種是基于研究問(wèn)題、相關(guān)理論或者先驗(yàn)知識(shí)以及已有經(jīng)驗(yàn)，自上而下的演繹式建構(gòu)，通常用于主要主題的建構(gòu)；一種是基于實(shí)證數(shù)據(jù)或資料自下而上的歸納式建構(gòu)，通常用于次要主題的建構(gòu)。

⑦主題文本分析的分析與呈現(xiàn)方式主要有七種。除了最為常見(jiàn)的主要、次要主題分析與呈現(xiàn)以外，其余六種分別是：主要主題之間的關(guān)系分析與呈現(xiàn)，主要主題之下各次要主題之間的關(guān)系分析與呈現(xiàn)，資料呈現(xiàn)、圖示與可視化展示，質(zhì)性與量化交叉表，案例綜述，對(duì)所選案例進(jìn)行深度詮釋。

⑧盡管18 個(gè)學(xué)生出勤改進(jìn)項(xiàng)目均包含有學(xué)生出勤干預(yù)，但有些項(xiàng)目的核心干預(yù)并不在此。所以，如果從核心干預(yù)角度來(lái)看，這些項(xiàng)目中有些還可以被視為早期讀寫項(xiàng)目、放學(xué)后教育項(xiàng)目、社會(huì)—情感學(xué)習(xí)項(xiàng)目、輟學(xué)預(yù)防項(xiàng)目、暴力預(yù)防項(xiàng)目，等等。

⑨所謂處理中的處理分析，是指評(píng)估人員僅獲取和使用流失后的最終樣本的后測(cè)數(shù)據(jù)。它能夠解決意向處理分析中使用已經(jīng)流失樣本的后測(cè)數(shù)據(jù)所存在的問(wèn)題，但在隨機(jī)對(duì)照實(shí)驗(yàn)中則會(huì)威脅到其原本的隨機(jī)分配。

⑩那些被篩選掉的學(xué)生出勤改進(jìn)項(xiàng)目效果評(píng)估研究的低質(zhì)量問(wèn)題突出表現(xiàn)在：第一，在評(píng)估研究設(shè)計(jì)上，缺少對(duì)照組，沒(méi)有為實(shí)驗(yàn)組樣本匹配相似的對(duì)照組樣本；或者在實(shí)驗(yàn)組實(shí)施干預(yù)之后為其事后匹配相似的對(duì)照組并加以分析；采用項(xiàng)目研發(fā)人員或者項(xiàng)目評(píng)估人員自制的效果測(cè)量指標(biāo)。第二，在評(píng)估研究實(shí)施上，樣本量低于30 人每組；項(xiàng)目干預(yù)實(shí)施時(shí)間低于12 周；項(xiàng)目由評(píng)估人員實(shí)施，或者評(píng)估人員對(duì)項(xiàng)目實(shí)施給予過(guò)多支持；缺少對(duì)項(xiàng)目干預(yù)實(shí)施保真度的數(shù)據(jù)收集。第三，在評(píng)估研究結(jié)果上，要么沒(méi)有使用正確的數(shù)據(jù)分析方法，例如，沒(méi)有根據(jù)樣本的分配水平使用正確的統(tǒng)計(jì)分析技術(shù)，沒(méi)有使用針對(duì)樣本流失問(wèn)題的意向處理分析路徑；要么沒(méi)有提供充分的數(shù)據(jù)分析結(jié)果以計(jì)算出項(xiàng)目出勤效果的效應(yīng)值和統(tǒng)計(jì)顯著性。