美國(guó)國(guó)家教育評(píng)估與地區(qū)援助中心的項(xiàng)目評(píng)估及其啟示

摘 ? 要：國(guó)家教育評(píng)估與地區(qū)援助中心是美國(guó)重要的研究機(jī)構(gòu)之一，主要通過(guò)對(duì)聯(lián)邦教育部實(shí)施的相關(guān)教育項(xiàng)目的有效性與影響進(jìn)行評(píng)估，為政策制定者與決策者提供信息，并推廣與宣傳其研究成果。其項(xiàng)目評(píng)估包括提前制定評(píng)估方案與計(jì)劃，根據(jù)目標(biāo)不斷調(diào)試與改進(jìn)策略，推廣與宣傳研究成果和報(bào)告等重要環(huán)節(jié);體現(xiàn)出評(píng)估人員的專(zhuān)業(yè)性與專(zhuān)業(yè)匹配度高、評(píng)估過(guò)程與數(shù)據(jù)透明度高、評(píng)估結(jié)果反饋與評(píng)價(jià)及時(shí)、項(xiàng)目資助金額大的特點(diǎn)。我國(guó)在開(kāi)展教育項(xiàng)目評(píng)估時(shí)可通過(guò)遵循整體推進(jìn)原則、全方位考量項(xiàng)目評(píng)估的科學(xué)性，確保研究數(shù)據(jù)的客觀性與真實(shí)性，促進(jìn)科研數(shù)據(jù)開(kāi)放路徑提升評(píng)估水平。

關(guān)鍵詞：美國(guó) 項(xiàng)目評(píng)估 國(guó)家教育評(píng)估與地區(qū)援助中心

國(guó)家教育評(píng)估與地區(qū)援助中心（National Center for Education Evaluation and Regional Assistance，NCEE）是美國(guó)科學(xué)研究所（The Institute of Education Science，IES）下屬的四個(gè)中心之一。[1]NCEE的使命是對(duì)聯(lián)邦教育部實(shí)施的相關(guān)教育項(xiàng)目進(jìn)行評(píng)估，其主要職能包括：為政策制定者和決策者提供信息;對(duì)教育項(xiàng)目的有效性實(shí)施評(píng)估;對(duì)相關(guān)研究成果進(jìn)行傳播和推廣。[2]截至目前，NCEE已實(shí)施70多項(xiàng)評(píng)估，評(píng)估領(lǐng)域和主題涉及早期掃盲干預(yù)、教師專(zhuān)業(yè)發(fā)展、殘障學(xué)生教育等。本研究聚焦NCEE的評(píng)估項(xiàng)目，探究其開(kāi)展項(xiàng)目評(píng)估的主要環(huán)節(jié)和特點(diǎn)，以及對(duì)我國(guó)的啟示。

一、項(xiàng)目評(píng)估主要環(huán)節(jié)

（一）制定評(píng)估方案

在開(kāi)展項(xiàng)目評(píng)估前，NCEE擬訂評(píng)估方案，進(jìn)一步明確研究目標(biāo)、研究問(wèn)題、研究方法等。這一階段，項(xiàng)目評(píng)估組需要確定研究對(duì)象的數(shù)量與類(lèi)型、闡述這些對(duì)象的特征以及選擇其作為研究對(duì)象的原因、根據(jù)研究問(wèn)題提出研究設(shè)想、描述每種研究方法的使用過(guò)程與情境等。例如，NCEE在2004—2010年完成了一項(xiàng)關(guān)于閱讀理解項(xiàng)目的評(píng)估，并發(fā)布了研究報(bào)告，報(bào)告闡述了研究問(wèn)題以及研究干預(yù)方法的選擇等，主要圍繞閱讀理解課程對(duì)閱讀理解產(chǎn)生的整體性影響是什么，學(xué)生、教師以及學(xué)校的特點(diǎn)與課程的影響有什么聯(lián)系，在干預(yù)措施實(shí)施一年后課程對(duì)學(xué)生產(chǎn)生了哪些影響等多個(gè)問(wèn)題展開(kāi)研究。這項(xiàng)研究基于嚴(yán)格的隨機(jī)分配設(shè)計(jì)，明確實(shí)施干預(yù)措施的過(guò)程，參與地區(qū)、學(xué)校和教師遵循自主自愿原則，全面和嚴(yán)格地搜集數(shù)據(jù)以便于回答與解釋主要研究問(wèn)題。[3]NCEE調(diào)查研究的問(wèn)題、方法與研究過(guò)程明確將可能發(fā)生的問(wèn)題與風(fēng)險(xiǎn)考慮在內(nèi)，并為其發(fā)生做好充足的準(zhǔn)備。這降低了潛在風(fēng)險(xiǎn)的發(fā)生率，有效避免一些其他因素對(duì)研究結(jié)果的影響，有助于研究結(jié)論的真實(shí)性與精確性。

（二）根據(jù)目標(biāo)調(diào)試推進(jìn)策略

在推進(jìn)與實(shí)施項(xiàng)目評(píng)估的進(jìn)程中，根據(jù)設(shè)定的目標(biāo)不斷地調(diào)試與改變當(dāng)前的推進(jìn)策略。最初的推進(jìn)策略往往與達(dá)成的目標(biāo)所需策略之間存在一定的差距，為達(dá)成目標(biāo)，必須在項(xiàng)目推進(jìn)、策略實(shí)施的過(guò)程中不斷審視與調(diào)試。例如，在一項(xiàng)調(diào)查研究中，為確定調(diào)查樣本與目標(biāo)群體之間的相似性以及差異性，在招募研究對(duì)象的過(guò)程中，可能會(huì)出現(xiàn)一些不符合條件的學(xué)校，因此，項(xiàng)目評(píng)估組制作出一個(gè)表格，用于記錄與分析這些不符合標(biāo)準(zhǔn)的學(xué)校的數(shù)量以及其與符合標(biāo)準(zhǔn)的學(xué)校之間的區(qū)別與聯(lián)系，通過(guò)統(tǒng)計(jì)不符合標(biāo)準(zhǔn)的學(xué)校數(shù)量來(lái)判定其影響研究結(jié)論的程度，如果數(shù)量不多，可能對(duì)研究結(jié)論的影響較少，反之，就需要重新選擇與規(guī)范調(diào)研對(duì)象。[4]以這種方式來(lái)分析與調(diào)試研究框架的局限性與問(wèn)題，進(jìn)一步確保研究結(jié)論的信度與效度。

項(xiàng)目評(píng)估組還會(huì)關(guān)注到一些潛在的影響研究結(jié)果的因素。例如，項(xiàng)目評(píng)估組不僅要計(jì)算和評(píng)估被招募的學(xué)校的退出率，還要獲取學(xué)校拒絕參加調(diào)查研究的相關(guān)信息，助力于提升研究結(jié)果的普遍接受性，并對(duì)這些學(xué)校的退出原因（如學(xué)校認(rèn)為當(dāng)前學(xué)校尚未有足夠的教育資源參與這項(xiàng)研究）進(jìn)行分析?？偠灾?，這一過(guò)程需要調(diào)查研究者全面地考慮問(wèn)題、多方面地分析原因等，動(dòng)態(tài)地、全面地審視與監(jiān)督整個(gè)調(diào)查研究過(guò)程。

（三）推廣與宣傳研究成果

推廣與宣傳研究成果是NCEE實(shí)施項(xiàng)目評(píng)估的關(guān)鍵環(huán)節(jié)，亦是最后一步。研究成果推廣的方式與途徑是多樣的，既可以在官網(wǎng)上公開(kāi)研究報(bào)告，也可以通過(guò)工作簡(jiǎn)報(bào)的形式向公眾展示，其中研究報(bào)告不僅包括聚焦國(guó)家重大研究項(xiàng)目的主題式評(píng)估報(bào)告，也有區(qū)域教育實(shí)驗(yàn)報(bào)告、技術(shù)方法報(bào)告。

研究報(bào)告的主要意圖是定期為教育工作者與政策制定者提供可信的、科學(xué)的研究基礎(chǔ)，同其他報(bào)告的評(píng)估過(guò)程一樣，在發(fā)表與公布之前需要進(jìn)行嚴(yán)格的同行評(píng)審程序，以確保符合各項(xiàng)標(biāo)準(zhǔn)等。區(qū)域教育實(shí)驗(yàn)報(bào)告主要包括熱點(diǎn)與問(wèn)答、技術(shù)簡(jiǎn)報(bào)兩個(gè)模塊。技術(shù)方法報(bào)告主要涉及現(xiàn)有數(shù)據(jù)集的分析以及探索新技術(shù)方法的使用兩個(gè)部分，NCEE致力于通過(guò)對(duì)這兩種方法的探索與研究，來(lái)促進(jìn)教育評(píng)估領(lǐng)域方法的進(jìn)步，供研究人員、方法學(xué)家及評(píng)估專(zhuān)家使用。[5]NCEE不僅在推廣與宣傳的路徑與方式上體現(xiàn)多樣性，在宣傳的內(nèi)容方面也進(jìn)行嚴(yán)格的審查與核對(duì)，突出強(qiáng)調(diào)內(nèi)容的真實(shí)性、可靠性與專(zhuān)業(yè)性。

二、項(xiàng)目評(píng)估特點(diǎn)

（一）評(píng)估人員的專(zhuān)業(yè)性強(qiáng)、專(zhuān)業(yè)匹配度高

高質(zhì)量的研究既依賴(lài)于研究項(xiàng)目的統(tǒng)籌規(guī)劃、各部門(mén)間的協(xié)調(diào)合作，也依托于評(píng)估專(zhuān)家的專(zhuān)業(yè)知識(shí)與能力。選擇參與評(píng)估的專(zhuān)家需按照一定的原則、標(biāo)準(zhǔn)與要求，對(duì)這些專(zhuān)家進(jìn)行專(zhuān)業(yè)背景的考察以確保評(píng)估人員的專(zhuān)業(yè)匹配度，將評(píng)估合同授予那些與評(píng)估部門(mén)沒(méi)有利益沖突的專(zhuān)家，專(zhuān)家以多樣化的形式參與到評(píng)估過(guò)程中，保持高度的專(zhuān)業(yè)性與科學(xué)性。

（二）評(píng)估過(guò)程與數(shù)據(jù)的透明度高

評(píng)估過(guò)程以及數(shù)據(jù)的公開(kāi)透明是NCEE開(kāi)展教育評(píng)估的重要特征。《2002年教育科學(xué)改革法》（Education Sciences Reform Act 2002）中明確提到了所有的評(píng)估項(xiàng)目應(yīng)嚴(yán)格按照獨(dú)立性、相關(guān)性、質(zhì)量、透明度和倫理五個(gè)方面的標(biāo)準(zhǔn)進(jìn)行。為確保政府和公眾能獲得正在進(jìn)行中的以及已經(jīng)完成的評(píng)估項(xiàng)目的信息，NCEE網(wǎng)站發(fā)布項(xiàng)目簡(jiǎn)介，提供每項(xiàng)評(píng)價(jià)項(xiàng)目的相關(guān)信息，如成本、預(yù)期時(shí)間表、背景和目的、評(píng)價(jià)問(wèn)題、方法和數(shù)據(jù)收集、主要觀點(diǎn)等。所有已完成的評(píng)估項(xiàng)目報(bào)告都會(huì)上傳到NCEE網(wǎng)站上以供參考。NCEE還將評(píng)價(jià)中的數(shù)據(jù)提供給有資格的個(gè)人便于再次分析與研究。NCEE的評(píng)估項(xiàng)目重視評(píng)估過(guò)程以及數(shù)據(jù)的公開(kāi)性，并采取一定的措施提升評(píng)估的透明度。

（三）評(píng)估結(jié)果的反饋與評(píng)價(jià)及時(shí)

NCEE實(shí)施大規(guī)模評(píng)估項(xiàng)目采用的方法是與該項(xiàng)目的部門(mén)主管保持聯(lián)系，以確定評(píng)價(jià)主題和重要問(wèn)題，并且在評(píng)價(jià)期間為其反饋?zhàn)钚略u(píng)估進(jìn)展，在評(píng)價(jià)結(jié)束后第一時(shí)間告知評(píng)價(jià)結(jié)果等。NCEE評(píng)估項(xiàng)目重視及時(shí)反饋評(píng)估進(jìn)展的基本情況，與相關(guān)人員保持緊密聯(lián)系，讓相關(guān)領(lǐng)域?qū)＜页浞至私庠u(píng)估的全過(guò)程，及時(shí)指出項(xiàng)目實(shí)施過(guò)程中存在的問(wèn)題，進(jìn)而根據(jù)意見(jiàn)與建議做進(jìn)一步完善與調(diào)整，更好地幫助項(xiàng)目組解決問(wèn)題。例如，部門(mén)主管對(duì)項(xiàng)目評(píng)價(jià)的側(cè)重點(diǎn)在于能否幫助解決實(shí)際問(wèn)題、發(fā)現(xiàn)隱藏的風(fēng)險(xiǎn)等，而評(píng)估專(zhuān)家團(tuán)隊(duì)所考慮的問(wèn)題則是如何運(yùn)用專(zhuān)業(yè)知識(shí)與手段達(dá)成預(yù)期目標(biāo)，以及在過(guò)程中該如何做出調(diào)試與改進(jìn)等。因此，及時(shí)反饋與交流評(píng)估進(jìn)展十分必要，項(xiàng)目的反饋評(píng)價(jià)與改進(jìn)完善是相輔相成的，在反饋評(píng)價(jià)中不斷完善，改進(jìn)評(píng)估過(guò)程也進(jìn)一步提升反饋與評(píng)價(jià)的質(zhì)量與方法。

（四）項(xiàng)目資助金額大

根據(jù)NCEE官網(wǎng)公開(kāi)的可供其他研究者申請(qǐng)使用數(shù)據(jù)的項(xiàng)目情況，NCEE項(xiàng)目資助金額大。以其列出的前十個(gè)項(xiàng)目為例，資助金額最低為7，861，244美元，最高為33，072，062美元，平均資助金額超過(guò)1400萬(wàn)美元（見(jiàn)表1）。

三、啟示

（一）遵循整體推進(jìn)原則，全方位考量項(xiàng)目評(píng)估的科學(xué)性

評(píng)估項(xiàng)目的有效實(shí)施能夠在一定程度上挖掘有意義的和值得進(jìn)一步探究的研究項(xiàng)目，并從中發(fā)現(xiàn)新的研究生長(zhǎng)點(diǎn)，節(jié)約研究成本與時(shí)間，提高評(píng)估項(xiàng)目實(shí)施的效率。NCEE開(kāi)展項(xiàng)目評(píng)估的運(yùn)作機(jī)制前期、中期和后期各具特點(diǎn)。前期針對(duì)整個(gè)評(píng)估項(xiàng)目制定實(shí)施計(jì)劃并做好全方位的風(fēng)險(xiǎn)評(píng)估，未雨綢繆;中期對(duì)標(biāo)所要達(dá)成的目標(biāo)不斷調(diào)試研究方式與方法，及時(shí)反饋與公開(kāi)研究過(guò)程與結(jié)論，使研究過(guò)程更為充實(shí)與豐富;后期公開(kāi)與發(fā)表研究成果，供不同群體參考與學(xué)習(xí)。

（二）確保研究數(shù)據(jù)的真實(shí)性與客觀性，避免學(xué)術(shù)不端

在開(kāi)展評(píng)估時(shí)應(yīng)確保數(shù)據(jù)的真實(shí)、客觀與有效。國(guó)內(nèi)許多研究項(xiàng)目的研究過(guò)程與數(shù)據(jù)是不公開(kāi)的，外界無(wú)法熟悉與了解原始數(shù)據(jù)以及整個(gè)分析過(guò)程，研究中可能存在的一些的瑕疵與問(wèn)題難以被發(fā)現(xiàn)。為了提升科研水平與優(yōu)化科研環(huán)境，有必要使用專(zhuān)業(yè)的軟件以及專(zhuān)業(yè)知識(shí)進(jìn)一步檢驗(yàn)與核實(shí)研究數(shù)據(jù)的準(zhǔn)確性。必要時(shí)研究團(tuán)隊(duì)進(jìn)一步闡述數(shù)據(jù)收集過(guò)程以及分析過(guò)程。同時(shí)，也要求研究者恪守職業(yè)道德與規(guī)范，樹(shù)立正確的研究?jī)r(jià)值觀，扎根于中國(guó)本土腳踏實(shí)地開(kāi)展研究，切勿心思浮躁、急功近利。

（三）促進(jìn)科研數(shù)據(jù)開(kāi)放，便于學(xué)者開(kāi)展二次研究

我國(guó)一些學(xué)者苦于國(guó)內(nèi)尚沒(méi)有一個(gè)比較完整的、公開(kāi)的數(shù)據(jù)庫(kù)，想要圍繞一個(gè)熱點(diǎn)問(wèn)題展開(kāi)研究，必須自己去調(diào)研查找資料，或者查找與登錄國(guó)外的公開(kāi)數(shù)據(jù)庫(kù)，在數(shù)據(jù)獲取、選擇與運(yùn)用方面存在一定的難度。這一方面消磨教師開(kāi)展研究的積極性，另一方面增加研究成本。如果國(guó)內(nèi)的智庫(kù)與研究機(jī)構(gòu)能夠選擇性地公開(kāi)一些調(diào)查研究項(xiàng)目的相關(guān)信息，就便于教師充分利用公開(kāi)的數(shù)據(jù)展開(kāi)個(gè)性化的研究。

參考文獻(xiàn)：

[1]鞠光宇.透視美國(guó)教育科學(xué)研究所[J].世界教育信息，2012，25（15）：40-42.

[2]NECC.Evaluation report[EB/OL].[2022-03-21].http：//ies.ed.gov/ncee/aboutus/.

[3]NECC.Effectiveness of selected supplemental reading comprehension interventions：findings from two student cohorts[EB/OL].[2022-03-22].https：//ies.ed.gov/ncee/pubs/20104015/pdf/20104015.pdf.

[4]NECC.Enhancing the generalizability of impact studies in education[EB/OL].[2022-03-23].https：//ies.ed.gov/ncee/pubs/2022003/pdf/2022003.pdf.

[5]NECC.NCEE publications[EB/OL].[2022-03-23].https：//ies.ed.gov/ncee/pubs/.

編輯 呂伊雯 ? 校對(duì) 娜迪拉·阿不拉江

作者簡(jiǎn)介：楊曉瑩，江蘇大學(xué)教師教育學(xué)院講師、江蘇大學(xué)教師教育學(xué)院教育倫理研究所副所長(zhǎng)

基金項(xiàng)目：2021年度江蘇大學(xué)高等教育規(guī)劃發(fā)展研究一般項(xiàng)目“《深化新時(shí)代教育評(píng)價(jià)改革總體方案》背景下江蘇大學(xué)教師評(píng)價(jià)體系研究”（編號(hào)：G202113）