潘月娟 黃晶
[摘 要] 明確學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)是保障和提升學(xué)前教育評(píng)估人員專業(yè)水平、推動(dòng)學(xué)前教育評(píng)估隊(duì)伍專業(yè)化建設(shè)的起點(diǎn)。本研究采用三輪德爾菲法,建構(gòu)了學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)指標(biāo)體系,具體包括評(píng)估理念與道德、評(píng)估知識(shí)與技術(shù)、組織與實(shí)施3個(gè)一級(jí)指標(biāo),評(píng)估理念、職業(yè)道德、評(píng)估知識(shí)、評(píng)估技術(shù)、組織協(xié)調(diào)和溝通交流6個(gè)二級(jí)指標(biāo)和23個(gè)三級(jí)指標(biāo)。該指標(biāo)體系為遴選、培訓(xùn)、指導(dǎo)、考核學(xué)前教育評(píng)估人員提供了參考框架,并為學(xué)前教育評(píng)估人員的自我反思與專業(yè)提升提供了依據(jù)。
[關(guān)鍵詞] 學(xué)前教育評(píng)估;評(píng)估人員;專業(yè)素養(yǎng);德爾菲法
一、問(wèn)題提出
為了滿足我國(guó)人口變動(dòng)趨勢(shì)和教育事業(yè)發(fā)展的要求,高質(zhì)量發(fā)展成為新時(shí)期學(xué)前教育事業(yè)發(fā)展的重要戰(zhàn)略目標(biāo)。學(xué)前教育高質(zhì)量發(fā)展要求深化學(xué)前教育評(píng)估改革,切實(shí)發(fā)揮學(xué)前教育評(píng)估的支持促進(jìn)作用。評(píng)估能否發(fā)揮促進(jìn)作用取決于評(píng)估活動(dòng)質(zhì)量的高低,而評(píng)估活動(dòng)的質(zhì)量又受到從業(yè)者能力、評(píng)估環(huán)境和支持資源等多方面因素的交互影響。[1]其中,評(píng)估人員作為評(píng)估活動(dòng)的直接實(shí)施者,是影響評(píng)估活動(dòng)質(zhì)量的關(guān)鍵因素。[2][3]由于受教育對(duì)象的年齡和能力的制約,學(xué)前教育階段的評(píng)估相比其他學(xué)段更強(qiáng)調(diào)基于教育現(xiàn)場(chǎng)、融入教育過(guò)程的直接信息的采集和解釋,評(píng)估活動(dòng)的質(zhì)量更多地依賴評(píng)估人員自身的專業(yè)素養(yǎng)。但是,長(zhǎng)期以來(lái),我國(guó)學(xué)前教育評(píng)估制度和實(shí)踐未能重視評(píng)估隊(duì)伍的專業(yè)化建設(shè),多數(shù)地區(qū)的學(xué)前教育督導(dǎo)評(píng)估人員以兼職人員為主體,遴選方式以推薦為主,培訓(xùn)內(nèi)容缺乏科學(xué)系統(tǒng)的設(shè)計(jì)。[4][5]整體而言,評(píng)估人員隊(duì)伍流動(dòng)性大、專業(yè)性不足的問(wèn)題突出,在一定程度上阻礙了學(xué)前教育評(píng)估的功能發(fā)揮。因此,當(dāng)前學(xué)前教育評(píng)估改革亟須加強(qiáng)評(píng)估隊(duì)伍的專業(yè)化建設(shè)。
近年來(lái),我國(guó)學(xué)前教育相關(guān)政策日益重視評(píng)估人員隊(duì)伍的專業(yè)化建設(shè),但相關(guān)主題的科學(xué)研究較為滯后,未能積極、及時(shí)地回應(yīng)學(xué)前教育政策要求和實(shí)踐需求。2018年,《中共中央 國(guó)務(wù)院關(guān)于學(xué)前教育深化改革規(guī)范發(fā)展的若干意見》首次明確要求“建立一支立足實(shí)踐、熟悉業(yè)務(wù)的專業(yè)化質(zhì)量評(píng)估隊(duì)伍”。2022年,《幼兒園保育教育質(zhì)量評(píng)估指南》再次強(qiáng)調(diào)要切實(shí)加強(qiáng)評(píng)估隊(duì)伍建設(shè),強(qiáng)化評(píng)估人員專業(yè)能力建設(shè)。這些政策的貫徹落實(shí)要求科學(xué)認(rèn)識(shí)評(píng)估人員專業(yè)素養(yǎng)指標(biāo)體系。但是,國(guó)內(nèi)教育評(píng)估領(lǐng)域僅有少數(shù)文獻(xiàn)關(guān)注到評(píng)估人員的資質(zhì)問(wèn)題,[6][7][8][9]已有學(xué)前教育評(píng)估研究主要集中在評(píng)估工具和體系、質(zhì)量標(biāo)準(zhǔn)和現(xiàn)狀等主題上,雖有學(xué)者關(guān)注到當(dāng)前學(xué)前教育評(píng)估人員專業(yè)素質(zhì)問(wèn)題,[10][11]但主要是提出理論構(gòu)想或介紹國(guó)外經(jīng)驗(yàn),[12][13][14]鮮有實(shí)證研究嚴(yán)謹(jǐn)?shù)乜疾旆治霭▽W(xué)前教育在內(nèi)的評(píng)估人員專業(yè)素養(yǎng)的內(nèi)涵與結(jié)構(gòu)。因此,研究學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)具有重要的政策價(jià)值和實(shí)踐意義。
近20年來(lái),美國(guó)、加拿大、日本、新西蘭、英國(guó)、南非等國(guó)家的評(píng)估協(xié)會(huì)致力于推動(dòng)評(píng)估專業(yè)化,對(duì)評(píng)估人員專業(yè)素養(yǎng)做了較多的探索和研究,陸續(xù)出臺(tái)了評(píng)估人員專業(yè)能力框架或資格標(biāo)準(zhǔn),促使評(píng)估實(shí)踐不斷成熟,逐漸走向制度化和專業(yè)化。[15]其中,美國(guó)、加拿大、日本的評(píng)估協(xié)會(huì)還開展了評(píng)估人員認(rèn)證項(xiàng)目。日本評(píng)估協(xié)會(huì)提供的三種證書認(rèn)證之一就是學(xué)校評(píng)估人員。[16]但是,這些評(píng)估人員能力框架都是指向一般的項(xiàng)目評(píng)估,涵蓋面向政府、企業(yè)、社會(huì)公益組織等不同內(nèi)容領(lǐng)域開展評(píng)估的人員,并沒有細(xì)致區(qū)分評(píng)估所涉內(nèi)容領(lǐng)域的特殊要求。目前,僅有少數(shù)研究專門考察了教育項(xiàng)目評(píng)估人員的專業(yè)能力。例如,迪亞茲(Diaz)等人采用德爾菲法調(diào)查了美國(guó)合作共育項(xiàng)目來(lái)自31個(gè)州的46名評(píng)估專家,分析了評(píng)估專家對(duì)合作共育教育者(為兼職工作者,評(píng)估教育項(xiàng)目是其職責(zé)之一)這種非正式教育評(píng)估人員的能力期望,結(jié)果發(fā)現(xiàn)能力期望側(cè)重在評(píng)估方法技術(shù)方面。[17]雖然國(guó)外評(píng)估協(xié)會(huì)和學(xué)者在建構(gòu)評(píng)估人員專業(yè)素養(yǎng)指標(biāo)體系時(shí)的思路和側(cè)重點(diǎn)上存在差異,但就職業(yè)道德、評(píng)估技能、評(píng)估實(shí)踐、人際交往等方面提出了一些共同要求,這為研究我國(guó)學(xué)前教育評(píng)估人員的專業(yè)素養(yǎng)提供了有意義的參考框架。
然而,評(píng)估是一種根植于價(jià)值和意義體系的價(jià)值判斷活動(dòng),必然受到文化、制度等情境因素的影響。不同國(guó)家和文化對(duì)什么是評(píng)估、為什么評(píng)估、如何評(píng)估等基本問(wèn)題的認(rèn)識(shí)與態(tài)度,以及對(duì)評(píng)估制度、模式和評(píng)估人員角色職責(zé)的安排都存在較大差異。由此,對(duì)評(píng)估人員的角色標(biāo)準(zhǔn)期待也會(huì)有所不同。多個(gè)國(guó)家的評(píng)估協(xié)會(huì)和學(xué)者以美國(guó)評(píng)估協(xié)會(huì)(American Evaluation Association, AEA)和加拿大評(píng)估協(xié)會(huì)(Canadian Evaluation Society, CES)的評(píng)估人員專業(yè)能力框架為基礎(chǔ)進(jìn)行了本土化研究,都發(fā)現(xiàn)了一些具有文化特殊性的期望要求。例如,韋希佩哈娜(Wehipeihana)等人分析認(rèn)為,新西蘭評(píng)價(jià)協(xié)會(huì)研制的評(píng)估人員能力框架的獨(dú)特之處就在于對(duì)文化與價(jià)值的重視。該框架不是將文化能力作為獨(dú)立并行的維度,而是將其作為核心融入到情境分析與參與、系統(tǒng)的評(píng)價(jià)實(shí)踐、評(píng)價(jià)項(xiàng)目管理、反思性實(shí)踐和專業(yè)發(fā)展四個(gè)維度之中。[18]李(Lee)等人以斯蒂文(Stevahn)等人的“項(xiàng)目評(píng)估人員核心能力”(Essential Competencies for Program Evaluators)為基礎(chǔ)框架,先采用德爾菲法對(duì)臺(tái)灣高等教育評(píng)估與認(rèn)證委員會(huì)的12教學(xué)評(píng)估專家進(jìn)行了兩輪征詢,[19]然后采用李克特評(píng)定和模糊評(píng)定對(duì)236位教學(xué)評(píng)估專家進(jìn)行了再次調(diào)查。[20]先后兩次研究的樣本量和研究方法不同,但教學(xué)評(píng)估專家的判斷結(jié)果都是評(píng)估專業(yè)實(shí)踐的重要性最高,而項(xiàng)目管理和情境分析最低。就具體條目而言,“回避可能的內(nèi)部利益”“確保信息的保密性”等職業(yè)道德要求的重要性很高。這些研究結(jié)果意味著在考察教育項(xiàng)目評(píng)估人員專業(yè)能力框架時(shí)必須重視文化特殊性。
為了解我國(guó)背景下學(xué)前教育這一特殊領(lǐng)域的評(píng)估人員應(yīng)具備怎樣的專業(yè)素養(yǎng),本研究嘗試在分析我國(guó)相關(guān)政策要求、國(guó)外項(xiàng)目經(jīng)驗(yàn)與實(shí)證研究文獻(xiàn)的基礎(chǔ)上,參考AEA和CES的評(píng)估人員專業(yè)能力框架,采用德爾菲法征詢來(lái)自學(xué)前教育評(píng)估各領(lǐng)域?qū)<业囊庖姡瑯?gòu)建學(xué)前教育評(píng)估人員的專業(yè)素養(yǎng)指標(biāo)體系,以為評(píng)估人員遴選、考核、培訓(xùn)、指導(dǎo)的標(biāo)準(zhǔn)研制和體系設(shè)計(jì)提供科學(xué)依據(jù),推動(dòng)我國(guó)學(xué)前教育評(píng)估隊(duì)伍的專業(yè)化建設(shè)和學(xué)前教育評(píng)估質(zhì)量的提升。
二、研究方法和步驟
(一)研究方法
本研究采用德爾菲法建構(gòu)學(xué)前教育評(píng)估人員的專業(yè)素養(yǎng)指標(biāo)體系。德爾菲法是在項(xiàng)目規(guī)劃、 政策制定、需求評(píng)測(cè)等領(lǐng)域廣泛應(yīng)用的一種研究方法,許多學(xué)者也采用了這種方法來(lái)構(gòu)建評(píng)估人員專業(yè)能力框架。[21][22]
一般來(lái)說(shuō),專家咨詢小組的人數(shù)一般在8到20人。[23]在大多數(shù)情況下,三輪咨詢通常足以收集所需信息并達(dá)成共識(shí)。[24]本研究采用目的性抽樣邀請(qǐng)了21位從事學(xué)前教育評(píng)估研究或?qū)嵺`的專家參與問(wèn)卷咨詢,包括高校教師、教育行政人員、教育督導(dǎo)、幼兒園園長(zhǎng)、教研員等,涵蓋了評(píng)估研究者、評(píng)估實(shí)施人員、被評(píng)對(duì)象負(fù)責(zé)人等角色。專家組成員構(gòu)成及基本信息如表1所示。
本研究通過(guò)專家自評(píng)的方式調(diào)查了參與專家的權(quán)威程度。專家權(quán)威程度與其對(duì)指標(biāo)作出判斷的依據(jù)(Ca)和對(duì)指標(biāo)的熟悉程度(Cs)有關(guān),其中Ca根據(jù)內(nèi)容的可信程度分為實(shí)踐經(jīng)驗(yàn)、理論依據(jù)、同行了解和直覺四類,Cs采用李克特6點(diǎn)計(jì)分法(0=不熟悉;1=非常熟悉)。專家權(quán)威程度系數(shù)(Cr)為判斷依據(jù)系數(shù)和熟悉程度系數(shù)的算術(shù)平均值,即Cr=(Ca+Cs)/2,專家權(quán)威系數(shù)越高,專家權(quán)威程度越高。[25]本研究統(tǒng)計(jì)數(shù)據(jù)顯示,幾輪咨詢的Cr總體均值為0.75(Cr≥0.7即可接受),參與專家在學(xué)前教育評(píng)估領(lǐng)域具有一定權(quán)威性,研究結(jié)果可靠。
專家積極系數(shù)反映了專家對(duì)本研究的重視和關(guān)心程度。本研究共進(jìn)行了三輪專家咨詢,發(fā)放問(wèn)卷數(shù)量依次為21、21、17份,回收問(wèn)卷數(shù)量依次為21、19、15份,專家積極系數(shù)依次為100%、90.48%、88.24%??傮w上,專家積極系數(shù)較高,大多數(shù)專家重視并積極參與本研究。
(二)研究工具
本研究自編三份《學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)指標(biāo)調(diào)查問(wèn)卷》(以下簡(jiǎn)稱《問(wèn)卷(一)》《問(wèn)卷(二)》《問(wèn)卷(三)》)?!秵?wèn)卷(一)》用于咨詢專家對(duì)初步擬定的學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)維度和指標(biāo)的意見和看法,分為四個(gè)部分:第一部分為基本人口學(xué)信息;第二、三部分征詢專家對(duì)初擬維度劃分和指標(biāo)的態(tài)度和看法(1=刪除;2=修改;3=保留),通過(guò)開放性問(wèn)題收集修改建議;第四部分要求專家對(duì)自身權(quán)威程度進(jìn)行自評(píng)?!秵?wèn)卷(二)》及《問(wèn)卷(三)》用于咨詢專家對(duì)經(jīng)過(guò)前一輪征詢后修改的指標(biāo)體系的認(rèn)可程度,采用5級(jí)量表(1=非常不認(rèn)同;5=非常認(rèn)同)。
(三)研究步驟
本研究分兩個(gè)階段進(jìn)行,第一階段為文獻(xiàn)分析。在該階段主要分析國(guó)內(nèi)21個(gè)省市的學(xué)前教育評(píng)估和督導(dǎo)人員遴選規(guī)定、國(guó)外重點(diǎn)國(guó)家和地區(qū)的學(xué)前教育評(píng)估項(xiàng)目的人員規(guī)定、AEA頒布的《AEA Evaluator Competencies(2018)》和CES頒布的《Competencies for Canadian Evaluation Practice(2018)》,以及國(guó)內(nèi)外有關(guān)項(xiàng)目評(píng)估或教育評(píng)估人員專業(yè)素養(yǎng)的研究文獻(xiàn),初步擬定學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)的維度和指標(biāo),編制專家咨詢問(wèn)卷。
第二階段采用德爾菲法進(jìn)行三輪專家征詢,每輪征詢預(yù)留大約兩周的作答時(shí)間。第一輪征詢向21位專家發(fā)放《問(wèn)卷(一)》,計(jì)算均值、標(biāo)準(zhǔn)差、差異系數(shù)、滿分率、專家積極系數(shù)、權(quán)威程度等統(tǒng)計(jì)量,并依據(jù)專家建議修改專業(yè)素養(yǎng)指標(biāo)。第二輪征詢向?qū)<野l(fā)放修訂后的《問(wèn)卷(二)》,獲取第二輪反饋意見,進(jìn)一步優(yōu)化專業(yè)素養(yǎng)指標(biāo)。第三輪征詢向?qū)<野l(fā)放《問(wèn)卷(三)》,呈現(xiàn)再次修改后的指標(biāo)體系,獲取專家的認(rèn)可程度,最終形成學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)指標(biāo)體系。
(四)數(shù)據(jù)統(tǒng)計(jì)與處理
本研究使用Excel軟件計(jì)算各指標(biāo)的均值(M)、變異系數(shù)(CV)、滿分率(F)和標(biāo)準(zhǔn)差(SD)。其中,均值表示專家認(rèn)可程度,均值越大,得分率越高,專家認(rèn)可程度就越高;變異系數(shù)是標(biāo)準(zhǔn)差與平均數(shù)的比值,表明專家協(xié)調(diào)程度,值越小,專家意見協(xié)調(diào)程度越高;滿分率表明指標(biāo)滿分的比率。此外,還計(jì)算了每個(gè)統(tǒng)計(jì)量的均值、范圍和標(biāo)準(zhǔn)差。
本研究主要采用界值法篩選指標(biāo),根據(jù)統(tǒng)計(jì)數(shù)據(jù)調(diào)整專業(yè)素養(yǎng)指標(biāo),即刪除低于均值界值和滿分率界值并高于變異系數(shù)界值的指標(biāo)。為避免重要指標(biāo)被剔除,對(duì)于有一個(gè)或兩個(gè)尺度不合要求的指標(biāo)(例如只有變異系數(shù)高于界值),在充分考慮專家提出的修改意見的基礎(chǔ)上,經(jīng)由研究團(tuán)隊(duì)討論后修改。[26]
三、研究結(jié)果
(一)初始學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)指標(biāo)體系
通過(guò)分析國(guó)內(nèi)政策要求、國(guó)外項(xiàng)目經(jīng)驗(yàn)以及相關(guān)實(shí)證研究結(jié)果可以發(fā)現(xiàn),評(píng)估人員專業(yè)素養(yǎng)框架普遍涉及以下三個(gè)方面。
其一,良好的專業(yè)態(tài)度和職業(yè)道德。[27]評(píng)估人員既要積極學(xué)習(xí)、不斷反思提升,又要具有職業(yè)承諾。[28]教育評(píng)估活動(dòng)對(duì)評(píng)估人員的職業(yè)道德提出了較高要求。我國(guó)香港地區(qū)在選拔教育督導(dǎo)評(píng)估人員時(shí)會(huì)引入外部獨(dú)立人士,即目前不在教育界服務(wù)的幼兒教育專家擔(dān)任觀察員,以保證督導(dǎo)評(píng)估的公平性與公正性。[29]深圳市教育督導(dǎo)評(píng)估專家遴選也明確要求督導(dǎo)評(píng)估人員“未在第三方評(píng)估機(jī)構(gòu)任職或兼職”。[30]
其二,豐富的專業(yè)知識(shí)與技術(shù)。一般項(xiàng)目評(píng)估人員專業(yè)能力框架都包含評(píng)估專業(yè)知識(shí)與技術(shù)這一維度。例如,美國(guó)學(xué)者斯蒂文(Stevahn)和金(King)等人將61種不同能力劃分為專業(yè)實(shí)踐、系統(tǒng)調(diào)查、情境分析、項(xiàng)目管理、反思性實(shí)踐、人際交往能力6個(gè)領(lǐng)域。[31]這一評(píng)估人員專業(yè)能力框架得到廣泛認(rèn)可和使用,許多評(píng)估協(xié)會(huì)和學(xué)者都是以此框架為基礎(chǔ)展開研究的。加爾珀特(Galport)和阿扎姆(Azzam)對(duì)403名AEA成員進(jìn)行個(gè)人調(diào)查和焦點(diǎn)小組訪談后發(fā)現(xiàn),專業(yè)實(shí)踐和系統(tǒng)調(diào)查能力是最為重要的兩項(xiàng)能力。[32]但大多數(shù)學(xué)前教育評(píng)估項(xiàng)目?jī)H僅要求具備學(xué)前教育相關(guān)的學(xué)歷和工作經(jīng)驗(yàn),并未就評(píng)估知識(shí)與技術(shù)提出具體要求。例如,湖南省衡陽(yáng)市要求教育督導(dǎo)評(píng)估專家“具有大學(xué)本科以上學(xué)歷或者同等學(xué)力,從事本行業(yè)、領(lǐng)域或者機(jī)關(guān)行政管理、教育管理、教學(xué)、教育研究工作 10 年以上,工作實(shí)績(jī)突出,在本地域、本行業(yè)(學(xué)科)有一定影響力”。[33]美國(guó)Keystone Stars項(xiàng)目[34]和北卡羅來(lái)納州幼兒教育評(píng)估項(xiàng)目[35]都要求評(píng)估人員有幼兒教育經(jīng)驗(yàn)。
其三,良好的組織協(xié)調(diào)和溝通能力。這包括具有韌性、決策能力、溝通技巧、團(tuán)隊(duì)合作和組織協(xié)調(diào)能力。[36][37]例如,北京市教育督導(dǎo)專家遴選要求就提出“具有較強(qiáng)的組織協(xié)調(diào)、溝通表達(dá)、綜合研究分析能力”。[38]
除了以上三個(gè)方面,AEA和CES的評(píng)估人員專業(yè)能力框架還包含情境分析和組織管理兩個(gè)維度。其中,情境分析是指評(píng)估人員關(guān)注、理解和回應(yīng)評(píng)估環(huán)境、利益相關(guān)者、文化傳統(tǒng)等特征的能力。如AEA(2018)的“情境領(lǐng)域”(Context Domain)涉及評(píng)估場(chǎng)地、利益相關(guān)者、組織結(jié)構(gòu)、文化多樣性、歷史傳統(tǒng)、價(jià)值觀、政治、經(jīng)濟(jì)、權(quán)力和其他特征。組織管理包括評(píng)估人員在評(píng)估工作計(jì)劃、時(shí)間安排、資源分配等方面的能力。又如CES(2018)的“管理實(shí)踐能力”(Management Practice competencies)中包括“確定并有效使用評(píng)估所需的人力、財(cái)務(wù)和技術(shù)資源”“協(xié)調(diào)其他團(tuán)隊(duì)成員的工作”“與所有利益相關(guān)者傳達(dá)評(píng)估實(shí)施進(jìn)度”等。為了解我國(guó)背景下人們對(duì)學(xué)前教育評(píng)估人員的角色期待,充分揭示評(píng)估人員專業(yè)素養(yǎng)的領(lǐng)域特殊性和文化特殊性,本研究在初始專業(yè)素養(yǎng)指標(biāo)體系中加入了組織管理和情境分析兩個(gè)維度。
綜合以上分析,本研究擬定初步的學(xué)前教育評(píng)估人員素養(yǎng)指標(biāo)體系包含5個(gè)一級(jí)指標(biāo),43個(gè)二級(jí)指標(biāo)。具體包括五個(gè)方面。A評(píng)估理念與道德,主要關(guān)注評(píng)估人員的評(píng)估理念與道德素質(zhì),包含9個(gè)二級(jí)指標(biāo),例如學(xué)前教育理念,對(duì)評(píng)估標(biāo)準(zhǔn)、指導(dǎo)方針和道德規(guī)范的遵守與應(yīng)用,專業(yè)自我發(fā)展意識(shí)等。B評(píng)估知識(shí)與技術(shù),主要關(guān)注評(píng)估人員的評(píng)估知識(shí)與實(shí)施評(píng)估的專業(yè)技術(shù),包含11個(gè)二級(jí)指標(biāo),例如評(píng)估領(lǐng)域相關(guān)的學(xué)科背景知識(shí)、評(píng)估所需的方法等。C評(píng)估實(shí)施與管理,主要關(guān)注評(píng)估人員的項(xiàng)目管理與實(shí)施能力,包含9個(gè)二級(jí)指標(biāo),例如確定、監(jiān)督和協(xié)調(diào)評(píng)估項(xiàng)目所需的工作計(jì)劃、資源等。D評(píng)估情境理解,主要關(guān)注評(píng)估人員對(duì)評(píng)估情境的理解、分析能力,包含8個(gè)二級(jí)指標(biāo),例如關(guān)注評(píng)估所處的自然及社會(huì)文化環(huán)境、評(píng)估涉及的利益相關(guān)者等。E人際交往與溝通,主要關(guān)注評(píng)估人員的社會(huì)交往和溝通能力,包含6個(gè)二級(jí)指標(biāo),例如與利益相關(guān)者建立積極關(guān)系的能力、是否具備良好書面溝通技能等。見表2。
(二)三輪專家意見征詢情況及指標(biāo)調(diào)整
1. 第一輪專家征詢。
第一輪征詢中各級(jí)指標(biāo)的均值、滿分率以及變異系數(shù)如表3所示。統(tǒng)計(jì)結(jié)果顯示,一、二級(jí)指標(biāo)總體變異系數(shù)CV的均值為0.173(一般認(rèn)為CV在0.00~0.25之間即符合要求)??傮w上,專家意見協(xié)調(diào)度較好。
第一輪征詢后,結(jié)合專家意見,經(jīng)過(guò)研究團(tuán)隊(duì)討論,對(duì)初始學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)指標(biāo)體系做出了大幅度的調(diào)整,主要包括修改框架層次、刪除或增加指標(biāo)、變更指標(biāo)所屬領(lǐng)域、修改指標(biāo)名稱及表述。具體情況如下。
第一,將整體框架由原來(lái)的二級(jí)指標(biāo)體系改為三級(jí)指標(biāo)體系,一級(jí)指標(biāo)由原來(lái)的5個(gè)改為3個(gè),并根據(jù)三級(jí)指標(biāo)提煉出二級(jí)指標(biāo)。其中,A評(píng)估理念與道德包括評(píng)估人員的評(píng)估理念(A1)、職業(yè)道德規(guī)范(A2)和自我發(fā)展(A3)3個(gè)二級(jí)指標(biāo)以及10個(gè)三級(jí)指標(biāo);B評(píng)估知識(shí)與技術(shù)包括評(píng)估人員實(shí)施評(píng)估活動(dòng)所需的評(píng)估知識(shí)(B1)以及評(píng)估實(shí)施所需的專業(yè)技術(shù)(B2)2個(gè)二級(jí)指標(biāo)及8個(gè)三級(jí)指標(biāo);C組織與實(shí)施包括評(píng)估人員在實(shí)施評(píng)估過(guò)程中的組織協(xié)調(diào)能力(C1)和溝通交流能力(C2)2個(gè)二級(jí)指標(biāo)以及8個(gè)三級(jí)指標(biāo)。
第二,原有的43個(gè)二級(jí)指標(biāo)經(jīng)刪減或合并,形成了26個(gè)三級(jí)指標(biāo)。根據(jù)統(tǒng)計(jì)結(jié)果,首先刪去了低于均值和滿分率的界值并高于變異系數(shù)界值的指標(biāo)。例如原指標(biāo)“參與專業(yè)評(píng)估活動(dòng),為評(píng)估行業(yè)及其實(shí)踐社區(qū)做出貢獻(xiàn)”的均值為2.476(M<2.760)、變異系數(shù)為0.303(CV>0.189)、滿分率為0.619(F<0.779),故刪除該指標(biāo)。對(duì)于有一個(gè)或兩個(gè)尺度達(dá)到刪除標(biāo)準(zhǔn)的指標(biāo),若專家的詳細(xì)意見為表意不清或表述不夠具體,則不予刪除,僅調(diào)整指標(biāo)表述;若專家的詳細(xì)意見為質(zhì)疑指標(biāo)本身的適宜性并說(shuō)明刪除緣由,則刪除。例如,原指標(biāo)“在評(píng)價(jià)的所有程序和各個(gè)方面保持公開、透明”(M=2.810>2.760,CV=0.214>0.189,F(xiàn)=0.905>0.779),專家指出“任何評(píng)估都有討論和商榷的地方,過(guò)于公開反倒不利于開展工作”,因此將該指標(biāo)刪除。此外,合并了范疇重合的指標(biāo)并調(diào)整所屬領(lǐng)域,如將原本在D評(píng)估情境理解維度下的“D1尊重、識(shí)別并回應(yīng)評(píng)估項(xiàng)目所處的多種人文和自然環(huán)境”“D2確定利益相關(guān)者的需求及其參與能力,同時(shí)承認(rèn)、尊重并回應(yīng)”和“D5在評(píng)估過(guò)程中,關(guān)注并響應(yīng)組織的變化和評(píng)價(jià)項(xiàng)目環(huán)境的變化”合并為一個(gè)指標(biāo)——“理解、分析并回應(yīng)社會(huì)文化、組織、利益相關(guān)者等因素與評(píng)估的相互影響”,并納入C組織與實(shí)施中。
第三,增加三級(jí)指標(biāo)。例如,評(píng)估理念方面增加“堅(jiān)持以發(fā)展為目的、以事實(shí)為依據(jù),開展科學(xué)評(píng)估,扭轉(zhuǎn)不科學(xué)的教育評(píng)估導(dǎo)向”,以及評(píng)估技術(shù)方面增加“準(zhǔn)確解讀和應(yīng)用學(xué)前教育評(píng)估標(biāo)準(zhǔn)”。
第四,修改含義或表述模糊的指標(biāo),使得指標(biāo)的內(nèi)涵更加清晰明確、切合主題,表述通俗易懂。例如,將原指標(biāo)“在評(píng)估中利用自我發(fā)展意識(shí)和反思性思維來(lái)不斷改進(jìn)實(shí)踐”修改為“針對(duì)評(píng)估工作中的現(xiàn)實(shí)需要與問(wèn)題,進(jìn)行探索和研究”。
因此,經(jīng)過(guò)第一輪專家征詢,修改形成具有3個(gè)一級(jí)指標(biāo)、7個(gè)二級(jí)指標(biāo)以及26個(gè)三級(jí)指標(biāo)的學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)指標(biāo)體系。
2. 第二輪專家征詢。
第二輪專家征詢將修改后的學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)指標(biāo)體系通過(guò)電子問(wèn)卷的形式發(fā)放給專家。統(tǒng)計(jì)結(jié)果顯示,一級(jí)指標(biāo)、二級(jí)指標(biāo)、三級(jí)指標(biāo)的總體變異系數(shù)CV均值為0.096。整體來(lái)說(shuō),專家對(duì)于修改后的學(xué)前教育評(píng)估人員能力指標(biāo)體系認(rèn)可程度較高。
第二輪僅有少數(shù)專家提出了不同意見,數(shù)據(jù)處理方式與第一輪相同。專家意見和數(shù)據(jù)統(tǒng)計(jì)發(fā)現(xiàn)的問(wèn)題集中在三個(gè)方面:一是質(zhì)疑部分素養(yǎng)指標(biāo)對(duì)于評(píng)估實(shí)施人員而言要求過(guò)高,例如,學(xué)習(xí)新的評(píng)估理論;二是A3自我發(fā)展達(dá)到刪除標(biāo)準(zhǔn),是否需要將其納入評(píng)估理念和道德維度;三是組織協(xié)調(diào)下的兩個(gè)指標(biāo)“C1-2協(xié)調(diào)、監(jiān)督評(píng)估過(guò)程和質(zhì)量”(M=4.474<4.618,CV=0.216>0.185,F(xiàn)=0.684<0.760)和“C1-5理解、分析并回應(yīng)社會(huì)文化、組織、利益相關(guān)者等因素與評(píng)估的相互影響”(M=4.421<4.618,CV=0.217>0.185,F(xiàn)=0.632<0.760)都達(dá)到了刪除標(biāo)準(zhǔn)。
根據(jù)專家意見做出以下修改:第一,在二級(jí)指標(biāo)上刪除A3自我發(fā)展指標(biāo),刪減原“A3-1認(rèn)同學(xué)前教育評(píng)價(jià)的專業(yè)性,積極參與專業(yè)學(xué)習(xí)活動(dòng),不斷學(xué)習(xí)最新的評(píng)價(jià)理論和實(shí)踐”并合并到“A1-2理解學(xué)前教育評(píng)價(jià)的意義,認(rèn)同學(xué)前教育評(píng)價(jià)的價(jià)值”中,刪減原“A3-2自覺反思和克服自己的偏見和局限,改進(jìn)評(píng)價(jià)工作”并合并到“A1-3堅(jiān)持以發(fā)展為目的、以事實(shí)為依據(jù),開展科學(xué)評(píng)價(jià),扭轉(zhuǎn)不科學(xué)的教育評(píng)價(jià)導(dǎo)向”中,同時(shí)刪除“A3-3針對(duì)評(píng)價(jià)工作中的現(xiàn)實(shí)需要與問(wèn)題,進(jìn)行探索和研究”。第二,在三級(jí)指標(biāo)上,根據(jù)專家的詳細(xì)意見修改表述。
第二輪修改后形成了包含3個(gè)一級(jí)指標(biāo)、6個(gè)二級(jí)指標(biāo)以及23個(gè)三級(jí)指標(biāo)的學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)指標(biāo)體系。
3. 第三輪專家征詢。
經(jīng)過(guò)三輪專家征詢后,指標(biāo)的總體變異系數(shù)CV從第一輪的0.173逐漸縮小為第三輪的0.049,表明指標(biāo)逐漸趨于合理,專家意見逐步達(dá)成一致。
當(dāng)共識(shí)率高于80%時(shí),表明專家已達(dá)成共識(shí),可以考慮結(jié)束專家意見的征詢。[39]本研究認(rèn)為,專家選擇“非常認(rèn)同”視為對(duì)該指標(biāo)的認(rèn)可,即在所有指標(biāo)上該選項(xiàng)所占比例在80%及以上,且標(biāo)準(zhǔn)差小于1時(shí),通過(guò)專家一致性。經(jīng)過(guò)兩輪專家意見征詢與修改,在第三輪專家征詢中,專家對(duì)3個(gè)一級(jí)指標(biāo)的共識(shí)率均在80%以上,表明專家對(duì)于各個(gè)指標(biāo)的看法已達(dá)到共識(shí),因此結(jié)束專家咨詢,最終形成了包含3個(gè)一級(jí)指標(biāo)、6個(gè)二級(jí)指標(biāo)以及23個(gè)三級(jí)指標(biāo)的學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)體系(見表3)。
四、討論
明確學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)的構(gòu)成是保障和提高學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)的起點(diǎn)。本研究借鑒國(guó)內(nèi)外研究成果,采用德爾菲法,通過(guò)三輪專家征詢,提出了一套包含3個(gè)一級(jí)指標(biāo)、6個(gè)二級(jí)指標(biāo)及23個(gè)三級(jí)指標(biāo)的專業(yè)素養(yǎng)指標(biāo)體系。該專業(yè)素養(yǎng)指標(biāo)體系既反映了不同被評(píng)領(lǐng)域評(píng)估人員專業(yè)素養(yǎng)的共同成分,也體現(xiàn)了中國(guó)背景下對(duì)學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)的特殊要求。
(一)學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)具有跨領(lǐng)域的共同成分
本研究中,被訪專家提出的指標(biāo)修改建議充分證實(shí)了國(guó)內(nèi)外對(duì)于評(píng)估人員專業(yè)素養(yǎng)的期待具有某些共性。評(píng)估理念與道德、評(píng)估知識(shí)與技術(shù)以及組織實(shí)施能力都被視為評(píng)估人員專業(yè)素養(yǎng)的重要組成部分。評(píng)估人員應(yīng)當(dāng)具備怎樣的專業(yè)素養(yǎng)首先取決于評(píng)估活動(dòng)的本質(zhì)。評(píng)估活動(dòng)本質(zhì)上是在事實(shí)判斷基礎(chǔ)上做出的價(jià)值判斷。信息采集與分析、組織與實(shí)施是揭示被評(píng)對(duì)象是什么樣的事實(shí)判斷過(guò)程,而評(píng)估理念與道德則是影響價(jià)值標(biāo)準(zhǔn)的關(guān)鍵。這三個(gè)維度成分是不同文化、不同模式和內(nèi)容領(lǐng)域的評(píng)估都必須涉及的過(guò)程和特征。因此,我們可以看到,針對(duì)不同國(guó)家的政府評(píng)估人員、教育項(xiàng)目評(píng)估人員等不同領(lǐng)域的評(píng)估人員提出的專業(yè)能力框架都包含了這三個(gè)維度成分。同理,學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)也應(yīng)該包含這三個(gè)成分。
(二)我國(guó)學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)同樣具有文化特殊性
在本研究的三輪意見征詢中,來(lái)自各層面的學(xué)前教育評(píng)估相關(guān)專家最重視評(píng)估理念與道德,而對(duì)反思實(shí)踐能力、管理能力、情境分析能力作為獨(dú)立的評(píng)估素養(yǎng)維度的認(rèn)可程度較低。這與李(Lee)等人的研究結(jié)果有較高的一致性。可以說(shuō),這種差異在一定程度上反映了我國(guó)社會(huì)文化價(jià)值觀念以及學(xué)前教育評(píng)估制度和實(shí)踐的特點(diǎn)。首先,我國(guó)社會(huì)文化中的差序格局、高權(quán)力距離、人情關(guān)系為重等特征容易影響評(píng)估過(guò)程和結(jié)果的公正客觀,降低評(píng)估質(zhì)量和被評(píng)對(duì)象的評(píng)估滿意度。[40][41]因此,評(píng)估人員的職業(yè)道德操守在中國(guó)背景下的學(xué)前教育評(píng)估中尤顯重要。其次,我國(guó)20世紀(jì)80年代末90年代初建立實(shí)施的學(xué)前教育評(píng)估制度一直重視由政府主導(dǎo)的、以問(wèn)責(zé)為導(dǎo)向的外部評(píng)估,評(píng)估人員只是既定評(píng)估方案和標(biāo)準(zhǔn)的執(zhí)行者,無(wú)需考慮評(píng)估模式的選擇和方案設(shè)計(jì),因此,我國(guó)學(xué)前教育評(píng)估實(shí)踐較少?gòu)?qiáng)調(diào)評(píng)估人員的管理能力。再次,以問(wèn)責(zé)為導(dǎo)向的外部評(píng)估重在被評(píng)對(duì)象之間的橫向比較和排序,強(qiáng)調(diào)要確保評(píng)估標(biāo)準(zhǔn)的統(tǒng)一、信息的客觀、結(jié)果的公正,要求評(píng)估人員盡量避免因被評(píng)對(duì)象及其所處情境的差異和多樣性造成評(píng)估的相對(duì)性與主觀性。因此,我國(guó)學(xué)前教育評(píng)估實(shí)踐較少關(guān)注評(píng)估人員的情境分析能力。最后,在我國(guó)當(dāng)前學(xué)前教育評(píng)估制度安排中,評(píng)估人員主要由督學(xué)、學(xué)前教育行政人員、教研人員、幼兒園園長(zhǎng)、骨干教師、高校專家等兼職擔(dān)任,具有較強(qiáng)的臨時(shí)性和流動(dòng)性,導(dǎo)致對(duì)這些兼職評(píng)估人員的管理較少,也較難從評(píng)估人員專業(yè)成長(zhǎng)發(fā)展的角度進(jìn)行長(zhǎng)遠(yuǎn)規(guī)劃,因而對(duì)評(píng)估人員的反思實(shí)踐能力重視不足。
五、建議
基于上述研究結(jié)果,本部分嘗試提出如下提高學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)的對(duì)策及建議。
(一)出臺(tái)學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)指標(biāo)框架,完善評(píng)估人員遴選和考核制度
目前,我國(guó)學(xué)前教育評(píng)估人員主要是由教研員、幼兒園園長(zhǎng)組成的兼職隊(duì)伍。而以兼職人員為評(píng)估人員主力是當(dāng)前許多國(guó)家學(xué)前教育評(píng)估的普遍做法。英國(guó)學(xué)校督導(dǎo)政策自2012年開始,要求增加學(xué)校校長(zhǎng)和教師作為兼職評(píng)估人員,以提升評(píng)估人員對(duì)被評(píng)學(xué)校的反饋指導(dǎo)能力。[42]就已有研究結(jié)果來(lái)看,無(wú)論評(píng)估人員是兼職還是專職,其專業(yè)素養(yǎng)都是影響評(píng)估活動(dòng)質(zhì)量的關(guān)鍵。因此,依據(jù)學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)框架加強(qiáng)對(duì)評(píng)估人員的遴選和考核是當(dāng)前我國(guó)提高學(xué)前教育評(píng)估人員隊(duì)伍專業(yè)水平的一條可行路徑。首先,教育行政部門或?qū)W前教育評(píng)估專業(yè)組織可以根據(jù)我國(guó)社會(huì)文化和學(xué)前教育評(píng)估制度實(shí)踐厘清評(píng)估人員角色職責(zé),出臺(tái)學(xué)前教育評(píng)估人員指標(biāo)框架,為學(xué)前教育評(píng)估隊(duì)伍專業(yè)化建設(shè)提供依據(jù)。其次,地方教育行政部門應(yīng)完善學(xué)前教育評(píng)估人員遴選標(biāo)準(zhǔn)和方法,全面涵蓋、精準(zhǔn)把握評(píng)估人員專業(yè)素養(yǎng)的核心要素和特征,而非僅僅從管理經(jīng)驗(yàn)、學(xué)歷和榮譽(yù)等方面進(jìn)行遴選。最后,地方教育行政部門應(yīng)制定學(xué)前教育評(píng)估人員考核辦法,充分發(fā)揮專業(yè)素養(yǎng)指標(biāo)體系的導(dǎo)向功能,激勵(lì)評(píng)估人員持續(xù)提升專業(yè)素養(yǎng),約束評(píng)估人員的評(píng)估實(shí)踐行為。
(二)依據(jù)專業(yè)素養(yǎng)指標(biāo)框架,加強(qiáng)學(xué)前教育評(píng)估人員的培訓(xùn)和指導(dǎo)
本研究的結(jié)果表明,學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)是一個(gè)多維度、多層次的復(fù)雜結(jié)構(gòu)。兼職學(xué)前教育評(píng)估人員面臨從管理者、教育者、研究者等角色向評(píng)估者的轉(zhuǎn)變,其評(píng)估專業(yè)素養(yǎng)并不會(huì)伴隨角色的轉(zhuǎn)變而自然提高,因此評(píng)估人員需要得到有效的培訓(xùn)和指導(dǎo)。第一,地方教育行政部門應(yīng)依據(jù)專業(yè)素養(yǎng)指標(biāo)框架,完善學(xué)前教育評(píng)估人員教育培訓(xùn)制度,明確對(duì)評(píng)估人員任職期間的培訓(xùn)要求。評(píng)估人員的培訓(xùn)輸送來(lái)源可以是多樣的,但是都應(yīng)遵循統(tǒng)一的專業(yè)素養(yǎng)指標(biāo)框架,以確保評(píng)估人員的專業(yè)資質(zhì)。例如,英國(guó)教育標(biāo)準(zhǔn)局(Ofsted)僅直接聘用少量的全職皇家督學(xué),學(xué)校評(píng)估工作主要由大量的獨(dú)立督學(xué)完成。這些獨(dú)立督學(xué)由三家第三方機(jī)構(gòu)提供和培訓(xùn),由Ofsted雇用和管理。Ofsted要求獨(dú)立督學(xué)在任職期間接受一定時(shí)間長(zhǎng)度的培訓(xùn)。[43]第二,專業(yè)組織應(yīng)依據(jù)專業(yè)素養(yǎng)指標(biāo)框架,構(gòu)建系統(tǒng)、完備的培訓(xùn)內(nèi)容體系,控制培訓(xùn)的隨意性和片面性,切實(shí)提升評(píng)估人員的評(píng)價(jià)知識(shí)與技術(shù)、組織與實(shí)施方面的專業(yè)素養(yǎng)。
總體上,本研究對(duì)學(xué)前教育評(píng)估人員素養(yǎng)做出的系統(tǒng)構(gòu)想雖不成熟,但為后續(xù)研究和實(shí)踐繼續(xù)改進(jìn)完善提供了初步藍(lán)本,是推動(dòng)學(xué)前教育評(píng)估人員專業(yè)化發(fā)展的有益嘗試。未來(lái)研究一方面可以進(jìn)一步探討學(xué)前教育評(píng)估人員專業(yè)素養(yǎng)各構(gòu)成要素之間的關(guān)系及其對(duì)評(píng)估活動(dòng)質(zhì)量的影響程度和作用機(jī)制,為建設(shè)高素質(zhì)學(xué)前教育評(píng)估隊(duì)伍提供更科學(xué)有力的研究證據(jù);另一方面,可以改進(jìn)研究方法,進(jìn)一步完善本土化的指標(biāo)體系。本研究采用德爾菲法按照預(yù)設(shè)框架請(qǐng)受訪專家進(jìn)行判斷,這給受訪專家的思考方向造成了一定的局限。
參考文獻(xiàn):
[1]COOKSEY L J, MARK M M. Influences on evaluation quality[J]. American Journal of Evaluation, 2012,33(1):79-87.
[2]BERNARDIN H J, THOMASON S, BUCKLEY M R, et al. Rater rating?level bias and accuracy in performance appraisals: the impact of rater personality, performance management competence, and rater accountability[J]. Human Resource Management,2016,55(2):321-340.
[3]STEENSMA H, VISSER E. Procedural justice and supervisors personal power bases: effects on employees perceptions of performance appraisal sessions, commitment, and motivation[J]. Journal of Collective Negotiations,2007,31(2):101-118.
[4]秦旭芳,丁春宇.學(xué)前教育督導(dǎo)評(píng)估問(wèn)題審視、問(wèn)責(zé)與逾越[J].現(xiàn)代教育管理,2017(01):74-78.
[5]張彩云,武向榮,燕新.我國(guó)督學(xué)隊(duì)伍現(xiàn)狀及發(fā)展策略——基于16個(gè)省的實(shí)證分析[J].教育科學(xué)研究,2020(11):37-43.
[6]李雁冰.論教育評(píng)價(jià)專業(yè)化[J].教育研究,2013,34(10):121-126.
[7][36]馮暉,王奇.試析教育評(píng)估專業(yè)化[J].教育發(fā)展研究,2015,35(11):5-9.
[8]談松華.關(guān)于教育評(píng)價(jià)制度改革的幾點(diǎn)思考[J].中國(guó)教育學(xué)刊,2017(04):7-11.
[9]潘月娟.我國(guó)幼兒園教育質(zhì)量評(píng)估制度的演化變遷與優(yōu)化建議[J].中國(guó)教育學(xué)刊,2022(11):60-64.
[10]梁慧娟.過(guò)程導(dǎo)向:幼兒園教育質(zhì)量評(píng)價(jià)政策的國(guó)際趨勢(shì)與本土實(shí)踐[J].學(xué)前教育研究,2023, 338(2):21-30.
[11]秦旭芳,丁春宇.學(xué)前教育督導(dǎo)評(píng)估問(wèn)題審視、問(wèn)責(zé)與逾越[J].現(xiàn)代教育管理,2017(01):74-78.
[12]郭寶仙.教育評(píng)價(jià)專業(yè)化:加拿大評(píng)價(jià)人員資格認(rèn)證方案及其啟示[J].外國(guó)教育研究,2015,42(1):64-71.
[13]梁紅梅,李廣平,楊士镕.美國(guó)田納西州TEAM質(zhì)性評(píng)價(jià)體系:構(gòu)成、實(shí)施與啟示[J].外國(guó)教育研究,2022,49(8):57-70.
[14]鮑傳友,楊玉春.我國(guó)基礎(chǔ)教育評(píng)估主體的現(xiàn)狀、問(wèn)題與對(duì)策[J].當(dāng)代教育科學(xué),2009(15):14-17.
[15]AYOO S, WILCOX Y, LAVELLE J M, et al. Grounding the 2018 AEA Evaluator Competencies in the broader context of professionalization[J]. New Directions for Evaluation,2020(168):13-30.
[16]STEVAHN L, BERGER D E, TUCKER S A, et al. Using the 2018 AEA Evaluator Competencies for effective program evaluation practice[J]. New Directions for Evaluation,2020(168):75-97.
[17][22]DIAZ J, CHAUDHARY A K, JAYARATNE K S U, et al. Expanding evaluator competency research: exploring competencies for program evaluation using the context of non?formal education[J]. Evaluation and Program Planning,2020,79:101790.
[18]WEHIPEIHANA N, BAILEY R, DAVIDSON E J, et al. Evaluator competencies: the Aotearoa New Zealand experience[J]. Canadian Journal of Program Evaluation,2014,28(3):49-69.
[19][21]LEE Y?F, ALTSCHULD J W, LEE L?S. Essential competencies for program evaluators in a diverse cultural context[J]. Evaluation and Program Planning,2012,35(4):439-444.
[20]LEE Y?F, ALTSCHULD J W, LEE L?S. Further considerations of evaluation competencies in Taiwan[J]. Evaluation and Program Planning,2014,41:12-18.
[23]徐國(guó)祥.統(tǒng)計(jì)預(yù)測(cè)和決策[M].上海:上海財(cái)經(jīng)大學(xué)出版社,2005:149.
[24]CUSTER R L, SCARCELLA J A, STEWART B R. The modified delphi technique: a rotational modification[J]. Journal of Vocational and Technical Education,1999,15(2):1-10.
[25]王春枝,斯琴.德爾菲法中的數(shù)據(jù)統(tǒng)計(jì)處理方法及其應(yīng)用研究[J].內(nèi)蒙古財(cái)經(jīng)學(xué)院學(xué)報(bào)(綜合版),2011,9(4):92-96.
[26]宋嫻,羅躒,胡芳.高質(zhì)量校外教育的助推器:專業(yè)化科技研學(xué)教育人員的評(píng)價(jià)指標(biāo)[J].全球教育展望,2021,50(12):90-101.
[27]陳德枝,秦金亮,李克建.托幼機(jī)構(gòu)教育質(zhì)量評(píng)價(jià)中評(píng)委偏差的多側(cè)面Rasch分析[J].心理科學(xué),2016,39(3):628-636.
[28][37]PATTERSON F, ZIBARRAS L, KERRIN M, et al. Development of competency models for assessors and simulators in high?stakes selection processes[J]. Medical Teacher,2014,36(12):1082-1085.
[29]劉悅.港臺(tái)地區(qū)學(xué)前教育督導(dǎo)評(píng)估的比較及啟示——基于學(xué)前教育免費(fèi)政策的實(shí)行[J].早期教育,2021(04):16-19.
[30]深圳市教育局. 深圳市人民政府教育督導(dǎo)委員會(huì)辦公室關(guān)于開展第六屆市督學(xué)及第二屆市教育督導(dǎo)評(píng)估專家?guī)斐蓡T推選工作的通知[EB/OL].(2020-06-10)[2023-08-15]. http://szeb.sz.gov.cn/home/jyfw/jydd/zcwj/content/post_8729411.html.
[31]STEVAHN L, KING J A, GHERE G, et al. Establishing essential competencies for program evaluators[J]. American Journal of Evaluation,2005,26(1):43-59.
[32]GALPORT N, AZZAM T. Evaluator training needs and competencies: a gap analysis[J]. The American Journal of Evaluation,2017,38(1):80-100.
[33]衡陽(yáng)市教育局.關(guān)于推薦市教育督導(dǎo)評(píng)估專家和督學(xué)工作室成員的通知[EB/OL].(2021-08-04)[2023-08-15]. http://szeb.sz.gov.cn/home/jyfw/jydd/zcwj/content/post_8729411.html.
[34]KIRBY G, CARONONGAN P, MALONE L M, et al. What do quality rating levels mean? Examining the implementation of QRIS ratings to inform validation[J]. Early Childhood Research Quarterly,2015,30:291-305.
[35]LI J Y. What do we know about the implementation of the quality rating and improvement system: a cross?cultural comparison in three countries[D]. Greensboro: The University of North Carolina,2015:6-12.
[38]北京市教委督學(xué)處.北京市人民政府教育督導(dǎo)委員會(huì)辦公室關(guān)于選聘北京市第十二屆督學(xué)的公告[EB/OL].(2022-08-26)[2023-08-15]. http://jw.beijing.gov.cn/jyzx/ztzl/bjjydd/dddt/202208/t20220829_2802449.html.
[39]MURRY J W, HAMMONS J O. Delphi: a versatile methodology for conducting qualitative research[J]. Review of Higher Education,1995,18(4):423-436.
[40]潘月娟,王玉欣,楊曉麗.當(dāng)前幼兒園教師績(jī)效評(píng)價(jià)的特征與效果——基于教師知覺的視角[J].學(xué)前教育研究,2018(05):3-11.
[41]趙君,張光進(jìn),趙書松.績(jī)效考核政治研究述評(píng)與展望[J].經(jīng)濟(jì)管理,2015(06):177-187.
[42]JACQUELINE A B. Professional inspector or inspecting professional? Teachers as inspectors in a new regulatory regime for education in England[J]. Cambridge Journal of Education,2013,43(4):467-485.
[43]JACQUELINE A B. An independent inspectorate? Addressing the paradoxes of educational inspection in 2013[J]. School Leadership & Management: Formerly School Organisation,2014,34(1):21-38.
The Construction of Professional Literacy Index System for Early Childhood Education Evaluators: Based on Delphi Method
PAN Yuejuan, HUANG Jing
(Faculty of Education, Beijing Normal University, Beijing 100875 China)
Abstract: Identifying early childhood education evaluators professional literacy index system is the first step to improve their professional literacy and to improve their professionalization. This study adopts Delphi method to construct a professional literacy index system for early childhood education evaluators, which comprises of three dimensions of evaluation principles and ethics, evaluation knowledge and skills, organization and implementation, and 6 subdomains which are evaluation philosophy, professional ethics, evaluation knowledge, evaluation technology, organization and coordination, and interpersonal communication, and 23 indicators. This system would provide a reference for selecting, training, coaching and appraising evaluators, and for evaluators self?reflection and professional development.
Key words: early childhood education evaluation; evaluators; professional literacy; delphi method
(責(zé)任編輯:熊燦燦)
* 基金項(xiàng)目:國(guó)家社會(huì)科學(xué)基金“十三五”規(guī)劃2020年度教育學(xué)一般課題“農(nóng)村普惠性學(xué)前教育質(zhì)量與貧困兒童早期發(fā)展的追蹤研究”(編號(hào):BHA200122)
** 通信作者:潘月娟,北京師范大學(xué)教育學(xué)部副教授,碩士生導(dǎo)師