王海萍,許秀嫻
(1. 華東師范大學(xué)社會(huì)發(fā)展學(xué)院,上海,200241;2. 上海市閔行區(qū)馬橋復(fù)旦萬(wàn)科實(shí)驗(yàn)中學(xué),上海,201199)
當(dāng)前,社會(huì)工作機(jī)構(gòu)承擔(dān)了越來(lái)越多的社會(huì)公共服務(wù)干預(yù)項(xiàng)目,然而各個(gè)社會(huì)工作機(jī)構(gòu)的發(fā)展和人員專業(yè)素質(zhì)參差不齊,使得干預(yù)項(xiàng)目的質(zhì)量難以得到保證,因此迫切需要對(duì)社會(huì)組織提供的干預(yù)項(xiàng)目進(jìn)行評(píng)估。對(duì)于社會(huì)組織而言,規(guī)范合理的干預(yù)效果評(píng)估可以給社會(huì)組織提供全面的反饋,幫助社會(huì)組織決定是否需要改進(jìn)、擴(kuò)大或者縮減項(xiàng)目,提高社會(huì)服務(wù)的效益。而當(dāng)前我國(guó)社會(huì)工作實(shí)務(wù)的普遍現(xiàn)狀是,重視項(xiàng)目的落地實(shí)施,忽視項(xiàng)目開展期間的監(jiān)測(cè),缺少對(duì)項(xiàng)目結(jié)果的評(píng)估反思。同時(shí),現(xiàn)行的評(píng)估存在諸多問(wèn)題,如評(píng)估容易受委托方、購(gòu)買方、評(píng)估者等主觀價(jià)值影響,評(píng)估指標(biāo)不適用,指標(biāo)操作難度大,評(píng)估結(jié)果運(yùn)用效果不明顯,評(píng)估工具信效度不高等。[1]因此,本文采用文獻(xiàn)法回顧整理社會(huì)工作干預(yù)項(xiàng)目評(píng)估的主要方法,并提供可操作的案例,以期為社會(huì)組織和評(píng)估方提供參考。
社會(huì)工作評(píng)估是針對(duì)社會(huì)工作和社會(huì)服務(wù)而進(jìn)行的評(píng)估,是用科學(xué)的研究方法對(duì)社會(huì)服務(wù)項(xiàng)目的設(shè)計(jì)、策劃、實(shí)施和效果方面進(jìn)行測(cè)度、診斷和評(píng)價(jià)的活動(dòng)。[2]它既是一個(gè)需要收集數(shù)據(jù)和比較數(shù)據(jù)的系統(tǒng)過(guò)程,又是一個(gè)動(dòng)態(tài)的過(guò)程,評(píng)估和實(shí)施可以相互作用,適時(shí)調(diào)整,并最終促進(jìn)服務(wù)的改善。社會(huì)工作干預(yù)項(xiàng)目的評(píng)估專指對(duì)社會(huì)工作中的以改善案主現(xiàn)狀的服務(wù)項(xiàng)目進(jìn)行評(píng)估,在概念歸屬上屬于社會(huì)工作評(píng)估的一種。
國(guó)內(nèi)關(guān)于社會(huì)工作評(píng)估的研究大多集中在對(duì)評(píng)估模型的引進(jìn)和討論上。吳偉東運(yùn)用系統(tǒng)整合模式將社會(huì)工作評(píng)價(jià)劃分為問(wèn)題、個(gè)人、情景三個(gè)層面的“人在情景中”模式。[3]顧東輝整合了系統(tǒng)模式和CIPP模式,強(qiáng)調(diào)從輸入、輸出和結(jié)果三個(gè)方面進(jìn)行項(xiàng)目評(píng)估,并將全面質(zhì)量管理理論引入到社會(huì)工作評(píng)估中,認(rèn)為評(píng)估過(guò)程應(yīng)該包括策劃、組織、人事、領(lǐng)導(dǎo)、溝通協(xié)調(diào)、決策、公關(guān)和通報(bào)、預(yù)算等方面。[4]朱晨海等人基于影響理論,針對(duì)青少年的社會(huì)工作構(gòu)建了包含結(jié)果、行為、情感、感受、人格、影響六大指標(biāo)體系的評(píng)估框架。[5]香港學(xué)者則基于香港社會(huì)工作評(píng)估實(shí)踐總結(jié)出四種評(píng)估模式:程序邏輯模式、平衡記分卡模式、顧客滿意度模式和政策分析模式。[6]學(xué)者們一方面在引進(jìn)和探討社會(huì)工作評(píng)估模型,另一方面也開始將一些模型和方法應(yīng)用到實(shí)際項(xiàng)目評(píng)估工作中。如欒曉[7]和羅倩妮[8]論述了政府購(gòu)買社會(huì)工作服務(wù)評(píng)估的指標(biāo)體系,潘麗楠等匯報(bào)了老年小組社會(huì)工作項(xiàng)目的評(píng)估研究。[9]
社會(huì)工作評(píng)估的具體方法基本依循社會(huì)科學(xué)的研究方法,在實(shí)際評(píng)估操作中綜合使用文獻(xiàn)法、觀察法、訪談法以及定量調(diào)查法等。例如,程夢(mèng)怡在對(duì)青少年網(wǎng)癮項(xiàng)目的干預(yù)和評(píng)估研究中采用四種評(píng)估方法:第一,文獻(xiàn)研究法,即通過(guò)文獻(xiàn)收集和梳理獲取有助于項(xiàng)目設(shè)計(jì)的信息;第二,實(shí)地觀察法,通過(guò)進(jìn)入項(xiàng)目場(chǎng)景對(duì)項(xiàng)目過(guò)程進(jìn)行觀察,考察項(xiàng)目預(yù)期目標(biāo)是否切實(shí)可行,防止項(xiàng)目方的設(shè)想與項(xiàng)目實(shí)際情況完全背道而馳而使得評(píng)估變得無(wú)意義;第三,無(wú)結(jié)構(gòu)訪談法,通過(guò)與服務(wù)對(duì)象青少年、青少年家長(zhǎng)以及項(xiàng)目團(tuán)隊(duì)成員進(jìn)行訪談來(lái)獲得項(xiàng)目服務(wù)效果的相關(guān)信息,評(píng)價(jià)項(xiàng)目理論的各個(gè)假設(shè);第四,問(wèn)卷調(diào)查法,通過(guò)針對(duì)項(xiàng)目各項(xiàng)服務(wù)活動(dòng)的問(wèn)卷,調(diào)查統(tǒng)計(jì)青少年以其家長(zhǎng)參與項(xiàng)目服務(wù)的效果情況。[10]張弛等在一項(xiàng)以農(nóng)村老年人康樂活動(dòng)為例的實(shí)務(wù)評(píng)估研究中,采用了觀察法以及量表調(diào)查的形式了解老人的精神狀況,過(guò)程評(píng)估中主要運(yùn)用了觀察法和深度訪談法了解他們參加小組的感受和意見,結(jié)果評(píng)估中主要運(yùn)用統(tǒng)計(jì)和訪談式問(wèn)卷對(duì)小組結(jié)果進(jìn)行評(píng)估以及與組前訪談進(jìn)行前后測(cè)的對(duì)比。[11]此外,李華偉指出,觀察法等評(píng)估方法對(duì)干預(yù)結(jié)果進(jìn)行評(píng)估會(huì)影響研究的深度或廣度,因此比較有效客觀的評(píng)價(jià)方法是基線測(cè)量的方式,用于評(píng)估社會(huì)工作者介入前后的變化,以此判斷介入目標(biāo)實(shí)現(xiàn)的程度。[12]
這些研究大都是針對(duì)社會(huì)工作服務(wù)項(xiàng)目進(jìn)行的全面的討論,但并非所有社會(huì)服務(wù)項(xiàng)目都會(huì)進(jìn)行如此綜合的評(píng)估,在評(píng)估側(cè)重項(xiàng)目效果的干預(yù)項(xiàng)目時(shí),可能更強(qiáng)調(diào)對(duì)該項(xiàng)目進(jìn)行有針對(duì)性的評(píng)估設(shè)計(jì)和數(shù)據(jù)收集,以凸顯其所期望的干預(yù)效果。因此,本文所論述的評(píng)估方法和指標(biāo)體系,都將更為貼近干預(yù)項(xiàng)目的設(shè)計(jì)和需求。
很多學(xué)者根據(jù)項(xiàng)目的實(shí)施進(jìn)展將評(píng)估分為前期評(píng)估(需求評(píng)估)、過(guò)程評(píng)估和結(jié)果評(píng)估。[9,11,13]實(shí)際上,前期評(píng)估即需求評(píng)估更多是為項(xiàng)目設(shè)計(jì)而開展的案主需求調(diào)查,旨在通過(guò)了解特定服務(wù)群體的實(shí)際需求而有針對(duì)性地設(shè)計(jì)項(xiàng)目?jī)?nèi)容。而對(duì)項(xiàng)目本身的評(píng)估則分為“可評(píng)估性”評(píng)估、評(píng)估計(jì)劃以及評(píng)估實(shí)施三大過(guò)程,其中“可評(píng)估性”評(píng)估屬于前期評(píng)估,是評(píng)估的先決條件,過(guò)程評(píng)估、結(jié)果評(píng)估以及效益評(píng)估則屬于評(píng)估實(shí)施過(guò)程中的執(zhí)行模塊。
評(píng)估是一項(xiàng)連續(xù)的系統(tǒng)的工作,會(huì)耗費(fèi)一定的資源。為了避免浪費(fèi)評(píng)估資源,在啟動(dòng)一項(xiàng)評(píng)估之前,要先對(duì)這個(gè)項(xiàng)目的“可評(píng)估性”進(jìn)行預(yù)先檢測(cè)(evaluability assessment)。Weiss認(rèn)為,預(yù)先進(jìn)行的“可評(píng)估性”檢測(cè),有兩大好處:其一,可以衡量鏈接項(xiàng)目設(shè)計(jì)與項(xiàng)目目標(biāo)之間的假設(shè)和方法是否可行;其二,可以預(yù)先檢查項(xiàng)目數(shù)據(jù)的收集情況,并與項(xiàng)目執(zhí)行人員以及案主進(jìn)行溝通和接觸,以預(yù)估該項(xiàng)目的成功可能性,即其是否會(huì)取得期望的效果。[14]項(xiàng)目評(píng)估的終極目的是為了改進(jìn)項(xiàng)目運(yùn)營(yíng),因此,“可評(píng)估性”檢測(cè)無(wú)論是否通過(guò),都會(huì)給該項(xiàng)目的設(shè)計(jì)者和執(zhí)行者以有益的反饋,幫助其指出不足并提出改進(jìn)方向。
一旦確定了項(xiàng)目的可評(píng)估性,則要制定評(píng)估計(jì)劃。評(píng)估過(guò)程是貫穿項(xiàng)目始終的,這意味著項(xiàng)目評(píng)估絕不是事后評(píng)估,而是要先于項(xiàng)目執(zhí)行,在項(xiàng)目設(shè)計(jì)之始就同時(shí)設(shè)計(jì)好相應(yīng)評(píng)估方案。評(píng)估計(jì)劃包括評(píng)估方案設(shè)計(jì)和評(píng)估方法選擇。
1. 評(píng)估方案設(shè)計(jì)
評(píng)估方案的制定需要考慮四個(gè)因素。第一,項(xiàng)目的重大時(shí)間節(jié)點(diǎn)。明確社會(huì)服務(wù)項(xiàng)目的開始時(shí)間、結(jié)束時(shí)間、服務(wù)提供時(shí)間,準(zhǔn)確把握社會(huì)服務(wù)項(xiàng)目的實(shí)施動(dòng)態(tài)。第二,明確項(xiàng)目評(píng)估是為哪個(gè)主體評(píng)估,項(xiàng)目評(píng)估的出資方想要了解哪方面的內(nèi)容。第三,考慮社會(huì)項(xiàng)目各個(gè)相關(guān)群體的需求,可以與社會(huì)服務(wù)機(jī)構(gòu)、案主溝通,了解他們的關(guān)注點(diǎn)。第四,考量評(píng)估計(jì)劃的可操作性。在計(jì)劃評(píng)估方案階段,要重點(diǎn)計(jì)劃好這些信息的收集,以避免因?yàn)闆]有收集到相關(guān)信息而無(wú)法進(jìn)行該方面的評(píng)估。比如,要做定量的干預(yù)成效評(píng)估,就要收集好前測(cè)信息,而不僅僅是后測(cè)信息;同時(shí),對(duì)那些因?yàn)闀r(shí)間、金錢、評(píng)估人員的能力、獲得信息能力的限制而無(wú)法評(píng)估的選項(xiàng),在開始階段即予以排除,從而避免收集到不完整信息而浪費(fèi)資源。
綜合考慮以上四個(gè)影響因素之后,要使評(píng)估的問(wèn)題具體化。Weiss列舉了幾個(gè)評(píng)估問(wèn)題的標(biāo)準(zhǔn),認(rèn)為一個(gè)好的評(píng)估計(jì)劃應(yīng)當(dāng)包含八個(gè)部分。第一,具體清晰的評(píng)估問(wèn)題。根據(jù)項(xiàng)目目的提出適當(dāng)?shù)脑u(píng)估問(wèn)題,確定評(píng)估是否涵蓋項(xiàng)目結(jié)果和過(guò)程。第二,評(píng)估主體。說(shuō)明誰(shuí)來(lái)評(píng)估以及為什么選擇他來(lái)評(píng)估。第三,適當(dāng)?shù)脑u(píng)估研究方法。定量、定性還是兩者兼有的混合方法?!斑m當(dāng)”意味著評(píng)估員使用選擇的評(píng)估方法可以準(zhǔn)確的回答評(píng)估問(wèn)題。例如想要收集各個(gè)家庭講述的成功故事,那么定量的方法就不是一個(gè)好的選擇,更合適的方法是通過(guò)定性方法(如訪談或焦點(diǎn)小組方法)來(lái)收集故事。第四,評(píng)估研究設(shè)計(jì)。即后測(cè)、前后測(cè)、前后測(cè)加對(duì)照組等。第五,定義指標(biāo)和數(shù)據(jù)收集方法。第六,解釋測(cè)試工具、問(wèn)卷及其信度和效度,如果利用焦點(diǎn)訪談小組的話還需要列出采訪提綱。第七,描述數(shù)據(jù)分析方法。第八,描述評(píng)估報(bào)告中包括哪些數(shù)據(jù)以及它們的用途。[14]
評(píng)估方案的制定是一個(gè)反復(fù)的過(guò)程。問(wèn)題、方法和數(shù)據(jù)源處在不斷互動(dòng)的過(guò)程之中。評(píng)估者需要在問(wèn)題、方法、數(shù)據(jù)來(lái)源之間循環(huán)思考。如果制定的評(píng)估問(wèn)題沒有辦法收集到必要的數(shù)據(jù),那就不得不修改或者放棄。
2. 評(píng)估方法選擇
干預(yù)項(xiàng)目為了更直觀地看到干預(yù)效果,通常要收集干預(yù)前及干預(yù)后的數(shù)據(jù),即前測(cè)和后測(cè)數(shù)據(jù)以及追蹤效果和比較效果的數(shù)據(jù)。因此,定量評(píng)估是其首選評(píng)估設(shè)計(jì)。定量評(píng)估收集數(shù)值化數(shù)據(jù),因而其結(jié)果分析會(huì)統(tǒng)計(jì)學(xué)化,即評(píng)估報(bào)告在很大程度上是對(duì)項(xiàng)目效果及影響因素的統(tǒng)計(jì)分析。定量方法有很多種類,但基本上都是通過(guò)標(biāo)準(zhǔn)化的手段進(jìn)行信息的收集。在設(shè)計(jì)層面上,干預(yù)項(xiàng)目通常會(huì)招募一組或多組對(duì)照組與實(shí)驗(yàn)組進(jìn)行比較。分析一組中相同參與者測(cè)試前和測(cè)試后增加或減少的水平,可使用配對(duì)樣本t檢驗(yàn)方法;若比較組間的差距,則可以使用獨(dú)立樣本t檢驗(yàn)方法。當(dāng)需要采用更為復(fù)雜的模型去分析效果的影響因素時(shí)定量方法也適用。
1.知識(shí)的形成過(guò)程。教材中多體現(xiàn)的是結(jié)論或結(jié)果,知識(shí)形成的過(guò)程很少體現(xiàn),思維型課堂要在傳授知識(shí)的過(guò)程中完成學(xué)生探究式學(xué)習(xí),以及知識(shí)的自主建構(gòu)。
定性評(píng)估致力于對(duì)項(xiàng)目的理解,而不是精確測(cè)量。定性評(píng)估趨向于通過(guò)對(duì)這個(gè)項(xiàng)目成型過(guò)程的詳細(xì)了解以及這些過(guò)程對(duì)參與者有著怎樣的影響來(lái)進(jìn)行評(píng)估,而不是統(tǒng)計(jì)化的比較。定量方法比定性方法呈現(xiàn)出更多的客觀數(shù)據(jù)。在定量評(píng)估中,評(píng)估者置身于項(xiàng)目背景之外,而不是受情境的影響變得個(gè)人化和情緒化。相比之下,定性評(píng)估更依賴場(chǎng)景,評(píng)估者自身就是測(cè)量工具。在定性評(píng)估中,由于沒有標(biāo)準(zhǔn)化工具和編碼技術(shù)的輔助,評(píng)估者只能靠自己的判斷來(lái)收集和整理數(shù)據(jù)。為了避免主觀個(gè)人化,評(píng)估員可以比較不同的信息來(lái)源、來(lái)訪者、會(huì)談時(shí)間等來(lái)證實(shí)或證偽某些發(fā)現(xiàn)和結(jié)論。
當(dāng)然這兩種方式也可以結(jié)合使用。例如,評(píng)估參與者對(duì)項(xiàng)目服務(wù)的滿意度這個(gè)問(wèn)題,定量設(shè)計(jì)可以采用滿意度量表評(píng)測(cè)給出描述性分析,定性設(shè)計(jì)則可以通過(guò)訪談來(lái)了解項(xiàng)目參與者的感受給出主題分析。兩者結(jié)合起來(lái)使用會(huì)對(duì)項(xiàng)目有更全面清晰的認(rèn)識(shí),這種結(jié)合了定量方法與定性方法的評(píng)估方法叫做“復(fù)合方法”(mixed methods)。國(guó)內(nèi)已經(jīng)有學(xué)者使用這種方法進(jìn)行社會(huì)工作項(xiàng)目的評(píng)估。比如劉江采用復(fù)合評(píng)估方法對(duì)SH市Y街道生活館服務(wù)進(jìn)行了評(píng)估,在評(píng)估過(guò)程中,他使用定性方法采訪受益案主形成項(xiàng)目取得成效的主要原因維度,在此基礎(chǔ)上編制結(jié)構(gòu)化問(wèn)卷,進(jìn)行定量數(shù)據(jù)收集,并通過(guò)統(tǒng)計(jì)方法建立效果及影響因素模型。[15]這是對(duì)定量和定性評(píng)估方法的靈活運(yùn)用,評(píng)估者不僅需要熟悉評(píng)估的目的和過(guò)程,還需要具備熟練的開發(fā)問(wèn)卷和建立模型的能力。
一般而言,干預(yù)項(xiàng)目評(píng)估的核心目的是為了評(píng)定項(xiàng)目的預(yù)期是否成功達(dá)成或者完成到了哪種程度,即了解解決服務(wù)對(duì)象問(wèn)題的效果如何,同時(shí)也會(huì)評(píng)估項(xiàng)目開展過(guò)程中的執(zhí)行情況,項(xiàng)目實(shí)施的效益情況。項(xiàng)目評(píng)估通??梢苑譃檫^(guò)程評(píng)估、結(jié)果評(píng)估、效果評(píng)估三個(gè)部分。
1. 過(guò)程評(píng)估
過(guò)程評(píng)估的主要目的是改進(jìn)實(shí)施的過(guò)程。過(guò)程評(píng)估關(guān)注正在發(fā)生的事情,基于發(fā)生的情況給出改進(jìn)的建議。項(xiàng)目的工作人員和管理人員使用較多。
過(guò)程評(píng)估關(guān)注兩個(gè)問(wèn)題。第一,社會(huì)服務(wù)項(xiàng)目?jī)?nèi)容是否符合服務(wù)對(duì)象的需求。要回答這個(gè)問(wèn)題,需要審查需求評(píng)估明確目標(biāo)人群的未滿足的需求是什么。而目標(biāo)人群的未滿足需求是項(xiàng)目存在和發(fā)展的理由。第二,項(xiàng)目是否按計(jì)劃執(zhí)行。這個(gè)問(wèn)題可以具體化為以下七個(gè)方面:一是否是目標(biāo)人群得到了服務(wù),而不是非計(jì)劃人群;二是具體有多少人得到了服務(wù),覆蓋面是否達(dá)到了目標(biāo)數(shù)字;三是計(jì)劃的活動(dòng)是否得到實(shí)施,包括如場(chǎng)地提供、資金募集、志愿者招募培訓(xùn)、活動(dòng)開發(fā)等;四是活動(dòng)是否按照計(jì)劃開展,要回答這個(gè)問(wèn)題需要將項(xiàng)目的實(shí)際實(shí)施操作與項(xiàng)目計(jì)劃相比較。這就要求項(xiàng)目計(jì)劃要有清晰的目標(biāo)人群、具體活動(dòng)和產(chǎn)出以及與項(xiàng)目計(jì)劃相一致的監(jiān)測(cè)系統(tǒng)。一個(gè)監(jiān)測(cè)系統(tǒng)可以簡(jiǎn)單得像一個(gè)Excel 擴(kuò)展表、流程圖或清單。當(dāng)目標(biāo)人群拒絕服務(wù)或項(xiàng)目與利益相關(guān)者之間存在價(jià)值沖突時(shí),項(xiàng)目無(wú)法按計(jì)劃實(shí)施。這些是在實(shí)施之前需要認(rèn)真考慮的主要外部因素。五是項(xiàng)目在多大程度上按照期望運(yùn)行,是否達(dá)到短期期望目標(biāo);六是案主對(duì)他們接受的服務(wù)項(xiàng)目是否滿意(案主的活動(dòng)感受、與社會(huì)工作者的關(guān)系);七是否有清晰的記錄、存檔。表1示例了過(guò)程評(píng)估中的典型問(wèn)題、考察指標(biāo)與數(shù)據(jù)收集和應(yīng)用情況。
表1 過(guò)程評(píng)估工作量表案例
在過(guò)程評(píng)估中,值得注意的是案主滿意度的評(píng)估。較高的滿意度可能反應(yīng)的是案主給予的社會(huì)性贊許,而未必就是真正的高滿意度。劉芳等人詳細(xì)論述了案主滿意度問(wèn)卷的發(fā)展過(guò)程以及應(yīng)用注意事項(xiàng)。[16]張弛等也指出,在社會(huì)工作項(xiàng)目評(píng)估中要注重案主的真實(shí)想法與感受,而不是只注重表面的滿意度評(píng)估。[11]
結(jié)果評(píng)估首先要明確評(píng)估的目的和核心評(píng)估問(wèn)題。結(jié)果評(píng)估著眼于項(xiàng)目實(shí)施后產(chǎn)生的結(jié)果,核心在于評(píng)估項(xiàng)目是否達(dá)到了其既定目標(biāo),檢驗(yàn)項(xiàng)目服務(wù)的價(jià)值和優(yōu)點(diǎn),進(jìn)而判斷項(xiàng)目是否成功執(zhí)行并值得推廣。
結(jié)果評(píng)估主要有兩種思路:一是績(jī)效評(píng)量。將結(jié)果與預(yù)先設(shè)定的基準(zhǔn)或者標(biāo)桿進(jìn)行比較,使用標(biāo)準(zhǔn)化的評(píng)估工具來(lái)開展評(píng)估。例如想要評(píng)價(jià)某區(qū)域的青少年就業(yè)率,可以將就業(yè)培訓(xùn)后的就業(yè)率與全市平均就業(yè)率比較(與基準(zhǔn)比較),或者與最高就業(yè)率的區(qū)域比較(與標(biāo)桿比較)。二是目標(biāo)導(dǎo)向。是否發(fā)生了項(xiàng)目預(yù)期目標(biāo)的改變,以及對(duì)案主個(gè)人和社會(huì)產(chǎn)生了深遠(yuǎn)影響。評(píng)估需要一個(gè)縱向的設(shè)計(jì)和跟進(jìn),將項(xiàng)目進(jìn)程中和結(jié)束后的結(jié)果與項(xiàng)目開始前的初始狀態(tài)相比較,或者將干預(yù)組與對(duì)照組進(jìn)行比較,看是否發(fā)生顯著性改善。如果有改善,那么這種積極的改善是否能夠持續(xù)以及能夠持續(xù)多久。評(píng)估的指標(biāo)可以是態(tài)度、知識(shí)、技能、行為、滿意度等。結(jié)果評(píng)估可以通過(guò)前后測(cè)比較、實(shí)驗(yàn)組與對(duì)照組比較、評(píng)估成果的持續(xù)時(shí)間等多種方法綜合來(lái)進(jìn)行。Owen提出了一套基于目標(biāo)導(dǎo)向的評(píng)估步驟:首先,確定服務(wù)要達(dá)成的目標(biāo);其次,確定實(shí)現(xiàn)服務(wù)目標(biāo)的方法;再次,選擇合適的評(píng)估(測(cè)量)工具;再次,進(jìn)行數(shù)據(jù)收集;最后,分析數(shù)據(jù)撰寫總結(jié)報(bào)告。[17]在實(shí)際評(píng)估工作中,將項(xiàng)目的目標(biāo)操作化成與既定結(jié)果有關(guān)的有效的測(cè)量指標(biāo)尤為重要,表2展示了在一個(gè)減肥項(xiàng)目中如何將評(píng)估問(wèn)題與評(píng)估指標(biāo)和數(shù)據(jù)收集鏈接在一起的示例。
評(píng)估是一個(gè)持續(xù)的、動(dòng)態(tài)的過(guò)程。根據(jù)接收到的信息,可以在項(xiàng)目實(shí)施過(guò)程中進(jìn)行更改或者調(diào)整。如果在實(shí)施過(guò)程中,預(yù)期和實(shí)際效果出現(xiàn)重要矛盾或者問(wèn)題,則機(jī)構(gòu)工作者需要反思的首要問(wèn)題是項(xiàng)目結(jié)果是否支持項(xiàng)目理論。項(xiàng)目理論即關(guān)于項(xiàng)目如何產(chǎn)生預(yù)期效果的說(shuō)明,[18]基于項(xiàng)目理論的干預(yù)服務(wù)又稱為以實(shí)證為基礎(chǔ)的服務(wù)(Evidencebased practice)。項(xiàng)目理論幫助厘清項(xiàng)目中“如果A那么B”鏈條。例如給案主提供了就業(yè)技能培訓(xùn),同時(shí)切實(shí)完成了培訓(xùn)計(jì)劃,那么案主就有更多的面試成功的機(jī)會(huì)。如果他們面試效果更好,那么他們就更可能找到符合自身興趣和能力的工作。如果他們找到了合適的工作,那么他們就更可能成為經(jīng)濟(jì)自給自足的人,考慮項(xiàng)目各環(huán)節(jié)之間的因果邏輯關(guān)系,干預(yù)的過(guò)程如何影響到了結(jié)果,進(jìn)而思考項(xiàng)目環(huán)節(jié)是否合理,是否需要調(diào)整干預(yù)方案。項(xiàng)目理論假設(shè)的驗(yàn)證和評(píng)估,有助于破解項(xiàng)目成功的內(nèi)在機(jī)制暗箱,梳理相關(guān)變化的因果鏈,明確項(xiàng)目中影響結(jié)果實(shí)現(xiàn)的一系列中間環(huán)節(jié),深刻認(rèn)識(shí)項(xiàng)目運(yùn)行機(jī)制。在清楚首要問(wèn)題后,還可以考慮以下一些問(wèn)題:是否應(yīng)該改變案主的投入(也就是是否需要從案主方面分析)?有哪些必要的資源可以使項(xiàng)目更成功?服務(wù)單元是否需要增加或者減少?是否需要調(diào)整效果指標(biāo)使其現(xiàn)實(shí)得更好?等等。在進(jìn)行以上分析后,一個(gè)更新迭代的項(xiàng)目設(shè)計(jì)和實(shí)施計(jì)劃就會(huì)浮現(xiàn),并具備了更大的成功可能性。
表2 結(jié)果評(píng)估工作表案例
3. 效益評(píng)估
社會(huì)服務(wù)機(jī)構(gòu)項(xiàng)目可以分解為投入(inputs)、項(xiàng)目活動(dòng)(activities)、產(chǎn)出(outputs)和結(jié)果(outcomes)四個(gè)組成部分。[19]投入包括案主投入和機(jī)構(gòu)投入,活動(dòng)指的是機(jī)構(gòu)提供給案主的干預(yù)過(guò)程,產(chǎn)出指案主實(shí)際上接受的服務(wù)或者干預(yù)(如就業(yè)指導(dǎo)培訓(xùn)次數(shù)),結(jié)果指由干預(yù)而發(fā)生的積極改變。效益評(píng)估關(guān)注項(xiàng)目的效益即項(xiàng)目投入和產(chǎn)出、結(jié)果的比。效益評(píng)估包括四點(diǎn)。第一,項(xiàng)目結(jié)果是否達(dá)到期望目標(biāo)。第二,該項(xiàng)目的資源是否都被合理利用,是否能以更少的成本/更少的資源來(lái)實(shí)現(xiàn)類似的結(jié)果。第三,比較兩個(gè)或多個(gè)服務(wù)于相同人群有著相同目標(biāo)的項(xiàng)目,看取得同樣結(jié)果哪個(gè)項(xiàng)目所用資源最為節(jié)約。第四,和其他競(jìng)爭(zhēng)項(xiàng)目相比較。效益評(píng)估基于對(duì)被評(píng)價(jià)的社會(huì)服務(wù)項(xiàng)目的投入、活動(dòng)、產(chǎn)出和結(jié)果有全面、系統(tǒng)、清晰的認(rèn)知,在此基礎(chǔ)上通過(guò)分析對(duì)比考慮項(xiàng)目是否可以優(yōu)化。
表3以促進(jìn)就業(yè)項(xiàng)目為例進(jìn)行了項(xiàng)目效益評(píng)估分析,主要考察效益評(píng)估中的第一項(xiàng)項(xiàng)目結(jié)果是否達(dá)到期望目標(biāo),具體來(lái)說(shuō)即前期投入是否能夠達(dá)成所期待的短期、中期和長(zhǎng)期效果。其中,投入、活動(dòng)和產(chǎn)出部分是項(xiàng)目的效率評(píng)估,而從投入到取得的短期效果、中期效果和長(zhǎng)期效果為項(xiàng)目的結(jié)果部分則是其效能的評(píng)估。評(píng)估的目標(biāo)是從項(xiàng)目設(shè)計(jì)和落實(shí)的情況,以及后期達(dá)成的效果方面來(lái)評(píng)估項(xiàng)目的效率和效能情況。
表3 效果評(píng)估工作表案例
以此表格的結(jié)構(gòu)為框架,評(píng)估者可以比較項(xiàng)目目標(biāo)和服務(wù)群體一致的不同項(xiàng)目,對(duì)比其投入與產(chǎn)出,以及投入與效果,來(lái)比較評(píng)估不同項(xiàng)目實(shí)際取得的效益。在此需要注意的是,比較評(píng)估時(shí)一定是項(xiàng)目目標(biāo)和服務(wù)人群都具有可比較性,不具備可比較性的評(píng)估會(huì)有失公允,且對(duì)項(xiàng)目具有破壞性。
綜上所述,社會(huì)工作干預(yù)項(xiàng)目評(píng)估的過(guò)程可以歸納為社會(huì)工作干預(yù)項(xiàng)目評(píng)估模型(見圖1)。干預(yù)項(xiàng)目評(píng)估的目的不僅要考察項(xiàng)目的中短期服務(wù)效果,更要促進(jìn)項(xiàng)目當(dāng)期以及后續(xù)的改進(jìn)提升。因此,過(guò)程評(píng)估提供了同期的執(zhí)行反饋,以利于項(xiàng)目執(zhí)行中的調(diào)整與再設(shè)計(jì);結(jié)果評(píng)估則為項(xiàng)目的推廣與復(fù)制提供有效建議;效益評(píng)估又為項(xiàng)母設(shè)計(jì)和執(zhí)行方提供反饋,并為出資方和組織方的后續(xù)選擇提供建議。
圖1 社會(huì)工作干預(yù)項(xiàng)目評(píng)估模型
社會(huì)工作在我國(guó)處在發(fā)展階段,在注重實(shí)務(wù)研究的同時(shí),也應(yīng)該建構(gòu)相應(yīng)的評(píng)估體系。目前社會(huì)工作評(píng)估已經(jīng)逐步專業(yè)化,并正朝向職業(yè)化發(fā)展。相關(guān)人士翻譯出版或本土出版了很多專業(yè)書籍介紹社會(huì)工作評(píng)估的理論和方法,同時(shí)在社會(huì)工作發(fā)展較快的城市也出現(xiàn)了職業(yè)評(píng)估機(jī)構(gòu)和評(píng)估專家。然而,目前使用的評(píng)估方法用于所有評(píng)估項(xiàng)目,或者說(shuō)所有評(píng)估項(xiàng)目都使用了同樣的評(píng)估方法,欠缺針對(duì)不同類型服務(wù)的評(píng)估體系的建構(gòu)。隨著評(píng)估者專業(yè)素質(zhì)和評(píng)估經(jīng)驗(yàn)的積累,社會(huì)工作評(píng)估也應(yīng)該向細(xì)分評(píng)估轉(zhuǎn)化,即對(duì)不同類別的服務(wù)機(jī)構(gòu)適用該類別服務(wù)的評(píng)估體系,做到細(xì)分服務(wù)領(lǐng)域的評(píng)估。細(xì)分評(píng)估可以著重評(píng)估該服務(wù)領(lǐng)域所側(cè)重的考核目標(biāo),并總結(jié)該類型項(xiàng)目評(píng)估中通常會(huì)遇到的問(wèn)題,有效的處理方法,以及如何預(yù)防這些問(wèn)題等。這樣的細(xì)分評(píng)估體系會(huì)對(duì)特定類型的社會(huì)工作服務(wù)項(xiàng)目更有指導(dǎo)性意義。
本文意在拋磚引玉,期望社會(huì)工作評(píng)估朝向?qū)I(yè)化、職業(yè)化、細(xì)分化的方向發(fā)展,并逐步健全評(píng)估體系,嚴(yán)格設(shè)計(jì)評(píng)估程序,完善評(píng)估內(nèi)容,以實(shí)現(xiàn)社會(huì)工作評(píng)估績(jī)效考核和專業(yè)成長(zhǎng)的雙重目標(biāo)。[20]