連接評(píng)估與決策：現(xiàn)實(shí)主義評(píng)估的理論、方法與評(píng)析

楊代福 陳雪晴

(重慶大學(xué)公共管理學(xué)院,重慶 400044)

西方政策評(píng)估理論和方法在20世紀(jì)60年代專業(yè)化以來(lái)，作為因果關(guān)系的“金標(biāo)準(zhǔn)”，隨機(jī)對(duì)照實(shí)驗(yàn)、準(zhǔn)實(shí)驗(yàn)等方法限制了對(duì)背景敏感的結(jié)論的得出；系統(tǒng)評(píng)論和薈萃分析雖然有利于評(píng)估結(jié)果的綜合，但仍存在著大量的“簡(jiǎn)化與模糊”問(wèn)題。在西方評(píng)估界，一些學(xué)者開始開發(fā)解決這一難題的方法——現(xiàn)實(shí)主義評(píng)估(Realist Evaluation)。自1997年其被英國(guó)學(xué)者雷·波森(Ray Pawson)提出以來(lái)，其已在西方學(xué)界得到了廣泛的傳播。然而，目前國(guó)內(nèi)學(xué)界對(duì)這種理論和方法的了解和把握還不夠。因此，本文試圖基于西方相關(guān)文獻(xiàn)，對(duì)現(xiàn)實(shí)主義評(píng)估的理論和方法進(jìn)行系統(tǒng)、全面的梳理，并對(duì)其貢獻(xiàn)、意義、不足等進(jìn)行評(píng)析，希冀為我國(guó)政策評(píng)估理論研究和實(shí)踐開展提供參考。

1 現(xiàn)實(shí)主義評(píng)估的意涵

現(xiàn)實(shí)主義評(píng)估是一種理論驅(qū)動(dòng)的評(píng)估模型或方法。其評(píng)估重點(diǎn)從“政策的效果是什么”(What works?)走向“在什么環(huán)境下，政策如何或?yàn)槭裁匆约皩?duì)誰(shuí)有效？(How or why does this work, for whom, in what circumstances?)”它從闡明“項(xiàng)目理論”開始，到進(jìn)一步理解政策或項(xiàng)目運(yùn)作的機(jī)制、運(yùn)作的環(huán)境以及如果按預(yù)期運(yùn)作將觀察到的結(jié)果，以探究在特定環(huán)境下各種政策運(yùn)行成功或失敗背后的邏輯。

2 現(xiàn)實(shí)主義評(píng)估的要素與邏輯

由于現(xiàn)實(shí)主義評(píng)估認(rèn)為項(xiàng)目是在復(fù)雜的社會(huì)現(xiàn)實(shí)背景中進(jìn)行的復(fù)雜的社會(huì)互動(dòng)，于是現(xiàn)實(shí)主義評(píng)估設(shè)計(jì)了科學(xué)的框架對(duì)項(xiàng)目進(jìn)行評(píng)估。其中“機(jī)制”(Mechanisms，簡(jiǎn)稱M)、“背景”(context，簡(jiǎn)稱C)、“結(jié)果模式”(Outcome Patterns，簡(jiǎn)稱O)是現(xiàn)實(shí)主義評(píng)估的三個(gè)要素，而情境—機(jī)制—結(jié)果模式結(jié)構(gòu)(Context-Mechanism-Outcome Pattern Configurations，簡(jiǎn)稱CMOCs)則是現(xiàn)實(shí)主義評(píng)估的根本邏輯。

2.1 機(jī)制

現(xiàn)實(shí)主義者認(rèn)為，“機(jī)制”是指潛在的因果過(guò)程，它解釋了項(xiàng)目運(yùn)作中的“因果力量”。機(jī)制具有客觀存在性、必然存在性、潛在性等特點(diǎn)。客觀存在性是指機(jī)制如同現(xiàn)實(shí)中的物體或事物一樣獨(dú)立于主體之外而存在；必然存在性是指機(jī)制存在于事物本身的結(jié)構(gòu)內(nèi)或存在于事物與事物之間所組成的結(jié)構(gòu)中，其作為事物的真實(shí)本質(zhì)而必然存在；潛在性指機(jī)制作為深層的結(jié)構(gòu)性因素，往往難以通過(guò)觀察而立即得到發(fā)掘。

2.2 背景

背景指項(xiàng)目運(yùn)行的社會(huì)環(huán)境或環(huán)境的某些方面。理想情況下，背景應(yīng)包括有關(guān)結(jié)構(gòu)、文化、能動(dòng)性以及關(guān)系等方面的信息。其中，結(jié)構(gòu)(或制度結(jié)構(gòu))是指一組內(nèi)部相關(guān)的對(duì)象(可能是物質(zhì)資源)和實(shí)踐，它代表著利益的領(lǐng)域。文化代表主體間性的領(lǐng)域，處理“人與人之間觀念的相互影響問(wèn)題”。能動(dòng)性意指?jìng)€(gè)體通過(guò)自由意志學(xué)習(xí)使用自己能力的一種狀態(tài)，在社會(huì)結(jié)構(gòu)中，它被稱為進(jìn)入指定的位置或地位以從事所擔(dān)任的社會(huì)地位所指定的活動(dòng)。關(guān)系則指事物之間相互作用、相互影響的狀態(tài)，社會(huì)存在是由關(guān)系構(gòu)成的，社會(huì)行為是以關(guān)系為前提的。

2.3 結(jié)果模式

結(jié)果模式是指政策或項(xiàng)目產(chǎn)生的效果。結(jié)果可以依據(jù)不同的標(biāo)準(zhǔn)進(jìn)行分類，比如從時(shí)間維度來(lái)看，可以分為短期結(jié)果、中期結(jié)果和長(zhǎng)期結(jié)果；從結(jié)果的好壞來(lái)看，可以分為積極結(jié)果和消極結(jié)果；從政策或項(xiàng)目影響的目標(biāo)群體來(lái)看，可以劃分為對(duì)各個(gè)不同群體的結(jié)果；從政策或項(xiàng)目影響的區(qū)域來(lái)看，可以劃分為對(duì)各個(gè)不同區(qū)域的結(jié)果；從政策設(shè)計(jì)者的預(yù)期來(lái)看，可以分為預(yù)期結(jié)果和非預(yù)期結(jié)果?？疾焓裁唇Y(jié)果，取決于評(píng)估的目的和問(wèn)題。

2.4 背景—機(jī)制—結(jié)果模式結(jié)構(gòu)

現(xiàn)實(shí)主義評(píng)估認(rèn)為，“機(jī)制之所以重要是因?yàn)樗鼈儺a(chǎn)生了結(jié)果，而背景之所以重要是因?yàn)樗淖兞隧?xiàng)目產(chǎn)生結(jié)果的過(guò)程。因此，必須系統(tǒng)地研究背景和機(jī)制以及項(xiàng)目的結(jié)果。”將背景、機(jī)制和結(jié)果模式聯(lián)系在一起，便形成了背景—機(jī)制—結(jié)果模式結(jié)構(gòu)。這一結(jié)構(gòu)表明在項(xiàng)目的生命周期中，背景如何激活其中的機(jī)制，最終導(dǎo)致結(jié)果的改變。這一“結(jié)構(gòu)”方法將機(jī)制變化和相關(guān)背景變化結(jié)合起來(lái)預(yù)測(cè)和解釋結(jié)果的變化。因此，背景—機(jī)制—結(jié)果模式結(jié)構(gòu)便成為了現(xiàn)實(shí)主義評(píng)估的根本邏輯。

3 現(xiàn)實(shí)主義評(píng)估的操作程序

雖然現(xiàn)實(shí)主義評(píng)估被應(yīng)用在越來(lái)越多的領(lǐng)域，但是由于對(duì)現(xiàn)實(shí)主義評(píng)估的相關(guān)理論和概念難以把握以及缺乏統(tǒng)一的規(guī)范，現(xiàn)實(shí)主義評(píng)估的操作困難依然是評(píng)估者面臨的一大突出問(wèn)題。本文通過(guò)對(duì)國(guó)內(nèi)外現(xiàn)實(shí)主義評(píng)估的實(shí)證論文與規(guī)范報(bào)告進(jìn)行閱讀，試圖梳理現(xiàn)實(shí)主義評(píng)估的操作程序。

3.1 提出初始項(xiàng)目理論

如前所述，項(xiàng)目理論是項(xiàng)目設(shè)計(jì)者如何期望項(xiàng)目達(dá)到其目標(biāo)的理論和設(shè)想，或者說(shuō)是特定項(xiàng)目活動(dòng)和特定結(jié)果之間的因果關(guān)系的假設(shè)?；诂F(xiàn)實(shí)主義哲學(xué)的認(rèn)識(shí)論和“基于理論的評(píng)估”的邏輯，設(shè)定初始項(xiàng)目理論是現(xiàn)實(shí)主義評(píng)估最初始以及最基礎(chǔ)的一步。提出初始項(xiàng)目理論共包含三塊內(nèi)容：第一、開發(fā)初始項(xiàng)目理論；第二、描述初始項(xiàng)目理論；第三、提出CMOCs假設(shè)。

就開發(fā)初始項(xiàng)目理論的方法而言，可以通過(guò)文獻(xiàn)評(píng)論、項(xiàng)目文件審查、與關(guān)鍵線人的訪談和/或焦點(diǎn)小組訪談、評(píng)估團(tuán)隊(duì)的頭腦風(fēng)暴、專家咨詢等方法來(lái)開發(fā)、識(shí)別和篩選初始項(xiàng)目理論。在確定初始項(xiàng)目理論后，就需要對(duì)其進(jìn)行描述。各項(xiàng)目理論之間可能也有某些聯(lián)系(如包含關(guān)系、因果關(guān)系、前后關(guān)系等)，這些聯(lián)系也需要描述出來(lái)，可以運(yùn)用因果關(guān)系圖來(lái)進(jìn)行描述。之后則是基于初始項(xiàng)目理論的每個(gè)元素提出CMOCs假設(shè)，并根據(jù)所涉及的每種參與者類型進(jìn)行調(diào)整。如前所述，項(xiàng)目理論具有半規(guī)則性，因而需要通過(guò)提出CMOCs假設(shè)對(duì)項(xiàng)目理論進(jìn)行進(jìn)一步地具體化。它往往圍繞項(xiàng)目在特定的情境下、針對(duì)特定的人會(huì)產(chǎn)生什么樣的后果展開。

3.2 提出評(píng)估目的、評(píng)估問(wèn)題以及評(píng)估重點(diǎn)

該程序共分為四步：第一步是確定此次評(píng)估的目的；第二步是依據(jù)項(xiàng)目理論和評(píng)估目的，確定評(píng)估的問(wèn)題；第三步是依據(jù)項(xiàng)目理論和評(píng)估目的，確定評(píng)估的問(wèn)題的優(yōu)先順序；最后一步是篩選出有限個(gè)CMOCs假設(shè)。

首先，現(xiàn)實(shí)主義評(píng)估的評(píng)估目的也有獨(dú)特的要求，即解釋(如何和為什么產(chǎn)生結(jié)果)而不僅僅是描述結(jié)果?，F(xiàn)實(shí)主義的評(píng)估要回答的問(wèn)題是結(jié)構(gòu)性問(wèn)題，而非傳統(tǒng)的價(jià)值、相關(guān)性、有效性、效率和可持續(xù)性問(wèn)題(如項(xiàng)目實(shí)施完成度、對(duì)不同人群的效益、成本效益、影響、可持續(xù)性等)。其內(nèi)容主要包含“什么是有效的、如何起作用、為什么起作用、對(duì)誰(shuí)起作用、在什么程度上、在什么情況下、在什么方面起作用”。

評(píng)估的問(wèn)題也有優(yōu)先順序。依據(jù)評(píng)估目的，在確定評(píng)估的需求和范圍后，確定關(guān)鍵機(jī)制或主機(jī)制。主機(jī)制可能是觸發(fā)其他機(jī)制的前提條件，也可能是對(duì)結(jié)果影響最大的機(jī)制，因而依據(jù)主要機(jī)制提出的問(wèn)題往往為優(yōu)先問(wèn)題。在確定評(píng)估目的、評(píng)估問(wèn)題以及評(píng)估重點(diǎn)后，就需要針對(duì)以上內(nèi)容，提出相應(yīng)的CMOCs假設(shè)，其以背景—機(jī)制—結(jié)果的表述方式展開。最后則需要針對(duì)前面確定的特定目的和問(wèn)題來(lái)篩選出最符合評(píng)估要求的CMOCs假設(shè)。

3.3 資料收集

現(xiàn)實(shí)主義評(píng)估的資料收集主要包括兩步：首先依據(jù)已篩選出的CMOCs假設(shè)，收集與項(xiàng)目相關(guān)的各種背景、機(jī)制和結(jié)果的數(shù)據(jù)；第二步，收集除CMOCs假設(shè)外的數(shù)據(jù)。

進(jìn)行數(shù)據(jù)收集時(shí)，要先從結(jié)果測(cè)量開始，之后再收集機(jī)制和背景的數(shù)據(jù)?，F(xiàn)實(shí)主義評(píng)估的思路是一個(gè)逆推的過(guò)程，即它企圖研究的并非政策的實(shí)際效果，而是探究產(chǎn)生這一效果背后的機(jī)制與理論。之后需要收集機(jī)制和背景的數(shù)據(jù)，可采用的方法包括文獻(xiàn)法(研究文獻(xiàn)、政府文件、統(tǒng)計(jì)數(shù)據(jù)、相關(guān)部門已有數(shù)據(jù))、問(wèn)卷法、深度訪談和焦點(diǎn)小組訪談。第二步就是要收集除CMOCs假設(shè)外的數(shù)據(jù)。由于在之前的項(xiàng)目理論提出階段，可能會(huì)遺漏或忽視某些項(xiàng)目理論，同時(shí)在已選擇的項(xiàng)目理論中也可能存在對(duì)CMOCs假設(shè)存在遺漏的狀況，因而通過(guò)采用開放和自由的半結(jié)構(gòu)化訪談等方法進(jìn)一步收集數(shù)據(jù)，以幫助評(píng)估人員尋找之前未被納入到評(píng)估范圍內(nèi)的CMOCs假設(shè)，從而使評(píng)估結(jié)果更加完善。

3.4 資料分析

與所有解釋性案例研究類似，現(xiàn)實(shí)主義評(píng)估收集和分析多個(gè)數(shù)據(jù)源，并根據(jù)這些數(shù)據(jù)源構(gòu)建一個(gè)連貫合理的關(guān)于關(guān)鍵事件和行動(dòng)及其預(yù)期和非預(yù)期后果的敘述。

首先，分析數(shù)據(jù)的重點(diǎn)是推斷數(shù)據(jù)在特定分析中是否作為情境、機(jī)制或結(jié)果發(fā)揮作用。其次，就分析方法而言，現(xiàn)實(shí)主義采用的方法包括人工分析(需要具有分類、開放式編碼、軸心式編碼以及撰寫備忘錄等定性分析技能)和運(yùn)用軟件(如NVivo)分析。最后，就整個(gè)過(guò)程而言，現(xiàn)實(shí)主義評(píng)估的分析過(guò)程是迭代進(jìn)行的，即在分析過(guò)程中，分析會(huì)在資料與理論間來(lái)回移動(dòng)。項(xiàng)目嵌入在復(fù)雜的環(huán)境中，環(huán)境的不斷變化也將對(duì)機(jī)制的運(yùn)轉(zhuǎn)產(chǎn)生影響，如果不通過(guò)回環(huán)往復(fù)地分析驗(yàn)證，則很難確定是否是特定的背景或機(jī)制導(dǎo)致了該結(jié)果。

3.5 得出評(píng)估結(jié)論

最后，得出評(píng)估結(jié)果。進(jìn)一步發(fā)展、測(cè)試或完善項(xiàng)目理論并為項(xiàng)目的相關(guān)決策提供證據(jù)和建議。其一，需要報(bào)告得到的實(shí)際CMOCs是怎樣的，并論證其聯(lián)系和提供支撐材料。分析結(jié)果也將被分類(針對(duì)誰(shuí)、在什么情況下)，并解釋差異。其二，需要評(píng)述得到的CMOCs是否支持、駁斥或發(fā)展了初始項(xiàng)目理論。將得到的實(shí)際CMOCs與之前提出的CMOCs假設(shè)和初始項(xiàng)目理論對(duì)照，判斷是否支持、駁斥或發(fā)展了初始項(xiàng)目理論。還需注意挖掘此前沒(méi)有發(fā)現(xiàn)、新產(chǎn)生的以及沒(méi)有考慮到的機(jī)制。其三，如果支持、駁斥或發(fā)展了初始項(xiàng)目理論，則要思考會(huì)形成或發(fā)展成怎樣的現(xiàn)實(shí)主義項(xiàng)目理論？要形成項(xiàng)目“在什么環(huán)境下，如何或?yàn)槭裁匆约皩?duì)誰(shuí)有效？”的更準(zhǔn)確的、更精細(xì)的認(rèn)識(shí)。其四，需要對(duì)決策者提出建議?，F(xiàn)實(shí)主義評(píng)估除了獲得現(xiàn)實(shí)主義項(xiàng)目理論之外，還需要進(jìn)一步地向決策者提出建議。當(dāng)現(xiàn)有項(xiàng)目績(jī)效不佳或者績(jī)效沒(méi)有充分地發(fā)揮，可提出修改或調(diào)整現(xiàn)有項(xiàng)目的建議。

4 評(píng)析與啟示

4.1 現(xiàn)實(shí)主義評(píng)估的意義與局限

首先，現(xiàn)實(shí)主義評(píng)估具有重要的意義。一是現(xiàn)實(shí)主義評(píng)估可為決策者提供預(yù)測(cè)性和可移植性信息?，F(xiàn)實(shí)主義評(píng)估試圖通過(guò)了解“什么對(duì)誰(shuí)有效”“特定項(xiàng)目在哪些情況下有效和無(wú)效”以及“什么項(xiàng)目在什么背景下觸發(fā)什么機(jī)制”來(lái)為決策者提供信息。這些理解可以為在什么背景下采用哪些政策、如何完善政策以提高其效力以及如何使政策適應(yīng)新的背景等決策提供信息，這種理論構(gòu)建有助于克服傳統(tǒng)案例研究的低外部有效性和低解釋力等局限性。

其次，現(xiàn)實(shí)主義評(píng)估仍然存在一定的局限。一方面，現(xiàn)實(shí)主義評(píng)估的基本理論還有待完善。比如，對(duì)某些關(guān)鍵概念的定義還顯得過(guò)于籠統(tǒng)。有學(xué)者指出背景和機(jī)制的內(nèi)涵和外延就存在含糊和不具體，這使得在數(shù)據(jù)中很難區(qū)分兩者。另一方面，現(xiàn)實(shí)主義評(píng)估的操作也還需要改進(jìn)。因?yàn)閺?fù)雜項(xiàng)目往往由多種干預(yù)措施組成、在多個(gè)站點(diǎn)實(shí)施、并存在多種項(xiàng)目結(jié)果，因此對(duì)這種項(xiàng)目進(jìn)行現(xiàn)實(shí)主義評(píng)估將變得異常復(fù)雜。

4.2 現(xiàn)實(shí)主義評(píng)估對(duì)我國(guó)政策評(píng)估的啟示

目前我國(guó)政策評(píng)估的理論與方法體系建設(shè)還比較滯后，有學(xué)者指出：“目前我國(guó)仍然未形成一套成熟、完善的政策評(píng)估理論和方法體系，這無(wú)疑在很大程度上制約了政策評(píng)估的科學(xué)化程度和規(guī)范化水平，使政策評(píng)估缺乏科學(xué)、系統(tǒng)的理論指導(dǎo)，在實(shí)踐中具有較大的盲目性?！币虼私梃b和吸收現(xiàn)實(shí)主義評(píng)估理論與方法，有利于夯實(shí)我國(guó)政策評(píng)估理論和方法的基礎(chǔ)。

其次，現(xiàn)實(shí)主義評(píng)估可為我國(guó)政策評(píng)估使用、連接評(píng)估和決策提供有益的借鑒。在理論層面上，當(dāng)前我國(guó)的評(píng)估研究極少關(guān)注評(píng)估結(jié)果的使用問(wèn)題，即雖然注重遵循科學(xué)的標(biāo)準(zhǔn)，探索如何取得準(zhǔn)確、客觀、全面的評(píng)估結(jié)果，但忽視了應(yīng)讓評(píng)估結(jié)果得到?jīng)Q策者或利益相關(guān)者及時(shí)、有效地使用以及發(fā)揮更大的社會(huì)影響的機(jī)理。在實(shí)踐層面上，在政策擴(kuò)散中，一些地方?jīng)Q策者常常遵循“模仿”和“跟風(fēng)”的邏輯，缺乏對(duì)政策創(chuàng)新的特定背景和機(jī)制的考察，致使政策采納出現(xiàn)負(fù)效應(yīng)。現(xiàn)實(shí)主義評(píng)估主張進(jìn)一步理解政策運(yùn)作的機(jī)制、運(yùn)作的環(huán)境，探究在特定環(huán)境下各種政策運(yùn)行成功或失敗背后的邏輯，促進(jìn)了評(píng)估結(jié)果的更好使用。這為探究我國(guó)政策試點(diǎn)背后的深度邏輯和機(jī)制并將其轉(zhuǎn)化為可推廣性的證據(jù)提供了可行的途徑。