聶景春 高秋風 楊 潔 關(guān)宏宇 蔡建華
(1. 陜西師范大學教育實驗經(jīng)濟研究所,西安,710119;2. 國家衛(wèi)生健康委干部培訓中心,北京,100024)
教育領(lǐng)域有許多發(fā)展目標,而實現(xiàn)這些目標有眾多相互競爭的政策或干預措施。例如,要提高學生學業(yè)表現(xiàn),可以通過矯正學生的視力、降低學生缺鐵性貧血發(fā)生率、為教師提供激勵、為學校提供計算機輔助學習等;而提高入學率則可以通過改善學生心理健康、通過有條件的轉(zhuǎn)移支付進行激勵、提供助學貸款信息等(Zhang et al.,2012;Miller et al.,2012;Kleiman-Weiner et al.,2013;Mo et al.,2013;Ma et al.,2014;Lai et al.,2015;Luo et al.,2020;Nie et al.,2020)。隨機干預實驗的影響評估分析表明,部分干預或政策對于實現(xiàn)上述目標是無效的,而部分干預或政策則存在顯著效果。無效的干預可以很容易被排除在政策選擇之外。但對于同樣有效的多種干預方式,應(yīng)當如何選擇呢?社會資源畢竟是有限的,政策實施必定需要有優(yōu)先順序,那么應(yīng)當優(yōu)先實施哪些干預政策呢?是否僅依據(jù)干預效果的大小進行判斷呢?例如,在美國和拉丁美洲一些國家進行的研究發(fā)現(xiàn),減小班級規(guī)模能夠有效提升學生學業(yè)表現(xiàn),且這一干預方式可能相對于其他干預方式影響效果更大,但同時這一項目的成本也是巨大的(花費可能高達上千萬美元),遠高于其他干預項目。此時應(yīng)當如何選擇呢?此外,社會政策在進行預算時,也需要明確要實現(xiàn)既定的目標所需要的投入是多少。這表明,即便使用隨機干預實驗方法對干預措施的凈影響效果進行了評估,但仍然不能直接將其轉(zhuǎn)化為社會政策。在選擇社會政策時,需要將項目的影響效果大小與實現(xiàn)這些影響效果所需的成本權(quán)衡考慮。
當項目結(jié)果是非貨幣性指標時,成本效益分析是進行項目評價、對比的重要方法。在經(jīng)濟領(lǐng)域的項目評估中,項目收益通常是貨幣化的(例如營業(yè)利潤、現(xiàn)金流),因此成本收益分析(Cost Benefit Analysis,CBA)是衡量項目成敗的重要方法 (Siegel et al.,1996;Levin & McEwan,2001;Drummond et al.,2005;)。成本收益分析是評估項目的綜合指標,它使不同類型的項目可以對比,從而幫助決策者選擇出更符合經(jīng)濟利益的項目。但與經(jīng)濟領(lǐng)域不同,眾多社會項目的結(jié)果難以用貨幣進行衡量。例如,世界銀行眾多發(fā)展項目的目標是改善婦女地位、改善兒童入學率、降低嬰幼兒死亡率等。這些項目目標難以簡單地進行貨幣化度量。盡管可以嘗試將這些目標轉(zhuǎn)化為能以貨幣衡量的指標,例如,根據(jù)人的生命價值,將死亡率的改變換算為貨幣價值,但這種轉(zhuǎn)換通常面臨諸多挑戰(zhàn)和困難(Anand & Hanson,1997)。
此時,成本效益分析(Cost Effectiveness Analysis,CEA)是成本收益分析的可行替代方法(Dhaliwal et al.,2013;Evans & Popova,2016)。多項干預的目標可能是一致的。例如,在教育領(lǐng)域中,研究者可能都關(guān)注學生的學業(yè)表現(xiàn)。成本效益分析可以計算不同干預措施使學生學業(yè)表現(xiàn)提高一個單位所需要的成本,從而能夠選出成本最低的(即最具有成本效益的)干預方式。教育領(lǐng)域隨機干預實驗研究方法使用的增多,一方面為成本效益分析提供了條件,使得成本和效益均可得到相比于其他方法更精確的估算;另一方面,也為成本效益分析提出了需求。越來越多潛在有效的干預措施的發(fā)現(xiàn),要求建立更有效的政策選擇機制。但成本效益分析面臨著諸多困難和挑戰(zhàn),例如,如何使不同項目的成本核算具有可比性、影響效果如何選擇,等等。要使成本效益分析真正發(fā)揮作用,必須建立相對規(guī)范的、可比的成本效益分析方法(Dhaliwal et al.,2013;Evans & Popova,2016)。
本文將聚焦隨機干預實驗,對成本效益分析方法進行梳理、總結(jié),并應(yīng)用具體案例展示單個項目成本效益計算及多個項目成本效益對比的方法。本文第二節(jié)將對成本效益分析相關(guān)基本概念、具體方法及操作中的基本原則進行說明,包括成本核算方法、效益核算方法等。計算出每個項目的成本效益值是對比分析的前提,因此第三節(jié)將運用具體案例展示單個項目成本效益計算的具體過程。相對于計算出成本效益值,將差異巨大的干預項目進行成本效益對比面臨著更多、更復雜的問題,因此第四節(jié)將分別匯總國內(nèi)及國外教育領(lǐng)域已經(jīng)開展的隨機干預實驗項目,討論將不同地區(qū)、不同年份等有較大差異的眾多干預項目匯總起來進行成本效益對比分析時面臨的具體問題及處理方法。第五節(jié)將進行總結(jié)和討論,主要討論在中國開展成本效益分析的一些經(jīng)驗和啟示。
成本效益分析,指計算實現(xiàn)單位“效益”(在隨機干預實驗的評估中也稱之為“影響效果”)所需要的成本,或單位成本可實現(xiàn)的“效益”。因此,可以有兩種計算方法:(1)成本/影響效果(Cost/Effectiveness,C/E),表示實現(xiàn)每單位的影響效果需要多少成本;(2)影響效果/成本(E/C),表示每單位的成本(例如每100 美元)可以得到多少影響效果。通常第二種計算方式使用更多(Dhaliwal et al.,2013;Evans &Popova,2016)。因此,“成本效益高(Cost-Effective)”通常指每單位的成本可以實現(xiàn)更大的影響效果,更值得優(yōu)先選擇。
在隨機干預實驗中,成本效益可表示為:
成本效益=(干預組結(jié)果變量均值 - 控制組結(jié)果變量均值)/(干預組成本 - 控制組成本)(1)
通過成本效益分析可以更直觀地對評估項目進行比較。成本效益分析有兩方面作用:(1)成本效益分析是對項目的綜合評價。項目本身可能非常復雜,但成本效益可以對項目成果進行簡潔、明了的概括,是一項重要的綜合評價指標。(2)可以對不同年份、不同地區(qū)、不同類型的項目成果進行比較。干預項目千差萬別,如實施年份不同、地區(qū)不同、執(zhí)行人員不同、干預內(nèi)容不同、接受對象不同等,但只要項目目標一致,均可通過成本效益分析進行對比,這大大提高了項目之間的可比性。正確的成本效益分析,可以幫助決策者(例如發(fā)展中國家的政府部門、國際發(fā)展公益組織等)對比不同項目,為優(yōu)先投資哪些項目、優(yōu)先將有限資源分配給哪些項目提供決策參考(McEwan,2012;Dhaliwal et al.,2013;Evans & Popova,2016)。
此外,有時項目目標是既定的。明確項目的成本效益,能夠明確實現(xiàn)既定的目標需要多少投入,也能夠為合理規(guī)劃項目支出(或財政支出)提供參考。
在分析項目成本效益時,首先需要對成本進行核算。不同項目成本的核算必須依據(jù)規(guī)范的、統(tǒng)一的標準,成本效益分析才具有可比性。成本核算看似簡單,只要將收集的成本信息加總即可,但實際操作并不容易,需要注意很多環(huán)節(jié)、收集多種不同的成本信息。例如,需要知道項目是如何實施的,成本是什么時候支出及向誰支出的,等等。根據(jù)成本效益分析目標的不同、服務(wù)對象(向誰提供參考)的不同等,成本核算的方法(需要計入的成本)也會不同。例如,成本效益分析可能服務(wù)于捐助者、政府部門(或社會)、項目執(zhí)行者、研究人員等。政府部門(或社會)和項目實施者面對的成本可能是不同的。如果要向社會(例如有關(guān)政策部門)提供政策參考,某些項目實施者未實際支付但對整個社會而言確實存在的成本需要核算在內(nèi),例如項目獲得的捐贈物品;而如果僅向項目實施者提供參考,則部分成本可不計入在內(nèi)。下文將對成本核算中的重要問題進行討論,以明確成本核算的標準、原則及選擇這樣做的原因。
1. 成本數(shù)據(jù)收集
在一般研究中,通常不會報告項目實際執(zhí)行成本的數(shù)據(jù),因此,成本數(shù)據(jù)不易獲得。一般項目均有預算數(shù)據(jù),但通常預算數(shù)據(jù)并不完整,與實際執(zhí)行的成本之間也可能有較大差距(Levin & McEwan,2001)。為確保所有必需成本已被計入在內(nèi),可以應(yīng)用成本分解法:明確若重做一次該項目,需要哪幾部分成本,然后逐項收集這些成本信息(Dhaliwal et al.,2013)。將成本根據(jù)實際用途分解成若干類別有如下好處:(1)可以確認成本的計算方式是否正確,或可以作為一項檢查清單以確認是否所有成本已包含在內(nèi);(2)通過對比不同項目的成本結(jié)構(gòu),可以明確不同項目之間是否具有可比性。通常,要對多個項目的成本效益進行對比,這些項目的成本結(jié)構(gòu)應(yīng)是一致的。
為方便將項目成本核算標準化、規(guī)范化,已有多個機構(gòu)制作了標準化的成本統(tǒng)計模板供研究者使用,包括反貧困行動實驗室(The Abdul Latif Jameel Poverty Action Lab, J-PAL)、世界衛(wèi)生組織(WHO)等(Dhaliwal et al.,2013)。這些統(tǒng)計模板將成本按類別進行分解,并明確了統(tǒng)計口徑(具體可參見:https://www.povertyactionlab.org/page/conducting-cost-effectiveness-analysis-cea)。使用統(tǒng)一的成本核算模板可大大提高項目之間成本效益的可比性。
2. 無成本物品成本
在一些隨機干預實驗項目中,一些物品或服務(wù)對項目實施者是沒有成本的。例如,在視力隨機干預實驗項目中,向初中生和小學生發(fā)放的眼鏡是由某眼鏡公司捐助的,而并非通過市場購買,因此這一項對于項目實施者來說是免費的。但在研究中也應(yīng)將這些免費物品的成本計入總成本中。一方面,成本效益分析是為了評估項目對社會的影響。雖然項目實施者并未支付這部分成本,但對整個社會而言,該成本是存在的。另一方面,在小范圍的隨機干預實驗中這些物品可能是免費的,例如眼鏡公司可以給項目中的學校捐贈眼鏡,但當項目作為政策推廣后這些物品或服務(wù)不可能仍然免費。成本效益分析是為選出值得推廣的項目提供參考,因此應(yīng)該考慮推廣以后的真實成本(Levin & McEwan,2001;Baltussen et al.,2004)。
該類免費的物品或服務(wù)在計算成本時可以參考其市場價格(Evans & Popova,2016)。例如,眼鏡雖然是免費發(fā)放的,但在計算成本時可以參考其市場價格計入成本。
3. 轉(zhuǎn)移支付成本
轉(zhuǎn)移支付是指物品和現(xiàn)金從一部分人轉(zhuǎn)移分配給另一部分人。項目成本通常包括管理成本和轉(zhuǎn)移支付成本,但管理成本和轉(zhuǎn)移支付成本是有顯著不同的。在免費眼鏡項目中,管理成本包括為學生檢查視力的成本、發(fā)放眼鏡的成本等。管理成本是資源性成本,該成本的存在表明有社會資源因消耗而減少。而轉(zhuǎn)移支付成本指發(fā)放的眼鏡本身的成本。轉(zhuǎn)移成本并非資源性成本,該成本的存在僅表明社會資源從一部分人轉(zhuǎn)移至另一部分人,但總的社會資源并未減少。換言之,轉(zhuǎn)移支付成本對項目實施者是成本,但對于整個社會并非成本(當然,轉(zhuǎn)移支付通常是由政府財政承擔的,而稅收是有成本的)。
若轉(zhuǎn)移支付成本在總的成本中占比較高(例如眼鏡項目),那么,是否計入該項目成本對成本效益結(jié)果將會有較大影響。因此,可根據(jù)實際情況,通過分析研究目的及研究報告的潛在閱讀群體,選擇是否計入該部分成本。例如,若分析結(jié)果面向社會大眾,由社會大眾選擇實施哪些項目,則可以不計入轉(zhuǎn)移支付成本。但若分析結(jié)果面向政府部門,包含轉(zhuǎn)移支付成本則更為合理。
4. 項目受益人成本
在很多項目中,項目受益人要得到某些干預或利益自身也要付出相應(yīng)成本,而該部分成本是未計入項目實施者的成本中的。例如,為低視力學生配眼鏡時,學生需要到縣城某指定地點進行驗配。雖然眼鏡本身是免費的,但學生為得到這副免費眼鏡需要花費時間成本(去縣城驗配眼鏡的時間)和交通費用等。項目實施者可能不關(guān)注這些成本,因為這些成本不需要項目實施者實際支付,不會反映在項目實施者的財務(wù)報表中。但從社會角度考慮,這些成本仍然是項目取得相應(yīng)效果社會所需要付出的成本,因此當從社會角度對項目作出選擇時應(yīng)計入該部分成本。對于受益人成本的估計,一方面需要通過問卷調(diào)研收集受益人的成本信息;另一方面,對于時間成本(這可能是多數(shù)項目會涉及的受益人成本),通??梢愿鶕?jù)家庭平均收入或當?shù)貏趧?wù)市場價格進行估算(McEwan,2012;Evans & Popova,2016)。
5. 重復使用物品或服務(wù)成本
在隨機干預實驗項目中,一些項目或服務(wù)可能被多個項目重復使用(Overlapping Uses),具體可能有以下幾種情況。
(1)學?;A(chǔ)設(shè)施。以視力隨機干預實驗項目為例。該項目旨在通過向低視力學生發(fā)放免費眼鏡來促進學生學業(yè)表現(xiàn)的提升。但學生學業(yè)表現(xiàn)的提升,除了矯正視力外還需要更多條件,包括教師認真授課、必備的教學設(shè)備、學校管理等必要的投入,等等。沒有這些必要條件,僅發(fā)放免費眼鏡同樣不能提升學生學業(yè)表現(xiàn)。那么,這些成本是否需要計入在內(nèi)呢?在計算某一項目的成本效益時,這些成本通常是不需要計入在內(nèi)的。這是因為這些成本均是一所學校存在的基本成本。若將這些成本計入某一項目成本中,會出現(xiàn)重復計算問題(Siegel et al.,1996;Levin & McEwan,2001)。
(2)物品或服務(wù)在多個項目之間共享。另一種“重復使用”情況是,未來的干預項目可能以現(xiàn)在的項目為基礎(chǔ)。例如,視力隨機干預實驗項目中,首先需要對學生進行視力篩查和檢查,確認哪些學生需要配戴眼鏡及眼鏡處方。這是一筆重要的項目支出。但通過視力篩查和檢查獲得的數(shù)據(jù)同樣可以為以后的其他項目所用。例如,可能有干預項目關(guān)注孩子弱視防治問題①,這同樣需要孩子的視力檢查數(shù)據(jù)。那么,這些可能被以后項目用到的物品或服務(wù)應(yīng)如何計算成本呢?需要在不同項目之間進行分擔嗎?通常處理方法是將全部成本計入本項目中,而不是在多個項目中分攤(Evans & Popova,2016),這是因為:(1)通常情況下很難預知以后是否可能有其他項目使用這些物品或服務(wù);(2)這些物品或服務(wù)的成本畢竟是本次項目實施者已經(jīng)付出的成本,已經(jīng)計入其財務(wù)報表。因此,將相關(guān)支出計入本項目的成本中更為合理。
我們可以假設(shè)另一種情況:在其他地區(qū)實施免費眼鏡項目時,因其他原因已經(jīng)對學生進行了視力篩查和檢查,項目實施者不需要再支出這部分成本。但該情況可能僅是巧合;當未來推廣該項目時,如果這種巧合不再存在,該部分成本仍然需要支出。因此,將該部分成本計入在內(nèi),才能對項目未來推廣面臨的實際成本提供更合理的參考。
(3)在項目評估之后部分物品或服務(wù)仍可繼續(xù)使用。另外一種“重復使用”的特殊情況是,投資的物品不能在項目周期內(nèi)使用完,項目結(jié)束后仍可繼續(xù)使用。例如,為學生發(fā)放的眼鏡可能可以使用2 年時間,但項目評估周期只有9 個月。在項目評估結(jié)束后,眼鏡仍然可以繼續(xù)使用。此時成本應(yīng)如何計算?若將購買眼鏡的成本全部計入本項目成本中則可能高估了本項目的實際成本。有的項目初始固定成本較大,但后期流動成本較小;而有的項目初始固定成本較小,但后期流動投入較大。在評估項目的短期成本效益時將初始固定成本全部計算在內(nèi),則可能使后一類項目更具有優(yōu)勢,因而作出錯誤的參考。處理該問題的方法之一是使用該物品的租金而并非購買成本進行計算。例如,假設(shè)存在眼鏡的租賃市場(對于固定投入較大的物品租賃市場通常是可能存在的,例如汽車、房屋等),則可以計入租賃使用一副眼鏡9 個月的費用,而并非購買整副眼鏡的費用。
6. 管理費用成本
針對干預組,學校、政府機構(gòu)等相關(guān)部門因為項目實施將付出額外的時間和精力監(jiān)督、管理這一項目,這即是項目實施的管理費用成本(Overhead)。管理費用是項目成本之一,但該成本較難計算,因為管理費用的支付通常較為隱蔽,很難在財務(wù)報告中反應(yīng)出來。例如,因為項目實施學校教職人員需要多加班,這促使學校為教職工提高工資。通常情況下,管理費用相對較少,且與總的項目復雜程度有關(guān)。因此,通??刹捎每偝杀镜囊粋€固定比例進行計算,例如常采用的固定比例是10%或15% (Evans& Popova,2016)。具體比例可根據(jù)項目的復雜程度適當調(diào)整。
7. 小范圍測試與大范圍推廣時的成本差異
通過隨機干預實驗進行項目評估時通常是小范圍的,涉及樣本也是有限的。此時計算出的成本效益與項目推廣以后的成本效益可能有所不同,這是因為:(1)項目推廣后可以批量購買投入的物品和服務(wù),價格可能更低;(2)但也有可能,項目擴大致使管理難度加大,干預效果降低。針對第一種情況引起的價格變動,可通過市場調(diào)查,提前了解不同采購量對價格的影響。若變動范圍較大,則應(yīng)考慮使用未來推廣以后的成本(或者兩種成本的計算結(jié)果都予以報告)。
8. 增量成本
總體來說,可以從項目“增量成本”的角度理解可能被重復計算的成本(Levin & McEwan,2001;McEwan,2012;Dhaliwal et al.,2013;Evans & Popova,2016)。核算項目成本時需要首先明確項目實施的背景條件。背景條件不同,項目成本的計入范圍也不同,因此對成本的核算有很大影響。以免費眼鏡項目為例。北京地區(qū)中學可能已將視力檢查常態(tài)化,每年為學生檢查視力。若在北京開展免費眼鏡項目則不必再進行視力篩查,從而可以節(jié)省這部分成本。但在西部地區(qū)視力檢查并未普及。要開展免費眼鏡項目需要先對學生進行視力檢查,此時在項目成本中也需要將視力檢查費用核算在內(nèi)。因此,同樣是免費眼鏡項目,由于是否開展過視力檢查這一背景條件不同,一方面,“干預”對上述兩個地區(qū)的內(nèi)涵是不同的,在北京地區(qū)“干預”不包括視力檢查,而在西部地區(qū)“干預”包含視力檢查;另一方面,成本核算口徑也不同。
對于隨機干預實驗,評估的影響效果是通過對干預組和控制組的對比得到的。那么,成本核算也應(yīng)是通過干預組與控制組的對比得到。控制組是項目實施的背景條件,真實的干預成本應(yīng)是干預組在控制組基礎(chǔ)上多出的“增量成本”,即:
項目成本 = 干預組成本 - 控制組成本(2)
應(yīng)用“增量成本”概念可以對哪些成本應(yīng)計入項目成本作出快速判斷。例如,學校建設(shè)投入、教師工資等費用不應(yīng)計入項目成本,因為這些成本在控制組同樣存在。而視力檢查成本在西部地區(qū)應(yīng)計入項目成本,因為控制組不存在該成本。根據(jù)這一方法,某些具體類別的項目成本可能出現(xiàn)負值,例如,因為發(fā)放免費眼鏡,干預組的項目參與者減少了自己配鏡的可能性,那么相對于控制組,干預組受益人的成本可能更低,從而使該項成本總體看來呈現(xiàn)負值。
相同研究團隊、同一國家開展的隨機干預實驗項目相對更具有可比性。不同研究團隊、不同國家、不同年份開展的隨機干預實驗項目在進行成本效益對比分析時面臨著更多困難,具體包括在核算成本時也應(yīng)考慮不同年份間的通貨膨脹調(diào)整、投資的時間價值、匯率換算等問題(Dhaliwal et al.,2013)。例如,從社會角度看,通過公共政策實施的項目通常占用了一定的財政支出。財政支出主要來自稅收,這些稅收的成本也是需要考慮在內(nèi)的。不同年份的干預項目在對比時也需要對成本進行一定換算,下文在對干預項目作匯總分析時將對該問題進行進一步討論說明。
1. 影響效果加總
在隨機干預實驗中被干預對象通常很多。例如,免費眼鏡項目中被干預對象為約500 名初中學生。成本核算時是計算對這些學生進行干預產(chǎn)生的“總”成本,效果也應(yīng)當是對這500 名學生產(chǎn)生的總的影響效果。因此,成本效益可以有兩種具體計算方法:(1)項目總影響效果/項目總成本;(2)每個學生的平均影響效果/每個學生的平均成本(Levin & McEwan,2001)。若使用第一種方法,需要計算總的影響效果,可以用如下公式:
總影響效果 = 每名干預對象的影響效果 × 樣本量 × 項目周期(3)
“每名干預對象的影響效果Impact (per unit)”可以用ITT 方法(Intention To Treatment)估計的平均影響效果,也可以使用TOT 方法(Treatment on the Treated)估計的局部影響效果(Glennerster & Takavarasha,2013)。雖然后者估計出的影響效果更大,但其對應(yīng)的樣本也相對更少。例如,ITT 方法對應(yīng)的是全部學生,而TOT 方法僅對應(yīng)戴眼鏡的學生。因此,使用ITT 方法估計結(jié)果和TOT 方法估計結(jié)果計算出的總影響效果將是一致的。
若使用第二種方法(即平均影響效果/每個學生的平均成本),平均影響效果應(yīng)使用ITT 估計出的結(jié)果,因為該結(jié)果是對全部樣本平均影響效果的估計。
2. 影響效果估計的不精確性
影響效果評估是通過對部分樣本的影響效果分析來估計真實的影響效果。對于估計結(jié)果通常要關(guān)注:(1)估計結(jié)果是否顯著及顯著性水平;(2)影響效果的點估計值大小及其置信區(qū)間。
假如有兩個具有相同成本的項目,一個影響效果的點估計值較大但結(jié)果并不顯著(經(jīng)濟學領(lǐng)域通常選用10%的顯著性水平),另一個影響效果的點估計值較小但結(jié)果顯著,應(yīng)如何對比兩者的成本效益呢?在成本效益分析時應(yīng)首先判斷點估計值是否顯著。對于影響效果點估計值不顯著的干預項目,無論其點估計值大小,都應(yīng)認為其成本效益較低。這是因為“不顯著”即表明沒有足夠證據(jù)可以排除其真實影響效果是零的可能性(Levin & McEwan,2001)。
影響效果點估計值同樣顯著的項目,在成本相同的情況下,是否影響效果點估計值越高,成本效益必然越高呢?影響效果點估計值并不等同于真實影響效果。真實影響效果可能在某一區(qū)間內(nèi)變動(即影響效果的置信區(qū)間)。根據(jù)估計精確度的不同,可能有多種情況:(1)影響效果點估計值較大,但精確度低,點估計值的置信區(qū)間也較大;(2)影響效果點估計值較小,但精確度高,點估計值的置信區(qū)間也較小。前者的真實影響效果并不必然大于后者。
因此,對于點估計值顯著的項目,在計算成本效益時可以:(1)根據(jù)點估計值計算;(2)同時也根據(jù)點估計值置信區(qū)間(通常是90%或95%)的上下邊界值計算成本效益可能的變動范圍。在對比不同項目的成本效益時,可以通過以下方法檢驗結(jié)果的穩(wěn)健性:首先根據(jù)影響效果的點估計值計算成本效益并進行排序,然后,再根據(jù)置信區(qū)間的上下邊界計算成本效益并進行排序。若兩種方法項目排序變化不大,則可以認為結(jié)果較為穩(wěn)健。但如果項目排序變動較大,例如從成本效益最高的位置變動到成本效益最低的位置,則可以認為結(jié)果并不穩(wěn)健。
此外,上述對成本效益結(jié)果進行穩(wěn)健性分析的方法也可應(yīng)用于其他情況,以檢驗其他設(shè)定變動對結(jié)果的敏感性。例如,折現(xiàn)率的設(shè)定可能影響成本效益對比的結(jié)果。因此,可以在保持其他假設(shè)不變的情況下,使用不同的折現(xiàn)率計算成本效益,分析結(jié)果是否發(fā)生了變動以及具體的變動程度(Dhaliwal et al.,2013)。
3. 溢出效應(yīng)的處理
在很多項目中干預效果可能存在溢出效應(yīng)。例如,免費眼鏡項目可能有溢出效應(yīng),即向樣本班級發(fā)放免費眼鏡時,可能同時也促進了其他未參與項目的班級的配鏡率及成績的提升。對于溢出效應(yīng)是否應(yīng)包含在對“效益”的測量中,需要考慮當項目推廣擴大以后是否同樣存在溢出效應(yīng)。如果項目推廣以后同樣存在溢出效應(yīng),則應(yīng)將其包含在內(nèi),否則就不應(yīng)包含溢出效應(yīng)(Levin & McEwan,2001)。可以預想,眼鏡項目推廣以后可以為所有學生免費發(fā)放眼鏡,而并非特定班級學生,這樣一來,溢出效應(yīng)將會消失。因此,在對免費眼鏡項目的成本效益進行計算時可以忽略溢出效應(yīng)。但若在成本效益分析時需要包括溢出效應(yīng),則應(yīng)在項目設(shè)計階段進行相應(yīng)設(shè)計,以測量出溢出效應(yīng)的大小。
4. 有多重目標的項目
不同干預項目的目標是不同的。有些干預項目只有一個目標,例如,某些教育類項目的目標是提高入學率。而有些干預項目可能有多個目標,例如,某些教育類項目的目標不僅是提高入學率,還包括提高學生的健康水平。對于有多重目標的項目應(yīng)當根據(jù)哪個結(jié)果變量計算“效益”呢?
針對這個問題,通??梢杂袃煞N處理方法:(1)某些項目雖然有多重目標,但成本的目標指向是清晰的,可以明確區(qū)分哪些成本實現(xiàn)了哪些影響效果。因此,這種情況下,可以將成本按其目標指向進行分解,再分別計算每個結(jié)果變量的成本效益。但是,該方法對管理費用等不可分解的成本較難處理。(2)將項目看作一個整體,項目成本可以在多個結(jié)果變量之間進行分攤(Levin & McEwan,2001)。若存在一種分攤方法,使該項目所有結(jié)果變量的成本效益均高于另一種項目,則表明該項目更具有成本效益。
5. 最終結(jié)果變量與中間結(jié)果變量
在對項目進行影響效果評估時,既要關(guān)注最終的結(jié)果變量(例如眼鏡項目中學生的標準化數(shù)學成績),也要關(guān)注中間變量(例如眼鏡項目中學生是否有眼鏡或?qū)W生是否經(jīng)常戴眼鏡)。關(guān)注最終結(jié)果變量,可以評估項目是否產(chǎn)生影響效果。而關(guān)注中間變量,可以明確這些影響效果是通過何種作用機制產(chǎn)生的。在計算成本效益時,可以同時關(guān)注中間變量的成本效益及最終結(jié)果變量的成本效益。
不同項目的結(jié)果變量測量也可能存在不同程度的差異。例如,同樣是測量學業(yè)表現(xiàn),可能有研究項目關(guān)注的是英語、語文成績,而另有項目關(guān)注數(shù)學成績;有項目會使用學校自己組織的考試的成績,而有些項目則使用標準化考試的成績;有些學業(yè)測試需要3 個小時,而有些學業(yè)測試僅需半小時。因此,如同成本需要匯率、折現(xiàn)等換算,對于結(jié)果變量也需要進行標準化轉(zhuǎn)化,使用可對比的、相同的單位。在教育領(lǐng)域,將成績進行標準化處理從而增強不同項目結(jié)果的可比性是常用方法(Duflo et al.,2015;Glewwe et al.,2016;Nie et al.,2020)。
近來年,教育領(lǐng)域大量隨機干預實驗項目的開展,為成本效益分析的使用提供了條件,也對成本效益分析提出了需求和要求。
隨機干預實驗為成本效益分析提供了條件。成本效益分析的前提是要對項目的影響效果及項目成本進行準確核算,而隨機干預實驗方法的使用為這兩方面提供了重要條件。一方面,隨機干預實驗是評估項目影響效果的“黃金準則”,能夠評估出項目的“凈”影響效果,即能夠獲得更為準確的項目“效益”(Duflo et al.,2007)。因此,在選取研究進行成本效益對比分析時,通常也只選用使用了隨機干預實驗方法的研究,而并不包括其他準實驗方法的研究(Amy et al.,2019)。另一方面,由于有可控的項目實施過程、確定的項目實施方、明確的對照組等,人們可對干預實施所發(fā)生的費用進行準確記錄,項目成本的核算將更為精確。使用除隨機干預實驗以外的其他方法,例如工具變量方法、雙重差分方法、斷點回歸方法、匹配方法等均可以對項目的影響效果進行評估,但使用準實驗方法并不能對成本進行準確核算。例如,基于截面數(shù)據(jù)使用固定效應(yīng)等方法可對教育部門主導的教師績效工資項目進行評估,從而估算出影響效果(即效益)。但如何估算該項目的成本呢?項目可能是由多方共同實施(例如縣級和市級共同實施)的,并沒有明確的項目支出明細。更常見的情況是這些項目支出被混雜在其他支出之中。此外,項目并沒有明確的對照組,研究者對于哪些成本應(yīng)被計入可能存在較大分歧。
隨機干預實驗也對成本效益提出了需求和要求。更多隨機干預實驗項目的開展、更多經(jīng)驗證有效的干預方案的提出,必然要求在諸多的可行方案中作出謹慎的選擇。這需要項目有一個除了影響效果之外更綜合的、可對比的評價指標。而隨機干預實驗項目實施范圍的不斷擴大,也要求成本效益方法有更多改進和發(fā)展,以處理和應(yīng)對更復雜情況的出現(xiàn),使得更復雜的項目同樣具有可比性。例如,隨機干預實驗已開展多年,如何將當前的項目與20 年前的項目進行對比,就是一項巨大挑戰(zhàn)。
不同項目之間進行成本效益對比的前提是計算出每個項目的成本效益值。本部分將結(jié)合初中生免費眼鏡項目,對某一具體的隨機干預實驗如何進行成本效益計算、如何解讀和分析成本效益結(jié)果等進行說明。
初中生免費眼鏡項目是在小學生免費眼鏡項目的基礎(chǔ)上開展的。同小學生免費眼鏡項目一樣,項目干預內(nèi)容為向經(jīng)過視力篩查需要配鏡的中學生免費提供一副眼鏡。眼鏡為某眼鏡公司捐贈,因此不需要項目組承擔這部分成本。項目實施對象為陜北某市的3 個縣31 所農(nóng)村初中的七、八年級學生。項目以學校為單位進行了隨機分組,其中16 所學校為控制組,在視力檢查后向?qū)W生發(fā)放了《告家長書》,向家長說明孩子當前的視力情況;15 所學校為干預組,在視力檢查后向?qū)W生免費提供了一副眼鏡。視力檢查由項目組實施,共對31 所學校的1974 名學生進行了視力篩查(確定是否需要眼鏡)和驗光檢驗(確定配鏡的具體度數(shù))。在干預組眼鏡制作完成后,由項目組人員負責入校發(fā)放眼鏡以及鏡架的調(diào)校等工作。
該項目基線調(diào)研時間為2013 年9 月,評估調(diào)研為2014 年5 月,項目實施周期約9 個月。使用ITT 方法對平均影響效果進行評估,結(jié)果發(fā)現(xiàn),免費眼鏡可以使初中生標準化數(shù)學成績顯著提高0.14 個標準差,而針對小學生的免費眼鏡項目的平均干預效果為0.11 個標準差。關(guān)于項目的其他細節(jié)可參看Nie 等人(2020)和Ma 等人(2014)的論文。
免費眼鏡項目在計算成本時是以控制組為基準組分析干預組的增量成本,即在控制組的基礎(chǔ)上多增加的成本。例如,項目組在控制組和干預組都開展了視力篩查工作。雖然該部分支出費用較高,在控制組和干預組均為37024 元。但由于控制組和干預組均開展了該工作且費用相同,因此可以不計入成本。根據(jù)J-PAL 對成本的分解,成本包括項目性成本、稅收性成本及家庭對該干預作出反應(yīng)需要付出的成本。
1. 項目性成本
具體來看,項目性成本包括購買眼鏡的成本及發(fā)放眼鏡的成本。本項目所用眼鏡為眼鏡公司捐贈,無市場價格。眼鏡成本是項目性成本的主要組成部分,眼鏡價格的設(shè)定對最終的成本效益結(jié)果有較大影響。因此,本研究采用最常用的處理方法—用當?shù)匮坨R市場價格均價進行估算(Dhaliwal et al.,2013)。在基線調(diào)研中,項目組調(diào)研了學生購買眼鏡的實際價格,得到眼鏡的平均價格為每副350 元。當項目推廣實施以后,可以大批量采購眼鏡,眼鏡價格會相對更低。因此,使用市場價格可能會低估該項目的成本效益。
眼鏡費用本身是一種轉(zhuǎn)移支付,該支出僅是從項目實施單位轉(zhuǎn)移至受益人,其本身價值并未消失。因此,該部分費用支出并不屬于社會成本。但由于該部分費用占比較高,在計算成本效益時,研究者將同時呈現(xiàn)包括眼鏡費用的結(jié)果(項目成本)和不包含眼鏡費用的結(jié)果(社會成本)。
“發(fā)放眼鏡的費用”是指將制作好的眼鏡送到學生手中所產(chǎn)生的費用。在發(fā)放過程中,需要專業(yè)驗光師對眼鏡進行適當調(diào)適,具體費用包括到各個學校的交通費用、發(fā)放眼鏡工作人員的勞務(wù)費用等。
2. 稅收性成本
假設(shè)該項目由政府部門組織實施,則項目性成本會由財政稅收支付。稅收同樣是有成本的。由于國內(nèi)稅收成本缺少準確的估算,因此常常通過稅收可能帶來的損失進行估算,一般采用20%這一比例(Auriol & Warlters,2012)。
3. 家庭承擔的成本
項目實施后學生家長可能會帶學生進行視力檢查,或在需要重新配眼鏡時為學生配眼鏡。因此,家庭承擔的成本包括去縣城配眼鏡的交通費用(眼鏡店或眼科中心通常位于縣城)、去配眼鏡的時間成本、視力檢查及配眼鏡的費用等。
交通費用根據(jù)學生家到縣城的距離進行計算。結(jié)合調(diào)研地區(qū)情況,按1 元/千米進行計算。對于往返縣城的時間,按20 千米/小時進行計算,另加1 小時驗配眼鏡時間。當?shù)爻扇似骄べY為120 元/天(按每天工作8 小時進行計算)。因此,配眼鏡的時間成本按這一方式進行換算,而眼鏡費用同樣按350 元/副進行計算。
家庭應(yīng)承擔的成本可能出現(xiàn)負值,這是因為成本計算是基于與控制組的比較。干預組發(fā)放了免費眼鏡,因而相對于控制組去配眼鏡的學生可能更少,這在數(shù)據(jù)中即表現(xiàn)為負值。在將成本轉(zhuǎn)化為美元進行匯率換算時(考慮到需要進行國際對比),使用2013 年中間匯率,即人民幣對美元為6.1∶1。
影響效果分析可采用兩個指標:一是中間指標,即發(fā)放免費眼鏡使學生視力改善的程度;二是最終結(jié)果指標,即發(fā)放免費眼鏡使學生標準化數(shù)學成績提高的幅度。在計算“效益”時,研究者使用了加總影響效果的方式,即上文公式(3)。
視力改善是指在上課時經(jīng)常戴眼鏡的學生,戴眼鏡后比不戴眼鏡視力提升(或少下降)的幅度,通過LogMAR 的變動幅度進行測量。LogMAR 每增大0.1,代表視力水平在視力表(ETDRS)上下降一行。而對于標準化數(shù)學成績提高的幅度,首先使用點估計結(jié)果進行加總;為分析成本效益的敏感性及變動范圍,同時也使用估計結(jié)果的90%置信區(qū)間的上下邊界值分別進行加總計算。
1. 項目性成本及稅收性成本
眼鏡本身的費用主要是發(fā)放的眼鏡所產(chǎn)生的費用,共計180250 元。這是項目性費用中最大的支出,平均到每個學校約12016 元。眼鏡發(fā)放的費用共計13760 元,平均每個學校917 元。項目費用合計194010 元(表1)。
該筆費用如果由公共財政支出,可能產(chǎn)生的稅收成本是38802 元。
2. 由家庭負擔的成本
在干預實施后,控制組學校共有180 名學生去醫(yī)院或眼鏡店檢查過視力,所花費交通費用、時間成本共計43311 元。共有167 名學生配了眼鏡,共花費58450 元。合計花費101761 元。在干預組學校,共有148 名學生去檢查了視力,所花費交通費用及時間成本共計27420 元;共有132 名學生配了眼鏡,共花費46200 元;合計花費73620 元;因此,項目實施使干預組學生合計減少檢查視力、配鏡花費共計28142 元(見表1)。在數(shù)據(jù)表中,該項以負值表示。
3. 總成本的核算
社會成本是指項目性成本及其稅收負擔、家庭承擔成本的合計;初中生眼鏡項目社會成本共計204670 元。發(fā)放免費眼鏡也是轉(zhuǎn)移支付,因此在總成本中扣除戴眼鏡學生的眼鏡成本。不戴眼鏡學生的眼鏡成本不扣除,是因為這部分學生不使用眼鏡,因而浪費了這一資源。在不包括眼鏡成本的情況下,社會成本共計86020 元(見表1)。
表1 免費眼鏡項目的成本與效益統(tǒng)計表
4. 免費眼鏡項目的成本效益分析
我們可先從提高視力的角度來看成本效益。結(jié)果表明,要使學生的視力提高(或少下降)1 個單位(即LogMAR 值減少1 個單位),分別需要項目成本3731 元,或社會成本3926 元,或社會成本(不包含眼鏡成本)1654 元。LogMAR 每變動0.1 代表視力表(ETDRS)上的一行,因此可以說,為使學生視力在視力表上提升(或少下降)1 行,需要項目性成本373 元,或社會成本393 元,或社會成本(不包含眼鏡成本)165 元(表2)。
其次,我們可從提高學生成績的角度來看成本效益。結(jié)果表明,要使學生標準化數(shù)學成績每提高0.1 個標準差,需要支付項目成本266 元,或社會成本280 元,或社會成本(不包含眼鏡成本)118 元。為了反映這一成本效益可能的變動范圍,本研究同樣采用了估計結(jié)果90%的置信區(qū)間的上下限進行成本效益分析。以項目性成本為例,學生標準化數(shù)學成績每提高0.1 個標準差,最低可能需要支付項目成本144 元,最高可能需要支付項目成本1940 元(表2)。
核算出項目的成本效益并非成本效益分析的主要目標。成本效益分析主要用于與其他項目進行對比分析,從而幫助人們做出決策。本文先從具有較高可比性的兩個隨機干預實驗項目(小學生免費眼鏡項目和初中生免費眼鏡項目)入手,探討如何進行不同項目的成本效益對比。
1. 小學生免費眼鏡項目的背景
研究團隊開展的小學生眼鏡項目是我國唯一的一項針對小學生、以眼鏡為主要干預內(nèi)容的項目。該項目以小學四、五年級的學生為研究對象,評估向低視力小學生發(fā)放免費眼鏡對其學業(yè)表現(xiàn)的影響。該項目同樣由眼鏡項目組組織開展。該項目基線調(diào)研于2012 年11 月進行,評估調(diào)研于2013 年6 月進行,與初中生眼鏡項目僅相距1 年。項目具體細節(jié)可參見Ma 等人(2014)的論文。該項目與初中生眼鏡項目具有很強的可比性,這表現(xiàn)在:(1)研究內(nèi)容相同。兩個項目均關(guān)注發(fā)放免費眼鏡對學生學業(yè)表現(xiàn)的影響。(2)組織實施者相同。由同一項目組組織開展,保證了項目在實施細節(jié)上是相同或相似的。例如,兩個項目對學生視力進行篩查和檢查的程序和標準是完全相同的,對學生數(shù)學成績測試的問卷均來自于TIMSS (Trends in International Mathematics and Science Study)等。(3)研究對象具有可比性。兩個項目的調(diào)研地區(qū)是相同的。對象所在地區(qū)的經(jīng)濟發(fā)展水平、地理環(huán)境、受教育水平等因素均可能影響學生視力及其眼鏡配戴情況,進而影響項目成本效益。(4)對成本的核算使用了完全相同的假設(shè)。在成本核算中有多項假設(shè),這些假設(shè)條件均可能影響成本效益計算結(jié)果。在兩個項目中,項目組使用了相同的假設(shè),例如,在兩個項目中每副眼鏡的成本均假設(shè)為350 元,對時間的成本進行計算時均假設(shè)每天勞務(wù)工資為120 元(按8 小時計算)。
2. 點估計值影響效果的成本效益對比
小學生免費眼鏡項目的具體成本核算及成本效益情況見表1 和表2。根據(jù)點估計值影響效果計算的成本效益看,無論以視力提升為結(jié)果還是學業(yè)表現(xiàn)為結(jié)果,相對于小學生免費眼鏡項目,初中生免費眼鏡項目均更具有成本效益(表2)。具體來看,初中生視力水平每提升1 行,需要項目性成本373 元,而小學生需要559 元。在項目影響效果相同的條件下,初中生免費眼鏡項目比小學生免費眼鏡項目成本低三分之一(33.3%)。如果成本使用社會成本和社會成本(不包含眼鏡成本),則每提高視力水平1 行,初中生免費眼鏡項目比小學生免費眼鏡項目成本分別低17.3%和42.2%。
表2 初中生免費眼鏡項目的成本效益分析
再從學生學業(yè)表現(xiàn)的角度來看。如果對標準化數(shù)學成績的影響效果使用點估計結(jié)果,則初中生免費眼鏡項目比小學生免費眼鏡項目更具有成本效益,無論成本使用項目性成本、社會成本還是社會成本(不包含眼鏡成本)。具體來看,使學生學業(yè)表現(xiàn)每提高0.1 個標準差,初中生免費眼鏡項目需要付出項目性成本266 元,而小學生免費眼鏡項目需要付出項目性成本350 元,前者比后者成本低24%。如果成本使用社會成本和社會成本(不包含眼鏡成本),則標準化數(shù)學成績每提高0.1 個標準差,初中生免費眼鏡項目比小學生免費眼鏡項目成本分別低5%和34%。
3. 區(qū)間估計影響效果成本效益對比的蒙特卡洛方法(Monte Carlo Simulations)
當使用點估計的影響效果時兩個項目的成本效益較容易對比。但當使用區(qū)間估計時,成本效益的變動區(qū)間較大,可能存在相互重疊部分,因此,直接對比存在難度。以項目性成本為例,根據(jù)影響效果90%的置信區(qū)間進行計算,初中生標準化數(shù)學成績每提高0.1 個標準差,需要項目性成本最低可能為144 元,而最高可能為1940 元;小學生標準化數(shù)學成績每提高0.1 個標準差,需要項目性成本最低為199 元,最高為1341 元(見表2)。前者的變動區(qū)間完全包含了后者的變動區(qū)間,因此難以直接判斷誰的成本效益更高。
對于不同項目成本效益區(qū)間的對比,可使用Evans 等人(2016)采用的蒙特卡洛方法(Monte Carlo Simulations)。具體做法為:假設(shè)提供免費眼鏡對標準化數(shù)學成績的影響效果服從點估計值為均值、點估計標準誤為標準差的正態(tài)分布。使用蒙特卡洛方法,從上述兩個正態(tài)分布重復抽取足夠多次(本文選取100000 次)作為點估計值分別估計兩個項目的成本效益,計算這100000 次重復抽取的結(jié)果中初中生視力項目比小學視力項目成本效益高的總頻數(shù),從而得出前者比后者成本效益高的概率。
使用蒙特卡洛方法的對比結(jié)果如下,從項目成本來看,初中生免費眼鏡項目中標準化數(shù)學成績每提高1 個標準差所需成本低于小學生免費眼鏡項目的可能性為65%;若以社會成本(不包含眼鏡成本)看,初中生免費眼鏡項目中標準化數(shù)學成績每提高1 個標準差所需社會成本(不包含眼鏡成本)低于小學生免費眼鏡項目的可能性為72%(表2)。因此,總的來看,相對于小學生免費眼鏡項目,初中生免費眼鏡項目更具有成本效益。這可能與初中生視力提高幅度更大、得到免費眼鏡后初中生配戴的可能性更高等因素有關(guān)。
此外,在上述成本核算中并未將篩查視力成本考慮在內(nèi)。免費眼鏡項目實施時干預組與控制組均進行了視力篩查。根據(jù)“增量成本”理念,在核算成本時該部分成本并不包含在內(nèi)。但該處理方式隱含了這樣的假設(shè):未來項目推廣時學校也都已進行了視力查檢。這并不符合實際情況,尤其是在農(nóng)村貧困地區(qū)。小學生中近視學生比例更低,因此每名近視學生的平均篩查成本更高。若將視力篩查費用考慮在成本核算中,兩個項目成本效益之間的差異將更大。
教育領(lǐng)域已經(jīng)開展了大量基于隨機干預實驗的影響評估,篩選出了眾多經(jīng)驗證有效的教育扶貧策略。將這些研究匯總后進行成本效益對比分析,可以幫助決策者從上述可行策略集合中選出優(yōu)先開展或投資的干預策略。但不同于單個項目的成本效益值計算,以及兩個項目成本效益之間的對比,來自不同研究團隊、不同國家、不同時間實施的多個項目進行成本效益對比分析面臨著更多困難和挑戰(zhàn)。本部分將對國內(nèi)外教育領(lǐng)域眾多不同隨機干預實驗項目進行匯總并進行成本效益對比,然后對對比中可能存在的問題進行討論,對可能的處理方法進行說明。
需要特別說明的是,盡管已發(fā)表的研究中對影響效果的分析較為充分,但鮮有研究討論其成本細節(jié),這大大阻礙了成本效益分析的推廣使用。在作者搜集整理的2015 年以來16 項教育領(lǐng)域的隨機干預實驗中,僅有1 項研究報告了成本數(shù)據(jù)。在推廣使用成本效益分析方面,以麻省理工大學的JPAL 為代表的研究機構(gòu)作出了有益嘗試:在研究論文中探討影響效果的同時也加強對成本效益的討論,并率先公布了部分隨機干預實驗項目的成本細節(jié)及相關(guān)成本效益分析結(jié)果。本文將基于已發(fā)表的隨機干預實驗研究論文,嘗試對教育領(lǐng)域隨機干預實驗項目匯總后進行成本效益對比分析。匯總后的分析結(jié)果對政策制定具有重要的借鑒意義。但鑒于數(shù)據(jù)獲得的局限性,本次匯總分析并不充分,為了克服這種數(shù)據(jù)的局限性,促進未來的隨機干預實驗項目更多更規(guī)范地報告項目成本效益,本部分將更多地聚焦于展示匯總不同干預項目進行成本效益分析時可能存在的問題及處理方法本身,而不是匯總分析的結(jié)果。
不同國家面臨著不同的教育問題,有著顯著不同的經(jīng)濟、社會條件。為使本文的成本效益對比分析更具有政策參考意義,本文將對在中國開展的農(nóng)村教育領(lǐng)域的隨機干預實驗研究及在其他國家(主要為發(fā)展中國家)開展的隨機干預實驗研究分開進行對比分析。
本文在文獻選擇時,并未限定時間范圍。從方法來看,本文僅選擇以隨機干預實驗為方法的影響評估,使用其他準實驗方法(例如工具變量法、雙重差分方法等)的研究不納入對比范圍,這也是此類綜述研究中通常的做法(Amy et al.,2019)。從領(lǐng)域來看,本文僅選擇教育領(lǐng)域的研究,研究對象為中、小學生。本文的對比分析并不包括針對大學生的相關(guān)研究。這是因為本文的重要目標之一是為當前農(nóng)村教育的發(fā)展提供政策參考,而農(nóng)村教育的重點在中、小學。從結(jié)果變量來看,納入本文分析范圍的研究以學生的學業(yè)表現(xiàn)為主要結(jié)果變量。
對比分析的基本單位為某一具體的干預。若某篇研究文獻包括多個干預組,則將其視為多個研究。另外要說明的是,由于當前多數(shù)隨機干預實驗研究僅報告了干預的影響效果的大小,并未報告成本數(shù)據(jù),難以被納入進來進行成本效益對比分析,因此本文的對比分析并未包括所有研究。
匯總不同研究者的成果進行成本效益對比分析面臨著諸多困難。(1)多數(shù)研究者并不報告其成本細節(jié),因此難以進行成本效益分析。(2)不同研究者使用的成本統(tǒng)計口徑可能不一致,對于何種成本應(yīng)當計入、何種不應(yīng)當計入并未采用統(tǒng)一的成本核算模板。(3)對于影響效果的使用方法并不一致。例如,項目執(zhí)行周期可能是不同的,某些項目可能只有一年,而某些項目可能會持續(xù)若干年。項目周期不同、影響效果相同,在計算成本效益時是否可以同等對待?這同樣是一個值得思考的問題。(4)跨地區(qū)、跨年份等的對比問題。相差數(shù)年的兩個干預成本可能不具有可比性,對它們進行對比就需要考慮成本的跨年份折算問題。因此,在匯總這些研究進行成本效益對比分析之前,需要先對上述問題的處理方法進行說明。
1. 關(guān)于影響效果的說明
分析影響效果,首先要確定關(guān)注的測量指標。本文關(guān)注了教育領(lǐng)域(尤其是中小學階段)最重要的指標之一—學業(yè)表現(xiàn)。由于不同的研究對學業(yè)表現(xiàn)的測量方法不同,相關(guān)研究中學業(yè)表現(xiàn)的測試成績以數(shù)學成績?yōu)橹?,但也有語文成績、英語成績等。因此,本文對其進行標準化處理,影響效果以標準差的形式表示。
在選取的項目中,有些項目周期較長,例如最長為3 年。對于干預對象,不同年份獲得的影響效果的價值可能是不同的。因此,對于長周期的影響效果可進行“折現(xiàn)”。本文綜述已有研究,選用了10%的折現(xiàn)率(Zhuang et al.,2007)。例如,對于周期為2 年的項目,成本效益計算時的影響效果=評估的影響效果/(1+10%)。
2. 關(guān)于成本核算的說明
對于各項目所選擇的成本,本文遵循了“增量成本”的理念。而在具體核算成本時,本文使用了“社會成本”的口徑,即不僅包含管理成本,還包含了受益者所產(chǎn)生的成本。主要包括以下兩部分:(1)項目管理成本,其中包括向項目受益者免費提供的物品的成本;(2)項目受益者付出的成本,其中包括項目受益者參加會議、獲取物品等付出的時間成本。
由于不同項目的實施時間前后相差20 多年,因此需要考慮成本的時間價值。而項目涉及不同國家,則需要考慮匯率換算問題。對于跨時間的折現(xiàn)問題,本文選取2011 年作為基準年,即項目成本均用2011 年美元的價值表示。而對于跨地區(qū)的匯率換算問題,本文使用了各國公布的標準匯率,而不是購買力平價(PPP)方法計算出的匯率。具體換算方法如下:
(1)將項目成本根據(jù)標準匯率換算為美元,匯率采用成本發(fā)生當年匯率。
(2)對于多年期的項目,采用10%的折現(xiàn)率,將非基線年份的成本折算為基線年份“美元”的現(xiàn)值。
(3)再用美元的平均通貨膨脹率將基線調(diào)研年份的成本(以美元表示的)換算為2011 年美元表示的成本。
上述換算方法也可進行調(diào)整,但重要的是保持參與對比的不同項目使用同樣的換算方法。
1. 干預的分類
對于中國教育領(lǐng)域的隨機干預實驗研究,本文匯總了來自16 項研究的18 種干預方式。研究對象均以農(nóng)村小學生或初中生為主,項目實施時間分散在2008 年到2016 年之間。從干預內(nèi)容看,可以將其分為四類(具體見表3,具體干預內(nèi)容可查閱引用文章的原文)。
一是視力方面的干預項目,通過向低視力的小學生或初中生提供免費眼鏡或眼鏡券,改善學生視力情況,進而促進學生學業(yè)表現(xiàn)的提升。
二是提供有條件的轉(zhuǎn)移支付項目,即CCT 項目(Conditional Cash Transfer),包括事先資助承諾(例如,承諾若考上高中可資助高中期間的學習費用,以減緩對未來經(jīng)濟方面壓力的預期)等,以改善學生的學習動力,進而促進學生的學習。
三是以解決學生缺鐵性貧血為目標的干預,主要包括向家長提供缺鐵性貧血方面的信息干預,或者向?qū)W?;?qū)W生提供含鐵的多維元素片。
四是計算機輔助學習項目,通過向?qū)W校提供計算機、提供計算機學習軟件等,利用計算機對學生開展課上或課下的輔導。
需要說明的是,上述干預類別的劃分并非教育領(lǐng)域可行干預的完全劃分,僅是根據(jù)成本數(shù)據(jù)的可得性進行的劃分。
2. 項目成本效益分析對比結(jié)果
單就項目的影響效果(使用點估計估計出的影響效果)來看(見表3 第6 列),多數(shù)項目的干預效果差異不大,大多在0.1—0.2 個標準差之間。這也表明僅依據(jù)項目的影響效果,決策者可能很難作出決策。
本文的成本效益用每100 美元(2011 年價格)可實現(xiàn)的影響效果(標準差)來表示。影響效果使用了點估計值和90%置信區(qū)間估計值,估計出的成本效益分別為表3 的第7—9 列。圖1 使用更直觀的形式呈現(xiàn)了成本效益的變動范圍。從單個干預的成本效益來看,成本效益最高的均為計算機輔助學習類項目。首先是“計算機技術(shù)”項目(項目17),平均每名學生100 美元的投入,可使其學業(yè)表現(xiàn)提高4.17 個標準差(點估計值)。其次為“校內(nèi)計算機輔助學習項目”(項目15),即通過計算機在課堂時間(而非課后時間)對學生進行輔助,平均每名學生100 美元的投入,可使其學業(yè)表現(xiàn)提高4.13 個標準差(點估計值)。
從項目類別總體來看,雖然在每一類別中單個項目的成本效益仍有較大差異,例如計算機輔助學習類項目中有成本效益較高的項目(例如項目15 和17:校內(nèi)計算機輔助學習項目和計算機技術(shù)項目),也有成本效益較低的項目(項目18:信息溝通技術(shù)項目),但按類別總體來看這些項目仍然表現(xiàn)出顯著的趨勢性。其中,計算機輔助學習類的項目成本效益最高,其次是改善學生缺鐵性貧血的項目,再次為視力類項目。CCT 項目均未有顯著影響效果,因此排在最后。但相關(guān)研究也表明,即使該類項目有顯著影響效果,其成本也是相對較高的,即成本效益即使不為零,也應(yīng)相對很低。
1. 干預的分類
在選取國外開展的隨機干預實驗研究時,面臨著同樣的問題:已發(fā)表的論文多數(shù)僅報告了項目的影響效果,而未提及項目的成本數(shù)據(jù)。J-PAL 在這方面進行了大量有益探索。因此,本文所分析的國外教育領(lǐng)域的隨機干預實驗研究主要來自于J-PAL。
本文匯總了來自于17 項研究的共30 項干預措施。項目時間跨度較大,分散在1997 年至2008 年之間。項目實施范圍也較廣,涵蓋了印度、印度尼西亞、菲律賓、肯尼亞、阿富汗、哥倫比亞、馬拉維、馬達加斯加等眾多發(fā)展中國家。從項目實施對象來看,項目實施對象均為中、小學生。根據(jù)Amy 等人(2019)的框架,本文將30 項干預分為了四大類(具體見表4)。(1)需求方干預(Demand-side Intervention)。即能夠改變家庭對于孩子上學的需求或孩子對于上學需求的干預。這包括有條件的轉(zhuǎn)移支付、獎學金項目、向家庭提供教育回報信息等。(2)學校投入類干預(School Inputs),通過投入改善學校硬件設(shè)備或教師等軟件的質(zhì)量,這具體包括改善學校質(zhì)量、提供電腦、增加教師以縮小班級規(guī)模、提供教科書、建設(shè)圖書館等。(3)教學教法類的干預(Pedagogical Interventions),即改變教學教法、提升教學效率。這具體包括培養(yǎng)閱讀技巧、有針對性的反饋等方法。(4)學校管理類的干預(School Governance Interventions),即改善學校的管理模式、管理制度等。這具體包括改進學校管理委員會、學生根據(jù)成績可以流動、對教師實行績效工資等。
續(xù)表4
2. 項目成本效益對比分析結(jié)果
從對比的30 項干預項目來看,其中15 項有顯著正向影響效果,其余15 項影響效果不顯著。在有顯著影響效果的項目中,影響效果的大小差異也較大,自0.10 到0.59 個標準差不等。這也表明,隨著項目實施范圍的擴大,項目效果的差異性也開始增大。
圖2 呈現(xiàn)了各干預的成本效益情況,以每100 美元可實現(xiàn)的影響效果大小為分析單位。從單個項目的成本效益來看,合同制教師(表4,第10 項干預)項目(在正常編制之外,由學校決定額外雇傭的合同制教師)成本效益為負值(即不僅沒有增加成本,而且節(jié)省了成本),在各類干預中成本效益最高。其次,通過家長會向家長提供教育回報率信息項目(表4,第4 項干預)成本效益也較高,每名學生100美元的支出可以帶來118 個標準差的提高。換言之,要實現(xiàn)0.2 個標準差(通常項目的干預效果大?。┑膶W業(yè)表現(xiàn)的提升只需要為每名學生支出0.17 美元。這體現(xiàn)了信息類干預的兩面性:一方面信息類干預通常難以真正促進干預對象行為的改變,因此很難有顯著的影響效果;但另一方面,信息類干預通常成本也較低,這表明若信息類干預能夠取得顯著的影響效果,通常也將是成本效益相對較高的。這也可能是雖然信息干預通常效果不好,但仍有較多研究者不斷嘗試使用信息干預、不斷改進信息干預的原因。
圖2 國外學生學業(yè)表現(xiàn)干預類項目成本效益分析
有15 項干預的影響效果并不顯著。根據(jù)前面的分析,對于點估計不顯著的干預項目來說,不論成本如何都應(yīng)被認定為成本效益相對較低。在這些不顯著的干預項目中,同樣包括CCT 項目,即有條件的轉(zhuǎn)移支付項目。即使是影響效果顯著的CCT 項目,成本效益也相對較低(第2 和第3 項干預)。結(jié)合在中國的研究來看(在中國的CCT 項目也均沒有顯著的影響效果),在教育領(lǐng)域CCT 項目通常難以達到顯著的影響效果;即使能夠有影響效果,也是成本相對較高、成本效益較低的。因此,在財政資源相對緊缺的發(fā)展中國家,CCT 類的干預項目難以成為優(yōu)先的選擇。
再從各大類干預的效果來看。各大類干預并未表現(xiàn)出明顯的趨勢性,因而,并不容易判斷出哪類干預成本效益相對更高。例如,在學校投入類的干預中,既有顯著的干預,例如計算機輔助學習(第13 項干預),也有不顯著的干預,例如每人一臺電腦(第12 項干預);既有成本效益相對較高的干預,也有有顯著影響效果但成本效益不高的干預。這表明,隨著對比范圍的擴大(包括時間跨度的擴大、地理范圍的擴大等),各類干預的效果及成本效益越來越受到具體環(huán)境的影響。某類干預在一些國家實施可能有效果或成本效益較高,但在另外一些國家可能沒有顯著影響效果或成本效益較低。這向借鑒其他國家教育領(lǐng)域的隨機干預實驗經(jīng)驗提出了挑戰(zhàn)。這表明,在借鑒時應(yīng)當具體問題具體分析,應(yīng)該根據(jù)本地的實際情況合理地設(shè)計、執(zhí)行項目,而不只是簡單的照搬、照抄其他國家的成功經(jīng)驗,這樣才能夠真正有效果并且成本更低。
但總體來看,學校管理類的項目成本效益相對更高,這表現(xiàn)在兩個方面:一方面,在所有干預中,有顯著影響效果的干預的比例更高;另一方面,有顯著影響效果的干預,成本效益也普遍相對較高。這可能因為管理問題是一個相對普遍的問題,無論何時、無論在哪個國家,加強學校的管理、設(shè)計更好的管理制度都是必要的。這可能與其他投入不同。例如,計算機輔助學習項目可能不是任何國家、在任何時間都值得優(yōu)先開展的項目。某些國家可能不具備提供計算機的條件,例如學生甚至教師不會使用計算機;或相對計算機,學生更缺少教材等其他硬件條件。但管理制度則不同,任何時候、任何國家都可能需要對教師進行更合理的激勵制度設(shè)計,例如支付績效工資而并非固定工資,更自由、根據(jù)所需選拔教師的制度等。
對于上述分析和討論,需要做以下兩點說明:
一是上述關(guān)于中國農(nóng)村教育領(lǐng)域及國外教育領(lǐng)域干預成本效益的討論僅是基于數(shù)據(jù)的可獲得性,尤其是成本數(shù)據(jù)的可獲得性。也可能有其他成本效益更高的干預項目,但因成本數(shù)據(jù)難以獲得而未能納入分析范圍。雖然如此,上述結(jié)論仍然具有重要的參考意義。
為更全面了解國內(nèi)外教育領(lǐng)域隨機干預實驗的開展情況及干預的有效性情況,依據(jù)Amy 等人(2019)的研究,本文在表5 中展示了自1990 年至2014 年間國內(nèi)外教育領(lǐng)域開展的共71 項隨機干預實驗研究。這些研究均以學業(yè)表現(xiàn)為主要結(jié)果變量,包含了37 種具體的干預措施,其中需求方干預10 項(涉及17 項研究)、學校投入類干預17 項(涉及21 項研究)、教學教法類干預5 項(涉及16 項研究)和學校管理類干預5 項(涉及17 項研究)。由于并不完全掌握成本數(shù)據(jù),該表僅以干預效果的大小及顯著性對項目進行分類:(1)“有效”干預5 項;(2)“多數(shù)或經(jīng)常有效”干預5 項;(3)“無效”干預1 項;(4)“可能有效但需要更多證據(jù)”的干預9 項;(5)“暫時無效但需要更多研究”的干預17 項。具體內(nèi)容可參見表5。該表表明,某些干預可能影響效果比較顯著,但由于缺少成本數(shù)據(jù),我們并不能明確其成本效益情況,例如建設(shè)新學校。
表5 學業(yè)表現(xiàn)類隨機干預實驗匯總表(1990 年—2014 年)
二是上述分析也體現(xiàn)出當前成本效益分析存在的局限性。若僅討論某類干預是否有顯著影響效果,可以通過Systematic review、Meta-analysis 等方法將多項不同干預根據(jù)一定規(guī)則加總,計算出平均的影響效果。但在成本效益計算時,尚未形成如何處理此類加總問題的方法。例如,關(guān)于學校管理制度的多項干預,有些成本效益高,有些成本效益低,而有些干預效果還不顯著。如何將這些不同干預的成本效益加總為一個綜合評價指標,并從整體上判斷某些干預相對于另外一些干預是否具有更高的成本效益(例如,是否學校管理方面的干預要優(yōu)先于學校投入方面的干預),這是一個值得思考的問題。因此,成本效益分析方法有待進一步的深入、完善。
成本效益分析是對項目進行對比的一種重要方法。教育領(lǐng)域大量隨機干預實驗項目的開展,一方面為成本效益的對比分析提供了條件,隨機干預實驗使影響效果的評估更為準確,也使成本數(shù)據(jù)的核算更為精確,從而使成本效益分析更容易操作、更可行。另一方面也對成本效益分析提出了需求,大量有效干預的提出需要對比、選擇。本文對基于隨機干預實驗的成本效益分析的基本概念、基本原則及實際操作過程中可能出現(xiàn)的問題和應(yīng)對辦法進行了總結(jié),明確了成本效益分析的重要方面及注意事項,以期為推動成本效益方法的更多、更規(guī)范地使用提供有益的嘗試與探索。
本文也對農(nóng)村教育領(lǐng)域國內(nèi)和國外開展的隨機干預實驗項目的成本效益進行了匯總對比。結(jié)果表明,與國際經(jīng)驗相類似,計算機輔助學習類項目具有相對較高的成本效益。無論是國際經(jīng)驗還是國內(nèi)經(jīng)驗均表明,有條件的轉(zhuǎn)移支付類項目(CCT 項目)通常成本效益較低,因而并不是值得優(yōu)先選擇的項目。上述對比分析也表明了在借鑒其他經(jīng)驗時,具體問題具體分析、結(jié)合當?shù)貙嶋H情況合理設(shè)計、執(zhí)行項目的重要性。
基于在中國農(nóng)村教育領(lǐng)域開展的隨機干預實驗及上述討論、總結(jié),為更好地進行成本效益的對比分析,本文建議應(yīng)注意以下問題:
一是需要注意項目實施過程中對成本數(shù)據(jù)的保留、項目調(diào)研中對成本數(shù)據(jù)的收集。成本效益分析最重要的環(huán)節(jié)是對成本的準確核算。一方面,隨機干預實驗的實施為測量項目的成本提供了條件,但應(yīng)在項目實施過程中認真留存每一環(huán)節(jié)的成本數(shù)據(jù),從而盡量避免粗略的估算以使成本核算更有據(jù)可查、更為精確。另一方面,要對項目成本的構(gòu)成認真分析,盡量通過實際的調(diào)研數(shù)據(jù)(例如基線調(diào)研和評估調(diào)研)收集必要的成本數(shù)據(jù)。例如,對于受益人承擔的成本,必須要通過對受益人的調(diào)研獲得。而對于免費眼鏡的市場價格的估算,使用調(diào)研數(shù)據(jù)中樣本對象平均購買眼鏡價格顯然比直接使用估算的市場價格更為合理。
二是要促進成本效益分析的規(guī)范化。同樣是成本效益分析,統(tǒng)計口徑的不同、使用方法的不同等將使結(jié)果產(chǎn)生巨大差異。對不同項目進行成本效益對比(尤其是對比不同研究團隊項目的成本效益),最重要的前提是要使用相同的成本效益計算方法。在成本效益計算的每個環(huán)節(jié)中,盡量使用統(tǒng)一的方法或模板。
三是在研究成果中應(yīng)重視對成本數(shù)據(jù)的匯報。當前基于隨機干預實驗的相關(guān)研究,多注重對效果的評估,即對“效益”的分析。本文的對比分析表明,僅報告項目的影響效果對于政策選擇來說是不夠的。目前僅有少量研究報告了項目的成本效益,但即使是這些研究對成本數(shù)據(jù)細節(jié)的報告也相對不足。若不能明確成本細節(jié),就難以判斷其成本核算方法是否正確、是否具有可比性。
四是應(yīng)參照國際經(jīng)驗、結(jié)合中國實際,在教育領(lǐng)域開展更多元化的、符合成本效益原則的隨機干預實驗項目。對于影響效果顯著、但成本效益并不明確的干預項目,也應(yīng)積極嘗試,為成本效益對比提供更多證據(jù)。中國教育領(lǐng)域可以在如下幾方面開展更多研究。一是學校管理類項目。國際經(jīng)驗表明,學校管理類項目具有相對較高的成本效益,但該類項目在中國開展仍相對不足。國際經(jīng)驗為未來研究提供了兩個重要方向,一是對教師激勵制度的設(shè)計,如何合理設(shè)計工資制度(例如像企業(yè)一樣實行績效工資)、晉升制度等來激勵教師的積極性;二是教師的選拔或流轉(zhuǎn)制度,即如何招聘教師、招聘哪類教師、教師的合理流轉(zhuǎn)等,尤其是在當前促進教育資源公平化的大背景下,如何促進城鄉(xiāng)之間教育資源的合理流動。二是基于需求方的干預。在教育領(lǐng)域(包括在中國)開展的針對需求方的可轉(zhuǎn)移支付類項目成本效益均不高。結(jié)合中國實際,未來基于需求方的干預可以更多地關(guān)注兒童的營養(yǎng)健康問題和心理健康問題(校園欺凌、同伴關(guān)系等帶來的厭學問題等)。三是教學教法類的干預。國際經(jīng)驗表明,教學教法類的干預也具有相對較高的成本效益。但可能因為國內(nèi)班級規(guī)模相對較大(尤其是農(nóng)村地區(qū))、一些新的教學教法對教師的要求也相對較高,該類項目未能有效開展。中國教育條件的不斷改善,為更多樣化的教學教法創(chuàng)造了條件、同時也提出了需求,例如更強調(diào)啟發(fā)式的教育、根據(jù)學生水平有針對性開展的教育等。根據(jù)中國實際,借鑒國際經(jīng)驗,在中國教育領(lǐng)域應(yīng)促進干預措施的多元化,從而進一步提高干預措施的針對性,在逐步積累成本效益數(shù)據(jù)的基礎(chǔ)上,為探索和發(fā)現(xiàn)更符合中國實際、更具有成本效益的政策措施創(chuàng)造條件。
成本效益分析是對項目進行綜合評價的一種重要方法。雖然目前該方法仍有許多不完善之處(例如,如何將多個項目的成本效益加總),在推廣使用的過程中也有諸多阻礙(例如,如何推進使用相同的成本效益計算方法),但在隨機干預實驗開展過程中更為重視成本效益分析并使其成為隨機干預實驗項目分析必不可少的一部分,仍是未來隨機干預實驗項目的重要發(fā)展方向。