●劉金文 許明麗
財政部2021年8月發(fā)布的《第三方機(jī)構(gòu)預(yù)算績效評價業(yè)務(wù)監(jiān)督管理暫行辦法》(以下簡稱《暫行辦法》)第四條規(guī)定:縣級以上人民政府財政部門(以下簡稱財政部門)依法依規(guī)對第三方機(jī)構(gòu)及其工作人員從事預(yù)算績效評價業(yè)務(wù)進(jìn)行管理和監(jiān)督。第二十三條規(guī)定:財政部門應(yīng)當(dāng)依法依規(guī)加強(qiáng)對第三方機(jī)構(gòu)預(yù)算績效評價執(zhí)業(yè)質(zhì)量的監(jiān)督檢查。
績效評價報告是績效評價業(yè)務(wù)的最終成果,可以直接反映出績效評價工作的執(zhí)業(yè)質(zhì)量。根據(jù)《暫行辦法》的要求,湖北省武漢市東湖高新區(qū)財政局預(yù)算績效管理辦公室針對2021年開展的16個財政評價項目的績效評價報告,組織來自高校、第三方機(jī)構(gòu)和績效管理研究會的6名專家進(jìn)行了評審,履行對第三方機(jī)構(gòu)預(yù)算績效評價執(zhí)業(yè)質(zhì)量的監(jiān)督檢查,做到專業(yè)對口、多重角度、權(quán)威性強(qiáng),為保證評審質(zhì)量提供了智力支持。
評審標(biāo)準(zhǔn)是根據(jù)2020年12月湖北省市場監(jiān)督管理局發(fā)布的湖北省地方標(biāo)準(zhǔn)DB42/T1601.3—2020《第三方機(jī)構(gòu)參與預(yù)算績效管理第3部分:報告編制規(guī)范》(以下簡稱《規(guī)范》)?!兑?guī)范》中對評價報告的基本要求為:報告編寫應(yīng)格式規(guī)范、內(nèi)容完整;評價結(jié)論應(yīng)客觀公正、依據(jù)充分;文字表達(dá)應(yīng)邏輯清晰、重點突出。根據(jù)這些要求,我們確定評審規(guī)則為:達(dá)到前兩個要求才能評為C,達(dá)到前三個要求才能評為B,只有專家認(rèn)為結(jié)論可用即應(yīng)用建議具有獨到見解或得到領(lǐng)導(dǎo)認(rèn)可才能評為A。對照這些標(biāo)準(zhǔn),專家評審結(jié)果情況為:16份報告的質(zhì)量評級中,4個為A,9個為B,3個為C。
東湖高新區(qū)本次財政評價的16個項目覆蓋了部門運轉(zhuǎn)類支出、公共衛(wèi)生支出、基本建設(shè)支出、城市治理及維護(hù)專項資金、支持產(chǎn)業(yè)發(fā)展專項資金及土地專項支出等。16個項目中1個為部門整體評價,2個為政策類評價,13個為項目支出類評價(其中:1個支出項目為運轉(zhuǎn)類經(jīng)費,12個支出項目為專項資金)。16個項目分別由10家第三方機(jī)構(gòu)完成并出具績效評價報告。
本文認(rèn)為,不論從資金管理角度還是第三方機(jī)構(gòu)的參與情況,參評樣本都具有一定的代表性,通過分析評價報告中存在的普遍問題,有助于第三方機(jī)構(gòu)規(guī)避撰寫高質(zhì)量評價報告時的常見問題,從而為提升財政評價的整體效果提供借鑒。
從評價等級標(biāo)準(zhǔn)來看,“格式規(guī)范、內(nèi)容完整、客觀公正、依據(jù)充分”是基本要求,四項符合才能達(dá)到合格,評為C級,有任何一項不符合,只能評為D。在C的基礎(chǔ)上,“邏輯清晰、重點突出”才能算是良好,評為B級;在B的基礎(chǔ)上有思路創(chuàng)新或“建議可用”,才能評為A。根據(jù)評價標(biāo)準(zhǔn),分析16個項目的績效評價報告,本文將共性問題歸納如下:
《規(guī)范》中對格式和內(nèi)容提供了參照的藍(lán)本,如格式包括封面、目錄、字體、字?jǐn)?shù)等。專業(yè)版的內(nèi)容包括三部分:評價結(jié)論、佐證材料、原始材料;縮略版只需要前兩部分。但對“客觀公正、依據(jù)充分”只能根據(jù)專家的專業(yè)判斷進(jìn)行評定。雖然所有報告都在C級以上,但在評審中發(fā)現(xiàn),有些細(xì)則還不夠規(guī)范,沒達(dá)到標(biāo)準(zhǔn)要求:
1、格式不規(guī)范
(1)封面不統(tǒng)一:有的為“湖北省績效評價報告”,有的為“武漢市預(yù)算績效評價報告”,有的為“東湖高新區(qū)績效評價報告”,目錄中有的加了“前言”,大部分沒有。
(2)字體,沒有嚴(yán)格區(qū)分一、二、三級標(biāo)題的字體和粗細(xì)。
(3)字?jǐn)?shù),報告縮略版字?jǐn)?shù)9000字左右,正文第一部分評價結(jié)論字?jǐn)?shù)宜在1500字左右,即佐證材料字?jǐn)?shù)宜7500字左右。但大多數(shù)報告沒有按照字?jǐn)?shù)提供,特別是第一部分沒有控制字?jǐn)?shù)在1500字。
(4)圖表,規(guī)范中沒有提出具體要求,有的報告有表格、有的沒有,多數(shù)沒有統(tǒng)一編號。
(5)附件不一致:有的提供了其他佐證材料,有的提供了原始資料。
以上情況實際統(tǒng)計見表1。
2、內(nèi)容不完整。16份績效評價報告中,提供專業(yè)版的為5份、提供縮略版為9份、未標(biāo)注版本的為2份;有的專業(yè)版的佐證材料中只有基本情況、評價工作開展情況、績效指標(biāo)完成情況分析,沒有提供其他佐證材料。有外聘專家的,沒有附專家意見書。其他佐證材料的內(nèi)容不完整、不統(tǒng)一。
3、標(biāo)準(zhǔn)不客觀??陀^公正主要通過審閱佐證材料中的績效評價工作開展情況進(jìn)行考察。一是評價目的、對象和范圍是否明確;二是評價抽樣情況、評價方法和時間安排等是否合理,一般來說評價報告應(yīng)選擇兩種以上評價方法進(jìn)行分析;三是評價指標(biāo)體系和綜合評分方法是否科學(xué)、評分標(biāo)準(zhǔn)是否客觀。
表1東湖高新區(qū)16個重點績效評價報告格式情況表
評審中,對象和范圍都很明確,評價方法多數(shù)在兩種以上,一級和二級評價指標(biāo)都符合共性指標(biāo)框架,設(shè)計了與項目相關(guān)的三級指標(biāo)。但也存在以下問題:一是評價方法籠統(tǒng),多數(shù)報告采用了成本效益法、比較法、因素分析法、公眾評判法等,沒有說明具體方法在實施評價工作中的具體應(yīng)用,如公眾評判法通常包括專家評估、公眾問卷及抽樣調(diào)查等,只有1個項目聘請了專家,但沒有出具專家意見書,多數(shù)項目進(jìn)行了問卷調(diào)查,但沒有介紹抽樣的方法、樣本的比例、設(shè)計問題對具體指標(biāo)評分的支撐。二是分值權(quán)重?zé)o依據(jù)。一級指標(biāo)中產(chǎn)出和效益不低于60分,但多數(shù)報告中一級指標(biāo)的分值分配只有結(jié)果沒有設(shè)計思路和具體說明,權(quán)重分配具有隨意性,如滿意度分值差別很大,最低的為3分,最高的為12分。三是評分標(biāo)準(zhǔn)不具體。三級指標(biāo)只有分值權(quán)重,沒有評分標(biāo)準(zhǔn)要點,打分扣分存在較強(qiáng)的主觀隨意性,定量指標(biāo)沒有計算公式,定性指標(biāo)沒有明確得分等級。
4、依據(jù)不充分。依據(jù)是否充分,主要是看佐證材料中其他佐證材料是否完整,評價結(jié)論、績效指標(biāo)完成情況分析、存在的問題和原因及結(jié)果應(yīng)用建議等內(nèi)容是否有據(jù)可依,是否保證有足夠的相關(guān)數(shù)據(jù)、文字等論據(jù)對論點進(jìn)行支撐。如有的“績效指標(biāo)完成情況分析”只對具體指標(biāo)的標(biāo)準(zhǔn)分值及得分情況進(jìn)行說明,沒有將目標(biāo)值與實際值進(jìn)行對比分析,沒有詳細(xì)表述比較結(jié)果、扣分情況;有的問卷調(diào)查只有最終結(jié)果,沒有提供問卷設(shè)計及統(tǒng)計情況。
一是評價結(jié)論中,相關(guān)評分表的格式內(nèi)容不一致,雖然都有總體打分和等級,有的列示到所有三級指標(biāo)得分,有的只列示到二級指標(biāo),有的只列出一級指標(biāo)得分。報告展示內(nèi)容的詳略程度不一樣,給使用者提供的重點信息就不一樣。
二是績效目標(biāo)完成情況分析中,重點不突出,有的是三級指標(biāo)進(jìn)行逐個分析,沒有對完成情況進(jìn)行總體評價、針對完成的指標(biāo)總結(jié)取得的成績、針對未完成的指標(biāo)進(jìn)行重點分析并簡要說明原因。有的是對指標(biāo)得分情況進(jìn)行了簡單的羅列,未深入分析得分和扣分的標(biāo)準(zhǔn)和原因,也未對照失分指標(biāo)進(jìn)行問題總結(jié)。造成績效指標(biāo)完成情況中的失分指標(biāo)和存在問題的分析部分前后脫節(jié)、邏輯不一的情況。
三是問題原因建議的邏輯性不強(qiáng)。多數(shù)報告能從績效指標(biāo)完成情況中找出問題,但沒有針對績效指標(biāo)完成情況進(jìn)行具體原因分析;多數(shù)報告針對存在的問題提出了相應(yīng)的結(jié)果應(yīng)用建議。但也存在完成情況與具體原因不相互對應(yīng)、應(yīng)用建議與存在問題關(guān)聯(lián)性不強(qiáng)的現(xiàn)象。如有的問題歸因為機(jī)構(gòu)改革,有的問題歸因為主體責(zé)任意識不強(qiáng),但機(jī)構(gòu)改革完成后問題就會迎刃而解,邏輯性不強(qiáng)。
在評審中強(qiáng)調(diào),有以下情況之一可以評為A級報告:一是指部門主要負(fù)責(zé)人在評價報告對應(yīng)的評價結(jié)果上作出明確批示,評價結(jié)果在工作中得到應(yīng)用的;二是指受托參與報告評級的專家學(xué)者認(rèn)定有獨到見解,并有理念或思路創(chuàng)新,對相關(guān)段落、語句作出提示,出具推薦詞的。從目前來看,還沒有領(lǐng)導(dǎo)在評價結(jié)果上作出明確批示,只能依據(jù)專家的評定。從專家的評定來看,有理念或思路創(chuàng)新,對改進(jìn)部門(單位)預(yù)算管理、提升財政資金使用效益具有實際意義或指導(dǎo)作用的只有疫情防控經(jīng)費、垃圾收運服務(wù)及處置生態(tài)補(bǔ)償費、湖北今日頭條、武漢華星光電等4個項目,報告質(zhì)量均被評為A級。多數(shù)評價結(jié)論和建議只是就事論事,針對項目指標(biāo)完成情況提出管理改進(jìn)的建議,能為預(yù)算安排和財政管理提供建議的不多,建議的實踐指導(dǎo)性和可用性不強(qiáng)。
績效評價工作經(jīng)過三個階段完成,需要將前期準(zhǔn)備、評價過程、工作成果的所有內(nèi)容體現(xiàn)在最終的評價報告中,因此,績效評價報告是績效評價工作質(zhì)量的集中體現(xiàn),是完成績效評價工作的最后一步也是最重要的一步。以高質(zhì)量績效評價報告為載體,有助于進(jìn)一步強(qiáng)化各單位績效管理理念,為相關(guān)部門完善政策制度、填補(bǔ)管理漏洞、優(yōu)化預(yù)算安排提供專業(yè)參考。
本文認(rèn)為,在認(rèn)真完成前期工作的基礎(chǔ)上,撰寫績效評價報告必須做到以下幾點:
《規(guī)范》的格式就是報告的框架,一份標(biāo)準(zhǔn)的報告起碼要在外表上符合框架的要求,如封面、結(jié)構(gòu)、字體、字?jǐn)?shù)的要求。
1、統(tǒng)一封面格式。報告封面應(yīng)該反映三個方面內(nèi)容:一是委托部門的名稱,是哪一級財政部門委托就寫哪一級的名稱,如東湖高新區(qū)財政績效評價報告;二是預(yù)算部門和項目名稱,應(yīng)該反映具體項目的報告,如2020年度農(nóng)貿(mào)市場改造項目績效評價報告;三是評價單位名稱,具體是指接受委托的第三方機(jī)構(gòu),包含兩名主評人信息,如果聘請專家的要標(biāo)明專家名稱。
2、遵守報告框架。報告框架包括評價結(jié)論、佐證材料、原始材料三個層次,專業(yè)版要提供三部分的完整資料,縮略版只提供前兩部分材料;每個一級標(biāo)題下的二、三級標(biāo)題都應(yīng)該有相應(yīng)內(nèi)容作為支撐。
3、控制字體字?jǐn)?shù)。報告字體要區(qū)分不同級別標(biāo)題的字體字號,只對一、二級標(biāo)題加粗,二級以下視同正文,不應(yīng)加粗,這樣才能有立體感和層次感。字?jǐn)?shù)上不僅要控制總字?jǐn)?shù),還要區(qū)分重點,才能體態(tài)均稱、符合標(biāo)準(zhǔn)。如縮略版的總字?jǐn)?shù)不超9000字,其中:評價結(jié)論1500字左右,佐證材料7500字左右。原始材料可以不限字?jǐn)?shù)。
《規(guī)范》雖然提供了參照藍(lán)本,多數(shù)報告也能按照格式完成,但在內(nèi)容上與具體要求不符。因此,必須領(lǐng)會標(biāo)題下的具體內(nèi)容要求,全面反映第三方機(jī)構(gòu)評價項目的工作成果,體現(xiàn)出每個項目的內(nèi)在實質(zhì),便于委托人完全了解委托項目的績效情況。
1、區(qū)分績效目標(biāo)完成情況分析與績效指標(biāo)完成情況分析。第一部分“評價結(jié)論”中有“績效目標(biāo)完成情況分析”,第二部分“佐證材料”中有“績效指標(biāo)完成情況分析”,多份報告沒有進(jìn)行明顯區(qū)分,都是針對三級指標(biāo)完成情況進(jìn)行說明,只是詳略程度不同。實質(zhì)上,兩者是有區(qū)別的,“績效目標(biāo)完成情況分析”重點在于總結(jié)性評價總體績效目標(biāo)的完成情況、一級指標(biāo)完成情況和未完成情況,不需要對具體指標(biāo)(二、三級指標(biāo))進(jìn)行分析;“績效指標(biāo)完成情況分析”則要針對三級指標(biāo)逐個分析,并詳細(xì)表述比較結(jié)果和偏離原因及扣分、得分情況。
2、區(qū)分績效評分表與績效指標(biāo)體系表。第一部分“評價結(jié)論”的“評價分?jǐn)?shù)和等級”內(nèi)容中要求附相關(guān)評分表,即績效評分表;第二部分“佐證材料”的“績效評價工作開展情況”內(nèi)容中要求提供評價指標(biāo)體系和綜合評分方法,也就是績效指標(biāo)體系表。多份報告沒有進(jìn)行區(qū)分,在第一部分將所有指標(biāo)的分值、扣分、得分情況全部呈現(xiàn)出來,第二部分中也將所有指標(biāo)的分值權(quán)重、評分標(biāo)準(zhǔn)列示出來,這樣導(dǎo)致報告的重點不突出及第一部分的字?jǐn)?shù)超標(biāo)。實質(zhì)上,第一部分的“績效評分表”只需呈現(xiàn)一級指標(biāo)的分值、得分情況及評價總得分和評價等級,二、三級指標(biāo)的具體設(shè)計內(nèi)容(名稱、分值、評分要點、評分標(biāo)準(zhǔn))在第二部分“績效指標(biāo)體系表”列示,具體扣分、得分情況在“績效指標(biāo)完成情況分析”中說明。
3、區(qū)分其他佐證材料與原始材料。第二部分“佐證材料”是反映績效評價的過程材料,為評價結(jié)論提供支撐,包括基本情況、績效評價工作開展情況、績效指標(biāo)完成情況分析、上年度評價結(jié)果應(yīng)用情況和其他佐證材料;第三部分“原始材料”是對佐證材料有支撐作用的備查材料,如相關(guān)資料復(fù)印件、對比分析數(shù)據(jù)來源和計算過程等文件。評審發(fā)現(xiàn),有些報告沒有提供“其他佐證材料”,都作為原始材料備查,不便于委托部門或評審專家對“評價結(jié)論”是否依據(jù)充分進(jìn)行審定。實質(zhì)上,“其他佐證材料”應(yīng)該是一些評價結(jié)論的證明性材料,如評價對象由不同單位或子項目組成時,應(yīng)該附有不同評價對象的評分情況;工作中有外聘專家,應(yīng)附專家意見書?!霸疾牧稀笔亲C明材料的說明性材料,如預(yù)算績效評價實施方案、基礎(chǔ)數(shù)據(jù)報表、數(shù)據(jù)核查確認(rèn)報告、預(yù)算績效評價工作底稿及附件、調(diào)查問卷等。如滿意度通過問卷調(diào)查得到95%,是結(jié)論,可以得到相應(yīng)分值,那么,“其他佐證材料”中應(yīng)該提供問卷統(tǒng)計結(jié)果,“原始材料”中應(yīng)該提供調(diào)查問卷原稿。
報告的“評價結(jié)論”部分是整個評價工作的結(jié)果,是報告全部內(nèi)容的濃縮,是部門領(lǐng)導(dǎo)、委托單位、評審專家最關(guān)心的內(nèi)容,也是評價報告最出彩的部分。報告怎樣出彩、結(jié)論怎樣有用?我們認(rèn)為需要從以下方面用心提煉和歸納。
1、重點突出,問題清楚。存在問題一般是通過績效指標(biāo)評價分析結(jié)果來反映的,通常來講指標(biāo)評價分析扣分的地方就是問題的所在。在第二部分“績效指標(biāo)完成情況分析”中,一般都會針對三級指標(biāo)詳細(xì)表述績效目標(biāo)與實際完成情況的比較結(jié)果和偏離原因,所以,在第一部分的“評價結(jié)論”中,需要歸納提煉績效管理的主要問題或不同資金使用單位的共性問題,并說明清楚,而不是列舉指標(biāo)完成情況的所有問題,不需要面面俱到。
2、邏輯清晰,原因透徹。任何結(jié)果都有一定的原因,結(jié)果與原因要有關(guān)聯(lián)性。針對列示的問題查找原因要遵循邏輯、符合規(guī)律,不能針對目標(biāo)完成情況只看表面現(xiàn)象,要深入透徹分析,找到問題的根源,并得到項目實施各層級管理者的接受和認(rèn)可。只有這樣針對問題導(dǎo)向,才能提出解決的方向和途徑。
3、建議明確,直接可用。建議是濃縮的精華,是整個報告的核心。針對反映的問題和原因分析,要圍繞提升項目績效管理、改善管理模式、優(yōu)化預(yù)算資金安排、調(diào)整資金支出方向和政策等方面提出建議。財政部門歸口業(yè)務(wù)科室要深度參與績效評價工作,就績效評價的重點方向、具體要求、績效指標(biāo)設(shè)置、報告修訂等工作與第三方機(jī)構(gòu)反復(fù)溝通交流,增強(qiáng)評價報告準(zhǔn)確性和公允性。關(guān)于如何提高資金支出績效,要對部門(單位)及項目改進(jìn)績效管理、提升績效目標(biāo)完成程度有用;關(guān)于如何改善管理模式,要對業(yè)務(wù)主管部門加強(qiáng)行業(yè)管理、提高管理效率有用;關(guān)于優(yōu)化預(yù)算資金安排,要對財政部門安排下年度預(yù)算、提高財政資金配置效益有用;關(guān)于調(diào)整支出方向和政策,要對黨委政府的政策制定部門是否延續(xù)、調(diào)整或取消政策有用。
總之,撰寫績效評價報告是整個績效評價工作的“最后一公里”,要全面反映全部績效評價工作的最終成果,體現(xiàn)整個績效評價工作的整體質(zhì)量。需要努力做到評價準(zhǔn)備有方向、評價實施講方法、評價報告守規(guī)范、評價結(jié)果求應(yīng)用,才能全面提升績效評價報告質(zhì)量和預(yù)算績效管理整體水平。