關(guān)于完善上海市科技興農(nóng)項目績效評價方法的思考

董言笑

（上海市農(nóng)業(yè)科技服務(wù)中心，上海 200335）

科研項目的績效評價是上海市科技興農(nóng)項目管理的重要組成部分。2009年，上海市農(nóng)業(yè)農(nóng)村委印發(fā)了《上海市科技興農(nóng)項目績效評估暫行辦法》，該辦法明確了科技興農(nóng)項目績效評價是對驗收兩年的項目從預(yù)期目標(biāo)、科技水平、市場效果、應(yīng)用前景等方面進(jìn)行全面評判，旨在進(jìn)一步提升上海農(nóng)業(yè)科技自主創(chuàng)新水平，加快農(nóng)業(yè)科技成果轉(zhuǎn)化進(jìn)程，提高支農(nóng)資金使用效果，提升科技對現(xiàn)代農(nóng)業(yè)的貢獻(xiàn)率，促進(jìn)高效生態(tài)農(nóng)業(yè)發(fā)展。2013年起，上海市科技興農(nóng)項目績效評價工作委托第三方評價公司開展，至今已連續(xù)實施7年，評估內(nèi)容包括實施目標(biāo)、科研水平及效果、可持續(xù)性影響和項目績效等，且根據(jù)項目類型的不同，評估重點(diǎn)也有所不同。例如，攻關(guān)項目重點(diǎn)評估其成果的創(chuàng)新水平、科技含量和成果轉(zhuǎn)化情況，推廣項目重點(diǎn)評估成果推廣范圍、推廣后產(chǎn)生的經(jīng)濟(jì)效益及對產(chǎn)業(yè)發(fā)展的影響。截至2019年，上海市科技興農(nóng)項目績效評價工作已連續(xù)實施10余年，評價方法也從最初的摸索逐漸趨于完善[1]。雖然上海市科技興農(nóng)項目績效評價工作已走在全國前列，但仍存在一定的不足和可優(yōu)化的空間，例如，理論方法與評價實踐脫節(jié)、未能引入事前績效評估等。為此，筆者擬對上海市科技興農(nóng)項目績效評價方法和績效評價整體情況進(jìn)行總結(jié)，分析其存在的主要問題，并在此基礎(chǔ)上提出進(jìn)一步完善上海市科技興農(nóng)項目績效評價體系的建議，以供參考。

1 上海市科技興農(nóng)項目績效評價方法和績效評價整體情況

1.1 上海市科技興農(nóng)項目績效評價指標(biāo)體系

績效評價最重要的環(huán)節(jié)是指標(biāo)體系的設(shè)計，指標(biāo)體系設(shè)計是否完善，直接影響著項目的最終得分和績效排序情況[2]。上海市科技興農(nóng)項目績效評價采取打分制，并依據(jù)財政部《財政支出績效評價管理暫行辦法》，構(gòu)建績效評價的基本框架，其內(nèi)容主要分為項目決策、項目管理和項目績效三大類指標(biāo)，其中，項目決策考察項目立項和項目目標(biāo)，項目管理考察預(yù)算執(zhí)行、實施管理、財務(wù)管理，項目績效考察項目驗收情況、后續(xù)成果、可持續(xù)效益和綜合滿意度。

2019年統(tǒng)計，上海市科技興農(nóng)項目績效評價指標(biāo)體系分為攻關(guān)類指標(biāo)體系（適用于攻關(guān)和種業(yè)項目）、推廣類指標(biāo)體系（適用于推廣和轉(zhuǎn)化類項目），這兩類指標(biāo)體系的一級指標(biāo)與二級指標(biāo)一致，主要通過三級指標(biāo)設(shè)計的差異化及權(quán)重配比差異化反映項目類型差異。具體指標(biāo)為：（1）項目決策。項目決策的評價指標(biāo)分為項目立項和項目目標(biāo)2個二級指標(biāo)。項目立項指標(biāo)主要衡量項目立項是否符合地區(qū)農(nóng)業(yè)科技發(fā)展的政策、立項依據(jù)是否充分、立項流程是否合理和規(guī)范；項目目標(biāo)指標(biāo)主要衡量項目績效目標(biāo)設(shè)定是否合理、明確，其中，目標(biāo)合理性主要考察績效目標(biāo)設(shè)定是否客觀、合理，且是否與相應(yīng)預(yù)算關(guān)聯(lián)；目標(biāo)明確性主要考察績效目標(biāo)設(shè)定是否清晰、細(xì)化，且是否有明確的考核目標(biāo)值。（2）項目管理。項目管理的評價指標(biāo)分為投入管理、實施管理和財務(wù)管理3個二級指標(biāo)。投入管理指標(biāo)主要衡量項目預(yù)算執(zhí)行率；實施管理指標(biāo)主要衡量項目管理機(jī)構(gòu)、管理制度的健全性，項目完成的及時性及項目管理系統(tǒng)填報等日常管理情況；財務(wù)管理指標(biāo)主要衡量項目的財務(wù)制度和資產(chǎn)管理制度的健全性、資金使用的合規(guī)性。（3）項目績效。項目績效的評價指標(biāo)設(shè)計尤其重要，且細(xì)分指標(biāo)依據(jù)項目類型的不同存在明顯的差異性，一般分為驗收情況、后續(xù)成果、可持續(xù)效益和綜合滿意度4個二級指標(biāo)。在評估方法上主要采用目標(biāo)評價法（根據(jù)合同書規(guī)定的考核指標(biāo)，與一定期限內(nèi)的目標(biāo)完成情況進(jìn)行比較）、因素分析法（對實施科技興農(nóng)項目的相關(guān)課題單位項目管理部門的組織管理力度，以及在日常管理工作中所做的涉及科技興農(nóng)項目的工作業(yè)績或措施等進(jìn)行評價）、功效系數(shù)法（對績效評價得分進(jìn)行修正）3種評價方法。

1.2 上海市科技興農(nóng)項目績效評價整體情況

自2013年起，上海市科技興農(nóng)項目績效評價工作連續(xù)7年委托第三方績效評價公司開展，評價對象為2010—2016年驗收的課題，現(xiàn)以這7年中的驗收課題為例，對上海市科技興農(nóng)項目績效評價整體情況進(jìn)行分析。從總體情況來看，主要表現(xiàn)出以下特點(diǎn)：（1）逐年增加了評價的課題數(shù)量，由2013年的35個增加至2019年的75個；（2）擴(kuò)大了評價的項目類型范圍，在原先對攻關(guān)、推廣項目進(jìn)行評價的基礎(chǔ)上，增加了對種業(yè)、成果轉(zhuǎn)化項目的綜合評估；（3）優(yōu)化了評價的指標(biāo)體系，將評價重點(diǎn)放在項目的經(jīng)濟(jì)效益、社會效益、生態(tài)效益以及驗收后的后續(xù)發(fā)展上；（4）總體評分情況呈現(xiàn)出波浪式反復(fù)的特點(diǎn)，其中2015年的評分最高，當(dāng)年考核為優(yōu)秀的項目比例也最高，所有項目評分也均達(dá)到合格及以上，見圖1。

圖1 2013—2019年上海市科技興農(nóng)項目績效評價總體情況

由圖2可知，在2013—2019年，上海市參與績效評價的科技興農(nóng)項目共計418個。其中，評級為優(yōu)的項目有58個，占比為13.9%；評級為良的項目有235個，占比為56.2%；評級為合格的項目有110個，占比為26.3%；評級為不合格的項目有15個，占比為3.6%。

圖2 2013—2019年上海市科技興農(nóng)項目績效評級情況

從項目績效評價結(jié)果來看，上海市科技興農(nóng)項目的經(jīng)費(fèi)資金基本上得到了高效利用，項目也取得了較好的成績，大部分項目均能達(dá)到預(yù)期目標(biāo)，科學(xué)技術(shù)水平、推廣應(yīng)用情況均達(dá)到了一定的層次和規(guī)模，這為上海市農(nóng)業(yè)科技的發(fā)展產(chǎn)生了顯著的推動效應(yīng)和積極影響。另外，從評價結(jié)果分布還發(fā)現(xiàn)，項目管理部門對于績效評價工作的管理更加嚴(yán)格，對評價方法、數(shù)據(jù)獲取、指標(biāo)體系設(shè)計等逐漸規(guī)范，并突出了項目的經(jīng)濟(jì)效益、社會效益、生態(tài)效益和驗收后的后續(xù)發(fā)展與影響，提高了這部分指標(biāo)的權(quán)重，減少了科技興農(nóng)項目因外溢性、社會性和難以量化所帶來的管理難度。

2 上海市科技興農(nóng)項目績效評價存在的問題

2.1 科技興農(nóng)項目績效評價的難點(diǎn)

科技興農(nóng)項目的主要研究對象是農(nóng)業(yè)生產(chǎn)過程中亟需解決的技術(shù)問題，對農(nóng)業(yè)生產(chǎn)、經(jīng)濟(jì)環(huán)境、自然環(huán)境等均具有相對長期和深遠(yuǎn)的影響，且具有較強(qiáng)的社會性、應(yīng)用性和長期性。因此，農(nóng)業(yè)科技成果往往難以量化考察，經(jīng)濟(jì)效益尚且可采取相應(yīng)的指標(biāo)進(jìn)行量化，但社會效益和生態(tài)效益等由于缺乏合理的量化績效評價指標(biāo)體系，因此很難科學(xué)地評價農(nóng)業(yè)科技成果的價值[3]。

同時，數(shù)據(jù)采集的客觀性也會影響評價結(jié)果的有效性，數(shù)據(jù)采集的客觀性不足，必然會影響評價結(jié)果的有效性。一般來說，為了解科技興農(nóng)項目的成效，可通過被評價單位數(shù)據(jù)積累的反饋、市場調(diào)查、社會調(diào)查、專家論證、訪談等多種方式，對項目的實施情況進(jìn)行數(shù)據(jù)采集，但在數(shù)據(jù)采集過程中會出現(xiàn)一些問題。例如，課題組疏于項目實施或后續(xù)情況的數(shù)據(jù)保存，以致考察時無法提供準(zhǔn)確信息；被評價單位不能充分理解統(tǒng)計數(shù)據(jù)的目的，提供了與考察要點(diǎn)無關(guān)的數(shù)據(jù)情況。

2.2 當(dāng)前上海市科技興農(nóng)項目績效評價體系存在的問題

2.2.1 缺少較為系統(tǒng)的理論評價方法

在績效評價的理論研究中，基于投入產(chǎn)出理論的績效評價方法主要分為非參數(shù)法和參數(shù)法，這兩種方法都是基于被評價個體投入產(chǎn)出最大化所設(shè)計出的方法[4]。其中，參數(shù)法需要確定生產(chǎn)函數(shù)的具體形式，若生產(chǎn)函數(shù)形式設(shè)定不準(zhǔn)確，則會引起較大的回歸誤差；非參數(shù)法的優(yōu)勢是不需要設(shè)定生產(chǎn)函數(shù)的具體形式，不需要進(jìn)行回歸分析，也不需要對不同量綱的投入與產(chǎn)出變量單位化，而是利用線性規(guī)劃的方法刻畫效率生產(chǎn)前沿面，測量各個決策單元的相對效率。因此，國內(nèi)外廣泛地將非參數(shù)法應(yīng)用到經(jīng)濟(jì)與管理的各個領(lǐng)域。但無論是參數(shù)法還是非參數(shù)法，都是基于一系列投入指標(biāo)和產(chǎn)出指標(biāo)來測算各個被評價單元的投入產(chǎn)出最大化的相對程度，并給出相對排序。在當(dāng)前上海市科技興農(nóng)項目績效評價中，是采取分類指標(biāo)打分制，缺少應(yīng)用系統(tǒng)的、科學(xué)的投入產(chǎn)出統(tǒng)計方法對被評價項目進(jìn)行相對排序。

2.2.2 未能引入事前預(yù)評估

當(dāng)前科技興農(nóng)項目績效評價工作是績效后評價，而隨著目前評價工作的不斷推進(jìn)，引入事前績效預(yù)評估是大趨勢，且事前績效預(yù)評估可作為績效后評價的有力補(bǔ)充，以對項目資金“該不該使用”進(jìn)行評估，從而保證財政資金的合理使用。這是因為在當(dāng)前的科技興農(nóng)項目立項前，由于績效目標(biāo)不作為驗收時的考核依據(jù)，且當(dāng)前也沒有績效事前預(yù)評估的程序，項目績效目標(biāo)的考慮往往缺乏激勵，績效目標(biāo)的約束往往較弱，這容易導(dǎo)致績效事后評價與立項前的績效目標(biāo)脫軌。因此，在這方面上海市科技興農(nóng)項目績效評價體系仍存在進(jìn)一步提升和可優(yōu)化的空間。

3 進(jìn)一步完善上海市科技興農(nóng)項目績效評價體系的建議

3.1 強(qiáng)化以投入產(chǎn)出為基礎(chǔ)的動態(tài)績效評價方法

引入投入產(chǎn)出理論是科學(xué)進(jìn)行科研項目績效評價的基礎(chǔ)。當(dāng)前上海市科技興農(nóng)項目績效評價方法是以評價體系打分制為主，雖然評價體系也反映了投入要素與產(chǎn)出要素，例如，項目管理指標(biāo)就是反映項目的投入情況，項目績效指標(biāo)則是反映項目產(chǎn)出的經(jīng)濟(jì)效益和社會效益情況，但績效評價項目投入產(chǎn)出數(shù)量的前提是將每一個被評價項目視為一個決策單元，這個決策單元能夠以最小的投入獲得最大的產(chǎn)出。因此，在現(xiàn)有的指標(biāo)賦值和權(quán)重的基礎(chǔ)上，宜進(jìn)一步應(yīng)用科學(xué)的統(tǒng)計方法，對現(xiàn)有的被評價項目進(jìn)行效率排序，從而識別出財政經(jīng)費(fèi)使用最有效的被評價對象，以進(jìn)行對比分析。同時，科技興農(nóng)項目的周期相對較長，項目資金在執(zhí)行過程中難免會受到多種干擾因素的影響，故應(yīng)強(qiáng)調(diào)績效評價的考察進(jìn)度，弱化資金執(zhí)行率的概念。此外，在進(jìn)行項目績效評價時，應(yīng)樹立績效的理念，強(qiáng)調(diào)項目結(jié)果，并根據(jù)績效預(yù)算和項目規(guī)劃動態(tài)考察執(zhí)行情況，將考察角度由督促資金執(zhí)行轉(zhuǎn)向執(zhí)行效果，逐漸弱化資金使用狀況和進(jìn)度考察的硬性要求，強(qiáng)調(diào)項目的效果進(jìn)度，并建立項目的實施進(jìn)度預(yù)測機(jī)制，與預(yù)算編制進(jìn)行聯(lián)動和反饋，以提高財政資金的使用效率。

3.2 依據(jù)項目屬性和政策目標(biāo)優(yōu)化指標(biāo)結(jié)構(gòu)和目標(biāo)體系

科技興農(nóng)項目有技術(shù)創(chuàng)新、技術(shù)推廣、產(chǎn)業(yè)技術(shù)體系等多種項目類型，所涉及的專業(yè)涵蓋了糧油、果樹、花卉、蔬菜、畜牧獸醫(yī)、漁業(yè)、農(nóng)產(chǎn)品質(zhì)量安全、農(nóng)產(chǎn)品保鮮與加工、農(nóng)業(yè)信息化和農(nóng)業(yè)裝備等多個領(lǐng)域，故在績效指標(biāo)結(jié)構(gòu)上，可依據(jù)項目屬性差異進(jìn)一步細(xì)化指標(biāo)[5]。同時，2015年5月財政部印發(fā)了《中央部門預(yù)算目標(biāo)管理辦法》，將部門預(yù)算績效目標(biāo)分為基本支出績效目標(biāo)、部門整體支出績效目標(biāo)、項目支出績效目標(biāo)，確定了“誰申請資金，誰設(shè)定目標(biāo)”的原則，這為農(nóng)業(yè)科研單位探索適當(dāng)?shù)捻椖吭u價體系提供了制度依據(jù)，故上海市科技興農(nóng)項目績效評價目標(biāo)體系框架設(shè)計可在原有的項目績效支出評價體系的基礎(chǔ)上，兼具共性指標(biāo)和個性指標(biāo)，從而確定績效評價參考體系。具體為：（1）細(xì)分項目類別，以項目結(jié)果為導(dǎo)向，涵蓋理論研究和技術(shù)研究，做好科研項目分類；（2）規(guī)劃合理的指標(biāo)體系，明確共性指標(biāo)，鼓勵科研人員提出個性指標(biāo)，利用同行評議機(jī)制確定指標(biāo)合理性；（3）以科研項目支出的歷史數(shù)據(jù)為依據(jù)，進(jìn)行迭代計算，周期更新，結(jié)合歷史經(jīng)驗數(shù)據(jù)與現(xiàn)實要求目標(biāo)，達(dá)到約束與激勵的平衡。

3.3 引入績效事前預(yù)評估

事前預(yù)評價作為事后評價的補(bǔ)充，即將成為項目績效評價的大趨勢，故在未來的上海市科技興農(nóng)項目績效評價工作中，可嘗試以項目可行性報告或計劃任務(wù)書與績效目標(biāo)整合為抓手，建立績效事前預(yù)評估方式，即在項目申報環(huán)節(jié)，讓項目申請人預(yù)估項目完成后一定時間內(nèi)會產(chǎn)生的經(jīng)濟(jì)效益、社會效益、生態(tài)效益，然后量化成績效目標(biāo)。同時，可通過專項培訓(xùn)、結(jié)果反饋等形式，讓項目團(tuán)隊掌握近年來相關(guān)科技興農(nóng)項目績效評價情況，以及明確合理設(shè)置績效目標(biāo)的重要性，嘗試將績效目標(biāo)作為立項的重要依據(jù)。此外，還可嘗試引入第三方績效評價機(jī)構(gòu)對申報項目進(jìn)行績效事前預(yù)評估，主要從立項必要性、投入經(jīng)濟(jì)性、績效目標(biāo)合理性、實施方案可能性和籌資合規(guī)性五個方面進(jìn)行打分，最終得出績效事前預(yù)評估的結(jié)論，以此作為項目申報立項的參考，從而優(yōu)化科技興農(nóng)項目績效評價工作。