寧夏應(yīng)用基礎(chǔ)研究計劃績效評估方法研究

摘 要：應(yīng)用基礎(chǔ)研究計劃績效評估是加強政府資金宏觀管理，提高資金使用效果的重要手段。在計劃層面進(jìn)行績效評估，通過對績效評估方法的選擇及對評估框架的設(shè)計探索，研究以定性評估為主，定量分析評估為輔的方法，并確定科技項目績效評估是科技計劃績效評估的必要條件和基礎(chǔ)，設(shè)計應(yīng)用基礎(chǔ)研究計劃績效評估框架，科學(xué)地對寧夏應(yīng)用基礎(chǔ)研究計劃進(jìn)行績效評估。

關(guān)鍵詞：績效評估；定性與定量分析；指標(biāo)框架

寧夏應(yīng)用基礎(chǔ)研究計劃是寧夏科技計劃之一，由寧夏自然科學(xué)基金組成。由于計劃是通過具體項目實施，科技項目的成功實施是科技計劃成功的必要條件和基礎(chǔ)。因此科技計劃績效評估與科技項目績效評估既有不同又有密切聯(lián)系。

科技計劃績效評估關(guān)注重點為計劃總體目標(biāo)的實現(xiàn)程度和產(chǎn)生的效果和對區(qū)域經(jīng)濟(jì)社會發(fā)展產(chǎn)生的影響，科技項目績效評估關(guān)注重點為項目具體目標(biāo)實現(xiàn)程度和產(chǎn)生的效果及其對具體實施單位產(chǎn)生的影響。

科技計劃的效果和影響源自于各個項目的產(chǎn)出與經(jīng)濟(jì)或社會的互動，不是各個項目的簡單匯總，需要綜合分析評估。特別是單個項目從研究結(jié)果、技術(shù)解決方案或經(jīng)濟(jì)結(jié)果方面來衡量可能是很成功的，而對計劃則有可能會出現(xiàn)未曾預(yù)料的、甚至是負(fù)面的經(jīng)濟(jì)或社會效應(yīng)。

通過對自治區(qū)自然科學(xué)基金項目，在單項目績效評價的基礎(chǔ)上，進(jìn)行總結(jié)分析，對總體實施效果做出評估。

1 評價指標(biāo)體系構(gòu)建原則

寧夏應(yīng)用基礎(chǔ)研究計劃績效評估建立完善的評價指標(biāo)體系是科學(xué)、合理、公正地評價項目績效的重要保證，是準(zhǔn)確評價項目績效的一種有效方法。因此，在進(jìn)行評價指標(biāo)體系的設(shè)計時，應(yīng)從實際出發(fā)，做到既科學(xué)，又切實可行，應(yīng)依據(jù)以下原則：

1.1 需求導(dǎo)向原則

科技計劃績效評估不應(yīng)追求面面俱到，應(yīng)以滿足委托需求為原則確定評估的重點、設(shè)計評估框架指標(biāo)體系進(jìn)行績效評估。在滿足需求的前提下，選擇盡可能少、數(shù)據(jù)信息易獲取的評估指標(biāo)。

1.2 定量與定性相結(jié)合原則

由于計劃評估的復(fù)雜性和綜合性，評估既不能單純依據(jù)客觀數(shù)據(jù)、也不能完全依靠專家主觀意見，應(yīng)以客觀數(shù)據(jù)為基礎(chǔ)，結(jié)合專家意見，將客觀數(shù)據(jù)事實與主觀綜合評判相結(jié)合作為評估的主要依據(jù)，進(jìn)行全面評估。

1.3 微觀與宏觀相結(jié)合原則

由于科技計劃的基本構(gòu)成單元是項目，各個科技項目實施成功與否是計劃成功與否的關(guān)鍵和基礎(chǔ)。因此，科技計劃績效評估必須充分重視單個項目實施取得的技術(shù)成果、產(chǎn)生的經(jīng)濟(jì)效益及對承擔(dān)單位技術(shù)創(chuàng)新能力與競爭力的提升所發(fā)揮的作用和影響等微觀層面績效評估，為科技計劃實施是否成功提供基本支撐依據(jù)。單個項目取得的技術(shù)創(chuàng)新成果通過技術(shù)外溢的形式帶動整個行業(yè)經(jīng)濟(jì)效益的提高，與其密切相關(guān)的行業(yè)也會受到不同程度的影響。因此地方科技計劃績效評估必須將項目微觀評估與計劃總體的宏觀效果和影響等方面相結(jié)合，進(jìn)行綜合評估。

2 績效評估方法選擇

寧夏應(yīng)用基礎(chǔ)研究計劃績效評估的方法主要有定性和定量方法。

定性法主要包括理論分析法、對比分析法、同行評議法（專家判斷法）等，特點是理論性強，評估結(jié)論比較直觀，但受主觀因素影響較大。

定量法是指運用數(shù)量指標(biāo)來進(jìn)行評估，主要包括問卷調(diào)查法、文獻(xiàn)計量法（科學(xué)計量法）、模糊數(shù)學(xué)分析法、數(shù)理模型分析方法等，特點是單指標(biāo)評估較為客觀、科學(xué)，但無法完整地反映出項目研究成果的品質(zhì)、技術(shù)的領(lǐng)先性以及與利益相關(guān)者的關(guān)系。

科技計劃對社會經(jīng)濟(jì)影響的時間滯后性、創(chuàng)新結(jié)果的不可預(yù)期性等，都限制了對其潛在作用與影響的評估；再加上諸如經(jīng)濟(jì)增長、創(chuàng)造就業(yè)機會和社會福利等長期效應(yīng)、間接效應(yīng)，那就更難歸結(jié)到特定的科技計劃中；政府科技計劃項目處于產(chǎn)業(yè)鏈條中上游的行業(yè)，其技術(shù)創(chuàng)新活動會極大的影響整個產(chǎn)業(yè)鏈條，而處于產(chǎn)業(yè)鏈條末端的行業(yè)會受到上游所有行業(yè)技術(shù)創(chuàng)新行為的影響。因此，僅運用定量法評估科技計劃績效是不夠的，滿足不了需要。

根據(jù)寧夏近幾年應(yīng)用基礎(chǔ)研究計劃績效評估實踐經(jīng)驗，科技計劃應(yīng)采用以定性評估為主、以定量分析評估為輔的方法是可行的，主要原因：

2.1 定量指標(biāo)的作用和局限性

科技計劃、項目績效評估中都涉及到經(jīng)費、人員投入、科技論文、專利、新產(chǎn)品、新服務(wù)、經(jīng)濟(jì)效益等定量指標(biāo)，運用這些定量指標(biāo)客觀分析、對比科技計劃、項目投入產(chǎn)出的規(guī)模，比較客觀、科學(xué)性。但這些定量指標(biāo)及定量分析方法僅能反映科技計劃、項目投入產(chǎn)出的數(shù)量和規(guī)模，無法完整地反映出研究成果的品質(zhì)、技術(shù)的領(lǐng)先性。

2.2 效果與影響——定量指標(biāo)不可描述性

科技計劃、項目的效果與影響是績效評估的重要方面，往往無法用定量指標(biāo)描述。例如：一個計劃項目形成的技能和知識是一種重要的但無法用定量指標(biāo)描述的效果；科技計劃的影響是在不同時期出現(xiàn)的，短期影響可能會由于市場條件的變化而突然中止，有些可能在幾年內(nèi)不會發(fā)生，但由于互補性技術(shù)的開發(fā)而突然變得很重要，這些情況定量指標(biāo)是反映不出的。

2.3 定性分析判斷的主觀性

科技計劃、項目產(chǎn)出成果品質(zhì)、技術(shù)的領(lǐng)先性以及與利益相關(guān)者的關(guān)系、產(chǎn)出的效果、影響難以定量分析判斷，應(yīng)用專家評議方法進(jìn)行定性判斷，但專家分析判斷屬于主觀判斷，判斷準(zhǔn)確性很大程度上依賴專家知識背景和水平，受主觀因素影響較大。

2.4 定性與定量相結(jié)合綜合評估方法的有效性和可行性

近年來，我區(qū)科技計劃項目績效評估采用以定性為主、定量為輔的綜合評估方法，即專家在定量指標(biāo)數(shù)據(jù)對比、分析的基礎(chǔ)上，結(jié)合其專業(yè)知識對項目績效進(jìn)行評價、判斷，實踐證明有效、可行，評估效果較明顯。一方面避免了定量指標(biāo)分析評價中評價標(biāo)準(zhǔn)制定問題。地方科技計劃項目績效評估中管理者或評估報告使用者除了要求對項目實施成功與否做出判斷外，還要求對項目績效做出排序，由于既是同類科技計劃項目涉及的行業(yè)與技術(shù)領(lǐng)域不同，很難建立科學(xué)、合理的統(tǒng)一定量評價標(biāo)準(zhǔn)進(jìn)行定量評價判斷，通過專家對項目客觀數(shù)據(jù)的分析，結(jié)合專業(yè)知識和背景知識直接做出判斷，避免了定量分析判斷的標(biāo)準(zhǔn)問題。另一方面專家判斷是在較多定量數(shù)據(jù)基礎(chǔ)上做出的，對專家有較強的約束，可在很大程度上減少主觀性。

3 績效評估框架設(shè)計

寧夏應(yīng)用基礎(chǔ)研究計劃由寧夏自然科學(xué)基金項目組成，其總目標(biāo)是堅持“支持基礎(chǔ)研究、堅持自由探索、發(fā)揮導(dǎo)向作用”的原則，以吸引、穩(wěn)定和培養(yǎng)科技人才為重點，主要解決應(yīng)用基礎(chǔ)理論和基礎(chǔ)技術(shù)問題，促進(jìn)知識創(chuàng)新和技術(shù)創(chuàng)新相結(jié)合，為全面提升寧夏自主創(chuàng)新能力提供基礎(chǔ)支撐。主要資助對象為高等院校、科研院所和具有基礎(chǔ)研究條件的高新技術(shù)企業(yè)的科研人員。

3.1 應(yīng)用基礎(chǔ)研究計劃績效評估內(nèi)容

寧夏應(yīng)用基礎(chǔ)研究計劃的總目標(biāo)決定了其績效評估的核心內(nèi)容為知識創(chuàng)新及人才培養(yǎng)的效果，在計劃層面的績效評估內(nèi)容主要包括項目分布領(lǐng)域、資金投入構(gòu)成、論文與專利產(chǎn)出、人才培養(yǎng)及知識產(chǎn)出的應(yīng)用前景。具體評估內(nèi)容有以下方面：

3.1.1項目與計劃相符性分析評價

調(diào)查各自然基金項目所屬學(xué)科技術(shù)領(lǐng)域，分析評價項目是否符合計劃支持的方向，并按應(yīng)用基礎(chǔ)研究計劃的學(xué)科技術(shù)領(lǐng)域劃分方法進(jìn)行歸類、分析學(xué)科領(lǐng)域分布狀況。

3.1.2人員投入分析評價

調(diào)查統(tǒng)計各項目投入人員數(shù)量、職稱或?qū)W歷等信息，按照項目學(xué)科或技術(shù)領(lǐng)域分析評價人員投入數(shù)量、人員結(jié)構(gòu)的合理性。

3.1.3資金投入分析評價

調(diào)查各項目總投資、資金構(gòu)成數(shù)據(jù)，分析評價計劃的資金投入規(guī)模、資金來源及政府資金投入在計劃中所發(fā)揮的作用。

3.1.4知識產(chǎn)權(quán)產(chǎn)出分析評價

調(diào)查各項目實施取得的專利、發(fā)表的學(xué)術(shù)論文，分析評價計劃知識產(chǎn)權(quán)產(chǎn)出量和水平。

3.1.5人才培養(yǎng)效果分析評價

調(diào)查第一次主持自治區(qū)自然科學(xué)基金項目人數(shù)、項目實施中培養(yǎng)的博士、碩士人數(shù)，分析評價應(yīng)用基礎(chǔ)研究計劃的人才培養(yǎng)效果。

上述內(nèi)容僅對計劃層面的投入、產(chǎn)出和效果進(jìn)行宏觀分析評價，并不能對計劃實施是否成功、效果是否滿意做出判斷。要對計劃成功與否、效果是否滿意必須對具體項目進(jìn)行績效評價。

3.2 應(yīng)用基礎(chǔ)研究計劃項目績效評估框架

應(yīng)用基礎(chǔ)研究計劃是由各個自然科學(xué)基金項目組成的，計劃的績效目標(biāo)實現(xiàn)程度和效果取決于自然科學(xué)基金項目實施績效，計劃績效評估最終落實到項目的績效評估。按照本研究的評估指標(biāo)框架構(gòu)建原則和方法，結(jié)合自然科學(xué)基金項目特點設(shè)計績效評估指標(biāo)框架，具體框架見右表。

寧夏自然科學(xué)基金項目績效評估指標(biāo)框架

參考文獻(xiàn)：

[1] 江永真.福建省科技計劃評估體系研究[J].科技管理，2002（4）.

[2] 李婷.基于科技計劃的績效評價的文獻(xiàn)綜述[J].消費導(dǎo)刊，2013（9）.

[3] 王淑慧，戴菁菁.基礎(chǔ)研究科技項目績效評價文獻(xiàn)述評與研究展望[J].時代金融2014（4）.

作者簡介：任麗萍（1984-），女，漢族，安徽濉溪縣人，碩士，主要從事科技項目績效評估工作。