基于概率統(tǒng)計(jì)的新型研發(fā)機(jī)構(gòu)績效評價(jià)測算方法

王夢婷,鄧 媚

(廣東省生產(chǎn)力促進(jìn)中心,廣東廣州 510070)

0 引言

近年來,新型研發(fā)機(jī)構(gòu)蓬勃發(fā)展,已成為我國區(qū)域創(chuàng)新體系的一支重要的生力軍,是各地吸引高層次人才、知識、技術(shù)、資本等創(chuàng)新要素的重要牽引。作為聚焦科技創(chuàng)新需求的創(chuàng)新載體,新型研發(fā)機(jī)構(gòu)主要從事科學(xué)研究、技術(shù)創(chuàng)新和研發(fā)服務(wù),投資主體多元化、管理制度現(xiàn)代化、運(yùn)行機(jī)制市場化、用人機(jī)制靈活化是其主要特色。在建設(shè)世界科技強(qiáng)國的新形勢下,在促進(jìn)產(chǎn)業(yè)鏈、創(chuàng)新鏈、資本鏈三鏈融合的迫切需求下,政府需要構(gòu)建穩(wěn)定權(quán)威、綜合配套、精細(xì)協(xié)調(diào)的科技創(chuàng)新法治保障體系,對新型研發(fā)機(jī)構(gòu)進(jìn)行公平公正的績效考核,以構(gòu)建核心隊(duì)伍穩(wěn)定、人才流動(dòng)順暢、科教融合優(yōu)質(zhì)、成果轉(zhuǎn)化高效及分配機(jī)制合理的現(xiàn)代治理體系,賦予創(chuàng)新主體更大的自主發(fā)展空間。

科技部印發(fā)的《關(guān)于促進(jìn)新型研發(fā)機(jī)構(gòu)發(fā)展的指導(dǎo)意見》中明確指出,科技部組織開展新型研發(fā)機(jī)構(gòu)跟蹤評價(jià),地市政府組織開展績效評價(jià),根據(jù)評價(jià)結(jié)果給予新型研發(fā)機(jī)構(gòu)相應(yīng)支持。目前,不少省市的科技管理部門都建立了新型研發(fā)機(jī)構(gòu)績效評價(jià)制度,定期對新型研發(fā)機(jī)構(gòu)進(jìn)行績效評價(jià),并將評價(jià)結(jié)果作為后續(xù)政策、資金等支持的重要依據(jù)。例如,山東省以3年為1個(gè)評價(jià)周期,原則上每年度評價(jià)1次;河南省每兩年對新型研發(fā)機(jī)構(gòu)開展1次評價(jià);廣東省以3年為1個(gè)評價(jià)周期進(jìn)行動(dòng)態(tài)評估;四川省以兩年為1個(gè)績效評估周期;重慶市每3年進(jìn)行1次考核;上海市、北京市等也在建立相應(yīng)的評價(jià)機(jī)制。因此,持續(xù)對新型研發(fā)機(jī)構(gòu)績效評價(jià)的評價(jià)方法、評價(jià)流程進(jìn)行研究和優(yōu)化,對促進(jìn)評價(jià)結(jié)果的公平、公正和我國新型研發(fā)機(jī)構(gòu)的健康發(fā)展意義深遠(yuǎn)。

1 新型研發(fā)機(jī)構(gòu)績效評價(jià)研究現(xiàn)狀

目前,關(guān)于新型研發(fā)機(jī)構(gòu)績效評價(jià)的研究主要集中于考核指標(biāo)的確定,包括利用何種理論工具科學(xué)分析績效影響因素、構(gòu)建何種模型制定考核指標(biāo)體系或確定指標(biāo)權(quán)重。如周恩德等[1]通過層次回歸分析法分析了新型研發(fā)機(jī)構(gòu)創(chuàng)新績效評價(jià)的影響因素;何帥等[2]通過結(jié)構(gòu)方程模型對新型研發(fā)機(jī)構(gòu)的績效影響因素及作用機(jī)理進(jìn)行了檢驗(yàn);孟溦等[3]基于資源依賴和社會(huì)影響力的雙重視角,運(yùn)用理論分析方法,根據(jù)新型研發(fā)機(jī)構(gòu)所處的發(fā)展時(shí)期,建立了與之相適應(yīng)的分類評價(jià)指標(biāo)體系;郭百濤等[4]結(jié)合德爾菲法和網(wǎng)絡(luò)層次分析法(ANP)進(jìn)行實(shí)證研究,確定績效評價(jià)的一級、二級、三級指標(biāo)及其權(quán)重;王腮煒等[5]針對科技數(shù)據(jù)類的新型研發(fā)機(jī)構(gòu),從科技數(shù)據(jù)價(jià)值鏈形成和利益相關(guān)者合作兩個(gè)維度出發(fā),構(gòu)建適用于建設(shè)期、運(yùn)營期的績效評價(jià)指標(biāo)體系。

關(guān)于如何將各個(gè)指標(biāo)測評出的數(shù)值與其權(quán)重聯(lián)系起來計(jì)算指標(biāo)實(shí)際得分,現(xiàn)有研究缺乏深入的研究和探討。針對計(jì)分方式開展的研究主要提供了以下兩種思路和方法:一是通過設(shè)定區(qū)間標(biāo)準(zhǔn)值對基礎(chǔ)指標(biāo)進(jìn)行無量綱化處理,然后采用加權(quán)綜合評測法得到被考核機(jī)構(gòu)效用值[6];二是專家事先設(shè)定好得分區(qū)間,各指標(biāo)所屬的得分區(qū)間根據(jù)指標(biāo)評測結(jié)果相對位置的百分比排序確定,之后由專家根據(jù)實(shí)際情況酌情給出具體的得分系數(shù),最后采用加權(quán)綜合評測法得到被考核機(jī)構(gòu)的得分。這兩種數(shù)據(jù)處理方法均簡單易操作,但科學(xué)性、客觀性不足。就第一種處理方法而言,由于無量綱化計(jì)算是基于事先設(shè)定好的標(biāo)準(zhǔn)區(qū)間,最終的考核結(jié)果與標(biāo)準(zhǔn)區(qū)間的設(shè)定也緊密相關(guān),而標(biāo)準(zhǔn)區(qū)間設(shè)定的科學(xué)性和合理性則無從得知。第二種處理方法更加簡單直觀,僅需對各指標(biāo)的實(shí)際考核結(jié)果進(jìn)行排序,計(jì)算其所在的相對位置,對應(yīng)到設(shè)定好的得分區(qū)間,專家即可根據(jù)實(shí)際情況給定最終的得分系數(shù),但此做法的可靠性、穩(wěn)健性得不到保證。

首先,得分區(qū)間及其對應(yīng)的得分系數(shù)的設(shè)定標(biāo)準(zhǔn)很難通過科學(xué)的計(jì)算或推導(dǎo)得出,可能會(huì)存在區(qū)間設(shè)定不合理,導(dǎo)致兩個(gè)指標(biāo)結(jié)果十分接近的被考核機(jī)構(gòu)落到兩個(gè)不同的得分系數(shù)區(qū)間內(nèi),或使得兩個(gè)指標(biāo)結(jié)果相差甚遠(yuǎn)的被考核機(jī)構(gòu)落到同一個(gè)得分系數(shù)區(qū)間,從而產(chǎn)生比實(shí)際差距大的得分差;其次,得分系數(shù)區(qū)間確定后,專家根據(jù)實(shí)際情況給定具體的得分系數(shù)時(shí),可能出現(xiàn)由于個(gè)體差異導(dǎo)致的不客觀、不公正,進(jìn)而影響被考核機(jī)構(gòu)的實(shí)際得分,造成考核結(jié)果的不可靠性。

綜上所述,現(xiàn)有研究對評價(jià)指標(biāo)的理論探討較為深入和全面,但缺乏有關(guān)數(shù)據(jù)處理、評價(jià)方法等實(shí)證研究,新型研發(fā)機(jī)構(gòu)評價(jià)結(jié)果有待使用更優(yōu)化的統(tǒng)計(jì)方法進(jìn)行計(jì)算[7]。因此,尋找一種科學(xué)合理、簡單易操作的數(shù)據(jù)處理方法顯得十分必要。本文基于最小二乘法,從概率統(tǒng)計(jì)的視角切入,重點(diǎn)研究新型研發(fā)機(jī)構(gòu)績效評價(jià)的數(shù)據(jù)統(tǒng)計(jì)方法,以期為新型研發(fā)機(jī)構(gòu)的數(shù)據(jù)統(tǒng)計(jì)及計(jì)分方法提供更為科學(xué)的參考。

2 基于概率統(tǒng)計(jì)的新型研發(fā)機(jī)構(gòu)績效評價(jià)測算方法

在實(shí)際的新型研發(fā)機(jī)構(gòu)績效考核中,通常每家被考核單位的最終得分是由多項(xiàng)指標(biāo)綜合確定的,但是在指標(biāo)體系設(shè)計(jì)時(shí),考慮到考核的全面性、綜合性,考核指標(biāo)設(shè)置的數(shù)值可能有單位(如人次、萬元等),也可能是無量綱數(shù)值,由于考核指標(biāo)的單位不統(tǒng)一,在計(jì)算被考核機(jī)構(gòu)所得總分時(shí),無法直接相加求和。如何在指標(biāo)計(jì)算實(shí)際結(jié)果與其權(quán)重之間建立科學(xué)的聯(lián)系,既可對考核指標(biāo)進(jìn)行歸一化,又能保留各指標(biāo)的真實(shí)分布情況,從而進(jìn)行得分換算,這是進(jìn)行績效評價(jià)測算的關(guān)鍵點(diǎn),也是難點(diǎn)所在。

從考核實(shí)際情況來看,各考核指標(biāo)中得分高與得分低的應(yīng)為少數(shù),多數(shù)被考核單位的同一個(gè)考核指標(biāo)得分應(yīng)集中在中間某一區(qū)間,即“兩端少,中間多”,服從正態(tài)分布。

2.1 正態(tài)分布理論分析

正態(tài)分布是一種連續(xù)型隨機(jī)變量的概率分布,呈現(xiàn)“兩頭小、中間大”的分布形態(tài)。將平均數(shù)為0、標(biāo)準(zhǔn)差為1的正態(tài)分布稱為標(biāo)準(zhǔn)正態(tài)分布(標(biāo)準(zhǔn)正態(tài)分布曲線見圖1)。

圖1 標(biāo)準(zhǔn)正態(tài)分布概率密度示意

從圖1可知,標(biāo)準(zhǔn)正態(tài)分布曲線具有以下特點(diǎn):其一,曲線在X=0(即平均數(shù))處為最高點(diǎn);其二,曲線以X=0為軸,雙側(cè)對稱;其三,曲線從最高點(diǎn)向左右緩慢下降,并無限延伸,最后接近基線,但永不與X軸相交;其四,標(biāo)準(zhǔn)正態(tài)分布上的平均數(shù)為0,標(biāo)準(zhǔn)差為1。

為了更直觀地說明問題,引入分位數(shù)α。分位數(shù)指連續(xù)分布函數(shù)中的一個(gè)點(diǎn),這個(gè)點(diǎn)對應(yīng)概率p(見圖2)。根據(jù)圖2所示,α=0.5-p, 查標(biāo)準(zhǔn)正態(tài)分布分位數(shù)表即可得到標(biāo)準(zhǔn)正態(tài)分布下的Pα。根據(jù)樣本S計(jì)算得到平均值μ和方差s2,那么根據(jù)公式M=Pα×s+μ,即可將標(biāo)準(zhǔn)正態(tài)分布映射到平均值為μ、方差為s2的正態(tài)分布。

圖2 概率分布的分位數(shù)示意

2.2 正態(tài)分布在績效評價(jià)中的應(yīng)用

在新型研發(fā)機(jī)構(gòu)的績效考核中,鑒于各考核指標(biāo)的實(shí)際情況,無法統(tǒng)一量綱并直接進(jìn)行得分計(jì)算,但可以根據(jù)考核要求通過多種方法,如多層次分析法、主成分分析法、專家打分法等確定各項(xiàng)指標(biāo)i的權(quán)重wij(j為第j家被考核機(jī)構(gòu)), 將被考核單位的某項(xiàng)指標(biāo)測算值視為樣本Si,則第j家被考核機(jī)構(gòu)的第i個(gè)指標(biāo)得分記為Sij。

績效考核指標(biāo)得分計(jì)算的問題轉(zhuǎn)化為:對于樣本Si,已知優(yōu)秀率Ki,如何科學(xué)確定滿分值Mi。當(dāng)Si≥Mi時(shí),得分系數(shù)為1;當(dāng)Si＜Mi,得分系數(shù)為。通過計(jì)算,樣本Si的帶量綱數(shù)值巧妙地轉(zhuǎn)換到了 0,1[ ]的得分系數(shù)之間,得分系數(shù)再乘以權(quán)重Wij,即為第j家被考核機(jī)構(gòu)的第i個(gè)指標(biāo)的最終得分。

2.2.1 科學(xué)、公平、公正地制定優(yōu)秀值

對于任何一個(gè)被考核機(jī)構(gòu)而言,一定會(huì)有一部分被考核機(jī)構(gòu)能在某一考核指標(biāo)得到優(yōu)秀評價(jià),如何制定考核指標(biāo)的優(yōu)秀值(即滿分值),關(guān)乎到整個(gè)考核的科學(xué)與公平。本文通過引入正態(tài)分布理論,旨在科學(xué)地制定出優(yōu)秀值。具體制定步驟為:

(1)根據(jù)實(shí)際工作需要,設(shè)定優(yōu)秀率為K;

(2)根據(jù)優(yōu)秀率K,可得α=0.5-K,查標(biāo)準(zhǔn)正態(tài)分布分位數(shù)表得到標(biāo)準(zhǔn)正態(tài)分布下的分位數(shù)Pα;

(3)計(jì)算被考核機(jī)構(gòu)的各項(xiàng)考核指標(biāo)的平均值μi和方差s2i;

(4)根據(jù)公式Mi=Pα×si+μi計(jì)算得到考核指標(biāo)優(yōu)秀值。

例如,某省設(shè)定80家被考核新型研發(fā)機(jī)構(gòu)的優(yōu)秀率為20%,此80家新型研發(fā)機(jī)構(gòu)的某項(xiàng)考核指標(biāo),如科技成果登記數(shù)量的平均值為15項(xiàng)、標(biāo)準(zhǔn)差為3,根據(jù)正態(tài)分布理論計(jì)算科技成果登記數(shù)量的優(yōu)秀值為:

(1)根據(jù)優(yōu)秀率20%,得α=0.3,查標(biāo)準(zhǔn)正態(tài)分布分位數(shù)表得到標(biāo)準(zhǔn)正態(tài)分布下的分位數(shù)Pα為0.84;

(2)根據(jù)平均值15和標(biāo)準(zhǔn)差3,利用公式M=0.84×3+15計(jì)算得到優(yōu)秀值為17.52分。

2.2.2 得分系數(shù)及實(shí)際得分的科學(xué)計(jì)算

根據(jù)正態(tài)分布理論,可得到各考核指標(biāo)的優(yōu)秀值,將各被考核機(jī)構(gòu)的所有考核指標(biāo)根據(jù)指標(biāo)優(yōu)秀值進(jìn)行標(biāo)準(zhǔn)化,即將各考核指標(biāo)統(tǒng)一為無度量單位的無量綱數(shù)值,作為該指標(biāo)的得分系數(shù)。

(1)根據(jù)考核指標(biāo)測算值Si和該指標(biāo)優(yōu)秀值Mi,由公式計(jì)算得分系數(shù)。

(2)將各考核指標(biāo)得分系數(shù)乘以對應(yīng)的指標(biāo)權(quán)重Wij,得到各考核指標(biāo)的實(shí)際得分。

例如,某被考核機(jī)構(gòu)的科技成果登記數(shù)量為12項(xiàng),則該被考核機(jī)構(gòu)科技成果登記數(shù)量的得分系數(shù)為12/17.52=0.68。通過把各考核指標(biāo)的原始數(shù)值轉(zhuǎn)換為得分系數(shù),不僅可比較被考核指標(biāo)間的橫向差距,還可看出同一被考核單位不同考核指標(biāo)的實(shí)際情況,即該被考核單位的強(qiáng)項(xiàng)和弱項(xiàng)。

將各考核指標(biāo)的得分系數(shù)與該考核指標(biāo)的權(quán)重相乘,即為該項(xiàng)指標(biāo)的實(shí)際得分。例如,若上述某被考核單位科技成果登記數(shù)量的指標(biāo)權(quán)重為4,則該考核指標(biāo)的實(shí)際得分為0.68×4=2.74分。通過此方法計(jì)算出被考核機(jī)構(gòu)所有考核指標(biāo)的實(shí)際得分,將各考核指標(biāo)實(shí)際得分相加即可得出各被考核機(jī)構(gòu)的考核總分。

3 概率模型在新型研發(fā)機(jī)構(gòu)績效評價(jià)中的應(yīng)用

2020年,廣東省某地市在新型研發(fā)機(jī)構(gòu)績效考核中創(chuàng)新性引入正態(tài)分布概率模型。此次績效考核,一方面是為了幫助各新型研發(fā)機(jī)構(gòu)發(fā)現(xiàn)自身優(yōu)劣勢,從而發(fā)揮自身資源稟賦,強(qiáng)化優(yōu)勢服務(wù)能力,有針對性地補(bǔ)齊劣勢和短板,進(jìn)一步明確發(fā)展方向和發(fā)展重點(diǎn);另一方面有助于政府有關(guān)管理部門強(qiáng)化對新型研發(fā)機(jī)構(gòu)的管理以及給予后續(xù)支持,進(jìn)而通過獎(jiǎng)優(yōu)汰劣,深入實(shí)施新型研發(fā)機(jī)構(gòu)提質(zhì)增效計(jì)劃,支撐地市科技創(chuàng)新發(fā)展。在考核要求中,最重要的是要能真實(shí)、客觀地獲得各被考核機(jī)構(gòu)的實(shí)際得分,真實(shí)地反映出各機(jī)構(gòu)之間的差距,突出新型研究機(jī)構(gòu)發(fā)展中存在的問題。

考核采用機(jī)構(gòu)自評與專家評議相結(jié)合的方法。首先,專家結(jié)合地市考核要求,根據(jù)新型研發(fā)機(jī)構(gòu)的實(shí)際情況制定好考核指標(biāo)及其對應(yīng)的權(quán)重,由被考核機(jī)構(gòu)對考核指標(biāo)進(jìn)行自評,并提供自評數(shù)值的測算依據(jù)。同時(shí),根據(jù)正態(tài)分布原理及政府給定的20%優(yōu)秀率,計(jì)算得出各考核指標(biāo)的優(yōu)秀值。其后,進(jìn)入專家評議階段,專家參考各指標(biāo)的優(yōu)秀值,對考核指標(biāo)進(jìn)行全面評估,確定各考核指標(biāo)的最終優(yōu)秀值。最后,計(jì)算得出各考核指標(biāo)的得分系數(shù),進(jìn)而計(jì)算出各指標(biāo)的實(shí)際得分及考核總分。

對整套績效考核26項(xiàng)指標(biāo)的得分情況進(jìn)行分析,發(fā)現(xiàn)在26項(xiàng)考核指標(biāo)中,僅有5項(xiàng)考核指標(biāo)的優(yōu)秀值由專家根據(jù)評議及現(xiàn)場考察情況,結(jié)合政府資金投入的產(chǎn)出預(yù)期等進(jìn)行了向上微調(diào)整,其他21項(xiàng)考核指標(biāo)的優(yōu)秀值均得到了專家組的認(rèn)可和使用。使用計(jì)分方法得出的被考核單位的排列位次及得分差距與被考核單位實(shí)際情況、專家判斷和政府預(yù)期完全吻合,進(jìn)一步證實(shí)了該創(chuàng)新性計(jì)分方法的科學(xué)性、精準(zhǔn)性和客觀性。

4 結(jié)語

新型研發(fā)機(jī)構(gòu)的績效考核是由指標(biāo)體系建立、工具選擇、權(quán)重設(shè)定、數(shù)據(jù)處理等多個(gè)過程組成,其中考核指標(biāo)及其權(quán)重的設(shè)定是最關(guān)鍵的環(huán)節(jié)之一。目前,在績效考核指標(biāo)及其權(quán)重的設(shè)定方面已經(jīng)有豐富的理論和實(shí)證研究,方法越來越科學(xué),設(shè)定更加全面、完整,但對于指標(biāo)及其權(quán)重確定后如何科學(xué)計(jì)算出得分尚未有較好的理論及做法,而這正是確保績效考核公平、公正的前提和保障。本文通過將正態(tài)分布概率模型引入到績效考核工作中,破解了目前通過事先設(shè)定標(biāo)準(zhǔn)區(qū)間或設(shè)定得分系數(shù)區(qū)間帶來的主觀性、不準(zhǔn)確性、不科學(xué)性等問題,解決了難以精確反映各考核指標(biāo)間、各被考核機(jī)構(gòu)間實(shí)際差距的難題,為績效考核計(jì)分工作提供了科學(xué)的理論依據(jù),有利于以更科學(xué)的計(jì)分方式確?？己说恼鎸?shí)性、公平性、公正性,為新型研發(fā)機(jī)構(gòu)績效考核工作提供了新的思路和方法。