基于層次分析法的企業(yè)科研項目后評價指標(biāo)體系構(gòu)建研究

趙 碩 張詩敏 張 南 王悠然

（中汽研汽車檢驗中心（天津）有限公司，天津 300300）

企業(yè)作為科技創(chuàng)新工作的主體，其重要程度不言而喻。2020年，我國各類企業(yè)研究與試驗發(fā)展經(jīng)費支出18673.8億元，比上年增長10.4%，占全社會研發(fā)經(jīng)費支出的比重高達(dá)為76.6%。科研經(jīng)費投入力度的不斷加大，促使企業(yè)科研項目數(shù)量和科研經(jīng)費投入增長趨勢明顯。但目前多數(shù)企業(yè)對科研項目的管理還僅限于事前項目立項評審、事中項目執(zhí)行監(jiān)督和事后項目結(jié)題等常規(guī)階段，存在“立項緊、結(jié)題松”的現(xiàn)象。然而對已結(jié)題驗收的科研項目在經(jīng)過一段時間應(yīng)用后而進(jìn)行的后續(xù)評價，即科研項目后評價，在部分企業(yè)科研管理中還是一項尚待開展的工作。

科研項目后評價作為科研管理工作中的重要一環(huán)，是在科研項目結(jié)項驗收后，由第三方科研管理人員基于一定的指標(biāo)體系，結(jié)合項目的研究應(yīng)用情況，對項目的目標(biāo)、實施過程、結(jié)果等進(jìn)行客觀、系統(tǒng)的評估?？蒲许椖亢笤u價的落地實施，不僅可以對已結(jié)題的科研項目的實施效果及質(zhì)量進(jìn)行評價，確定預(yù)期目標(biāo)是否達(dá)到，還可對后續(xù)科研項目的改進(jìn)與發(fā)展提供合理化建議，更有助于優(yōu)化科研資源的配置。同時，對項目的立項合理性、經(jīng)費撥款決策具有指導(dǎo)性意義。

一、項目后評價國內(nèi)外現(xiàn)狀和技術(shù)發(fā)展趨勢

國外項目后評價與前評價幾乎同時產(chǎn)生，最早產(chǎn)生于20世紀(jì)30年代的美國，主要為了適應(yīng)當(dāng)時政府對重大社會計劃項目管理的需要，作為監(jiān)督政府“新政”政策性投資的手段。直到20世紀(jì)70年代，項目后評價才得到許多國家和金融機構(gòu)的重視，并迅速成為西方發(fā)達(dá)國家政府管理中必不可少的組成部分。隨后，項目后評價在世界范圍內(nèi)得到廣泛應(yīng)用，并逐漸形成了較為完善的后評價管理體系。

我國的項目后評價相對起步較晚，開始于20世紀(jì)80年代初，一些研究機構(gòu)在著手研究投資項目可行性分析方法的同時，開展了后評價方法的研究，通過與一些國家和國際機構(gòu)的交流，逐步形成我國項目后評價的理論和方法基礎(chǔ)。2008年，國家發(fā)展改革委明確規(guī)定了中央投資的項目必須開展的后評價的相關(guān)工作，這標(biāo)志著項目后評價進(jìn)入了法制化、制度化、規(guī)范化的軌道。近年來，隨著社會經(jīng)濟和科學(xué)技術(shù)的高速發(fā)展，政府和企業(yè)的管理部門逐漸意識到后評價管理體系的重要性。許多大型企業(yè)陸續(xù)開展科研項目后評價工作，相應(yīng)的后評價管理體系及模型也逐步完善。

二、企業(yè)科研項目后評價指標(biāo)體系的構(gòu)建

（一）指標(biāo)體系的構(gòu)建原則

1.系統(tǒng)性

指標(biāo)體系的構(gòu)建應(yīng)從整體出發(fā)，分級、分層、分系統(tǒng)地反映科研項目的整體情況。在反映項目研究的直接效果的同時，更要具體體現(xiàn)其所產(chǎn)生的間接效果，以確保評價工作的全面性。

2.科學(xué)性

指標(biāo)體系應(yīng)能客觀、準(zhǔn)確地反映科研項目在研制過程和結(jié)項后的情況，評價指標(biāo)的數(shù)量應(yīng)適宜，并且每個指標(biāo)的含義應(yīng)清晰，各指標(biāo)間應(yīng)相對獨立，最大限度地避免各指標(biāo)之間相互影響。

3.可操作性

指標(biāo)體系中的各項指標(biāo)應(yīng)便于獲取，指標(biāo)設(shè)置時應(yīng)選取與科研項目均適應(yīng)的指標(biāo)，并且指標(biāo)及計算方法要做到簡繁適中，方便長期開展相關(guān)工作。

4.定量與定性

在實際應(yīng)用中，為保證完全反映項目的實際情況，后評價指標(biāo)體系構(gòu)建通常以定量化指標(biāo)為主。但由于科研項目具有多樣性、差異性的特點，在后評價過程中，需要將定量與定性指標(biāo)相結(jié)合，并明確定量指標(biāo)與定性指標(biāo)的權(quán)重確定，以此才能真實地反映項目的整體情況。

（二）指標(biāo)體系的構(gòu)建方法

1.對比分析法

對比分析法是國內(nèi)外項目后評價中最常用的方法。通過把客觀事物加以比較，以達(dá)到認(rèn)識事物本質(zhì)并做出正確的評價，這種方法分為橫向?qū)Ρ确ㄅc縱向?qū)Ρ确ā?/p>

2.邏輯框架法

邏輯框架法是一種概念化論述項目的方法。核心是項目各層次直接的邏輯關(guān)系，即如果給項目提供某種因素，就將隨之產(chǎn)生某種結(jié)果。

3.層次分析法

層次分析法是一種定性與定量相結(jié)合的方法，核心是問題和目標(biāo)，逐層地分析項目中的問題，再根據(jù)數(shù)學(xué)模型，對其重要性進(jìn)行分析。該方法最初由美國數(shù)學(xué)家Saaty教授提出，對項目后評價具有跨時代的意義。

4.德爾菲法

德爾菲法是由美國蘭德公司提出，也稱專家調(diào)查法，其本質(zhì)是一種匿名反饋法。通過征得專家對所要預(yù)測問題的意見后，進(jìn)行歸納與分析，再匿名反饋給專家，進(jìn)行重復(fù)的意見征集，直至得到最終一致的意見。

5.成功度評價法

成功度評價法是一種相對綜合的方法，方法的關(guān)鍵在于專家的經(jīng)驗，綜合各項指標(biāo)評價，對項目的結(jié)果做出準(zhǔn)確的判斷。

本文將主要采用德爾菲法和層次分析法相結(jié)合的方式，建立一套適合于企業(yè)使用的科研項目后評價指標(biāo)體系，提升企業(yè)整體的科研管理和服務(wù)能力，從而實現(xiàn)企業(yè)的科研領(lǐng)域高速發(fā)展和業(yè)務(wù)轉(zhuǎn)型升級。

（三）指標(biāo)體系的構(gòu)建

首先通過梳理企業(yè)關(guān)于科研項目的現(xiàn)有考核指標(biāo)、開展文獻(xiàn)調(diào)研和咨詢專家意見，分析科研項目后評價所要達(dá)到的總目標(biāo)。再將總目標(biāo)分解為四大組成因素，最后將組成因素繼續(xù)分解為17個具體的定性或定量的評價指標(biāo)，從而得到一個多層次的分析結(jié)構(gòu)模型。

第一，指標(biāo)體系的初選。通過各梳理企業(yè)現(xiàn)有關(guān)于科研項目驗收的考核指標(biāo)，結(jié)合文獻(xiàn)參閱法，了解各地的科技項目后評價指標(biāo)體系，依據(jù)指標(biāo)體系構(gòu)建的幾大原則，初步確定后評價指標(biāo)體系。

第二，指標(biāo)體系的完善。主要是針對初選指標(biāo)可能存在一定的主觀偏頗，在初選指標(biāo)的基礎(chǔ)上通過一定的方法進(jìn)一步完善指標(biāo)體系，邀請專家對擬定的指標(biāo)體系進(jìn)行匿名評議，保證其科學(xué)性。

結(jié)合專家意見和建議，經(jīng)過多輪的反饋與修改，基本確定了五個維度作為后評價一級指標(biāo)，17個具體方向作為二級指標(biāo)，各評價指標(biāo)釋義見表1。

表1 科研項目后評價指標(biāo)體系

（四）指標(biāo)權(quán)重的確定

在已經(jīng)構(gòu)建后評價指標(biāo)體系的基礎(chǔ)上，建立出該指標(biāo)體系的層次結(jié)構(gòu)模型。隨后，對該模型中各個指標(biāo)的重要性進(jìn)行排序，再利用層次分析法，同時使用數(shù)字1-9及其倒數(shù)作為標(biāo)度，確定指標(biāo)兩兩比較的數(shù)值，建立了判斷矩陣。

為保證判斷矩陣的科學(xué)性，在構(gòu)建矩陣時，偏離一致性的程度不能過大，因此，在初步構(gòu)建判斷矩陣后，需要對判斷矩陣進(jìn)行一致性校驗。當(dāng)所計算的一致性比例CR＜0.1時，判斷矩陣的一致性就是可以被接受的，否則，需要對判斷矩陣進(jìn)行修正。

經(jīng)過計算并結(jié)合專家意見對判斷矩陣進(jìn)行不斷修正，最終得到各判斷矩陣一致性比例均小于0.1，通過一致性檢驗。在完成各項指標(biāo)權(quán)重的綜合計算后，得到科研項目后評價體系的權(quán)重，如表2所示。

表2 后評價體系權(quán)重

本指標(biāo)體系中包含主觀評價指標(biāo)和客觀評價指標(biāo)，其中技術(shù)水平、推廣應(yīng)用情況、支撐業(yè)務(wù)轉(zhuǎn)型升級情況、社會效益、成果轉(zhuǎn)化情況為主觀評價指標(biāo)，由專家進(jìn)行評價；其余指標(biāo)為客觀評價指標(biāo)，由工作人員進(jìn)行評價，專家進(jìn)行核實。

三、評價指標(biāo)分析

通過對評價指標(biāo)進(jìn)行比較分析，可得出以下結(jié)論：

第一，所占權(quán)重最大的是項目效益評價，權(quán)重為0.4，這說明在后評價中項目的效益更應(yīng)被關(guān)注。企業(yè)的科研項目更應(yīng)以實際效益為目的，通過技術(shù)創(chuàng)新等方式著力解決行業(yè)領(lǐng)域技術(shù)瓶頸，已實現(xiàn)科研工作對業(yè)務(wù)的促進(jìn)作用。項目的應(yīng)用應(yīng)帶來一定的經(jīng)濟與社會效益，并應(yīng)培養(yǎng)出專業(yè)科研技術(shù)人才，為企業(yè)的發(fā)展和創(chuàng)新提供人才資源儲備。

第二，除效益評價外，所占權(quán)重較大的為技術(shù)價值和項目成果，分別為0.26和0.24。技術(shù)價值主要體現(xiàn)在技術(shù)水平、客觀評價和推廣應(yīng)用情況三個方面，項目成果則是代表項目在研究及應(yīng)用中所形成的新能力、新技術(shù)，而標(biāo)準(zhǔn)、論文、專利、軟著等則是其重要的表現(xiàn)形式。高水平成果的持續(xù)發(fā)表、獲獎，將為行業(yè)發(fā)展起到促進(jìn)作用，同時也標(biāo)志著其價值被行業(yè)、公眾所認(rèn)可。

第三，項目的執(zhí)行情況在后評價中同樣需要被關(guān)注，在本體系中執(zhí)行情況所占權(quán)重為0.1。項目預(yù)期目標(biāo)實現(xiàn)率、進(jìn)度完成率和項目產(chǎn)出成果數(shù)量作為評判項目執(zhí)行質(zhì)量的重要維度，可以反映出項目整體是否得到有效管理。

四、結(jié)語

本文運用層次分析法、德爾菲法等構(gòu)建了涵蓋項目執(zhí)行情況、項目成果、技術(shù)價值、項目效益評價等4個維度、17個具體評價指標(biāo)的企業(yè)科研項目后評價指標(biāo)體系。通過分析發(fā)現(xiàn)，評價指標(biāo)中項目效益評價的指標(biāo)所占比例最大，項目執(zhí)行情況的指標(biāo)所占比例最小。

在研究過程中，將定性研究與定量研究相結(jié)合，同時結(jié)合專家和科研工作者自身科研經(jīng)驗對計算得出的指標(biāo)權(quán)重進(jìn)行了多次修正，最大化地削弱了主觀因素對指標(biāo)體系構(gòu)建的影響，以提高科研項目后評價的公正性、客觀性。希望可以為企業(yè)項目的立項、驗收等管理流程提供一定的決策幫助。

然而，盡管本文借鑒了國家社科基金績效評價、地方科研項目后評價等眾多研究成果，并結(jié)合專家及科研工作者的意見進(jìn)行了修正，但是，本文所選取的指標(biāo)及確定的指標(biāo)權(quán)重仍可能存在不足之處，需要在實踐中不斷檢驗完善。