基于層次分析法的企業(yè)科研項(xiàng)目后評(píng)價(jià)指標(biāo)體系構(gòu)建研究

趙 碩 張?jiān)娒?張 南 王悠然

（中汽研汽車檢驗(yàn)中心（天津）有限公司，天津 300300）

企業(yè)作為科技創(chuàng)新工作的主體，其重要程度不言而喻。2020年，我國各類企業(yè)研究與試驗(yàn)發(fā)展經(jīng)費(fèi)支出18673.8億元，比上年增長10.4%，占全社會(huì)研發(fā)經(jīng)費(fèi)支出的比重高達(dá)為76.6%。科研經(jīng)費(fèi)投入力度的不斷加大，促使企業(yè)科研項(xiàng)目數(shù)量和科研經(jīng)費(fèi)投入增長趨勢(shì)明顯。但目前多數(shù)企業(yè)對(duì)科研項(xiàng)目的管理還僅限于事前項(xiàng)目立項(xiàng)評(píng)審、事中項(xiàng)目執(zhí)行監(jiān)督和事后項(xiàng)目結(jié)題等常規(guī)階段，存在“立項(xiàng)緊、結(jié)題松”的現(xiàn)象。然而對(duì)已結(jié)題驗(yàn)收的科研項(xiàng)目在經(jīng)過一段時(shí)間應(yīng)用后而進(jìn)行的后續(xù)評(píng)價(jià)，即科研項(xiàng)目后評(píng)價(jià)，在部分企業(yè)科研管理中還是一項(xiàng)尚待開展的工作。

科研項(xiàng)目后評(píng)價(jià)作為科研管理工作中的重要一環(huán)，是在科研項(xiàng)目結(jié)項(xiàng)驗(yàn)收后，由第三方科研管理人員基于一定的指標(biāo)體系，結(jié)合項(xiàng)目的研究應(yīng)用情況，對(duì)項(xiàng)目的目標(biāo)、實(shí)施過程、結(jié)果等進(jìn)行客觀、系統(tǒng)的評(píng)估?？蒲许?xiàng)目后評(píng)價(jià)的落地實(shí)施，不僅可以對(duì)已結(jié)題的科研項(xiàng)目的實(shí)施效果及質(zhì)量進(jìn)行評(píng)價(jià)，確定預(yù)期目標(biāo)是否達(dá)到，還可對(duì)后續(xù)科研項(xiàng)目的改進(jìn)與發(fā)展提供合理化建議，更有助于優(yōu)化科研資源的配置。同時(shí)，對(duì)項(xiàng)目的立項(xiàng)合理性、經(jīng)費(fèi)撥款決策具有指導(dǎo)性意義。

一、項(xiàng)目后評(píng)價(jià)國內(nèi)外現(xiàn)狀和技術(shù)發(fā)展趨勢(shì)

國外項(xiàng)目后評(píng)價(jià)與前評(píng)價(jià)幾乎同時(shí)產(chǎn)生，最早產(chǎn)生于20世紀(jì)30年代的美國，主要為了適應(yīng)當(dāng)時(shí)政府對(duì)重大社會(huì)計(jì)劃項(xiàng)目管理的需要，作為監(jiān)督政府“新政”政策性投資的手段。直到20世紀(jì)70年代，項(xiàng)目后評(píng)價(jià)才得到許多國家和金融機(jī)構(gòu)的重視，并迅速成為西方發(fā)達(dá)國家政府管理中必不可少的組成部分。隨后，項(xiàng)目后評(píng)價(jià)在世界范圍內(nèi)得到廣泛應(yīng)用，并逐漸形成了較為完善的后評(píng)價(jià)管理體系。

我國的項(xiàng)目后評(píng)價(jià)相對(duì)起步較晚，開始于20世紀(jì)80年代初，一些研究機(jī)構(gòu)在著手研究投資項(xiàng)目可行性分析方法的同時(shí)，開展了后評(píng)價(jià)方法的研究，通過與一些國家和國際機(jī)構(gòu)的交流，逐步形成我國項(xiàng)目后評(píng)價(jià)的理論和方法基礎(chǔ)。2008年，國家發(fā)展改革委明確規(guī)定了中央投資的項(xiàng)目必須開展的后評(píng)價(jià)的相關(guān)工作，這標(biāo)志著項(xiàng)目后評(píng)價(jià)進(jìn)入了法制化、制度化、規(guī)范化的軌道。近年來，隨著社會(huì)經(jīng)濟(jì)和科學(xué)技術(shù)的高速發(fā)展，政府和企業(yè)的管理部門逐漸意識(shí)到后評(píng)價(jià)管理體系的重要性。許多大型企業(yè)陸續(xù)開展科研項(xiàng)目后評(píng)價(jià)工作，相應(yīng)的后評(píng)價(jià)管理體系及模型也逐步完善。

二、企業(yè)科研項(xiàng)目后評(píng)價(jià)指標(biāo)體系的構(gòu)建

（一）指標(biāo)體系的構(gòu)建原則

1.系統(tǒng)性

指標(biāo)體系的構(gòu)建應(yīng)從整體出發(fā)，分級(jí)、分層、分系統(tǒng)地反映科研項(xiàng)目的整體情況。在反映項(xiàng)目研究的直接效果的同時(shí)，更要具體體現(xiàn)其所產(chǎn)生的間接效果，以確保評(píng)價(jià)工作的全面性。

2.科學(xué)性

指標(biāo)體系應(yīng)能客觀、準(zhǔn)確地反映科研項(xiàng)目在研制過程和結(jié)項(xiàng)后的情況，評(píng)價(jià)指標(biāo)的數(shù)量應(yīng)適宜，并且每個(gè)指標(biāo)的含義應(yīng)清晰，各指標(biāo)間應(yīng)相對(duì)獨(dú)立，最大限度地避免各指標(biāo)之間相互影響。

3.可操作性

指標(biāo)體系中的各項(xiàng)指標(biāo)應(yīng)便于獲取，指標(biāo)設(shè)置時(shí)應(yīng)選取與科研項(xiàng)目均適應(yīng)的指標(biāo)，并且指標(biāo)及計(jì)算方法要做到簡繁適中，方便長期開展相關(guān)工作。

4.定量與定性

在實(shí)際應(yīng)用中，為保證完全反映項(xiàng)目的實(shí)際情況，后評(píng)價(jià)指標(biāo)體系構(gòu)建通常以定量化指標(biāo)為主。但由于科研項(xiàng)目具有多樣性、差異性的特點(diǎn)，在后評(píng)價(jià)過程中，需要將定量與定性指標(biāo)相結(jié)合，并明確定量指標(biāo)與定性指標(biāo)的權(quán)重確定，以此才能真實(shí)地反映項(xiàng)目的整體情況。

（二）指標(biāo)體系的構(gòu)建方法

1.對(duì)比分析法

對(duì)比分析法是國內(nèi)外項(xiàng)目后評(píng)價(jià)中最常用的方法。通過把客觀事物加以比較，以達(dá)到認(rèn)識(shí)事物本質(zhì)并做出正確的評(píng)價(jià)，這種方法分為橫向?qū)Ρ确ㄅc縱向?qū)Ρ确ā?/p>

2.邏輯框架法

邏輯框架法是一種概念化論述項(xiàng)目的方法。核心是項(xiàng)目各層次直接的邏輯關(guān)系，即如果給項(xiàng)目提供某種因素，就將隨之產(chǎn)生某種結(jié)果。

3.層次分析法

層次分析法是一種定性與定量相結(jié)合的方法，核心是問題和目標(biāo)，逐層地分析項(xiàng)目中的問題，再根據(jù)數(shù)學(xué)模型，對(duì)其重要性進(jìn)行分析。該方法最初由美國數(shù)學(xué)家Saaty教授提出，對(duì)項(xiàng)目后評(píng)價(jià)具有跨時(shí)代的意義。

4.德爾菲法

德爾菲法是由美國蘭德公司提出，也稱專家調(diào)查法，其本質(zhì)是一種匿名反饋法。通過征得專家對(duì)所要預(yù)測(cè)問題的意見后，進(jìn)行歸納與分析，再匿名反饋給專家，進(jìn)行重復(fù)的意見征集，直至得到最終一致的意見。

5.成功度評(píng)價(jià)法

成功度評(píng)價(jià)法是一種相對(duì)綜合的方法，方法的關(guān)鍵在于專家的經(jīng)驗(yàn)，綜合各項(xiàng)指標(biāo)評(píng)價(jià)，對(duì)項(xiàng)目的結(jié)果做出準(zhǔn)確的判斷。

本文將主要采用德爾菲法和層次分析法相結(jié)合的方式，建立一套適合于企業(yè)使用的科研項(xiàng)目后評(píng)價(jià)指標(biāo)體系，提升企業(yè)整體的科研管理和服務(wù)能力，從而實(shí)現(xiàn)企業(yè)的科研領(lǐng)域高速發(fā)展和業(yè)務(wù)轉(zhuǎn)型升級(jí)。

（三）指標(biāo)體系的構(gòu)建

首先通過梳理企業(yè)關(guān)于科研項(xiàng)目的現(xiàn)有考核指標(biāo)、開展文獻(xiàn)調(diào)研和咨詢專家意見，分析科研項(xiàng)目后評(píng)價(jià)所要達(dá)到的總目標(biāo)。再將總目標(biāo)分解為四大組成因素，最后將組成因素繼續(xù)分解為17個(gè)具體的定性或定量的評(píng)價(jià)指標(biāo)，從而得到一個(gè)多層次的分析結(jié)構(gòu)模型。

第一，指標(biāo)體系的初選。通過各梳理企業(yè)現(xiàn)有關(guān)于科研項(xiàng)目驗(yàn)收的考核指標(biāo)，結(jié)合文獻(xiàn)參閱法，了解各地的科技項(xiàng)目后評(píng)價(jià)指標(biāo)體系，依據(jù)指標(biāo)體系構(gòu)建的幾大原則，初步確定后評(píng)價(jià)指標(biāo)體系。

第二，指標(biāo)體系的完善。主要是針對(duì)初選指標(biāo)可能存在一定的主觀偏頗，在初選指標(biāo)的基礎(chǔ)上通過一定的方法進(jìn)一步完善指標(biāo)體系，邀請(qǐng)專家對(duì)擬定的指標(biāo)體系進(jìn)行匿名評(píng)議，保證其科學(xué)性。

結(jié)合專家意見和建議，經(jīng)過多輪的反饋與修改，基本確定了五個(gè)維度作為后評(píng)價(jià)一級(jí)指標(biāo)，17個(gè)具體方向作為二級(jí)指標(biāo)，各評(píng)價(jià)指標(biāo)釋義見表1。

表1 科研項(xiàng)目后評(píng)價(jià)指標(biāo)體系

（四）指標(biāo)權(quán)重的確定

在已經(jīng)構(gòu)建后評(píng)價(jià)指標(biāo)體系的基礎(chǔ)上，建立出該指標(biāo)體系的層次結(jié)構(gòu)模型。隨后，對(duì)該模型中各個(gè)指標(biāo)的重要性進(jìn)行排序，再利用層次分析法，同時(shí)使用數(shù)字1-9及其倒數(shù)作為標(biāo)度，確定指標(biāo)兩兩比較的數(shù)值，建立了判斷矩陣。

為保證判斷矩陣的科學(xué)性，在構(gòu)建矩陣時(shí)，偏離一致性的程度不能過大，因此，在初步構(gòu)建判斷矩陣后，需要對(duì)判斷矩陣進(jìn)行一致性校驗(yàn)。當(dāng)所計(jì)算的一致性比例CR＜0.1時(shí)，判斷矩陣的一致性就是可以被接受的，否則，需要對(duì)判斷矩陣進(jìn)行修正。

經(jīng)過計(jì)算并結(jié)合專家意見對(duì)判斷矩陣進(jìn)行不斷修正，最終得到各判斷矩陣一致性比例均小于0.1，通過一致性檢驗(yàn)。在完成各項(xiàng)指標(biāo)權(quán)重的綜合計(jì)算后，得到科研項(xiàng)目后評(píng)價(jià)體系的權(quán)重，如表2所示。

表2 后評(píng)價(jià)體系權(quán)重

本指標(biāo)體系中包含主觀評(píng)價(jià)指標(biāo)和客觀評(píng)價(jià)指標(biāo)，其中技術(shù)水平、推廣應(yīng)用情況、支撐業(yè)務(wù)轉(zhuǎn)型升級(jí)情況、社會(huì)效益、成果轉(zhuǎn)化情況為主觀評(píng)價(jià)指標(biāo)，由專家進(jìn)行評(píng)價(jià)；其余指標(biāo)為客觀評(píng)價(jià)指標(biāo)，由工作人員進(jìn)行評(píng)價(jià)，專家進(jìn)行核實(shí)。

三、評(píng)價(jià)指標(biāo)分析

通過對(duì)評(píng)價(jià)指標(biāo)進(jìn)行比較分析，可得出以下結(jié)論：

第一，所占權(quán)重最大的是項(xiàng)目效益評(píng)價(jià)，權(quán)重為0.4，這說明在后評(píng)價(jià)中項(xiàng)目的效益更應(yīng)被關(guān)注。企業(yè)的科研項(xiàng)目更應(yīng)以實(shí)際效益為目的，通過技術(shù)創(chuàng)新等方式著力解決行業(yè)領(lǐng)域技術(shù)瓶頸，已實(shí)現(xiàn)科研工作對(duì)業(yè)務(wù)的促進(jìn)作用。項(xiàng)目的應(yīng)用應(yīng)帶來一定的經(jīng)濟(jì)與社會(huì)效益，并應(yīng)培養(yǎng)出專業(yè)科研技術(shù)人才，為企業(yè)的發(fā)展和創(chuàng)新提供人才資源儲(chǔ)備。

第二，除效益評(píng)價(jià)外，所占權(quán)重較大的為技術(shù)價(jià)值和項(xiàng)目成果，分別為0.26和0.24。技術(shù)價(jià)值主要體現(xiàn)在技術(shù)水平、客觀評(píng)價(jià)和推廣應(yīng)用情況三個(gè)方面，項(xiàng)目成果則是代表項(xiàng)目在研究及應(yīng)用中所形成的新能力、新技術(shù)，而標(biāo)準(zhǔn)、論文、專利、軟著等則是其重要的表現(xiàn)形式。高水平成果的持續(xù)發(fā)表、獲獎(jiǎng)，將為行業(yè)發(fā)展起到促進(jìn)作用，同時(shí)也標(biāo)志著其價(jià)值被行業(yè)、公眾所認(rèn)可。

第三，項(xiàng)目的執(zhí)行情況在后評(píng)價(jià)中同樣需要被關(guān)注，在本體系中執(zhí)行情況所占權(quán)重為0.1。項(xiàng)目預(yù)期目標(biāo)實(shí)現(xiàn)率、進(jìn)度完成率和項(xiàng)目產(chǎn)出成果數(shù)量作為評(píng)判項(xiàng)目執(zhí)行質(zhì)量的重要維度，可以反映出項(xiàng)目整體是否得到有效管理。

四、結(jié)語

本文運(yùn)用層次分析法、德爾菲法等構(gòu)建了涵蓋項(xiàng)目執(zhí)行情況、項(xiàng)目成果、技術(shù)價(jià)值、項(xiàng)目效益評(píng)價(jià)等4個(gè)維度、17個(gè)具體評(píng)價(jià)指標(biāo)的企業(yè)科研項(xiàng)目后評(píng)價(jià)指標(biāo)體系。通過分析發(fā)現(xiàn)，評(píng)價(jià)指標(biāo)中項(xiàng)目效益評(píng)價(jià)的指標(biāo)所占比例最大，項(xiàng)目執(zhí)行情況的指標(biāo)所占比例最小。

在研究過程中，將定性研究與定量研究相結(jié)合，同時(shí)結(jié)合專家和科研工作者自身科研經(jīng)驗(yàn)對(duì)計(jì)算得出的指標(biāo)權(quán)重進(jìn)行了多次修正，最大化地削弱了主觀因素對(duì)指標(biāo)體系構(gòu)建的影響，以提高科研項(xiàng)目后評(píng)價(jià)的公正性、客觀性。希望可以為企業(yè)項(xiàng)目的立項(xiàng)、驗(yàn)收等管理流程提供一定的決策幫助。

然而，盡管本文借鑒了國家社科基金績效評(píng)價(jià)、地方科研項(xiàng)目后評(píng)價(jià)等眾多研究成果，并結(jié)合專家及科研工作者的意見進(jìn)行了修正，但是，本文所選取的指標(biāo)及確定的指標(biāo)權(quán)重仍可能存在不足之處，需要在實(shí)踐中不斷檢驗(yàn)完善。