基于WBS的省級(jí)科技項(xiàng)目多元化評(píng)價(jià)體系研究
--以吉林省科技計(jì)劃項(xiàng)目實(shí)證評(píng)價(jià)為例

王 欣 周立娟 胡璐璐 楊 華 來則鳴 劉 臻 白 洋 劉小溪

（吉林省科學(xué)技術(shù)信息研究所，吉林長(zhǎng)春 130000）

0 引言

省級(jí)科技項(xiàng)目是地方政府促進(jìn)科研和技術(shù)創(chuàng)新等活動(dòng)的基本組織形式，也是合理配置省內(nèi)科技資源、促進(jìn)全省科技與經(jīng)濟(jì)發(fā)展的重要手段。對(duì)省級(jí)科技項(xiàng)目開展評(píng)價(jià)是科研管理部門的重要管理手段，也是制定科學(xué)決策的重要依據(jù)。對(duì)省級(jí)科技項(xiàng)目的評(píng)價(jià)結(jié)果會(huì)直接影響地方科研經(jīng)費(fèi)的投入使用效果，并對(duì)實(shí)現(xiàn)全省科技資源的合理高效配置起決定性作用。

WBS（Work Breakdown Structure）即工作分解結(jié)構(gòu)，是一種涵蓋了項(xiàng)目全部工作內(nèi)容的項(xiàng)目分組結(jié)構(gòu)。在此結(jié)構(gòu)中包含多級(jí)附屬層級(jí)結(jié)構(gòu)，每個(gè)下降層級(jí)都會(huì)表示出較其所屬上一層級(jí)更加具體的項(xiàng)目工作分組[1]。WBE（Work Breakdown Element）即工作分解單元，是在工作分解結(jié)構(gòu)中能夠獨(dú)立表達(dá)、獨(dú)立測(cè)量、獨(dú)立評(píng)價(jià)的基本單元。建立WBS的目的在于把一個(gè)項(xiàng)目細(xì)化、分解成不同的組成部分，以便于管理層和研發(fā)人員全面了解與掌握項(xiàng)目工作內(nèi)容[2]。

本文以吉林省科學(xué)技術(shù)廳《關(guān)于開展“負(fù)面清單+誠信+績(jī)效”科技計(jì)劃項(xiàng)目管理試點(diǎn)的指導(dǎo)意見》[3]為導(dǎo)向，以2020年立項(xiàng)的吉林省科技發(fā)展計(jì)劃項(xiàng)目中部分類別科技項(xiàng)目為研究對(duì)象，應(yīng)用WBS方法進(jìn)行多元化實(shí)證評(píng)價(jià)探索研究。對(duì)項(xiàng)目的主要內(nèi)容、關(guān)鍵技術(shù)、產(chǎn)出成果等展開全面分解和梳理，并在此基礎(chǔ)上加入成熟度、創(chuàng)新度、技術(shù)先進(jìn)度和領(lǐng)域分析等評(píng)價(jià)過程，深入研究基于WBS的多元評(píng)價(jià)方法在省級(jí)科技項(xiàng)目評(píng)價(jià)中的應(yīng)用。本文的研究目的在于豐富和完善現(xiàn)有省級(jí)科技項(xiàng)目的評(píng)價(jià)形式，為原科技項(xiàng)目同行專家評(píng)議方法提供輔助和客觀評(píng)價(jià)依據(jù)，并與同行專家評(píng)議形式相結(jié)合，共同形成一套適合省級(jí)科技項(xiàng)目評(píng)價(jià)的多元化評(píng)價(jià)體系。

1 文獻(xiàn)綜述

自20世紀(jì)90年代中期，我國開始推行科技評(píng)估制度以來，不斷有學(xué)者對(duì)科技項(xiàng)目評(píng)價(jià)方法、評(píng)估模型等進(jìn)行深入探索挖掘[4-5]。姜文超等[6]采用DEA投入導(dǎo)向模型對(duì)成果轉(zhuǎn)化類科技項(xiàng)目進(jìn)行了績(jī)效評(píng)價(jià)研究；何成等[7]基于模糊評(píng)價(jià)方法探索了科技計(jì)劃項(xiàng)目的立項(xiàng)評(píng)估體系；馬麗娜等[8]研究了層次灰色評(píng)價(jià)模型在科技項(xiàng)目立項(xiàng)評(píng)估中的應(yīng)用；楊仕輝[9]研究了在區(qū)域項(xiàng)目發(fā)展優(yōu)選中的應(yīng)用數(shù)據(jù)包絡(luò)分析模型的效果。這些科技項(xiàng)目評(píng)價(jià)方法，有些是早期的項(xiàng)目評(píng)價(jià)方法，而有些則并不適用于省級(jí)科技項(xiàng)目的評(píng)價(jià)。目前，最常用的省級(jí)科技項(xiàng)目評(píng)價(jià)方法主要為同行業(yè)專家評(píng)議法[5]。

同行業(yè)專家評(píng)議法是現(xiàn)階段省級(jí)科技項(xiàng)目評(píng)價(jià)中應(yīng)用最廣泛的方法，但這個(gè)方法屬于定性評(píng)價(jià)方法，其在評(píng)價(jià)科學(xué)性、客觀性等方面也會(huì)受到一定程度的制約。如相關(guān)領(lǐng)域行業(yè)專家的數(shù)量、學(xué)術(shù)水平程度、對(duì)領(lǐng)域發(fā)展的預(yù)見性，以及行業(yè)專家對(duì)評(píng)審材料的理解程度、所形成評(píng)審意見的主觀部分占比程度等都會(huì)對(duì)評(píng)審結(jié)果質(zhì)量產(chǎn)生一定影響。同時(shí)，行業(yè)專家在評(píng)審過程中缺少評(píng)價(jià)的標(biāo)準(zhǔn)依據(jù)，也會(huì)間接導(dǎo)致評(píng)價(jià)結(jié)果缺乏客觀性。

2018年以來，國務(wù)院辦公廳印發(fā)了《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見》[10]，其目的在于建立健全科技項(xiàng)目評(píng)估評(píng)價(jià)體系，推動(dòng)我國科技項(xiàng)目評(píng)估工作向著科學(xué)化、規(guī)范化的方向發(fā)展。在國家政策引導(dǎo)下，我國各省市也相繼開始在同行業(yè)專家評(píng)議法的基礎(chǔ)上，探索多元化、系統(tǒng)化的科技項(xiàng)目評(píng)價(jià)方法。廣東省在重大科技專項(xiàng)中期評(píng)估中正式引入了技術(shù)就緒水平評(píng)價(jià)方法[11-13]；河北省對(duì)省級(jí)重大科技成果轉(zhuǎn)化項(xiàng)目和重點(diǎn)研發(fā)計(jì)劃項(xiàng)目產(chǎn)業(yè)化交付物和關(guān)鍵技術(shù)成熟程度開展定量評(píng)價(jià)[14]；山東省青島市出臺(tái)了《青島市科技計(jì)劃項(xiàng)目技術(shù)成熟度立項(xiàng)評(píng)價(jià)工作規(guī)程（試行）》[15]，將技術(shù)成熟度應(yīng)用于關(guān)鍵技術(shù)攻關(guān)及產(chǎn)業(yè)化示范類科技計(jì)劃項(xiàng)目遴選的立項(xiàng)過程評(píng)價(jià)。從評(píng)價(jià)對(duì)象和評(píng)價(jià)周期來看，各省市涉及情況均不相同，但從評(píng)價(jià)方法來看，對(duì)于項(xiàng)目技術(shù)就緒水平（即技術(shù)成熟度）的定量評(píng)價(jià)已成為研究熱點(diǎn)，而對(duì)于科技項(xiàng)目的評(píng)價(jià)形式也已經(jīng)由僅對(duì)項(xiàng)目初始階段的評(píng)價(jià)發(fā)展到對(duì)項(xiàng)目全周期過程的多維度、多類別的評(píng)價(jià)形式。

吉林省在促進(jìn)科技項(xiàng)目評(píng)價(jià)體系規(guī)范化方面采取了多項(xiàng)措施，先后印發(fā)了《關(guān)于優(yōu)化科研管理提升科研績(jī)效的實(shí)施意見》《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的實(shí)施意見》等多項(xiàng)指導(dǎo)實(shí)施文件，旨在以貫徹落實(shí)國家政策為根本依據(jù)，從深入推進(jìn)吉林省科技項(xiàng)目評(píng)價(jià)改革機(jī)制、激發(fā)科研人員創(chuàng)新活力、堅(jiān)持公平公正公開原則、建立客觀標(biāo)準(zhǔn)的項(xiàng)目評(píng)估評(píng)價(jià)評(píng)審流程等角度出發(fā)，建設(shè)涵蓋項(xiàng)目評(píng)審全過程關(guān)鍵環(huán)節(jié)的制度體系。

基于此，筆者從吉林省省級(jí)科技計(jì)劃項(xiàng)目角度出發(fā)，融合同行業(yè)專家評(píng)議法，探索研究一套基于WBS且包含定量評(píng)價(jià)和定性分析過程的省級(jí)科技項(xiàng)目多元化評(píng)價(jià)體系。

2 省級(jí)科技項(xiàng)目多元化評(píng)價(jià)體系理論框架設(shè)計(jì)

2.1 評(píng)價(jià)體系構(gòu)建原則

評(píng)價(jià)體系作為省級(jí)科技項(xiàng)目質(zhì)量評(píng)價(jià)的重要工具，既應(yīng)客觀反映被評(píng)項(xiàng)目的真實(shí)技術(shù)水平，也應(yīng)符合項(xiàng)目指南基本要求。因此，在體系構(gòu)建方面應(yīng)遵循以下原則。

（1）科學(xué)性原則。根據(jù)科技項(xiàng)目特點(diǎn)，評(píng)價(jià)指標(biāo)等級(jí)界定應(yīng)清晰明確，成熟度、創(chuàng)新度、先進(jìn)度等指標(biāo)設(shè)置應(yīng)科學(xué)合理，讓評(píng)估人員能夠快速準(zhǔn)確地判定評(píng)價(jià)等級(jí)，讓項(xiàng)目管理機(jī)構(gòu)及評(píng)審專家能夠清楚每個(gè)等級(jí)所表達(dá)的含義。

（2）獨(dú)立客觀原則。評(píng)價(jià)體系應(yīng)客觀反映科技項(xiàng)目的真實(shí)技術(shù)水平，每個(gè)維度的評(píng)價(jià)結(jié)論皆應(yīng)獨(dú)立客觀，并由論據(jù)充分的佐證材料進(jìn)行支撐。

（3）導(dǎo)向性原則。評(píng)價(jià)體系應(yīng)與項(xiàng)目指南要求相匹配，根據(jù)不同類別科技項(xiàng)目的不同支持重點(diǎn)，在設(shè)置評(píng)價(jià)體系的指標(biāo)時(shí)應(yīng)體現(xiàn)不同的導(dǎo)向性。

（4）標(biāo)準(zhǔn)可操作原則。評(píng)價(jià)方法、指標(biāo)和評(píng)價(jià)結(jié)論應(yīng)盡量簡(jiǎn)潔、標(biāo)準(zhǔn)易操作，能夠讓評(píng)估人員迅速抓住科技項(xiàng)目的評(píng)價(jià)重點(diǎn)，在有限時(shí)間內(nèi)搜集密切相關(guān)材料，盡量作出精準(zhǔn)評(píng)價(jià)。

2.2 評(píng)價(jià)體系構(gòu)建方法

本文在構(gòu)建多元化評(píng)價(jià)體系時(shí)主要基于以下4種方法：一是建立WBS法，是指按照省級(jí)科技項(xiàng)目的研究?jī)?nèi)容、實(shí)施過程、所在地域或交付物的物理結(jié)構(gòu)、主要功能等對(duì)項(xiàng)目進(jìn)行自上至下的全面逐級(jí)分解，將其拆分為多個(gè)可以獨(dú)立表達(dá)、獨(dú)立測(cè)量、獨(dú)立評(píng)價(jià)的WBE，并建立所屬分支明確的WBS結(jié)構(gòu)圖的過程。項(xiàng)目WBS結(jié)構(gòu)如圖1所示。二是多元化技術(shù)指標(biāo)評(píng)價(jià)法，是指按照項(xiàng)目的WBS情況對(duì)項(xiàng)目每個(gè)WBE或核心WBE進(jìn)行成熟度、創(chuàng)新度、技術(shù)先進(jìn)度指標(biāo)的等級(jí)評(píng)價(jià)，即分別從項(xiàng)目的技術(shù)就緒水平或理論方法就緒水平、新穎性程度和核心指標(biāo)的先進(jìn)性程度這3個(gè)維度來評(píng)價(jià)項(xiàng)目質(zhì)量。三是所屬領(lǐng)域分析評(píng)價(jià)法，是指利用文獻(xiàn)計(jì)量法、專利聚類分析法等對(duì)科技項(xiàng)目的核心技術(shù)/理論所屬領(lǐng)域或領(lǐng)域上游相關(guān)產(chǎn)業(yè)情況進(jìn)行綜合分析，旨在評(píng)價(jià)科技項(xiàng)目研發(fā)方向所屬領(lǐng)域或其上游相關(guān)產(chǎn)業(yè)的發(fā)展趨勢(shì)情況。四是行業(yè)專家咨詢法，是指在以上評(píng)價(jià)方法形成綜合評(píng)價(jià)結(jié)論的基礎(chǔ)上，采取咨詢相關(guān)領(lǐng)域行業(yè)專家的方式來驗(yàn)證評(píng)價(jià)結(jié)果的客觀性，以最終形成完整、規(guī)范、科學(xué)、客觀的科技項(xiàng)目多元化評(píng)價(jià)報(bào)告。

圖1 項(xiàng)目WBS結(jié)構(gòu)示意

2.3 評(píng)價(jià)指標(biāo)的選取

本文的多元化評(píng)價(jià)體系指標(biāo)主要從成熟度、創(chuàng)新度、技術(shù)先進(jìn)度和領(lǐng)域分析4個(gè)維度產(chǎn)生。

2.3.1 成熟度指標(biāo)

成熟度指標(biāo)是指按照項(xiàng)目WBS對(duì)每個(gè)WBE進(jìn)行技術(shù)/理論方法就緒水平進(jìn)行評(píng)價(jià)時(shí)的指標(biāo)。國家標(biāo)準(zhǔn)GB/T 22900-2022《科學(xué)技術(shù)研究項(xiàng)目評(píng)價(jià)通則》[16]對(duì)科技項(xiàng)目的類別劃分為基礎(chǔ)研究類、應(yīng)用研究類、開發(fā)研究類。據(jù)此，本文將成熟度指標(biāo)設(shè)定為2項(xiàng)，即基礎(chǔ)研究成熟度指標(biāo)、應(yīng)用研究成熟度指標(biāo)。對(duì)應(yīng)開發(fā)研究類科技項(xiàng)目，本文采用同時(shí)考察其基礎(chǔ)研究成熟度和應(yīng)用研究成熟度評(píng)價(jià)的方式來獲得評(píng)價(jià)結(jié)果。對(duì)于基礎(chǔ)研究成熟度和應(yīng)用研究成熟度的評(píng)價(jià)標(biāo)準(zhǔn)，本文借鑒山東省青島市對(duì)科技成果標(biāo)準(zhǔn)化評(píng)價(jià)[2]的技術(shù)成熟度評(píng)價(jià)標(biāo)準(zhǔn)，根據(jù)應(yīng)用研究類項(xiàng)目特點(diǎn)，設(shè)計(jì)了13級(jí)應(yīng)用研究成熟度評(píng)價(jià)參照標(biāo)準(zhǔn)，如表1所示，并根據(jù)基礎(chǔ)研究類項(xiàng)目特點(diǎn)，設(shè)計(jì)了7級(jí)基礎(chǔ)研究成熟度評(píng)價(jià)參照標(biāo)準(zhǔn)，如表2所示。

表1 應(yīng)用研究成熟度等級(jí)評(píng)價(jià)參照標(biāo)準(zhǔn)

表2 基礎(chǔ)研究成熟度等級(jí)評(píng)價(jià)參照表

2.3.2 創(chuàng)新度指標(biāo)

創(chuàng)新度指標(biāo)是指對(duì)科技項(xiàng)目的核心技術(shù)部分或核心工作單元的新穎性水平進(jìn)行評(píng)價(jià)時(shí)的指標(biāo)。本文設(shè)定創(chuàng)新度指標(biāo)1項(xiàng)，并對(duì)照山東省青島市的科技成果標(biāo)準(zhǔn)化評(píng)價(jià)方法[2]，結(jié)合前期對(duì)評(píng)價(jià)體系的基礎(chǔ)研究過程[17-18]和省級(jí)科技項(xiàng)目特點(diǎn)設(shè)計(jì)7級(jí)創(chuàng)新度評(píng)價(jià)參照標(biāo)準(zhǔn)，如表3所示。

表3 創(chuàng)新度等級(jí)評(píng)價(jià)參照表

2.3.3 技術(shù)先進(jìn)度指標(biāo)

技術(shù)先進(jìn)度指標(biāo)是指對(duì)應(yīng)用研究類和開發(fā)研究類科技項(xiàng)目的核心技術(shù)先進(jìn)程度進(jìn)行評(píng)價(jià)時(shí)的指標(biāo)。由于基礎(chǔ)研究類項(xiàng)目一般無法產(chǎn)生具有可比較性參數(shù)指標(biāo)的實(shí)質(zhì)性交付物，因此這項(xiàng)評(píng)價(jià)指標(biāo)不用于考察基礎(chǔ)研究類項(xiàng)目。本文設(shè)定技術(shù)先進(jìn)度指標(biāo)1項(xiàng)，借鑒山東省青島市科技成果標(biāo)準(zhǔn)化評(píng)價(jià)[2]中的技術(shù)先進(jìn)度評(píng)價(jià)標(biāo)準(zhǔn)，根據(jù)應(yīng)用研究類和開發(fā)研究類項(xiàng)目特點(diǎn)，設(shè)計(jì)7級(jí)技術(shù)先進(jìn)度評(píng)價(jià)參照標(biāo)準(zhǔn)，如表4所示。

表4 技術(shù)先進(jìn)度等級(jí)評(píng)價(jià)參照表

2.3.4 領(lǐng)域分析指標(biāo)

領(lǐng)域分析指標(biāo)是指對(duì)科技項(xiàng)目研發(fā)方向所屬領(lǐng)域進(jìn)行趨勢(shì)分析評(píng)價(jià)時(shí)的指標(biāo)，結(jié)合省級(jí)科技項(xiàng)目特點(diǎn)，本文設(shè)定生命周期階段、領(lǐng)域方向?qū)嵙C(jī)構(gòu)、研發(fā)方向熱點(diǎn)技術(shù)3項(xiàng)指標(biāo)。由于領(lǐng)域分析為定性分析過程，本文設(shè)定的這部分指標(biāo)不作為項(xiàng)目評(píng)價(jià)依據(jù)，僅作為輔助參考指標(biāo)。

2.4 評(píng)價(jià)實(shí)施流程

本文所構(gòu)建的多元化評(píng)價(jià)體系主要由確認(rèn)評(píng)價(jià)目標(biāo)、建立工作分解結(jié)構(gòu)（構(gòu)建項(xiàng)目WBS圖）、提取項(xiàng)目相關(guān)指標(biāo)、文獻(xiàn)檢索分析與佐證材料整理、進(jìn)行多元化指標(biāo)評(píng)價(jià)、形成綜合評(píng)價(jià)結(jié)論、咨詢行業(yè)專家、形成多元化評(píng)價(jià)報(bào)告等內(nèi)容構(gòu)成。其中，提取項(xiàng)目相關(guān)指標(biāo)環(huán)節(jié)主要是指對(duì)項(xiàng)目預(yù)期產(chǎn)出或已產(chǎn)出成果、項(xiàng)目主要?jiǎng)?chuàng)新點(diǎn)、項(xiàng)目核心技術(shù)指標(biāo)等內(nèi)容的梳理提取，這個(gè)環(huán)節(jié)也可根據(jù)項(xiàng)目實(shí)際情況提取研發(fā)風(fēng)險(xiǎn)、研發(fā)團(tuán)隊(duì)情況、項(xiàng)目保障條件等信息；進(jìn)行多元化指標(biāo)評(píng)價(jià)環(huán)節(jié)主要包括對(duì)項(xiàng)目成熟度、創(chuàng)新度、技術(shù)先進(jìn)度指標(biāo)的等級(jí)評(píng)價(jià)和對(duì)項(xiàng)目研發(fā)領(lǐng)域的分析評(píng)價(jià)。在形成綜合評(píng)價(jià)結(jié)論后，需要經(jīng)過咨詢行業(yè)專家環(huán)節(jié)，由相關(guān)領(lǐng)域行業(yè)專家對(duì)評(píng)價(jià)內(nèi)容和評(píng)價(jià)結(jié)論進(jìn)行判定，如行業(yè)專家對(duì)評(píng)價(jià)內(nèi)容和結(jié)果提出質(zhì)疑，則返回提取相關(guān)指標(biāo)或文獻(xiàn)檢索分析環(huán)節(jié)對(duì)評(píng)價(jià)過程和評(píng)價(jià)結(jié)果進(jìn)行修正。此過程可循環(huán)多次，最終形成無質(zhì)疑的科技項(xiàng)目多元化評(píng)價(jià)報(bào)告。評(píng)價(jià)體系構(gòu)建流程如圖2所示。

圖2 省級(jí)科技項(xiàng)目多元化評(píng)價(jià)體系構(gòu)架流程

3 吉林省科技計(jì)劃項(xiàng)目實(shí)證評(píng)價(jià)研究

3.1 研究方法

上述省級(jí)科技項(xiàng)目評(píng)價(jià)體系的框架結(jié)構(gòu)僅為初步理論構(gòu)思，還需通過實(shí)證評(píng)價(jià)進(jìn)行支撐和驗(yàn)證。本文選取2020年立項(xiàng)的吉林省科技發(fā)展計(jì)劃項(xiàng)目中14個(gè)技術(shù)創(chuàng)新引導(dǎo)項(xiàng)目為研究對(duì)象，基于多元化評(píng)價(jià)體系采取分類評(píng)價(jià)與分階段評(píng)價(jià)相結(jié)合的方式對(duì)其進(jìn)行實(shí)證評(píng)價(jià)研究。所謂分類評(píng)價(jià)，是根據(jù)項(xiàng)目的研究?jī)?nèi)容和交付物特點(diǎn)，遵循同類型事物橫向可比較原則，將被評(píng)項(xiàng)目劃分為基礎(chǔ)研究類、應(yīng)用研究類和開發(fā)研究類，并對(duì)不同類別項(xiàng)目采用不同的評(píng)價(jià)方法。所謂分階段評(píng)價(jià)，是根據(jù)項(xiàng)目的全周期過程特點(diǎn)，對(duì)同一項(xiàng)目的不同階段進(jìn)行縱向?qū)嵤┣闆r的驗(yàn)證性評(píng)價(jià)，主要體現(xiàn)為對(duì)同一項(xiàng)目立項(xiàng)階段的評(píng)價(jià)和驗(yàn)收階段的評(píng)價(jià)。

本文按照分類評(píng)價(jià)方法，將14個(gè)實(shí)證項(xiàng)目分為基礎(chǔ)研究類4項(xiàng)、應(yīng)用研究類9項(xiàng)、開發(fā)研究類1項(xiàng)，并分別進(jìn)行評(píng)價(jià)研究；按照分階段評(píng)價(jià)方法，將14個(gè)實(shí)證項(xiàng)目分為立項(xiàng)階段和驗(yàn)收階段，并分別進(jìn)行了兩次評(píng)價(jià)研究。

3.2 實(shí)證評(píng)價(jià)研究

3.2.1 典型案例研究

選取基礎(chǔ)研究類項(xiàng)目（案例一）和應(yīng)用研究類項(xiàng)目（案例二）各1項(xiàng)作為典型案例，對(duì)其進(jìn)行實(shí)證研究。典型案例的基本信息如表5所示。

表5 典型案例基本信息表

按照多元化評(píng)價(jià)體系的評(píng)價(jià)方法和評(píng)價(jià)指標(biāo)對(duì)實(shí)證案例進(jìn)行實(shí)證評(píng)價(jià)，其中立項(xiàng)階段未實(shí)施領(lǐng)域分析評(píng)價(jià)。典型案例評(píng)價(jià)情況如表6所示。

表6 典型案例評(píng)價(jià)情況一覽表

3.2.2 實(shí)證綜合研究

本文對(duì)14個(gè)實(shí)證項(xiàng)目分別進(jìn)行分類評(píng)價(jià)研究和分階段評(píng)價(jià)研究，統(tǒng)計(jì)整理得到實(shí)證項(xiàng)目綜合評(píng)價(jià)結(jié)果，如表7所示。

表7 實(shí)證項(xiàng)目綜合評(píng)價(jià)結(jié)果一覽表

3.3 研究結(jié)論

以吉林省科技發(fā)展計(jì)劃項(xiàng)目為例，對(duì)省級(jí)科技計(jì)劃項(xiàng)目多元化評(píng)價(jià)體系進(jìn)行研究，得出以下幾點(diǎn)研究結(jié)論。

3.3.1 WBE數(shù)反映項(xiàng)目飽滿度

各類別實(shí)證項(xiàng)目的WBE數(shù)量范圍均為8～13級(jí)，立項(xiàng)階段和驗(yàn)收階段項(xiàng)目的WBE數(shù)量基本相同或略有增加，未出現(xiàn)WBE數(shù)量減少的情況，說明全部實(shí)證項(xiàng)目在實(shí)施過程沒有偏離技術(shù)路線，都能夠基本做到按照任務(wù)書要求執(zhí)行并完成項(xiàng)目?jī)?nèi)容，且項(xiàng)目實(shí)施飽滿程度均較高。

3.3.2 成熟度等級(jí)跨度的橫向可比較性

由于14個(gè)實(shí)證項(xiàng)目類別不同，其成熟度參照指標(biāo)不同，評(píng)價(jià)得到的成熟度等級(jí)不同，各階段成熟度等級(jí)不同。從項(xiàng)目立項(xiàng)階段的成熟度等級(jí)情況來看，應(yīng)用研究類項(xiàng)目整體高于基礎(chǔ)研究類項(xiàng)目的初始等級(jí)；從項(xiàng)目立項(xiàng)階段到驗(yàn)收階段的成熟度等級(jí)跨度來看，應(yīng)用研究類項(xiàng)目的平均等級(jí)跨度3.4級(jí)明顯高于基礎(chǔ)研究類項(xiàng)目的平均等級(jí)跨度1.8級(jí)。這種情況的產(chǎn)生原因：一是由于基礎(chǔ)研究類和應(yīng)用研究類項(xiàng)目的成熟度評(píng)價(jià)標(biāo)準(zhǔn)不同，二是從一個(gè)側(cè)面反映了基礎(chǔ)研究類項(xiàng)目在交付物成果產(chǎn)出方面很難產(chǎn)生跨越性研究進(jìn)展。而對(duì)于同一類別科技項(xiàng)目的成熟度而言，本文認(rèn)為如果設(shè)定評(píng)價(jià)閾值，則成熟度等級(jí)跨度也可作為反映項(xiàng)目工作飽滿程度的評(píng)價(jià)依據(jù)。

3.3.3 技術(shù)先進(jìn)度評(píng)價(jià)的局限性

在本次實(shí)證評(píng)價(jià)中，驗(yàn)收階段的預(yù)期技術(shù)先進(jìn)度水平大多達(dá)到或超過了立項(xiàng)階段預(yù)期技術(shù)先進(jìn)度水平。一方面說明項(xiàng)目的完成指標(biāo)達(dá)到的效果較好，另一方面說明項(xiàng)目組的預(yù)期指標(biāo)設(shè)定值可能過低。

而實(shí)證評(píng)價(jià)中發(fā)現(xiàn)有2項(xiàng)應(yīng)用研究類實(shí)證項(xiàng)目無法實(shí)施技術(shù)先進(jìn)度評(píng)價(jià)，其原因在于評(píng)價(jià)過程中雖然可以從實(shí)證項(xiàng)目中提取獲得可量化的核心技術(shù)指標(biāo)，但由于這類指標(biāo)屬于基礎(chǔ)性能指標(biāo)，而非具有可比性的功能參數(shù)指標(biāo)，無法進(jìn)行技術(shù)先進(jìn)度水平對(duì)比。

3.3.4 技術(shù)生命周期穩(wěn)定

在領(lǐng)域分析評(píng)價(jià)中，有6項(xiàng)實(shí)證項(xiàng)目處于技術(shù)萌芽期向技術(shù)成長(zhǎng)期轉(zhuǎn)變階段，有8項(xiàng)實(shí)證項(xiàng)目處于技術(shù)成長(zhǎng)期向技術(shù)成熟期轉(zhuǎn)變階段，未發(fā)現(xiàn)處于技術(shù)成熟期向技術(shù)衰落期轉(zhuǎn)變階段的項(xiàng)目。一方面說明實(shí)證項(xiàng)目均處在穩(wěn)定的技術(shù)生命周期階段，另一方面說明實(shí)證項(xiàng)目的研發(fā)前景均較為廣闊。

3.3.5 行業(yè)專家認(rèn)可程度較高

本文對(duì)14個(gè)項(xiàng)目的實(shí)證評(píng)價(jià)研究共形成了28份多元化綜合評(píng)價(jià)結(jié)論，均獲得了相關(guān)領(lǐng)域行業(yè)專家的基本認(rèn)可。專家普遍認(rèn)為，評(píng)價(jià)結(jié)論符合項(xiàng)目所處階段的實(shí)際情況，具有一定客觀性。但有部分專家對(duì)評(píng)價(jià)體系自身提出了一些建議和觀點(diǎn)，其中包括成熟度等級(jí)劃分應(yīng)進(jìn)行調(diào)整、領(lǐng)域分析不夠深入、技術(shù)先進(jìn)度佐證材料證據(jù)力不足等。以上說明，多元化評(píng)價(jià)體系雖然可以基本做到對(duì)科技項(xiàng)目的客觀評(píng)價(jià)，但體系自身仍需不斷調(diào)整和完善。

4 建議與展望

本文提出的多元化評(píng)價(jià)體系現(xiàn)階段雖然存在一定的問題需要改進(jìn)，但筆者認(rèn)為，體系對(duì)于省級(jí)科技項(xiàng)目的評(píng)價(jià)具有較大意義，具體可以體現(xiàn)為評(píng)價(jià)結(jié)果在省級(jí)科技項(xiàng)目不同評(píng)價(jià)形式中的應(yīng)用。因此，筆者建議，多元化評(píng)價(jià)體系可應(yīng)用于省級(jí)科技項(xiàng)目評(píng)審、科技專項(xiàng)（計(jì)劃）評(píng)價(jià)及科技獎(jiǎng)項(xiàng)評(píng)選中。

4.1 評(píng)價(jià)結(jié)果應(yīng)用于省級(jí)科技項(xiàng)目評(píng)審

多元化評(píng)價(jià)體系評(píng)價(jià)結(jié)果可應(yīng)用于省級(jí)項(xiàng)目立項(xiàng)評(píng)審和結(jié)題驗(yàn)收評(píng)審中。在立項(xiàng)評(píng)審中，評(píng)價(jià)體系中各項(xiàng)指標(biāo)可作為評(píng)審參考依據(jù)。如WBE數(shù)和成熟度指標(biāo)值可以表征項(xiàng)目的前期工作量及項(xiàng)目?jī)?nèi)容飽滿度；創(chuàng)新度指標(biāo)可以表征項(xiàng)目的創(chuàng)新性水平；領(lǐng)域分析指標(biāo)不但能表征項(xiàng)目的橫向水平，還可以間接描繪出處于迭代期和衰退期的技術(shù)。與立項(xiàng)評(píng)審相比較，結(jié)題驗(yàn)收更側(cè)重于項(xiàng)目本身的完成情況（即成果產(chǎn)出情況），因此評(píng)價(jià)指標(biāo)的應(yīng)用方法也不同。如成熟度指標(biāo)在項(xiàng)目執(zhí)行周期中的等級(jí)跨度值可以表征項(xiàng)目推動(dòng)技術(shù)的發(fā)展情況；技術(shù)先進(jìn)度指標(biāo)可以用于考察項(xiàng)目技術(shù)指標(biāo)水平的先進(jìn)程度等。

4.2 評(píng)價(jià)結(jié)果應(yīng)用于省級(jí)科技專項(xiàng)（計(jì)劃）評(píng)價(jià)

對(duì)于省級(jí)科技專項(xiàng)（計(jì)劃）評(píng)價(jià)而言，多元化評(píng)價(jià)體系相較于主觀定性評(píng)價(jià)方法具有可統(tǒng)計(jì)、可分析的優(yōu)勢(shì)。筆者認(rèn)為，對(duì)科技項(xiàng)目的多元化評(píng)價(jià)結(jié)果可以作為專家評(píng)審的輔助參考依據(jù)，并對(duì)某一類別項(xiàng)目的多元化評(píng)價(jià)結(jié)果進(jìn)行統(tǒng)計(jì)分析，還可以間接獲得此計(jì)劃/類別項(xiàng)目的中觀或宏觀評(píng)價(jià)結(jié)論，進(jìn)而為科研管理部門對(duì)專家評(píng)審結(jié)論的二次驗(yàn)證提供參考依據(jù)。

4.3 評(píng)價(jià)結(jié)果用于省級(jí)科技獎(jiǎng)項(xiàng)評(píng)選

對(duì)于科技類獎(jiǎng)項(xiàng)評(píng)選，筆者認(rèn)為可以根據(jù)各獎(jiǎng)項(xiàng)的獎(jiǎng)勵(lì)對(duì)象和獎(jiǎng)勵(lì)范圍對(duì)評(píng)價(jià)體系設(shè)置不同指標(biāo)閾值，將由此得到的評(píng)價(jià)結(jié)果應(yīng)用于獎(jiǎng)項(xiàng)評(píng)選的初篩中。如自然科學(xué)獎(jiǎng)評(píng)選鼓勵(lì)技術(shù)創(chuàng)新，可重點(diǎn)考察申報(bào)項(xiàng)目的創(chuàng)新度等級(jí)（即項(xiàng)目的自主研發(fā)情況）不應(yīng)低于5級(jí)，而酌情放寬項(xiàng)目成熟度等級(jí)；科技進(jìn)步獎(jiǎng)評(píng)選則側(cè)重考察科學(xué)技術(shù)的應(yīng)用轉(zhuǎn)化價(jià)值，可重點(diǎn)考察申報(bào)項(xiàng)目的成熟度等級(jí)（即項(xiàng)目成果的轉(zhuǎn)化情況）不應(yīng)低于12級(jí)。由此可見，既可以輔助獎(jiǎng)項(xiàng)設(shè)置機(jī)構(gòu)篩選出已取得重大經(jīng)濟(jì)效益的項(xiàng)目，又可以在某種程度上降低專家評(píng)獎(jiǎng)的任務(wù)量，對(duì)于提高評(píng)審效率及評(píng)審客觀性均能起到一定作用。

新體系從提出到推廣應(yīng)用，只有經(jīng)過不斷探索、論證、改進(jìn)的往復(fù)循環(huán)過程，才能得到改善和提高。筆者希望通過擴(kuò)大實(shí)證評(píng)價(jià)范圍、增加評(píng)價(jià)樣本量、邀請(qǐng)更多行業(yè)專家點(diǎn)評(píng)的方式對(duì)多元化評(píng)價(jià)體系進(jìn)行不斷論證和完善，使其更具備客觀性、實(shí)用性和適用性。新時(shí)期、新形勢(shì)下，科技項(xiàng)目評(píng)價(jià)方法和體系將進(jìn)一步得以健全。相信在不久的將來，多元化評(píng)價(jià)體系必將在助力和成就優(yōu)秀科技項(xiàng)目方面發(fā)揮至關(guān)重要的作用。