國家工程技術(shù)研究中心運行評估方法研究與實踐

朱志凌+柳春

摘要： 通過國家工程技術(shù)研究中心運行評估的實踐，綜述了評估對象、原則和程序，探討了評估指標(biāo)體系的設(shè)計，以及評估方法的使用，建立了專家評議結(jié)果相關(guān)模型，為合理利用綜合評價結(jié)果提供實踐參考。

Abstract： Via operational evaluation practice of Chinese National Engineering Research Center（CNERC）， this paper summarizes the objects， principles and procedures of the evaluation， discusses the application of the evaluation method， then establishes a frame model for expert evaluation results， and proposes practical reference for the application of comprehensive appraisal results.

關(guān)鍵詞： 運行評估；綜合評價；國家工程技術(shù)研究中心

Key words： operational evaluation；synthesized appraisal；CNERC

中圖分類號：G322.2；F124.3 文獻標(biāo)識碼：A 文章編號：1006-4311（2014）19-0014-03

0 引言

國家工程技術(shù)研究中心（以下簡稱“工程中心”）是國家科技創(chuàng)新體系建設(shè)和國家科技發(fā)展計劃的重要組成部分，代表行業(yè)或領(lǐng)域的最高研究水平。旨在“創(chuàng)新、產(chǎn)業(yè)化”方針指導(dǎo)下，探索科技與經(jīng)濟結(jié)合的新途徑，加強科技成果向生產(chǎn)力轉(zhuǎn)化的中間環(huán)節(jié)，促進科技產(chǎn)業(yè)化；面向企業(yè)規(guī)模生產(chǎn)的需要，推動集成、配套的工程化成果向相關(guān)行業(yè)輻射、轉(zhuǎn)移與擴散，促進新興產(chǎn)業(yè)的崛起和傳統(tǒng)產(chǎn)業(yè)的升級改造；促進科技體制改革，培養(yǎng)一流的工程技術(shù)人才，建設(shè)一流的工程化實驗條件，形成我國科研開發(fā)、技術(shù)創(chuàng)新和產(chǎn)業(yè)化基地[1]。

截止到2011年，已有156家工程中心通過驗收、投入正式運行，為進一步加強對工程中心的運行管理和分類指導(dǎo)，工程中心的管理重點正逐步由組建轉(zhuǎn)移到監(jiān)督管理和優(yōu)化調(diào)整上來。開展運行評估作為一種有效的技術(shù)手段，在工程中心的監(jiān)督管理中發(fā)揮了積極的作用，對各工程中心的自身發(fā)展也起到了一定的激勵與引導(dǎo)作用[2-3]。

根據(jù)《國家工程技術(shù)研究中心暫行管理辦法》相關(guān)規(guī)定的要求，2011年對工程中心四年來（2007～2010年）運行效果的客觀評價及運行狀態(tài)的分析，對比工程中心的組建宗旨及職責(zé)定位，對各工程中心的運行狀況進行分析評價；通過動態(tài)管理，為加強和規(guī)范工程中心的管理提供決策依據(jù)[4]。

目前關(guān)于工程中心評估的文獻主要涉及省級工程中心評估實踐，從科研管理層面，針對評估指標(biāo)體系的建立和評估方法進行研究探討，例如江蘇省開展了省級工程中心的驗收評估實踐[5]，陜西省對省級工程中心進行了專項績效評估實踐等[6]。本文通過國家工程中心運行評估的實踐，綜述了評估對象、原則和程序，探討了評估指標(biāo)體系的設(shè)計，以及評估方法的使用，建立了專家評議結(jié)果相關(guān)模型，為合理利用綜合評價結(jié)果提供實踐參考。

1 評估對象、原則和程序

1.1 評估對象 本文涉及的評估對象為2008年以前（含2008年）通過驗收，正式投入運行兩年以上的高新技術(shù)類工程中心。

1.2 評估原則 主要包括：①導(dǎo)向性原則。評估工作立足于工程中心的發(fā)展戰(zhàn)略，緊密圍繞工程中心的組建宗旨、目標(biāo)定位，引導(dǎo)、鼓勵工程中心向規(guī)定建設(shè)目標(biāo)發(fā)展，實現(xiàn)國家戰(zhàn)略目標(biāo)。②客觀公正原則。評估工作做到公開、透明，鼓勵利益相關(guān)方的有效參與，充分發(fā)揚民主，客觀、公正地評價工程中心的運行績效。③科學(xué)、可行、高效原則。針對運行評估的目的和基本特點，選擇科學(xué)、可行的評估模式和技術(shù)路線，在保證質(zhì)量前提下，簡化程序、易于實施、提高效率；評估指標(biāo)的設(shè)計做到概念準(zhǔn)確、含義明晰、層次合理、完整全面反應(yīng)評估對象特征。

1.3 評估程序 本次評估工作采用“統(tǒng)一框架與標(biāo)準(zhǔn)，分領(lǐng)域組織實施”的工作方案。通過工程中心自評價、同行專家評議（包括會議評估與通信評估兩種形式）、管理部門評價和現(xiàn)場調(diào)研等多種評價活動，對各工程中心的工程化能力與水平、行業(yè)作用以及運行管理三個方面的運行績效進行了綜合評價。

2 評估方法和指標(biāo)體系

2.1 評估方法的選擇 本次運行評估采用定性評估與定量評估相結(jié)合，會議評估、通信評估與現(xiàn)場考察相結(jié)合，綜合評估與專業(yè)評估相結(jié)合的方法，以評估指標(biāo)的判斷準(zhǔn)則為絕對標(biāo)準(zhǔn)，將中心運行表現(xiàn)與指標(biāo)判斷準(zhǔn)則的對比作為主要依據(jù)，輔之以中心之間的橫向?qū)Ρ?，評價各工程中心的運行狀況。

2.2 指標(biāo)體系的建立 本次運行評估按照《工程中心管理辦法》及其他相關(guān)的政策文件，根據(jù)工程中心組建宗旨、職責(zé)、職能的相關(guān)要求，建立了評估框架、設(shè)計了評估指標(biāo)體系。該指標(biāo)體系建立在歷次績效運行評估指標(biāo)體系的基礎(chǔ)上，依據(jù)工程中心發(fā)展目標(biāo)要求[7]。

指標(biāo)體系共設(shè)工程化能力、行業(yè)作用和運行管理3項一級指標(biāo)8項二級指標(biāo)，各項指標(biāo)及說明見表1。

3 同行專家評議

工程中心運行評估同行專家評議采取分領(lǐng)域答辯評議和通信評議相結(jié)合的方法，該同行專家評議方法在美國國家科學(xué)基金會與國立衛(wèi)生研究院等科學(xué)基金資助機構(gòu)的項目評價中已經(jīng)得到廣泛應(yīng)用[8-9]。

3.1 專家的遴選 根據(jù)《科學(xué)技術(shù)評價（試行）》及相關(guān)政策文件的要求[10-17]，評議專家應(yīng)具有較高的專業(yè)知識水平和實踐經(jīng)驗、敏銳的洞察力和較強的判斷能力，熟悉被評價內(nèi)容及國內(nèi)外相關(guān)領(lǐng)域的發(fā)展?fàn)顩r；同時具有良好的資信和科學(xué)道德，認(rèn)真嚴(yán)謹(jǐn)，秉公辦事，客觀公正，熱心科學(xué)技術(shù)事業(yè)，敢于承擔(dān)責(zé)任。遴選專家應(yīng)遵循隨機、回避和更換的原則，突出評估專家組年齡結(jié)構(gòu)、知識結(jié)構(gòu)和學(xué)緣結(jié)構(gòu)的合理性。endprint

本次參與評估的工程中心按領(lǐng)域分為五組（以下簡稱為A、B、C、D和E組），各組評議專家來源涵蓋高校、軍隊、研究院所、協(xié)會/學(xué)會、企業(yè)，以行業(yè)技術(shù)專家和管理專家為主；通信評議專家以小同行技術(shù)專家為主。

3.2 專家評議表的設(shè)計 為便于評議專家對評估指標(biāo)的理解和實際操作，將每項二級指標(biāo)抽象提煉出具體的2-4項評價判斷，專家根據(jù)工程中心運行情況，對所設(shè)選項進行選擇，并參考評價判斷的選擇情況對該二級指標(biāo)進行打分。每項指標(biāo)打分滿分為10分，優(yōu)秀為9～10分，良好為7～8分，合格為5～6分，問題較多為5分以下。例如對二級指標(biāo)“工程化研發(fā)方向”的評價設(shè)計見表2。

在上述專家評議表的基礎(chǔ)上，針對會評專家參與現(xiàn)場答辯的特點，設(shè)計各組綜合評議意見表。會評專家組應(yīng)對本領(lǐng)域工程中心提出綜合性意見，其主要內(nèi)容包括工程中心在評估期內(nèi)的取得的主要成績、存在的主要問題及未來發(fā)展建議。

4 同行評議結(jié)果分析

4.1 同行評議評分模型 參考相關(guān)文獻并綜合考慮會議評估和通信評估兩種形式，設(shè)計同行評議評分模型。以A組為例，若m位會議評估專家，n位通信評估專家對p個工程中心進行評估，設(shè)YmA，YnA分別為A組工程中心會議評估和通信評估評分矩陣，則YmA=（ym1，ym2，ym3，…，ymp）T，YnA=（yn1，yn2，yn3，…，ynp）T，設(shè)XmA，XnA分別為A組會議評估和通信評估專家評分矩陣，則

XmA=■，XnA=■

式中，xab為第b個專家對第a個工程中心的評分值。YmA表示m位會議評估專家對p個工程中心進行評分，YnA表示n位通信評估專家對p個工程中心進行評分。按照評估專家評分統(tǒng)計方法，分別計算兩者的算術(shù)平均值和標(biāo)準(zhǔn)差[18-19]，即

yma=■xab/m（b為正整數(shù)，且l？燮b？燮m），標(biāo)準(zhǔn)差為SDma，

yna=■xab/n（b為正整數(shù)，且l？燮b？燮n），標(biāo)準(zhǔn)差為SDna。

4.2 專家評議結(jié)果偏差模型 由于評估專家的學(xué)術(shù)背景、科研經(jīng)歷、心理特征、思維模式、標(biāo)準(zhǔn)把握等都有可能存在較大的差異，因此評估專家對于同一客觀事實的認(rèn)識和判斷就有可能形成偏差，評估的結(jié)果就不能夠準(zhǔn)確地反映客觀情況[20-23]。針對本次評估特點，對專家評分偏差分析如下：

由于專家的個體差異以及評分尺度把握的不同，個別專家評分可能整體偏高或偏低，表現(xiàn)為專家評分偏離整體評分的標(biāo)準(zhǔn)，此類偏差稱作個體偏差，用△1表示。內(nèi)部影響偏差是專家基于對自身熟悉領(lǐng)域的偏好所產(chǎn)生的偏差，特別在小同行技術(shù)專家評分中易出現(xiàn)，用△2表示。條件影響偏差是基于會議評估和通信評估兩種不同形式下，各位專家對打分原則掌握的尺度不一致，對某個工程中心的評估沒有達成共識而產(chǎn)生的偏差，用△3表示。由于各專家組間評分的尺度存在差異，導(dǎo)致各領(lǐng)域間同等水平的工程中心橫向?qū)Ρ却嬖诜种挡町?，從而產(chǎn)生組間偏差，用△4表示。

綜上分析，建立專家評議結(jié)果偏差模型：

△=△1+△2+△3+△4

式中，個體偏差為△1，內(nèi)部影響偏差為△2，條件影響偏差為△3，組間偏差為△4。

4.3 同行評議結(jié)果綜合分析 通過分析專家評議結(jié)果偏差模型可知，實際評估活動中所產(chǎn)生的偏差都有可能影響到工程中心運行評估最終結(jié)果的準(zhǔn)確性。本次評估實踐采取了相應(yīng)措施保證評估結(jié)果的準(zhǔn)確性，盡可能消除上述偏差，具體分析如下：

根據(jù)本次評估活動特點進行分析，△1是由專家的個體差異決定的，通過計算平均值和標(biāo)準(zhǔn)差，并采取篩除同組內(nèi)異常值的辦法消除個體偏差，從而不影響整體評估結(jié)果。

△2主要表現(xiàn)在小同行技術(shù)專家評分中出現(xiàn)明顯偏離均值的現(xiàn)象，綜合分析會議評估和通信評估評分結(jié)果，以統(tǒng)計學(xué)方法為手段，可以鑒別出無效數(shù)據(jù)。

△3主要表現(xiàn)在通信專家與會評專家在個別工程中心的打分上，具有較大的差異，其原因主要是會評專家聽取中心答辯，部分疑問通過提問進行了解，對情況了解更加深入，而通信專家只通過中心提交材料進行打分，兩者所掌握的信息量及準(zhǔn)確度存在一定的差異，導(dǎo)致非共識性差異，針對上述情況對個別中心進行現(xiàn)場評議，整合多方意見得出評議結(jié)果。

△4主要表現(xiàn)在各領(lǐng)域間同等水平的工程中心橫向?qū)Ρ却嬖诜种挡町?，各組分?jǐn)?shù)之間的差異除了本組工程中心總體水平不一致外，還要考慮每組專家不同，各自掌握的打分原則也不相同，需要綜合考慮平衡。對不同分?jǐn)?shù)段內(nèi)各組中心數(shù)量分布以及不同比例內(nèi)各組中心分?jǐn)?shù)分布進行列表分析，見表3、表4。通過組間橫向?qū)Ρ龋瑢υu分結(jié)果進行校正，在較大程度上消除組間偏差的影響。

5 結(jié)語

本文綜述了工程中心運行評估原則、程序、評估指標(biāo)體系和方法，并以同行評議為研究重點，探討了專家遴選機制和原則，建立了同行評議評分模型和專家評議結(jié)果偏差模型，深入分析個體偏差、內(nèi)部影響偏差、條件影響偏差和組間偏差的產(chǎn)生原因、表現(xiàn)形式以及消除（減弱）方法；通過數(shù)理統(tǒng)計的方法，合理利用同行專家評議結(jié)果，為工程中心運行評估綜合評價提供科學(xué)的數(shù)據(jù)支持，同時也為同行評議方法的應(yīng)用提供較為全面的實踐參考。

參考文獻：

[1]王發(fā)明，蔡寧.國家工程技術(shù)研究中心理想運行目標(biāo)體系研究[J].科技進步與對策，2009，26（6）：25-28.

[2]曹煜中，王發(fā)明.國家工程技術(shù)研究中心運行模式及路徑選擇研究[J].技術(shù)經(jīng)濟，2008，27（2）：22-25.

[3]李鋼.國家工程技術(shù)研究中心的運行及其機制研究[D].杭州，浙江大學(xué)經(jīng)濟學(xué)院，2003.

[4]關(guān)于開展2011年度國家工程技術(shù)研究中心運行評估的通知，國科計函[2011]18號.

[5]孫興蓮，白冬梅.江蘇省工程技術(shù)研究中心運行管理現(xiàn)狀與政策建議[J].江蘇科技信息，2008（2）：42-43.endprint

[6]賀福明.省級研究機構(gòu)績效評估探討與實踐[J].管理觀察，2011（24）：132-133.

[7]國家工程技術(shù)研究中心暫行管理辦法，國科發(fā)計字060號.

[8]張彥.論同行評議的改進[J].社會科學(xué)研究，2008（3）：86-91.

[9]徐彩榮，李曉軒.國外同行評議的不同模式與共同趨勢[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理，2005，26（2）：29-33.

[10]何杰，王成紅，劉克.對同行評議專家評議工作進行評估的一些思考[J].中國科學(xué)基金，2004，18（1）：47-50.

[11]王成紅，何杰，劉克，宋蘇.關(guān)于同行評議專家定量評估指標(biāo)研究的幾個新結(jié)果[J].系統(tǒng)工程理論與實踐，2004，24（2）：83-89.

[12]齊麗麗，司曉悅.對我國同行評議專家遴選制度的建議[J].科技成果縱橫，2008（5）：26-28.

[13]陳媛，樊治平，謝美萍.科研項目同行評議專家水平的評價研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2009，30（10）：38-42.

[14]張?zhí)?，張宏?同行評議形式的爭論及發(fā)展現(xiàn)狀[J].中國科技期刊研究，2009，20（1）：152-154.

[15]楊翠.關(guān)于同行評議自我評價規(guī)避方法的若干問題和完善方法[J].科技管理研究，2008，28（1）：86-88.

[16]馮鋒，于晟，于振良.關(guān)于科學(xué)研究項目同行評議的一些政策性分析[J].中國科學(xué)基金，2007，21（1）：42-46.

[17]吳建軍，劉璐.國家自然科學(xué)基金項目同行評議現(xiàn)狀研究[J].中國科技博覽，2009（12）：151.

[18]謝煥瑛.國家重點實驗室評估專家評分偏差效應(yīng)分析[J]. 研究與發(fā)展管理，2006，18（6）：134-137.

[19]謝煥瑛.國家重點實驗室評估體系研究[D].大連：大連理工大學(xué)管理學(xué)院，2006.

[20]謝煥瑛.國家重點實驗室評估信度與離散度分析[J].武漢理工大學(xué)學(xué)報，2007，29（7）：80-82.

[21]謝煥瑛.國家重點實驗室評估專家的若干問題研究[J].研究與發(fā)展管理，2006（4）：108-111.

[22]謝煥瑛，張健.關(guān)于國家重點實驗室評估若干問題的思考[J].中國科學(xué)基金，2003（02）：111-113.

[23]鄭稱德.同行評議專家工作業(yè)績測評及其模型研究[J].科研管理，2002，23（2）：41-45.endprint

[6]賀福明.省級研究機構(gòu)績效評估探討與實踐[J].管理觀察，2011（24）：132-133.

[7]國家工程技術(shù)研究中心暫行管理辦法，國科發(fā)計字060號.

[8]張彥.論同行評議的改進[J].社會科學(xué)研究，2008（3）：86-91.

[9]徐彩榮，李曉軒.國外同行評議的不同模式與共同趨勢[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理，2005，26（2）：29-33.

[10]何杰，王成紅，劉克.對同行評議專家評議工作進行評估的一些思考[J].中國科學(xué)基金，2004，18（1）：47-50.

[11]王成紅，何杰，劉克，宋蘇.關(guān)于同行評議專家定量評估指標(biāo)研究的幾個新結(jié)果[J].系統(tǒng)工程理論與實踐，2004，24（2）：83-89.

[12]齊麗麗，司曉悅.對我國同行評議專家遴選制度的建議[J].科技成果縱橫，2008（5）：26-28.

[13]陳媛，樊治平，謝美萍.科研項目同行評議專家水平的評價研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2009，30（10）：38-42.

[14]張?zhí)?，張宏?同行評議形式的爭論及發(fā)展現(xiàn)狀[J].中國科技期刊研究，2009，20（1）：152-154.

[15]楊翠.關(guān)于同行評議自我評價規(guī)避方法的若干問題和完善方法[J].科技管理研究，2008，28（1）：86-88.

[16]馮鋒，于晟，于振良.關(guān)于科學(xué)研究項目同行評議的一些政策性分析[J].中國科學(xué)基金，2007，21（1）：42-46.

[17]吳建軍，劉璐.國家自然科學(xué)基金項目同行評議現(xiàn)狀研究[J].中國科技博覽，2009（12）：151.

[18]謝煥瑛.國家重點實驗室評估專家評分偏差效應(yīng)分析[J]. 研究與發(fā)展管理，2006，18（6）：134-137.

[19]謝煥瑛.國家重點實驗室評估體系研究[D].大連：大連理工大學(xué)管理學(xué)院，2006.

[20]謝煥瑛.國家重點實驗室評估信度與離散度分析[J].武漢理工大學(xué)學(xué)報，2007，29（7）：80-82.

[21]謝煥瑛.國家重點實驗室評估專家的若干問題研究[J].研究與發(fā)展管理，2006（4）：108-111.

[22]謝煥瑛，張健.關(guān)于國家重點實驗室評估若干問題的思考[J].中國科學(xué)基金，2003（02）：111-113.

[23]鄭稱德.同行評議專家工作業(yè)績測評及其模型研究[J].科研管理，2002，23（2）：41-45.endprint

[6]賀福明.省級研究機構(gòu)績效評估探討與實踐[J].管理觀察，2011（24）：132-133.

[7]國家工程技術(shù)研究中心暫行管理辦法，國科發(fā)計字060號.

[8]張彥.論同行評議的改進[J].社會科學(xué)研究，2008（3）：86-91.

[9]徐彩榮，李曉軒.國外同行評議的不同模式與共同趨勢[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理，2005，26（2）：29-33.

[10]何杰，王成紅，劉克.對同行評議專家評議工作進行評估的一些思考[J].中國科學(xué)基金，2004，18（1）：47-50.

[11]王成紅，何杰，劉克，宋蘇.關(guān)于同行評議專家定量評估指標(biāo)研究的幾個新結(jié)果[J].系統(tǒng)工程理論與實踐，2004，24（2）：83-89.

[12]齊麗麗，司曉悅.對我國同行評議專家遴選制度的建議[J].科技成果縱橫，2008（5）：26-28.

[13]陳媛，樊治平，謝美萍.科研項目同行評議專家水平的評價研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2009，30（10）：38-42.

[14]張?zhí)瘢瑥埡晗?同行評議形式的爭論及發(fā)展現(xiàn)狀[J].中國科技期刊研究，2009，20（1）：152-154.

[15]楊翠.關(guān)于同行評議自我評價規(guī)避方法的若干問題和完善方法[J].科技管理研究，2008，28（1）：86-88.

[16]馮鋒，于晟，于振良.關(guān)于科學(xué)研究項目同行評議的一些政策性分析[J].中國科學(xué)基金，2007，21（1）：42-46.

[17]吳建軍，劉璐.國家自然科學(xué)基金項目同行評議現(xiàn)狀研究[J].中國科技博覽，2009（12）：151.

[18]謝煥瑛.國家重點實驗室評估專家評分偏差效應(yīng)分析[J]. 研究與發(fā)展管理，2006，18（6）：134-137.

[19]謝煥瑛.國家重點實驗室評估體系研究[D].大連：大連理工大學(xué)管理學(xué)院，2006.

[20]謝煥瑛.國家重點實驗室評估信度與離散度分析[J].武漢理工大學(xué)學(xué)報，2007，29（7）：80-82.

[21]謝煥瑛.國家重點實驗室評估專家的若干問題研究[J].研究與發(fā)展管理，2006（4）：108-111.

[22]謝煥瑛，張健.關(guān)于國家重點實驗室評估若干問題的思考[J].中國科學(xué)基金，2003（02）：111-113.

[23]鄭稱德.同行評議專家工作業(yè)績測評及其模型研究[J].科研管理，2002，23（2）：41-45.endprint