基于DEA 超效率驗證的項目同行評議結(jié)果有效性研究

萬 昊，張?？?，呂千千

（1.山東科技大學(xué)圖書館，青島 266590；2.山東科技大學(xué)發(fā)展規(guī)劃處，青島 266590；3.中國科學(xué)院文獻(xiàn)情報中心，北京 100190）

1 引言

現(xiàn)代同行評審制度起源于18 世紀(jì)，當(dāng)時英國皇家協(xié)會（科學(xué)共同體）在全球剛成立，傳統(tǒng)的書信交流模式被期刊交流模式取代，同時以共同體內(nèi)部成員同行評議的方式對學(xué)術(shù)質(zhì)量監(jiān)督開始確立[1]。目前，同行評議機(jī)制在學(xué)界廣受贊譽，其應(yīng)用領(lǐng)域擴(kuò)展到：①科學(xué)家智力勞動成果（論文手稿）發(fā)表的評審；②科學(xué)家崗位雇傭和職業(yè)晉升（由副教授晉升為教授）；③科學(xué)家頒獎（如諾貝爾獎、菲爾茲獎、圖靈獎）評審；④項目經(jīng)費資助的審批；⑤學(xué)科發(fā)展態(tài)勢評估及研發(fā)評 價 實 踐（Research Assessment Exercise，RAE）；⑥F1000 等專家的論文推薦打分[2]。發(fā)展至今，同行評議為基礎(chǔ)的共同體內(nèi)部成員間的學(xué)術(shù)質(zhì)量監(jiān)督機(jī)制正逐漸發(fā)展成為一項系統(tǒng)性工程，來維護(hù)科學(xué)交流的高水平和高質(zhì)量。

長久以來，科學(xué)共同體成員堅持科學(xué)內(nèi)部有其內(nèi)在的客觀標(biāo)準(zhǔn)，科學(xué)家堅持這一標(biāo)準(zhǔn)開展同行評議。該無形標(biāo)準(zhǔn)實際上為科學(xué)社會內(nèi)部成員一致認(rèn)可并且普遍遵守的自律法則，規(guī)范科學(xué)家群體的研究行為，使得同行評議的結(jié)果收斂并達(dá)成一致性共識。這也是莫頓（MERTON）科學(xué)社會學(xué)中指出的科學(xué)內(nèi)在的民主有序性的根本原因[3]。

但是，同行評議在評價實踐中的廣泛使用同時，其可能的不完備一面正受到越來越多的關(guān)注（主觀性偏差）。荷蘭國家研究委員會經(jīng)費資助、澳大利亞研究委員會經(jīng)費資助、美國國家科學(xué)院報告對同行評議有偏源都有報道[2]。為了避免主觀有偏對評審結(jié)果產(chǎn)生的影響，PLosOne、F1000 和Publons 平臺相繼推出開放的同行評議，避免雙盲評審可能的偏差[4,5]。

目前來看，任何量度工具都有自身的局限。同行評議由于專家主觀性，會導(dǎo)致評審結(jié)果的嵌入式有偏[6]。研究人員不禁要問：同行評議遴選結(jié)果在多大程度上是有效的或有價值的？同行評議在多大比例上實現(xiàn)其歷史使命來遴選出最有前景和應(yīng)用價值最好的項目來實現(xiàn)資源高效配置？同行評議在多大比例上能夠保證稀缺的經(jīng)費資源或版面資源分配給高質(zhì)量的研究？本文以項目資助評審為實證探究。

2 文獻(xiàn)綜述

2.1 國內(nèi)外相關(guān)研究

WESSELY 和WOOD[7]指出同行評議方法它不僅是一種學(xué)術(shù)性的探索，更是一種政策性的訴求，致力于通過客觀、公正的評價來維護(hù)科學(xué)系統(tǒng)的健康運轉(zhuǎn)并提升科學(xué)研究的質(zhì)量。而對科技項目資助評審領(lǐng)域的調(diào)研結(jié)果給出3 類“異質(zhì)性”答案。

2.1.1 適度的正相關(guān)

MAVIS 和KATZ[8]統(tǒng)計美國畸形兒基金會、BORNMANN[9]統(tǒng)計了德國勃林格·殷格翰基金會（BIF）、BORNMANN 等[10]調(diào)研歐洲分子生物機(jī)構(gòu)（EMBO）、NEUFELD 和VON INS[11]調(diào)研德國研究基金會（DFG）、LI 和AGHA[12]調(diào)研美國國立衛(wèi)生研究院（NIH），結(jié)果發(fā)現(xiàn)：資助與未資助的科研項目的論文產(chǎn)出數(shù)量、引用量和篇均被引量，前者分別是后者的1.8～3.1 倍。受資助項目的文獻(xiàn)計量表現(xiàn)顯然更佳，進(jìn)而佐證了評審委員會的專家評審結(jié)果與文獻(xiàn)計量結(jié)果之間存在顯著的正相關(guān)性。

2.1.2 不相關(guān)

MELIN 和DANELL[13]對瑞典戰(zhàn)略研究基金會（SFSR）、HORNBOSTEL 等[14]匯 總 德 國 研 究 基 金 會（DFG）埃米·諾特計劃（ENP）年輕科學(xué)家的獎學(xué)金資助申請對比發(fā)現(xiàn)：成功和失敗的申請者在經(jīng)費資助審批前n 年與后n 年的年均出版量、篇均引文量和發(fā)文期刊的影響因子等文獻(xiàn)計量指標(biāo)差不多。

2.1.3 正相關(guān)與負(fù)相關(guān)的混合結(jié)論

VAN DEN BESSELAAR 和LEYDESDORFF[15]統(tǒng)計了荷蘭國家科學(xué)研究委員會（NRC）中經(jīng)濟(jì)和社會行為科學(xué)兩個學(xué)部、BORNMANN 等[16]對荷蘭經(jīng)濟(jì)和社會科學(xué)研究委員會（MaGW）項目資助的申請者調(diào)研，結(jié)果發(fā)現(xiàn)：某些被拒絕的研究人員也會比接受基金資助的研究人員有更好的科研績效表現(xiàn)（出版和引用量），學(xué)術(shù)聲譽低的申請者可能提出更高價值的科學(xué)研究，而學(xué)術(shù)聲譽高的申請者也可能從事并不具有創(chuàng)新價值的研究，二者量度結(jié)果不一致。

2.2 本文切入點

得出異質(zhì)性的結(jié)果，受很多因素的影響。首先，科研產(chǎn)出的成果數(shù)量與學(xué)術(shù)影響力可能受到科學(xué)家年齡的影響，對于一些青年研究資助項目或博士后項目資助，受資助成功者與失敗者的科研表現(xiàn)差距并不明顯。其次，沒有共通一致認(rèn)可研究標(biāo)準(zhǔn)、測度指標(biāo)（時間窗）、變化指標(biāo)、實驗步驟、流程設(shè)計，不便于不同研究者結(jié)果對比。

目前，同行評議項目資助評審的有效性驗證標(biāo)準(zhǔn)普遍采用引用為基礎(chǔ)的測度指標(biāo)（如被引量、期刊影響因子JIF、Citescore 值、SNIP 指數(shù)、SJR 指數(shù)、H 指數(shù)、皇冠指數(shù)）作為同行評議決策（學(xué)術(shù)水平）的驗證標(biāo)準(zhǔn)。引用測度僅僅適合于基礎(chǔ)研究以及哲學(xué)人文社科類的研究，而對于應(yīng)用性比較強(qiáng)的項目進(jìn)行量度評價就不再適用了。因為基礎(chǔ)研究的成果僅僅是論文，應(yīng)用研究項目的產(chǎn)出成果還涉及專利與標(biāo)準(zhǔn)等。英國1975—1992 年在心血管和中風(fēng)疾病研究發(fā)現(xiàn)，平均每￡1（US$1.43）投入將會帶來在經(jīng)濟(jì)和社會健康領(lǐng)域￡1.39 的 回 報[17]。2010 年，美 國 國 立 衛(wèi) 生 研 究 院（NIH）現(xiàn)任院長COLLINS 在健康宣傳報告中指出：美國國立衛(wèi)生研究院支出的每$1 都會在12 個月內(nèi)轉(zhuǎn)化成為$2.21 的額外經(jīng)濟(jì)產(chǎn)出[18]。

考慮基礎(chǔ)研究投入的多樣性回報，為了在更廣的維度上考慮項目的多樣性產(chǎn)出，本文選擇數(shù)據(jù)包絡(luò)分析（DEA）方法，許多研究將DEA 方法應(yīng)用到科研投入/ 產(chǎn)出的計量分析中，尤其科技管理與科技政策領(lǐng)域，它有諸多優(yōu)點：①對數(shù)據(jù)源沒有要求，不需要服從一定的假設(shè)分布；②無需假定生產(chǎn)函數(shù)來估計生產(chǎn)前沿面；③可解決多投入/多產(chǎn)出的效率計算；④非參數(shù)模型，不需要考慮投入/產(chǎn)出指標(biāo)的權(quán)重；⑤不需要考慮指標(biāo)量綱。本文通過更加先進(jìn)的DEA 模型（指標(biāo)）來測度項目的科研生產(chǎn)率（表征學(xué)術(shù)價值），并將其作為同行評議決策有效性的驗證標(biāo)準(zhǔn)，而非引用量度（表征學(xué)術(shù)影響力），以求通過更加精準(zhǔn)模型來印證定性同行評議價值判斷與定量評價模型的量度結(jié)果是否相一致？同行評議決策過程中犯Ⅰ類與II 類錯誤及其比例？

3 理論分析與實驗設(shè)計

3.1 原理：DEA 模型

數(shù)據(jù)包絡(luò)分析（Data Envelopment Analysis，DEA）是運籌學(xué)和經(jīng)濟(jì)學(xué)中用于估計生產(chǎn)前沿面的非參數(shù)方法。它在實證研究中用于測量被評價單元或決策單元（Decision Making Unit，DMU）的生產(chǎn)效率，DMU 指將投入轉(zhuǎn)化為產(chǎn)出的創(chuàng)新主體。

3.1.1 傳統(tǒng)DEA 模型

數(shù)據(jù)包絡(luò)分析法作為非參數(shù)法，借助線性規(guī)劃思想，應(yīng)用實證方式估計生產(chǎn)技術(shù)的前沿面，并測量“決策單元的效率”，該模型被命名為CCR 模型[19]。本文評價模型也是選擇投入角度（Input-oriented）的CCR 模型，即將線性規(guī)劃在產(chǎn)出不變的條件下既定的生產(chǎn)要素生產(chǎn)一定量產(chǎn)品所需要花費的最小成本占實際成本的比率，如果該比率為1，則稱DMU 技術(shù)有效。

3.1.2 超效率（SE）-DEA 模型

DEA 超效率模型作為DEA 方法的一種改進(jìn)。傳統(tǒng)DEA 模型依據(jù)決策單元是否位于“生產(chǎn)前沿面”上判斷決策單元是否有效，但卻無法判斷有效決策單元的優(yōu)劣。為了彌補這一缺陷，ANDERSEN 和PETERSEN提出了超效率（Super Efficiency，SE）模型，超效率SE-DEA 模型能夠?qū)τ行把孛嫔系臎Q策單元進(jìn)行再排序。其基本思想是：在評估決策單元（DMU）時，將該決策單元本身排除在單元集合之外。為了更直觀地說明以圖1 來闡述超效率模型的原理。

圖1 傳統(tǒng)DEA 模型與超效率SE-DEA 模型對比（投入角度）Fig.1 Comparison between traditional DEA model and super-efficiency SE-DEA model(input-oriented)

傳統(tǒng)CCR 模型計算的效率值是將DMU 與包絡(luò)面上的有效DMU 相比，因此可以區(qū)分有效與無效DMU，而對于有效的DMU 進(jìn)一步區(qū)分需要超效率SE-DEA 模型。DEA 模型中，C 點由于位于生產(chǎn)前沿面ABCDE 上，C 點技術(shù)有效，效率值θC=1；超效率SE-DEA 模型中，計算C 點技術(shù)效率要將該點排除在集合外，生產(chǎn)前沿面變成ABDE 上，C 點技術(shù)效率θCsuper=OC'/OC>1。

超效率DEA 評價模型與傳統(tǒng)DEA 模型的數(shù)學(xué)形式基本相似，對于線性規(guī)劃DICCR有如下定義：設(shè)有n個決策單元（DMU），每個DMU 的有m 種類型輸入，有s 種類型輸出。對于DMUj（j∈[1,…,n]），有：

Xj和Yj分別表示第j 個決策單元的輸入向量和輸出向量；

Xij=第j 個決策單元的第i 種輸入的投入量，xij>0（1

Yrj=第j 個決策單元的第r 種輸出的產(chǎn)出量，yrj>0（1

在線性規(guī)劃模型中，θsuper為決策單元DMU 的超效率值；si-與sr+為松弛變量，分別表示投入冗余與產(chǎn)出不足，ε 為非阿基米德無窮小量。模型中，當(dāng)θsuper>1時，決策單元的科研效率為DEA 有效，達(dá)到了最優(yōu)解；當(dāng)θsuper=1，決策單元為（弱）DEA 有效；當(dāng)θsuper<1時，決策單元不是DEA 有效，經(jīng)濟(jì)活動不是技術(shù)效率最佳。

3.2 評價指標(biāo)設(shè)計

而針對科研項目評價后驗性有效性分析的指標(biāo)體系設(shè)計，本文借鑒歐盟委員會[20]對科學(xué)研究項目（尤其是應(yīng)用性研究）評價，突破傳統(tǒng)的僅基于基礎(chǔ)性學(xué)術(shù)論文產(chǎn)出的量度模式，進(jìn)一步拓展到整個研發(fā)活動的全產(chǎn)業(yè)鏈。

詳細(xì)地說，一方面，項目投入評價，其指標(biāo)涵蓋研發(fā)經(jīng)費I1、研發(fā)人員I2、研發(fā)設(shè)備I3、研發(fā)周期I4、技術(shù)培訓(xùn)I5 共5 項指標(biāo)。另一方面，項目產(chǎn)出評價。根據(jù)OECD 對項目類型的劃分（基礎(chǔ)研究、應(yīng)用研究、試驗開發(fā)類研究），科研產(chǎn)出成果不僅涵蓋：①哲學(xué)、人文社科類的基礎(chǔ)研究普遍的學(xué)術(shù)著作O1、期刊論文O2、研究報告O3 等學(xué)術(shù)交流出版物；也包括②自然、理工類學(xué)科由于知識的轉(zhuǎn)移所帶來的技術(shù)性產(chǎn)出，由專利O4、標(biāo)準(zhǔn)O5、計算機(jī)軟件、加工工藝等其它保密性成果O6 表征；③甚至隨著技術(shù)逐漸成熟，從實驗室階段過渡到中試線與實驗基地O7 流程化生產(chǎn)階段；④隨著技術(shù)成熟度的進(jìn)一步提高，技術(shù)成果進(jìn)一步向下游轉(zhuǎn)移、轉(zhuǎn)化，由實驗室樣品到產(chǎn)業(yè)化生產(chǎn)的商品，所帶來的商業(yè)利潤等直接與間接回報O8；⑤同時，技術(shù)產(chǎn)出在國內(nèi)外的先進(jìn)水平由O9 表征；⑥而且，該知識創(chuàng)造、技術(shù)轉(zhuǎn)移、科技成果轉(zhuǎn)化過程密切了大學(xué)與企業(yè)之間的交流與合作，因此在產(chǎn)出評價指標(biāo)之中也必須考慮科研合作頻次O10[21]；⑦人才在聯(lián)系“大學(xué)與企業(yè)”技術(shù)轉(zhuǎn)移轉(zhuǎn)化過程中的關(guān)鍵性紐帶作用，根據(jù)SALTER 和MARTIN 的研究：擁有科學(xué)理論武裝的優(yōu)秀大學(xué)畢業(yè)生和技能熟練的工程師進(jìn)入產(chǎn)業(yè)部門工作來解決復(fù)雜的科學(xué)與技術(shù)問題，是基礎(chǔ)研究轉(zhuǎn)化成為經(jīng)濟(jì)獲益的主要途徑[22]。換句話說，培養(yǎng)訓(xùn)練有素的問題解決者（Trained Problem-Solvers）是聯(lián)系大學(xué)與企業(yè)之間的橋梁，培養(yǎng)有資格的科學(xué)家和工程師作為知識儲備的可靠資源池，本文用人才產(chǎn)出O11 該指標(biāo)表征（表1）。

表1 DEA 模型的“投入-產(chǎn)出”指標(biāo)設(shè)計Table 1 Design of"input-output"indicators of DEA model

3.3 案例數(shù)據(jù)：“948 計劃”

“948 計劃”是中國唯一對國際先進(jìn)的農(nóng)、林、水先進(jìn)技術(shù)引進(jìn)的專項計劃。經(jīng)國務(wù)院批準(zhǔn)，該計劃自1996 年5 月開始實施，以項目合同制的形式承包給大學(xué)和科研機(jī)構(gòu)。948 計劃作為技術(shù)引進(jìn)類項目，以應(yīng)用為導(dǎo)向，其成果既包括論文學(xué)術(shù)產(chǎn)出，還包括專利技術(shù)產(chǎn)出，甚至技術(shù)轉(zhuǎn)移、轉(zhuǎn)化與推廣應(yīng)用獲得的經(jīng)濟(jì)利益，涉及整個研發(fā)產(chǎn)業(yè)價值鏈所有環(huán)節(jié)可能的成果產(chǎn)出類型，本研究將其作為項目的數(shù)據(jù)源（表2）。

表2 “十五”期間批準(zhǔn)實施的948 林產(chǎn)技術(shù)項目的評價指標(biāo)信息Table 2 Evaluation indicators of"948 project"forest products technologies approved during the"Tenth Five-Year Plan"period

3.4 實驗過程

本文實驗過程技術(shù)路線，如圖2 所示。

圖2 本文實證研究的實驗過程Fig.2 Experimental research process in this paper

步驟（1）：數(shù)據(jù)獲取。由于“948 計劃”項目的申請、資助、評審與驗收文檔資料屬于不公開的灰色文獻(xiàn)，國家行政部門內(nèi)部資料。本文數(shù)據(jù)選取國家林業(yè)局承擔(dān)實施的“948 計劃”項目，借助于承擔(dān)項目便利提取1996 年以來存放于國家林業(yè)局科技司的紙質(zhì)版948 項目《合同書》 與《驗收證書》。

步驟（2）：數(shù)字化加工處理。將紙質(zhì)版的948 項目 《合同書》 和 《驗收證書》 文檔進(jìn)行數(shù)字化處理，獲取電子版PDF 原文。進(jìn)一步開展二次化深加工，從項目的實施內(nèi)容、考核指標(biāo)和成果產(chǎn)出等信息項中提取相應(yīng)的元數(shù)據(jù)（論文、專利、標(biāo)準(zhǔn)、認(rèn)定成果、示范點等），采用統(tǒng)一的資源描述框架規(guī)范將非結(jié)構(gòu)化的文本信息轉(zhuǎn)換成結(jié)構(gòu)化的項目信息并錄入到“948 林業(yè)項目信息庫”中，進(jìn)而發(fā)布在中國林業(yè)信息網(wǎng)（http://www.lknet.ac.cn）林業(yè)成果欄下以方便用戶對項目信息檢索。

步驟（3）：實驗數(shù)據(jù)的提取與融合。由于2000 年以前國家林業(yè)局實施的948 計劃項目規(guī)模較少，在2001—2011 年間批準(zhǔn)實施948 計劃項目共764 項，涵蓋生態(tài)建設(shè)類項目402 項與林業(yè)產(chǎn)業(yè)技術(shù)類項目362項。考慮到項目的實施周期，本文僅提取2001—2005年（也就是在“十五”期間）批準(zhǔn)實施的126 項林業(yè)產(chǎn)業(yè)技術(shù)類項目（簡稱“林產(chǎn)項目”），在此期間的項目全都實施完畢并通過了結(jié)題驗收。輸入數(shù)據(jù)的預(yù)處理。按照本文確立的評價指標(biāo)體系，將提取的126 項948 項目的投入與產(chǎn)出信息。這其中涉及到合同信息與驗收信息的異構(gòu)數(shù)據(jù)融合。

步驟（4）：效率值計算。本文采用EMS 1.3 經(jīng)濟(jì)計量軟件，按照軟件的要求進(jìn)行規(guī)范化的整理，模型選擇投入導(dǎo)向的CCR 模型，計算決策單元的DEA 超效率（SE）值。

步驟（5）：數(shù)據(jù)分析與繪圖。借助SPSS 20.0 對項目的同行評議打分與DEA 超效率（SE）開展正態(tài)分布檢驗與相關(guān)性分析，以及兩指標(biāo)與典型投入/產(chǎn)出指標(biāo)的相關(guān)性分析。繪制以上兩指標(biāo)的散點分布圖并計算Ⅰ類誤差（納偽）和II 類誤差（棄真）的比重。

4 研究結(jié)果

4.1 超效率(SE)-DEA 模型測度結(jié)果分析

本文將計算的項目DEA 超效率值按照降序排列（表3）。結(jié)果發(fā)現(xiàn)：①研發(fā)效率高Top 10 項目，主要分布在“木材加工”“林產(chǎn)化工”領(lǐng)域，這些項目實施涉及研發(fā)全產(chǎn)業(yè)鏈，不僅有論文還有技術(shù)產(chǎn)出，甚至技術(shù)成熟到中試階段，并有一定的市場獲益。如林科院前院長江澤慧、林科院木材所前所長費本華主持的項目，其項目依托單位是科研院所，有豐富的師資、教育、國際合作等研發(fā)創(chuàng)新的條件與基礎(chǔ)，所以項目實施有很高的研發(fā)效率。②而依托單位為國家林業(yè)局由于沒有事業(yè)單位的條件基礎(chǔ)，又缺乏團(tuán)隊與研究生支撐，脫離了教學(xué)與科研一線，所以項目的研發(fā)效率值偏低，如周建仁處長、王琦處長從林科院調(diào)到林業(yè)局工作屬于該情況。③還有一些項目更貼近上游基礎(chǔ)性實驗，新穎性高但實用性低、成本高但技術(shù)成熟度低，這導(dǎo)致市場推廣前景不大，同時沒有論文與專利成果，最終導(dǎo)致項目的研發(fā)效率值較低，如盧孟柱教授、張宗和教授承擔(dān)項目皆屬于該情況。

表3 “十五”期間實施完畢的126 項948 林產(chǎn)項目的量化（含DEA 超效率）結(jié)果Table 3 Quantification results (including DEA super-efficiency) of 126 "948 forestry projects" completed during the "Tenth Five-Year Plan" period

4.2 同行評議決策的有效性

在同行評議決策有效性的界定上，我們借鑒經(jīng)典論述[14]：以同行評審打分與研發(fā)效率（DEA 超效率）的中位數(shù)為分割點，將整個二維聯(lián)合分布劃分為4 象限。其中，同行評審打分高于平均水平而其科研效率低于平均水平的項目，為同行評審的I 類誤差；而同行評審打分低于平均水平而其科研效率高于平均水平的項目，為同行評審的II 類誤差（表4）。

表4 項目評審中的Ⅰ類與II 類誤差的界定Table 4 Definition of Type I and Type II errors in project evaluation

我們將計算的項目同行評審值與DEA 超效率值匯總到XY 直角坐標(biāo)系中，并借助SPSS 繪制X 軸與Y軸上的頻次分布圖。以DEA 超效率的中位數(shù)點所在軸線為X 軸，以同行評議得分的中位數(shù)點所在軸線為Y軸，將整個XY 直角坐標(biāo)系劃分為4 個象限，其中左上象限點為被高估的Ⅰ類誤差（“納偽”）分布點，右下象限點為被低估的Ⅱ類誤差（“棄真”）分布點（圖3）。

圖3 項目的驗收評分與DEA 超效率值的散點分布Fig.3 Scattered distribution of scores and DEA super-efficiency value in projects

本研究發(fā)現(xiàn)：同行評議正確決策的比重64.3%，Ⅰ類誤差的比重為17.5%，Ⅱ類誤差的比重為18.2%（表5）。

表5 項目同行評審犯Ⅰ類與II 類錯誤的比重Table 5 Proportion of Type I and Type II errors in the peer review of projects

而在已有的項目經(jīng)費資助評審的有效性研究中，如BORNMANN 對德國勃林格·殷格翰基金會的博士后獎學(xué)金資助[9]以及對歐洲分子生物學(xué)組織的獎學(xué)金和青年研究者計劃項目資助[10]，結(jié)果皆發(fā)現(xiàn)：II 型誤差的比重遠(yuǎn)大于I 型誤差。本文948 資助計劃的結(jié)果不同：I類和II 類誤差的比重大致相當(dāng)。該差異原因：歐洲、美國的項目資助評審更為嚴(yán)格，有盲評、會評等流程，而且評審專家組成員也有嚴(yán)格的遴選機(jī)制、打分有嚴(yán)格的標(biāo)準(zhǔn)，評審質(zhì)量也更高，所以專家打分更傾向于犯II 類錯誤（棄真）而非I 類錯誤（納偽），即為實現(xiàn)高水平項目的有效遴選“寧可錯殺一千也不放過一個”。而國內(nèi)項目基金會的運作環(huán)境較為寬松。啟示：更應(yīng)像西方一樣加強(qiáng)“過程質(zhì)量監(jiān)管”，嚴(yán)格層層把關(guān)，扭轉(zhuǎn)中國當(dāng)前“重立項輕驗收”的局面。

正態(tài)分布檢驗，在消除樣本量和異常值因素對統(tǒng)計分析方法選擇造成影響與干擾基礎(chǔ)上，無論Kolmogorov-Smimov 檢驗和Shapiro-Wilk 檢驗兩種方法的結(jié)果一致：同行評議得分（Scores）的伴隨概率分別為PK-S=0.200 與PS-W=0.067，皆大于顯著性水平0.05，接受零假設(shè)，服從正態(tài)分布；DEA 超效率（SE）的伴隨概率分別為PK-S=0.003 與PS-W=0.000，皆小于顯著性水平0.05，拒絕零假設(shè)，不服從正態(tài)分布（表6）。

表6 項目的驗收評分與DEA 超效率（SE）頻次的正態(tài)分布檢驗Table 6 Normal distribution test of the score and DEA super-efficiency(SE)frequency in projects

4.3 統(tǒng)計結(jié)果的相關(guān)性檢驗

根據(jù)正態(tài)檢驗結(jié)果（表7），DEA 超效率（SE）的分布并不是正態(tài)分布，所以相關(guān)性分析，我們不能采用Pearson 相關(guān)性檢驗而應(yīng)采用Spearman 相關(guān)性檢驗。

表7 項目的驗收評分與項目典型投入/ 產(chǎn)出指標(biāo)Spearman 相關(guān)性檢驗Table 7 Spearman correlation test between the score and typical input/output indicators in projects

4.3.1 同行評議打分與項目投入/產(chǎn)出指標(biāo)相關(guān)性

根據(jù)散點分布（圖4）判斷與相關(guān)性檢驗（表7）結(jié)果發(fā)現(xiàn)：948 林產(chǎn)技術(shù)項目驗收評分（Scores）與研發(fā)經(jīng)費投入I1 并不存在明顯的相關(guān)性，但與期刊論文數(shù)量O2、專利數(shù)量O4 之間存在顯著的統(tǒng)計正相關(guān)性，Spearman 相關(guān)系數(shù)分別為ρ=0.250（Sig.<0.01）與ρ=0.377（Sig.<0.01）。這說明：產(chǎn)出越多，同行評分也越高。

圖4 項目的驗收評分與項目典型投入/ 產(chǎn)出指標(biāo)的散點分布Fig.4 Scatter distribution of the score and typical input/output indicators in projects

同時，科研產(chǎn)出期刊論文數(shù)量O2 與專利數(shù)量O4之間也呈現(xiàn)適度的統(tǒng)計正相關(guān)性，Spearman 相關(guān)系數(shù)ρ=0.277（Sig.<0.01）。這與之前一系列研究結(jié)論相一致：科研活動學(xué)術(shù)論文的產(chǎn)出強(qiáng)度與技術(shù)專利的產(chǎn)出強(qiáng)度之間存在一致性。

4.3.2 超效率（SE）-DEA 模型指標(biāo)與項目投入/ 產(chǎn)出指標(biāo)相關(guān)性

根據(jù)散點分布（圖5）判斷與相關(guān)性檢驗（表8）結(jié)果發(fā)現(xiàn)：948 林產(chǎn)項目的研發(fā)效率（DEA 超效率表征）與研發(fā)經(jīng)費I1 投入之間并不存在明顯的相關(guān)關(guān)系，但它與期刊論文數(shù)量O2、專利數(shù)量O4 之間存在適度的統(tǒng)計正相關(guān)性，Spearman 相關(guān)系數(shù)ρ=0.376（Sig.<0.01）與ρ=0.523（Sig.<0.01）。這說明：產(chǎn)出越多，項目生產(chǎn)效率也越高。

圖5 項目DEA 超效率（SE）與項目典型投入/ 產(chǎn)出指標(biāo)的散點分布Fig.5 Scatter distribution of the DEA super efficiency(SE)and typical input/output indicators in projects

表8 項目的DEA 超效率（SE）與項目典型投入/ 產(chǎn)出指標(biāo)Spearman 相關(guān)性檢驗Table 8 Spearman correlation test of the DEA super efficiency(SE)and typical input/output indicators in projects

3.3.3 同行評議結(jié)果與超效率（SE）-DEA 模型指標(biāo)相關(guān)性

根據(jù)散點分布（圖6）與相關(guān)性檢驗（表9）結(jié)果發(fā)現(xiàn)：林業(yè)948 產(chǎn)業(yè)技術(shù)項目驗收評分與研發(fā)（R&D）主體的科研效率（DEA 超效率表征）之間呈現(xiàn)統(tǒng)計正相關(guān)性，Spearman 相關(guān)系數(shù)ρ=0.250（Sig.<0.01）。這說明：同行評議得分與項目的研發(fā)效率測度結(jié)果之間存在一致性。

表9 項目的驗收評分與DEA 超效率的Spearman 相關(guān)性檢驗Table 9 Spearman correlation test between the score and DEA super-efficiency in projects

圖6 項目的驗收評分與DEA 超效率的散點分布Fig.6 Scattered distribution of the score and DEA super-efficiency in projects

5 結(jié)論與討論

5.1 結(jié)論

本文借助于DEA 方法評價決策單元（或DMU）的研發(fā)生產(chǎn)率（效率），并將該科研生產(chǎn)率（效率）指標(biāo)作為同行評議決策有效性的驗證標(biāo)準(zhǔn)，以求通過后驗性地核查方式了解整個同行評議決策的質(zhì)量。實驗數(shù)據(jù)選擇國家林業(yè)局在“十五”期間批準(zhǔn)實施的126項“948 計劃”林業(yè)產(chǎn)業(yè)技術(shù)項目，實驗?zāi)Ｐ蜑槌蔛E-CCR 模型，研發(fā)投入9 項，研發(fā)產(chǎn)出4 項，測度研發(fā)效率。

與以往以引用為基礎(chǔ)的量度指標(biāo)作為同行評議決策有效性的驗證標(biāo)準(zhǔn)相比較，本文的實驗研究結(jié)果得出的結(jié)論相似，即專家組的同行評議質(zhì)量判斷與實際研發(fā)（R&D）效率（DEA 超效率）二者之間呈現(xiàn)適度的統(tǒng)計正相關(guān)性，Spearman 相關(guān)系數(shù)ρ=0.250（Sig.<0.01）。同時，犯Ⅰ類錯誤（高估）與Ⅱ類錯誤（低估）的比例分別為17.5%與18.2%，有效同行評議決策比重僅占64.3%。該結(jié)果證實：同行專家組的學(xué)術(shù)質(zhì)量價值判斷的確存在系統(tǒng)誤差但規(guī)模有限，實際的項目資金分配并沒有我們想象地那樣高效。該比例與西歐發(fā)達(dá)經(jīng)濟(jì)體項目資助委員會大型基礎(chǔ)研究項目資助評審的有效性驗證結(jié)果有一定差異，主要在于西歐的項目資助評審更傾向于犯II 類錯誤（棄真）而非I 類錯誤（納偽），即為實現(xiàn)高水平項目的有效遴選“寧可錯殺一千也不放過一個”，歐美的項目資助評審更為嚴(yán)格也更為完備、系統(tǒng)。這對國內(nèi)基金委的項目運作的建議：加強(qiáng)項目“過程質(zhì)量監(jiān)管”，嚴(yán)格層層把關(guān)，扭轉(zhuǎn)中國當(dāng)前“重立項輕驗收”的局面，就如習(xí)總書記指出的由“高速發(fā)展”向“高質(zhì)量發(fā)展”轉(zhuǎn)型。

5.2 討論

我們并不認(rèn)為該評價結(jié)論普遍適用且一成不變，但是本文的確以準(zhǔn)確數(shù)字來闡釋同行評議質(zhì)量到底好到“何種程度”。未來研究可能會以更全局、更大規(guī)模、更長周期的統(tǒng)計樣本數(shù)據(jù)源開展實證分析，論證同行評議的質(zhì)量在長周期是否不斷完善？或者通過多種客觀量度方法對同行評議的有效性獲得科學(xué)性地深入理解，又或者進(jìn)一步更為直觀地對比多種量度工具的具體價值。