同行評議專家反評估實證研究

李光文 吳達(dá) （天津市科技統(tǒng)計與發(fā)展研究中心 天津300041）

0 引言

我國“國家中長期科技發(fā)展規(guī)劃綱要（2006—2020）”中指出，到2020年，中國科技進(jìn)步對經(jīng)濟(jì)增長的貢獻(xiàn)率要提高到60%左右，研發(fā)投入占GDP比重要提高到2.5%。[1]隨著我國政府對科技研發(fā)投入的不斷增加，如何公平、合理地分配科研資源成為社會日益關(guān)注的熱點問題?，F(xiàn)實社會中存在的學(xué)風(fēng)浮躁、學(xué)術(shù)不端等問題對科研事業(yè)的健康發(fā)展產(chǎn)生了消極影響。中國科協(xié)新當(dāng)選主席韓啟德在與媒體見面時講到：“學(xué)風(fēng)問題的解決是一個長期的過程，在一定程度上還是很不理想，我覺得它有深遠(yuǎn)的歷史原因、文化原因、社會原因，甚至是制度原因，如果我們科學(xué)體制機(jī)制不進(jìn)一步改革，如果我們的評價技術(shù)不改革，如果我們的管理機(jī)制不進(jìn)行改革，包括科研資源分配的機(jī)制不進(jìn)行改革，那么影響我們學(xué)風(fēng)的這些根源還不能夠得到根本改變，我們在長期之內(nèi)還需要努力改進(jìn)這些問題?！盵2]

同行評議作為一種評價方法被廣泛運(yùn)用到規(guī)劃設(shè)計、項目評議、經(jīng)費(fèi)資助、課題結(jié)項、科技獎勵、刊物論文評議、成果出版等方面，被國內(nèi)外專家公認(rèn)為是目前最切實可行的方法。同行評議可以促使科研管理機(jī)構(gòu)的決策更加民主和科學(xué)，使科學(xué)技術(shù)的發(fā)展更契合我國社會的發(fā)展要求。

在同行評議過程中，專家的評價意見直接影響評審結(jié)果。本文利用專家反評估指標(biāo)對同行評議數(shù)據(jù)進(jìn)行分析，反映出同行評議過程中的一些問題，為同行評議工作提供參考。

1 研究現(xiàn)狀

1.1 同行評議研究

同行評議最早始于專利申請中的查新，隨后應(yīng)用到論文評審、科學(xué)技術(shù)評價。目前同行評議已被國內(nèi)外科研管理機(jī)構(gòu)廣泛使用。

英國學(xué)者Gibbons認(rèn)為同行是“該領(lǐng)域的科學(xué)家或鄰近領(lǐng)域的科學(xué)家”。我國自然科學(xué)基金委對同行的解釋是“由科學(xué)系統(tǒng)的同行組成的群體”。美國學(xué)者Chubin對同行評議的定義是“被科學(xué)界用來判斷工作程序的正確性，確認(rèn)結(jié)果的可靠性以及對有限資源的分配，諸如雜志版面、研究資助經(jīng)費(fèi)、公認(rèn)性和特殊榮譽(yù)”。英國G&G認(rèn)為評議是以提問的方式評價本領(lǐng)域研究工作的科學(xué)價值。“國家自然科學(xué)基金項目管理規(guī)定（試行）”指出，評議是對申請項目的創(chuàng)新性、研究價值、研究目標(biāo)、研究方案等做出獨立的判斷和評價。[3]

綜上所述，同行評議是以申請者的客觀材料為基礎(chǔ)，借助評議專家對某一學(xué)科較深入的了解和研究，對一項成果未來的價值做出主觀評議和判斷的評審方法。同行評議方法方便易行，集成性、科學(xué)性的特點使其在科技項目評審決策中占據(jù)重要地位，但是這種評議方式受專家個體差異性，如主觀意志的影響和專業(yè)知識水平的局限以及評議過程中其他偶然因素影響，容易產(chǎn)生個人偏見和片面性。[4]

1.2 同行評議專家反評估研究

趙黎明等（1995）提出了累計數(shù)、離散率、命中率、成功率4個反評估指標(biāo)，成為國內(nèi)考察評審專家指標(biāo)的基礎(chǔ)，但是對于如何基于這些單項指標(biāo)建立評價體系并未做出說明。[5]鄭稱德（2002）提出基于評議結(jié)果的專家評議工作業(yè)績評測指標(biāo)，包括經(jīng)驗指標(biāo)、偏差指標(biāo)、命中指標(biāo)及有效性指標(biāo)，并根據(jù)專家意見得出這3個指標(biāo)的權(quán)重分別為0.25、0.35和0.4。[6]王成紅等（2004）進(jìn)一步探討了對同行評議專家評議結(jié)果進(jìn)行定量評估的問題，給出了科研項目評價值的數(shù)學(xué)模型。文章給出了同行評議專家關(guān)于基金申請項目評價值的調(diào)整算法，對已有的2個定量指標(biāo)進(jìn)行了改進(jìn)，并給出了算數(shù)偏差、最大絕對值偏差和項目的非共識度等3個新的定量評估指標(biāo)。這些定量指標(biāo)具有的物理、數(shù)學(xué)意義，對合理選擇同行評議專家有重要意義。[7]

保羅·尼文（2003）曾在《平衡計分卡》中提出了指標(biāo)的選擇原則和指標(biāo)數(shù)據(jù)字典的概念，對建立專家評價指標(biāo)體系做了較深入的研究。[8]英國同行評議調(diào)查組給研究理事會咨詢委員會的報告中全面討論了定量方法的作用，他們認(rèn)為“如果用合理的價格能獲得相關(guān)有用的信息，例如使用自然和社會科學(xué)引文索引，也許在檢查同行評議全面實施的時候，可以切合實際地、試驗性地使用它?！盵9]

2 同行評議專家反評估實證研究

2.1 數(shù)據(jù)來源

天津市科技計劃項目立項和結(jié)題評審使用了同行評議方式，從2007年起使用了局域網(wǎng)評審，2008年開始將結(jié)題工作專家評審意見進(jìn)行數(shù)據(jù)庫管理，評審過程中積累了大量數(shù)據(jù)。本文使用這些數(shù)據(jù)進(jìn)行專家評審反評估實證研究，共選用了140個項目組，2 653個項目的評審數(shù)據(jù)。

2.2 實證研究

2.2.1 評審累計數(shù)分析 對專家參加評審次數(shù)進(jìn)行統(tǒng)計，統(tǒng)計結(jié)果數(shù)據(jù)顯示，參加7次評審的專家有1位；參加5次評審的專家共6位；參加4次評審的專家共9位；參加3次評審的專家共40位；參加2次評審的專家共103位。

表1數(shù)據(jù)說明，天津市科技計劃項目評審盡可能多的邀請專家參與，讓更多專家參與項目評審，這樣有兩個好處：一方面可以避免評審專家隊伍過于固定，影響同行評議的公正性；另一方面邀請更多專家參與評審，擴(kuò)大了專家隊伍，特別是給年輕學(xué)者更多參與項目評審的機(jī)會，增加了學(xué)者參加科學(xué)研究的積極性，有利于良好學(xué)術(shù)氛圍的形成。

表1 專家參加評審次數(shù)統(tǒng)計

2.2.2 評審結(jié)論一致性分析 每個項目組邀請5位專家獨立為項目評審打分和做評價結(jié)論，評價結(jié)論分立項和不立項，限定每位專家評審結(jié)論為立項的項目數(shù)量。其中，3名及以上專家同意立項的項目視為通過專家評審。

表2說明同行評議結(jié)論符合要求，為天津市科技計劃項目立項提供了重要的參考依據(jù)。

表2 同意立項比分布情況

2.2.3 專家評審命中率分析 對專家的某次評審結(jié)果進(jìn)行分析，將專家對每個項目的評審結(jié)論與該項目最終是否立項進(jìn)行比較。如果專家結(jié)論與項目評審結(jié)果一致，則設(shè)為命中。將專家在該次評審中所有項目的命中數(shù)量與項目立項總數(shù)進(jìn)行比較得出命中率。

統(tǒng)計數(shù)據(jù)中，共有56位專家參加了3次以上評審，選取這部分專家評審數(shù)據(jù)進(jìn)行命中率統(tǒng)計。統(tǒng)計結(jié)果顯示命中率最低為58.3%，最高為100%，56位專家歷次評審結(jié)果命中率分布如圖1。從圖中可以看到絕大多數(shù)專家命中率很高，在80%以上。

圖1 所有專家評審結(jié)果命中率分布情況

圖2 專家歷次評審命中率標(biāo)準(zhǔn)差分布情況

對這56位專家歷次評審結(jié)果進(jìn)行的命中率標(biāo)準(zhǔn)差統(tǒng)計，統(tǒng)計結(jié)果顯示命中率標(biāo)準(zhǔn)差最大是0.198，最小是0.014，多數(shù)專家的命中率在0.1以內(nèi)，如圖2。參加3次以上評審的專家命中率很高，歷次評審命中率標(biāo)準(zhǔn)差很小，說明這部分專家在評審工作中公平公正，科學(xué)嚴(yán)謹(jǐn)?shù)赝瓿稍u審任務(wù)。

2.2.4 離散率分析 項目最終得分是根據(jù)5位專家打分加權(quán)計算得到，項目得分滿分為100分，對專家打分和項目最終得分進(jìn)行比較。專家打分與項目匯總得分差距最小的為2.6分，最大為31.9分。專家打分與匯總得分差距小于10分的占74.4%，如圖 3。

圖3 專家打分橫向離散率

對參加3次以上評審專家的打分差距進(jìn)行分析，差距最小的為3.04分，最大為18.54分，專家打分與匯總得分差距小于10分的占84.5%，如圖4。對參加3次以上評審的專家打分差距明顯小于所有專家。

2.2.5 項目結(jié)題評審意見與項目執(zhí)行結(jié)果比較分析 選取部分已結(jié)題項目，對合同書與結(jié)題報告數(shù)據(jù)進(jìn)行比較研究，選取可量化的指標(biāo)：出版專著、培養(yǎng)人才、申請專利、申請發(fā)明專利、發(fā)表論文。通過這些指標(biāo)判斷項目實際完成情況，統(tǒng)計結(jié)果顯示5項指標(biāo)完成率平均為90.9%，如表3。

圖4 專家打分橫向離散率（部分專家）

表3 合同書指標(biāo)完成情況

項目實際完成指標(biāo)，且專家對“項目完成情況”的結(jié)論為“完成”，則認(rèn)為專家評價意見與項目實際完成情況一致。統(tǒng)計顯示一致率平均為91.85%。說明結(jié)題評審中專家能根據(jù)項目的實際完成情況進(jìn)行客觀公正的評價。

3 相關(guān)建議

3.1 適當(dāng)加強(qiáng)同行評議過程信息公開

同行評議被我國采用以來，各級科研管理機(jī)構(gòu)都制定了完善的管理辦法。絕大多數(shù)專家的評審工作是公平、公正的。但是少數(shù)專家的失信行為被媒體放大。主要是因為專家評審工作要求保密，信息發(fā)布較少，再加上立項命中率較低，使沒有成功立項申報者對同行評議過程產(chǎn)生了質(zhì)疑。

建議在保證專家評審工作保密的前提下，在評審結(jié)束后加大評審信息公開，將專家評審意見和評審結(jié)論適當(dāng)向社會公開。一方面可以擴(kuò)大社會各界對同行評議工作的監(jiān)督，促進(jìn)專家評審工作的公平公正；另一方面將專家評審結(jié)果反饋給項目申請者，使申請者了解自己項目存在的不足，同時也是一次學(xué)術(shù)交流過程，有利于學(xué)術(shù)發(fā)展和創(chuàng)新，部分基金項目已經(jīng)實行了評審結(jié)果反饋。

3.2 建立統(tǒng)一的評審專家?guī)?/h3>

豐富的專家?guī)熨Y源是項目準(zhǔn)確遴選評審專家的基礎(chǔ)，建立統(tǒng)一專家?guī)炜梢越鉀Q同行評議中的一些問題。統(tǒng)一專家?guī)旖⒑?，實現(xiàn)在國家與省市科研管理機(jī)構(gòu)中共享，各級科研管理機(jī)構(gòu)共同維護(hù)、完善專家信息。建設(shè)統(tǒng)一專家?guī)斓耐瑫r建立專家誠信檔案，將專家在評審工作中的行為記錄到誠信檔案中，建立起專家后評估體系，專家后評估得分作為專家遴選的主要依據(jù)，形成專家誠信體系建設(shè)的良性循環(huán)。

3.3 完善專家評審過程的組織工作

完善評審過程組織工作。保證評審工作過程的公平、公正、公開。在專家評審前，認(rèn)真審查評審專家資格，嚴(yán)格執(zhí)行專家回避制度，避免項目申請者與評審專家發(fā)生利益沖突。健全專家遴選辦法，為項目匹配最合適的評審專家。在專家評審過程中，嚴(yán)格執(zhí)行保密規(guī)范，嚴(yán)格要求參加評審的工作人員，避免評審信息泄露。評審工作結(jié)束后，客觀公正地匯總評審結(jié)果，將專家評審意見反饋給項目申請者。

4 結(jié)語

通過對天津市科技計劃項目評審實證研究可以看出，同行評議中絕大多數(shù)專家能夠按照評審要求，認(rèn)真負(fù)責(zé)地完成項目評審，專家評審效果較好，專家評審結(jié)果與項目完成情況一致性高，說明同行評議是一種比較科學(xué)、可靠的科研項目評價方法。特別是多次參加評審的專家的各項反評估指標(biāo)明顯高于其他專家，說明這部分專家的學(xué)術(shù)水平較高、科研誠信好，應(yīng)該充分利用好這部分專家資源，特別是用于重大科研項目的評價工作。

但是，在研究過程可以看出專家反評估方法本身具有一定的局限性，只能作為反映專家評審能力的一個參考，不能作為判斷專家評審能力的標(biāo)準(zhǔn)。在實際操作中應(yīng)該結(jié)合專家誠信檔案，以事實為依據(jù)，嚴(yán)肅、客觀地對專家評審能力進(jìn)行評價。■

[1]中國人民共和國科學(xué)技術(shù)部[EB/OL].http://www.most.gov.cn/kjgh/.

[2]人民網(wǎng)[EB/OL].http://scitech.people.com.cn.

[3]劉魯寧.科技項目同行評議體系反評估模型分析與設(shè)計[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2007.

[4]毛莉莉.論同行評議的公平、公正原則[D].上海：東華大學(xué)，2007.

[5]趙黎明，徐孝涵，張衛(wèi)東.對同行評議專家的反評估分析[J].中國科學(xué)基金，1995（7）：66-70.

[6]鄭稱德.同行評議專家工作業(yè)績測評及其模型研究[J].科研管理，2002，23（2）：43-47.

[7]王成紅，何杰，劉克，等.關(guān)于同行評議專家定量評估指標(biāo)研究的幾個新結(jié)果[J].系統(tǒng)工程理論與實踐，2004（2）：83-90.

[8]張艷，江志斌.重大建設(shè)項目評審專家遴選指標(biāo)體系研究[J]，理論探討，2004（12）：9-11.

[9]Mohammadreza Hojat.Impartial Judgment by the“Gatekeepers”of Science:Fallibility and Accountability in the Peer Review Process[J].Advances in Health Sciences Education，2003（3）：75-96.