科技成果評(píng)估中主觀方法的量化改進(jìn)研究

韋顏秋 鄒立堯

一、引 言

科學(xué)技術(shù)是第一生產(chǎn)力,作為科學(xué)技術(shù)研究的最終產(chǎn)物,科技成果受到人們的普遍關(guān)注。然而,能否對(duì)科技成果進(jìn)行科學(xué)有效的評(píng)估關(guān)系到科技成果自身權(quán)威性的認(rèn)定與科技成果的轉(zhuǎn)化。

中國(guó)每年有大量的科技成果需要評(píng)估,然而長(zhǎng)期以來(lái),中國(guó)對(duì)于科技成果的評(píng)估大多采取的是科技成果鑒定的方式。由于成果鑒定是以政府為主導(dǎo)的,并且管理形式存在一些問(wèn)題,科技成果鑒定得到的都是一些模糊的評(píng)語(yǔ)：“國(guó)內(nèi)高水平”“國(guó)際領(lǐng)先”“具有較大的推廣價(jià)值”“具有良好的市場(chǎng)前景”“填補(bǔ)空白”,等等?？萍汲晒b定是計(jì)劃經(jīng)濟(jì)體制下的產(chǎn)物,在計(jì)劃經(jīng)濟(jì)時(shí)代發(fā)揮過(guò)重要作用,隨著社會(huì)主義市場(chǎng)經(jīng)濟(jì)體制的完善和科技體制的不斷深化,以科技成果鑒定為主要形式的科技成果評(píng)估,已經(jīng)不適應(yīng)科技成果評(píng)估發(fā)展的要求。參照國(guó)外發(fā)達(dá)國(guó)家政府和社會(huì)對(duì)科技成果管理的模式,對(duì)科技成果的評(píng)價(jià)應(yīng)該由鑒定這種單一的模式過(guò)渡為鑒定與后效評(píng)估相結(jié)合的評(píng)估模式。科技評(píng)估的發(fā)展趨勢(shì)是逐漸向項(xiàng)目成果評(píng)估的中、后期評(píng)估延伸。國(guó)外科技評(píng)估機(jī)構(gòu)對(duì)前期評(píng)估和中、后期評(píng)估的比例大致持平,然而中科技后效評(píng)估的案例極少,大都止步于對(duì)科技成果的價(jià)值作出初步鑒定的階段。中國(guó)的科技評(píng)估實(shí)證分析少,評(píng)估方法落后。

本文在對(duì)國(guó)內(nèi)外關(guān)于科技成果評(píng)估理論和方法進(jìn)行綜合分析的基礎(chǔ)上,結(jié)合中國(guó)科技成果評(píng)估的實(shí)踐現(xiàn)狀,對(duì)目前主觀評(píng)估與客觀評(píng)估相結(jié)合方式提出方法上的改進(jìn),將人力資源評(píng)估中的行為等級(jí)錨定法引進(jìn)科技成果評(píng)估領(lǐng)域,使評(píng)估結(jié)果更為公正,最大限度地避免主觀隨意性。

二、科技成果評(píng)估方法的主客觀結(jié)合范式

(一)科技成果評(píng)估及組織

科技成果評(píng)估是科技評(píng)估的主要內(nèi)容,也是政府部門(mén)科技成果管理的重要內(nèi)容。它是一種以政府或科技中介機(jī)構(gòu)為主體,在政府宏觀指導(dǎo)下的市場(chǎng)行為,對(duì)成果的水平及其價(jià)值作出科學(xué)合理的評(píng)價(jià)。有學(xué)者認(rèn)為科技成果評(píng)估,就是科技成果評(píng)價(jià)中介機(jī)構(gòu)根據(jù)委托者提出的評(píng)價(jià)要求,運(yùn)用科學(xué)、可行的方法對(duì)被評(píng)科技成果進(jìn)行的真假審查與辨別,對(duì)其科學(xué)性、創(chuàng)造性、新穎性、先進(jìn)性、應(yīng)用效果與前景進(jìn)行的評(píng)議,并做出相應(yīng)結(jié)論。①談毅：《中國(guó)科技評(píng)價(jià)體系的特點(diǎn)、模式及發(fā)展》,《科學(xué)學(xué)與科學(xué)技術(shù)管理》2007年第5期,第10頁(yè)。從科技成果評(píng)估的概念出發(fā),科技成果評(píng)估應(yīng)具有以下特點(diǎn)：(1)權(quán)威公正性?？萍汲晒u(píng)估的主體是政府或科技評(píng)價(jià)中介機(jī)構(gòu),理應(yīng)保障科技成果評(píng)估的結(jié)果具有權(quán)威性。此外科技成果評(píng)估是按公正、法定的準(zhǔn)則和程序進(jìn)行的,具有公認(rèn)的行為規(guī)范和業(yè)務(wù)規(guī)范,科技成果的評(píng)估應(yīng)該具有公正性。(2)綜合性?？萍汲晒u(píng)估雖然是對(duì)一項(xiàng)科技成果進(jìn)行評(píng)估,但是卻往往涉及多方面因素的考量?？萍汲晒u(píng)估不僅要評(píng)價(jià)其自然屬性和經(jīng)濟(jì)價(jià)值,而且要評(píng)價(jià)其社會(huì)屬性和社會(huì)價(jià)值,要對(duì)以后可能取得的經(jīng)濟(jì)效益和社會(huì)效益進(jìn)行評(píng)估,也就是后效評(píng)估。(3)評(píng)估方法的科學(xué)性?？萍汲晒u(píng)估要綜合運(yùn)用經(jīng)濟(jì)學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)等多種學(xué)科的方法,綜合考慮市場(chǎng)、政策、法律、金融、風(fēng)險(xiǎn)和供求關(guān)系等多種因素。因此,科技成果的評(píng)估方法不僅要有嚴(yán)格的定量分析研究,也要對(duì)科技成果的價(jià)值和收益進(jìn)行廣泛的理性討論,定性的研究方法也要引入進(jìn)來(lái),不能一味地追求“數(shù)量”,還要看“質(zhì)量”。

近年來(lái),科技成果評(píng)估逐漸脫離了原先政府部門(mén)為主導(dǎo)的科技成果鑒定,政府強(qiáng)制性的行政干預(yù)色彩逐漸淡化,第三方的科技中介機(jī)構(gòu)和社會(huì)組織開(kāi)始參與進(jìn)來(lái),科技成果的評(píng)估程序也越來(lái)越透明。并且科技成果評(píng)估也逐漸滲透在科技項(xiàng)目的審批立項(xiàng)、成果驗(yàn)收認(rèn)定、成果轉(zhuǎn)化及后效評(píng)估的各個(gè)環(huán)節(jié),成為一種經(jīng)常性、連續(xù)性的活動(dòng)。

(二)科技成果評(píng)估方法的主客觀結(jié)合

評(píng)價(jià)方法是一個(gè)多學(xué)科彼此交叉、相互滲透、以各種理論體系為基礎(chǔ),不斷演進(jìn)變化的研究領(lǐng)域。科技成果的評(píng)估方法在發(fā)展過(guò)程中呈現(xiàn)出由主觀到客觀、主客觀相互結(jié)合的特征。較為早期的評(píng)價(jià)方法主要是經(jīng)驗(yàn)評(píng)價(jià)或各種定量評(píng)價(jià),比如專(zhuān)家調(diào)查法、總值法等；發(fā)展到了近現(xiàn)代,隨著統(tǒng)計(jì)學(xué)的發(fā)展,產(chǎn)生了諸如主成分分析、因子分析法、聚類(lèi)分析和判別分析法等評(píng)價(jià)方法；近年來(lái),隨著模糊數(shù)學(xué)、灰色系統(tǒng)理論、神經(jīng)網(wǎng)絡(luò)技術(shù)等一些新興學(xué)科的興起,相應(yīng)的技術(shù)被不斷引入到評(píng)價(jià)方法中來(lái),使評(píng)價(jià)方法日益多學(xué)科化和豐富化。借鑒各種評(píng)價(jià)方法的優(yōu)點(diǎn)和適用性,目前科技成果評(píng)估按照測(cè)量方式主要有兩種方法：一種是主觀評(píng)估方法,就是評(píng)估主體按照某種評(píng)估標(biāo)準(zhǔn),借助專(zhuān)業(yè)知識(shí)和個(gè)人經(jīng)驗(yàn)進(jìn)行估計(jì)和推斷的一種評(píng)估方法。這種定性方法強(qiáng)調(diào)的是基于理解的“直觀認(rèn)識(shí)”,對(duì)科研成果難以客觀量化的屬性和特征進(jìn)行分析和評(píng)定,以說(shuō)明其質(zhì)量標(biāo)準(zhǔn)。另一種是客觀評(píng)估方法,又稱(chēng)為科學(xué)計(jì)量法,主要是通過(guò)科學(xué)手段或測(cè)量工具對(duì)科研成果的特征做出判定和分析評(píng)估,并保證評(píng)估結(jié)果在一定的置信范圍內(nèi),具有相當(dāng)?shù)目煽啃?使評(píng)估結(jié)果更加科學(xué)、客觀和公正。

在實(shí)踐中,對(duì)科技成果的評(píng)估通常都是將二者結(jié)合起來(lái),這是評(píng)估的客觀需要,無(wú)論哪一種科技成果,都存在客觀難以測(cè)量的特征,這些特征的優(yōu)劣判斷需要借助專(zhuān)家的主觀判斷。主觀評(píng)估方法的優(yōu)點(diǎn)是原理上較為簡(jiǎn)單,操作上不需要高深的技術(shù),在評(píng)估對(duì)象需要主觀判定和描述、缺乏足夠客觀數(shù)據(jù)情況下適用。其缺點(diǎn)是受人為因素的影響嚴(yán)重,具有主觀隨意性和不公開(kāi)性等特點(diǎn),因此,難以保證評(píng)價(jià)結(jié)果的科學(xué)性和公正性。客觀評(píng)估方法其理論具有扎實(shí)的基礎(chǔ),就方法本身而言可排除人為的隨意性干擾,但其突出缺點(diǎn)是適用于標(biāo)準(zhǔn)客觀且存在大量參考數(shù)據(jù)的情況下,在該方法實(shí)施中要增加很多約束條件,在現(xiàn)實(shí)中進(jìn)行評(píng)估,評(píng)價(jià)對(duì)象往往不能完全滿(mǎn)足其要求,更多時(shí)候需要先進(jìn)行一系列的假設(shè),在此基礎(chǔ)上再進(jìn)行數(shù)據(jù)處理,才能完成評(píng)估工作。因此,定性評(píng)價(jià)必須以數(shù)量界限為基礎(chǔ),定量評(píng)價(jià)必須以定性界定為前提,在科技成果評(píng)估中將二者結(jié)合起來(lái)才具有更強(qiáng)的實(shí)效性。

三、科技成果評(píng)估的主觀評(píng)估方法構(gòu)建演進(jìn)

無(wú)論是評(píng)估范式的演進(jìn)還是評(píng)估內(nèi)容的拓寬,對(duì)于科技成果評(píng)估而言其評(píng)估方法的演進(jìn)過(guò)程中,評(píng)估范式從“科學(xué)范式”向“社會(huì)構(gòu)建”轉(zhuǎn)變,評(píng)估內(nèi)容向后項(xiàng)評(píng)估演進(jìn),都指示出主觀性的評(píng)價(jià)方法一直是科技成果評(píng)估的重要方法之一,主觀評(píng)估方法隨著科技成果評(píng)估要求的變化而進(jìn)行適應(yīng)性調(diào)整。

(一)評(píng)估范式向社會(huì)構(gòu)建方向的演進(jìn)

傳統(tǒng)的科技評(píng)估范式注重對(duì)技術(shù)的可行性和可能的后果進(jìn)行分析,是純粹的技術(shù)性評(píng)價(jià)的“科學(xué)范式”。美國(guó)國(guó)會(huì)技術(shù)評(píng)價(jià)辦公室(OTA)第一任主任Emilio Q.Daddario 認(rèn)為,“技術(shù)評(píng)估(TA)系統(tǒng)評(píng)價(jià)一項(xiàng)技術(shù)程序的性質(zhì)、意義、地位和價(jià)值”。①Roger C.Herdman and James E.Jensen,“The OTA story ：The Agency Perspective”,Technological Forecasting and Social change,vol.54,(1997),pp.259-286.Smits、Leyten 和 Den Hertog 提出了三種科技成果評(píng)估的模型,即察覺(jué)性科技評(píng)估模型、戰(zhàn)略性評(píng)估模型和建構(gòu)性模型。

Rathenau 研究所(原荷蘭 TA 組織)主任Eijndhoven 將技術(shù)評(píng)估分為四種范式：經(jīng)典范式、OTA 范式(OTA)、公眾范式和建構(gòu)性范式。②Jose C.M Van Eijndhoven,“Technology Assessment ：Product or Process”,Technological Forecasting and social change,vol.54,(1997),pp.259-286.他總結(jié)了技術(shù)評(píng)估的各種觀點(diǎn),并且提出學(xué)術(shù)和政治之間的差異性導(dǎo)致了技術(shù)評(píng)估組織的兩難困境,強(qiáng)調(diào)了將各種評(píng)估方法運(yùn)用于技術(shù)評(píng)估的重要性,突出對(duì)整個(gè)過(guò)程進(jìn)行質(zhì)量控制。

Jan Van Den Ende 等人則總結(jié)出了傳統(tǒng)的預(yù)警性技術(shù)評(píng)估和新型的戰(zhàn)略性技術(shù)評(píng)估、建構(gòu)性技術(shù)評(píng)估及回溯性技術(shù)評(píng)估等幾種類(lèi)型,Rathenau 研究所提出了交互式技術(shù)評(píng)估,等等。③Jan Van Den,“traditional and Modern Technology Assessment ：toward a Tool it”,Technological Forecasting and social change,vol.58,(1998),pp.5-21.他們提出將技術(shù)評(píng)估的不同方法進(jìn)行分類(lèi),并且總結(jié)成一個(gè)通用的技術(shù)評(píng)估框架,這些框架將有助于評(píng)估方法的選擇。這些評(píng)估方法和框架的公開(kāi)化使得科學(xué)家、工程師、政府官員、公民組織的成員都可以參與到評(píng)估中來(lái)。

隨著技術(shù)的社會(huì)建構(gòu)論(social constructivism)興起,對(duì)科技成果的評(píng)估出現(xiàn)了多種理論流派和分析范式④Weibe Thomas P.Hughesand TrevorF.Pineh,The Social Construction of Technological Systems：New Directions in the Sociology and History of Technology Assessment：The Management,1987,pp.6-22.,其主要觀點(diǎn)是認(rèn)為技術(shù)的發(fā)展過(guò)程是社會(huì)建構(gòu)或形塑的。在技術(shù)產(chǎn)生和發(fā)展的每一階段,都涉及到在諸多技術(shù)可能性中進(jìn)行社會(huì)選擇。技術(shù)正是在持續(xù)的社會(huì)反饋與利益相關(guān)者參與中一步步經(jīng)過(guò)或然性 (Problem-atization)過(guò)程走向穩(wěn)定化,即技術(shù)的內(nèi)容和后果包含在技術(shù)發(fā)展的社會(huì)建構(gòu)過(guò)程中。因此,對(duì)技術(shù)進(jìn)行評(píng)估便不應(yīng)僅僅針對(duì)技術(shù)發(fā)展的結(jié)果進(jìn)行靜態(tài)分析,更要考察并介入技術(shù)選擇過(guò)程。

通過(guò)對(duì)比庫(kù)恩的“科學(xué)范式”,多西提出了技術(shù)軌道的分析框架(technology trajectory)。技術(shù)軌道包括在與社會(huì)系統(tǒng)的相互作用中,技術(shù)評(píng)估是受制于多種技術(shù)因素、經(jīng)濟(jì)因素、制度和社會(huì)因素的動(dòng)態(tài)反饋過(guò)程。⑤Dosi G,“echnological paradigms and technological trajectories”,Research Policy,vol.11,(1982),pp.147-162.多西試圖建立一個(gè)有效的宏觀框架將這些要素融入其中,并且確定了新的技術(shù)范式的選擇過(guò)程。技術(shù)評(píng)估過(guò)程不可避免地要受到技術(shù)軌道(technological trajectory)的影響,根據(jù)技術(shù)評(píng)估的過(guò)程,技術(shù)評(píng)估的參與者確定了技術(shù)評(píng)估的戰(zhàn)略。一般而言,主要包括四種類(lèi)型的技術(shù)評(píng)估戰(zhàn)略：靈活執(zhí)行的戰(zhàn)略評(píng)估、突發(fā)奇想的直覺(jué)評(píng)估、審慎的定量評(píng)估和各方達(dá)成一致的戰(zhàn)略評(píng)估。

由“科學(xué)范式”向“社會(huì)建構(gòu)范式”的轉(zhuǎn)變,說(shuō)明了科技評(píng)估由單純的技術(shù)性評(píng)價(jià)向吸收社會(huì)公眾意見(jiàn)的社會(huì)性評(píng)價(jià)轉(zhuǎn)變。技術(shù)評(píng)估與決策過(guò)程所依賴(lài)的不僅是科學(xué)的推理分析,更依賴(lài)參與者的經(jīng)驗(yàn)、興趣,這些隱性知識(shí)不確定性的影響尤為明顯。對(duì)于科技成果來(lái)說(shuō),同樣涉及了在諸多技術(shù)可能性中進(jìn)行社會(huì)選擇,評(píng)估過(guò)程需要持續(xù)的社會(huì)反饋和利益相關(guān)者的參與,在注重技術(shù)評(píng)價(jià)的同時(shí),更要注重社會(huì)評(píng)價(jià)。

(二)評(píng)估內(nèi)容向多維評(píng)估的演進(jìn)

不同的科技成果評(píng)估具有不同的評(píng)估內(nèi)容,即科技成果評(píng)估內(nèi)容的設(shè)定一般取決于具體的科研項(xiàng)目,其中以論文為主要成果形式的科研項(xiàng)目占絕大多數(shù)。一般而言,新的評(píng)估方法需要用來(lái)衡量社會(huì)影響,并且應(yīng)當(dāng)與衡量科研質(zhì)量的方法結(jié)合起來(lái),按照和現(xiàn)行的評(píng)估方法相符合、能夠預(yù)見(jiàn)未來(lái)、對(duì)評(píng)估雙方均有效、具有可行性的原則進(jìn)行。評(píng)估的維度包括：現(xiàn)狀分析(正規(guī)出版物數(shù)量、政策文件、教科書(shū)出版物影響力)、軟件引用分析(上述出版物的引用情況分析)、產(chǎn)品評(píng)價(jià)(包括健康技術(shù)和服務(wù)設(shè)備、程序和評(píng)估方法、社會(huì)福利落實(shí)情況)、對(duì)于非專(zhuān)業(yè)大眾的傳播情況(大眾傳媒網(wǎng)絡(luò)的影響力)、組織成員關(guān)系評(píng)價(jià)、教育影響評(píng)價(jià)(基于研究結(jié)論,對(duì)于健康人群的教育作用)。Marek Kosmulski 在科技論文的評(píng)估方面提出了自己的新觀點(diǎn)。他認(rèn)為獲得引用次數(shù)多于被涉及次數(shù)的論文就是一篇成功的科技論文,這個(gè)評(píng)估基于工作在各個(gè)科學(xué)領(lǐng)域和各個(gè)國(guó)家的科學(xué)家所給出的比較分?jǐn)?shù)。并且結(jié)合實(shí)證研究提出對(duì)期刊論文的評(píng)估包括：平均提及率、平均被引率、最高提及次數(shù)/被引次數(shù)、平均提及次數(shù)/平均被引次數(shù)、期刊中成功論文的數(shù)量、期刊中引用次數(shù)大于100 次的文章數(shù)、h- 指數(shù)。①M(fèi)arek Kosmulski,Successful papers,“A new idea in evaluation of scientific output”,Journal of Informetrics,vol.8,(2011),pp.481-485.Bonnie和Joseph 在對(duì)計(jì)算機(jī)信息系統(tǒng)成果的評(píng)估中運(yùn)用了定性評(píng)估指標(biāo),將定性評(píng)估指標(biāo)和實(shí)施評(píng)估中的關(guān)鍵因素相結(jié)合,提出了計(jì)算機(jī)系統(tǒng)成果的評(píng)估框架,他們指出不同的評(píng)估對(duì)象需要不同的評(píng)估內(nèi)容和方法,在計(jì)算機(jī)信息系統(tǒng)的評(píng)估指標(biāo)設(shè)計(jì)中需要考慮的關(guān)鍵因素有：成本和收益、系統(tǒng)的及時(shí)性、系統(tǒng)的完整性、系統(tǒng)的錯(cuò)誤率、可回收性、用戶(hù)滿(mǎn)意度等,還要調(diào)查系統(tǒng)的社會(huì)、組織、文化等方面的研究影響、注重過(guò)程評(píng)價(jià)而不是結(jié)果的評(píng)價(jià)、突發(fā)過(guò)程的檢測(cè)評(píng)價(jià)等定性評(píng)估。②Bonnie,“ Research Methods for Evalutaing Computer Information” Evaluating the Organization Impact,vol.11,(2005),pp.30-38.

英國(guó)高等教育基金委員會(huì)(HEFCE)用REF原有的RAE,旨在強(qiáng)調(diào)科學(xué)研究為英國(guó)經(jīng)濟(jì)和社會(huì)發(fā)展服務(wù)。從RAE 到REF,三項(xiàng)評(píng)價(jià)指標(biāo)中前兩項(xiàng)即“研究質(zhì)量”和“研究環(huán)境”不變,但是第三項(xiàng)“研究的聲譽(yù)”將被“研究的經(jīng)濟(jì)社會(huì)影響”所替代。1991年經(jīng)合組織發(fā)展援助委員會(huì)(OECD/DAC)首先提出項(xiàng)目成果中后期評(píng)估的內(nèi)容,包括相關(guān)性、效果、效率、影響和可持續(xù)性等五大評(píng)估維度。日本的項(xiàng)目后期評(píng)估主要內(nèi)容有：目標(biāo)達(dá)成度情況、資源(人才和資金等)分配是否合理妥當(dāng)、研究成果及擴(kuò)散效果等。韓國(guó)對(duì)項(xiàng)目成果后期評(píng)估的內(nèi)容還包括：是否落后和重復(fù)、與其他項(xiàng)目成果的集成情況等。

四、主觀評(píng)估方法的量化改進(jìn)——以同行評(píng)議為例

科技成果評(píng)估中一般遵循主客觀評(píng)估方法相結(jié)合的原則,通過(guò)對(duì)以上主觀評(píng)估方法構(gòu)建演變的分析可以得出,在科技成果評(píng)估中,主觀評(píng)估方法的量化演進(jìn)是必然趨勢(shì)和理性選擇。同行評(píng)議是一種歷史悠久、應(yīng)用廣泛的主觀評(píng)價(jià)方法,它既適用于自然科學(xué),也廣泛應(yīng)用于人文社會(huì)科學(xué)。本文以氣象公益領(lǐng)域的科技成果評(píng)估為例,重點(diǎn)研究同行評(píng)議方法的量化改進(jìn)問(wèn)題,以此來(lái)說(shuō)明科技成果評(píng)估中的主客觀方法是如何結(jié)合的。

(一)同行評(píng)議的優(yōu)勢(shì)及局限

國(guó)內(nèi)學(xué)者認(rèn)為,同行評(píng)議指的是“某一領(lǐng)域的同個(gè)研究方向?qū)＜也捎靡环N評(píng)價(jià)標(biāo)準(zhǔn),通過(guò)定性的評(píng)判對(duì)涉及某一領(lǐng)域的一項(xiàng)事物進(jìn)行評(píng)價(jià)的活動(dòng)。同行評(píng)議是以專(zhuān)家主觀分析與評(píng)定為主的方法,其評(píng)價(jià)結(jié)果可以為有關(guān)部門(mén)決策提供參考依據(jù)”。①郭碧堅(jiān)、韓宇：《同行評(píng)議制：方法、理論、功能、指標(biāo)》,《科學(xué)性研究》1994年第3期,第63-74頁(yè)。美國(guó)國(guó)家科學(xué)基金會(huì)(NSF)對(duì)同行評(píng)議評(píng)估方法的定義為“根據(jù)評(píng)估決策結(jié)果情況,來(lái)確定應(yīng)向哪些科研項(xiàng)目申請(qǐng)?zhí)峁┭芯拷?jīng)費(fèi),也就是說(shuō),NSF 負(fù)責(zé)官員根據(jù)與申請(qǐng)者同一研究領(lǐng)域的其他研究人員的評(píng)議結(jié)果,評(píng)估決定科研項(xiàng)目申請(qǐng)者的資助名單?！痹诂F(xiàn)代科研管理體制中,同行評(píng)議是最為重要的評(píng)估方法,在科學(xué)決策中扮演著不可替代的角色,同時(shí),它在科研領(lǐng)域也承擔(dān)著人員招聘、職稱(chēng)評(píng)定、論文評(píng)審等方面的決策機(jī)制作用,以及肩負(fù)著推進(jìn)整個(gè)科研領(lǐng)域技術(shù)水平提升的重任。從國(guó)際科研機(jī)構(gòu)的評(píng)價(jià)實(shí)踐及國(guó)內(nèi)外學(xué)者對(duì)同行評(píng)議的界定上看,同行評(píng)議是目前科技成果評(píng)估中主流的評(píng)估方法。它更多的是針對(duì)整體情況進(jìn)行診斷與評(píng)估,對(duì)專(zhuān)家的標(biāo)準(zhǔn)要求更高以及專(zhuān)家的類(lèi)型要求多樣化,同時(shí)在組織方式上以現(xiàn)場(chǎng)評(píng)估為主,而對(duì)評(píng)估結(jié)果的使用則是根據(jù)其評(píng)估目的來(lái)確定。同行評(píng)議也是一種有組織地用于評(píng)價(jià)科研工作的方法,由同行或多個(gè)領(lǐng)域?qū)＜夜餐瑩?dān)當(dāng)科技成果評(píng)價(jià)的仲裁者,根據(jù)評(píng)價(jià)指標(biāo)和原則作出主觀判斷,體現(xiàn)的是一種集體智慧。

同行評(píng)議在科研成果評(píng)估中被廣泛應(yīng)用并不意味著它是一個(gè)完美的評(píng)估方法。像所有的評(píng)估方法一樣,它也存在一些局限性。第一,同行評(píng)議在公開(kāi)性和公平性方面有所欠缺。同行評(píng)議方法的實(shí)施更多是依靠同行專(zhuān)家依據(jù)一定的評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行主觀性判定,在操作過(guò)程中難以避免人為造成的隨意性和個(gè)人偏好,因此,評(píng)估過(guò)程中就難以體現(xiàn)出更多的的公開(kāi)性和公平性。第二,在實(shí)踐中也暴露出同行評(píng)議具有主觀性的局限性。評(píng)議者個(gè)人的年齡、學(xué)識(shí)、知識(shí)背景與興趣等存在差異,就會(huì)造成不同的評(píng)審專(zhuān)家對(duì)同一科技成果的判定結(jié)果可能截然相反,且由于人情關(guān)系或利益沖突等原因,同行評(píng)議可能喪失評(píng)估結(jié)果的公正性。第三,同行評(píng)議的共識(shí)性本質(zhì)與前沿研究的非共識(shí)性特點(diǎn)之間存在根本性的沖突。②龔旭：《科學(xué)政策與同行評(píng)議》,浙江大學(xué)出版社2009年版,第235頁(yè)。同行評(píng)議專(zhuān)家往往認(rèn)可對(duì)已有知識(shí)體系的論證和研究的科研成果,而排斥有創(chuàng)新的新思想和觀點(diǎn)。因此,即使同行評(píng)議專(zhuān)家持有公正的態(tài)度,也因?yàn)橹R(shí)規(guī)范性、以往既定經(jīng)驗(yàn)和范式等原因?qū)萍汲晒脑u(píng)估結(jié)果造成偏差。

(二)同行評(píng)議方法的改進(jìn)

為了改進(jìn)同行評(píng)議中主觀隨意性的缺陷,增加量化的嚴(yán)謹(jǐn)與科學(xué)性,本文借鑒和吸收人力資源考核中行為等級(jí)錨定法(BARS)的精髓,在等級(jí)評(píng)定時(shí)基于關(guān)鍵特征進(jìn)行判斷,使主觀的量化基于成果特征證據(jù)的強(qiáng)弱。該方法對(duì)于同行評(píng)議等主觀判定方法的量化改進(jìn)有十分重要的借鑒意義。

行為等級(jí)錨定是由美國(guó)學(xué)者史密斯(P.C.Smith)和德?tīng)?L.Kendall)將傳統(tǒng)的“等級(jí)量表法”與“關(guān)鍵事件法”相結(jié)合而提出的。行為錨定等級(jí)法中的“行為”是指績(jī)效指標(biāo)以“行為”作為實(shí)現(xiàn)基礎(chǔ)；“錨定”是指針對(duì)每個(gè)績(jī)效指標(biāo)都設(shè)計(jì)出一個(gè)評(píng)價(jià)等級(jí)表。在這個(gè)表上,每個(gè)等級(jí)都會(huì)由工作中的某個(gè)關(guān)鍵事件的客觀描述來(lái)加以界定,所以我們形象的將其稱(chēng)為“錨定”。此考核方法將等級(jí)評(píng)價(jià)與關(guān)鍵事件有效地結(jié)合在一起,整合了兩種方法的優(yōu)勢(shì),使關(guān)鍵事件通過(guò)帶有限定功能的等級(jí)描述出來(lái),其等級(jí)包括針對(duì)特別優(yōu)秀的和特別劣等的行為的敘述。借鑒行為等級(jí)錨定法改進(jìn)同行評(píng)議的步驟如下：首先提煉表征被評(píng)估成果優(yōu)劣的關(guān)鍵特征,這一提煉過(guò)程通過(guò)對(duì)熟識(shí)該類(lèi)科技成果專(zhuān)家的訪(fǎng)談完成,在正式訪(fǎng)談之前進(jìn)行文獻(xiàn)分析,收集所有被評(píng)估的科技成果的特征要素,為訪(fǎng)談的主題和問(wèn)卷做好準(zhǔn)備,通過(guò)對(duì)專(zhuān)家訪(fǎng)談結(jié)果的處理,確定科技成果的等級(jí)與這些特征的對(duì)應(yīng),為了確保等級(jí)與關(guān)鍵特征對(duì)應(yīng)的有效性,需要請(qǐng)另一組專(zhuān)家在清楚各個(gè)等級(jí)的定義和關(guān)鍵特征的基礎(chǔ)上,重新分配這些關(guān)鍵特征,如果第二組專(zhuān)家與第一組專(zhuān)家分配的一致性達(dá)到了某特定百分比(通常為50% ～80%),那就保留這個(gè)關(guān)鍵特征。請(qǐng)專(zhuān)家為這些評(píng)定等級(jí)確定具體分值,從而確定與關(guān)鍵特征對(duì)應(yīng)的等級(jí)表。最后請(qǐng)同行專(zhuān)家對(duì)目標(biāo)科技成果的相應(yīng)方面進(jìn)行評(píng)定。表1以某氣象成果“推廣應(yīng)用”為例,給出同行專(zhuān)家評(píng)定表作為示例,表中四個(gè)等級(jí)特征的給定分別為 0-25、26-50、51-75 和 76-100 四個(gè)等級(jí),分?jǐn)?shù)越高,評(píng)價(jià)等級(jí)也就越高。

表1 某氣象產(chǎn)品推廣應(yīng)用情況同行評(píng)議表

通過(guò)評(píng)級(jí)等級(jí)“錨定”使得同行專(zhuān)家在對(duì)同一科技成果的“推廣應(yīng)用情況”判斷時(shí)結(jié)果具有一致性和準(zhǔn)確性。因?yàn)榈燃?jí)的判定標(biāo)準(zhǔn)是清晰的,同行專(zhuān)家很容易將被評(píng)估成果的“推廣應(yīng)用情況”錨定在四個(gè)等級(jí)的某一個(gè)上,等級(jí)的高低基于特征的描述,基于特征描述的證據(jù)使同行專(zhuān)家在評(píng)估時(shí)主觀隨意性被限定在某個(gè)范圍內(nèi)。例如,某個(gè)氣象科技成果,有足夠的證據(jù)證明它在全國(guó)氣象部門(mén)已經(jīng)推廣應(yīng)用,那么它相應(yīng)的分值應(yīng)該在76-100 之間,在此區(qū)間內(nèi),同行專(zhuān)家可以依據(jù)證據(jù)的強(qiáng)弱和多少酌情給定分值。需要指出的是,在應(yīng)用時(shí),提煉關(guān)鍵成果特征的專(zhuān)家是廣義上的專(zhuān)家,凡是熟識(shí)該科技成果的人都是所謂的專(zhuān)家,而參與同行評(píng)議的專(zhuān)家應(yīng)該是狹義上的專(zhuān)家,二者不是同一組專(zhuān)家；改進(jìn)的同行評(píng)議法的困難和關(guān)鍵是表征不同等級(jí)的科技成果關(guān)鍵特征的提煉。

為了使同行評(píng)議在科技成果評(píng)估中發(fā)揮更為重要的作用,在具體實(shí)施過(guò)程中還應(yīng)注意以下幾點(diǎn)：第一,注意專(zhuān)家選擇方式。遴選專(zhuān)家的過(guò)程中的常用方式是具體化和標(biāo)準(zhǔn)化,在專(zhuān)家選擇時(shí)應(yīng)注意選擇理念相同、公正敢言、視野開(kāi)闊、有很強(qiáng)科學(xué)判斷能力的內(nèi)外部專(zhuān)家。在具體分類(lèi)上可考慮戰(zhàn)略科學(xué)家、同行專(zhuān)家以及用戶(hù)專(zhuān)家等,針對(duì)不同類(lèi)型專(zhuān)家制定相應(yīng)的選擇標(biāo)準(zhǔn),使其更加具體化和可操作性。第二,對(duì)于科技成果評(píng)估結(jié)果的使用,要弱化其參與資源配置。如果科研成果評(píng)估結(jié)果與資源配置相關(guān),在操作中難以避免主觀評(píng)估的種種弊端,建議評(píng)估結(jié)果重在診斷和分析、評(píng)估,通過(guò)反饋的評(píng)估結(jié)果幫助發(fā)現(xiàn)問(wèn)題、分析問(wèn)題、統(tǒng)籌布局、把握方向,提高效率。通過(guò)評(píng)估活動(dòng)以及評(píng)估結(jié)果的應(yīng)用,可以促進(jìn)同行業(yè)專(zhuān)家與本領(lǐng)域的科研人員相互交流、營(yíng)造積極探索、不斷創(chuàng)新的科研氛圍。第三,評(píng)估過(guò)程中應(yīng)更加關(guān)注評(píng)估對(duì)象和內(nèi)容。使用同行評(píng)議方法進(jìn)行科研成果評(píng)估時(shí),應(yīng)針對(duì)不同評(píng)估對(duì)象選擇適用性的量化方法,在主觀評(píng)估中強(qiáng)化量化方法的使用,具體評(píng)估內(nèi)容應(yīng)聚焦在科技成果的技術(shù)先進(jìn)性、優(yōu)勢(shì)和核心競(jìng)爭(zhēng)力,以及在社會(huì)經(jīng)濟(jì)發(fā)展中的效益,因此,根據(jù)不同評(píng)估內(nèi)容有選擇地使用量化的方法以改進(jìn)和提升評(píng)估效果。