高?？蒲锌冃гu價(jià)方法比較

□文/馬世猛 時(shí) 偉 陳 敏

（石家莊學(xué)院 河北·石家莊）

目前，科學(xué)研究活動(dòng)已成為各個(gè)國家、地區(qū)、組織以及個(gè)人的重要活動(dòng)，對科研績效如何進(jìn)行評價(jià)則成為大家關(guān)心的問題。本文結(jié)合國內(nèi)外研究成果，對科研績效的評價(jià)方法進(jìn)行系統(tǒng)研究，探討各種方法的適用特點(diǎn)。

一、同行評議法

同行評議法，是通過同行業(yè)的專家進(jìn)行評價(jià)的定性的方法。它經(jīng)過不斷的發(fā)展和完善，已成為科研評價(jià)方法的主要方法之一。

（一）同行專家的選擇。在實(shí)際應(yīng)用時(shí)，最關(guān)鍵也最困難的一環(huán)是同行專家的選擇。隨著科學(xué)發(fā)展的深入和細(xì)化，科學(xué)研究的領(lǐng)域越來越專深，研究領(lǐng)域的劃分越來越細(xì)，真正的同行似乎越來越少；而另一方面，科學(xué)發(fā)展的綜合化趨勢也在加強(qiáng)，學(xué)科交叉和滲透越來越普遍。一項(xiàng)科學(xué)研究常常需要多學(xué)科的知識(shí)，要找出具有與研究課題相對應(yīng)的知識(shí)結(jié)構(gòu)的同行專家也很難。因此，在選擇同行專家時(shí)，應(yīng)考慮被評價(jià)對象所涉及的專業(yè)、研究領(lǐng)域等具體方面，要求同行專家人數(shù)要不低于五人，與被評價(jià)對象專業(yè)相同且研究領(lǐng)域相同或相近，在其科學(xué)技術(shù)領(lǐng)域和相關(guān)領(lǐng)域的研究發(fā)展態(tài)勢有相當(dāng)了解，對學(xué)科前沿有深刻的認(rèn)識(shí)，有較高的業(yè)務(wù)水平和思想素質(zhì)。

（二）同行專家評議形式與特點(diǎn)

1、通信評議。即評價(jià)機(jī)構(gòu)把評估材料通過信件或者網(wǎng)絡(luò)寄送給評議專家，專家獨(dú)立做出書面判斷，然后將評議意見反饋給評價(jià)機(jī)構(gòu)。其主要優(yōu)點(diǎn)是匿名性和保密性好，可以避免人情干擾；專家考慮時(shí)間充裕，意見表達(dá)充分，無從眾心理和權(quán)威主義的干擾；開支少，成本低。主要缺點(diǎn)是不能對所有申請對象作比較；無法與申請人和其他同行交流；回收率無法保證；評審周期長，不利于及時(shí)決策。因此，它適用于所有的科研項(xiàng)目評審，也適用于文獻(xiàn)形式的科研成果鑒定。

2、會(huì)議評議。即專家組評議，指評價(jià)機(jī)構(gòu)事先把相關(guān)材料寄送給評議專家，并請專家按指定的時(shí)間和地點(diǎn)參加專家評審會(huì)，通過討論和交流，形成集體評審意見。其主要優(yōu)點(diǎn)是專家意見可以得到充分交流和討論；同類的評議對象可以集中評議，效率高；必要時(shí)評議對象可以現(xiàn)場答辯和申訴；評審周期短，有利于及時(shí)決策。主要缺點(diǎn)是“從眾心理”和權(quán)威的壓力可能影響會(huì)議的民主；專家彼此見面，保密性相對減弱；評議費(fèi)用較高；有的專家可能不能在指定時(shí)間、地點(diǎn)出席，從而影響代表性。它較適用于項(xiàng)目的集中評審、重大項(xiàng)目和有爭議項(xiàng)目的評審。

3、調(diào)查評議。如果評價(jià)機(jī)構(gòu)組織專家到現(xiàn)場調(diào)查、了解，然后給出評價(jià)意見。其主要優(yōu)點(diǎn)是可以實(shí)地調(diào)查、現(xiàn)場評議，客觀性強(qiáng)；主要缺點(diǎn)是需要花費(fèi)較多時(shí)間和費(fèi)用，成本較高。它適用于研究機(jī)構(gòu)的評估和資金投入較大的重大研究項(xiàng)目的評審。

4、組合評議。就是根據(jù)評價(jià)工作的需要，將上述三種方法中的某幾種組合起來進(jìn)行評價(jià)的方法。

二、德爾菲法

德爾菲法是評價(jià)機(jī)構(gòu)針對特定問題，采用專家匿名發(fā)表意見的方式，專家之間不得互相討論，不發(fā)生橫向聯(lián)系，只能與調(diào)查人員發(fā)生關(guān)系，通過多輪次調(diào)查專家對問卷所提問題的看法，經(jīng)過反復(fù)征詢、反饋、修改和歸納，最后匯總成專家基本一致的看法，作為專家調(diào)查的結(jié)果。它作為一種主觀、定性的方法，可以有效地消除成員間的相互影響，可以充分發(fā)揮專家們的智慧、知識(shí)和經(jīng)驗(yàn)，在科研評價(jià)以及各種評價(jià)指標(biāo)體系指標(biāo)權(quán)重的設(shè)置等工作中有廣泛的應(yīng)用。

（一）德爾菲法問卷設(shè)計(jì)。在第一輪調(diào)查開始時(shí)，設(shè)計(jì)專家調(diào)查表是一件非常重要的事情。專家調(diào)查表設(shè)計(jì)的好壞，直接關(guān)系著調(diào)查結(jié)果的優(yōu)劣。在制定調(diào)查表時(shí)，應(yīng)該注意以下幾點(diǎn)：1、對德爾菲法做出簡要說明。在調(diào)查表的前面，應(yīng)該簡要說明調(diào)查背景和目的、專家在調(diào)查中所起的作用，以便使專家全面了解情況。此外，對德爾菲法的程序和規(guī)則也應(yīng)作簡要說明；2、背景材料要全面而精煉。背景材料一般多是客觀事實(shí)，且應(yīng)該與問題及目標(biāo)密切相關(guān)，以有利于專家做出判斷；3、問題要有針對性，要由淺入深，從易到難，使專家容易接受；4、每個(gè)句子所含的問題要單一，避免組合問題；5、用詞要確切。所列問題應(yīng)該明確，含義不能模糊；6、調(diào)查表要簡潔明了。調(diào)查表應(yīng)有助于專家迅速理解問題，做出評價(jià)；7、問題數(shù)量不應(yīng)該太多。如果對問題只要求做出簡單回答，問題的數(shù)量可適當(dāng)多些；如果問題比較復(fù)雜，則數(shù)量可以少些。一般認(rèn)為，問題的數(shù)量上限以25個(gè)為宜。

（二）德爾菲法的數(shù)據(jù)處理。德爾菲法用于科研評價(jià)一般是請專家對不同指標(biāo)或者研究項(xiàng)目確定權(quán)重或者等級，相應(yīng)的量化方法也可以分為兩種：一種是量化打分，一種是等級打分。在對不同專家的數(shù)據(jù)進(jìn)行處理時(shí)，如果組織者對專家情況較為了解，可以根據(jù)專家對評價(jià)對象的了解情況對不同專家的數(shù)據(jù)人工確定不同權(quán)重；也可以在發(fā)送問卷的同時(shí)發(fā)送專家調(diào)查表，根據(jù)返回的信息確定權(quán)重；也可以對所有專家采取相同權(quán)重。調(diào)查問卷回收后常常需要用統(tǒng)計(jì)方法對專家的打分結(jié)果進(jìn)行處理。一般來說，用來總結(jié)和描述專家意見的常用統(tǒng)計(jì)量有秩和、均值、眾數(shù)、中位數(shù)、上四分位數(shù)和下四分位數(shù)等。

（三）德爾菲法的適用范圍。由于德爾菲法具有集思廣益，發(fā)揮專家優(yōu)點(diǎn)，使專家既可吸取其他專家的意見，進(jìn)行修正，又不受權(quán)威影響，結(jié)果宜合理。同時(shí)，德爾菲法的主要缺點(diǎn)是過程比較復(fù)雜，征詢意見的時(shí)間較長。因此，德爾菲法更適合周期較長的大型評價(jià)項(xiàng)目的咨詢，而很難滿足一些評價(jià)周期較短、需要較快得出判斷結(jié)論的科研評價(jià)活動(dòng)的要求。

三、文獻(xiàn)計(jì)量法

文獻(xiàn)計(jì)量方法是指利用出版物、專利、引文等科技績效指標(biāo)進(jìn)行科研評價(jià)的一種定量評價(jià)方法，主要包括論文、著作、學(xué)術(shù)報(bào)告、引文、課題、專利等。其中，論文和引文是較為常用的計(jì)量指標(biāo)，這兩項(xiàng)指標(biāo)易于統(tǒng)計(jì)和核實(shí)，因而受到了研究者和科研管理部門的普遍青睞。論文和引文指標(biāo)分析的常用數(shù)據(jù)源是：美國科學(xué)信息研究所的科學(xué)引文索引（SCI）數(shù)據(jù)庫、社會(huì)科學(xué)引文索引（SSCI）數(shù)據(jù)庫、科技會(huì)議錄索引（ISTP）數(shù)據(jù)庫與科學(xué)評論索引（ISR）。SCI主要針對基礎(chǔ)科學(xué)；SSCI主要針對不同國家和地區(qū)的社會(huì)科學(xué)期刊和論文；ISTP主要針對的是國際會(huì)議論文。美國工程信息公司的工程引文索引（EI）數(shù)據(jù)庫，主要針對的是機(jī)械、制造、土木、冶金、材料等工程技術(shù)領(lǐng)域。ISR主要針對的是綜述評論方面的論文。

我國國內(nèi)論文和引文的常用統(tǒng)計(jì)源有中國科技信息研究所研制的“中國科技論文統(tǒng)計(jì)與引文分析數(shù)據(jù)庫”（CSTPC）、中國科學(xué)院文獻(xiàn)情報(bào)中心的中國科學(xué)引文數(shù)據(jù)庫（CSCD）、南京大學(xué)的中國社會(huì)科學(xué)引文索引（CSSCI）和中國社會(huì)科學(xué)院文獻(xiàn)情報(bào)中心研制的中國人文社會(huì)科學(xué)引文數(shù)據(jù)庫等。

在科研績效評價(jià)中，對文獻(xiàn)計(jì)量指標(biāo)的量化分析也是非常重要的，一些常用計(jì)量指標(biāo)有：1、引文量：指引用文獻(xiàn)所擁有的被引文獻(xiàn)的數(shù)量。它是研究文獻(xiàn)被利用的程度和廣度的重要參量；2、被引頻次：指特定文獻(xiàn)或者某評價(jià)對象（可以是科研人員、學(xué)術(shù)期刊、研究機(jī)構(gòu)甚至特定地區(qū)和國家）所生產(chǎn)的文獻(xiàn)在某一時(shí)間段的被引次數(shù)；3、即年指標(biāo)：是指文章發(fā)表當(dāng)年期刊的平均被引用數(shù)。它是衡量一種期刊被其他期刊引用速度的指標(biāo)；4、影響因子：是一種期刊論文的平均被引率；5、學(xué)科影響因子：學(xué)科影響因子與影響因子的計(jì)算方法類似，不同的是，影響因子是測度某一給定期刊中論文的平均被引次數(shù)，而學(xué)科影響因子則是測度某刊中論文被某一學(xué)科的核心期刊所引用的平均次數(shù)。

雖然文獻(xiàn)計(jì)量指標(biāo)的確可以用于科研評價(jià)的各個(gè)層次，但在不同層次、不同目的的評價(jià)中，對文獻(xiàn)計(jì)量指標(biāo)的使用方式應(yīng)該是有嚴(yán)格區(qū)分的。具體說來，在國家、地區(qū)科研狀況評估等宏觀評價(jià)活動(dòng)中，文獻(xiàn)計(jì)量指標(biāo)和方法可以作為主要的評價(jià)手段，并輔之以專家的定性分析；在諸如科研人員評價(jià)等微觀評價(jià)中，文獻(xiàn)計(jì)量指標(biāo)和方法則只能作為輔助手段，而應(yīng)該以同行評議為主。

四、綜合評價(jià)法

綜合評價(jià)法又稱系統(tǒng)評價(jià)法，是將評價(jià)對象看作一個(gè)系統(tǒng)，對該對象的屬性的多個(gè)指標(biāo)進(jìn)行評價(jià)，從而得出該評價(jià)對象的整體結(jié)果。在科研績效評價(jià)中，由于評價(jià)對象的復(fù)雜性，層面的多樣性，單一的指標(biāo)很難體現(xiàn)評價(jià)對象的整體情況，因此綜合評價(jià)法更有其優(yōu)勢。

（一）層次分析法。它是把一個(gè)復(fù)雜問題分解成若干組成因素，并按支配關(guān)系形成層次結(jié)構(gòu)，然后應(yīng)用兩兩比較的方法確定各因素（包括指標(biāo)和方案）的相對重要性，然后計(jì)算各因素的權(quán)重，并以此為基礎(chǔ)實(shí)現(xiàn)對不同決策方案的排序。層次分析法簡便、靈活而又實(shí)用，是一種系統(tǒng)化、層次化的分析方法，它為復(fù)雜評價(jià)問題的決策和排序提供了一種簡潔實(shí)用的建模方法。

（二）模糊評價(jià)法。它是通過建立隸屬函數(shù)、模糊關(guān)系矩陣，可以較好地解決系統(tǒng)評價(jià)中由于對象概念本身不夠清晰引起的模糊性問題（如事物類屬間的不清晰性，評價(jià)專家認(rèn)識(shí)上的模糊性等），是對涉及模糊因素的對象進(jìn)行系統(tǒng)評價(jià)的有力工具。它的基本思想是：應(yīng)用模糊關(guān)系合成的原理，根據(jù)多個(gè)因素對被評價(jià)對象本身存在的性態(tài)或類屬上的亦此亦彼性，從數(shù)量上對其所屬程度給予刻畫和描述。該方法適用于樣本數(shù)據(jù)中含大量模糊指標(biāo)的現(xiàn)象的評價(jià)，不足之處是評價(jià)過程本身不能解決評價(jià)指標(biāo)間相關(guān)造成的評價(jià)信息重復(fù)問題。

（三）主成分分析法。它是利用多元統(tǒng)計(jì)分析及線性代數(shù)的知識(shí)，把多指標(biāo)轉(zhuǎn)化為少數(shù)幾個(gè)綜合指標(biāo)的一種數(shù)理統(tǒng)計(jì)方法。其基本思想是用少數(shù)幾個(gè)彼此不相關(guān)的新指標(biāo)代替原來為數(shù)較多的彼此有一定相關(guān)關(guān)系的指標(biāo)。同時(shí)又盡可能多地反映原來指標(biāo)的信息量。作為一種定量分析方法，主成分分析克服了專家評價(jià)法、層次分析法等定性方法因受到人為因素的影響，夸大或降低某些指標(biāo)的作用的弊端；消除評價(jià)指標(biāo)之間的相關(guān)性；減少指標(biāo)選擇的工作量；采用信息量權(quán)數(shù)，有助于客觀地反映樣本間的現(xiàn)實(shí)關(guān)系。但由于同一被評價(jià)對象在不同樣本集合中的均值和離散程度不同，所以這種方法綜合評價(jià)結(jié)果不穩(wěn)定。

（四）數(shù)據(jù)包絡(luò)分析法。它是一種進(jìn)行多目標(biāo)決策的系統(tǒng)分析方法，特別適用于多輸入多輸出的復(fù)雜系統(tǒng)。DEA方法以相對效率概念為基礎(chǔ)，以凸分析和線形規(guī)劃為工具的一種評價(jià)方法，應(yīng)用數(shù)學(xué)規(guī)劃模型計(jì)算、比較決策單元之間的相對效率，對評價(jià)對象做出評價(jià)，它能充分考慮對于決策單元本身最優(yōu)的投入產(chǎn)出方案，因而能夠更理想地反映評價(jià)對象自身的信息和特點(diǎn)；同時(shí)對于評價(jià)復(fù)雜系統(tǒng)的多投入多產(chǎn)出分析具有獨(dú)到之處，適用于多輸出-多輸入的有效性綜合評價(jià)問題，在處理多輸出-多輸入的有效性評價(jià)方面具有絕對優(yōu)勢。DEA方法并不直接對數(shù)據(jù)進(jìn)行綜合評價(jià)，因此決策單元的最優(yōu)效率指標(biāo)與投入指標(biāo)值及產(chǎn)出指標(biāo)值的量綱選取無關(guān)，應(yīng)用DEA方法建立模型前無須對數(shù)據(jù)進(jìn)行無量綱化處理。

［1］張蕾.高?？蒲锌冃гu價(jià)方法研究與開發(fā).南京理工大學(xué)，2010.

［2］劉莉.歐洲各國大學(xué)科研評價(jià)及其啟示.高教管理，2005.

［3］陳敬全.科研評價(jià)方法與實(shí)證研究.武漢大學(xué)博士學(xué)位論文，2004.