科研項(xiàng)目學(xué)術(shù)質(zhì)量評(píng)價(jià)關(guān)鍵問題研究

宋歌 孫建軍

摘 要：為進(jìn)一步提高科研基金績效，激發(fā)我國科研創(chuàng)新力，應(yīng)推進(jìn)科研項(xiàng)目學(xué)術(shù)質(zhì)量評(píng)價(jià)。文章通過解析科研項(xiàng)目評(píng)價(jià)實(shí)踐與研究中面臨的關(guān)鍵問題。包括科研項(xiàng)目評(píng)價(jià)指標(biāo)體系設(shè)計(jì)的復(fù)雜性、科研項(xiàng)目社會(huì)效益的滯后性和非顯性以及交叉學(xué)科科研項(xiàng)目評(píng)價(jià)的困境。認(rèn)為優(yōu)化專家遴選機(jī)制，實(shí)行小同行評(píng)審，建立評(píng)價(jià)指標(biāo)事實(shí)數(shù)據(jù)庫，采用新的評(píng)價(jià)指標(biāo)揭示非顯效益，確立交叉學(xué)科評(píng)審組的建立機(jī)制可以解決上述問題，并從方法上給出了解決路徑。

關(guān)鍵詞：科研項(xiàng)目評(píng)價(jià)；學(xué)術(shù)質(zhì)量評(píng)價(jià)；評(píng)價(jià)體系

中圖分類號(hào)： G304 文獻(xiàn)標(biāo)識(shí)碼： A DOI：10.11968/tsyqb.1003-6938.2016101

Abstract In order to improve the performance of Science Fund and further stimulate the innovation of scientific research in our country， the evaluation of academic quality of scientific research projects should be promoted. Its key problems have been analyzed， including the complexity of the design of the evaluation index system， the difficulty of the lagging and the non-dominant of social benefits and interdisciplinary research project evaluation. It is believed that these problems can be solved through the optimization expert selection mechanism， implementation of peer review， the establishment of facts database of evaluation indexes， revealing non-significant benefits by using the new evaluation index， establishment mechanisms of interdisciplinary review group.

Key words research project evaluation； academic quality evaluation； evaluation system

1 緒論

近年來，隨著科研經(jīng)費(fèi)投入的大幅增加，人們越來越關(guān)注科研產(chǎn)出及其質(zhì)量。如何對(duì)這些科研項(xiàng)目進(jìn)行學(xué)術(shù)質(zhì)量評(píng)價(jià)，以便調(diào)整資助策略，提高科研基金的績效，同時(shí)為科技創(chuàng)新提供適宜的發(fā)展環(huán)境，協(xié)助達(dá)成國家規(guī)劃及戰(zhàn)略目標(biāo)，已成為科研管理中亟待解決的問題。

自然科學(xué)基金委員會(huì)管理科學(xué)部早在1998年就開始對(duì)1992年以后資助的管理科學(xué)面上結(jié)題項(xiàng)目進(jìn)行“后評(píng)估”[1]，以此了解基金項(xiàng)目研究進(jìn)展，掌握資助效果。而我國自然科學(xué)基金委員會(huì)于2010年開展的國際評(píng)估[2]，即對(duì)自然科學(xué)基金資助與管理績效進(jìn)行評(píng)價(jià)，開創(chuàng)了我國基金整體績效評(píng)估的先河。然而，與發(fā)達(dá)國家相比，我國國家科學(xué)基金績效評(píng)估的建立均起步較晚，還處于由探索向規(guī)范過渡的階段[3]。

當(dāng)前，通過對(duì)我國和歐美日等國實(shí)踐經(jīng)驗(yàn)的總結(jié)與借鑒，學(xué)術(shù)界和科研管理部門對(duì)科研項(xiàng)目評(píng)價(jià)中存在的問題和改進(jìn)路徑已經(jīng)逐漸達(dá)成共識(shí)。普遍認(rèn)為質(zhì)量評(píng)價(jià)應(yīng)采取定性的同行評(píng)審和定量的指標(biāo)評(píng)價(jià)相結(jié)合的多元評(píng)價(jià)方式[4]；不斷完善、及時(shí)更新同行評(píng)審專家?guī)焓墙⒃u(píng)價(jià)體系的重要工作；開展國際評(píng)審；評(píng)價(jià)不應(yīng)過于關(guān)注成果數(shù)量，而要著重考慮其創(chuàng)新性與影響力；對(duì)于不同類型的科學(xué)研究，應(yīng)選擇與之相適應(yīng)的評(píng)價(jià)指標(biāo)；基礎(chǔ)研究周期長、意義大、見效慢，應(yīng)探索更為有效的評(píng)價(jià)方式；對(duì)于應(yīng)用研究，應(yīng)重視發(fā)明專利、成果的應(yīng)用推廣及其創(chuàng)造的經(jīng)濟(jì)價(jià)值等[5]。

然而，如何實(shí)現(xiàn)以上設(shè)想，成為當(dāng)前面臨的緊要問題或改進(jìn)評(píng)價(jià)體系的瓶頸[6]。有關(guān)研究不是停留在定性探討和提出建議的層面，就是陷入具體指標(biāo)的構(gòu)造與改進(jìn)等細(xì)節(jié)研究，或建立一個(gè)較為籠統(tǒng)的評(píng)價(jià)體系的階段，缺乏對(duì)于建立評(píng)價(jià)體系操作層面的研究。本文詳細(xì)分析了建立科研項(xiàng)目學(xué)術(shù)質(zhì)量評(píng)價(jià)體系所面臨的關(guān)鍵問題，并給出解決路徑。

2 科研項(xiàng)目學(xué)術(shù)質(zhì)量評(píng)價(jià)面臨的關(guān)鍵問題

2.1 評(píng)價(jià)指標(biāo)體系設(shè)計(jì)的復(fù)雜性

科研項(xiàng)目的質(zhì)量要素非常復(fù)雜，其評(píng)價(jià)不能僅依靠單一的文獻(xiàn)計(jì)量指標(biāo)，還要考慮成果轉(zhuǎn)化和應(yīng)用價(jià)值。因此，科研項(xiàng)目質(zhì)量評(píng)價(jià)需要建立一個(gè)基于多類型產(chǎn)出的綜合評(píng)價(jià)體系。論文、圖書和專利都有專門的公開發(fā)行渠道。學(xué)術(shù)論文是經(jīng)同行評(píng)審的公開出版物，對(duì)內(nèi)容的獨(dú)創(chuàng)性有嚴(yán)格的要求。專利是科技活動(dòng)中創(chuàng)新部分和成功經(jīng)驗(yàn)的提煉。而優(yōu)秀的出版社對(duì)于學(xué)術(shù)專著的出版也是嚴(yán)格把關(guān)的。圖書銷售量以及一些數(shù)據(jù)庫包含的圖書被引情況，其數(shù)據(jù)也可以用于評(píng)價(jià)。專利和軟件的價(jià)值可以用經(jīng)濟(jì)收益來衡量?？傊瑢?duì)特定類型的科研成果進(jìn)行學(xué)術(shù)評(píng)價(jià)都有章可循，其研究和實(shí)踐也比較豐富，尤其是對(duì)于期刊論文的評(píng)價(jià)已經(jīng)較為成熟。但是如何將一個(gè)科研項(xiàng)目中不同類型成果的評(píng)價(jià)結(jié)果進(jìn)行適當(dāng)加權(quán)，形成可在相同學(xué)科領(lǐng)域中進(jìn)行比較的標(biāo)準(zhǔn)化指標(biāo)是該評(píng)價(jià)體系需要著重考慮的問題。

權(quán)值分配的復(fù)雜性在于兩個(gè)方面。一是，不同的學(xué)科門類，其項(xiàng)目成果類型之間的比重不同。有的學(xué)科看重高質(zhì)量論文的發(fā)表，而在另一些學(xué)科，更看重發(fā)明專利。那么，在這兩個(gè)學(xué)科中，論文與專利的權(quán)值分配應(yīng)該不同。如在信息科學(xué)部評(píng)估中占有相當(dāng)分量的“發(fā)明專利”指標(biāo)，在管理科學(xué)部評(píng)估中則沒有采用；二是同一種成果類型也存在設(shè)定權(quán)值的問題。如會(huì)議論文與期刊論文、SCI論文與EI論文均不能等同，且在不同的學(xué)科，它們的相對(duì)重要性也不相同。因此，無法統(tǒng)一設(shè)定不同成果類型之間的權(quán)值，必須根據(jù)每個(gè)學(xué)科領(lǐng)域的具體情況而定。

2.2 項(xiàng)目成果社會(huì)效益的滯后性和非顯性

全國科學(xué)技術(shù)名詞審定委員會(huì)認(rèn)為，社會(huì)效益是指一項(xiàng)工程對(duì)就業(yè)、增加收入、提高生活水平等社會(huì)福利方面所做各種貢獻(xiàn)的總稱。而科研項(xiàng)目的社會(huì)效益是指科研項(xiàng)目成果對(duì)社會(huì)有良好的影響，能夠推動(dòng)科技進(jìn)步，為國家創(chuàng)造更多的財(cái)富。有些科研項(xiàng)目成果單從經(jīng)濟(jì)角度看收益很小，甚至得不償失，但它對(duì)人類社會(huì)發(fā)展和進(jìn)步、精神文明建設(shè)等起著至關(guān)重要的作用。這類科研項(xiàng)目應(yīng)該得到國家和社會(huì)的大力支持。

科研項(xiàng)目的社會(huì)效益具有兩個(gè)基本特征：滯后性與非顯性。滯后性是指項(xiàng)目成果的社會(huì)效益需要一段時(shí)間后才能顯示出來；非顯性是指項(xiàng)目成果的社會(huì)效益并不能直接顯示出來，其效益有時(shí)是通過被研究者消化吸收后產(chǎn)生新的科學(xué)技術(shù)。這兩個(gè)特征在不同程度上影響了科研項(xiàng)目評(píng)價(jià)的客觀性。但是如果過多考慮社會(huì)效益的滯后性，延長結(jié)項(xiàng)與學(xué)術(shù)質(zhì)量評(píng)價(jià)之間的時(shí)間，則降低了項(xiàng)目管理的時(shí)效性。而對(duì)于科研項(xiàng)目社會(huì)效益非顯性價(jià)值的測度還是一項(xiàng)空白。

2.3 交叉學(xué)科項(xiàng)目評(píng)價(jià)的局限性

交叉學(xué)科研究對(duì)于科學(xué)研究來說特別重要，因?yàn)樾聦W(xué)科或研究領(lǐng)域往往產(chǎn)生于現(xiàn)有學(xué)科交叉重疊的部分，而學(xué)科交叉對(duì)于解決現(xiàn)實(shí)社會(huì)問題常常是必需的?？茖W(xué)基金已經(jīng)成功資助了大量的交叉學(xué)科研究，培育了交叉學(xué)科研究團(tuán)隊(duì)和平臺(tái)。如于1986年設(shè)立的科學(xué)基金重大項(xiàng)目，資助瞄準(zhǔn)國家優(yōu)先領(lǐng)域的大型研究項(xiàng)目；于2000年設(shè)立的重大研究計(jì)劃，資助多種項(xiàng)目類型，其中很多由研究者自由選題。這兩類資助通常都由多個(gè)科學(xué)部共同支持，許多是由4～5個(gè)科學(xué)部共同資助的。

然而，對(duì)于交叉學(xué)科項(xiàng)目的申報(bào)與評(píng)價(jià)一直令科研人員和項(xiàng)目管理部門困擾。雖然科學(xué)基金使用的學(xué)科分類代碼體系自1986年來經(jīng)過了5次較大調(diào)整，但是調(diào)查顯示[3]，仍然有三分之一的面上項(xiàng)目負(fù)責(zé)人表示并非一直可以找到合適的學(xué)科代碼，只是“有時(shí)”可以找到，而青年科學(xué)基金項(xiàng)目負(fù)責(zé)人認(rèn)為找到適合的代碼更為困難。不僅項(xiàng)目申請時(shí)如此，項(xiàng)目結(jié)題鑒定時(shí)也遇到同樣的問題。如何針對(duì)各個(gè)交叉學(xué)科項(xiàng)目所涉及的學(xué)科領(lǐng)域，組建專門的評(píng)審組并有效工作，是所有研究理事會(huì)都要面對(duì)的問題?；鹞藛T和申請人都表示交叉學(xué)科的研究實(shí)際上很難獲得同行評(píng)議的共識(shí)。

3 科研項(xiàng)目學(xué)術(shù)質(zhì)量評(píng)價(jià)關(guān)鍵問題解決路徑

3.1 實(shí)行小同行評(píng)審，優(yōu)化專家遴選機(jī)制

“選擇適當(dāng)?shù)脑u(píng)價(jià)者是評(píng)價(jià)能否合理最基本、最重要的前提條件?！盵7]小同行由于是同一領(lǐng)域的研究者，熟知該領(lǐng)域的學(xué)科發(fā)展概況和學(xué)術(shù)思想，并且遵循同一套研究范式，因此他們比外行人更清楚某人或某成果在學(xué)術(shù)上所達(dá)到的高度以及應(yīng)用前景[8]。某個(gè)學(xué)科門類或?qū)W科內(nèi)部的不同研究領(lǐng)域各有側(cè)重，其成果形式和內(nèi)容也不一樣。由某一研究領(lǐng)域的小同行確定該領(lǐng)域科研項(xiàng)目中不同類型成果產(chǎn)出的權(quán)重，并對(duì)科研項(xiàng)目的學(xué)術(shù)質(zhì)量進(jìn)行綜合評(píng)價(jià)是最為合適的。

美國已經(jīng)正式將同行評(píng)審綱領(lǐng)作為一項(xiàng)國家信息法令加以頒布。美國科技報(bào)告審查和基金評(píng)審采取的就是“大學(xué)科，小同行”的方式。其國家科學(xué)基金會(huì)（NSF）將科技領(lǐng)域分為6大學(xué)科門類，對(duì)基金項(xiàng)目的內(nèi)容評(píng)審基本是由相關(guān)度很高的“小同行”具體執(zhí)行的。目前，我國評(píng)審的實(shí)質(zhì)是大同行背景下的學(xué)者聲望機(jī)制，還未真正實(shí)現(xiàn)小同行評(píng)審。其弊端顯而易見：其一，評(píng)審組內(nèi)大多是學(xué)科領(lǐng)域的大同行，其知識(shí)結(jié)構(gòu)和研究經(jīng)驗(yàn)限制了他們在學(xué)術(shù)評(píng)價(jià)中的作用，其評(píng)價(jià)難以客觀、準(zhǔn)確；其二，評(píng)審專家往往比較固定，缺少退出和進(jìn)入機(jī)制，自我更新緩慢，使得評(píng)審組的整體氣質(zhì)較為保守，不易接納新興研究領(lǐng)域和超前創(chuàng)新成果。

實(shí)行小同行評(píng)審就需要優(yōu)化專家遴選機(jī)制。目前，國家基金委是基于學(xué)者的注冊信息來確定其學(xué)科領(lǐng)域的。此種方法不但高效、快捷而且成本低。但是也有其不足之處。一方面，專家學(xué)者的研究領(lǐng)域不是固定的，可能會(huì)隨著人事變動(dòng)、興趣轉(zhuǎn)移等情況而發(fā)生漂移，而學(xué)者的注冊信息很可能不會(huì)及時(shí)更新或更新滯后；另一方面，沒有合適的退出和進(jìn)入標(biāo)準(zhǔn)。因此，小同行專家的遴選除了依靠自我登記的方式，還需要有基于科學(xué)大數(shù)據(jù)的推薦系統(tǒng)作為補(bǔ)充和校正。利用科研成果形成的大數(shù)據(jù)，對(duì)其進(jìn)行挖掘，可視化每個(gè)學(xué)科大類中的科學(xué)共同體，根據(jù)專家遴選工作的實(shí)際需求調(diào)整焦距與視域，確定小同行，標(biāo)識(shí)領(lǐng)域標(biāo)簽，并定時(shí)截取科學(xué)發(fā)展的演化圖譜，更新小同行成員及領(lǐng)域標(biāo)簽。這樣，既能實(shí)現(xiàn)小同行專家的準(zhǔn)確推薦，也能為小同行的退出與進(jìn)入提供依據(jù)。這一過程的實(shí)現(xiàn)，可以通過自建遴選推薦系統(tǒng)，也可以通過利用一些成熟的數(shù)據(jù)挖掘軟件達(dá)成。

3.2 確立交叉學(xué)科評(píng)審組的組建機(jī)制

3.2.1 允許項(xiàng)目負(fù)責(zé)人推薦國際評(píng)審專家

對(duì)于非共識(shí)項(xiàng)目，項(xiàng)目負(fù)責(zé)人最清楚誰是這個(gè)領(lǐng)域的小同行。因此，應(yīng)允許項(xiàng)目負(fù)責(zé)人自行推薦評(píng)審專家，并且可推薦國際同行，以擴(kuò)大特殊領(lǐng)域的專家選取范圍。從英美兩國對(duì)國家科學(xué)基金評(píng)審專家的選取中也可以看出，評(píng)審委員會(huì)中有一定數(shù)量的國外專家參與是其評(píng)價(jià)制度的成功經(jīng)驗(yàn)之一[9-10]。其過程可參考?xì)W美近年來對(duì)國際同行評(píng)審改進(jìn)的經(jīng)驗(yàn)[11]，即要求項(xiàng)目負(fù)責(zé)人提供包含多名評(píng)審專家的候選名單，再由科研管理部門商議，從中選出若干名加入到該評(píng)審組中，且選取結(jié)果保密。其中需要注意的是，除了項(xiàng)目負(fù)責(zé)人推薦的專家，該評(píng)審組中占大多數(shù)的專家應(yīng)由管理部門選取。如此，既能確保評(píng)審組中有合適的評(píng)審專家，也可避免項(xiàng)目負(fù)責(zé)人利用自薦機(jī)制作弊。

3.2.2 增加跨領(lǐng)域評(píng)審專家的遴選

可以利用學(xué)術(shù)交流網(wǎng)絡(luò)遴選跨領(lǐng)域評(píng)審專家，包括引文網(wǎng)絡(luò)、科研合作網(wǎng)、關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)等。（1）引文網(wǎng)絡(luò)記錄科學(xué)發(fā)展的軌跡，它不僅體現(xiàn)科學(xué)知識(shí)縱向上的積累與繼承，也揭示不同學(xué)科領(lǐng)域之間橫向上的交叉與滲透。因此，該網(wǎng)絡(luò)可以確切地反應(yīng)科研工作者在科學(xué)知識(shí)地圖中占據(jù)的“橋接”位置；（2）科研合作網(wǎng)直接呈現(xiàn)不同研究機(jī)構(gòu)或不同研究領(lǐng)域的合作，以及合作的規(guī)模與影響力；（3）關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)可及時(shí)定位新近涌現(xiàn)出的研究領(lǐng)域與學(xué)者?？衫闷渲幸环N或融合幾種網(wǎng)絡(luò)進(jìn)行測度。

跨領(lǐng)域評(píng)審專家的篩選過程如下：首先，建立學(xué)術(shù)交流網(wǎng)絡(luò)。以引文網(wǎng)絡(luò)為例，建立以作者為節(jié)點(diǎn)的同被引網(wǎng)絡(luò)、作者耦合網(wǎng)絡(luò)或作者互引網(wǎng)絡(luò)；其次，利用網(wǎng)絡(luò)理論與方法的中介性指標(biāo)進(jìn)行測度，得出跨領(lǐng)域?qū)＜?；最后，?dāng)需要組建交叉學(xué)科評(píng)審組時(shí)，可先選取項(xiàng)目所涉學(xué)科中的各領(lǐng)域?qū)＜?，再從跨領(lǐng)域評(píng)審專家?guī)熘羞x取對(duì)應(yīng)的跨領(lǐng)域?qū)＜?。在交叉學(xué)科評(píng)審組中，跨領(lǐng)域?qū)＜也坏窃擁?xiàng)目的小同行，而且能夠在評(píng)審組各領(lǐng)域?qū)＜抑衅鸬街R(shí)橋梁作用，促進(jìn)評(píng)審組對(duì)交叉學(xué)科項(xiàng)目的客觀評(píng)價(jià)。

節(jié)點(diǎn)中介性指標(biāo)可選擇中介中心度（betweenness）[12]和媒介角色系數(shù)（Brokerage Roles）[13]。中介中心度用于測量一個(gè)節(jié)點(diǎn)在多大程度上位于網(wǎng)絡(luò)中其他節(jié)點(diǎn)的“中間”。中介中心度高的節(jié)點(diǎn)位于網(wǎng)絡(luò)中不同信息流的交路上，對(duì)異質(zhì)資源起到了重要的中介作用，非常適用于識(shí)別跨領(lǐng)域?qū)＜?。媒介角色系?shù)是基于橋理論發(fā)展起來的。所謂橋（bridge）是指連接那些不相連接的行動(dòng)者的結(jié)構(gòu)性位置。媒介角色根據(jù)橋連結(jié)派系的情況，將代理行為分為5類。有協(xié)調(diào)同一子群中信息流的“協(xié)調(diào)人”（coordinator）和“橋接人”（itinerant broker），也有協(xié)調(diào)不同子群間成員信息交流的“發(fā)言人”（representative）、“守門人”（gatekeeper）和“聯(lián)絡(luò)人”（liaison）。后三種角色是在測度節(jié)點(diǎn)中介性時(shí)需要考察的。發(fā)言人控制本子群信息流，與其他子群交流信息；守門人控制群外信息的流入；而聯(lián)絡(luò)人則協(xié)調(diào)不同子群成員的信息交換，其本身不屬于其中任何一個(gè)子群。其算法原理很簡單，計(jì)算網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)分別“扮演”這幾種角色的頻數(shù)[14]。

中介中心度指標(biāo)偏向于測度節(jié)點(diǎn)控制不同信息流的總量，媒介角色系數(shù)更注重區(qū)分中介的類型。二者在應(yīng)用中均需先借助因子分析等方法對(duì)網(wǎng)絡(luò)中的研究領(lǐng)域分群，以便確定跨領(lǐng)域?qū)＜宜婕暗膶W(xué)科。

3.3 建立評(píng)價(jià)指標(biāo)事實(shí)數(shù)據(jù)庫

由于科研項(xiàng)目的社會(huì)效益存在滯后性，很多時(shí)候，項(xiàng)目結(jié)題時(shí)所提交的結(jié)題驗(yàn)收報(bào)告并不一定能夠完全反映科研成果的質(zhì)量。這意味著，在科研項(xiàng)目結(jié)題時(shí)進(jìn)行的績效評(píng)價(jià)也并不一定準(zhǔn)確和客觀。在這種情況下，如果在結(jié)題驗(yàn)收時(shí)評(píng)出“特優(yōu)”、“優(yōu)”、“良”、“中”、“差”等級(jí)，而此后很難更改的話，顯然彈性不足，很容易在客觀上導(dǎo)致科研人員鼠目寸光、疲于奔命。鑒于此，馬健[15]提出建立科研項(xiàng)目的多次評(píng)價(jià)制度。認(rèn)為在結(jié)題驗(yàn)收之后的一段時(shí)間里，繼續(xù)打開對(duì)已結(jié)題科研項(xiàng)目重新評(píng)價(jià)的大門，更有助于鼓勵(lì)科研人員目光長遠(yuǎn)、從容研究。但是，多次評(píng)價(jià)的評(píng)價(jià)次數(shù)和時(shí)間間隔如何確定是個(gè)問題，而且過多的評(píng)價(jià)次數(shù)將大大增加人員和經(jīng)費(fèi)上的成本。

評(píng)價(jià)體系既要支持項(xiàng)目結(jié)題后的即時(shí)評(píng)價(jià)，也要支持能夠全面反映項(xiàng)目成果社會(huì)效益的后繼評(píng)價(jià)。兼顧科研管理的便捷性和科研激勵(lì)的有效性，從根本上解決二者的對(duì)立，應(yīng)建立以“科研項(xiàng)目學(xué)術(shù)質(zhì)量評(píng)價(jià)指標(biāo)事實(shí)數(shù)據(jù)庫”為基礎(chǔ)的評(píng)價(jià)制度。該數(shù)據(jù)庫中記載每個(gè)科研項(xiàng)目各學(xué)術(shù)質(zhì)量評(píng)價(jià)指標(biāo)的歷年得分，即不經(jīng)過加權(quán)處理，或時(shí)間窗口處理的原始數(shù)據(jù)。由于該事實(shí)數(shù)據(jù)庫中指標(biāo)數(shù)據(jù)的歷時(shí)性和原始性，無論評(píng)價(jià)制度的時(shí)間窗口如何調(diào)整，該庫都能為科研項(xiàng)目的后繼評(píng)價(jià)以及不同年份科研項(xiàng)目學(xué)術(shù)質(zhì)量的縱向比較提供客觀、可靠的基礎(chǔ)數(shù)據(jù)，從根本上避免隨著評(píng)價(jià)制度的逐漸成熟和新情況的出現(xiàn)，評(píng)價(jià)時(shí)間窗口發(fā)生變動(dòng)造成的當(dāng)前評(píng)價(jià)結(jié)果與往年評(píng)價(jià)結(jié)果不可比的情況。

“科研項(xiàng)目學(xué)術(shù)質(zhì)量評(píng)價(jià)指標(biāo)事實(shí)數(shù)據(jù)庫”中的評(píng)價(jià)指標(biāo)，如影響力評(píng)價(jià)指標(biāo)、創(chuàng)新力評(píng)價(jià)指標(biāo)等，從項(xiàng)目結(jié)題以后開始每年計(jì)算。對(duì)于評(píng)價(jià)時(shí)間窗口的設(shè)定建議為：（1）項(xiàng)目結(jié)題時(shí)，成果只要達(dá)到結(jié)題標(biāo)準(zhǔn)即可結(jié)題，無需進(jìn)行學(xué)術(shù)質(zhì)量評(píng)價(jià)；（2）第一次學(xué)術(shù)質(zhì)量評(píng)價(jià)的時(shí)間窗口對(duì)于每個(gè)學(xué)科領(lǐng)域來說應(yīng)相對(duì)固定。根據(jù)學(xué)科特征，如引文高峰、被引半衰期出現(xiàn)的時(shí)間來設(shè)定，如生命科學(xué)可在結(jié)題2年后進(jìn)行學(xué)術(shù)質(zhì)量評(píng)價(jià)，而管理學(xué)的評(píng)價(jià)應(yīng)該延后更長的時(shí)間，以確保成果的影響力和創(chuàng)新力已經(jīng)得到較為充分的彰顯；（3）學(xué)術(shù)質(zhì)量跟蹤評(píng)價(jià)。在常規(guī)的學(xué)術(shù)質(zhì)量評(píng)價(jià)結(jié)束后，繼續(xù)利用“科研項(xiàng)目學(xué)術(shù)質(zhì)量評(píng)價(jià)指標(biāo)事實(shí)數(shù)據(jù)庫”，監(jiān)測各科研項(xiàng)目評(píng)價(jià)指標(biāo)的變動(dòng)情況。如有異常變動(dòng)，如發(fā)現(xiàn)延遲認(rèn)可（delayed recognition）的“睡美人現(xiàn)象”[16]，可以對(duì)評(píng)價(jià)結(jié)果做出實(shí)時(shí)修正；（4）可根據(jù)需要，如以10年為時(shí)間窗口，對(duì)科研項(xiàng)目的長期社會(huì)效益進(jìn)行評(píng)價(jià)。

3.4 采用新的評(píng)價(jià)指標(biāo)揭示非顯效益

既然非顯性是指社會(huì)效益通過被研究者消化吸收后產(chǎn)生新的科學(xué)技術(shù)，那么就可以利用科技創(chuàng)新的擴(kuò)散過程揭示出來。新的評(píng)價(jià)指標(biāo)采用大數(shù)據(jù)思維，不局限于單一的因果關(guān)系和線性相關(guān)指標(biāo)的設(shè)計(jì)，而是利用復(fù)雜網(wǎng)絡(luò)的思想，考察科研項(xiàng)目在創(chuàng)新擴(kuò)散網(wǎng)絡(luò)中對(duì)每個(gè)后繼節(jié)點(diǎn)的影響。如此，可以衡量科研項(xiàng)目對(duì)整個(gè)科技領(lǐng)域的影響。近距威望（Proximity Prestige）[17]可以成為有效的測度指標(biāo)。

基于被引量的影響力測度指標(biāo)，只關(guān)注了引文網(wǎng)絡(luò)局部的直接結(jié)構(gòu)，沒有以創(chuàng)新擴(kuò)散網(wǎng)絡(luò)的整體結(jié)構(gòu)為背景。為了把影響力的評(píng)估范圍擴(kuò)展到間接選擇關(guān)系，可以計(jì)算科研成果的所有直接和間接被引量。就是把直接引用項(xiàng)目成果的文獻(xiàn)或與被評(píng)估者之間存在中介的文獻(xiàn)都納入結(jié)構(gòu)威望的評(píng)估范圍。這種方法計(jì)算的是項(xiàng)目成果的入域，可以稱為影響域（influence domain）。對(duì)于創(chuàng)新擴(kuò)散網(wǎng)絡(luò)中的一個(gè)節(jié)點(diǎn)來說，入域是指與它存在路徑的其他節(jié)點(diǎn)的數(shù)量或百分比[18]。入域越大，項(xiàng)目成果的結(jié)構(gòu)威望越高。

然而，在一個(gè)連通性良好的網(wǎng)絡(luò)中，節(jié)點(diǎn)的入域可能包含網(wǎng)絡(luò)中絕大多數(shù)的節(jié)點(diǎn)，導(dǎo)致各個(gè)節(jié)點(diǎn)的入域差別不大。為了解決這個(gè)問題，可以限定入域的距離，如與其距離最遠(yuǎn)不超過2的間接節(jié)點(diǎn)，忽略那些間隔了較多中介節(jié)點(diǎn)的間接選擇關(guān)系。實(shí)際上，如果在被評(píng)估項(xiàng)目的創(chuàng)新擴(kuò)散路徑上相隔較遠(yuǎn)，則接受創(chuàng)新知識(shí)的最終宿點(diǎn)對(duì)該項(xiàng)目成果的采納已經(jīng)微乎其微了，確實(shí)無需計(jì)算這些對(duì)威望影響很小的節(jié)點(diǎn)。

由此帶來的問題是，受限入域中鄰點(diǎn)的最大距離如何確定。對(duì)此缺乏標(biāo)準(zhǔn)，在設(shè)定上帶有隨意性。而近距威望指標(biāo)解決了這個(gè)問題。該指標(biāo)關(guān)注的是被評(píng)估項(xiàng)目入域范圍內(nèi)的所有節(jié)點(diǎn)，但其強(qiáng)調(diào)的是近鄰發(fā)出的引用關(guān)系。認(rèn)為近鄰的引用對(duì)其近距威望的貢獻(xiàn)要比遠(yuǎn)鄰更大，但是眾多的遠(yuǎn)距引用也有可能起到與單個(gè)近距引用相同的效果。近距威望采用加權(quán)法，用各條選擇關(guān)系通達(dá)被評(píng)估節(jié)點(diǎn)的距離作為這些選擇關(guān)系的權(quán)值。距離越遠(yuǎn)，貢獻(xiàn)越小。因此，科研項(xiàng)目所產(chǎn)生的創(chuàng)新與擴(kuò)散相繼發(fā)生的非顯性社會(huì)效益可由近距威望指標(biāo)來測量。

4 結(jié)語

本文僅對(duì)科研項(xiàng)目學(xué)術(shù)質(zhì)量評(píng)價(jià)體系建立過程中的關(guān)鍵問題進(jìn)行了研究。試圖為科研項(xiàng)目評(píng)價(jià)真正實(shí)現(xiàn)小同行評(píng)審、解決跨領(lǐng)域評(píng)價(jià)難題、不同學(xué)科領(lǐng)域評(píng)價(jià)指標(biāo)的個(gè)性化選取與賦權(quán)、揭示社會(huì)效益滯后性和非顯性提供解決路徑。然而，評(píng)價(jià)體系的建立涉及的內(nèi)容很多，需要在頂層設(shè)計(jì)下，分階段、分步驟推進(jìn)實(shí)施。頂層設(shè)計(jì)是包括評(píng)價(jià)目的、評(píng)價(jià)主體、評(píng)價(jià)客體、評(píng)價(jià)方法、評(píng)價(jià)指標(biāo)和評(píng)價(jià)制度以及它們之間的關(guān)系在內(nèi)的邏輯完善、功能銜接的系統(tǒng)設(shè)計(jì)，實(shí)現(xiàn)判斷、預(yù)測、選擇和導(dǎo)向四大基本功能[19]。而設(shè)計(jì)的原則應(yīng)該僅僅圍繞政府資金資助的初衷：（1）引導(dǎo)、協(xié)調(diào)和資助基礎(chǔ)研究與應(yīng)用基礎(chǔ)研究；（2）發(fā)現(xiàn)和培養(yǎng)科學(xué)人才；（3）促進(jìn)科學(xué)技術(shù)進(jìn)步；（4）推動(dòng)中國經(jīng)濟(jì)與社會(huì)發(fā)展。而不要讓經(jīng)費(fèi)資助異化為一種權(quán)利的分配。突出其對(duì)于過去良好業(yè)績和未來潛力進(jìn)行獎(jiǎng)勵(lì)與支持的作用。

參考文獻(xiàn)：

[1] 李若筠.國家自然科學(xué)基金委員會(huì)管理科學(xué)部資助項(xiàng)目評(píng)估研究[J].管理學(xué)報(bào)，2007（1）：5-15.

[2] 國家科技評(píng)估中心.科學(xué)基金資助與管理績效國際評(píng)估報(bào)告[R].2011：9.

[3] 龔旭，趙學(xué)文，李曉軒，等.關(guān)于國家自然科學(xué)基金績效評(píng)估的思考[J].科研管理，2004（4）：1-8.

[4] 裴雷，孫建軍.中國科技報(bào)告質(zhì)量評(píng)價(jià)體系與推進(jìn)策略[J].情報(bào)學(xué)報(bào)，2014（8）：813-823.

[5] 王艷，賀德方，彭潔，等.發(fā)達(dá)國家科學(xué)基金績效評(píng)估體制及其啟示[J].科技管理研究，2014（9）：21-25.

[6] 羅彪，楊婷婷，王海風(fēng).我國自然科學(xué)基金績效評(píng)估框架構(gòu)建[J].華南理工大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2014（4）：1-8，28.

[7] 葉繼元.人文社會(huì)科學(xué)評(píng)價(jià)體系探討[J].南京大學(xué)學(xué)報(bào)（哲學(xué)·人文科學(xué)·社會(huì)科學(xué)版），2010（1）：97-110，160.

[8] 中國社會(huì)科學(xué)院外事局.美國人文社會(huì)科學(xué)現(xiàn)狀與發(fā)展[M].北京：社會(huì)科學(xué)文獻(xiàn)出版社，2001： 377-378.

[9] National Science Foundation. FY 2005 Performance and Accountability ReportII[R].2005：1-86.

[10] Review of BBSRC-Funded Research Relevant to Sustainable Agriculture[EB/OL].[2016-06-05].http：//www.bbsrc.ac.uk/tools/download/Welcome.html.

[11] Mulligan A，Hall L，Raphael E.Peer review in a changing world：An international study measuring the attitudes of researchers[J].Journal of the American Society for Information Science and Technology，2013（1）：132-161.

[12] Freeman L C.Centrality in Social Networks：Conceptual Clarification[J].Social Networks，1979，1（3）：215-239.

[13] Gould R，F(xiàn)ernandez R.Structures of mediation：A formal approach to brokerage in transaction networks[J].Sociological Methodology，1989（19）：89-126.

[14] 宋歌.網(wǎng)絡(luò)結(jié)構(gòu)視域下的創(chuàng)新潛力指標(biāo)研究[J].圖書情報(bào)工作，2014，58（3）：64-71.

[15] 馬健.科研項(xiàng)目評(píng)價(jià)制度的缺陷及其完善[J].自然辯證法研究，2010（10）：120-124.

[16] Van Raan A F J.Sleeping beauties in science[J].Scientometrics，2004（3）：467-472.

[17] N Lin.Foundations of Social Research[M].New York：McGraw-Hill，1976：5.

[18] de Nooy W，Mrvar A，Batagelj V.Exploratory social network analysis with Pajek： revised and expanded （Second Edition）[M].New York：Cambridge University Press，2011：193.

[19] 馮平.評(píng)價(jià)論[M].北京：東方出版社，1995：1-10，57.

作者簡介：宋歌（1980-），東南大學(xué)圖書館情報(bào)科學(xué)技術(shù)研究所、東南大學(xué)經(jīng)濟(jì)管理學(xué)院副研究館員，博士，研究方向：科學(xué)計(jì)量與學(xué)術(shù)評(píng)價(jià)；孫建軍（1962-），南京大學(xué)信息管理學(xué)院教授，博士生導(dǎo)師，研究方向：網(wǎng)絡(luò)信息計(jì)量與網(wǎng)絡(luò)信息資源管理。