科學(xué)基金資助績(jī)效評(píng)價(jià)的文獻(xiàn)計(jì)量分析

蔡乾和，陶 蕊

（1.河北聯(lián)合大學(xué) 文法學(xué)院，河北 唐山 063009；2.科技部科技評(píng)估中心 評(píng)估三處，北京 100081）

科學(xué)基金資助績(jī)效評(píng)價(jià)的文獻(xiàn)計(jì)量分析

蔡乾和1，陶 蕊2

（1.河北聯(lián)合大學(xué) 文法學(xué)院，河北 唐山 063009；2.科技部科技評(píng)估中心 評(píng)估三處，北京 100081）

以文獻(xiàn)計(jì)量評(píng)價(jià)方法，嘗試性地對(duì)科學(xué)基金資助在促進(jìn)知識(shí)創(chuàng)新方面的績(jī)效進(jìn)行了評(píng)估，發(fā)現(xiàn)采用文獻(xiàn)計(jì)量方法對(duì)國(guó)家科技資助的績(jī)效評(píng)價(jià)具有較強(qiáng)的適用性和說(shuō)服力。研究分析表明，25年來(lái)科學(xué)基金資助促進(jìn)了我國(guó)基礎(chǔ)研究SCI論文數(shù)量上的快速增長(zhǎng)，對(duì)推動(dòng)我國(guó)基礎(chǔ)研究的知識(shí)創(chuàng)新起著十分重要的作用，但在帶動(dòng)與引領(lǐng)我國(guó)SCI論文影響力總體水平的提升作用尚顯不足。

科學(xué)基金；資助績(jī)效；基礎(chǔ)研究；文獻(xiàn)計(jì)量方法

國(guó)家自然科學(xué)基金（以下簡(jiǎn)稱(chēng)科學(xué)基金）自設(shè)立以來(lái)，堅(jiān)持支持基礎(chǔ)研究，逐漸形成了由研究項(xiàng)目、人才項(xiàng)目和環(huán)境條件項(xiàng)目三大系列組成的資助格局。25年來(lái)，科學(xué)基金資助經(jīng)費(fèi)穩(wěn)步增長(zhǎng)，對(duì)基礎(chǔ)研究的支持力度不斷加大?？茖W(xué)基金資助對(duì)我國(guó)基礎(chǔ)研究的貢獻(xiàn)究竟如何，成為政府、基金委、科技界乃至公眾關(guān)注的焦點(diǎn)。因而，2010年，財(cái)政部與基金委聯(lián)合開(kāi)展實(shí)施了“國(guó)家自然科學(xué)基金資助與管理績(jī)效國(guó)際評(píng)估”研究項(xiàng)目，采用“國(guó)內(nèi)準(zhǔn)備，國(guó)際評(píng)估”的組織模式，對(duì)科學(xué)基金的戰(zhàn)略定位、資助績(jī)效、管理績(jī)效和影響等四個(gè)方面進(jìn)行系統(tǒng)性評(píng)估。其中，資助績(jī)效涵蓋了科學(xué)基金在促進(jìn)知識(shí)創(chuàng)新、學(xué)科發(fā)展、人才培養(yǎng)，以及解決國(guó)家重大科學(xué)需求等諸多方面的績(jī)效。

本文以湯森－路透（Thomson Reuters）公司提供的Web of Science權(quán)威引文數(shù)據(jù)為依據(jù)，利用文獻(xiàn)計(jì)量分析方法來(lái)探索與研究如何評(píng)價(jià)科學(xué)基金資助在促進(jìn)知識(shí)創(chuàng)新方面的績(jī)效及其適用性。這種探索既有助于了解科學(xué)基金資助績(jī)效評(píng)價(jià)的量化途徑，也為將量化分析方法應(yīng)用于國(guó)家科技資助渠道的績(jī)效評(píng)價(jià)提供有益借鑒。

一、科學(xué)基金資助促進(jìn)知識(shí)創(chuàng)新的績(jī)效分析

科學(xué)基金作為支持基礎(chǔ)研究的資助渠道，在促進(jìn)知識(shí)創(chuàng)新的績(jī)效評(píng)價(jià)上，同行評(píng)議（peer review）或案例分析等定性方法是常用的評(píng)價(jià)方法，直接的量化評(píng)價(jià)則存在一定的困難。但是，科學(xué)基金資助的SCI論文產(chǎn)出一定程度上反映其促進(jìn)知識(shí)生產(chǎn)與創(chuàng)新的績(jī)效，這為本文進(jìn)行文獻(xiàn)計(jì)量學(xué)的量化評(píng)估提供了可能性和依據(jù)。下面從SCI論文產(chǎn)出、影響力、國(guó)內(nèi)外比較等角度對(duì)科學(xué)基金資助的SCI論文進(jìn)行計(jì)量學(xué)分析。

科學(xué)基金資助SCI論文產(chǎn)出及貢獻(xiàn)率分析。從SCI論文產(chǎn)出的數(shù)量①來(lái)看，科學(xué)基金資助的SCI論文最早出現(xiàn)在1987年，當(dāng)年僅有2篇。隨后，科學(xué)基金資助的SCI論文數(shù)量增長(zhǎng)較快。2000年，科學(xué)基金資助的SCI論文超過(guò)2000篇；到2008年已經(jīng)有14，508篇，同2007年相比，年增長(zhǎng)率超過(guò)30%；2009年，根據(jù)SCIE數(shù)據(jù)顯示，科學(xué)基金資助SCI論文增長(zhǎng)至44，953篇。按照近5年的快速增長(zhǎng)趨勢(shì)，2010年，科學(xué)基金資助的SCI論文估計(jì)在5.5萬(wàn)～5.7萬(wàn)篇左右（如圖1）。

圖1 國(guó)家自然科學(xué)基金資助的SCI論文產(chǎn)出數(shù)量變化情況（數(shù)據(jù)來(lái)源：湯森－路透提供）

從高質(zhì)量的SCI論文產(chǎn)出來(lái)看，以2009年為例（如表1），在高影響因子、世界權(quán)威性綜合期刊雜志（如Science、Nature和PLOS②）中，中國(guó)大陸作者在Nature上發(fā)表的論文受科學(xué)基金資助的占據(jù)半數(shù)以上。而在Science、PLOS上發(fā)表的論文，受科學(xué)基金資助的論文所占比例達(dá)1／4以上。

從貢獻(xiàn)率來(lái)看，依照經(jīng)濟(jì)學(xué)關(guān)于貢獻(xiàn)率指標(biāo)的一般計(jì)算方法推斷，當(dāng)投入量趨于穩(wěn)定（或固定值）時(shí)，貢獻(xiàn)率的大小實(shí)際相當(dāng)于某一單位產(chǎn)出量對(duì)于整體產(chǎn)出量的比例。從中國(guó)大陸整體的產(chǎn)出量變化來(lái)看（如圖2），1987年，SCI收錄中國(guó)論文4880篇，占世界總數(shù)的0.7%，列世界第24位；2000年，中國(guó)的SCI論文突破20，000篇，列世界第8位；2008年，中國(guó)的SCI論文達(dá)95，506篇，占世界總數(shù)6.64%，位于美國(guó)、英國(guó)和德國(guó)之后，列第4位；而2009年，SCI收錄中國(guó)大陸論文占世界總量的10.1%，居世界第二位，僅次于美國(guó)。

表1 2009年中國(guó)大陸作者在Science、Nature和PLOS發(fā)表論文情況

圖2 SCI收錄中國(guó)大陸論文數(shù)量及占世界比例變化趨勢(shì)

相應(yīng)地，科學(xué)基金資助的SCI論文對(duì)比中國(guó)大陸的總體產(chǎn)出量：1987年，科學(xué)基金資助的SCI論文占中國(guó)總數(shù)的0.04%；2000年超過(guò)10%；2008年則達(dá)到15.2%；2009年則達(dá)到38.2%，超過(guò)1／3（如表2）。也就是說(shuō)，到2009年，平均每3篇中國(guó)大陸發(fā)表的SCI論文中就有1篇受科學(xué)基金資助，結(jié)合科學(xué)基金在中國(guó)基礎(chǔ)研究投入所占的比重長(zhǎng)期以來(lái)趨于穩(wěn)定（占20%左右），依照上述貢獻(xiàn)率的測(cè)算方法可以看出，科學(xué)基金資助對(duì)我國(guó)基礎(chǔ)研究知識(shí)創(chuàng)新的論文產(chǎn)出方面有較高的貢獻(xiàn)率，發(fā)揮了非常重要的作用。

以上數(shù)據(jù)分析表明，無(wú)論是從科學(xué)基金資助的SCI論文產(chǎn)出數(shù)量，還是從貢獻(xiàn)率來(lái)看，科學(xué)基金資助在推動(dòng)我國(guó)基礎(chǔ)研究的知識(shí)創(chuàng)新方面發(fā)揮了重要作用。

二、科學(xué)基金資助的SCI論文影響力及國(guó)內(nèi)外比較分析

在考察科學(xué)基金對(duì)于基礎(chǔ)研究知識(shí)創(chuàng)新的產(chǎn)出及貢獻(xiàn)率的同時(shí)，有必要基于國(guó)際上相關(guān)基準(zhǔn)數(shù)據(jù)和指標(biāo)，對(duì)科學(xué)基金資助的SCI論文的影響力進(jìn)行“質(zhì)”的分析。當(dāng)前，衡量論文影響力的評(píng)價(jià)指標(biāo)通常包括總被引用頻次（Total Citations）和被引用率、篇均影響力（Citation Impact）、高被引論文分布特征、h指數(shù)③（h Index）、平均百分位④（Mean Percentile）等多角度的引文分析指標(biāo)。以下從這幾方面指標(biāo)進(jìn)行分析：

表2 中國(guó)大陸SCI論文增長(zhǎng)與科學(xué)基金資助SCI論文產(chǎn)出情況比較

從總被引用頻次來(lái)看，截至2010年9月，科學(xué)基金資助的SCI論文總被引用頻次為74543次，篇均被引用率為1.66次，超過(guò)了全球平均水平（1.37次）。而從被引用率的國(guó)內(nèi)國(guó)際比較來(lái)看（如圖3），全球80%左右（中國(guó)大陸60%左右）的SCI論文都有被引用，趨于穩(wěn)定，而科學(xué)基金資助的SCI論文被引用率波動(dòng)相對(duì)較大。其中，1993年以后至2001年，科學(xué)基金資助的SCI論文被引用率同全球水平相比較低，但總體上較中國(guó)大陸要高（自1998年以后）；而1988年至1993年，以及2004年以后，科學(xué)基金資助的SCI論文被引用率超過(guò)全球水平。需要說(shuō)明的是，2007年以后，無(wú)論是全球、中國(guó)大陸還是科學(xué)基金資助的SCI論文被引用率下滑，其原因是論文發(fā)表后普遍需要一段時(shí)間的積累才能夠達(dá)到一定的被引頻次。因此，科學(xué)基金資助的SCI論文被引率總體上處于較高水平，說(shuō)明科學(xué)基金資助的SCI論文學(xué)術(shù)認(rèn)同度較高。

從篇均影響力來(lái)看，篇均影響力表示平均每篇論文的被引用頻次，一般來(lái)說(shuō)越早發(fā)表的論文獲得的被引用頻次有可能越高。自1987年以來(lái)，中國(guó)大陸的SCI論文篇均影響力基本趨于5～10之間，例如，1999～2009年，中國(guó)大陸SCI論文累計(jì)達(dá)649，689篇，共被引3，404，466次，篇均被引次數(shù)為5.24，與發(fā)達(dá)國(guó)家相距甚遠(yuǎn)，也遠(yuǎn)低于10.06的世界平均水平。而科學(xué)基金資助的SCI論文篇均影響力，1999年以前波動(dòng)較大，其中1990年的篇均影響力高達(dá)30頻次以上，其原因是該年度科學(xué)基金資助的37篇SCI論文中有幾篇被引頻次極高帶來(lái)的影響；1999年以后篇均影響力趨于平穩(wěn)，但仍比中國(guó)大陸的總體情況略高（如圖4）。可以認(rèn)為，科學(xué)基金資助的SCI論文在國(guó)內(nèi)來(lái)看水平較高，但由于中國(guó)總體水平同發(fā)達(dá)國(guó)家有差距，所以與國(guó)際上的同類(lèi)論文相比還有一定差距。

圖3 國(guó)家自然科學(xué)基金資助論文與中國(guó)大陸和全球論文的被引用率發(fā)展趨勢(shì)

圖4 國(guó)家自然科學(xué)基金資助論文與中國(guó)大陸發(fā)表論文的篇均影響力對(duì)比

從高被引論文的分布來(lái)看（如表3），以2009年為例，科學(xué)基金資助的SCI論文數(shù)為44，953篇，其中被引頻次在全球前1%的論文數(shù)有321篇，占該年度科學(xué)基金資助論文總數(shù)比例為0.71%；前50%的論文數(shù)有9601篇，占比21.38%。這一數(shù)據(jù)說(shuō)明，從全球范圍內(nèi)來(lái)看，代表國(guó)際領(lǐng)先水平的被引頻次較高的SCI論文中，科學(xué)基金資助的占有較小比例（0.71%），與國(guó)際上的差距還比較大。

從h指數(shù)分析來(lái)看，1986～2008年，科學(xué)基金資助的SCI論文h指數(shù)變化經(jīng)歷了一個(gè)先緩慢上升、后快速下降的趨勢(shì)（如圖5）。在2003年左右，因早期論文增長(zhǎng)相對(duì)較慢和被引頻次的不斷積累在這一時(shí)期達(dá)到h指數(shù)的高峰，即該年度有近60篇科學(xué)基金資助的SCI論文被引頻次不低于60次；隨后幾年因科學(xué)基金資助的SCI論文數(shù)增長(zhǎng)快于被引頻次的增長(zhǎng)導(dǎo)致h指數(shù)下滑，進(jìn)入新一階段的被引頻次累積時(shí)期。

表3 2009年科學(xué)基金資助的SCI論文的高被引論文分布情況

圖5 國(guó)家自然科學(xué)基金資助論文的h指數(shù)發(fā)展趨勢(shì)

從平均百分位指標(biāo)來(lái)看（如圖6），1987～2008年，科學(xué)基金資助的SCI論文平均來(lái)看能夠排名在全球前55%左右，即其被引頻次位于全球論文被引頻次的中位數(shù)。也就是說(shuō)在全球范圍內(nèi)科學(xué)基金資助的SCI論文的影響力處于中等水平。其中，1990年，科學(xué)基金資助的SCI論文的平均百分位處于40%以下，說(shuō)明該年度科學(xué)基金資助的SCI論文被引頻次較高，影響力也較高。這與上面的篇均影響力分析相一致。

三、文獻(xiàn)計(jì)量方法評(píng)價(jià)科學(xué)基金資助績(jī)效的適用性

依據(jù)科學(xué)基金資助與管理績(jī)效評(píng)估的現(xiàn)實(shí)情況，選擇采用文獻(xiàn)計(jì)量方法對(duì)科學(xué)基金在促進(jìn)知識(shí)創(chuàng)新方面的資助績(jī)效進(jìn)行評(píng)價(jià)和分析，體現(xiàn)了如下幾方面的特點(diǎn)：

（1）強(qiáng)化了量化評(píng)價(jià)的適用性條件和優(yōu)勢(shì)。文獻(xiàn)計(jì)量評(píng)價(jià)方法多應(yīng)用于宏觀層面和中觀層面（如同質(zhì)機(jī)構(gòu)間的比較）的科技評(píng)價(jià)。其優(yōu)點(diǎn)是具有客觀性和國(guó)際可比性。

（2）樣本空間足夠大，評(píng)價(jià)系統(tǒng)尺度較大，能較好反映績(jī)效和減小誤差。利用文獻(xiàn)計(jì)量指標(biāo)評(píng)價(jià)科研產(chǎn)出能力和水平時(shí)，有一個(gè)系統(tǒng)誤差問(wèn)題，評(píng)價(jià)結(jié)果的誤差與評(píng)價(jià)系統(tǒng)的尺度大小呈負(fù)相關(guān)，即系統(tǒng)的尺度越大，評(píng)價(jià)結(jié)果的誤差就越小，反之，評(píng)價(jià)結(jié)果的誤差就越大?；A(chǔ)研究的產(chǎn)出是知識(shí)的創(chuàng)造，多以論著形式體現(xiàn)，但論文產(chǎn)出更為普遍，且長(zhǎng)時(shí)間跨度的論文產(chǎn)出能為文獻(xiàn)計(jì)量分析提供足夠大的樣本。一般來(lái)說(shuō)，“產(chǎn)出”帶來(lái)“成效”，而“產(chǎn)出”和“成效”帶來(lái)“影響”，三者可呈現(xiàn)出交叉遞進(jìn)關(guān)系。［1］因此，通過(guò)文獻(xiàn)計(jì)量方法分析科學(xué)基金資助的論文產(chǎn)出情況，既可反映科學(xué)基金在促進(jìn)基礎(chǔ)研究知識(shí)創(chuàng)新方面的成效，也能一定程度上反映科學(xué)基金對(duì)我國(guó)基礎(chǔ)研究的影響與貢獻(xiàn)。此外，此次的評(píng)價(jià)系統(tǒng)是基于1986－2010年的 Web of Science收錄的SCI論文數(shù)據(jù)庫(kù)，以及科學(xué)基金25年來(lái)的資助情況統(tǒng)計(jì)數(shù)據(jù)，進(jìn)行了較大尺度的文獻(xiàn)計(jì)量分析，評(píng)價(jià)結(jié)果有效地較小了誤差，客觀可信。

圖6 國(guó)家自然科學(xué)基金資助的SCI論文的平均百分位數(shù)變化情況

（3）有較強(qiáng)的可操作性。一方面，以web of science數(shù)據(jù)庫(kù)為統(tǒng)計(jì)源，科學(xué)基金資助的SCI論文數(shù)據(jù)相對(duì)完整，便于準(zhǔn)確分析與操作；另一方面，由于該數(shù)據(jù)庫(kù)能夠提供國(guó)際及中國(guó)大陸范圍內(nèi)的相關(guān)數(shù)據(jù)，使利用計(jì)量學(xué)方法的分析具有可比性。

四、結(jié)語(yǔ)

綜上述，基于SCI數(shù)據(jù)庫(kù)，采用文獻(xiàn)計(jì)量評(píng)價(jià)方法從宏觀層面研究與評(píng)價(jià)國(guó)家自然科學(xué)基金的資助績(jī)效，具有合理性、可信度和適用性，可以對(duì)今后運(yùn)用量化的方法來(lái)評(píng)價(jià)國(guó)家科技計(jì)劃的資助績(jī)效提供借鑒，也對(duì)國(guó)家宏觀科技政策與科技管理具有參考價(jià)值。

依據(jù)文獻(xiàn)計(jì)量評(píng)價(jià)的量化方法評(píng)估發(fā)現(xiàn)：一方面，科學(xué)基金資助促進(jìn)了我國(guó)基礎(chǔ)研究SCI論文數(shù)量上的快速增長(zhǎng)，對(duì)推動(dòng)我國(guó)基礎(chǔ)研究的知識(shí)創(chuàng)新和SCI論文影響力的提升起著十分重要的作用。

另一方面，盡管科學(xué)基金資助的SCI論文在數(shù)量上不斷增長(zhǎng)，但科學(xué)基金資助的論文影響力在帶動(dòng)與引領(lǐng)我國(guó)SCI論文影響力總體水平的提升作用尚顯不足。其表現(xiàn)為科學(xué)基金資助的高被引論文在總體產(chǎn)出中的比例還較小，這可能與科學(xué)基金管理中存在申請(qǐng)時(shí)評(píng)審較嚴(yán)，結(jié)題時(shí)因“允許失敗”而對(duì)成果的評(píng)定不作嚴(yán)格要求有關(guān)。針對(duì)這一情況，今后在科學(xué)基金的資助與管理中，需要改革與創(chuàng)新機(jī)制，改善與加強(qiáng)結(jié)題時(shí)的質(zhì)量評(píng)定和成果水平的評(píng)價(jià)工作。正如美國(guó)著名的評(píng)估學(xué)者Stuffiebeam所說(shuō)：“評(píng)估的目的不在證明什么，而在力求改進(jìn)”，［2］開(kāi)展科學(xué)基金資助績(jī)效評(píng)估的根本目的在于，通過(guò)績(jī)效評(píng)估為科學(xué)基金的資助與管理決策提供可靠依據(jù)，從而提升資助績(jī)效與管理水平。

［注釋?zhuān)?/p>

①本部分所涉及的相關(guān)數(shù)據(jù)均來(lái)源于SCIE數(shù)據(jù)庫(kù)，文獻(xiàn)類(lèi)型包含Article、Note和Review。此外，由于早期 Web of Science數(shù)據(jù)庫(kù)并未將科學(xué)基金資助列為字段搜索項(xiàng)，因而本部分?jǐn)?shù)據(jù)分析是基于參與此次評(píng)估合作的湯森－路透公司通過(guò)數(shù)據(jù)采集和項(xiàng)目匹配生成的抽樣數(shù)據(jù)（1986～2008年）。2008年8月以后加入了科學(xué)基金資助字段的標(biāo)引，故2009年科學(xué)基金資助的論文統(tǒng)計(jì)數(shù)據(jù)比較完整。

②PLOS的數(shù)據(jù)包含PLOS系列的6本期刊，分別是PLOS GENETICS，PLOS NEGLECTED TROPICAL DISEASES，PLOS PATHOGENS，PLOS ONE，PLOS COMPUTATIONAL BIOLOGY，PLOS BIOLOGY，PLOS MEDICINE。

③h指數(shù)是指將一組論文按照被引頻次降序排列，h指數(shù)＝n意味著有n篇論文的被引頻次不低于n次。該指標(biāo)是結(jié)合了論文數(shù)量與論文被引頻次兩方面的綜合性評(píng)價(jià)指標(biāo)。

④平均百分位是指，該篇論文在全球該學(xué)科當(dāng)年發(fā)表的論文中按被引頻次排名的百分位數(shù)。百分位數(shù)值越小，表明該篇論文為高被引論文；百分位數(shù)值越大，則反之。

［1］戚勇，李千目.科學(xué)研究績(jī)效評(píng)價(jià)的理論與方法［M］.北京：科學(xué)出版社，2009.

［2］朱衛(wèi)東，周光中等.國(guó)外科學(xué)基金績(jī)效評(píng)估及其對(duì)我國(guó)的啟示［J］.中國(guó)科技論壇，2009（7）：134－138.

［責(zé)任編輯 劉范弟］

Literature Metrology Analysis of Evaluation on NSFC Funding Performance

CAIQian－h(huán)e1，TAORui2
（1.SchoolofHumanitiesandLaw，HebeiUnitedUniversity，Tangshan，Hebei063009，China；2.DepartmentNo3，NationalCenterforScienceandTechnologyEvaluation，Beijing，10081，China）

This paper attempts to evaluate NSFC funding performance in promoting knowledge innovation.It discovers that the evaluation on national S＆T funding performance by literature metrology method be suitable and persuasive.The research shows that NSFC funding promotes rapid growth of the amounts of SCI paper in basic research，and plays an important role in pushing forward knowledge innovation of basic research during the past twenty－five years.But it is insufficient for NSFC in driving and leading the high level development of SCI paper impact in our country.

NSFC；funding performance；basic research；literature metrology method

G311

A

1672－934X（2012）03－0029－05

2012－04－03

“國(guó)家自然科學(xué)基金資助與管理績(jī)效國(guó)際評(píng)估”階段性成果。

蔡乾和（1973－），男，湖北陽(yáng)新人，哲學(xué)博士，河北聯(lián)合大學(xué)文法學(xué)院講師，主要從事科學(xué)技術(shù)的哲學(xué)與計(jì)量學(xué)研究；陶蕊（1982－），女，陜西西安人，科技部科技評(píng)估中心助理研究員，主要從事科技與公共政策的研究。