中國科研成果評價的反思

劉鋼

(中國社會科學(xué)院哲學(xué)研究所，北京 100732)

一、引言

中國科學(xué)的進(jìn)步與中國在世界上的崛起有著密不可分的關(guān)系，越來越多的中國科學(xué)家在國際主流科學(xué)雜志上發(fā)表科學(xué)論文。 另一方面，SCI等影響因子在科技評估中廣泛甚至過分地應(yīng)用，成為畢業(yè)、招聘、晉升、資源分配及個人的主要依據(jù)。一些大學(xué)、研究單位也拼命追求高影響因子論文，而不顧論文本身的意義和對人類社會的貢獻(xiàn)。 于是，在科學(xué)論文上剽竊、做假的事件呈上升趨勢。 而科學(xué)論文的弄虛做假，越是在高影響因子雜志上，越是在有名望的單位發(fā)生，其破壞性就越大，影響越深遠(yuǎn)，甚至影響一個國家一個民族的聲譽(yù)。因此，倡導(dǎo)科學(xué)道德教育是一項長期艱巨而重要的任務(wù)。

在當(dāng)下中國對于人才的渴求非常大、需要大量博士的情況下，對他們進(jìn)入高校的“門檻”也越來越高。這體現(xiàn)在幾個方面，尤其與其科研能力有很大的關(guān)系，下面讓我們看一下哈工大材料學(xué)院材料物理與化學(xué)教師科研方面的要求：

1)主要科研方向為納米功能材料合成與表征。

2)博士期間作為第一和第二作者發(fā)表論文被SCI(Science Citation Index)收錄文章數(shù)量>10篇，影響因子累加和>40，影響因子>3的文章數(shù)量不少于5篇，單篇SCI 他引次數(shù)>15次。

3)作為項目主持人或主要研究人員，參與過國家自然科學(xué)基金項目、國家863項目、國家973項目、科技部支撐計劃項目等國家級項目一項以上。

4)有較好的學(xué)術(shù)報告演講能力[1]。

我們不去評價哈工大這條招聘啟事的其他方面，僅僅就其第二條關(guān)于SCI的要求發(fā)表一點看法。強(qiáng)調(diào)SCI有它的合理成分，因為國外的源期刊(相對于國內(nèi)的核心期刊)均被SCI收錄，因此一旦被SCI收錄，研究人員的成就便會大大得到重視?？墒牵褪沁@套SCI系統(tǒng)在我國科研評價系統(tǒng)中被濫用了?？梢哉f高校對SCI的要求已經(jīng)到了一個極端的程度。這邊出現(xiàn)了哈工大那種令人“匪夷所思”招聘要求。我認(rèn)為這對我國科技發(fā)展是有相當(dāng)?shù)呢?fù)面作用的。在此我們僅僅以SCI為例來討論相應(yīng)的負(fù)面影響，而對EI之類的則沒有納入考察的對象。

二、SCI的問世所引發(fā)的后果

其次，我們要弄清楚SCI究竟是什么東西，為什么讓我國科研管理部門對此如此重視呢？目前科學(xué)引文索引(Science Citation Index)(簡稱SCI)，是國際媒體巨頭Thomson-Reuters公司麾下非常有影響的文獻(xiàn)檢索系統(tǒng)。該系統(tǒng)向全世界各國圖書館和大學(xué)出售使用權(quán)限。這為Thomson-Reuters公司帶來的巨額收入。那么SCI的前身是什么？它又是如何成為Thomson-Reuters公司的“搖錢樹”呢？這個問題還要從SCI及其創(chuàng)始人加菲爾德(Eugene Garfield)的工作說起。加菲爾德畢業(yè)于美國哥倫比亞大學(xué)，1949年獲圖書館學(xué)碩士，1954年獲賓大結(jié)構(gòu)語言學(xué)博士。1955年他在著名刊物《科學(xué)》(Science)上撰文，提出“引文索引”(citation index)的設(shè)想，希望能提供一種文獻(xiàn)計量學(xué)的工具來幫助科學(xué)家識別感興趣的文獻(xiàn)[2]。

加菲爾德的設(shè)想由1958年諾貝爾醫(yī)學(xué)獎得主萊德伯格(Joshua Lederberg)促成，美國國立衛(wèi)生院(NIH，National Institute of Health)決定資助加菲爾德的《遺傳學(xué)引文索引》(Genetics Citation Index)。但后來由于1961年版的《遺傳學(xué)引文索引》還包括其他學(xué)科文獻(xiàn)的索引，NIH和美國國家科學(xué)基金會(NSF)不愿意出版。所以SCI從一開始便存在著分類混亂等缺陷。與此同時，很有商業(yè)頭腦的加菲爾德，于1960年創(chuàng)辦了科學(xué)情報研究所(Institute for Scientific Information)，盡管叫做研究所(Institute)，其實是一家私人公司。它于1964年開始出版SCI。這就是最早的印刷版本的SCI。而加菲爾德也成為SCI之父。這便是《科學(xué)引文索引》(Science Citation Index或SCI)的前身。

SCI是一部世界著名的期刊文獻(xiàn)檢索工具。后來于1992年被世界上的最大傳媒集團(tuán)Thomason-Reuters收購，其出版形式包括印刷版期刊和光盤版及聯(lián)機(jī)數(shù)據(jù)庫，現(xiàn)在還發(fā)行了互聯(lián)網(wǎng)上Web版數(shù)據(jù)庫。Thomason-Reuters每年發(fā)布一個簡稱為JRC(Journal Rating Citation)的年度報告，對全世界各國的刊物進(jìn)行評價，從而得出所收錄刊物的影響因子(Impact Factor，簡稱IF)[3]。

加菲爾德想不到的是，從他的引文分析這一概念的問世到SCI的出版，在引文分析領(lǐng)域產(chǎn)生了始料未及的結(jié)果(unintended consequences)，其應(yīng)用范圍不斷被擴(kuò)大和延伸，不但被廣泛用于評價科學(xué)研究的影響(impact)和質(zhì)量(quality)，而且用于確立科學(xué)家的學(xué)術(shù)重要性(intellectual influence)或在學(xué)術(shù)界的聲譽(yù)(academic reputation)。

眾所周知，引文衡量的究竟是科學(xué)研究的影響還是質(zhì)量？這是一個頗有爭議的問題。加菲爾德和他的同事謝爾(Irving Sher)曾將那些公認(rèn)的做出過高質(zhì)量工作的科學(xué)家的論文的平均引文數(shù)，與那些尚未取得這種認(rèn)可的科學(xué)家的論文的平均引文數(shù)做過比較，結(jié)果發(fā)現(xiàn)，1962 年和1963年的諾貝爾物理、化學(xué)、生理或醫(yī)學(xué)獎得主在獲獎之前的論文引文數(shù)大大超過其他科學(xué)家。這便是用引文分析預(yù)測諾貝爾科學(xué)獎得主之濫觴[4]。

SCI是因應(yīng)引文分析(citation analysis)的需要而出現(xiàn)的。引文分析就是統(tǒng)計一篇論文發(fā)表后被多少其他論文引用。對一份期刊在某一年發(fā)表的全部論文的引用數(shù)，決定該期刊的影響因子。影響因子是一個統(tǒng)計值，所以，討論個別論文的影響因子是沒有意義的，也不能根據(jù)科學(xué)家發(fā)表論文的期刊的影響因子大小來決定科學(xué)家工作的重要與否。當(dāng)然，影響因子高的期刊，在科學(xué)共同體內(nèi)有影響，科學(xué)家都想法設(shè)法到那里去發(fā)表論文，從而不但提高自己的影響，也進(jìn)一步推升期刊的影響因子。這就是IF能夠提升刊物質(zhì)量使之成為所謂的“核心期刊”，繼而吸引科學(xué)家將優(yōu)秀的工作在那些核心期刊上發(fā)表，以提升自己在學(xué)界的影響力。這就是SCI及其IF對科學(xué)界的正面影響。

既然引文分析和IF成為各類學(xué)術(shù)排行榜的一個重要指標(biāo)，那么，美國國家研究理事會(National Research Council)在衡量美國大學(xué)博士專業(yè)質(zhì)量或聲譽(yù)時，就用它作為所在系的教授的研究質(zhì)量指標(biāo)之一。科學(xué)社會學(xué)家科爾(Jonathan R.Cole)曾任哥大教務(wù)長多年，審核過400多例終身教職的案例，據(jù)他回憶，其中三分之一案例提供了引文數(shù)。但他們其實并不清楚引文數(shù)究竟衡量的是什么。

不難看出，SCI系統(tǒng)不過就是一套“提供一種文獻(xiàn)計量學(xué)的工具來幫助科學(xué)家識別感興趣的文獻(xiàn)”的工具而已。該系統(tǒng)于1992年以后由南京大學(xué)率先引入教師業(yè)績評價，自此SCI便在中國各個大學(xué)甚至科研部門成為一種強(qiáng)大的“機(jī)器”。是我國科研管理部門衡量一個科研人員的尺度，進(jìn)而成為“進(jìn)入門檻”。

三、科學(xué)評價與引文分析的關(guān)系

盡管對如何使用SCI莫衷一是，引文分析的許多合理的方面也備受懷疑，不信由您，這個現(xiàn)在用來決定科學(xué)家和學(xué)術(shù)機(jī)構(gòu)的命運的產(chǎn)品，最初是由科學(xué)社會學(xué)家、說得更確切是由科爾引入科學(xué)評價的。1981年，芝加哥大學(xué)出版社出版了他的專著《科學(xué)的社會分層》(Social Stratification in Science)，就是基于他們對美國物理學(xué)家的論文的引文分析之上的[5]。

事情要回溯到1957年，默頓(Robert K.Merton)以“科學(xué)發(fā)現(xiàn)的優(yōu)先權(quán)”為題，在美國社會學(xué)會年會上作會長演講[6]。默頓1938年以《17世紀(jì)英格蘭的科學(xué)、技術(shù)與社會》[7]的論文從哈佛大學(xué)獲得社會學(xué)博士，其后雖然也發(fā)表過“科學(xué)與社會次序”、“民主次序下的科學(xué)技術(shù)”等論文，但在其后的十多年間，他沒有再作這個題目。此次演講標(biāo)志著他再次將科學(xué)作為一種社會體制來研究。

從1965年秋季開始的十多年間,NSF支持默頓在哥大社會學(xué)系開設(shè)科學(xué)社會學(xué)研究生課程。第一批學(xué)生包括后來以研究科學(xué)為主要對象的社會學(xué)家科爾兄弟?？茽栃值艿呐d趣在于：科學(xué)家的知名度(visibility)是由什么決定的？在確定知名度方面，科學(xué)出版的數(shù)量和質(zhì)量哪個更重要？

耶魯大學(xué)的科學(xué)史家普萊斯(Derek J.de Price)的《小科學(xué)，大科學(xué)》在考察科學(xué)的發(fā)展時，選擇了一系列指標(biāo)來衡量科學(xué)的產(chǎn)出和各學(xué)科領(lǐng)域的知識增長率[8]。他假設(shè)，科學(xué)增長符合“邏輯增長曲線”；科學(xué)文獻(xiàn)中的很大一部分是由一小部分科學(xué)家所貢獻(xiàn)，從而引入了科學(xué)家群體的引文和大樣本等指標(biāo)。顯然，普萊斯是將這些指標(biāo)作為“因變量”來解釋科學(xué)增長的。普萊斯在《小科學(xué)，大科學(xué)》曾有如下的論述:在同一主題中,半數(shù)的論文為一群高生產(chǎn)能力作者所撰,這一作者集合的數(shù)量上約等于全部作者總數(shù)的平方根，這便是著名的普萊斯定律。

而科爾則更對科學(xué)家的學(xué)術(shù)生涯、創(chuàng)造力和所受到的社會承認(rèn)等社會學(xué)問題感興趣，尤其想弄明白科學(xué)的創(chuàng)造力為什么會有差異，科學(xué)上的獎勵是否主要由質(zhì)量來確定的。也就是說，他們試圖將科學(xué)產(chǎn)出看作“解釋變量”。就在他尋找解釋創(chuàng)造力差異的穩(wěn)定指標(biāo)時，他們了解到，加菲爾德已經(jīng)編成了1961年和1964年兩年的SCI。于是，他們把SCI拿來做重要的研究工具。盡管加菲爾德是哥大畢業(yè)生，而且哥大的科學(xué)社會學(xué)家們在SCI剛問世時使用SCI的數(shù)據(jù)，無形中是支持SCI、為SCI做廣告，但是，他向科爾兄弟提供數(shù)據(jù)，卻從來沒有免費過。

科爾兄弟收集了在1959—1963年間授予2個博士學(xué)位以上的86個美國大學(xué)物理系的物理學(xué)家的名單，一共2079人，并從《美國科學(xué)名人錄》收集這些物理學(xué)家的學(xué)術(shù)生平，從《科學(xué)索引》(ScienceAbstract，不是SCI)找出他們的文章數(shù)，從SCI收集他們的論文的引文數(shù)。隨后，科爾兄弟根據(jù)這些物理學(xué)家的年齡、所在學(xué)校、產(chǎn)出和獎勵等分層，隨機(jī)挑選出120名物理學(xué)家。最后，科爾兄弟向2079名物理學(xué)家發(fā)問卷，向他們了解是否熟悉這120名物理學(xué)家的工作或者聽說過他們的名字。

科爾試圖用這些物理學(xué)家所在系的知名度、科學(xué)創(chuàng)造力的水平、研究的質(zhì)量、是否獲得過特殊榮譽(yù)、年齡和其他有可能導(dǎo)致科學(xué)家獲得承認(rèn)的變量之間的關(guān)系，來解釋這120名物理學(xué)家得到承認(rèn)的差異。他們指出，僅僅用論文數(shù)來衡量科學(xué)產(chǎn)出會產(chǎn)生誤導(dǎo)，因為這么做忽視了論文“質(zhì)量”這個關(guān)鍵變量，他們第一次提出用科學(xué)家論文的引文數(shù)來衡量其研究的質(zhì)量和影響。所以，從科學(xué)社會學(xué)的角度看，科學(xué)評價與引文分析有關(guān)系。

四、SCI在中國的濫用

SCI本來是一個檢索的工具，由于知識生產(chǎn)越來越多，對其檢索也越來越繁瑣，因而才出現(xiàn)了SCI這些檢索工具。它們?yōu)槲墨I(xiàn)、圖書、期刊等二線工作人員創(chuàng)造了便利。這是他們的工作領(lǐng)域，從某種意義說，SCI與一線的科研人員沒有過多的直接關(guān)系。這些檢索工具都是后驗的，其基礎(chǔ)是建立在已有的知識生產(chǎn)的結(jié)果上的。如果它們本身脫離了原始論文，它們是沒有價值的。換句話說，他屬于一種二階的知識體系。

可是，這套檢索系統(tǒng)進(jìn)入中國之后，其原來的功能卻被扭曲了。這就不得不令人感到痛心。有人曾好心和以現(xiàn)實性的角度向青年學(xué)子提出建議，認(rèn)為國內(nèi)畢業(yè)或國外回來的博士有相當(dāng)一部分還是選擇高校、科研院所工作，例如進(jìn)入高校(985)進(jìn)人的標(biāo)準(zhǔn)一看論文，二看畢業(yè)學(xué)校。這雖然不合理，但也是沒辦法的辦法。

天才畢竟是極少數(shù)，所以進(jìn)人的標(biāo)準(zhǔn)只能根據(jù)你被SCI所檢索的論文數(shù)量和你所畢業(yè)的學(xué)校?？偨Y(jié)一下高校進(jìn)人的分類標(biāo)準(zhǔn)基本上是這樣的(僅對剛畢業(yè)的博士，成熟人才就另當(dāng)別論了)：

第一類：SCI文章多且影響因子高，畢業(yè)學(xué)校為名校，比如本科到博士都是名校畢業(yè)，高校豈有不接收你的道理。

第二類：文章少但有高影響因子的SCI(如一區(qū)的雜志)，畢業(yè)學(xué)校也不錯，高校基本上接收。

第三類：有幾篇SCI文章，畢業(yè)學(xué)校也不錯，高校一般會考慮要你。

第四類：有幾篇SCI，但畢業(yè)學(xué)校一般，比如本科非985 或211畢業(yè)，高?；静豢紤]。

那么青年教師以后提職稱主要的衡量標(biāo)準(zhǔn)是什么？看看各大學(xué)人事處制定的評職稱標(biāo)準(zhǔn)就知道，最重要的還是這幾條：一是SCI文章，二是獲獎級別，三是主持項目的級別。

最后結(jié)論：在目前的國情和評價標(biāo)準(zhǔn)下，在你成為某個領(lǐng)域的“權(quán)威”之前，SCI還是最重要的指標(biāo)之一。年輕的博士還是要更加努力地去多發(fā)SCI文章，在多發(fā)的基礎(chǔ)上盡量提高影響因子。

難道還看不出來，這種對SCI的誤解和實際工作中的誤用，還不是對我國科研的負(fù)面影響嗎？無論是加菲爾德編撰SCI、還是科爾兄弟運用SCI來衡量科學(xué)家工作的質(zhì)量和影響，他們關(guān)注的都是引文(citation)。而中國僅僅強(qiáng)調(diào) SCI論文，即在SCI收入的期刊上發(fā)表的論文與SCI有關(guān)系。

根據(jù)SCI論文來獎勵科學(xué)家、根據(jù) SCI論文多少來為學(xué)術(shù)機(jī)構(gòu)排名，都不是SCI的本意。

SCI的創(chuàng)新之處在于引文數(shù)，論文數(shù)只有在計算影響因子時才有用。而引文數(shù)又是一個統(tǒng)計值，即使用于科學(xué)工作的評價，它也不是無遠(yuǎn)弗屆的，有其局限性。

在中國，是SCI論文、不是SCI成了“解釋變量”，決定了科學(xué)家能否得到晉升和獎勵、研究生能否獲得學(xué)位等。因而，有的一線科研人員對自己工作不能靜下心來，卻往往想著如何在SCI收錄的刊物上發(fā)表文章，從而形成本末倒置的關(guān)系。從事過科研工作的人都知道，一個人一生可以寫許多文章，但真正有價值的卻不多。我國在這方面所下的功夫太大了，也就難免出現(xiàn)偏差。尤其是對于科技管理部門，從管理的便捷性出發(fā)，看一個科研人員的水平就是看他有多少被SCI收錄的論文數(shù)。從某種意義講，這種片面的、不從整體上考察科研人員的做法也是對我國科研事業(yè)的一個負(fù)面的影響。

SCI論文在中國充其量類似于普賴斯研究中的“因變量”，而導(dǎo)致中國SCI論文數(shù)急劇增長的“解釋變量”不僅包括研究開發(fā)經(jīng)費的增長、研究生的擴(kuò)招，還包括對SCI論文的“崇拜”，正是這最后一個因素，導(dǎo)致中國科學(xué)論文增長而研究質(zhì)量并沒有隨之而水漲船高。盡管數(shù)量的擴(kuò)張有可能最終帶來質(zhì)量的上升，但是，由于評價工作沒有注重質(zhì)量，質(zhì)量是否會提高還是未知數(shù)。

筆者看來，中國科學(xué)界的當(dāng)務(wù)之急，不僅在于重新認(rèn)識SCI在科學(xué)評價中的作用，而且有必要進(jìn)行仔細(xì)的經(jīng)驗研究，弄清楚中國科學(xué)的質(zhì)量和影響，從而找準(zhǔn)在世界科學(xué)界的真正地位。

五、一點反思

科爾兄弟選用每個物理學(xué)家引用最高的3篇論文的引文數(shù)，以此為質(zhì)量指標(biāo)。由于物理學(xué)的貢獻(xiàn)往往不是由一篇論文所決定的，他們使用一年內(nèi)發(fā)表的論文數(shù)。引文數(shù)經(jīng)過加權(quán)才有意義，即給引用以前發(fā)表的論文的引文數(shù)以較大的權(quán)重。在比較不同時期的工作時，他們對引文數(shù)做標(biāo)準(zhǔn)化處理。他們還剔除了自引。

科爾兄弟特別提到，即使在同一個領(lǐng)域，引文數(shù)的多少也不見得能說明科學(xué)家工作的影響大小和質(zhì)量高低。限于篇幅，我們這里援引基本都是美國的例子。這里雖然引述的是美國的例子，可是這種情況也正在改變。不久前，《自然》雜志就對過度依賴影響因子的現(xiàn)象作出了反思[9]。

可是，中美兩國現(xiàn)行的科學(xué)創(chuàng)新評價體系有所不同，長期以來美國已形成了相對獨立的兩套科研創(chuàng)新評價子系統(tǒng)，一是學(xué)術(shù)界以論文同行評議為主的評價子體系，二是企業(yè)界以生產(chǎn)力轉(zhuǎn)化為主的評價子體系。這兩套子系統(tǒng)雖在界內(nèi)相對獨立，又在整體上相輔相成，一定程度彌補(bǔ)了相互的不足。所以，美國的科研創(chuàng)新評價體系，實際上是在企業(yè)界和學(xué)術(shù)界實行了互相補(bǔ)充的雙軌制。這種雙軌制，的確有其優(yōu)越之處和合理之處。不難看出，美國之所以能夠成為科技強(qiáng)國，其最終成果并非完全在理論上，更多的是落實在技術(shù)層面上，從而推動了整個科技體系的發(fā)展[10]。不可否認(rèn)，我國科研創(chuàng)新的這種雙軌評價體系目前還處于胚胎發(fā)育階段，還很不成熟。在今后的一段時間內(nèi)，我們的當(dāng)務(wù)之急，是建立和完善這種能相互補(bǔ)充調(diào)節(jié)的雙軌創(chuàng)新評價系統(tǒng)。

最后，我想從信息哲學(xué)角度談一點思考?？茖W(xué)論文和引文索引是兩套全然不同的體系，它們之間的關(guān)系是虛與實的關(guān)系；是對象語言和元語言之間的關(guān)系?？茖W(xué)論文是實質(zhì)性的，而引文索引是描述性的，屬于元語言(metalanguange)層面的數(shù)據(jù)。如果沒有人為的賦值，這些“元數(shù)據(jù)”(meta data)沒有任何意義。SCI就是些元數(shù)據(jù)的內(nèi)容。如果這些虛的層面的元語言與對象語言不能形成一一對應(yīng)關(guān)系，或者單靠元語言來分析某項成果是否具有價值本身就是錯誤的。根據(jù)研究，信息是在虛的層面運作的，而其本質(zhì)就是以虛控實[11]。

所以我們認(rèn)為，不要唯那些“虛”的東西用作我們的科技管理工作的指南。而是應(yīng)該從現(xiàn)實需要對科研人員進(jìn)行管理和招聘。

參考文獻(xiàn)：

[1] 哈工大材料學(xué)院材料物理與化學(xué)教師招聘啟事[OL].http://today.hit.edu.cn/articles/2010/06-21/0610101461.htm.

[2] Garfield E.Citation indexes for science:a new dimension in documentation through association of ideas[J].Science,(1955)122(3159):108-11.

[3] Chernyi A I.The ISI web knowledge,a modern system support for the scientific research:a review [J].Scientific and Technical Information Processing,2009,Vol.36,No.6,202.

[4] Garfield E.Recollections of Irving H.Sher 1924—1996:Polymath/information scientist extraordinaire [J].Journal of the American Society for Information Science and Technology,Volume 52 Issue 14.32.

[5] Cole,Jonathan R.Social stratification in science[M].Univ.of Chicago,March 1981,91.

[6] Merton,Robert K.Priorities in science discovery:a chapter in the sociology of science[J].American Sociological Review,Volume 22,Number 6,1957:26.

[7] 默頓.17世紀(jì)英格蘭的科學(xué)、技術(shù)與社會[M].范岱年等譯.北京:商務(wù)印書館，2007:47.

[8] Price，Derek J.de.Little science,big science[M].New York:Columbia University Press，1963,72.

[9]《自然雜志》承諾增加廣受詬病的影響因子的透明度[OL].http://www.nature.com/news/transparency-promised-for-vilified-impact-factor-1.15642.

[10] 郭磊.千人計劃和集團(tuán)式造假——“千人計劃”成功實施的關(guān)鍵 [OL].http://www.sciencenet.cn/m/user_content.aspx?id=226976.

[11] 劉鋼.信息哲學(xué)探源[M].北京:金城出版社，2007:141.