基于機構(gòu)決策的科研競爭力評估方法初探

□艾春艷 趙飛 游越 劉素清

基于機構(gòu)決策的科研競爭力評估方法初探

□艾春艷 趙飛 游越 劉素清

基于客觀數(shù)據(jù)的科研競爭力分析能夠為高?？蒲邪l(fā)展規(guī)劃的決策提供重要的信息支持，北京大學圖書館采用文獻計量方法對北京大學的科研競爭力進行評估，從多角度分析機構(gòu)整體、機構(gòu)內(nèi)各學科、各院系及研究人員的科研實力與影響力，通過院系級別的比較為校內(nèi)的科研發(fā)展決策提供依據(jù)。

科研競爭力評估 文獻計量 院系

1 機構(gòu)內(nèi)科研競爭力分析的意義

隨著我國科研的發(fā)展，科研資源的配置越來越受到關(guān)注，各種科研競爭力評估也應(yīng)運而生［1］。眾多評估案例從不同角度、采取不同的指標來評價機構(gòu)間的科研實力［2］，也產(chǎn)生了很多版本的高校排名。目前常見評估案例的內(nèi)容以機構(gòu)間的對比評價為主，主要為國家級別的資源配置提供信息。但對于單個的科研機構(gòu)而言，其管理部門還經(jīng)常需要在機構(gòu)內(nèi)部的各子機構(gòu)之間配置資源，因而迫切需要全面了解院系等子機構(gòu)的科研發(fā)展情況，識別出較有潛力的領(lǐng)域和科研團隊。在這種情況下，針對某一機構(gòu)及其子機構(gòu)的科研競爭力分析報告，將有助于管理部門準確把握各機構(gòu)目前在國內(nèi)外所處的位置，科學判斷機構(gòu)所面臨的競爭態(tài)勢，合理分配科研資源。

2011年北京大學發(fā)展規(guī)劃部為編寫“十二五”規(guī)劃，委托北京大學圖書館對本校的科研實力進行評估。為此，圖書館信息咨詢部逐步探索了兼顧機構(gòu)內(nèi)外，全面反映機構(gòu)本身及其子機構(gòu)的科研現(xiàn)狀及發(fā)展趨勢的評估方法，對北京大學學術(shù)論文方面的科研競爭力進行了量化評估，最終完成《北京大學科研實力分析報告》。報告通過客觀的數(shù)據(jù)分析，幫助北京大學的科研管理人員更為準確地了解目前的競爭優(yōu)勢與劣勢，并為科研決策提供可靠的信息支撐。

2 機構(gòu)內(nèi)科研競爭力的評價思路

2.1 評價角度

科研的評價角度非常多，如：學術(shù)論文產(chǎn)出情況、著作產(chǎn)出情況、獲獎情況、科研項目情況、科技會議參與情況、經(jīng)費的獲取與投入產(chǎn)出比情況等。無論從何種角度出發(fā)，都要在同行評議的同時，提供一個基于客觀數(shù)據(jù)的量化評估體系作為基準和參考，才能實現(xiàn)公平客觀、科學合理的科研評估。文獻計量學分析將提供有關(guān)學術(shù)活動的一般特征信息，還是一個保持同行評議過程誠信的工具［3］。因此，本文從文獻計量的角度，探討如何依據(jù)事實數(shù)據(jù)，客觀評估機構(gòu)、尤其是其子機構(gòu)（院系）在學術(shù)論文方面的科研競爭實力。

本次評估從機構(gòu)科研決策的需要出發(fā)，主旨在于幫助管理者發(fā)現(xiàn)機構(gòu)的優(yōu)勢、劣勢和突破口，因此既需要評估機構(gòu)的整體科研實力和影響力，也會涉及各院系及個人的科研情況。此外，由于國內(nèi)外不同機構(gòu)的院系設(shè)置差異較大，難以實現(xiàn)真正院系級別的比較，只能通過學科評估作為院系評估的參考。因此，本文的科研競爭力評估主要包含三個層次：其一，北大整體科研實力以及與國內(nèi)外知名高校的橫向比較；其二，北大各學科的發(fā)展情況及其在國內(nèi)外的地位；其三，北大各院系及研究人員的科研實力。

2.2 評價標準

在機構(gòu)整體科研競爭力方面，主要分析機構(gòu)論文被 Web of Science（WOS）等著名數(shù)據(jù)庫收錄和引用的情況，并將其與國內(nèi)外知名高校進行對比，客觀衡量當前的科研實力水平；考察特定時間段內(nèi)機構(gòu)論文的收錄及被引數(shù)量變化，分析機構(gòu)科研競爭力的發(fā)展趨勢?？紤]到科研人員在領(lǐng)域內(nèi)著名期刊或影響因子較高的期刊上發(fā)表成果通常被視為科研績效的一種指標，本次評估增加了機構(gòu)通訊作者、JCR核心期刊、《Nature》、《Science》等的發(fā)文量統(tǒng)計；另外，鑒于人文社科領(lǐng)域國內(nèi)發(fā)表的作品較多，將CNKI、CSSCI等中文數(shù)據(jù)庫的收錄引用情況作為參考［4］。

在學科科研競爭力方面，主要分析不同學科論文發(fā)表的活躍程度；分析在全球有一定影響力的學科的論文發(fā)表及被引情況，并與國內(nèi)外相關(guān)機構(gòu)進行比較；此外，鑒于人文社科領(lǐng)域的特殊性，將此領(lǐng)域內(nèi)各學科的論文收錄情況與國內(nèi)人文社科重點院校進行比較。

在院系的科研競爭力方面，主要考察各院系論文的收錄及被引情況，并分析特定時間段內(nèi)院系論文被收錄及被引用的數(shù)量發(fā)展趨勢；進行JCR核心期刊、《Nature》、《Science》、ESI的論文統(tǒng)計，識別出院系科研影響力較高的論文及其作者；此外，對多院系合作的論文進行單獨分析，考察多院系合作論文的影響力和優(yōu)秀率，以及學科交融情況。

2.3 數(shù)據(jù)來源

本文的評估數(shù)據(jù)主要以 WOS數(shù)據(jù)庫的SCI、SSCI、A＆HCI數(shù)據(jù)為主，并參考基本科學指標數(shù)據(jù)庫（Essential Science Indicators，ESI）、期刊引證報告（Journal Citation Reports，JCR）、《Nature》、《Science》的部分數(shù)據(jù)。人文社科領(lǐng)域以中國社會科學引文數(shù)據(jù)庫 （CSSCI），中 國 期 刊 網(wǎng) （CNKI）作 為補充。

數(shù)據(jù)由北京大學圖書館信息咨詢部成員按照作者署名、地址等從上述數(shù)據(jù)庫中提取。由于短期的數(shù)據(jù)難以全面反映機構(gòu)的科研實力和變化情況，因此本次評估提取了北京大學從2000年到2010年的科研產(chǎn)出數(shù)據(jù)，包括SCI中的2.5萬余篇，CSSCI中的1.9萬余篇，CNKI中的2.3萬余篇，ESI中的近300篇文章。

由于數(shù)據(jù)庫中作者、地址等字段的數(shù)據(jù)信息經(jīng)常會出現(xiàn)不夠規(guī)范和準確的情況，因此本次評估對提取出的數(shù)據(jù)庫信息進行了人工清理，保證數(shù)據(jù)具有一定的準確性后再進行下一步的科研競爭力分析。

3 機構(gòu)科研競爭力評價方法

3.1 整體科研競爭力評價方法

北京大學的整體科研競爭力主要從WOS總收錄論文數(shù)、總被引次數(shù)、篇均被引次數(shù)進行分析，評價了2000－2010年北京大學被SCI、SSCI、A＆HCI數(shù)據(jù)庫收錄的論文數(shù)量、總被引用次數(shù)、平均每篇論文被引次數(shù)。為降低國外合作對評估機構(gòu)真實科研競爭力的影響，進一步分析了北京大學科研人員作為通訊作者的論文占總論文數(shù)的比重。同時，將北京大學被SCI、SSCI、A＆HCI數(shù)據(jù)庫收錄的論文數(shù)量和篇均被引次數(shù)與哈佛大學、牛津大學、香港大學、清華大學等國內(nèi)外知名高校進行對比，衡量北京大學整體科研競爭力在國內(nèi)外的地位。

考慮到不同學科在期刊論文的發(fā)表和引用方面有著很大的差異，我們采取分學科的方式選取優(yōu)秀期刊，具體做法為：以JCR的特征因子指標為主要參考依據(jù)，按照2010年JCR自然科學版和JCR人文社科版的學科分類，選取各學科下特征因子排序前10名的期刊作為優(yōu)秀期刊。自然科學版分為173個學科，選出1376種優(yōu)秀期刊；JCR人文社科版分為55個學科，選出462種優(yōu)秀期刊；兩部分去重后共有1759種期刊。最后統(tǒng)計出北京大學在2000－2010年被SCI、SSCI、A＆HCI收錄的全部論文中發(fā)表在JCR優(yōu)秀期刊上的比例。此外，還統(tǒng)計了北京大學在2000－2010年間每年在《Nature》和《Science》上的論文發(fā)表數(shù)量。

此外，在人文社科領(lǐng)域，我們統(tǒng)計了北大發(fā)表的中文論文被CSSCI、中國期刊網(wǎng)人文社科領(lǐng)域核心期刊的收錄情況，并與人民大學、復旦大學等國內(nèi)人文社科重點院校進行對比。

3.2 各學科科研競爭力評價方法

北京大學各學科科研競爭力評價包括根據(jù)WOS的SCI、SSCI、A＆HCI數(shù)據(jù)，分析2000－2010年機構(gòu)發(fā)文量最活躍的排名前10位的學科，分別統(tǒng)計理工科和人文社科發(fā)文量排名前10的學科。鑒于不同學科之間論文的情況存在顯著差異，機構(gòu)、學科、院系、個人等各個層次的評估都盡量避免不同學科間的比較，主要與國內(nèi)外同學科的機構(gòu)、子機構(gòu)或國際平均水平進行對比。

根據(jù)ESI數(shù)據(jù)分析北大進入全球1%的學科中，WOS收錄的論文篇數(shù)和篇均被引次數(shù)，從每個學科選取ESI中排名前5位的各國高校進行比較，同時選取清華大學、中國科技大學等若干綜合實力較強的國內(nèi)高校與北大進行對比。

鑒于人文社會科學的特殊性，“Social Sciences，General”學科選取人文社科重點院校中國人民大學、復旦大學等進行對比，并將上述人文社科重點院校被CSSCI收錄的各學科論文數(shù)量與北大進行對比。

3.3 院系的科研競爭力評價方法

北京大學內(nèi)各院系由于學科的不同，總收錄論文數(shù)量、總被引次數(shù)以及篇均被引次數(shù)存在較大差異。評估將2000－2010年各院系發(fā)表的論文被SCI、SSCI、A＆HCI收錄及被引用次數(shù)分別按照理工類、交叉學科類、人文社科類進行歸類，并分析變化趨勢。由于論文數(shù)量較少的院系的被引用次數(shù)受單篇論文影響較顯著，因此只挑選收錄和被引較高的前10個院系進行分析。

分析北京大學各院系2001－2010年SCI、SSCI、A＆HCI收錄的論文中，在JCR優(yōu)秀期刊上按發(fā)文量排名前20的院系，并計算這些院系在JCR優(yōu)秀期刊上的發(fā)文比例。根據(jù)ESI的數(shù)據(jù)，統(tǒng)計2000－2011年各院系在本領(lǐng)域進入全球前1%行列的論文數(shù)量及通訊作者為機構(gòu)人員的論文數(shù)量。此外，將2000－2011年各院系在《Science》和《Nature》上發(fā)表的論文數(shù)量作為補充指標。

3.4 識別突出科研人員和科研合作情況

分析北京大學各院系2000－2010年在《Science》和《Nature》上發(fā)表論文的作者，并根據(jù)ESI的數(shù)據(jù)，統(tǒng)計出各院系進入全球前1%高引論文的作者，尤其是ESI中被引次數(shù)高、且通訊作者為北京大學科研人員的優(yōu)秀論文。通過高被引文章和權(quán)威期刊文章識別各院系中成果突出的科研人員。

為了解院系間的合作對科研產(chǎn)出數(shù)量與質(zhì)量的影響以及學科間交融的情況，本次評估同時也分析了北京大學2001－2010年被SCI、SSCI、A＆HCI收錄的論文中，由不同院系合作完成的論文數(shù)量和變化趨勢，以及論文的質(zhì)量和影響力情況，并分析了合作論文發(fā)表在JCR優(yōu)秀期刊的比例是否高于全校整體的優(yōu)秀論文比例。

4 評價小結(jié)

此次科研競爭力的評估主要基于SCI、SSCI、A＆HCI、中國知網(wǎng)、中國社會科學引文索引等國內(nèi)外知名數(shù)據(jù)庫中的文獻統(tǒng)計信息，并參考JCR、ESI等專業(yè)學科評估工具，力圖客觀、如實地反映北京大學在學術(shù)論文方面的科研競爭實力。此外，嘗試了院系層面的科研實力、科研合作等方面的分析評估，填補了以往科研實力評估中高校與個人兩個層面之間院系層次評估的空白，也為學校的多學科交叉與跨院系合作情況提供了一個新的評估角度。

科研競爭力的評價可以為科研決策提供必要的數(shù)據(jù)依據(jù)，但由于評價方法尚在探索過程中，評價過程也存在一些問題。例如評估中發(fā)現(xiàn)各數(shù)據(jù)庫中的論文署名單位、各院系（實驗室、研究中心）名稱等信息都存在不規(guī)范的現(xiàn)象，特別是機構(gòu)（或院系）英文名稱不規(guī)范或科研人員的論文署名只包含實驗室而未體現(xiàn)機構(gòu)名稱等情況尤為常見，這些因素都會影響到數(shù)據(jù)導出和分析的準確性。雖然通過人工的數(shù)據(jù)清理能夠在一定程度上解決這個問題，但從根源上則需要各機構(gòu)進一步規(guī)范其署名形式和要求，加強署名規(guī)范的宣傳和培訓，從而在今后的評估中得到更為全面準確的機構(gòu)成果數(shù)據(jù)，使評估分析更為精準地反映實際情況。

此次科研競爭力評估是北京大學圖書館信息咨詢部開展高端咨詢服務(wù)的一次有益嘗試，充分發(fā)揮了圖書館熟悉相關(guān)數(shù)據(jù)庫與文獻計量方法的特長，以客觀、嚴謹?shù)牧炕治鰹閷W校的科研管理與決策提供了參考服務(wù)，同時也為進一步開展學科服務(wù)與高端咨詢服務(wù)積累了寶貴的經(jīng)驗。機構(gòu)的科研競爭力分析是一項很有意義的工作，圖書館可以在此領(lǐng)域繼續(xù)探索，為更加知識化、專業(yè)化的服務(wù)奠定基礎(chǔ)。

1 邱均平，趙蓉英，余以勝.中國高?？蒲懈偁幜υu價的理念與實踐.高教發(fā)展與評估，2005，21（1）：31－36

2 丁敬達，邱均平.科研評價指標體系優(yōu)化方法研究——以中國高校科技創(chuàng)新競爭力評價為例.科研管理，2010，31（4）：111－118

3 亨克·F·莫德，佟賀豐譯.科研評價中的引文分析.北京：科學技術(shù)文獻出版社，2010：20

4 吳丹青，褚超孚，吳光豪，劉艷陽.SSCI作為我國社會科學評價指標的若干思考.統(tǒng)計與決策，2005（10）：36－38

Evaluation Methods of Scientific Research Competitiveness

Ai Chunyan Zhao Fei You Yue Liu Suqing

Scientific research competitiveness evaluation based on objective data can provide information support for university research management.Peking University Library uses bibliometrics method to assess its university scientific research competitiveness，measures performance of the university，the departments as well as individuals from multiple perspectives，and makes comparative analysis on the performance in the global community and at department level，which aims to identify the university's research strengths，competitive advantages，challenges and opportunities.It is hoped to be beneficial to the decision making of the university management.

Scientific Research Competitiveness Evaluation；Bibliometrics；University Department

北京大學圖書館信息咨詢部，北京，100871

2012年11月26日