文獻(xiàn)計(jì)量在科研團(tuán)隊(duì)學(xué)術(shù)影響力分析中的實(shí)踐與思考
——以凍土工程國家重點(diǎn)實(shí)驗(yàn)室為例

李 娜，賈筱景，毛文梁，馬建霞

（1.中國科學(xué)院西北生態(tài)環(huán)境資源研究院文獻(xiàn)情報(bào)中心，蘭州730000；2.華南理工大學(xué)圖書館，廣州510000）

0 引 言

學(xué)術(shù)影響通常是指在學(xué)術(shù)方面產(chǎn)生的影響，包括對人和對相關(guān)學(xué)術(shù)專業(yè)的理論和實(shí)踐等的影響［1］。加拿大人文與社會科學(xué)聯(lián)合會于2017年發(fā)布報(bào)告《評估人文與社會科學(xué)影響力的途徑》中強(qiáng)調(diào)，對學(xué)者或科研團(tuán)隊(duì)影響力的評價(jià)研究，一直以來都是科研管理和科研學(xué)術(shù)評價(jià)領(lǐng)域研究熱點(diǎn)，也是科技評估實(shí)踐中的難點(diǎn)。我國的科研評估工作始于20世紀(jì)70年代末期，隨著獎(jiǎng)勵(lì)政策、晉升制度與其掛鉤，SCI量化評估指標(biāo)逐漸成為衡量國家級科研機(jī)構(gòu)（如國內(nèi)的大學(xué)和中國科學(xué)院）、科研團(tuán)隊(duì)（國家級科研機(jī)構(gòu)下屬的各研究單元）和科學(xué)工作者學(xué)術(shù)水平最重要的、甚至唯一的標(biāo)尺［2］?，F(xiàn)階段我國科學(xué)研究的規(guī)模和專業(yè)性與日俱增；與此同時(shí)，國內(nèi)“不唯SCI”的呼聲不斷。在這種形勢下，對于已經(jīng)完成和正在進(jìn)行的各種紛繁復(fù)雜的科研工作及其大量科研產(chǎn)出，單靠組織專家評審方式開展定性考量很難達(dá)到公正而高效的評估效果。

在過去的10多年內(nèi)，國內(nèi)外有不少相關(guān)研究從發(fā)展評估指數(shù)、構(gòu)建評估模型等角度出發(fā)，探索更為精準(zhǔn)的評估和預(yù)測學(xué)術(shù)影響力的新方法［3-11］。然而，在這些工作中多偏重指標(biāo)計(jì)算與評價(jià)體系的理論研究［12-13］，應(yīng)用時(shí)存在執(zhí)行困難、效果欠佳等缺點(diǎn)［14］。2016年5月習(xí)近平總書記在“科技三會”上明確指出，要改革科技評價(jià)制度、建立分類評價(jià)體系［15］。2018年6月中國科技部發(fā)布“關(guān)于加強(qiáng)國家重點(diǎn)實(shí)驗(yàn)室建設(shè)發(fā)展的若干意見”中指出，要大幅提升國家重點(diǎn)實(shí)驗(yàn)室的原始創(chuàng)新能力、國際學(xué)術(shù)影響力等［16］。合理評判一個(gè)國家重點(diǎn)實(shí)驗(yàn)室科研團(tuán)隊(duì)的學(xué)術(shù)影響力，在團(tuán)隊(duì)自我診斷與管理導(dǎo)向方面均具有實(shí)際意義。當(dāng)然，任何一個(gè)評估體系的建立需要經(jīng)歷一個(gè)較長期的實(shí)踐與反復(fù)修正過程。文獻(xiàn)計(jì)量作為一種相對客觀、操作性強(qiáng)的方法，被廣泛地應(yīng)用于科研績效評估領(lǐng)域。實(shí)際應(yīng)用中，通常是采用文獻(xiàn)計(jì)量學(xué)指標(biāo)來量化并分析某一科研團(tuán)體的發(fā)文質(zhì)量與影響力［17-18］。在評價(jià)科研工作者及科研團(tuán)隊(duì)的工作中，盡管文獻(xiàn)計(jì)量學(xué)指標(biāo)的適用性會因評價(jià)對象和評價(jià)尺度的不同而有差別［19］，但是從現(xiàn)實(shí)條件出發(fā)，文獻(xiàn)計(jì)量指標(biāo)和方法在定量評估中仍具有其獨(dú)特的客觀、明確、可對比性高等優(yōu)勢［20］。

每個(gè)科研團(tuán)隊(duì)均有其自己的學(xué)科與研究特點(diǎn)，尤其是基礎(chǔ)研究，作為高新技術(shù)發(fā)展的源頭，其高水平的論文一向是他們最主要的研究成果產(chǎn)出，也是文獻(xiàn)計(jì)量統(tǒng)計(jì)的主要數(shù)據(jù)源。國家重點(diǎn)實(shí)驗(yàn)室評估是基礎(chǔ)研究同行評議中最為復(fù)雜的一類評價(jià)工作，所遵循的評估主要原則是定性與定量指標(biāo)有機(jī)結(jié)合［21］。本文以國內(nèi)凍土研究領(lǐng)域最為著名的團(tuán)隊(duì)——中國凍土工程國家重點(diǎn)實(shí)驗(yàn)室為例，通過細(xì)分可覆蓋整個(gè)凍土領(lǐng)域的4個(gè)研究分支（凍土工程、凍土力學(xué)、凍土環(huán)境和凍土物理），并利用文獻(xiàn)計(jì)量的方法，從學(xué)科領(lǐng)域和研究分支的角度對比分析了該科研團(tuán)隊(duì)的學(xué)術(shù)影響力及其隨年份的演化趨勢。研究與實(shí)踐的嘗試可為評估工作的定量信息分析提供具體數(shù)據(jù)支持，也可作為科研團(tuán)隊(duì)未來學(xué)科發(fā)展與建設(shè)的參考依據(jù)。

1 數(shù)據(jù)來源與研究方法

分析數(shù)據(jù)均來自Web of Science數(shù)據(jù)庫核心合集，利用DDA（Derwent Data Analyzer）文獻(xiàn)計(jì)量專業(yè)分析軟件以及office Excel進(jìn)行數(shù)據(jù)處理。整個(gè)數(shù)據(jù)集中的文獻(xiàn)類型限制為ARTICLE、REVIEW、LETTER和MEETING （proceedings paper/Article： proceedings paper）四種且均為SCIE/CPCI收錄論文的題錄信息。

根據(jù)《凍土學(xué)辭典》中表達(dá)凍土研究的關(guān)鍵詞進(jìn)行檢索，將檢索到的凍土學(xué)研究領(lǐng)域研究論文的題錄信息作為基礎(chǔ)數(shù)據(jù)集。合并Abstract（Phrases）、Keywords （author＇s）和Title （Phrases）這3 個(gè)字段并咨詢領(lǐng)域權(quán)威專家，將整個(gè)凍土研究數(shù)據(jù)集按照關(guān)鍵詞控制檢索，劃分為如表1所示的4個(gè)研究方向，最終形成用來分類分析的子數(shù)據(jù)集。

表1 凍土領(lǐng)域4個(gè)研究分支控制關(guān)鍵詞表

2 應(yīng)用實(shí)踐與分析

凍土工程國家重點(diǎn)實(shí)驗(yàn)室是凍土領(lǐng)域知名的科研團(tuán)隊(duì)，研究中利用以上收集并分類的整個(gè)凍土領(lǐng)域的發(fā)文數(shù)據(jù)，采用文獻(xiàn)計(jì)量的方法從不同角度挖掘整個(gè)團(tuán)隊(duì)在該領(lǐng)域的學(xué)術(shù)表現(xiàn)，從整體（學(xué)科領(lǐng)域）到局部（研究分支）的角度全面分析團(tuán)隊(duì)的學(xué)術(shù)影響力。

2.1 從學(xué)科領(lǐng)域看科研團(tuán)隊(duì)的學(xué)術(shù)影響力

文獻(xiàn)計(jì)量學(xué)常用數(shù)據(jù)源通常來自多學(xué)科的大型數(shù)據(jù)庫，從數(shù)據(jù)庫中提取的常規(guī)指標(biāo)最合適的評價(jià)對象是宏觀層面上的國家級科研機(jī)構(gòu)（例如國內(nèi)的大學(xué)和中國科學(xué)院）［19］。然而，凍土工程國家重點(diǎn)實(shí)驗(yàn)室是以其所依托上級機(jī)構(gòu)中國科學(xué)院在大型數(shù)據(jù)庫中進(jìn)行分類統(tǒng)計(jì)。對于評價(jià)如此一個(gè)“小”的科研團(tuán)隊(duì)來說，從宏觀層面獲取的分析結(jié)果的分辨率顯然無法精確地反映出“小”團(tuán)隊(duì)在相應(yīng)的學(xué)科領(lǐng)域的真實(shí)學(xué)術(shù)影響力。為了呈現(xiàn)“小”團(tuán)隊(duì)在“大”領(lǐng)域中的研究實(shí)力，首先以“相似規(guī)模且研究領(lǐng)域相對集中”的原則將國際上的科研機(jī)構(gòu)細(xì)分成相對獨(dú)立的科研團(tuán)隊(duì)（或研究單元，即每個(gè)國家級科研機(jī)構(gòu)下屬的某個(gè)實(shí)驗(yàn)室、研究所、研究中心或者院系等），然后將這些具有類似規(guī)模的科研團(tuán)隊(duì)作對比分析，最終獲得我國凍土工程國家重點(diǎn)實(shí)驗(yàn)室在這個(gè)科研團(tuán)隊(duì)群中所處的具體位置。

某一時(shí)間段內(nèi)科研團(tuán)隊(duì)在相關(guān)學(xué)科領(lǐng)域發(fā)表的論文數(shù)量，在一定程度上可以作為一個(gè)指標(biāo)來量化該團(tuán)隊(duì)對本學(xué)科領(lǐng)域所產(chǎn)生的學(xué)術(shù)影響力。因此，在表2中首先列出了2013～2017年5年間我國凍土工程國家重點(diǎn)實(shí)驗(yàn)室以及與國際上其具有類似規(guī)模的科研團(tuán)隊(duì)在凍土領(lǐng)域發(fā)文量TOP10的排名情況。

表2 凍土研究領(lǐng)域發(fā)文量TOP10科研機(jī)構(gòu)（2013～2017）

數(shù)據(jù)顯示最近的5年間中國凍土工程國家重點(diǎn)實(shí)驗(yàn)室在本領(lǐng)域的發(fā)文量（251篇）最多，且遠(yuǎn)遠(yuǎn)超出排名第2的亥姆霍茲極地海洋研究中心（169篇），說明了凍土工程國家重點(diǎn)實(shí)驗(yàn)室的研究實(shí)力在凍土領(lǐng)域占有絕對優(yōu)勢地位；通過細(xì)分科研團(tuán)隊(duì)后，屬于阿拉斯加費(fèi)爾班克斯分校的3個(gè)團(tuán)隊(duì)（國際北極研究中心、地球物理研究所、生物學(xué)及野生動物系）從宏觀層面的分析中成功剝離出來，以獨(dú)立的個(gè)體呈現(xiàn)出了各自在該學(xué)科領(lǐng)域的學(xué)術(shù)地位。然而，僅從發(fā)文量這一指標(biāo)來描述一個(gè)科研團(tuán)隊(duì)的學(xué)術(shù)影響力具有明顯的局限性，主要原因是發(fā)文量參數(shù)無法提供發(fā)文質(zhì)量的信息?？蒲袌F(tuán)隊(duì)發(fā)表的論文質(zhì)量可用論文的被引次數(shù)（可表征被本學(xué)科領(lǐng)域其他團(tuán)隊(duì)對其的關(guān)注度）這一指標(biāo)來量化。因此，進(jìn)一步分析了發(fā)文量TOP10的各科研團(tuán)隊(duì)的篇均被引頻次和被引頻數(shù)大于10的發(fā)文數(shù)量占總發(fā)文量的比例（以下稱為“高被引論文比例”），并將這兩個(gè)參數(shù)同樣呈現(xiàn)在表2中。需要注意的是，盡管凍土工程國家重點(diǎn)實(shí)驗(yàn)室的發(fā)文量在凍土領(lǐng)域占有絕對優(yōu)勢地位，該團(tuán)隊(duì)對應(yīng)的篇均被引頻次和高被引論文比例這兩個(gè)表征發(fā)文質(zhì)量的指標(biāo)在這10個(gè)團(tuán)隊(duì)中卻處于最低水平；相反，發(fā)文量排名靠后的阿拉斯加費(fèi)爾班克斯分校生物學(xué)及野生動物系（排名第8）和美國橡樹嶺國家實(shí)驗(yàn)室（排名第9）的被引頻次和高被引論文比例均處于較高水平。由此可見，若想精確把握諸如凍土工程國家重點(diǎn)實(shí)驗(yàn)室的科研團(tuán)隊(duì)在其學(xué)科領(lǐng)域的影響力，首先要將研究相對集中的科研團(tuán)隊(duì)單獨(dú)從國家級科研機(jī)構(gòu)中提取出來，然后與類似規(guī)模的團(tuán)隊(duì)群進(jìn)行比較。這種分析方法有效地避免了不對等科研機(jī)構(gòu)間的不公平對比。除此之外，在分析可表征學(xué)術(shù)影響力的指標(biāo)時(shí)，單一指標(biāo)往往具有很大的局限性和不確定性，再一次強(qiáng)調(diào)了今后的分析工作中研究成果的質(zhì)和量之間的權(quán)衡考慮在獲得精準(zhǔn)評估結(jié)果的重要性。

2.2 從研究分支看科研團(tuán)隊(duì)的學(xué)術(shù)影響力

在學(xué)術(shù)影響力的評價(jià)中，不同學(xué)科領(lǐng)域及其分支方向都有其獨(dú)特之處，“大同行”與“小同行”不可同日而語的現(xiàn)象比比皆是；把不同的研究分支放在一起用同一個(gè)尺度去衡量更不科學(xué)；非同一研究分支的團(tuán)隊(duì)通過傳統(tǒng)的文獻(xiàn)計(jì)量指標(biāo)的統(tǒng)計(jì)計(jì)算當(dāng)然也無法準(zhǔn)確地反映其在“大”學(xué)科領(lǐng)域的學(xué)術(shù)影響力。雖然WOS數(shù)據(jù)庫中已經(jīng)對期刊學(xué)科類別做了細(xì)致的區(qū)分，但考慮到期刊的綜合性以及學(xué)科的特點(diǎn)與交叉的紛繁，在實(shí)際執(zhí)行當(dāng)中卻很難利用。為了恪守文獻(xiàn)計(jì)量學(xué)評價(jià)中“同類相比”的基本原則［22］，本工作嘗試性的將涵蓋凍土研究領(lǐng)域的4大分支——凍土工程、凍土力學(xué)、凍土環(huán)境（災(zāi)害）、凍土物理（熱力學(xué)、構(gòu)造等），分別進(jìn)行統(tǒng)計(jì)分析，分析結(jié)果如表3所示。

表3 凍土研究領(lǐng)域4大分支方向發(fā)文量優(yōu)勢科研機(jī)構(gòu)（2013～2017）

在對分析結(jié)果進(jìn)行描述之前，需要強(qiáng)調(diào)的是，對于特定的一個(gè)科研團(tuán)隊(duì)，4個(gè)研究分支的發(fā)文量之和遠(yuǎn)遠(yuǎn)大于其在“大”學(xué)科領(lǐng)域分析的總的發(fā)文量（例如2013～2017年間我國凍土工程國家重點(diǎn)實(shí)驗(yàn)室在4個(gè)研究分支的發(fā)文量之和為589篇，而在凍土領(lǐng)域的總發(fā)文量為251篇［見表2］）。導(dǎo)致兩者不同的主要原因是在研究分支層面進(jìn)行分析時(shí)，有些論文同時(shí)被劃分在不同的研究分支中。僅從2013～2017年間年的發(fā)文量來看，最近5年我國凍土工程國家重點(diǎn)實(shí)驗(yàn)室和俄羅斯莫斯科羅蒙諾索夫國立大學(xué)地質(zhì)與地理系在4個(gè)研究分支的學(xué)術(shù)影響力均處于明顯優(yōu)勢地位（這一結(jié)果與在“大”領(lǐng)域分析的結(jié)果類似，見表2），且在這4個(gè)分支投入的研究力量相對均衡；需要指出的是，從大領(lǐng)域分析層面發(fā)文量排名第2的阿爾弗雷德魏格納研究所暨亥姆霍茲極地海洋研究中心（AWI）、排名第5的阿拉斯加費(fèi)爾班克斯分校地球物理研究所和排名第6的加州大學(xué)伯克利分校勞倫斯伯克利國家實(shí)驗(yàn)室，研究方向主要分布在凍土力學(xué)、凍土環(huán)境和凍土物理這3個(gè)分支，而對于凍土工程（幾乎）沒有涉及；排名分別為第4的阿拉斯加費(fèi)爾班克斯分校國際北極研究中心和第8的生物學(xué)及野生動物系、排名第7的瑞典斯德哥爾摩大學(xué)Bolin氣候研究中心，研究方向（幾乎）沒有涉及到凍土工程和凍土物理；排名第9的美國橡樹嶺國家實(shí)驗(yàn)室和第10的美國科羅拉多大學(xué)環(huán)境科學(xué)聯(lián)合研究院國家雪冰數(shù)據(jù)中心，研究方向主要分布在凍土環(huán)境這一分支。除此之外，4個(gè)分支在總體發(fā)文量方面差異也相對明顯：凍土環(huán)境分支的論文產(chǎn)出最多，排名前10的團(tuán)隊(duì)發(fā)文量都在50篇以上且有2個(gè)團(tuán)隊(duì)過100篇；其余3個(gè)分支的發(fā)文相對較少，尤其是凍土物理方向，發(fā)文量在10篇以上的科研團(tuán)隊(duì)只有6家。通過引文分析所呈現(xiàn)的不同分支的研究成果被同行的關(guān)注程度（均篇被引頻次和高被引論文比例，見表3）可以發(fā)現(xiàn)：我國凍土工程國家重點(diǎn)實(shí)驗(yàn)室在4個(gè)研究分支中，具有相對較好學(xué)術(shù)影響力的是凍土工程分支，其次為凍土物理分支。從整體上來看，凍土工程領(lǐng)域的整體發(fā)文量、被引頻次以及高被引論文比例都低于其他3個(gè)研究分支。這一結(jié)果揭示了在國際凍土領(lǐng)域中凍土工程是相對較弱的一個(gè)分支，當(dāng)前推進(jìn)該分支的中堅(jiān)力量來自我國凍土工程國家重點(diǎn)實(shí)驗(yàn)室團(tuán)隊(duì)。

綜上所述，研究分支的細(xì)分可以讓不同的科研團(tuán)隊(duì)在自身相對優(yōu)勢的研究方向內(nèi)進(jìn)行對比，一定程度上削弱了研究方向差別帶來的干擾，更準(zhǔn)確地展現(xiàn)研究團(tuán)隊(duì)之間的真實(shí)差異，客觀公平地呈現(xiàn)團(tuán)隊(duì)在對應(yīng)研究方向的學(xué)術(shù)影響力。

2.3 從發(fā)文期刊看科研團(tuán)隊(duì)學(xué)術(shù)影響力的演化趨勢

期刊影響因子（IF）是美國SCI創(chuàng)始人加菲爾德（E.Garfield）率先提出并且已經(jīng)得到廣泛應(yīng)用的一項(xiàng)期刊定量評價(jià)的重要指標(biāo)［23］，雖然在評價(jià)領(lǐng)域存在很多爭議，但它依然是評價(jià)論文質(zhì)量的一種直接有效的定量指標(biāo)。實(shí)踐中，人們無法完全利用定量的方法來衡量某篇論文或某些論文的學(xué)術(shù)成就，但是如果分析在特定時(shí)期內(nèi)某一科研團(tuán)隊(duì)發(fā)文期刊的IF隨年份的演化規(guī)律，是可以在一定程度上反映該團(tuán)隊(duì)在學(xué)科領(lǐng)域的學(xué)術(shù)影響力的動態(tài)演化。

圖1 凍土工程國家重點(diǎn)實(shí)驗(yàn)室在2013～2017年間發(fā)文質(zhì)量變化趨勢

3 結(jié)論與討論

對科研團(tuán)隊(duì)學(xué)術(shù)影響力的客觀評估必須結(jié)合同行評議和定量分析兩種方式。文獻(xiàn)計(jì)量分析可以作為同行評議的一種補(bǔ)充，只要分析尺度把握合理，專業(yè)學(xué)科方向精確細(xì)分，分析呈現(xiàn)角度靈活處理，就可以將文獻(xiàn)計(jì)量方法有效地利用起來，為學(xué)術(shù)影響力評估提供可靠的數(shù)據(jù)支撐。

本研究以我國凍土工程國家重點(diǎn)實(shí)驗(yàn)室以基礎(chǔ)研究為主的“小”科研團(tuán)隊(duì)為例，用傳統(tǒng)的文獻(xiàn)計(jì)量方法從不同角度嘗試了如何展現(xiàn)一個(gè)科研團(tuán)隊(duì)的學(xué)術(shù)影響力：從全球大學(xué)科領(lǐng)域全面把握一個(gè)科研團(tuán)隊(duì)的總體發(fā)文情況以及在具有類似體量研究單元群之間的國際位置；再通過關(guān)鍵詞控制進(jìn)行具體學(xué)科分支方向的劃分，細(xì)致對比分析出科研團(tuán)隊(duì)在大學(xué)科領(lǐng)域中不同研究分支的優(yōu)勢；從團(tuán)隊(duì)整體發(fā)文期刊水平的變化，動態(tài)地評估了其學(xué)術(shù)水平在特定時(shí)期內(nèi)的發(fā)展演變趨勢。

在科研評價(jià)領(lǐng)域，學(xué)者們都在探討如何更好地展現(xiàn)學(xué)術(shù)影響力，但對于“學(xué)術(shù)影響力”尚無清晰且被廣泛接受的定義。學(xué)術(shù)工作本身形式多樣且領(lǐng)域交叉頻繁，定量評價(jià)中無法通過某個(gè)單一指標(biāo)或某組特定指標(biāo)反映其多樣性的學(xué)術(shù)影響力。雖然文獻(xiàn)計(jì)量的評估方法存在一定的局限性，但在現(xiàn)有的條件下，利用發(fā)文數(shù)據(jù)進(jìn)行評價(jià)無疑是一種相對客觀公平且易執(zhí)行的方法。如何更合理地利用這種方法來展現(xiàn)一個(gè)科研機(jī)構(gòu)或者科研團(tuán)隊(duì)的學(xué)術(shù)影響力，應(yīng)該根據(jù)其自身長期從事研究工作的學(xué)科特點(diǎn)來“量身定做”。

科研機(jī)構(gòu)和科研團(tuán)隊(duì)的學(xué)術(shù)影響力評估是一項(xiàng)非常具有挑戰(zhàn)性且支撐科研創(chuàng)新和科研管理的工作。在本文涉及的實(shí)踐中，領(lǐng)域?qū)＜以诜治鼋嵌鹊拇_定以及數(shù)據(jù)檢索的過程中都扮演著不可或缺的角色。從第三方評估的角度出發(fā)，在堅(jiān)持公平公正原則的基礎(chǔ)上，根據(jù)評價(jià)對象的特點(diǎn)，充分利用現(xiàn)有的、易獲取且客觀的數(shù)據(jù)資源，探索操作性強(qiáng)且具靈活性和適應(yīng)性的評估方法，是該研究領(lǐng)域需要充分思考、共同努力的方向。