文獻(xiàn)計(jì)量在科研評估中的問題與校正探討

董岳珂

(上海對外經(jīng)貿(mào)大學(xué)圖書館，上海 201620)

·業(yè)務(wù)研究·

文獻(xiàn)計(jì)量在科研評估中的問題與校正探討

董岳珂

(上海對外經(jīng)貿(mào)大學(xué)圖書館，上海 201620)

基于文獻(xiàn)計(jì)量在成果產(chǎn)出源、成果統(tǒng)計(jì)和個(gè)人影響力方面評測存在的問題，通過引入數(shù)學(xué)方法，情報(bào)搜索以及比值計(jì)算來校正文獻(xiàn)計(jì)量在科研評估中的片面性、局限性以及數(shù)據(jù)統(tǒng)計(jì)上的不公正。將前置條件、評測背景等因素納入評測范疇，使文獻(xiàn)計(jì)量在科研評估中更公平、公允并切合實(shí)際的反映出評估對象的科研實(shí)力。

文獻(xiàn)計(jì)量；科研評估；學(xué)術(shù)影響力

科研評估的量化評測是大數(shù)據(jù)時(shí)代發(fā)展的必然趨勢。文獻(xiàn)計(jì)量已成為科研評估量化評測的重要組成部分。文獻(xiàn)作為科研產(chǎn)出的主要成果或?qū)嶓w除承載的科研成果外，還包括了重要的科研產(chǎn)出要素，即人或所屬機(jī)構(gòu)。同時(shí)，文獻(xiàn)的相互引用或相互關(guān)聯(lián)從一定意義上描述了學(xué)科之間的相互影響或相互作用。通過對文獻(xiàn)各個(gè)組成要素的計(jì)量或統(tǒng)計(jì)客觀反應(yīng)了科研的整體發(fā)展趨勢以及所具有的影響力效應(yīng)。

文獻(xiàn)計(jì)量現(xiàn)已成為科研評估的主要方法和手段。隨著大數(shù)據(jù)時(shí)代的到來，運(yùn)用文獻(xiàn)計(jì)量法更能從量上體現(xiàn)科研成果的產(chǎn)出情況。目前圖書館常用的科研產(chǎn)出檢索數(shù)據(jù)庫包括：SCI、SSCI、SCOPUS等?？蒲性u估離不開科學(xué)的分析，僅單憑絕對的科研產(chǎn)出數(shù)據(jù)無法定位一所高校在相對的環(huán)境中的科研實(shí)力。

為了科學(xué)實(shí)現(xiàn)文獻(xiàn)計(jì)量的公允性，需要考慮到科研產(chǎn)出的前置條件來公正評測機(jī)構(gòu)或個(gè)人的產(chǎn)出成果，通過運(yùn)用數(shù)理統(tǒng)計(jì)、情報(bào)搜索等方法對前置條件下的產(chǎn)出評測進(jìn)行校正處理，希冀在評測文獻(xiàn)、作者或某個(gè)機(jī)構(gòu)的科研產(chǎn)出或影響力方面將更加公平、公允。

1 文獻(xiàn)計(jì)量在科研評估中存在的問題

各權(quán)威檢索平臺的數(shù)據(jù)析出并未具備一定意義上的準(zhǔn)確性，這些問題的產(chǎn)生來自于數(shù)據(jù)的起始著錄，在數(shù)據(jù)來源這一項(xiàng)的標(biāo)注中缺乏對機(jī)構(gòu)的詳細(xì)描述，而且在成果歸類上，外文檢索平臺對文獻(xiàn)的學(xué)科歸屬劃定與國內(nèi)的標(biāo)準(zhǔn)劃分存在某些方面的不一致。檢索平臺在對文獻(xiàn)本身的揭示、關(guān)聯(lián)方面實(shí)現(xiàn)了很多技術(shù)上的突破，然在對文獻(xiàn)產(chǎn)出源的描述中缺乏系統(tǒng)性、統(tǒng)一性的描述規(guī)范或標(biāo)準(zhǔn)，導(dǎo)致在對成果出處的統(tǒng)計(jì)中存在一些問題。而且數(shù)據(jù)庫對字段的著錄也存在一些顯著性的錯(cuò)誤。譬如由于機(jī)構(gòu)更名會使一些學(xué)術(shù)成果無法檢出。如Scopus數(shù)據(jù)庫中，并未對更名后的上海對外經(jīng)貿(mào)大學(xué)名稱進(jìn)行機(jī)構(gòu)標(biāo)引，導(dǎo)致該校更名后的學(xué)術(shù)成果無法通過機(jī)構(gòu)名檢索獲取。類似數(shù)據(jù)原始著錄方面的問題在各個(gè)權(quán)威檢索平臺中已是屢見不鮮。

從文獻(xiàn)計(jì)量的角度來看，由于數(shù)據(jù)庫起始著錄存在的問題，導(dǎo)致科研成果在數(shù)據(jù)統(tǒng)計(jì)中存在諸多弊端，除字段著錄錯(cuò)誤或字段缺省外，成果產(chǎn)出源描述的單一性，如僅有作者姓名和所屬單位的描述，對于作者的詳細(xì)描述存在數(shù)據(jù)不完善、數(shù)據(jù)滯后、數(shù)據(jù)描述標(biāo)準(zhǔn)不統(tǒng)一等問題，如上所述問題將導(dǎo)致通過文獻(xiàn)計(jì)量無法評測成果產(chǎn)出源對成果產(chǎn)出的貢獻(xiàn)程度，無法準(zhǔn)確定位科研實(shí)力的構(gòu)成因素。

1.1 計(jì)量科研成果產(chǎn)出源及影響力存在的問題

1.1.1 計(jì)量科研成果產(chǎn)出源存在的問題

1)科研成果與院系無法對應(yīng)

對于高校一定時(shí)間內(nèi)科研成果的統(tǒng)計(jì)，數(shù)據(jù)的主要獲取方式還是使用檢索平臺。而數(shù)據(jù)庫對成果的標(biāo)引項(xiàng)中一般僅有作者所屬機(jī)構(gòu)的一級機(jī)構(gòu)標(biāo)注，部分?jǐn)?shù)據(jù)并未精確到作者機(jī)構(gòu)的二級機(jī)構(gòu)，譬如學(xué)院或院系等等。這樣就很難通過檢索準(zhǔn)確獲取本機(jī)構(gòu)各個(gè)二級機(jī)構(gòu)(院系)的科研產(chǎn)出情況。例如檢索清華同方平臺發(fā)現(xiàn)在對同一位作者的成果收集中，部分文獻(xiàn)的詳細(xì)頁面著錄有作者所屬機(jī)構(gòu)的二級機(jī)構(gòu)，如×××大學(xué)×××學(xué)院。部分文獻(xiàn)僅有一級機(jī)構(gòu)的描述，未有詳盡的二級機(jī)構(gòu)描述，如僅有×××大學(xué)。且詳盡的作者著錄頁面也僅有作者所屬一級機(jī)構(gòu)的描述，未有所屬二級機(jī)構(gòu)的描述。這樣從某種程度上造成了二級教研機(jī)構(gòu)成果統(tǒng)計(jì)的困難和數(shù)據(jù)的不完整。很多情況下，在高?；蛘呖蒲性核瑢W(xué)科建設(shè)是以院系為單位進(jìn)行的?？蒲谐晒漠a(chǎn)出情況應(yīng)該從院系層面進(jìn)行揭示，這樣對高校的學(xué)科評估以及學(xué)科建設(shè)才更有借鑒價(jià)值[1]。

2) 國內(nèi)外學(xué)科對應(yīng)關(guān)系的不明確

科研評估中高校還是比較注重外文成果的產(chǎn)生情況，外文成果在一定程度上更能表征高校在國際上的科研實(shí)力。對于外文成果的獲取均來自于外文數(shù)據(jù)庫，譬如常用的WOS平臺數(shù)據(jù)庫，以及SCOPUS、EI等。但這些數(shù)據(jù)庫的學(xué)科劃分與國內(nèi)學(xué)科之間的對應(yīng)關(guān)系并不精確，一些成果的學(xué)科歸屬就會存在誤差。例如在對一位從事金融市場研究的作者成果收集中發(fā)現(xiàn)SSCI平臺將其外文成果歸為“數(shù)學(xué)”大類下的“統(tǒng)計(jì)及概率學(xué)”，中國知網(wǎng)將其中文成果歸為“經(jīng)濟(jì)學(xué)”下的“金融管理”。兩個(gè)學(xué)科之間的跨度還是很大的，中外文文獻(xiàn)分類的角度還是存在一定的差異性。基于國外數(shù)據(jù)庫的檢索平臺來進(jìn)行科研評估，還是需要慎重考慮到數(shù)據(jù)庫的學(xué)科劃分與高校自身學(xué)科的統(tǒng)一性或一致性。如何能夠在國內(nèi)外學(xué)科間建立更為精準(zhǔn)的映射，將成為加強(qiáng)科研評估的準(zhǔn)確性和說服力、增強(qiáng)校際間橫向可比性的重要因素之一[2]。

3)科研成果選擇的局限性

科研成果的主要數(shù)據(jù)來源于作者公開發(fā)表的學(xué)術(shù)成果，包括期刊論文、學(xué)位論文等。2017年“中國好大學(xué)排名”中僅以期刊論文和綜述作為評判依據(jù)，其它文獻(xiàn)類型如會議論文并未納入評價(jià)體系。同時(shí)，中外文數(shù)據(jù)庫收錄的學(xué)術(shù)成果資源也主要以期刊論文為主。若僅從期刊論文的產(chǎn)出定奪科研水平還是存在一些片面性的。教研機(jī)構(gòu)的學(xué)術(shù)專著、專利標(biāo)準(zhǔn)、國家級及省部級課題項(xiàng)目的承擔(dān)等，都可以成為科研評估的主要依據(jù)。但從文獻(xiàn)計(jì)量的角度來講，非數(shù)據(jù)庫收錄的資源在統(tǒng)計(jì)中需要更多的人工干預(yù)，并在一定層面降低了精確度。若從全方位統(tǒng)計(jì)科研機(jī)構(gòu)的科研產(chǎn)出成果，需要投入大量的時(shí)間和人力。

大數(shù)據(jù)時(shí)代，科研評估中其核心部分主要來自于成果發(fā)表的多維統(tǒng)計(jì)，人工干預(yù)及主觀判斷的部分在不斷縮減，即重大項(xiàng)目的承擔(dān)、重要國際會議的參與、以及無法量化的科研產(chǎn)出的統(tǒng)計(jì)與計(jì)算因其自身呈現(xiàn)的不規(guī)范性，從嚴(yán)格意義上來講很難納入標(biāo)準(zhǔn)統(tǒng)計(jì)范疇。然而對科研貢獻(xiàn)度的普遍認(rèn)可，并不僅僅包括公開發(fā)表的科研成果，其它不規(guī)則數(shù)據(jù)形式的科研實(shí)力表征也應(yīng)通過合理的計(jì)量給予一個(gè)數(shù)字上的科學(xué)詮釋[3]。

1.1.2 計(jì)量科研成果影響力存在的問題

期刊影響因子是核心期刊評測的主要指標(biāo)，期刊影響因子是以一定時(shí)間內(nèi)期刊中所有文章的被引量與期刊內(nèi)發(fā)表文章量的比值得出的。期刊影響因子計(jì)算的是一個(gè)均值，即篇均被引的次數(shù)。期刊影響因子表征的是期刊本身的篇均被引次數(shù)，并不代表單篇文章的影響力?？蒲袡C(jī)構(gòu)在評測作者成果影響力時(shí)，往往以是否出自于核心期刊來進(jìn)行評定，倘若這篇文章并沒有達(dá)到該刊影響因子的數(shù)值，是否也認(rèn)定該篇文章具有與該刊中達(dá)到或超過其影響因子數(shù)值的文章具有同等程度的影響力？例如，2017年9月4日通過清華同方數(shù)據(jù)庫檢索到刊載在《圖書館論壇》2014年9月的兩篇論文，其被引量具有顯著差異，題名為“英美高?？茖W(xué)數(shù)據(jù)管理與共享政策的調(diào)查分析”被引量為11次，題名為“一號多刊”出版亂象下的采編工作——以國家圖書館期刊采編工作為例”被引量為0次。據(jù)清華同方平臺統(tǒng)計(jì)顯示《圖書館論壇》的綜合影響因子為1.35(2016版)，可見被引量為0次的論文顯然沒有達(dá)到該刊影響因子的水平。從目前來看，對文章的評定都是基于期刊的級別，鑒于此，文章出自于哪本刊的重要性高于該篇文章自身的影響力。以期刊整體的被引情況來定奪單篇文章的影響力，在某種程度上是走量化的程序，加大評測的統(tǒng)一化管理，其說服力還有待深究。

文章被引量的統(tǒng)計(jì)與學(xué)科歸屬也存在密切關(guān)系，通常而言，生物醫(yī)藥類的文章被引量要大于人文社會科學(xué)類的文章。這也是由學(xué)科自身的研究發(fā)展性質(zhì)所決定，從宏觀層面來看，生物醫(yī)藥類的科研數(shù)據(jù)可成為不同文章研究內(nèi)容的參考源。人文社會科學(xué)的研究在某種程度上對客觀數(shù)據(jù)的實(shí)證借鑒并不擅長。僅就單一文章被引量來考證其影響力，脫離文章的學(xué)科背景也是不符合實(shí)際情況的。

文章的被引不僅包括本學(xué)科內(nèi)的文章引用，也可能是其它學(xué)科對本學(xué)科的引用，譬如計(jì)算機(jī)方面的文章也會被情報(bào)學(xué)方面的文章所引用。圖書館學(xué)方面的文章也會被教育學(xué)方面的文章所應(yīng)用，從以上普遍存在的學(xué)科之間交叉引用來看，若某學(xué)科的文章被引量高，并不一定表明該學(xué)科在自身發(fā)展中取得了豐碩的成果，或具有相關(guān)研究層面的優(yōu)勢或潛質(zhì)。亦或是學(xué)科自身的交叉性所導(dǎo)致的引用范圍的不斷擴(kuò)散。

1.2 科研成果評測的單一性問題

科學(xué)研究成果是在一定的科研環(huán)境中，包括物質(zhì)條件和智力條件，依據(jù)當(dāng)前研究儲備通過可操作途徑完成智力資源到研究成果的轉(zhuǎn)化。科研評估從一定層面上實(shí)現(xiàn)對成果數(shù)量和質(zhì)量上的評測，同時(shí)也是文獻(xiàn)計(jì)量學(xué)在科研評估中的主要應(yīng)用?？茖W(xué)研究是一個(gè)有機(jī)生態(tài)圈，僅從研究成果定位科學(xué)研究的實(shí)力或成效并不具有合理的參考價(jià)值?？蒲性u估不可忽視對科研產(chǎn)出源的考慮，即哪些因素對科研成果的產(chǎn)出是至關(guān)重要的，重要程度如何權(quán)衡。

1.2.1 缺乏科研產(chǎn)出源的量化評估

科研產(chǎn)出源是與科研成果產(chǎn)出直接相關(guān)的重要因素。這些重要要素包括成果產(chǎn)出機(jī)構(gòu)所從事的學(xué)科研究；機(jī)構(gòu)所處的地域位置；國家或行政機(jī)關(guān)的政策資金支持；成果產(chǎn)出人的學(xué)歷、職稱等級；學(xué)科背景；研究時(shí)間；海外學(xué)習(xí)經(jīng)歷等等?？陀^上來講，構(gòu)成科研產(chǎn)出的各項(xiàng)有利因素都可以納入科研產(chǎn)出源的范疇。各項(xiàng)科研產(chǎn)出源對科研成果的貢獻(xiàn)程度很難從量上進(jìn)行定奪，且當(dāng)前的科研評估的重點(diǎn)是放在對成果的統(tǒng)計(jì)與評測上，對于科研成果是如何產(chǎn)出的，在怎樣的條件下產(chǎn)生的并未納入評估的范疇?？蒲谐晒跀?shù)量上的差距除科研實(shí)力上的差距所導(dǎo)致外，科研產(chǎn)出源的各項(xiàng)因素也是導(dǎo)致科研成果數(shù)量上差距的客觀原因?？蒲性u估是從一定層面對科研實(shí)力的評測，只有在合理掌握科研產(chǎn)出源對科研成果的貢獻(xiàn)度基礎(chǔ)上，才能從本質(zhì)上把握科研實(shí)力上的優(yōu)勢和劣勢所在，從而定位科研實(shí)力提升的突破點(diǎn)。

科研產(chǎn)出源頭來自于高級人才以及多元的學(xué)科專業(yè)等。學(xué)科覆蓋的全面性和高級人才的高密集度都與科研的高產(chǎn)出量是正相關(guān)的。如何在科研評估中將科研產(chǎn)出源與科研產(chǎn)出量結(jié)合起來考慮，并從計(jì)量的角度統(tǒng)計(jì)在一定規(guī)模的產(chǎn)出源下有多少數(shù)量的科研產(chǎn)出成果分布是更科學(xué)的一種科研評估校正。

1.2.2 缺乏計(jì)量數(shù)據(jù)的多維比較

科研產(chǎn)出數(shù)據(jù)的分析多以文獻(xiàn)構(gòu)成要素展開計(jì)量角度。譬如通過檢索平臺獲取某年的成果數(shù)量、某人的歷年成果產(chǎn)出數(shù)量、某學(xué)科的歷年成果產(chǎn)出數(shù)量、某學(xué)科的歷年成果被引數(shù)量等等。這些數(shù)據(jù)表征了被評測對象科研成果的靜態(tài)數(shù)量，但并不能揭示該評測對象在科研方面的行進(jìn)狀態(tài)，其進(jìn)步或倒退的程度有多少，也不能揭示在同類對象對比中科研的相對實(shí)力或影響力。如何將科研數(shù)據(jù)置于一定的環(huán)境中去考究，如何使科研數(shù)據(jù)體現(xiàn)出一定層面的現(xiàn)實(shí)意義才是科研評估不可獲取的情報(bào)素材。

2 從情報(bào)搜索層面探討文獻(xiàn)計(jì)量的校正

數(shù)據(jù)庫檢索平臺在成果的數(shù)量統(tǒng)計(jì)上是具有優(yōu)越性的，但在成果出處方面的描述還存在一些問題。 為使對成果的出處統(tǒng)計(jì)更詳實(shí)準(zhǔn)確，且學(xué)科對應(yīng)和機(jī)構(gòu)對應(yīng)更貼近于機(jī)構(gòu)的實(shí)際情況，需要運(yùn)用數(shù)據(jù)庫檢索平臺以外的途徑獲取情報(bào)數(shù)據(jù)支撐。

2.1 計(jì)量科研成果產(chǎn)出源的校正分析

科研教學(xué)機(jī)構(gòu)的官方網(wǎng)站是獲取情報(bào)資源的主要渠道。通過登錄機(jī)構(gòu)官網(wǎng)獲取各級教研機(jī)構(gòu)所屬人員的情報(bào)信息，依據(jù)人員名稱的一致性。將檢索平臺獲取的該機(jī)構(gòu)的某人員的科研成果對應(yīng)到機(jī)構(gòu)官網(wǎng)的各級教研機(jī)構(gòu)的所屬人員，從而實(shí)現(xiàn)科研成果與教研分屬機(jī)構(gòu)的直接對應(yīng)，再有依據(jù)官網(wǎng)獲取的人員學(xué)科研究情報(bào)信息，可以對應(yīng)到檢索平臺文獻(xiàn)所屬學(xué)科，建立檢索平臺學(xué)科與官網(wǎng)情報(bào)獲取人員學(xué)科之間的映射關(guān)系?？紤]到機(jī)構(gòu)官網(wǎng)情報(bào)資源獲取的非順暢性，在某種程度獲取各個(gè)分屬教研機(jī)構(gòu)的人員教研信息還是存在一定困難的。徜若需要完善通過外文數(shù)據(jù)庫檢索獲取的成果資源，建立文獻(xiàn)與包含教研信息的機(jī)構(gòu)人員之間的映射關(guān)系還是很有必要的。

例如在收集本校各學(xué)院教師的成果時(shí)，首先登陸本校官網(wǎng)，進(jìn)入各個(gè)二級教研機(jī)構(gòu)的師資頁面，將各個(gè)二級機(jī)構(gòu)的所屬教師姓名、研究方向、職稱、學(xué)歷、科研成果等項(xiàng)逐一列出，然后利用數(shù)據(jù)庫平臺，通過本校名稱與作者姓名兩項(xiàng)，檢索獲取該位作者的科研成果。最終實(shí)現(xiàn)各個(gè)二級教研機(jī)構(gòu)科研成果的完整統(tǒng)計(jì)。

除通過數(shù)據(jù)庫檢索平臺獲取機(jī)構(gòu)的科研成果之外，通過情報(bào)搜索，譬如機(jī)構(gòu)官網(wǎng)可以獲取到對科研成果其它方面的描述，包括承擔(dān)的國家、省部級重大項(xiàng)目；精品課程的建設(shè)；國際性學(xué)術(shù)會議的承辦；專利標(biāo)準(zhǔn)的授予權(quán)等等?？梢詫⑶閳?bào)獲取的科研成果信息歸于個(gè)人或分屬教研機(jī)構(gòu)，充實(shí)完善科研評估中的遺漏或僅以數(shù)據(jù)庫檢索獲取成果的不完善性。做到百分百科研成果收集無遺漏是一種理想狀態(tài)，只有在原有的基礎(chǔ)上通過合理的情報(bào)獲取途徑來不斷完善科研成果的收集。

2.2 計(jì)量科研成果影響力的校正分析

考察學(xué)科或個(gè)人的影響力，引文分析是主要的數(shù)據(jù)評估方法。因各個(gè)學(xué)科的引用偏好不一樣，各個(gè)學(xué)科的縱向引用應(yīng)從歷年的數(shù)據(jù)中計(jì)算出一個(gè)基數(shù)，學(xué)科間的影響力對比應(yīng)基于基數(shù)去考察。譬如各個(gè)學(xué)科的半衰期的數(shù)值是不一樣的，同理各個(gè)學(xué)科的被引量也可以通過大樣本統(tǒng)計(jì)計(jì)算得出一個(gè)數(shù)值，在評測學(xué)科影響力時(shí)將該被引量基數(shù)作為評測依據(jù)來弱化學(xué)科自身引用偏好所導(dǎo)致的數(shù)量上的巨大差異。另外，個(gè)人影響力的評測需要考慮個(gè)人的職業(yè)年齡、所屬學(xué)科等等，可以通過不同學(xué)科、不同職稱、不同學(xué)位的人員分別考察其被引情況，從而體現(xiàn)對個(gè)人科研能力評測的公平性。

學(xué)科評估中，交叉學(xué)科的被引量從普遍意義上來講要高于單一學(xué)科。學(xué)科的引文分析囊括了學(xué)科內(nèi)與學(xué)科間的引用關(guān)系。在統(tǒng)計(jì)出的被引總量中，計(jì)算出學(xué)科內(nèi)與學(xué)科外之間的被引比例。通過學(xué)科內(nèi)外的引文分析可以明確本學(xué)科的發(fā)展趨勢，也從某種程度上認(rèn)識到學(xué)科與其它學(xué)科之間的關(guān)聯(lián)性。在通過引文分析考察學(xué)科影響力方面需要對學(xué)科的交叉性建立客觀認(rèn)識，僅通過引文分析單一定奪學(xué)科的影響程度存在片面性，學(xué)科的交叉性是需要慎重考慮的因素。

3 從數(shù)理統(tǒng)計(jì)層面探討文獻(xiàn)計(jì)量的校正

在眾多數(shù)字資源的檢索輸出中，分析的單元都是基于文獻(xiàn)的。通過對文獻(xiàn)各項(xiàng)要素的著錄形成了分析的不同維面。大數(shù)據(jù)思維使越來越多的受眾考慮這些數(shù)據(jù)產(chǎn)生的結(jié)果而很少考慮到這些數(shù)據(jù)是如何產(chǎn)生的。越來越多的人士依賴檢索系統(tǒng)來評價(jià)科研上的進(jìn)展態(tài)勢，而甚少思考這些數(shù)據(jù)的產(chǎn)生是否基于標(biāo)準(zhǔn)的、完整的、統(tǒng)一的數(shù)據(jù)計(jì)量。

3.1 科研產(chǎn)出源的校正評測

在目前的各類科研成果倉儲中，一般意義上來講產(chǎn)出源的描述缺乏細(xì)致性、規(guī)范性、準(zhǔn)確性。僅就成果出處機(jī)構(gòu)的著錄都會出現(xiàn)明顯的錯(cuò)誤，而科研評估不僅僅只是成果的評測，各類科研產(chǎn)出源的優(yōu)勢條件也應(yīng)納入評測體系，例如，被評測對象的職稱、學(xué)歷、學(xué)科背景等。從目前檢索平臺的數(shù)據(jù)構(gòu)成來看，由于數(shù)據(jù)提供的不完善性，實(shí)難完成整個(gè)科研生態(tài)體系的計(jì)量統(tǒng)計(jì)，為了彌補(bǔ)在文獻(xiàn)計(jì)量方面無法避免的傾向與錯(cuò)誤，很有必要引入一些科學(xué)的方法來合理的校正單一成果統(tǒng)計(jì)上存在的弊端。

考慮到科研產(chǎn)出源的非規(guī)范化，以及計(jì)量上的困難，可以通過條件概率的數(shù)理統(tǒng)計(jì)進(jìn)行弱化。將科研產(chǎn)出源分為軟資源和硬資源，軟資源包括人才、學(xué)科、博碩點(diǎn)等支撐科研產(chǎn)出的軟環(huán)境，硬資源包括資金、機(jī)構(gòu)級別、地域等支撐科研產(chǎn)出的硬環(huán)境。通過大樣本統(tǒng)計(jì)或者專家主觀評測給定每項(xiàng)科研產(chǎn)出源在科研產(chǎn)出上的貢獻(xiàn)度數(shù)值。將被評測對象具備的各項(xiàng)科研產(chǎn)出源貢獻(xiàn)度數(shù)值作為前置條件計(jì)算出在該條件滿足下的科研產(chǎn)出概率。通常情況下，前置條件滿足量越多，其科研產(chǎn)出的概率值越高，相反前置條件極少具備，其科研產(chǎn)出的概率值較低[4]。

另外，通過檢索平臺獲取被評測對象的科研成果，將檢索獲取的被評測機(jī)構(gòu)的科研產(chǎn)出量與起先計(jì)算出的概率數(shù)值進(jìn)行對比分析，來客觀的評定被評測對象的科研產(chǎn)出實(shí)力。首先設(shè)定被對比的目標(biāo)機(jī)構(gòu)，通常情況下與被評測機(jī)構(gòu)具有同質(zhì)性。利用比值比較被評測對象與對標(biāo)機(jī)構(gòu)科研產(chǎn)出的概率，將概率比值與檢索平臺獲取的科研成果的數(shù)量比值進(jìn)行對比，若概率比值小于成果數(shù)量比值，則說明與對標(biāo)機(jī)構(gòu)相比，被評測對象在相對少的科研產(chǎn)出源下產(chǎn)出了更多的科研成果。既被評測對象在科研產(chǎn)出實(shí)力上與對標(biāo)機(jī)構(gòu)相比具有優(yōu)勢。相反，若概率比值大于成果數(shù)量比值，則說明與對標(biāo)機(jī)構(gòu)相比，被評測機(jī)構(gòu)在相對多的科研產(chǎn)出源下產(chǎn)出的科研成果相對少于對標(biāo)機(jī)構(gòu)，既被評測對象在實(shí)際科研產(chǎn)出實(shí)力上與對標(biāo)機(jī)構(gòu)相比處于劣勢。通過引入科研產(chǎn)出源參照系的分析，會使科研實(shí)力的評測更接近于實(shí)際和合理性[5]。

設(shè)定兩個(gè)財(cái)經(jīng)類高校進(jìn)行對比分析，財(cái)經(jīng)高校A具有較多的高級人才、博碩點(diǎn)專業(yè)分布，承擔(dān)重大課題研究項(xiàng)目等，在科研產(chǎn)出源上比財(cái)經(jīng)高校B具有更多的資源優(yōu)勢，經(jīng)合理量化后評測財(cái)經(jīng)高校A的科研產(chǎn)出概率為90%，財(cái)經(jīng)高校B的科研產(chǎn)出概率為20%。通過檢索平臺獲取到財(cái)經(jīng)高校A的科研產(chǎn)出成果為850條，財(cái)經(jīng)類高校B的科研產(chǎn)出成果為200條，通過財(cái)經(jīng)高校A與財(cái)經(jīng)高校B的比值對比，概率比值為9/2，成果產(chǎn)出量比值為8.5/2，既概率比值大于成果產(chǎn)出量比值，說明與財(cái)經(jīng)高校B對比下，財(cái)經(jīng)高校A在相對多的科研產(chǎn)出源下，并沒有產(chǎn)出相對多的科研成果。

在實(shí)際的科研產(chǎn)出源貢獻(xiàn)度和科研產(chǎn)出概率計(jì)算上還是存在很多不可確定的因素，難于實(shí)現(xiàn)數(shù)量上的駕馭。為了實(shí)現(xiàn)科研評測的公允性，著實(shí)需要全面探討科研計(jì)量方面的諸多因素。

3.2 相對環(huán)境中比較科研成果

3.2.1 數(shù)據(jù)產(chǎn)出的縱向?qū)Ρ?/p>

對于機(jī)構(gòu)或個(gè)人的科研評估往往是基于絕對數(shù)值的，即一定時(shí)間限度內(nèi)某一學(xué)科下的成果產(chǎn)出量。絕對數(shù)值只是表明了科研的最終狀態(tài)，而并未能明確科研產(chǎn)出的效率或速度。在考察某個(gè)時(shí)間段內(nèi)機(jī)構(gòu)的科研情況，除一般獲取的成果數(shù)據(jù)之外，更需以同樣的方式獲取以往的科研數(shù)據(jù)，通過不同時(shí)間段的成果產(chǎn)出對比計(jì)算，明確科研產(chǎn)出量隨著時(shí)間推移的增進(jìn)速率。在考察學(xué)科的科研情況時(shí)，除一般獲取的成果數(shù)據(jù)外，也需要獲取該學(xué)科下各個(gè)研究方向的成果產(chǎn)出情況，通過不同研究方向的產(chǎn)出成果量對比分析，明確學(xué)科研究的傾向性。在評價(jià)學(xué)者的科研實(shí)力時(shí)，除獲取其所產(chǎn)出的科研成果外，更需根據(jù)該學(xué)者的職業(yè)生涯，肩負(fù)的科研任務(wù)，自身的職業(yè)發(fā)展情況來分時(shí)間、分學(xué)科的評測其科研產(chǎn)出情況，據(jù)此判斷其科研產(chǎn)出潛質(zhì)或貢獻(xiàn)度?？v向評測的關(guān)鍵是不可忽略歷史的存在，評測一個(gè)機(jī)構(gòu)、學(xué)科、學(xué)者的科研發(fā)展態(tài)勢，需要基于一個(gè)歷史的測評點(diǎn)，通過對比分析和計(jì)算，來科學(xué)定位其發(fā)展所達(dá)到的程度以及所具有的潛質(zhì)。

3.2.2 數(shù)據(jù)產(chǎn)出的橫向?qū)Ρ?/p>

機(jī)構(gòu)或個(gè)人的科研評估不僅需要與自身的發(fā)展進(jìn)行對比，更需要預(yù)設(shè)同質(zhì)機(jī)構(gòu)或個(gè)人進(jìn)行對比，通過同類對比，可以客觀認(rèn)識到相對于同類機(jī)構(gòu)或個(gè)人科研狀況是處于強(qiáng)勢或弱勢。若科研產(chǎn)出量不及同類機(jī)構(gòu)或個(gè)人，則被評測的對象暫處于科研發(fā)展的弱勢。若科研產(chǎn)出量高于同類高校或個(gè)人，則被評測的對象暫處于科研發(fā)展的強(qiáng)勢。在通過橫向?qū)Ρ仍u測機(jī)構(gòu)的科研情況時(shí)，挑選對標(biāo)機(jī)構(gòu)在師資職稱、機(jī)構(gòu)級別、博碩點(diǎn)、學(xué)科分布等方面要與評測機(jī)構(gòu)的實(shí)際情況基本一致，這樣通過同質(zhì)機(jī)構(gòu)的對比分析，數(shù)值上的差距與科研實(shí)力上的差距才會在某種程度上趨于吻合。個(gè)人科研情況的評測也需要與同質(zhì)個(gè)人進(jìn)行比較，對標(biāo)對象在職業(yè)年齡、職稱、學(xué)科研究方向等方面要與評測個(gè)人的實(shí)際情況基本相符，通過對比分析明確在同等境況下的個(gè)人產(chǎn)出實(shí)力。

確定對標(biāo)評測模板，所有同質(zhì)機(jī)構(gòu)或個(gè)人通過與對標(biāo)模板的比較，來確定自身在整個(gè)科研評測環(huán)境中的位置也是橫向?qū)Ρ鹊囊环N客觀評測方法。例如將某個(gè)學(xué)科某個(gè)時(shí)間段的被引次數(shù)作為該學(xué)科影響力的評測指標(biāo)，通過不同機(jī)構(gòu)相同學(xué)科與評測指標(biāo)的對比，來客觀定位不同機(jī)構(gòu)該學(xué)科的影響力差異。

4 結(jié) 語

文獻(xiàn)計(jì)量方法本身是大數(shù)據(jù)時(shí)代活躍的運(yùn)用手段。將該方法運(yùn)用到科研評估更能從客觀層面反應(yīng)科研成果的水準(zhǔn)。然而在運(yùn)用此方法前，需要對學(xué)科性質(zhì)、科研產(chǎn)出源、機(jī)構(gòu)的組成等建立科學(xué)的認(rèn)識，不能脫離實(shí)際去考察計(jì)量數(shù)據(jù)，本文通過數(shù)學(xué)方法、情報(bào)搜索以及比值計(jì)算等將一些科研評估中的前置因素或前提條件納入評測體系。希望通過更加公平的參照系來具有前提的評判機(jī)構(gòu)、個(gè)人或?qū)W科的實(shí)際科研貢獻(xiàn)度。相信隨著文獻(xiàn)計(jì)量方法的不斷校正，我們將越來越接近于科學(xué)評價(jià)的本來面目[6]。

[1]趙飛,艾春艷,李峰,等.院系與學(xué)科角度相結(jié)合的高?？蒲性u估探析[J].大學(xué)圖書館學(xué)報(bào),2016，(1):76-82.

[2]趙飛，艾春艷，游越，等.基于文獻(xiàn)計(jì)量開展高?？蒲性u估的探索與思考 ——以北京大學(xué)科研競爭力評估為例[J].大學(xué)圖書館學(xué)報(bào),2014,(1):97-101.

[3]許海云,劉春江,雷炳旭,等.學(xué)科交叉的測度、可視化研究及應(yīng)用——一個(gè)情報(bào)學(xué)文獻(xiàn)計(jì)量研究案例[J].圖書情報(bào)工作,2014,58(12):95-101.

[4]Jasleen Kaur,Emilio Ferrara,Filippo Menczer,Alessandro Flammini,Filippo Radicchi.Quality versus quantity in scientific impact[J].Journal of Informetrics.2015,(9):800-808.

[5]Péter Jacso.Pragmatic issues in calculating and comparing the quantity and quality of research through rating and ranking of researchers based on peer reviews and bibliometric indicators from Web of Science,Scopus and Google Scholar[J].Online Information Review.2010,34(6):972-982.

[6]宋麗萍,王建芳,王樹義.科學(xué)評價(jià)視角下F1000、Mendeley與傳統(tǒng)文獻(xiàn)計(jì)量指標(biāo)的比較[J].中國圖書館學(xué)報(bào),2014,40(4):48-54.

TheProblemsandCorrectionofBibliometricinScientificResearchEvaluation

Dong Yueke

(Library,Shanghai University of International Business and Economics,Shanghai,201620,China)

Based on bibliometric,considring the assessment problems exists in the source of research achievements,achievements statistics and personal influence,the paper used mathematical method,information search and ratio calculation to correct one-sidedness,limitations and in statistics.The precondition,the evaluation background and other factors were included in the evaluation category,so that the bibliometric was more fair,and realistic in the research evaluation and reflected the scientific research strength of the evaluation object.

bibliometric;research assessment;academic influence

10.3969/j.issn.1008-0821.2018.01.018

G250.2

A

1008-0821(2018)01-0127-04

2017-08-23

董岳珂(1977-)，女，館員，研究方向：信息素養(yǎng)教育。

郭沫含)