基于文獻(xiàn)計(jì)量開展高?？蒲性u(píng)估的探索與思考

趙飛　艾春艷　游越　劉素清

摘要：從科研評(píng)估現(xiàn)有的問(wèn)題與困難出發(fā)，探討如何基于文獻(xiàn)計(jì)量建立更為科學(xué)合理的高?？蒲性u(píng)估體系，并以北京大學(xué)圖書館2011年進(jìn)行的北京大學(xué)科研競(jìng)爭(zhēng)力評(píng)估為實(shí)例，進(jìn)行相應(yīng)的改進(jìn)嘗試并討論進(jìn)一步完善的可能性。

關(guān)鍵詞：學(xué)科評(píng)估 科研評(píng)估 文獻(xiàn)計(jì)量

1 引言

學(xué)科建設(shè)是高等院校提高教學(xué)質(zhì)量和科研水平的重要基礎(chǔ)，如何更為合理地完善自身的學(xué)科體系、加強(qiáng)重點(diǎn)學(xué)科的優(yōu)勢(shì)將成為各高校增強(qiáng)科研競(jìng)爭(zhēng)力及國(guó)際影響力的關(guān)鍵之一。而學(xué)科發(fā)展策略的制定首先需要對(duì)自身的學(xué)科發(fā)展情況進(jìn)行客觀準(zhǔn)確的評(píng)估和分析，因此，國(guó)內(nèi)高校也越來(lái)越重視各種類型的學(xué)科評(píng)估，以便準(zhǔn)確把握自身的學(xué)科發(fā)展態(tài)勢(shì)。通過(guò)系統(tǒng)、科學(xué)的客觀評(píng)估，可以更為準(zhǔn)確地了解本學(xué)科的優(yōu)勢(shì)和劣勢(shì)所在，并為制定學(xué)科將來(lái)的發(fā)展策略、重點(diǎn)研究方向、資源分配方案等提供重要依據(jù)，從而對(duì)高校的學(xué)科發(fā)展戰(zhàn)略起到指導(dǎo)意義。

學(xué)科評(píng)估中較為重要的一個(gè)部分就是科研評(píng)估，即對(duì)本學(xué)科的科研競(jìng)爭(zhēng)力和影響力進(jìn)行客觀評(píng)估。而基于文獻(xiàn)計(jì)量的科研評(píng)估是目前較被認(rèn)可的方法之一，具有客觀、量化、易于比較等特點(diǎn)，并能夠?qū)蒲挟a(chǎn)出能力等重要指標(biāo)有著較為直觀的評(píng)價(jià)。本文將以國(guó)內(nèi)外權(quán)威數(shù)據(jù)庫(kù)中的客觀數(shù)據(jù)為基礎(chǔ)，從文獻(xiàn)計(jì)量學(xué)的角度出發(fā)建立高校科研評(píng)估體系和方案。

2 科研評(píng)估中的問(wèn)題與困難

雖然無(wú)論從國(guó)家層面還是各高校自身都在逐步加強(qiáng)和改進(jìn)科研評(píng)估工作，但是由于科研成果的多樣性、復(fù)雜性以及科研成果提交的不規(guī)范，目前科研評(píng)估仍然存在著一些問(wèn)題和困難需要解決：

2.1 評(píng)估周期的確定

由于各學(xué)科科研過(guò)程和成果發(fā)表的習(xí)慣各不相同，利用文獻(xiàn)計(jì)量方法對(duì)其進(jìn)行評(píng)估時(shí)，評(píng)估周期的選擇就成為十分重要的問(wèn)題。如果評(píng)估周期過(guò)短，則對(duì)于科研周期和成果有效期較長(zhǎng)的學(xué)科（如人文學(xué)科）來(lái)說(shuō)，就無(wú)法準(zhǔn)確評(píng)估其學(xué)科內(nèi)科研成果的學(xué)術(shù)價(jià)值和影響力，同時(shí)也會(huì)導(dǎo)致科研過(guò)程中的急功近利現(xiàn)象；如果考核周期過(guò)長(zhǎng)，則又會(huì)降低評(píng)估的時(shí)效性，無(wú)法及時(shí)發(fā)現(xiàn)學(xué)科發(fā)展中的問(wèn)題并予以糾正或是發(fā)現(xiàn)優(yōu)勢(shì)予以推進(jìn)；而如果針對(duì)不同學(xué)科類別設(shè)定不同的評(píng)估周期，其學(xué)科間的可比性又無(wú)法保證。因此，綜合考慮各學(xué)科特點(diǎn)，恰當(dāng)?shù)剡x擇較為合理和統(tǒng)一的評(píng)估周期是完成科研評(píng)估的重要任務(wù)之一。

2.2 評(píng)估數(shù)據(jù)的來(lái)源選擇

在以往進(jìn)行科研評(píng)估時(shí)，除院系提交的成果數(shù)據(jù)外，通常會(huì)選擇統(tǒng)一的數(shù)據(jù)來(lái)源對(duì)全學(xué)科進(jìn)行分析，例如WOS、ESI數(shù)據(jù)等。然而，對(duì)于不同學(xué)科而言，其科研成果的發(fā)表形式以及學(xué)科內(nèi)刊物整體被數(shù)據(jù)庫(kù)收錄的情況并不相同，因而這種綜合的數(shù)據(jù)來(lái)源雖然可以保證各學(xué)科間的公平對(duì)比，但對(duì)于一些英文發(fā)文量小或是相應(yīng)期刊被綜合型參考數(shù)據(jù)庫(kù)收錄量小的學(xué)科，則存在著數(shù)據(jù)量小、區(qū)分度低等問(wèn)題。所以對(duì)于這些學(xué)科還應(yīng)增加更符合其特點(diǎn)的數(shù)據(jù)來(lái)源，從而既保證各學(xué)科間的統(tǒng)一評(píng)估標(biāo)準(zhǔn)，也可以在本學(xué)科內(nèi)進(jìn)行更準(zhǔn)確的縱向和橫向?qū)Ρ仍u(píng)估。

2.3 交叉學(xué)科的評(píng)估

隨著各學(xué)科的逐步發(fā)展，學(xué)科間的相互交融現(xiàn)象不僅越發(fā)頻繁，同時(shí)也變得越發(fā)重要，因?yàn)閷W(xué)科交融通常意味著新的科研增長(zhǎng)點(diǎn)的誕生。而現(xiàn)有的評(píng)估指標(biāo)體系中，對(duì)于學(xué)科間的交融和交叉學(xué)科發(fā)展的重視程度還遠(yuǎn)遠(yuǎn)不夠。如何更為有效地對(duì)學(xué)科間交融情況、對(duì)學(xué)校交叉學(xué)科發(fā)展態(tài)勢(shì)進(jìn)行分析，將成為推進(jìn)科研評(píng)價(jià)進(jìn)一步完善所要解決的重要問(wèn)題之一。

2.4 定量與定性的結(jié)合

客觀而全面地評(píng)價(jià)高等學(xué)校的科研實(shí)力，是一個(gè)需要嚴(yán)肅對(duì)待的科學(xué)問(wèn)題。通過(guò)數(shù)據(jù)庫(kù)數(shù)據(jù)和文獻(xiàn)計(jì)量方法可以在一定程度上保證評(píng)估的客觀性，但在數(shù)據(jù)來(lái)源的完備性和數(shù)據(jù)統(tǒng)計(jì)結(jié)果的解讀方面還有著一定的不足?？茖W(xué)、合理的科研評(píng)估離不開客觀的定量分析與各學(xué)科領(lǐng)域?qū)＜业亩ㄐ苑治鲋g的有效結(jié)合，需要多方面的共同配合才可能完成。

2.5 評(píng)估結(jié)果的實(shí)際作用

基于數(shù)據(jù)的文獻(xiàn)計(jì)量分析是對(duì)過(guò)往事實(shí)的總結(jié)和評(píng)價(jià)，然而這只是進(jìn)行科研評(píng)估的目的之一，更重要的是如何通過(guò)對(duì)數(shù)據(jù)的統(tǒng)計(jì)和分析，為今后學(xué)科的發(fā)展和布局提供有效的信息。然而很多學(xué)校雖然都在不斷進(jìn)行科研評(píng)估，但是每次評(píng)估工作僅限于總結(jié)為止。如何將科研評(píng)估與科研管理關(guān)聯(lián)起來(lái)，使報(bào)告中發(fā)現(xiàn)的問(wèn)題和分析出的建議真正得到重視，切實(shí)對(duì)學(xué)校統(tǒng)籌學(xué)科結(jié)構(gòu)、優(yōu)化學(xué)科布局起到參考作用，也是目前科研評(píng)估面臨的困難之一。

3 科研評(píng)估方案設(shè)計(jì)思路

3.1 數(shù)據(jù)來(lái)源的選擇

對(duì)于如何實(shí)現(xiàn)基于文獻(xiàn)計(jì)量的高校院系層面科研評(píng)估，一般來(lái)說(shuō)有兩種思路：

1）以高校院系提交的科研成果列表為來(lái)源數(shù)據(jù)

即通過(guò)院系提交的科研成果數(shù)據(jù)為基礎(chǔ)，對(duì)其科研產(chǎn)出情況進(jìn)行統(tǒng)計(jì)分析。其優(yōu)勢(shì)在于可以涵蓋各類型的科研成果，且出現(xiàn)明顯錯(cuò)誤的幾率較小。其缺點(diǎn)在于：

·由于各院系提交情況相對(duì)復(fù)雜，無(wú)法保證整體數(shù)據(jù)的完整性；

·因原始數(shù)據(jù)均由個(gè)人提交，因此數(shù)據(jù)格式和重要字段的完整性無(wú)法保證；

·由于提交有一定的時(shí)間跨度，成果數(shù)據(jù)的時(shí)間范圍無(wú)法準(zhǔn)確界定。

2）選擇具有一定評(píng)判性的權(quán)威數(shù)據(jù)庫(kù)抓取原始數(shù)據(jù)

通過(guò)制定檢索式，在較為權(quán)威的大型數(shù)據(jù)庫(kù)中檢索和抓取出學(xué)校整體數(shù)據(jù)，并在此基礎(chǔ)上進(jìn)行統(tǒng)計(jì)分析。其優(yōu)勢(shì)在于數(shù)據(jù)信息較為完整、數(shù)據(jù)時(shí)間范圍較易掌控、數(shù)據(jù)具有更好的橫向可比性等。而其缺點(diǎn)在于：

·科研成果形式受到限定（如只包含期刊論文、會(huì)議論文等）；

·較易出現(xiàn)漏檢、錯(cuò)誤記錄等情況；

·數(shù)據(jù)需要進(jìn)行院系歸并，其工作量較大。

因而，選擇數(shù)據(jù)來(lái)源時(shí)可以兩種方法相結(jié)合，以其中一種方式為主，并用另一種方式加以完善和補(bǔ)充。同時(shí)，考慮到學(xué)科的差異，尤其是人文社科方面的論文發(fā)表習(xí)慣，建議對(duì)于人文社科方面增加中文數(shù)據(jù)庫(kù)的數(shù)據(jù)作為補(bǔ)充。

3.2 評(píng)估體系的構(gòu)建endprint

首先，基于科研評(píng)估的主要目標(biāo)之一是客觀評(píng)價(jià)學(xué)校內(nèi)各學(xué)科的科研情況和發(fā)展態(tài)勢(shì)，應(yīng)對(duì)各學(xué)科構(gòu)建一個(gè)較為統(tǒng)一的評(píng)價(jià)體系，這樣才能保證評(píng)估在各學(xué)科間具有一定的橫向可比性。其次，評(píng)估應(yīng)包含學(xué)校整體、學(xué)科（或院系）、人員等多種層次，以便能夠了解學(xué)校從宏觀到微觀的科研發(fā)展態(tài)勢(shì)。其三，除學(xué)校內(nèi)的評(píng)估比較外，還應(yīng)收集國(guó)內(nèi)外知名高校的相應(yīng)數(shù)據(jù)并進(jìn)行比較，以更為準(zhǔn)確地了解自身的優(yōu)勢(shì)與劣勢(shì)。其四，對(duì)于人文社科方面的學(xué)科，應(yīng)增加專門的評(píng)估數(shù)據(jù)和評(píng)價(jià)指標(biāo)，以適應(yīng)其科研產(chǎn)出特點(diǎn)。最后，還應(yīng)加強(qiáng)對(duì)交叉學(xué)科和學(xué)科交融情況方面的重視，制定專門的指標(biāo)來(lái)對(duì)學(xué)校在此方面的科研發(fā)展態(tài)勢(shì)進(jìn)行評(píng)估。

3.3 評(píng)估流程的制定

科研評(píng)估涉及大量的數(shù)據(jù)收集與統(tǒng)一分析工作，如果沒有一個(gè)清晰明確的工作流程與分工審核機(jī)制，將很難保證數(shù)據(jù)的準(zhǔn)確性和統(tǒng)計(jì)工作的順利進(jìn)行。因此，應(yīng)從數(shù)據(jù)來(lái)源選取、數(shù)據(jù)導(dǎo)出格式規(guī)范、數(shù)據(jù)匯總整理、數(shù)據(jù)清理、數(shù)據(jù)聚類統(tǒng)計(jì)、統(tǒng)計(jì)結(jié)果分析等科研評(píng)估的各個(gè)階段出發(fā)，根據(jù)實(shí)際情況制定相應(yīng)的流程機(jī)制。

4 評(píng)估方案的實(shí)施與結(jié)果分析

北京大學(xué)圖書館2011年受學(xué)?？蒲泄芾聿块T委托，基于文獻(xiàn)計(jì)量方法進(jìn)行了北京大學(xué)科研競(jìng)爭(zhēng)力評(píng)估。本次評(píng)估從實(shí)際需要出發(fā)，針對(duì)學(xué)校亟待解決的學(xué)科規(guī)劃布局問(wèn)題，較為系統(tǒng)地對(duì)北京大學(xué)10余年來(lái)（2000-2011年）的整體及各學(xué)科科研實(shí)力進(jìn)行了分析。

1）數(shù)據(jù)來(lái)源的選擇

由于此次評(píng)估的年限范圍較廣，所以選擇以權(quán)威數(shù)據(jù)庫(kù)中檢索導(dǎo)出的數(shù)據(jù)為主要數(shù)據(jù)來(lái)源，包括WOS數(shù)據(jù)庫(kù)里的SCI、SSCI、A&HCI數(shù)據(jù)庫(kù)、ESI數(shù)據(jù)庫(kù)、JCR期刊引證報(bào)告、Nature、Science的部分?jǐn)?shù)據(jù)。同時(shí)，對(duì)于人文社科方面的學(xué)科，還以中國(guó)社會(huì)科學(xué)引文數(shù)據(jù)庫(kù)（CSSCI），中國(guó)期刊網(wǎng)（CNKl）中的數(shù)據(jù)作為補(bǔ)充。

2）數(shù)據(jù)的收集與清理工作

經(jīng)過(guò)多次試檢和調(diào)整，此次評(píng)估共從WOS數(shù)據(jù)庫(kù)中檢索到2.5萬(wàn)余篇北京大學(xué)從2000年到2011年的論文、從CSSCI中檢索到1.9萬(wàn)余篇、從CNKI中檢索到2.3萬(wàn)余篇、從ESI中提取近300篇文章。隨后，根據(jù)記錄中的作者地址字段，對(duì)數(shù)據(jù)進(jìn)行了進(jìn)一步的識(shí)別和清理工作，剔除非北京大學(xué)的文獻(xiàn)記錄。同時(shí)，也檢索收集了國(guó)內(nèi)外知名高校的相關(guān)數(shù)據(jù)以作評(píng)估比較之用。

3）評(píng)估內(nèi)容與體系

本次評(píng)估兼顧了學(xué)校、學(xué)科（院系）、人員三個(gè)層面的分析，既涉及宏觀層面的北京大學(xué)逐年科研產(chǎn)出與影響力趨勢(shì)分析以及與國(guó)內(nèi)外知名高校的對(duì)比分析，也包含了各個(gè)學(xué)科的科研發(fā)展態(tài)勢(shì)和影響力情況，同時(shí)也從微觀層面對(duì)具體人員的科研實(shí)力進(jìn)行了評(píng)估。此外，還著重對(duì)人文社科領(lǐng)域的學(xué)科進(jìn)行了針對(duì)性的評(píng)估，考慮其論文發(fā)表特點(diǎn)，綜合了中外文數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行分析。而對(duì)于科研合作情況的分析，也是本次評(píng)估的重要組成部分，其中不僅涉及北京大學(xué)的國(guó)際間科研合作情況，也通過(guò)院系間合作情況的統(tǒng)計(jì)，分析了學(xué)科間交融的情況。

最終的評(píng)估體系構(gòu)建如下表1。

4）評(píng)估結(jié)果分析

此次評(píng)估通過(guò)對(duì)數(shù)據(jù)的統(tǒng)計(jì)分析，客觀評(píng)價(jià)了北京大學(xué)近十年的整體科研產(chǎn)出情況及發(fā)展趨勢(shì)，并通過(guò)橫向?qū)Ρ?，給出了北京大學(xué)科研實(shí)力在國(guó)內(nèi)外所處的位置及與國(guó)際知名高校間的差距所在。此外，通過(guò)學(xué)科、院系和人員層面的統(tǒng)計(jì)，識(shí)別出學(xué)校的優(yōu)勢(shì)學(xué)科和表現(xiàn)突出的院系及科研人員，并對(duì)交叉學(xué)科院系的科研發(fā)展情況進(jìn)行了重點(diǎn)評(píng)估，為學(xué)校進(jìn)一步制定學(xué)科發(fā)展策略提供參考。同時(shí)，評(píng)估也分析了北京大學(xué)的國(guó)際科研合作變化趨勢(shì)與重點(diǎn)合作國(guó)家、各院系間的合作情況以及合作較為緊密的院系群體，從另一側(cè)面反映出學(xué)校的學(xué)科交融情況。

5 總結(jié)與思考

通過(guò)此次北京大學(xué)科研競(jìng)爭(zhēng)力評(píng)估的嘗試，北京大學(xué)圖書館針對(duì)當(dāng)時(shí)科研評(píng)估中存在的問(wèn)題和實(shí)際需求進(jìn)行了一定的改進(jìn)和探索，為學(xué)校的科研管理部門制定學(xué)科發(fā)展規(guī)劃和布局提供了急需的客觀數(shù)據(jù)參考。不過(guò)，對(duì)人文社科學(xué)科和交叉學(xué)科的評(píng)估還只是初步的嘗試，有待進(jìn)一步總結(jié)和改進(jìn)。此外，評(píng)估也總結(jié)出不少需要思考和完善的地方：

1）署名地址規(guī)范的重要性

權(quán)威的數(shù)據(jù)庫(kù)是獲取原始數(shù)據(jù)重要的來(lái)源之一。在實(shí)際的數(shù)據(jù)獲取過(guò)程中，我們常通過(guò)作者地址字段對(duì)論文進(jìn)行識(shí)別，而在數(shù)據(jù)庫(kù)的數(shù)據(jù)中存在著相當(dāng)數(shù)量的作者地址字段不規(guī)范問(wèn)題，如機(jī)構(gòu)名拼寫錯(cuò)誤、機(jī)構(gòu)英文名未使用通用翻譯、郵編錯(cuò)誤、濫用簡(jiǎn)寫、過(guò)于簡(jiǎn)略缺少必要信息等。這些問(wèn)題有些是由于作者自身不夠謹(jǐn)慎，有些是因?yàn)閷W(xué)校和院系沒有統(tǒng)一明確的署名格式，還有些是綜合的因素造成的（如國(guó)家重點(diǎn)實(shí)驗(yàn)室的署名問(wèn)題）。因此，建議學(xué)校和院系都應(yīng)規(guī)范自身的署名地址規(guī)則，并加強(qiáng)對(duì)機(jī)構(gòu)內(nèi)人員的相關(guān)培訓(xùn)。

2）數(shù)據(jù)的局限性

評(píng)估所用數(shù)據(jù)大部分均為學(xué)術(shù)論文方面的信息，包括期刊論文、會(huì)議論文等，對(duì)于其他科研成果形式，如專著、專利、調(diào)研報(bào)告等則基本沒有涉及。然而對(duì)于部分學(xué)科領(lǐng)域，這些形式的科研成果同樣具有重要的意義，如專著、學(xué)位論文對(duì)于人文社科的評(píng)估來(lái)說(shuō)就較為重要。因此，如果想要更為全面地評(píng)估相應(yīng)學(xué)科的科研產(chǎn)出和影響力，則應(yīng)在評(píng)估中與科研管理部門的統(tǒng)計(jì)數(shù)據(jù)相結(jié)合，補(bǔ)充其他形式科研成果的信息。

3）國(guó)內(nèi)外的學(xué)科間映射

無(wú)論是學(xué)科還是院系，國(guó)內(nèi)外高校在其定義和結(jié)構(gòu)建設(shè)上都有些許的差別，目前的學(xué)科對(duì)應(yīng)關(guān)系還處于比較粗糙的階段。如何能夠在國(guó)內(nèi)外學(xué)科間建立更為精準(zhǔn)的映射，將成為加強(qiáng)科研評(píng)估的準(zhǔn)確性和說(shuō)服力、增強(qiáng)校際間橫向可比性的重要因素之一。

4）深入內(nèi)容層面的評(píng)估與分析

現(xiàn)有評(píng)估方法對(duì)于科研態(tài)勢(shì)的揭示主要還是基于文獻(xiàn)數(shù)量的統(tǒng)計(jì)層面，而未能深入到對(duì)文獻(xiàn)內(nèi)容的統(tǒng)計(jì)與分析。前者對(duì)于科研管理者而言固然非常重要，因?yàn)楦咝５目蒲泄芾碚呖梢酝ㄟ^(guò)文獻(xiàn)數(shù)量上的變化趨勢(shì)和對(duì)比分析，從宏觀層面了解各學(xué)科科研發(fā)展的大致情況，從而有助于下一步學(xué)科布局與規(guī)劃的制定；然而對(duì)于教師和科研人員而言，他們更希望得到的則是基于文獻(xiàn)內(nèi)容的統(tǒng)計(jì)分析（比如關(guān)鍵詞統(tǒng)計(jì)等），以從大量?jī)?nèi)容文本的信息統(tǒng)計(jì)中探尋出學(xué)科的某些發(fā)展規(guī)律和內(nèi)在聯(lián)系，從而為其科研工作提供參考和思路。

因此，目前基于文獻(xiàn)計(jì)量的高?？蒲性u(píng)估還存在諸多需要完善和改進(jìn)的地方，只有通過(guò)不斷地嘗試，總結(jié)經(jīng)驗(yàn)和問(wèn)題，思考完善方案，科研評(píng)估才會(huì)越來(lái)越貼近學(xué)校科研管理者和科研人員的需求，其準(zhǔn)確性、客觀性、全面性、認(rèn)可程度等才會(huì)進(jìn)一步提高，最終使科研評(píng)估成為科研管理者和科研人員不可或缺的參考信息，為高校的學(xué)科發(fā)展起到重要作用。endprint