TOP期刊評(píng)價(jià)方法的改進(jìn)及實(shí)證研究

□陳振英

1 引言

期刊評(píng)價(jià)方法因目的不同而有區(qū)分。無(wú)論是一般性的過(guò)關(guān)評(píng)價(jià)，還是分級(jí)評(píng)價(jià)，抑或是淘汰性的精品評(píng)價(jià)，均應(yīng)有不同的評(píng)價(jià)標(biāo)準(zhǔn)［1］。目前中文期刊的評(píng)定中應(yīng)用比較多的評(píng)價(jià)體系包括：北京大學(xué)研制的《中文核心期刊要目總覽》、南京大學(xué)中國(guó)社會(huì)科學(xué)研究評(píng)價(jià)中心研制的《中國(guó)社會(huì)科學(xué)研究計(jì)量指標(biāo)體系》、中國(guó)社科院研制的《中國(guó)人文社會(huì)科學(xué)核心期刊要覽》、中國(guó)科學(xué)院文獻(xiàn)情報(bào)中心發(fā)布的《中國(guó)科學(xué)計(jì)量指標(biāo)：期刊引證報(bào)告》、中國(guó)科學(xué)技術(shù)信息研究所按年度發(fā)布的《中國(guó)科技期刊引證報(bào)告》等。這些指標(biāo)評(píng)價(jià)體系既綜合考慮了期刊評(píng)定的多種定量指標(biāo)，又結(jié)合了中文期刊評(píng)定的一些本土化特征，無(wú)疑在很大程度上引導(dǎo)著科技期刊的評(píng)估。

期刊評(píng)價(jià)的初衷是有助于更科學(xué)的管理和改進(jìn)期刊質(zhì)量。近年來(lái)越來(lái)越多的績(jī)效考核部門將期刊評(píng)價(jià)結(jié)果引入考核依據(jù)。當(dāng)期刊的評(píng)價(jià)被移植到這一新領(lǐng)域時(shí)勢(shì)必面臨許多新的問(wèn)題：傳統(tǒng)的期刊評(píng)定方法是否適用？如何處理交叉學(xué)科期刊的評(píng)定？如何將國(guó)外TOP期刊甄選并分區(qū)？

目前代表性的TOP期刊評(píng)定方法當(dāng)屬中科院的期刊四分區(qū)法，其主要對(duì)SCI期刊按照影響因子大小進(jìn)行分區(qū)考核［2］。該方法曾為華東地區(qū)多數(shù)高校進(jìn)行量化考核和決策評(píng)估的主要依據(jù)，但由于其衡量指標(biāo)單薄，對(duì)于交叉學(xué)科沒(méi)有慎重考慮，應(yīng)用過(guò)程中引起較大爭(zhēng)議。正如Polonsky［3］所說(shuō)：“單一方法來(lái)評(píng)價(jià)期刊過(guò)于單薄”。Johns［4］也呼吁期刊的評(píng)價(jià)工作應(yīng)當(dāng)有一個(gè)綜合了客觀的引文分析法，主觀的同行評(píng)價(jià)法，以及更多標(biāo)準(zhǔn)的方法。

2 方法建立

TOP期刊評(píng)定因?yàn)橹苯佑糜诟鲗W(xué)科教師和科研人員的績(jī)效評(píng)價(jià)，學(xué)科特征鮮明且對(duì)每個(gè)學(xué)科的TOP期刊都有嚴(yán)格要求，既不能有重大遺漏也不能將普通期刊混入TOP行列。因此，TOP期刊評(píng)定首先考慮的是學(xué)科方向期刊的映射，然后在學(xué)科范疇內(nèi)綜合運(yùn)用定性與定量等多種評(píng)價(jià)方法甄選專業(yè)TOP期刊進(jìn)行。下面將詳細(xì)闡述本文提出的TOP期刊評(píng)定方法。

2.1 學(xué)科期刊分類

TOP期刊評(píng)估的前提就是將期刊按學(xué)科分類，學(xué)科分得過(guò)寬或過(guò)細(xì)都會(huì)對(duì)備選期刊的數(shù)量產(chǎn)生影響。國(guó)內(nèi)的期刊評(píng)價(jià)機(jī)構(gòu)多是采用《中國(guó)圖書館分類法》為學(xué)科分類基礎(chǔ)，其學(xué)科體系有些部分已經(jīng)滯后于科學(xué)技術(shù)的發(fā)展和學(xué)科自身的發(fā)展，所以我們?cè)谠u(píng)價(jià)外文TOP期刊時(shí)采用了湯森路透公司的《期刊引證報(bào)告》（JCR）中的學(xué)科分類方法，共有227個(gè)學(xué)科分類。

2.2 TOP期刊評(píng)定

國(guó)內(nèi)外期刊評(píng)價(jià)指標(biāo)體系中應(yīng)用最為普遍、不可或缺的當(dāng)屬以引文為依據(jù)的科學(xué)計(jì)量評(píng)價(jià)指標(biāo)——影響因子和總被引次數(shù)等。盡管具有受期刊的出版周期和發(fā)表時(shí)滯影響、受引用行為的不確定性影響、易被操縱性等不足，但在期刊評(píng)價(jià)指標(biāo)中始終瑕不掩瑜，核心地位從未改變。筆者也毫無(wú)例外地將傳統(tǒng)的引文指標(biāo)法作為TOP期刊評(píng)定的基本方法，具體做法是：當(dāng)一種期刊的當(dāng)年影響因子、最近兩年平均影響因子、總被引次數(shù)三個(gè)指標(biāo)中的任一指標(biāo)在所在學(xué)科相關(guān)JCR領(lǐng)域指標(biāo)排名位于學(xué)科期刊總數(shù)的前10%（四舍五入法，如該領(lǐng)域共有235種期刊入選JCR，那么前10%取24種），就都可以入選基本TOP期刊集合。此方法核心要素為基于影響因子和總被引次數(shù)對(duì)期刊指標(biāo)值做學(xué)科內(nèi)排序，目前采用類似方法評(píng)定TOP期刊的有中科院等若干家單位。

同行評(píng)議法也是期刊評(píng)定較為常用的方法之一，但在具體學(xué)科TOP期刊制定過(guò)程中鮮有人用。因?yàn)橥性u(píng)議法要調(diào)動(dòng)更多范圍的專家參與才更有效，往往需要投入較多的精力，并在業(yè)內(nèi)有相當(dāng)?shù)挠绊憽Ｋ晕覀儑L試在單位內(nèi)部遴選學(xué)科專家進(jìn)行同行評(píng)議。其評(píng)價(jià)優(yōu)勢(shì)是專家代替學(xué)科外行，擁有對(duì)學(xué)術(shù)問(wèn)題的決策權(quán)。

科技情報(bào)研究方法之一是以事實(shí)型數(shù)據(jù)為基礎(chǔ)，綜合集成“事實(shí)型數(shù)據(jù)＋專用方法工具＋專家智慧”［5］。這種方法論的基本思路是，在建立和累積、更新事實(shí)型數(shù)據(jù)庫(kù)的基礎(chǔ)上，針對(duì)某些科技問(wèn)題，組織研究隊(duì)伍，采用各種定量與定性相結(jié)合的系統(tǒng)集成方法，對(duì)事實(shí)型數(shù)據(jù)進(jìn)行深入分析，從中發(fā)現(xiàn)某種現(xiàn)象、規(guī)律，繼而通過(guò)專家智慧，提煉出可指導(dǎo)實(shí)踐的政策建議［6］。事實(shí)數(shù)據(jù)評(píng)定方法提供的依據(jù)更客觀，減少了主觀性［7］。

本文在TOP期刊評(píng)價(jià)中引入基于事實(shí)數(shù)據(jù)的情報(bào)學(xué)評(píng)價(jià)方法——“同行趨向法”，以期找到一種適合學(xué)科期刊評(píng)定的新方法。不難發(fā)現(xiàn)，頂級(jí)期刊的發(fā)文單位往往集中在知名大學(xué)或科研機(jī)構(gòu)中。由此可以推理，領(lǐng)域內(nèi)知名大學(xué)的熱點(diǎn)發(fā)文（即發(fā)文比較集中）期刊基本為領(lǐng)域內(nèi)領(lǐng)先的期刊?！巴汹呄蚍ā本褪且罁?jù)本學(xué)科的TOP機(jī)構(gòu)在Web of Science的相應(yīng)學(xué)科發(fā)文為事實(shí)數(shù)據(jù)評(píng)價(jià)的基本依據(jù)來(lái)評(píng)定期刊的，TOP期刊選擇標(biāo)準(zhǔn)由發(fā)文量占該刊載文量的百分比決定，百分比取值依據(jù)不同學(xué)科的期刊基數(shù)而靈活確定。

以上三種方法都不是對(duì)期刊質(zhì)量進(jìn)行評(píng)定的唯一標(biāo)準(zhǔn)，任何方法都不可能十全十美。如：定量評(píng)價(jià)評(píng)定出的期刊也許僅僅是指標(biāo)偏高，但與本校的學(xué)科主流方向背道而馳，而不適合列于學(xué)科TOP期刊目錄當(dāng)中；定性評(píng)價(jià)也難免因部分專家自律不嚴(yán)或不是所有研究方向都有足夠的專家參與評(píng)議，所選專家僅限于本機(jī)構(gòu)內(nèi)的同行等而存在一些問(wèn)題。所以，每種評(píng)價(jià)方法都有其存在的必要性，實(shí)際運(yùn)用時(shí)切忌割裂使用，而應(yīng)作為一個(gè)評(píng)價(jià)整體綜合使用。

3 方法實(shí)證

任何一種新方法都要經(jīng)過(guò)實(shí)踐驗(yàn)證，以下把三種期刊評(píng)定方法運(yùn)用于計(jì)算機(jī)學(xué)科TOP期刊評(píng)定，并對(duì)評(píng)價(jià)結(jié)果進(jìn)行統(tǒng)計(jì)學(xué)分析，對(duì)分析結(jié)果展開討論。

3.1 數(shù)據(jù)獲取

由計(jì)算機(jī)學(xué)院專家將JCR的學(xué)科領(lǐng)域與本校的計(jì)算機(jī)學(xué)科研究方向相映射得到9個(gè)領(lǐng)域，分別為：計(jì)算機(jī)，人工智能（COMPUTER SCIENCE，ARTIFICIAL INTELLIGENCE）；計(jì)算機(jī)，硬件與結(jié)構(gòu)（COMPUTER SCIENCE，HARDWARE ＆ARCHITECTURE）；計(jì)算機(jī)，信息系統(tǒng)（COMPUTER SCIENCE，INFORMATION SYSTEMS）；計(jì)算機(jī)，交叉學(xué)科應(yīng)用（COMPUTER SCIENCE，INTERDISCIPLINARY APPLICATIONS）；計(jì)算機(jī)，軟件工程（COMPUTER SCIENCE，SOFTWARE ENGINEERING）；計(jì)算機(jī)，理論與方法（COMPUTER SCIENCE，THEORY ＆ METHODS）；應(yīng)用數(shù)學(xué)（MATHEMATICS，APPLIED）；數(shù)學(xué)在多學(xué)科的 應(yīng) 用 （MATHEMATICS，INTERDISCIPLINARY APPLICATIONS）；機(jī)器人（ROBOTICS）。根據(jù)引文指標(biāo)法（下稱方法一），在JCR數(shù)據(jù)庫(kù)中將此9個(gè)領(lǐng)域的期刊分別按照當(dāng)年影響因子、最近兩年平均影響因子、總被引次數(shù)三個(gè)指標(biāo)排序，排名位于學(xué)科期刊總數(shù)前10%的，則列為備選TOP期刊，共有56種期刊入選。

我們邀請(qǐng)了本校計(jì)算機(jī)學(xué)科各相關(guān)領(lǐng)域的專家參與同行評(píng)議，他們均具有副高以上的專業(yè)職稱和較高的學(xué)術(shù)造詣，了解本學(xué)科國(guó)際領(lǐng)域前沿的發(fā)展動(dòng)態(tài)。用此方法（下稱方法二）篩出備選TOP期刊34種。

依據(jù)“同行趨向法”（下稱方法三），首先由學(xué)科專家從“2009年世界大學(xué)與科研機(jī)構(gòu)分22個(gè)學(xué)科的科研競(jìng)爭(zhēng)力排行榜”［8］中選出與本校計(jì)算機(jī)研究方向接近的前五所TOP高校（Massachusetts Institute of Technology、University of Illinois－Urbana－Champaign、Stanford University、University of California－Berkeley、Carnegie Mellon University）作為目標(biāo)學(xué)校。對(duì)上述五所目標(biāo)學(xué)校近五年中在9個(gè)計(jì)算機(jī)相關(guān)JCR領(lǐng)域中的Web of Science發(fā)文做期刊分析，然后取在某刊的發(fā)文量占該刊載文量的百分比。在此，針對(duì)計(jì)算機(jī)學(xué)科期刊基數(shù)特點(diǎn)，取百分比大于等于5%的期刊進(jìn)入備選TOP期刊集合 （n＝24）。

用以上三種方法得出了三個(gè)期刊集合，經(jīng)去重后共有期刊101種；其中方法三與方法一和方法二所得期刊集合中各有6種期刊重合，還有12種未與方法一或方法二中的任意期刊重合，方法二與方法一僅有一種重合。采集各組期刊的JCR2009數(shù)據(jù)庫(kù)中的全部期刊評(píng)價(jià)指標(biāo)數(shù)據(jù)（包括總被引次數(shù)、影響因子、即年指標(biāo)、載文量、引證半衰期、特征因子、論文影響分值）作為統(tǒng)計(jì)分析數(shù)據(jù)源。

3.2 統(tǒng)計(jì)學(xué)分析

運(yùn)用SPSS13.0軟件對(duì)三組期刊的各指標(biāo)值進(jìn)行統(tǒng)計(jì)學(xué)分析。為進(jìn)行幾組數(shù)據(jù)之間的差異比較，統(tǒng)計(jì)學(xué)方法采用秩和檢驗(yàn)（Kruskal Wallis Test），計(jì)量資料采用均數(shù)（最小值，最大值）［M（min，max）］表示。

統(tǒng)計(jì)結(jié)果（如表1）顯示：除總被引次數(shù)、載文量、特征因子三個(gè)指標(biāo)外，其余幾項(xiàng)指標(biāo)（2009年IF、5年IF、即年指標(biāo)、引證半衰期、論文影響分值）的組間差異均無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05）。載文量指標(biāo)具有組間差異無(wú)可厚非；總被引次數(shù)指標(biāo)由于受載文量影響會(huì)產(chǎn)生組間差異也較易理解；但引起特征因子組間差異的原因還不能草率判定為由載文量引起。

為進(jìn)一步判定總被引次數(shù)和特征因子在評(píng)定TOP期刊中是否受載文量影響，對(duì)三組期刊的載文量、總被引次數(shù)和特征因子指標(biāo)再次進(jìn)行統(tǒng)計(jì)分析。統(tǒng)計(jì)方法采用一般線性模型，做協(xié)方差分析（以載文量作為協(xié)變量）。結(jié)果如表2所示：總被引次數(shù)與特征因子的模型擬合度非常好（P＜0.01）；協(xié)變量的差異均具有統(tǒng)計(jì)學(xué)意義（P＜0.01）；總被引頻次的組間差異無(wú)統(tǒng)計(jì)學(xué)意義（P＞0.05），特征因子的組間差異具有統(tǒng)計(jì)學(xué)意義（P＜0.05）。

3.3 結(jié)果與討論

（1）三種方法篩選所得期刊組的影響因子指標(biāo)沒(méi)有統(tǒng)計(jì)學(xué)差異，這說(shuō)明同行評(píng)議法與同行趨向法在評(píng)定TOP期刊時(shí)具有同傳統(tǒng)的引文指標(biāo)法相同的區(qū)分度和有效性，可以將TOP期刊有效地甄別出來(lái)。

（2）有學(xué)者認(rèn)為特征因子受期刊載文量影響，載文量小的期刊不會(huì)得到較高的特征因子分值；特征因子值高的期刊一般都具有較多的平均論文數(shù)［9］［10］；本文統(tǒng)計(jì)結(jié)果表明：特征因子雖然受載文量影響，但載文量大小最終不會(huì)影響TOP期刊整體的特征因子水平。由此可見，特征因子是一個(gè)可以用于甄選TOP期刊的有效指標(biāo)。

（3）同樣作為TOP期刊評(píng)選方法，三種方法間也存在差異。我們知道特征因子間微小的差別就能區(qū)分期刊之間的差距［11］。由表1可知，三種期刊評(píng)定方法確定的期刊組中，特征因子值具有統(tǒng)計(jì)學(xué)差異；特征因子從高到低分別為：“同行趨向”組、“同行評(píng)議”組、“引文指標(biāo)”組。根據(jù)特征因子的定義可知，其值越高代表期刊的影響力越強(qiáng)，一般來(lái)說(shuō)質(zhì)量也越高。所以，可以認(rèn)為同行趨向法不僅可以作為評(píng)定TOP期刊的有效方法，而且具有比其他兩種方法區(qū)分度更強(qiáng)的優(yōu)點(diǎn)。

（4）對(duì)于方法一來(lái)說(shuō)，國(guó)內(nèi)外學(xué)科映射是前提也是關(guān)鍵。本實(shí)證為計(jì)算機(jī)學(xué)科，屬于一個(gè)中等大小學(xué)科，在與JCR學(xué)科映射時(shí)比較理想。然而并不是所有學(xué)科都能成功地實(shí)現(xiàn)學(xué)科映射，以下三種情況需要引起注意。一、對(duì)于一些大的交叉學(xué)科切不可將所有期刊涉及的JCR領(lǐng)域都選入內(nèi)。如：化工學(xué)科的主要期刊共對(duì)應(yīng)31個(gè)JCR領(lǐng)域，但事實(shí)上只有18個(gè)領(lǐng)域是主流領(lǐng)域，另外13個(gè)領(lǐng)域如農(nóng)業(yè)工程、電化學(xué)等僅僅只有個(gè)別期刊與化工學(xué)科交叉，不應(yīng)作為主流領(lǐng)域放入，否則會(huì)引入諸多的不相關(guān)期刊。二、對(duì)于一些交叉學(xué)科，即使JCR領(lǐng)域內(nèi)排名較差也不能武斷地認(rèn)為該刊不能列為TOP刊。如：制藥工程學(xué)科沒(méi)有專門的JCR領(lǐng)域向?qū)?yīng)，只能選擇最為接近的工程，化工和農(nóng)業(yè)工程作為主流JCR領(lǐng)域，如將這兩個(gè)領(lǐng)域內(nèi)排名前10%的期刊作為制藥工程學(xué)科的TOP期刊顯然不盡合理，因?yàn)檎嬲扑幑こ虒W(xué)科領(lǐng)域內(nèi)公認(rèn)的TOP期刊很可能在工程，化工和農(nóng)業(yè)工程兩個(gè)領(lǐng)域都排不上前10%。三、對(duì)于一些小的學(xué)科，任一JCR領(lǐng)域都已經(jīng)超過(guò)其對(duì)應(yīng)范圍。如：電力電子學(xué)科映射到JCR領(lǐng)域?yàn)楣こ?，電氣電子，而這個(gè)JCR領(lǐng)域主要對(duì)應(yīng)的有三個(gè)學(xué)科，即電氣工程，電力電子、電子，故也不能將電力電子學(xué)科強(qiáng)行映射為工程，電氣電子JCR領(lǐng)域。

根據(jù)本文的實(shí)證研究，同行趨向法是一種不受JCR領(lǐng)域映射影響且效果等同的一種TOP期刊選定方法。因此，上述三種情況的學(xué)科TOP期刊確定可以用國(guó)外TOP學(xué)校相應(yīng)院系的發(fā)文，即同行趨向法來(lái)確定學(xué)科TOP期刊。

（5）本實(shí)證以計(jì)算機(jī)學(xué)科為例，但沒(méi)有將五年影響因子同時(shí)作為評(píng)價(jià)指標(biāo)引入，因?yàn)橛?jì)算機(jī)學(xué)科知識(shí)更新非常迅速，但評(píng)估被引用周期很長(zhǎng)的特定領(lǐng)域期刊（如人文社科期刊）時(shí)五年影響因子也應(yīng)作為一個(gè)重要的評(píng)價(jià)指標(biāo)。

（6）同行趨向法在使用時(shí)要應(yīng)靈活運(yùn)用。如果某刊在各機(jī)構(gòu)的發(fā)文比較分散，就會(huì)存在按發(fā)文占載文量百分比方法篩選期刊也有遺漏的情況，作為彌補(bǔ)可以根據(jù)該學(xué)科期刊基數(shù)適當(dāng)放寬百分比的限定，甚至也可以采用按發(fā)文量排序篩選期刊的方法，兩者結(jié)合使用。基于Web of Science的同行發(fā)文趨向的期刊評(píng)價(jià)結(jié)果是對(duì)引文指標(biāo)評(píng)價(jià)結(jié)果和專家評(píng)議方法的有效補(bǔ)充。

表1 三組間JCR指標(biāo)比較結(jié)果（Kruskal Wallis Test）

表2 載文量作為協(xié)變量的一般線性模型分析結(jié)果

4 結(jié)語(yǔ)

TOP期刊的評(píng)定關(guān)鍵在于結(jié)合不同專業(yè)的特點(diǎn)進(jìn)行綜合評(píng)價(jià)，所以學(xué)科不同，方法亦可有所變化，不可千篇一律，應(yīng)用過(guò)程中遇到的各種問(wèn)題都應(yīng)區(qū)別對(duì)待。本文提出了一種結(jié)合定性評(píng)價(jià)、定量評(píng)價(jià)的期刊評(píng)價(jià)創(chuàng)新方法，并進(jìn)行了實(shí)證研究，期望彌補(bǔ)傳統(tǒng)的TOP期刊定量評(píng)價(jià)方法對(duì)于交叉學(xué)科期刊評(píng)定的不足。當(dāng)然，本文的定量評(píng)價(jià)方法都是基于以基礎(chǔ)學(xué)科數(shù)據(jù)為主的Web of Science和JCR兩個(gè)數(shù)據(jù)源，故不一定適用于工程、建筑等應(yīng)用性學(xué)科的評(píng)估。

致謝：浙江大學(xué)葉鷹教授對(duì)本文的撰寫給予了指導(dǎo)，在此深表謝意。

1 葉繼元.學(xué)術(shù)期刊質(zhì)量評(píng)價(jià)與核心期刊評(píng)價(jià)之異同.圖書情報(bào)工作2009，53（18）5－16

2 王凌峰，陳松青.基于中國(guó)科學(xué)院SCI期刊分區(qū)的科研管理量化考核標(biāo)準(zhǔn)研究.現(xiàn)代情報(bào)，2007，4：52－55

3 Polonsky M.J.Journal Rankings：Dose One Size Fit All？Australasian Marketing Journal，2004，12（2）：64

4 Johns M.T.Brain，Pendleberry M.Journal Evaluation Methodologies：A balanced Response.Omega，Int Mgmt Sci，1996，24（5）：607－612

5 賀德方.事實(shí)型數(shù)據(jù)：科技情報(bào)研究工作的基石.情報(bào)學(xué)報(bào)，2010，29（5）：771－776

6 賀德方.基于事實(shí)型數(shù)據(jù)的科技情報(bào)研究工作思考.情報(bào)學(xué)報(bào)，2009，28（5）：764－770.

7 Porter A.L.QTIP：Quick Technology Intelligence Processes.EU－US Seminar：New Technology Foresight，F(xiàn)orecasting＆Assessment Methods，2004：13－14.

8 邱均平.2009年世界一流大學(xué)與科研機(jī)構(gòu)學(xué)科競(jìng)爭(zhēng)力評(píng)價(jià)研究報(bào)告.北京：科學(xué)出版社，2009

9 竇曦騫，祁延莉.特征因子與論文影響力指標(biāo)初探.大學(xué)圖書館學(xué)報(bào)，2009（6）：57－62

10 米佳，濮德敏.特征因子原理及實(shí)證研究.大學(xué)圖書館學(xué)報(bào)，2009（6）：63－68

11 任勝利.特征因子（Eigenfactor）：基于引證網(wǎng)絡(luò)分析期刊和論文的重要性.中國(guó)科技期刊研究，2009，20（3）：415－418

12 劉金芝.利用圖書館學(xué)科優(yōu)勢(shì)正確認(rèn)識(shí)和利用SCI.圖書館工作與研究，2010（7）：91—93