梁超 周茂 邱彥 黃可東
摘要:從多維度融合的多源異構(gòu)信息計(jì)量學(xué)指標(biāo)來綜合評估學(xué)術(shù)期刊影響力,為更準(zhǔn)確掌握中文期刊影響力提供新思路和新方法。文章以“雙碳”關(guān)注的能源動(dòng)力類期刊為例,在完善量化評價(jià)機(jī)制的驅(qū)動(dòng)下集成因子分析、獨(dú)立信息數(shù)據(jù)波動(dòng)賦權(quán)法、改進(jìn)TOPSIS結(jié)合秩和比法等優(yōu)勢從多維視角出發(fā)開展實(shí)證研究以提升綜合評價(jià)能力。相關(guān)結(jié)果揭示了各評價(jià)指標(biāo)及維度間的相關(guān)性關(guān)系,所構(gòu)建的評價(jià)方法結(jié)果雖與影響因子排名總體趨勢相似,但更能全面評價(jià)和有效甄別出真正的高影響力期刊并實(shí)現(xiàn)合理分檔?;诶碚摗⒎椒ê蛻?yīng)用邏輯的學(xué)術(shù)期刊影響力評價(jià)研究結(jié)果合理可靠,具有相當(dāng)?shù)膶?shí)操性、兼顧性和可推廣性。
關(guān)鍵詞:期刊評價(jià);多維視角;期刊影響力;文獻(xiàn)計(jì)量指標(biāo)
中圖分類號:G353.1;G237.5文獻(xiàn)標(biāo)志碼:A
0引言
2021年5月,由中宣部、教育部、科技部聯(lián)合印發(fā)的《關(guān)于推動(dòng)學(xué)術(shù)期刊繁榮發(fā)展的意見》中指出學(xué)術(shù)期刊建設(shè)要服務(wù)于經(jīng)濟(jì)社會(huì)的發(fā)展;要破除“唯影響因子論”,完善以內(nèi)容質(zhì)量評價(jià)為中心,堅(jiān)持分類評價(jià)和多元評價(jià)的學(xué)術(shù)期刊評價(jià)體系[1]。于是,開展特定領(lǐng)域的期刊評價(jià)既是國家的現(xiàn)實(shí)需要,也是新時(shí)代幫助掌握相關(guān)期刊的影響力和時(shí)效性,以及期刊的整體得分和排名的新課題。這不僅有利于期刊之間的競爭,提高學(xué)術(shù)期刊的內(nèi)在質(zhì)量,對促進(jìn)學(xué)術(shù)期刊的健康成長和學(xué)科發(fā)展也具有潛在意義。然而,目前鮮有研究關(guān)注高影響力中文期刊的識別和綜合性評估。
自加菲爾德博士開發(fā)文獻(xiàn)計(jì)量學(xué)指標(biāo)以來[2],期刊評價(jià)最早乃至如今仍在局限使用單一指標(biāo)進(jìn)行簡單的橫向?qū)Ρ龋?],特別是對影響因子的過分依賴。但由于單一指標(biāo)涵蓋的信息量有限,產(chǎn)生的評價(jià)結(jié)果往往有失偏頗,并且傳統(tǒng)的影響因子等定量指標(biāo)時(shí)滯長、虛假引用及馬太效應(yīng)等問題也飽受詬?。?]。為了彌補(bǔ)其局限性,國內(nèi)外學(xué)者試圖在傳統(tǒng)引文指標(biāo)的基礎(chǔ)上引入社會(huì)屬性的替代計(jì)量學(xué)指標(biāo)Altmetrics以期實(shí)現(xiàn)更全面的評價(jià)。例如,F(xiàn)ernandez等[5]提出一種將使用廣泛的媒體生產(chǎn)力和引用指標(biāo)相結(jié)合的多變量模型,用于評價(jià)國際急診醫(yī)學(xué)期刊。俞征鹿等[6]使用Altmetrics工具統(tǒng)計(jì)分析了中國英文科技期刊的社會(huì)影響力表現(xiàn)現(xiàn)狀。然而,這對于中文期刊是不適用的,因?yàn)閲鴥?nèi)尚沒有成熟的平臺支持,大多國內(nèi)社交媒體的功能限制導(dǎo)致數(shù)據(jù)采集困難,真實(shí)性難辨。因此有必要尋求其他維度及更科學(xué)的方法來實(shí)現(xiàn)對期刊影響力的識別與綜合評價(jià)。與此同時(shí),由于期刊評價(jià)是一項(xiàng)較為復(fù)雜的系統(tǒng)工程,并非簡單的線性加權(quán),相比單一指標(biāo)具有更廣闊視角的多屬性評價(jià)法也應(yīng)運(yùn)而生并逐漸被廣泛應(yīng)用。如蘇新寧[7]通過將選取的多個(gè)指標(biāo)主觀賦予相應(yīng)的權(quán)重,由此建立我國人文社科期刊的多屬性評價(jià)構(gòu)架;姚紅[8]則應(yīng)用秩和比法對高校自然科學(xué)學(xué)報(bào)展開綜合評價(jià);熊國經(jīng)等[9]以圖情類學(xué)術(shù)期刊為例,基于PLS結(jié)構(gòu)方程模型完成了影響力分析及綜合評價(jià),并與因子分析法對比從而揭示其用于學(xué)術(shù)期刊綜合評價(jià)的可行性;王志娟等[10]基于因子分析法構(gòu)建了廣東省醫(yī)藥衛(wèi)生期刊的綜合評價(jià)指標(biāo)體系;王慧等[11]則運(yùn)用加權(quán)TOPSIS法圍繞湖南經(jīng)濟(jì)管理期刊展開質(zhì)量評價(jià)初探。綜合來看,多屬性綜合評價(jià)法已然得到不同學(xué)科領(lǐng)域的期刊研究者的重視,但應(yīng)該看到現(xiàn)有的多屬性評價(jià)法仍存在一些不足亟待解決。一是受限于方法論造成的局限性。每一種評價(jià)方法都有兩面性,難以細(xì)分每一種方法的優(yōu)劣,但如果僅依賴一種評價(jià)方法無疑存在一定的限制,評價(jià)結(jié)果可能有失公允。而已有的少數(shù)研究零星散落,評價(jià)結(jié)果也僅為排序沒有輔以基于影響力的期刊分檔,致使目前仍缺乏一套完整適用于中文期刊的多維信息計(jì)量視角下的復(fù)合評價(jià)模型。二是從單一視角出發(fā)的信息不對稱?,F(xiàn)有學(xué)術(shù)期刊的評價(jià)多依賴于單一數(shù)據(jù)庫提供的指標(biāo),然而不同數(shù)據(jù)庫之間的結(jié)果往往存在差異,很少有將多種數(shù)據(jù)庫信息整合的報(bào)道;同時(shí),倘若只應(yīng)用傳統(tǒng)的普適型指標(biāo)更是不足以有效甄別出高影響力期刊。另外,不同國內(nèi)數(shù)據(jù)庫在期刊評價(jià)指標(biāo)上的關(guān)聯(lián)度或相互關(guān)系也尚不清楚。三是對一級指標(biāo)的評價(jià)不夠重視。對于現(xiàn)有學(xué)術(shù)期刊的評價(jià),目前大多數(shù)評價(jià)方法利用底層指標(biāo)的權(quán)重匯總得到學(xué)術(shù)期刊的影響力值、時(shí)效性值等一級指標(biāo)。一級指標(biāo)的權(quán)重分布常通過主觀確定或直接等權(quán)重處理。但主觀賦權(quán)過于依賴專家或個(gè)體的“情感-意志-習(xí)慣”,其結(jié)果差異難以用科學(xué)理論解釋[12]。而一些評價(jià)方法如TOPSIS對權(quán)重又非常敏感,不適當(dāng)?shù)臋?quán)重變化會(huì)嚴(yán)重影響評價(jià)結(jié)果[13]。因此需要引入一種合適的客觀方法去衡量一級指標(biāo)的權(quán)重并能突出高影響力期刊的特征屬性。
為解決上述問題,本文試圖豐富和完善學(xué)術(shù)期刊影響力的指標(biāo)體系和評價(jià)理論,立足多維視角下的指標(biāo)本底數(shù)據(jù)信息建立了一套可實(shí)操的、科學(xué)客觀的復(fù)合期刊評價(jià)模型,開展應(yīng)用于我國能源動(dòng)力領(lǐng)域中文期刊的實(shí)證研究。通過有機(jī)整合多種統(tǒng)計(jì)學(xué)方法揚(yáng)長避短,在期刊引文影響力維度一、期刊特征影響力維度二和期刊引文影響力維度三的評價(jià)基礎(chǔ)上,統(tǒng)籌得到我國能源動(dòng)力領(lǐng)域中文期刊影響力的綜合評價(jià)結(jié)果并輔以合理分檔,以期為期刊管理部門和情報(bào)機(jī)構(gòu)遴選期刊提供有價(jià)值的決策參考。
1期刊影響力綜合評估框架搭建
通過對期刊影響力的基本問題討論,嘗試搭建多維視角的中文學(xué)術(shù)期刊影響力復(fù)合評價(jià)模型。期刊的引文影響力是通過在知識傳播交流中所載論文被其他學(xué)術(shù)文章引用來體現(xiàn)的,在一定程度上可以代表刊物的學(xué)術(shù)輻射能力。實(shí)際上,除了這種單向交流性質(zhì)的輻射影響,真正決定一本刊物在讀、作者群體和學(xué)術(shù)圈子的地位和影響力,還應(yīng)該看到其是否受到同行專家認(rèn)可以及被國內(nèi)外權(quán)威檢索系統(tǒng)或數(shù)據(jù)庫收錄等情況[14]。因此,目前學(xué)界普遍認(rèn)為融合文獻(xiàn)計(jì)量與同行評議更為有效。然而,同行評議制難以排除一些影響公正判斷的因素,如利益沖突、人情關(guān)系等,容易評價(jià)標(biāo)準(zhǔn)不一,于是剛性的量化評價(jià)被提上議程[15]。有趣的是,領(lǐng)域內(nèi)的學(xué)者和機(jī)構(gòu)通常對高影響力期刊的認(rèn)識基本是趨同的,分歧很小,頂尖機(jī)構(gòu)的業(yè)界同仁也往往傾向于在他們認(rèn)可的期刊上首發(fā)研究成果。與此同時(shí),期刊被各大數(shù)據(jù)庫收錄的考察過程中實(shí)際上已經(jīng)融入了期刊專家和學(xué)科領(lǐng)域?qū)<业脑u估,是一種固有的定性和定量的潛在融合。另外,期刊品牌和所載論文相輔相成,不能割裂來看,作為高影響力的期刊也理應(yīng)包括刊載一定數(shù)量的標(biāo)志性論文以及在Web 2.0網(wǎng)絡(luò)環(huán)境下的傳播情況等多向性的交流情況。Bornmann[16]給Journal of Informetrics編輯的信中就提到可采用TOP10%被引文章數(shù)量來評價(jià)期刊的表現(xiàn)力。
借鑒以上思路,本文以多指標(biāo)、多方法融合的方式建立引文影響力和特征影響力兩方面多維度的中文期刊影響力測度。先對兩種影響力分別進(jìn)行單獨(dú)評價(jià)后,再將其結(jié)合起來進(jìn)行綜合評價(jià),如圖1所示。對于期刊引文影響力,以不同的數(shù)據(jù)庫來源,選取7個(gè)指標(biāo)進(jìn)行兩個(gè)學(xué)術(shù)期刊引文影響力維度評價(jià)(旨在探索傳統(tǒng)引文指標(biāo)、不同國內(nèi)數(shù)據(jù)庫之間的相互關(guān)系)。對于特征影響力維度,納入中國知網(wǎng)統(tǒng)計(jì)源的2012—2022年期間TOP1%、TOP0.1%被引論文數(shù)量及2022年的知網(wǎng)源總下載量等指標(biāo)為論文表現(xiàn)力要素及頂尖機(jī)構(gòu)發(fā)文占比和檢索覆蓋率等指標(biāo)作為同行認(rèn)可度要素,共計(jì)選取5個(gè)指標(biāo)進(jìn)行學(xué)術(shù)期刊特征影響力維度評價(jià)。由于國內(nèi)高校排名眾多,難以趨同,本文暫以普遍共識的九校聯(lián)盟C9高校作為頂尖機(jī)構(gòu)的認(rèn)定。(1)對多元指標(biāo)數(shù)據(jù)使用系列統(tǒng)計(jì)學(xué)方法分別進(jìn)行學(xué)術(shù)期刊引文影響力維度和特征影響力維度評價(jià);(2)將各維度得分按相互關(guān)系賦權(quán)后導(dǎo)入改進(jìn)TOPSIS確定各評價(jià)對象與最優(yōu)解的相對貼近度,結(jié)合秩和比法對樣本期刊按影響力進(jìn)行合理分檔,最終甄別出高影響力期刊;(3)對各維度展開相關(guān)性分析以及驗(yàn)證本文復(fù)合評價(jià)模型與影響因子排名相比的合理性。
2期刊多屬性復(fù)合評價(jià)方法
根據(jù)構(gòu)建的期刊影響力綜合評價(jià)框架,運(yùn)用SPSS 27統(tǒng)計(jì)學(xué)程序處理各指標(biāo)數(shù)據(jù),整合多種評價(jià)方法形成的多屬性復(fù)合評價(jià)模型及步驟如下。
2.1因子分析法確定期刊各評價(jià)維度影響力
本文主要利用因子分析法中的降維思想能夠很好地把多元指標(biāo)的信息濃縮,避免各評價(jià)指標(biāo)之間因多協(xié)方差而重復(fù)計(jì)算的問題,同時(shí)可以將可測度的表觀變量轉(zhuǎn)換為不可直接觀察的一級指標(biāo)潛變量,進(jìn)而得到各評價(jià)對象在當(dāng)前維度下的綜合影響力。每一本期刊的綜合得分F可由下式計(jì)算得出:
F=∑np=1Sp∑np=1Sp×∑mj=1yj×αj(1)
式(1)中:n為提取的成分個(gè)數(shù);Sp為第p個(gè)成分的方差貢獻(xiàn)率;m為評價(jià)指標(biāo)數(shù)量;αj為第j個(gè)指標(biāo)的成分得分系數(shù);yj為評價(jià)對象在相應(yīng)指標(biāo)上的標(biāo)準(zhǔn)化數(shù)據(jù)。
2.2獨(dú)立信息數(shù)據(jù)波動(dòng)賦權(quán)法確定各維權(quán)重
考慮到各評價(jià)維度間存在一定的關(guān)聯(lián)度,可能存在潛在的信息重疊,因此如果不重視一級指標(biāo)的賦權(quán),那么綜合各評價(jià)維度下的結(jié)果實(shí)際上是一種重復(fù)計(jì)算,不確定性反而愈強(qiáng),對高影響力期刊的甄別作用更是無從體現(xiàn)。為此,特征影響力維度的補(bǔ)充既要顯現(xiàn)其數(shù)據(jù)信息作用于期刊影響力的影響,也要消除其與傳統(tǒng)引文維度之間的重疊信息。鑒于此,本文利用獨(dú)立信息數(shù)據(jù)波動(dòng)賦權(quán)(DIDF)法確定各維權(quán)重。DIDF是由俞立平等[17]提出的一種線性客觀賦權(quán)法,它以指標(biāo)間的數(shù)據(jù)波動(dòng)信息和獨(dú)立信息為基礎(chǔ),分別以離差系數(shù)Vj和獨(dú)立信息比率Dj的形式來表現(xiàn),其標(biāo)準(zhǔn)化后的乘積越大則包含的純信息量Ij越大,意味著該指標(biāo)的權(quán)重就愈重,相關(guān)的計(jì)算公式為:
Vj=δjyj,Dj=1-Rj,Ij=Vjmax(Vj)×Djmax(Dj)(2)
式(2)中:δj、yj分別為一級指標(biāo)的標(biāo)準(zhǔn)差和均值;Rj為選定指標(biāo)作為因變量時(shí)其余指標(biāo)作自變量進(jìn)行線性回歸得到的擬合優(yōu)度。各維權(quán)重wj的計(jì)算公式為:
wj=Ij/∑mj=1Ij(3)
2.3改進(jìn)TOPSIS法確定期刊影響力的綜合排序
TOPSIS是一種接近理想方案的排序方法,可在缺乏參考體系下用于有限方案的多目標(biāo)決策。與TOPSIS類似,改進(jìn)TOPSIS以稍微不同的方式引入屬性權(quán)重概念與評分排序結(jié)合,評價(jià)對象與最佳方案之間的相對貼近度仍通過計(jì)算評價(jià)對象與最佳方案和最差方案之間的距離得到,不過這個(gè)距離與備選權(quán)重有關(guān)。這里改進(jìn)TOPSIS提出使用基于DIDF法的權(quán)重分布,這種方法具有較好的區(qū)分性,避免了直接使用加權(quán)和或等權(quán)重來計(jì)算評價(jià)值,對樣本的分布和大小沒有嚴(yán)格的要求,可以充分利用原始數(shù)據(jù)信息對每個(gè)評價(jià)對象的優(yōu)劣度進(jìn)行排序,信息損失較少,使結(jié)果更加符合實(shí)際。改進(jìn)TOPSIS的計(jì)算方式如下:
Ci=∑mj=1wj(xij-x-j)2∑mj=1wj(xij-x+j)2+∑mj=1wj(xij-x-j)2(4)
式(4)中:Ci為第i個(gè)評價(jià)對象的相對貼近度;xij為標(biāo)準(zhǔn)化后的一級指標(biāo)數(shù)值;x+j為標(biāo)準(zhǔn)化后的最大值,即正理想解;x-j為標(biāo)準(zhǔn)化后的最小值,即負(fù)理想解。分子表示樣本對象到負(fù)理想解的距離,而分母則表示到正、負(fù)理想解的相距之和。
2.4聯(lián)用秩和比法對期刊影響力合理分檔
秩和比法屬于一種非參數(shù)統(tǒng)計(jì)的綜合分析方法,能迅速反映出評價(jià)樣本的優(yōu)劣程度并以正態(tài)分布為依據(jù)給出合理分檔,分辨能力強(qiáng),能夠區(qū)分?jǐn)?shù)據(jù)間的微小差異和消除異常值的影響[18]。而改進(jìn)TOPSIS雖然能夠定量得到評價(jià)對象的優(yōu)劣排序,但不能排除測度過程中異常值的干擾,也不能實(shí)現(xiàn)對評價(jià)對象的合理分檔,且靈敏度不高??紤]到改進(jìn)TOPSIS法Ci值的[0,1]數(shù)據(jù)特點(diǎn)同秩和比法中的行(或列)秩和的無量綱平均值分布特征相同,本文在改進(jìn)TOPSIS的基礎(chǔ)上對定量依據(jù)Ci值進(jìn)一步挖掘利用,能夠給出按照影響力高低的期刊分檔。二者的模糊聯(lián)合不僅能夠克服TOPSIS的上述缺陷,又能克服秩和比法在非參數(shù)轉(zhuǎn)化過程中的過大信息損失。
3實(shí)證分析
3.1數(shù)據(jù)說明及處理
本文引文數(shù)據(jù)來自兩種國內(nèi)主流數(shù)據(jù)庫,即中國知網(wǎng)發(fā)布的《中國學(xué)術(shù)期刊影響因子年報(bào)(自然科學(xué)與工程技術(shù))2022版》(以下簡稱“年報(bào)”)和中信所編制的《2022版中國科技期刊引證報(bào)告(擴(kuò)刊版)》(以下簡稱“CJCR”),特征影響力維度的部分?jǐn)?shù)據(jù)則采集自中國知網(wǎng)《學(xué)術(shù)精要數(shù)據(jù)庫》。此外,本文鑒于核能作為非石化能源,是推進(jìn)能源革命,實(shí)現(xiàn)“雙碳”目標(biāo)的重要戰(zhàn)略性抓手,因此參照年報(bào)的分類將核技術(shù)期刊引入后共有61本能源動(dòng)力大類領(lǐng)域的中文期刊(剔除指標(biāo)缺失樣本)被納入評價(jià)。需要注意的是,為了消除不同評價(jià)指標(biāo)間的維度和量綱效應(yīng),需要?dú)w一化處理來解決數(shù)據(jù)指標(biāo)之間的可比性。特別是半衰期這類成本型指標(biāo),數(shù)值越大則期刊時(shí)效性越差,需要對數(shù)據(jù)規(guī)范化處理。本文分別采用以下標(biāo)準(zhǔn)化方法[19]使效益型和成本型指標(biāo)數(shù)據(jù)轉(zhuǎn)化為純無量綱值,并將數(shù)據(jù)統(tǒng)一映射到區(qū)間[0,1]以便綜合評價(jià):
yk=xk-min(xk)max(xk)-min(xk)(5)
yk=1-xkmax(xk)+1-max1-xkmax(xk)(6)
式(5)中:xk為原始指標(biāo)數(shù)據(jù);yk為標(biāo)準(zhǔn)化指標(biāo)數(shù)據(jù)。
3.2維度一:基于年報(bào)的原生引文影響力
根據(jù)P-P圖分析結(jié)果發(fā)現(xiàn),基于年報(bào)的引文指標(biāo)數(shù)據(jù),除引用半衰期和被引半衰期近似服從正態(tài)分布外其余指標(biāo)均不服從,因此本節(jié)采用Spearman相關(guān)分析法。除一些例外不同指標(biāo)間存在著中等或高度的正相關(guān)關(guān)系(ρ值為0.252~0.988,P<0.01或P<0.05),相反代表期刊收到和發(fā)出引用的半衰期則和其余引文指標(biāo)幾乎呈不相關(guān),如圖2所示。然后經(jīng)信度和效度分析,得到Cronbachs Alpha系數(shù)為0.885,這是一個(gè)高度可接受的值(接近于1)且具有高度統(tǒng)計(jì)學(xué)意義。通過KMO-Bartlett檢驗(yàn)得到KMO值為0.777,顯著性水平為0,說明各指標(biāo)數(shù)據(jù)間通過相關(guān)檢驗(yàn),具備條件使用因子分析法來反映評價(jià)對象的引文影響力。
利用主成分分析法提取因子響應(yīng)的大部分?jǐn)?shù)據(jù)信息。由于未旋轉(zhuǎn)的因子載荷矩陣不能準(zhǔn)確反映公因子和每個(gè)指標(biāo)的關(guān)聯(lián)關(guān)系,模棱兩可的載荷差別造成難以解釋和命名各公因子的專業(yè)含義。根據(jù)表1的結(jié)果采用最大方差法旋轉(zhuǎn)后,以特征根大于1為標(biāo)準(zhǔn)的前3個(gè)公因子累計(jì)方差貢獻(xiàn)率達(dá)到92.231%,已經(jīng)可以相對完整地表達(dá)原始數(shù)據(jù)的相關(guān)信息,即可以將7個(gè)原始指標(biāo)降維減縮至3個(gè)公因子中。同吳濤等[20]的研究結(jié)果一致,根據(jù)旋轉(zhuǎn)后因子載荷分布顯示公因子1在反映期刊在知識傳播中總體上被使用或受重視程度的影響力指數(shù)(0.734)和總被引頻次(0.939)上有較大的載荷系數(shù),可被稱為整體影響力因子F1。公因子2在復(fù)合影響因子(0.906)、他引影響因子(0.897)及五年影響因子(0.877)上都有明顯的載荷極化,這些指標(biāo)反映期刊載文在某段時(shí)期內(nèi)的被引情況,因此可以被稱為平均影響力因子F2。而公因子3在代表期刊老化速度快慢及新近文獻(xiàn)被利用度的被引半衰期(0.945)和引用半衰期(0.795)上反饋出很強(qiáng)的載荷取向,因此可以稱為即時(shí)影響力因子F3。
將3個(gè)公因子作為因變量進(jìn)行回歸分析得到得分系數(shù)矩陣,從而更直觀地分析各公因子與各成分之間的得分表達(dá)式。以公因子旋轉(zhuǎn)后各自貢獻(xiàn)率占比為權(quán)重進(jìn)行賦權(quán)求和后,可得每本評價(jià)期刊在該計(jì)算場景下的綜合得分情況。限于篇幅,暫僅列出前10種能動(dòng)類期刊在引文影響力維度一上的評價(jià)結(jié)果及得分情況(見表2)。
3.3維度二:高影響力期刊的特征影響力
為了選擇恰當(dāng)?shù)南嚓P(guān)性分析方法,柯爾莫可洛夫-斯米洛夫(K-S)檢驗(yàn)被應(yīng)用對該維度下入選指標(biāo)進(jìn)行檢驗(yàn),發(fā)現(xiàn)全部數(shù)據(jù)均不服從正態(tài)分布。如圖3所示,Spearman相關(guān)性分析顯示各指標(biāo)之間存在不同強(qiáng)度的正相關(guān)關(guān)系,總體上一致性顯著(ρ值為0.183~0.770,P<0.01),可見若刊物被權(quán)威數(shù)據(jù)庫收錄和能吸納更多頂尖機(jī)構(gòu)發(fā)文,可能更容易獲得更多的標(biāo)志性優(yōu)秀論文和更好的網(wǎng)絡(luò)傳播情況。其次,通過可靠性分析發(fā)現(xiàn)Cronbachs Alpha系數(shù)為0.875,校正項(xiàng)相關(guān)極差為0.494~0.879,說明研究數(shù)據(jù)的高質(zhì)量精度。根據(jù)效度分析,KMO值為0.766,滿足因子分析的前提要求;Bartlett球形度檢驗(yàn)近似卡方值為394.209,顯著性水平為0,各指標(biāo)提取的公因子共同度為0.837~0.972,其值均較高,意味著本次因子提取的總體效果很理想,信息丟失很小,能夠相對完整反映特征維度指標(biāo)的原始信息。
表3顯示特征根大于1的主成分有2個(gè),而后面的成分特征值很小,對解釋原始信息的貢獻(xiàn)也越來越微弱。成分1的特征根為2.723,解釋了原有指標(biāo)總方差的54.46%=2.723÷5×100%,前2個(gè)成分解釋的累積方差貢獻(xiàn)率達(dá)90.343%。經(jīng)最大方差法旋轉(zhuǎn)后提取的特征值仍都大于1,累積貢獻(xiàn)率與旋轉(zhuǎn)前亦保持在一致,顯然所提公因子解釋了原始數(shù)據(jù)的絕大部分信息。旋轉(zhuǎn)后因子載荷發(fā)生明顯分離,結(jié)合因子載荷分布的結(jié)果可知同本文預(yù)設(shè)的指標(biāo)解釋極為一致,可以將這5個(gè)原始指標(biāo)劃入2個(gè)公因子中:公因子F1命名為論文表現(xiàn)力因子,包括高被引文章數(shù)量和知網(wǎng)統(tǒng)計(jì)源的論文總下載量;公因子F2定義為同行認(rèn)可度因子,包括頂尖機(jī)構(gòu)發(fā)文占比和檢索覆蓋率。
最后,根據(jù)各成分的得分系數(shù)給出各公因子得分情況,以各公因子的旋轉(zhuǎn)后貢獻(xiàn)率占比為權(quán)重進(jìn)行加權(quán)求和,得到每個(gè)評價(jià)對象的綜合得分。限于篇幅,僅展示前10種能動(dòng)類期刊在特征影響力維度二的評價(jià)結(jié)果及得分情況(見表4)。
3.4維度三:基于CJCR的原生引文影響力
基于CJCR的指標(biāo)數(shù)據(jù)同年報(bào)類似,除半衰期指標(biāo)外其余皆呈非正態(tài)分布,因此本節(jié)仍采用Spearman相關(guān)分析法,結(jié)果如圖4所示。與基于年報(bào)的結(jié)果不同的是,擴(kuò)散因子的引入使其和大部分引文指標(biāo)呈負(fù)相關(guān)關(guān)系,這與擴(kuò)散因子的定義是吻合的。使用Cronbachs Alpha系數(shù)計(jì)算多元指標(biāo)的可靠性指數(shù)僅為0.601,表明數(shù)據(jù)信度質(zhì)量一般,但KMO-Bartlett檢驗(yàn)得到KMO值為0.762,遠(yuǎn)超0.6的Kaiser推薦標(biāo)準(zhǔn),顯著性水平為0,說明使用因子分析法來分析評價(jià)對象在該維度下的引文影響力依舊是可接受的。
由于提取因子要求特征根大于1,所以從原始指標(biāo)中旋轉(zhuǎn)后提取了3個(gè)公因子。根據(jù)表5結(jié)果,公因子的累計(jì)方差貢獻(xiàn)率可達(dá)到87.949%,即所提公因子可以反映所有信息的87.949%,說明信息損失少,可以較好地替代原有指標(biāo)。為了更方便地解釋這些因子,同引文影響力維度一的分析相似,提取的3個(gè)公因子可以被分別用來描述期刊整體影響力、平均影響力和即時(shí)影響力3個(gè)方面。整體影響力公因子F1在總被引次數(shù)、H指標(biāo)及擴(kuò)散因子上有較大的相關(guān)性,載荷系數(shù)絕對值都大于0.760。平均影響力公因子F2在影響因子和即年指標(biāo)中具有較大的相關(guān)性,其載荷系數(shù)都大于0.853。即時(shí)影響力公因子F3反映了期刊引用和被引用的情況,系數(shù)都大于0.723。
同理,根據(jù)各成分的得分系數(shù)整理出各公因子得分,再以各公因子的方差貢獻(xiàn)率計(jì)算權(quán)重后加權(quán)求和,從而得到每個(gè)評價(jià)對象的綜合得分。前10種能動(dòng)類期刊在引文影響力維度三的評價(jià)結(jié)果及得分情況如表6所示。
3.5期刊影響力的綜合評價(jià)與分類
首先利用DIDF法確定各維度的權(quán)重依次為18.76%、63.42%、17.82%。不難理解,出于非引用角度考慮的特征影響力維度同傳統(tǒng)引文維度的信息重疊較小且具更鮮明的獨(dú)立性,因此權(quán)重愈重。運(yùn)用2.3節(jié)中改進(jìn)TOPSIS方法的原理,對賦權(quán)后的數(shù)據(jù)進(jìn)行處理,計(jì)算得到前15種及末位學(xué)術(shù)期刊的最終評價(jià)結(jié)果,此處僅展示評價(jià)指標(biāo)值與最優(yōu)解的Ci值,如表7所示??梢娖渲稻橛?~1,分布特征同秩和比法中的連續(xù)變量一致,因此繼續(xù)按照Ci值從大到小的排列順序列出不同組段的頻數(shù)f和累計(jì)頻數(shù)R,隨即算出累計(jì)百分率(R/N×100%)后參照《百分?jǐn)?shù)與概率單位對照表》匹配相應(yīng)的概率單位值(Probit)。最后以Probit(式中記為Probit)為自變量,Ci為因變量回歸得到線性方程Ci=-0.172+0.189×Probit,擬合優(yōu)度為0.872,方差分析F=403.56,P<0.001,表明所求的回歸方程有統(tǒng)計(jì)學(xué)意義。結(jié)合合理分檔數(shù)表[21],根據(jù)秩和比法的合理分檔要求對61種學(xué)術(shù)期刊進(jìn)行歸類,按期刊影響力大小可分為權(quán)威、專家、重要、普通4個(gè)檔次。經(jīng)方差分析,不同分組樣本對于Ci值均呈現(xiàn)出顯著性(P<0.05),表明各分檔間差別有統(tǒng)計(jì)學(xué)意義;通過事后兩兩比較SNK-q檢驗(yàn),P<0.01,表明分檔有效,各分檔間差異均具備統(tǒng)計(jì)學(xué)意義。
此時(shí)將學(xué)術(shù)期刊綜合影響力和期刊排名的關(guān)系投射在二維坐標(biāo)系上形成可視化的分檔結(jié)果,如圖5所示。其中,權(quán)威、專家級期刊可被認(rèn)為是本領(lǐng)域內(nèi)的高影響力期刊,故本文復(fù)合評價(jià)模型共識別出12種刊物,占比約20%。第一檔中的《太陽能學(xué)報(bào)》《儲能科學(xué)與工程》《熱力發(fā)電》的整體影響力居于頭部,特別是《太陽能學(xué)報(bào)》,其Ci值為0.8907,遠(yuǎn)遠(yuǎn)超過0.5732的分檔線,經(jīng)查閱該期刊由中國可再生能源學(xué)會(huì)主辦,所刊載論文延伸涉及太陽能、生物質(zhì)能、風(fēng)能、氫能、海洋能及地?zé)崮艿榷喾N新能源,經(jīng)咨詢專家意見確認(rèn)其為領(lǐng)域內(nèi)公認(rèn)的、目前國內(nèi)最具權(quán)威和聲望的刊物。而重要、普通級期刊的總體影響力則相對偏低一些,究其主要原因,筆者發(fā)現(xiàn)高影響力期刊皆被中國科學(xué)引文數(shù)據(jù)庫(CSCD)收錄。眾所周知,CSCD期刊被譽(yù)為中國的“SCI”,歷來被廣大科研工作者和研究機(jī)構(gòu)所青睞,其載文無論是學(xué)術(shù)內(nèi)容還是編校質(zhì)量都普遍偏高,相比普通期刊乃至一般的核心期刊都更受到重視,進(jìn)而得到可觀的總體影響力水平。該結(jié)果在一定程度上也反映出本文的評價(jià)方法能夠?qū)Σ煌绊懥Φ钠诳憩F(xiàn)出應(yīng)有的區(qū)分度。
3.6相關(guān)結(jié)果分析與討論
對61種能動(dòng)類期刊3個(gè)影響力維度的得分情況開展Spearman相關(guān)性分析,如表8所示??梢钥闯觯瑑蓚€(gè)引文影響力維度之間的相關(guān)系數(shù)為0.876(P<0.01),存在著非常強(qiáng)的正相關(guān)關(guān)系,說明中國知網(wǎng)與中信所的數(shù)據(jù)庫所提供的傳統(tǒng)引用指標(biāo)具有很高的一致性,因此兩者可替代使用評價(jià)期刊的影響力水平。這個(gè)結(jié)果也能和兩個(gè)引文維度提供幾乎相當(dāng)?shù)募冃畔⒘繖?quán)重相吻合。而特征維度影響力與引文影響力維度的相關(guān)系數(shù)分別為0.603和0.610(P<0.01),兩兩間存在較強(qiáng)的正相關(guān)關(guān)系,說明基于非引用角度出發(fā)的期刊特征影響力相對傳統(tǒng)引文影響力雖有一定差異,但可以起到較好的補(bǔ)充作用。考慮到論文引用存在時(shí)滯性,被知名數(shù)據(jù)庫或檢索收錄的期刊以及知名研究機(jī)構(gòu)在發(fā)表研究成果后更能激發(fā)受眾群體的閱讀興趣,可能在后期更容易獲得引用,故時(shí)效性更優(yōu)越。再結(jié)合其正相關(guān)關(guān)系,說明將多維異構(gòu)數(shù)據(jù)組合的綜合性評價(jià)具有一定意義。
為了進(jìn)一步驗(yàn)證模型的合理性,與最常用的影響因子評價(jià)指標(biāo)相比,本文評價(jià)模型能夠使影響因子指標(biāo)不占優(yōu)勢,但擁有高影響期刊特征屬性的期刊排名更有效突出。圖6集成了61種期刊分別應(yīng)用本文評價(jià)模型和影響因子的排名對比情況。不難看出,年報(bào)復(fù)合影響因子和CJCR擴(kuò)刊影響因子的評價(jià)趨勢存在較高一致性,而本文模型的排名雖與典型的影響因子在總趨勢上有一定相似,但對具體期刊而言差異性仍然較顯著。例如,《原子能科學(xué)技術(shù)》和《核動(dòng)力工程》雖然在影響因子方面表現(xiàn)并不出彩(依年報(bào)排名分別為第28名和第35名),但經(jīng)過本文評價(jià)模型的篩查仍能進(jìn)入前10行列,主要是因?yàn)檫@兩本期刊都載有數(shù)量不俗的優(yōu)質(zhì)文章(如TOP1%論文量分別為70篇和41篇),且都被知名的國際工程索引(EI)、CSCD數(shù)據(jù)庫收錄,特征維度影響力表現(xiàn)很好。該結(jié)果與中國核學(xué)會(huì)認(rèn)定這兩本刊物為T1級期刊(表示已經(jīng)接近或具備國際一流期刊水平)不謀而合,確屬對應(yīng)研究領(lǐng)域的高影響力期刊。此外,由于本文模型能提供更多的維度信息,對于部分影響因子不分伯仲的期刊區(qū)分性更高。例如,《工程熱物理學(xué)報(bào)》《汽輪機(jī)技術(shù)》《車用發(fā)動(dòng)機(jī)》的年報(bào)復(fù)合影響因子分別為0.749、0.755和0.737,僅從被引的角度來區(qū)分這些刊物影響力高低是比較困難的。但融入本文模型新增的高影響力期刊特征屬性等指標(biāo)后,發(fā)現(xiàn)《工程熱物理學(xué)報(bào)》的頂尖機(jī)構(gòu)發(fā)文占比、高被引文章數(shù)量及檢索情況都表現(xiàn)更優(yōu),故最終排名更高。綜合來看,本評價(jià)模型在多維視角下探討期刊的影響力,可以更全面地展示期刊影響力在各個(gè)維度的表現(xiàn),充分體現(xiàn)各期刊之間的差別,對期刊評價(jià)結(jié)果的區(qū)分性更高。
4結(jié)語
本文從期刊影響力這個(gè)基本問題的討論著手,從完善量化評價(jià)機(jī)制,堅(jiān)持分類評價(jià)出發(fā),參考基于引用的期刊對外輻射影響力和高影響力期刊的特征屬性搭建出了一套完整客觀、易于實(shí)施的多維度復(fù)合評價(jià)方法,以我國能源動(dòng)力領(lǐng)域中文期刊為例進(jìn)行實(shí)證研究。與已往報(bào)道的期刊評價(jià)方法相比,本文最主要的亮點(diǎn)有兩個(gè)方面:在指標(biāo)體系設(shè)計(jì)上,除了充分考慮國內(nèi)不同數(shù)據(jù)庫信息來源及多元化的引用指標(biāo),引入數(shù)個(gè)代表高影響力特征屬性指標(biāo)作為新維度來彌補(bǔ)傳統(tǒng)指標(biāo)的局限性;在評價(jià)模型上,利用因子分析法轉(zhuǎn)化得到各維度下的量化分值,繼而采用維度間相互影響的DIDF法確定權(quán)重后融入改進(jìn)TOPSIS結(jié)合秩和比法最終甄別出高影響力期刊。結(jié)果表明,本文復(fù)合評價(jià)模型累計(jì)識別出12種高影響力期刊,占比約前20%。與最經(jīng)典的影響因子排名相比,本文多指標(biāo)融合的模型對期刊影響力的評價(jià)更加全面飽滿,能夠使被引表現(xiàn)不佳但期刊特征指標(biāo)表現(xiàn)優(yōu)異的期刊排名更加靠前,從而拉大高影響力期刊與普通期刊的差距,使得結(jié)果更具區(qū)分度。因此,基于多源異構(gòu)數(shù)據(jù)的多維復(fù)合評價(jià)模型在一定程度上對高影響力期刊的錨定是比較精準(zhǔn)、公正的。
參考文獻(xiàn)
[1]胡紹君,秦新國.基于結(jié)構(gòu)方程模型的期刊質(zhì)量同行評價(jià)影響因素研究[J].情報(bào)雜志,2023(2):184-195.
[2]葉繼元.“SCI至上”的要害、根源與破解之道[J].情報(bào)學(xué)報(bào),2020(8):787-795.
[3]白雪娜,陳夏,張輝玲.廣東省農(nóng)業(yè)類科技期刊學(xué)術(shù)影響力動(dòng)態(tài)評估[J].科技管理研究,2017(7):248-254.
[4]林德明,姜磊.科技論文評價(jià)體系研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2012(10):11-17.
[5]FERNANDEZ C A, IM F G. A multivariate model for evaluating emergency medicine journals [J]. Scientometrics, 2017(2):1-13.
[6]俞征鹿,馬崢,田瑞強(qiáng),等.中國英文科技期刊國際社會(huì)影響力表現(xiàn):基于Altmetrics提及次數(shù)指標(biāo)[J].編輯學(xué)報(bào),2021(3):349-354.
[7]蘇新寧.構(gòu)建人文社會(huì)科學(xué)學(xué)術(shù)期刊評價(jià)體系[J].東岳論叢,2008(1):35-42.
[8]姚紅.基于秩和比法的期刊綜合評價(jià)[J].中國科技期刊研究,2006(2):213-215.
[9]熊國經(jīng),熊玲玲,陳小山.基于PLS結(jié)構(gòu)方程模型進(jìn)行學(xué)術(shù)期刊評價(jià)的實(shí)證研究[J].情報(bào)理論與實(shí)踐,2017(8):117-121.
[10]王志娟,姚亞楠,楊克魁.基于因子分析法的科技期刊學(xué)術(shù)影響力綜合評價(jià)及發(fā)展建議:以廣東省醫(yī)藥衛(wèi)生期刊為統(tǒng)計(jì)源[J].中國科技期刊研究,2018(10):1036-1041.
[11]王慧,喻琨.運(yùn)用加權(quán)TOPSIS法的學(xué)術(shù)期刊影響力的定性與定量評價(jià)研究[J].經(jīng)濟(jì)師,2020(12):32-33.
[12]趙蓉英,朱偉杰,張兆陽,等.融合BP神經(jīng)網(wǎng)絡(luò)的學(xué)術(shù)話語權(quán)評價(jià)方法探討[J].圖書情報(bào)工作,2022(11):50-58.
[13]SUBRATA C.TOPSIS and modified TOPSIS: a comparative analysis[J].Decision Analytics Journal, 2022(2):100021.
[14]張積玉.學(xué)術(shù)期刊影響力及其評價(jià)指標(biāo)體系的構(gòu)建[J].陜西師范大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版),2010(5):70-76.
[15]鄧毅.CSSCI與學(xué)術(shù)評價(jià)[J].華南師范大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2006(4):135-137.
[16]BORNMANN L. A better alternative to the H index [J]. Journal of Informetrics,2013(1): 100.
[17]俞立平,潘云濤,武夷山.一種新的客觀賦權(quán)科技評價(jià)方法:獨(dú)立信息數(shù)據(jù)波動(dòng)賦權(quán)法DIDF[J].軟科學(xué),2010(11):32-37.
[18]朱干江,王桂芝,趙靖.科技進(jìn)步綜合評價(jià)中秩和比法的運(yùn)用[J].科技進(jìn)步與對策,2007(6):151-154.
[19]俞立平,潘云濤,武夷山.學(xué)術(shù)期刊綜合評價(jià)數(shù)據(jù)標(biāo)準(zhǔn)化方法研究[J].圖書情報(bào)工作,2009(12):136-139.
[20]吳濤,楊筠,陳晨,等.基于因子分析法的科技期刊引文綜合評價(jià)指標(biāo)研究[J].中國科技期刊研究,2015(2):205-209.
[21]田鳳調(diào).RSR法中的分檔問題[J].中國衛(wèi)生統(tǒng)計(jì),1993(2):26-28.
(編輯編輯姚鑫)
Identification and classification evaluation of high-impact Chinese journals
Liang ?Chao, Zhou ?Mao, Qiu ?Yan, Huang ?Kedong*
(Information Center of Science and Technology, Nuclear Power Institute of China, Chengdu 610213, China)
Abstract: ?To comprehensively evaluate the influence of academic journals through multi-dimensional fusion of multi-source heterogeneous information metrics, providing new ideas and methods for more accurate understanding of the influence of Chinese journals. The article takes the energy and power journals that focus on “dual carbon” as an example, and under the drive of improving the quantitative evaluation mechanism, integrates factor analysis, independent information data fluctuation weighting method, and improves TOPSIS combined with rank sum ratio method to conduct empirical research from a multidimensional perspective to enhance comprehensive evaluation ability. The relevant results reveal the correlation between various evaluation indicators and dimensions. The results of the constructed evaluation method are similar to the overall trend of the ranking of influencing factors, but it can more comprehensively evaluate and effectively identify truly high impact journals and achieve reasonable classification. The research results of academic journal influence evaluation based on theory, methods, and application logic are reasonable and reliable, with considerable practicality, balance, and generalizability.
Key words: journal evaluation; multidimensional perspective; journal impact; bibliometric indicator
基金項(xiàng)目:四川省期刊協(xié)會(huì)、四川學(xué)術(shù)成果分析與應(yīng)用研究中心聯(lián)合資助項(xiàng)目;項(xiàng)目名稱:多維信息計(jì)量視角下期刊影響力復(fù)合評價(jià)方法及應(yīng)用研究;項(xiàng)目編號:SCAA23QK-004。四川省科學(xué)技術(shù)協(xié)會(huì)“一流科技期刊”培育示范項(xiàng)目;項(xiàng)目編號:川科協(xié)發(fā)〔2023〕80號。
作者簡介:梁超(1996—),男,助理工程師,碩士;研究方向:期刊編輯出版與科技評價(jià)。
*通信作者:黃可東(1986—),男,高級工程師,碩士;研究方向:期刊發(fā)展戰(zhàn)略規(guī)劃與管理。