基于PubPeer的學(xué)術(shù)期刊智能預(yù)警研究*

林 原 賀俊堯 劉盛博 丁 堃 許 侃

(大連理工大學(xué) 大連 116023)

0 引 言

期刊作為發(fā)布學(xué)術(shù)成果的主要載體，在學(xué)術(shù)生態(tài)中發(fā)揮著發(fā)布最新學(xué)術(shù)成果、學(xué)術(shù)交流、開(kāi)辟前沿領(lǐng)域等作用，期刊能否認(rèn)真負(fù)責(zé)的辦刊，把控刊載論文的質(zhì)量至關(guān)重要。同時(shí)，期刊評(píng)價(jià)是學(xué)術(shù)評(píng)價(jià)的一個(gè)重要方面，也是破五唯環(huán)境下所要重點(diǎn)關(guān)注的對(duì)象之一。邱均平[1]指出新時(shí)代科研評(píng)價(jià)體系重構(gòu)中要正確處理數(shù)量與質(zhì)量的關(guān)系，倡導(dǎo)質(zhì)量?jī)?yōu)先。郭東明[2]指出學(xué)術(shù)評(píng)價(jià)要回歸初心。朱邦芬[3]指出科技期刊要堅(jiān)決守衛(wèi)科研誠(chéng)信生命線。董毅敏[4]指出期刊亟待建立健全規(guī)范的管理制度，加強(qiáng)科研誠(chéng)信建設(shè)。近年來(lái)期刊存在許多共性的問(wèn)題亟待解決，一些期刊為了獲取經(jīng)濟(jì)利益，大肆擴(kuò)充版面，收取巨額版面費(fèi)，還有一些期刊對(duì)投稿的論文審核不嚴(yán)，得過(guò)且過(guò)，忽視期刊自身的職責(zé)[5-8]。廣泛使用的期刊評(píng)價(jià)指標(biāo)如IF影響因子，以及CiteScore[9]、SNIP、SJR[10]等都是從正面衡量期刊的水準(zhǔn)，即表示一種期刊有多好，評(píng)價(jià)的方法和模式單一，主要依靠被引情況進(jìn)行考慮?？陀^的評(píng)價(jià)方式不僅需要看到期刊有多好，更需要及時(shí)發(fā)現(xiàn)期刊中存在的各類問(wèn)題，提醒相關(guān)方面予以改進(jìn)，即期刊預(yù)警研究。2020年12月中科院文獻(xiàn)情報(bào)中心發(fā)布《國(guó)際期刊預(yù)警名單(試行)》[11]，分高、中、低預(yù)警等級(jí)對(duì)65本期刊進(jìn)行預(yù)警，期刊預(yù)警已經(jīng)成為一種科技評(píng)價(jià)的重要手段。同時(shí)，一些研究人員也進(jìn)行了期刊預(yù)警的探索，例如余毅[12]指出改進(jìn)高校學(xué)報(bào)編輯部工作模式，加強(qiáng)投稿環(huán)節(jié)的預(yù)警與監(jiān)管。王旌[13]結(jié)合辦刊經(jīng)驗(yàn)指出了出版物存在的一些學(xué)術(shù)風(fēng)險(xiǎn)，提出嚴(yán)格遵守落實(shí)審稿流程，三審五定、主編終審，加強(qiáng)對(duì)編輯出版人員的培訓(xùn)與教育。王丹[14]提出了對(duì)建立健全期刊預(yù)警制度的思考，強(qiáng)調(diào)了學(xué)術(shù)界迫切需要預(yù)警制度，是科學(xué)研究者的迫切期待。孫娟[15]指出學(xué)術(shù)期刊在科研誠(chéng)信建設(shè)中的作用，從理論角度提出了一些建議，監(jiān)管部門嚴(yán)格監(jiān)管項(xiàng)目、學(xué)術(shù)期刊嚴(yán)格遵循審稿流程、建設(shè)誠(chéng)信文化等。但期刊預(yù)警的研究仍存在一些不足與缺失，重視刊前的投稿、審稿環(huán)節(jié)期刊嚴(yán)格落實(shí)相關(guān)工作流程，缺少刊后環(huán)節(jié)的預(yù)警；意識(shí)到了期刊預(yù)警的緊迫性與重要性，但缺乏相關(guān)預(yù)警指標(biāo)以及切實(shí)可行且具有理論與應(yīng)用價(jià)值的預(yù)警方法。已有研究主要集中于刊前評(píng)審流程的把控，而對(duì)于刊后預(yù)警的有效方法研究不足。對(duì)于學(xué)術(shù)期刊，其刊載的論文的質(zhì)量是期刊水平的直接表現(xiàn)，所以從刊載的論文出發(fā)，研究期刊的學(xué)術(shù)風(fēng)險(xiǎn)并對(duì)期刊進(jìn)行合理預(yù)警，是保障期刊出版水平的有效措施。因此本文采用期刊論文的開(kāi)放獲取評(píng)論信息對(duì)期刊的學(xué)術(shù)風(fēng)險(xiǎn)進(jìn)行識(shí)別。

出版后同行評(píng)議論壇PubPeer[16]是一個(gè)開(kāi)放的平臺(tái)，用戶可以對(duì)期刊刊載的論文留下評(píng)論來(lái)提出各種質(zhì)疑，比如剽竊他人成果，篡改數(shù)據(jù)，圖像造假，實(shí)驗(yàn)完整性缺失等。作者需要有第一作者或通訊作者的論文被PubMed收錄，才能注冊(cè)成為PubPeer用戶，并且評(píng)論需要經(jīng)過(guò)審核才能發(fā)表，這保證了PubPeer上評(píng)論的可靠性。同時(shí)PubMed集中于生物醫(yī)學(xué)方面的論文索引，相應(yīng)的PubPeer上的存疑論文也集中于生物醫(yī)學(xué)領(lǐng)域。Ewen Callaway[17]在Nature上對(duì)PubPeer進(jìn)行了介紹，出版后同行評(píng)議有可能徹底改變科學(xué)研究的方式，朝著一個(gè)理想的方向發(fā)展，建立與當(dāng)前系統(tǒng)不同的評(píng)價(jià)方式。C.Forest[18]指出PubPeer是一個(gè)非常有用且高效的工具，用于打擊科研領(lǐng)域的有意或無(wú)意的假新聞，即不真實(shí)的信息。

本研究從出版后同行評(píng)議論壇PubPeer上獲取期刊及期刊所刊載論文遭到質(zhì)疑等相關(guān)信息。對(duì)數(shù)據(jù)進(jìn)行梳理分析，從不同維度構(gòu)建期刊預(yù)警指標(biāo)。選擇隨機(jī)森林算法訓(xùn)練期刊智能預(yù)警模型，使用預(yù)警模型對(duì)期刊的學(xué)術(shù)風(fēng)險(xiǎn)狀況進(jìn)行評(píng)測(cè)，識(shí)別預(yù)警期刊。預(yù)測(cè)得到的預(yù)警期刊列表，可對(duì)科研人員選擇成果發(fā)表平臺(tái)提供參照，敦促出版機(jī)構(gòu)強(qiáng)化期刊質(zhì)量管理。該研究與其它期刊預(yù)警研究有如下不同：a.研究數(shù)據(jù)方面，采用PubPeer平臺(tái)作為期刊預(yù)警數(shù)據(jù)源。該平臺(tái)信息能夠被開(kāi)放獲取，可以便捷的獲得高質(zhì)量的學(xué)術(shù)評(píng)論信息，并保證評(píng)論的質(zhì)量(用戶注冊(cè)限制、評(píng)論審核)，由于其可以動(dòng)態(tài)更新，能夠及時(shí)偵測(cè)、發(fā)現(xiàn)期刊及其刊載論文所存在的問(wèn)題，為期刊預(yù)警提供穩(wěn)定可靠的數(shù)據(jù)。b.理論模型方面，對(duì)標(biāo)已有的核心期刊發(fā)現(xiàn)理論，構(gòu)建理論映射模型，為預(yù)警指標(biāo)和模型的構(gòu)建奠定堅(jiān)實(shí)的基礎(chǔ)。c.研究方法方面，構(gòu)建數(shù)據(jù)驅(qū)動(dòng)的智能期刊預(yù)警方法?；陂_(kāi)放獲取的期刊相關(guān)學(xué)術(shù)信息構(gòu)建多維度預(yù)警指標(biāo)，并以預(yù)警指標(biāo)作為特征，采用機(jī)器學(xué)習(xí)方法訓(xùn)練預(yù)警模型保障信息的充分利用，配合可更新的數(shù)據(jù)源，提供持續(xù)可更新的期刊預(yù)警信息。

1 數(shù)據(jù)獲取分析與指標(biāo)構(gòu)建

1.1 研究對(duì)象

PubPeer上的存疑論文主要集中于生物醫(yī)學(xué)領(lǐng)域，其以每一篇被質(zhì)疑的論文為基本單元進(jìn)行展示；包含論文標(biāo)題、所屬期刊、以及其它學(xué)者對(duì)此論文的質(zhì)疑等等。從PubPeer中獲取期刊及期刊所刊論文遭質(zhì)疑評(píng)論信息，共有1 790種期刊出現(xiàn)在PubPeer上，其涉及7 673篇論文，18 299條同行評(píng)議信息，這是本研究的主要研究對(duì)象?；谝陨闲畔⒖傻玫絻蓪?duì)對(duì)應(yīng)關(guān)系：期刊-存疑論文和期刊-質(zhì)疑評(píng)論。如圖1所示， 將其分別與布拉德福定律及加菲爾德定律進(jìn)行映射。

圖1 映射關(guān)系

基于布拉德福定律圖像表示法，將原定律中的期刊與其論文數(shù)量關(guān)系映射為期刊與其存疑論文數(shù)量關(guān)系?？傻脠D2，按照期刊所載存疑論文數(shù)量降序排列，以期刊累積數(shù)量的對(duì)數(shù)(lg n)為橫坐標(biāo)，以相應(yīng)的存疑論文累積數(shù)(R(n))為縱坐標(biāo)作散點(diǎn)圖。這些點(diǎn)構(gòu)成了一條曲線AB，分為上升段曲線AC，直線CB。前100種期刊上的存疑論文數(shù)達(dá)到4 043篇，達(dá)到存疑論文的52.7%；前300種期刊上存疑論文數(shù)達(dá)到5 386篇，占存疑論文總數(shù)70.2%；前500種期刊上存疑論文數(shù)達(dá)到6 061篇，占存疑論文總數(shù)79%。圖2顯示絕大多數(shù)存疑論文集中于少量期刊，而被預(yù)警的期刊有較大可能性擁有大量存疑論文，因此這些期刊將會(huì)被作為預(yù)警的重點(diǎn)關(guān)注對(duì)象，同時(shí)存疑論文數(shù)量亦可作為預(yù)警期刊識(shí)別的重要因素。

圖2 存疑論文所在期刊分布

基于加菲爾德定律，將原定律中的期刊與其被引次數(shù)關(guān)系映射為期刊與其論文的被質(zhì)疑次數(shù)關(guān)系，可得圖3。1 790種期刊的7 673篇存疑論文共被質(zhì)疑18 299次，100種期刊上的存疑論文的質(zhì)疑累積量達(dá)到56%，300種期刊上的存疑論文的質(zhì)疑累積量達(dá)到76%。圖3顯示絕大多數(shù)的質(zhì)疑評(píng)論集中于少量期刊，而擁有大量質(zhì)疑評(píng)論的期刊被預(yù)警的風(fēng)險(xiǎn)也極高，因此這些期刊被預(yù)警的可能性也很高，同時(shí)質(zhì)疑評(píng)論數(shù)量以可作為預(yù)警期刊識(shí)別的重要因素。

圖3 質(zhì)疑的集中與離散分布

存疑論文和質(zhì)疑評(píng)論的集中與離散分布情況為期刊預(yù)警研究創(chuàng)造了基礎(chǔ)。布拉德福定律、加菲爾德引文集中定律可以識(shí)別核心期刊，對(duì)于預(yù)警期刊的識(shí)別仍然有效，因此可以根據(jù)期刊與存疑論文數(shù)和質(zhì)疑數(shù)的關(guān)系來(lái)構(gòu)建預(yù)警指標(biāo)識(shí)別預(yù)警期刊。據(jù)此本研究將構(gòu)建多維度指標(biāo)從不同角度刻畫期刊存在的問(wèn)題，借助多維度指標(biāo)構(gòu)建智能分析模型對(duì)期刊預(yù)警情況加以分析。

1.2 預(yù)警指標(biāo)構(gòu)建

存疑論文和質(zhì)疑評(píng)論可以作為期刊預(yù)警研究工作的基礎(chǔ)，但這并非意味著單一論文存在較多質(zhì)疑評(píng)論或者在曾經(jīng)的一段時(shí)間內(nèi)存在較多存疑論文的期刊就一定需要預(yù)警，應(yīng)從數(shù)量、程度間和時(shí)間多個(gè)角度去審視期刊的學(xué)術(shù)風(fēng)險(xiǎn)。基于PubPeer的預(yù)警指標(biāo)的構(gòu)建應(yīng)科學(xué)、全面和智能的從不同維度分析期刊存在的問(wèn)題。既要對(duì)期刊多年來(lái)一貫表現(xiàn)進(jìn)行衡量，也要反映近年的特征與趨勢(shì)。既需要對(duì)期刊多角度評(píng)價(jià)風(fēng)險(xiǎn)，也需要判別各年份的具體表現(xiàn)，還要判別同一期刊在不同時(shí)間段風(fēng)險(xiǎn)的變化、不同期刊在同一時(shí)間段風(fēng)險(xiǎn)的差異。本研究將基于宏觀總量類、程度類和近年情況與趨勢(shì)類三大類，18維指標(biāo)對(duì)期刊的學(xué)術(shù)風(fēng)險(xiǎn)進(jìn)行分析。

1.2.1宏觀總量類

存疑論文數(shù)：該期刊有多少篇論文遭到質(zhì)疑，記作a1。

存疑規(guī)模：該期刊的存疑論文遭到質(zhì)疑的次數(shù)，記作a2。

衡量期刊存在的問(wèn)題，首先考察其存疑的論文數(shù)目、遭到質(zhì)疑的次數(shù)。a1與a2分別從存疑論文數(shù)量、質(zhì)疑次數(shù)兩方面進(jìn)行考慮，兩個(gè)指標(biāo)均是從宏觀總量維度進(jìn)行刻畫。

半衰期是指某學(xué)科現(xiàn)在尚在利用的全部文獻(xiàn)中較新的一半是在多長(zhǎng)一段時(shí)間內(nèi)發(fā)表的。這與該學(xué)科一半文獻(xiàn)失效所經(jīng)歷的時(shí)間大體相當(dāng)。半衰期反映了某一學(xué)科論文的老化速度。為了反映一本期刊上的存疑論文的老化速度，定義期刊存疑半衰期，記作a3：

期刊存疑半衰期=該期刊的全部存疑論文中較新的一半是在多長(zhǎng)一段時(shí)間內(nèi)發(fā)表的

(1)

用期刊存疑半衰期來(lái)反應(yīng)該期刊存疑論文更新的速率。期刊存疑半衰期數(shù)值越小，說(shuō)明該期刊存疑論文更新的越快，問(wèn)題越大。

1.2.2程度數(shù)量類

篇均存疑程度，記作a4。采用篇均存疑程度來(lái)表示期刊上的存疑論文遭質(zhì)疑的平均水平，這維指標(biāo)側(cè)重于衡量十年的平均情況。而衡量某一時(shí)間段的平均情況，則可參照影響因子，在以往的評(píng)價(jià)方式中，常用影響因子來(lái)衡量一種期刊，即一本期刊中某段時(shí)期論文的平均被引率。本研究中定義存疑影響因子如下公式(2)，記作a5：

(2)

同理，設(shè)置五年存疑影響因子如下公式(3)，記作a6：

五年存疑影響因子=

(3)

a4、a5、a6三個(gè)指標(biāo)分別衡量期刊在十年、兩年、五年時(shí)間段上存疑論文被質(zhì)疑的平均水平。

1.2.3近年趨勢(shì)類

考察期刊存在的問(wèn)題，不僅需要衡量期刊十幾年的一貫表現(xiàn)，也需考察近兩年，近五年的情況，衡量其變化的趨勢(shì)與特點(diǎn)。用兩年比衡量該期刊近兩年存疑論文數(shù)與存疑規(guī)模占該期刊總體的權(quán)重。定義兩年比如下公式(4)，記作a7：

(4)

其中Z1，Z2為系數(shù)，Z1+Z2=1。兩年比越高，則說(shuō)明近兩年問(wèn)題越突出，風(fēng)險(xiǎn)有變高的趨勢(shì)。同理，設(shè)置五年比，記作a8。

在衡量期刊各方面問(wèn)題時(shí)，也需從年份的詳細(xì)數(shù)值情況加以計(jì)量，可以較為直觀的呈現(xiàn)在具體年份期刊存在的風(fēng)險(xiǎn)。將期刊在2016～2020年五年間每一年的存疑論文數(shù)與存疑規(guī)模作為指標(biāo)。2016存疑論文數(shù)記作a9，2016存疑規(guī)模記作a10；2017存疑論文數(shù)記作a11，2017存疑規(guī)模記作a12；2018存疑論文數(shù)記作a13，2018存疑規(guī)模記作a14；2019存疑論文數(shù)記作a15，2019存疑規(guī)模記作a16；2020存疑論文數(shù)記作a17，2020存疑規(guī)模記作a18。

2 數(shù)據(jù)標(biāo)注與模型訓(xùn)練

由18維指標(biāo)(a1,a2,┈┈,a18)可表示期刊在不同方面的問(wèn)題，綜合考量期刊在各維度的表現(xiàn)進(jìn)而衡量其學(xué)術(shù)風(fēng)險(xiǎn)狀況則需構(gòu)建預(yù)警模型?？蓪?790本期刊劃分為訓(xùn)練集、預(yù)測(cè)集。訓(xùn)練集中期刊是否需要預(yù)警已知，預(yù)測(cè)集中期刊是否需要預(yù)警未知。用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，使模型達(dá)到較高準(zhǔn)確度，之后用模型對(duì)預(yù)測(cè)集中的期刊進(jìn)行評(píng)測(cè)，即可得到預(yù)測(cè)集中每本期刊是否需要預(yù)警。

2.1 數(shù)據(jù)標(biāo)注

訓(xùn)練集中應(yīng)包括兩類期刊：a.需要預(yù)警的期刊(以及預(yù)警等級(jí))即正樣本，b.不需要預(yù)警的期刊即負(fù)樣本。2020年版中科院《國(guó)際期刊預(yù)警名單》分高、中、低預(yù)警等級(jí)期刊進(jìn)行預(yù)警，此為至今較為權(quán)威的期刊預(yù)警列表，中科院JCR1區(qū)期刊為學(xué)術(shù)界公認(rèn)的較好期刊，且二者都來(lái)自中科院文獻(xiàn)情報(bào)中心，因此使用這二者進(jìn)行標(biāo)注具有統(tǒng)一性。將中科院《國(guó)際期刊預(yù)警名單》與數(shù)據(jù)集進(jìn)行對(duì)照，對(duì)重合期刊按照中科院發(fā)布的高、中、低、預(yù)警等級(jí)進(jìn)行標(biāo)注，高預(yù)警等級(jí)標(biāo)注3，中預(yù)警等級(jí)標(biāo)注2，低預(yù)警等級(jí)標(biāo)注1。將中科院JCR1區(qū)期刊與數(shù)據(jù)集進(jìn)行對(duì)照得到負(fù)樣本，對(duì)重合期刊標(biāo)注為0，如表1。具體對(duì)應(yīng)規(guī)則如下：在預(yù)測(cè)高預(yù)警等級(jí)時(shí)，標(biāo)注等級(jí)大于等于3的期刊為正樣本，標(biāo)注等級(jí)小于3的期刊為負(fù)樣本；在預(yù)測(cè)中預(yù)警等級(jí)時(shí)，標(biāo)注等級(jí)大于等于2的期刊為正樣本，標(biāo)注等級(jí)小于2的期刊為負(fù)樣本；在預(yù)測(cè)低預(yù)警等級(jí)時(shí)，標(biāo)注等級(jí)大于等于1的期刊為正樣本，標(biāo)注等級(jí)小于1的期刊為負(fù)樣本。

表1 期刊訓(xùn)練集標(biāo)注實(shí)例

2.2 模型訓(xùn)練

模型采用機(jī)器學(xué)習(xí)領(lǐng)域的隨機(jī)森林，隨機(jī)森林通過(guò)建立多個(gè)分類器組合來(lái)解決預(yù)測(cè)問(wèn)題，其原理是生成多個(gè)分類器，各分類器模型獨(dú)立地學(xué)習(xí)和作出預(yù)測(cè)，根據(jù)這些彼此獨(dú)立的預(yù)測(cè)最后結(jié)合成預(yù)測(cè)結(jié)果，依靠決策樹(shù)的投票選擇來(lái)決定最后的分類結(jié)果。隨機(jī)森林具有較多優(yōu)勢(shì)：能處理高維特征的訓(xùn)練集，且不需要降維；可以有效運(yùn)行大數(shù)據(jù)集；準(zhǔn)確率較高。本研究需處理的數(shù)據(jù)維度較高，為18維，選擇隨機(jī)森林較為合適。

模型要實(shí)現(xiàn)的目標(biāo)有兩個(gè)(1)判斷期刊是否需要預(yù)警(2)如需預(yù)警，具體預(yù)警等級(jí)如何。因此，設(shè)置三個(gè)模型：模型A，模型B，模型C。模型A，B，C均為二分類。模型A預(yù)測(cè)高預(yù)警等級(jí)，模型B預(yù)測(cè)中預(yù)警等級(jí)，模型C預(yù)測(cè)低預(yù)警等級(jí)。模型A選取標(biāo)注等級(jí)為3的期刊為正樣本，選取標(biāo)注為2,1,0的期刊為負(fù)樣本，選取的負(fù)樣本應(yīng)與正樣本數(shù)相當(dāng)。模型B選取標(biāo)注等級(jí)為3，2的期刊為正樣本，并選取標(biāo)注為1,0的期刊為負(fù)樣本，并使選取的正負(fù)樣本數(shù)量相當(dāng)。模型C選取標(biāo)注等級(jí)為3，2，1的期刊為正樣本，并選取標(biāo)注為0的期刊為負(fù)樣本，并使選取的正負(fù)樣本數(shù)量相當(dāng)。

圖5 實(shí)驗(yàn)?zāi)Ｐ?/p>

圖4為實(shí)驗(yàn)?zāi)Ｐ蛨D，將數(shù)據(jù)集與中科院預(yù)警期刊名單、JCR1區(qū)期刊進(jìn)行對(duì)照，經(jīng)標(biāo)注后得到學(xué)習(xí)對(duì)象(訓(xùn)練集)，未標(biāo)注期刊為預(yù)測(cè)對(duì)象(預(yù)測(cè)集)。由學(xué)習(xí)對(duì)象抽取信息生成向量αi～(Ai,Bi)，αi為第i種期刊的相關(guān)信息，Ai(a1,a2,┈,a18)為該期刊各維度指標(biāo)，Bi為標(biāo)注的預(yù)警等級(jí)。將向量αi經(jīng)預(yù)處理后分別輸入訓(xùn)練模型A，B，C中進(jìn)行訓(xùn)練，三個(gè)訓(xùn)練模型根據(jù)各自生成的若干決策樹(shù)，綜合若干決策樹(shù)分析給出分類結(jié)果及本模型打分情況。將分類結(jié)果與已標(biāo)注的等級(jí)進(jìn)行對(duì)比得到三個(gè)訓(xùn)練模型A、B、C準(zhǔn)確率(GA,GB,GC)，若三模型準(zhǔn)確率均達(dá)到0.9，則不再訓(xùn)練；否則繼續(xù)調(diào)整參數(shù)優(yōu)化模型進(jìn)行訓(xùn)練。由預(yù)測(cè)對(duì)象抽取信息生成向量βi～(Ai)。將βi輸入已訓(xùn)練完畢的三個(gè)模型中得到各模型評(píng)測(cè)結(jié)果與打分情況。輸出γi～(A*,B*,C*)，A*,B*,C*分別為預(yù)測(cè)模型A、B、C的評(píng)測(cè)結(jié)果。將各模型評(píng)測(cè)結(jié)果輸入過(guò)濾器，過(guò)濾器依次查看高、中、低三模型評(píng)測(cè)結(jié)果，輸出最終預(yù)警評(píng)級(jí)。分析高模型評(píng)測(cè)結(jié)果，若在高模型評(píng)測(cè)預(yù)警等級(jí)顯示高，則輸出預(yù)警等級(jí)為高及具體得分；若在高模型預(yù)警等級(jí)未被評(píng)測(cè)為高，則查看中模型評(píng)測(cè)結(jié)果，若在中模型評(píng)測(cè)預(yù)警等級(jí)顯示為中，輸出預(yù)警等級(jí)為中及具體得分；若在中模型預(yù)警等級(jí)未被評(píng)測(cè)為中，查看低模型評(píng)測(cè)結(jié)果，在低模型評(píng)測(cè)預(yù)警等級(jí)顯示為低，則輸出預(yù)警等級(jí)為低及具體得分；若在低模型預(yù)警等級(jí)未被評(píng)測(cè)為低，則輸出預(yù)警等級(jí)為0無(wú)需預(yù)警。

經(jīng)模型訓(xùn)練，三模型準(zhǔn)確率(GA,GB,GC)均可達(dá)到0.9，這說(shuō)明本研究所構(gòu)建的指標(biāo)體系較為妥當(dāng)，選擇的標(biāo)注體系即參照物較為匹配?？梢圆捎糜?xùn)練出的模型對(duì)預(yù)測(cè)集期刊進(jìn)行評(píng)測(cè)得到是否需要預(yù)警以及風(fēng)險(xiǎn)等級(jí)。由于線性維度相關(guān)性分析難以有效融合各指標(biāo)，無(wú)法具體量化權(quán)重，故本研究采用非線性的隨機(jī)森林模型，由模型本身利用損失函數(shù)與決策樹(shù)中的剪枝控制各特征重要性，以達(dá)到最終指標(biāo)融合使用研究期刊預(yù)警問(wèn)題的效果。

3 實(shí)證研究

3.1 結(jié)果分析

共評(píng)測(cè)出預(yù)警期刊140種如表2所示，其在高預(yù)警期刊3種，中預(yù)警期刊69種，低預(yù)警期刊68種。

實(shí)驗(yàn)結(jié)果表明，除中科院期刊預(yù)警名單外，在其余1 700本期刊中仍有140本期刊可能需要預(yù)警。對(duì)評(píng)測(cè)出的三類期刊的存疑論文數(shù)、存疑規(guī)模、期刊存疑半衰期等指標(biāo)取均值分析高、中、低三類預(yù)警期刊各自特點(diǎn)。

高預(yù)警等級(jí)期刊突出特點(diǎn)是存疑論文數(shù)、存疑規(guī)模數(shù)總量極高，更新速度一般。高預(yù)警等級(jí)期刊存在的問(wèn)題十分嚴(yán)重，存疑論文數(shù)均值179，存疑規(guī)模均值456，其存疑論文數(shù)與存疑規(guī)模為中預(yù)警等級(jí)期刊的5倍以上，是低預(yù)警期刊的10—20倍。但對(duì)于高預(yù)警等級(jí)期刊而言，其更新速度一般，半衰期為4年，即每四年存疑論文更新一半，是高、中、低三類預(yù)警期刊中更新較慢的。中預(yù)警等級(jí)期刊特點(diǎn)是存疑論文數(shù)、存疑規(guī)模總量較高、更新速度稍快，存疑論文數(shù)均值24.7，存疑規(guī)模均值60.32。其存疑論文數(shù)與存疑規(guī)模為低預(yù)警等級(jí)期刊的近三倍，半衰期為3.49年，更新速度比高預(yù)警等級(jí)期刊稍快。低預(yù)警等級(jí)期刊特點(diǎn)是存疑論文數(shù)、存疑規(guī)模一般，更新速度極快，存疑論文數(shù)均值為9.94，存疑規(guī)模均值為26.46。從出現(xiàn)的存疑論文數(shù)目來(lái)看，其表現(xiàn)一般，但期刊存疑半衰期2.5年，每?jī)赡臧氪嬉烧撐母乱话?，更新速度非常高。未預(yù)警的期刊基本只有個(gè)別論文在個(gè)別年份遭到了質(zhì)疑，且質(zhì)疑程度較低，或者之前偶有存疑論文但近幾年已無(wú)存疑論文，屬于偶發(fā)情況，故經(jīng)評(píng)測(cè)對(duì)這類期刊未進(jìn)行預(yù)警。

表2 預(yù)警期刊及等級(jí)

中科院2021年12月31日發(fā)布了新版《國(guó)際期刊預(yù)警名單》，其中包括35本預(yù)警期刊。與2020年版相比，在生物和醫(yī)學(xué)方面新增19本預(yù)警期刊。本文從Pubpeer平臺(tái)獲取得到的生物和醫(yī)學(xué)方面相關(guān)的1790本期刊中，有10本在新增的期刊之中。本研究所構(gòu)建的模型成功的預(yù)測(cè)出其中的4本期刊為預(yù)警期刊(Journal of Cellular and Molecular Medicine、Cancer Cell International、Journal of Cancer、Cancer Management and Research)，比率達(dá)到40%，該數(shù)據(jù)很好的驗(yàn)證了模型的有效性。同時(shí)也應(yīng)意識(shí)到中科院發(fā)布的期刊預(yù)警面向的是在相關(guān)領(lǐng)域內(nèi)已經(jīng)存在較大問(wèn)題的國(guó)際期刊，名單數(shù)量有限不能把全部有問(wèn)題的期刊一一列出。2021版預(yù)警期刊名單所有領(lǐng)域共新增27本期刊，這顯示并不是之前沒(méi)有被預(yù)警的期刊就沒(méi)有問(wèn)題。中科院期刊預(yù)警期刊名單沒(méi)有給出預(yù)警期刊的具體問(wèn)題，而本研究所提出的期刊預(yù)警模型和指標(biāo)正是對(duì)于期刊預(yù)警工作的有益補(bǔ)充。從上述預(yù)警期刊分析結(jié)果可以看出，本研究所預(yù)測(cè)得出的預(yù)警的期刊在存疑論文數(shù)、存疑規(guī)模和更新速度等指標(biāo)方面均有一定的累積結(jié)果，通過(guò)列出更多的預(yù)警期刊，并展示期刊的具體問(wèn)題，也給了更多存在問(wèn)題的期刊自查機(jī)會(huì)以及調(diào)整方向。存在問(wèn)題的期刊如不及時(shí)進(jìn)行自查和調(diào)整繼續(xù)放任，那么將存在很大可能出現(xiàn)在未來(lái)持續(xù)更新的中科院的預(yù)警期刊列表當(dāng)中，對(duì)期刊發(fā)展造成更壞的影響。

3.2 預(yù)警期刊所屬出版商分析

依據(jù)本研究所預(yù)測(cè)的預(yù)警期刊列表統(tǒng)計(jì)發(fā)現(xiàn)，擁有五本以上期刊出現(xiàn)在預(yù)警列表中的出版商有5個(gè)，ELSEVIER有16本期刊被預(yù)警，WILEY有9本期刊被預(yù)警，SPRINGER有8本期刊被預(yù)警，BMC有6本期刊被預(yù)警，MDPI有6本期刊被預(yù)警。依據(jù)本研究的在Pubpeer平臺(tái)中的1790種期刊五大出版商旗下期刊數(shù)量情況，可得預(yù)警期刊比率ELSEVIER 為10.8%， WILEY為8.9%，SPRINGER為10.2%，BMC為9.8%，MDPI為25%。

從絕對(duì)數(shù)量上看，大型出版商ELSEVIER、WILEY、SPRINGER有多本期刊被預(yù)警，位列前三甲。雖然從相對(duì)比例看，有問(wèn)題的期刊和總量相比比率并不驚人，但這也說(shuō)明并非大型出版商出版的期刊就沒(méi)有問(wèn)題。大型出版商體系龐大、市場(chǎng)占有率高、期刊眾多，并且絕大多數(shù)期刊質(zhì)量良好，很容易讓讀者產(chǎn)生信任感。所以大型出版商更有責(zé)任注意自身在辦刊中存在的問(wèn)題，重視那些雖然數(shù)量不多，但已經(jīng)積弊較多的旗下期刊，以免出現(xiàn)千里之堤毀于蟻穴的局面。本研究可給出版商以參考，讓其有途徑了解其下屬的哪些期刊存有一定學(xué)術(shù)風(fēng)險(xiǎn)，及時(shí)糾正調(diào)整。本研究是基于2020年版中科院預(yù)警期刊列表開(kāi)展預(yù)測(cè)研究工作，而在2021年版的中科院預(yù)警的生物醫(yī)學(xué)方面的期刊列表中ELSEVIER、WILEY、BMC和MDPI均有期刊在列，可見(jiàn)其旗下期刊管理的確存在問(wèn)題，應(yīng)及時(shí)進(jìn)行糾正。

3.3 預(yù)警期刊與影響因子

在以往期刊評(píng)價(jià)方式中，影響因子是衡量期刊水平及好壞的重要維度。分析預(yù)警期刊在傳統(tǒng)評(píng)價(jià)方式中的影響因子分布，結(jié)果如圖5所示。三本高預(yù)警等級(jí)期刊Scientific Reports、PLoS ONE和Journal of Intelligent & Fuzzy Systems、在2020年的影響因子分別為4.38、3.24和1.851(Journal of Intelligent & Fuzzy Systems因其自身問(wèn)題已被Clarivate剔除了影響因子)。其說(shuō)明高預(yù)警等級(jí)期刊在傳統(tǒng)評(píng)價(jià)方式中，其影響因子本身不高。而對(duì)于中預(yù)警等級(jí)及低預(yù)警等級(jí)期刊，其影響因子普遍較高。中預(yù)警等級(jí)期刊影響因子主要分布在3.0-7.0之間，在5.0-6.0之間最為集中。低預(yù)警等級(jí)期刊影響因子同樣主要分布在3.0-7.0之間。

圖5 預(yù)警期刊影響因子

中預(yù)警等級(jí)中超過(guò)六成期刊影響因子大于5.0，低預(yù)警等級(jí)期刊中超半數(shù)期刊影響因子大于5.0，甚至還有多本影響因子極高的期刊被預(yù)警，如ANGEWANDTE CHEMIE-INTERNATIONAL EDITION 預(yù)警等級(jí)為中，2020年影響因子15.336；JOURNAL OF EXPERIMENTAL & CLINICAL CANCER RESEARCH預(yù)警等級(jí)為中，2020年影響因子11.161；Cell Death & Disease預(yù)警等級(jí)中，2020年影響因子8.469；EbioMedicine預(yù)警等級(jí)為中，2020年影響因子8.143；AGING CELL預(yù)警等級(jí)為低，2020年影響因子9.304；CIRCULATION RESEARCH預(yù)警等級(jí)為低，2020年影響因子17.367。這說(shuō)明并非影響因子高的期刊就沒(méi)有問(wèn)題或者無(wú)需預(yù)警，也表明期刊傳統(tǒng)評(píng)價(jià)方式并不能完全反映出期刊質(zhì)量問(wèn)題。傳統(tǒng)評(píng)價(jià)中的影響因子只是衡量期刊的一個(gè)各方面，不能因高影響因子而忽視辦刊中存在的問(wèn)題與風(fēng)險(xiǎn)。

4 思考與討論

近年來(lái)期刊亂象頻發(fā)，少數(shù)期刊無(wú)視其對(duì)于學(xué)術(shù)生態(tài)的重要影響，偏離期刊作為學(xué)術(shù)交流、發(fā)布科研成果這一媒介的初衷，轉(zhuǎn)向追求利潤(rùn)，審稿流于形式，自身管理不到位，最終導(dǎo)致期刊刊載論文水平有所下降，嚴(yán)重影響學(xué)術(shù)環(huán)境。對(duì)期刊缺乏有效監(jiān)管以及預(yù)警的長(zhǎng)期缺失是此現(xiàn)象產(chǎn)生的主要原因之一。由于刊前評(píng)審流程較為封閉，很難引入廣泛的監(jiān)督機(jī)制，所以基于刊后論文水平研究的期刊評(píng)價(jià)方法無(wú)疑是一種更為能夠吸引廣泛關(guān)注進(jìn)而提高期刊水平的方式。

對(duì)存疑論文所在國(guó)家進(jìn)行分析，依次為中國(guó)(3499篇)、美國(guó)(896篇)、法國(guó)(322篇)、印度(317篇)、英國(guó)(268篇)、德國(guó)(199篇)、日本(174篇)、加拿大(156篇)、奧地利(140篇)、韓國(guó)(132篇)。中國(guó)最高、美國(guó)次之，且前兩名與其它國(guó)家的存疑論文數(shù)不在一個(gè)數(shù)量級(jí)。所以這兩個(gè)國(guó)家的學(xué)者更應(yīng)注重學(xué)術(shù)論文質(zhì)量問(wèn)題，加強(qiáng)研究成果的自檢工作。同時(shí)應(yīng)以存疑論文為基礎(chǔ)研究期刊預(yù)警列表，科學(xué)引導(dǎo)學(xué)者發(fā)文及開(kāi)展相關(guān)領(lǐng)域研究工作。

以往的期刊評(píng)價(jià)方式注重期刊的正面影響，而對(duì)于期刊的負(fù)面評(píng)價(jià)關(guān)注較少。本研究的學(xué)術(shù)期刊預(yù)警則以期刊的負(fù)面評(píng)價(jià)信息為主，通過(guò)出版后同行評(píng)議論壇PubPeer獲取期刊上刊載的論文遭到質(zhì)疑相關(guān)信息,從不同維度構(gòu)建指標(biāo),在此基礎(chǔ)上經(jīng)數(shù)據(jù)標(biāo)注與模型訓(xùn)練，使用訓(xùn)練好的模型對(duì)期刊進(jìn)行評(píng)測(cè)，綜合各維度表現(xiàn)從而得到期刊的風(fēng)險(xiǎn)狀況。模型經(jīng)訓(xùn)練后準(zhǔn)確度較高，說(shuō)明采用的數(shù)據(jù)標(biāo)注以及前期構(gòu)建的指標(biāo)均較為合理。

傳統(tǒng)評(píng)價(jià)評(píng)價(jià)方式中，影響因子對(duì)期刊的重要性不言而喻，其從正向角度刻畫期刊水平，影響因子可作為衡量期刊的一個(gè)方面，但如果只用影響因子，則有失偏頗。中、低等級(jí)預(yù)警期刊的影響因子普遍較高，這說(shuō)明并非高影響因子期刊就沒(méi)有問(wèn)題，或者說(shuō)無(wú)需預(yù)警。學(xué)術(shù)預(yù)警是在目前破五唯環(huán)境下對(duì)于學(xué)術(shù)評(píng)價(jià)體系的重要補(bǔ)充。本文所提出的智能期刊預(yù)警模型及據(jù)此得出的預(yù)警期刊列表將在多方面作為重要參考，首先將對(duì)這些期刊做出提醒，發(fā)出預(yù)警信號(hào)。依托于不斷更新的PubPeer數(shù)據(jù)源，智能預(yù)警模型能夠持續(xù)服務(wù)于期刊預(yù)警任務(wù)，使期刊能夠及時(shí)的注意辦刊中的問(wèn)題，提高辦刊質(zhì)量。其次，使科研機(jī)構(gòu)和科研人員關(guān)注這些預(yù)警期刊，在投稿時(shí)謹(jǐn)慎參考。

中科院期刊預(yù)警工作給本研究帶來(lái)了很大啟示，預(yù)警的目的不在懲處，而重在警示效果，凈化學(xué)術(shù)環(huán)境，給予期刊機(jī)會(huì)以及具體方向進(jìn)行工作改進(jìn)。本文旨在為更多的學(xué)術(shù)期刊提供自查機(jī)會(huì)進(jìn)而優(yōu)化管理工作，所以預(yù)警工作給出了的更多的預(yù)警期刊，同時(shí)給出較詳盡的預(yù)警指標(biāo)，服務(wù)于預(yù)警或非預(yù)警期刊針對(duì)性的自查工作。本研究為未來(lái)的期刊預(yù)警工作提供了一定的研究基礎(chǔ)，也是智能化期刊預(yù)警的一次有效嘗試。

在后續(xù)研究中，依托PubPeer數(shù)據(jù)源，在提升預(yù)警模型效果同時(shí)，也會(huì)著重于期刊相關(guān)數(shù)據(jù)的有益補(bǔ)充，本文研究因 PubPeer網(wǎng)站未展示相關(guān)論文所獲基金資助情況，將在后續(xù)研究中獲取新的數(shù)據(jù)源，以便研究被質(zhì)疑論文與所獲基金的關(guān)系，探究其內(nèi)在聯(lián)系。同時(shí)在指標(biāo)方面，本研究將繼續(xù)深入發(fā)掘細(xì)粒度指標(biāo)從文本分析等角度開(kāi)展研究工作，以提供給期刊更為詳盡的信息。