OA期刊質(zhì)量評價實證研究
——雙盲與開放評審模式對比分析

■賀 穎 徐小然

天津師范大學管理學院，天津市西青區(qū)賓水西道393號 300387

隨著科學技術(shù)的突飛猛進和開放科學(Open Science)的深入人心，開放獲取(Open Access，OA)期刊的質(zhì)量受到廣泛關(guān)注，大致原因如下：(1)OA期刊雖然是高效的學術(shù)交流方式，但科研用戶仍是按照傳統(tǒng)標準判斷OA期刊的價值；(2)OA期刊雖然出版速度快且免費獲取，但若沒有質(zhì)量保證，其可用性和作為科學交流平臺的價值就無法保障；(3)作者是否愿意向OA期刊投稿并支付發(fā)表費仍取決于期刊的學術(shù)質(zhì)量，而不是出版模式和載體。因此，學術(shù)質(zhì)量不僅是OA期刊的生命線，也是其賴以生存和發(fā)展的基礎(chǔ)。

目前OA期刊質(zhì)量評價體系尚未統(tǒng)一，國內(nèi)外針對OA期刊質(zhì)量評價的研究主要集中在期刊學術(shù)影響力和期刊本身質(zhì)量的評價[1]。同行評議[2]、引文分析、網(wǎng)絡(luò)計量學[3]、網(wǎng)站性能測評以及影響因子評價法[4-6]、綜合評價法[7]等都被用來評價OA期刊。Naidu等[8]通過權(quán)威數(shù)據(jù)庫、是否核心期刊、是否獲獎、國際論文比等指標建立了OA期刊質(zhì)量評價指標體系。張紅芹等[9]肯定了傳統(tǒng)的期刊質(zhì)量評價理論與實踐適用于OA期刊，但也認為將傳統(tǒng)紙質(zhì)期刊總結(jié)出來的方法完全應(yīng)用于OA期刊評價可能還是會存在一些偏差。顧立平等[10]認為應(yīng)該基于數(shù)字開放環(huán)境來思考OA期刊的評價指標對于OA中免費在線獲取、分享特性的適用性，以及其“開放”的監(jiān)督作用是否對OA期刊質(zhì)量有所幫助。王新[11]以物理學科為例，提出高被引OA論文的開放情況和被引率是評價一個學科OA期刊學術(shù)影響力的核心指標,也是OA期刊的價值體現(xiàn)。Wei[12]建立開放度量指標來衡量OA期刊的社會影響。目前，國內(nèi)大多數(shù)專家主要是從引文或其他傳統(tǒng)分析的角度來整體評價OA期刊，較少研究人員會從“開放”角度分析OA期刊的影響。本文認為OA期刊的質(zhì)量評價應(yīng)從“學術(shù)”和“開放”兩個維度進行探索，并分析“學術(shù)”和“開放”兩個維度在評價OA期刊學術(shù)質(zhì)量和傳播影響力方面的相關(guān)性以及差異，為OA期刊的評價提供理論參考。

1 研究過程

1.1 研究問題

由單盲評審的作者被動性導致的不公正性催生了雙方信息均隱匿的雙盲評審[13]，后來各方為積極防范歧視等問題發(fā)生，要求提升評審的透明度，開放評審應(yīng)運而生。常唯等[14]分別調(diào)研雙盲評審與開放評審，通過比較發(fā)現(xiàn)，兩者都在不同的角度提高了文章的質(zhì)量與價值。因此，本研究采用對比的方式，對采用雙盲評審和開放評審模式的OA期刊質(zhì)量從不同維度進行對比評價，并觀察在兩種質(zhì)量可保證的評審類型中OA期刊質(zhì)量評價維度是否有差異。由此，提出以下研究問題。

問題一：采用雙盲評審和開放評審模式的OA期刊的兩個質(zhì)量評價維度是否有差異？

問題二：學術(shù)質(zhì)量維度和開放質(zhì)量維度是否對不同評審類型的OA期刊具有相同的評價效力，即哪個評價維度更適用于哪種評審類型的OA期刊？

1.2 研究基礎(chǔ)

1.2.1 學術(shù)維度評價工具

目前來看，傳統(tǒng)期刊質(zhì)量評價的結(jié)果主要體現(xiàn)在每年定期公布的《期刊引證報告》(JournalCitationReports，JCR)上。在JCR的代表性指標中，被引頻次和影響因子表征該學術(shù)期刊在所屬學科領(lǐng)域的影響力，且均呈現(xiàn)正比關(guān)系，可在一定程度上說明期刊的學術(shù)質(zhì)量。工程索引(Engineering Index，EI)是美國工程信息公司(Engineering Information Inc.)推出的工程技術(shù)類文獻檢索工具，一直嚴格遵守“嚴謹”二字，因以水平高、實用價值強、質(zhì)量上乘為原則來選擇合適的期刊而飽受贊譽[15]。因此，本研究借用JCR以及EI收錄作為引文分析評價的工具。

1.2.2 開放維度評價工具

DOAJ也有一個評價指標——DOAJ Seal，它是用來評定OA期刊開放性的指標[16]。DOAJ將DOAJ Seal頒發(fā)給在OA出版方面成績顯著的期刊，“顯著”體現(xiàn)在期刊必須符合7個標準，即在長期保存(Long Term Preservation)、持久標識符(Persistent Article Identifiers)的使用、許可證類型(License Type)、許可證信息(License Information in Article)、論文元數(shù)據(jù)(Metadata Supply to DOAJ)和作者權(quán)利(Copyright and Publishing Rights)、自我存檔(Self-Archiving Policy)7個方面具有最佳實踐。DOAJ對其數(shù)據(jù)庫中OA期刊的認定嚴格執(zhí)行實時監(jiān)控，一旦期刊不再符合標準，則撤銷Seal的授予。由此看來，DOAJ Seal在評定OA質(zhì)量上秉持認真、謹慎的態(tài)度。

1.3 數(shù)據(jù)來源

選擇DOAJ數(shù)據(jù)庫，分別檢索Open Peer Review(OPR)和Double Blind Peer Review(DBPR)兩種評審類型，得到175種采用開放式同行評審的OA期刊和9123種采用雙盲同行評審的OA期刊(數(shù)據(jù)時效性截至2021年7月1日)。通過網(wǎng)絡(luò)爬取檢索期刊名稱、ISSN、EISSN、是否有DOAJ Seal認證等數(shù)據(jù)，之后與采集到的2021年度JCR中的SCIE、SSCI、A&HCI，以及EI期刊檢索目錄進行數(shù)據(jù)對比，確定175種開放評審OA期刊和9123種雙盲評審OA期刊是否被收錄，最終形成數(shù)據(jù)表(表1)。

表1 DOAJ收錄的采用雙盲評審或開放評審的OA期刊數(shù)據(jù)表(節(jié)選)

1.4 研究思路與方法

考慮到所采集的數(shù)據(jù)涉及雙盲、開放評審模式，在兩種評審模式下又分別進行了“學術(shù)”和“開放”兩個維度的劃分，產(chǎn)生了“0”與“1”的賦值，加上本研究從“學術(shù)”和“開放”兩個維度分析OA期刊的質(zhì)量評價作用之間是否具有顯著性影響，因此可以采用交叉列聯(lián)分析方法。交叉列聯(lián)分析可用于分析兩個或兩個以上分類變量在不同取值情況下的數(shù)據(jù)分布情況，可以深入分析變量之間的相互獨立或相互關(guān)系的統(tǒng)計分析過程。本研究根據(jù)采集數(shù)據(jù)的特性，分別觀察采用雙盲評審和開放評審的OA期刊入選JCR和EI與獲得DOAJ Seal認證是否能一一對應(yīng)，是否具有相關(guān)性，即驗證學術(shù)質(zhì)量維度和開放質(zhì)量維度的關(guān)聯(lián)性。

對兩個維度的評價指標進行比對分析，以判定哪一種維度對OA期刊的評價更有效，而ROC曲線恰好能很容易地查出在任意界限值時對評價結(jié)果的識別能力。它的原理是監(jiān)測兩種及以上檢測變量對同一狀態(tài)信號刺激的反應(yīng)，并將觀測數(shù)據(jù)繪制到同一坐標中，直觀地識別優(yōu)劣：距離對角參考線越遠，即ROC曲線中檢測線下的面積越大，有效程度越高，質(zhì)量評價效果就越優(yōu)[17]。在本研究中ROC曲線主要用于兩個不同質(zhì)量評價維度對不同評審類型的OA期刊質(zhì)量評價有效程度的檢驗。

2 研究結(jié)果

2.1 學術(shù)質(zhì)量維度與開放質(zhì)量維度的關(guān)聯(lián)

(1)雙盲評審模式下數(shù)據(jù)實證結(jié)果。表2～4展示了雙盲評審模式中，學術(shù)評價維度(JCR & EI)與開放評價維度(DOAJ Seal)的交叉列聯(lián)統(tǒng)計數(shù)據(jù)、卡方檢驗(Chi-Square Test)值(P<α)以及關(guān)聯(lián)程度(r=0.061)數(shù)據(jù)?？梢钥闯?，采用雙盲評審模式的OA期刊的學術(shù)評價維度(JCR & EI)與開放評價維度(DOAJ Seal)具有顯著性關(guān)聯(lián)，但由于采用雙盲評審模式的OA期刊樣本數(shù)量很大(9123種)，所顯示的關(guān)聯(lián)程度很微弱，關(guān)聯(lián)度系數(shù)才0.061。

表2 雙盲評審模式下學術(shù)評價維度(JCR & EI)與 開放評價維度(DOAJ Seal)的交叉列聯(lián)結(jié)果

表3 雙盲評審模式下學術(shù)評價維度(JCR & EI)與開放評價維度(DOAJ Seal)的卡方檢驗結(jié)果(N=9123)

表4 雙盲評審模式下學術(shù)評價維度(JCR & EI)與開放評價維度(DOAJ Seal)的關(guān)聯(lián)程度(N=9123)

(2)開放評審模式下數(shù)據(jù)實證結(jié)果。表5～7展示了開放評審模式中學術(shù)評價維度(JCR & EI)與開放評價維度(DOAJ Seal)的交叉列聯(lián)統(tǒng)計數(shù)據(jù)、卡方檢驗值(P<α)以及關(guān)聯(lián)程度(r=0.480)數(shù)據(jù)。可以看出，開放評審類型的學術(shù)評價維度(JCR & EI)與開放評價維度(DOAJ Seal)有顯著性關(guān)聯(lián)，關(guān)聯(lián)度接近中度相關(guān)的程度。

表5 開放評審模式下學術(shù)評價維度(JCR & EI)與開放 評價維度(DOAJ Seal)的交叉列聯(lián)結(jié)果

2.2 不同質(zhì)量評價維度的有效性及程度

(1) 雙盲評審模式下數(shù)據(jù)實證結(jié)果。圖1所示為采用雙盲評審模式的OA期刊學術(shù)評價維度(JCR & EI)與開放評價維度(DOAJ Seal)有效性測評ROC曲線，可以看到，線1和線2都處于敏感度有效區(qū)域，且線1比線2更遠離參考線，說明線1所代表的開放評價維度(DOAJ Seal)比線2所代表的學術(shù)評價維度(JCR & EI)對雙盲評審模式的OA期刊質(zhì)量更有判別效力。表8所示為兩條ROC曲線下的面積數(shù)據(jù)，開放評價維度(DOAJ Seal)的AUC(即ROC曲線下的面積)為0.730，大于學術(shù)評價維度(JCR & EI)的AUC 0.695，同樣說明開放評價維度(DOAJ Seal)比學術(shù)評價維度(JCR & EI)更能評價雙盲評審模式的OA期刊質(zhì)量。

表6 開放評審模式下學術(shù)評價維度(JCR & EI)與開放評價維度(DOAJ Seal)的交叉列聯(lián)卡方檢驗結(jié)果(N=175)

表7 開放評審模式下學術(shù)評價維度(JCR & EI)與開放評價維度(DOAJ Seal)的關(guān)聯(lián)程度(N=175)

圖1 雙盲評審模式下學術(shù)評價維度和開放評價維度ROC曲線

表8 雙盲評審模式下學術(shù)評價維度和開放評價維度的AUC

(2)開放評審模式下數(shù)據(jù)實證結(jié)果。圖2所示為采用開放評審模式的OA期刊學術(shù)評價維度(JCR & EI)與開放評價維度(DOAJ Seal)有效性測評的ROC曲線，可以看到：線3和線4都處于敏感度有效區(qū)域，且線3比線4更遠離參考線，說明線3所代表的開放評價維度(DOAJ Seal)比線4所代表的學術(shù)評價維度(JCR & EI)對開放評審模式的OA期刊質(zhì)量更有判別效力。表9所示為兩條ROC曲線下的面積數(shù)據(jù)，開放評價維度(DOAJ Seal)的AUC為0.730，大于學術(shù)評價維度(JCR & EI)的AUC 0.695，同樣說明開放評價維度(DOAJ Seal)比學術(shù)評價維度(JCR & EI)更能評價開放評審模式的OA期刊質(zhì)量。

圖2 開放評審模式下學術(shù)評價維度和開放評價維度的ROC曲線

表9 開放評審模式下學術(shù)評價維度和開放評價維度的AUC

3 研究啟示

3.1 驗證了DOAJ收錄的OA期刊的學術(shù)質(zhì)量

OA期刊的質(zhì)量及其學術(shù)影響力不斷提升，促進學術(shù)交流和信息資源共享，加快科學研究成果的傳播和轉(zhuǎn)化，對學術(shù)界產(chǎn)生積極的影響。OA期刊不僅沿用了傳統(tǒng)學術(shù)期刊的同行評議制度，而且利用網(wǎng)絡(luò)平臺的快捷和交互特性，積極采取開放同行評議制度，極大地保證了OA期刊的質(zhì)量，促進OA期刊的良性發(fā)展。此外，OA期刊越來越受到著名檢索機構(gòu)的重視和認可，并沒有因為其免費使用而影響OA期刊的質(zhì)量，反而因為免費，增加了其顯示度和可獲取性，進而提高其學術(shù)質(zhì)量。

3.2 OA期刊質(zhì)量評價的“學術(shù)”和“開放”兩個維度是互促與雙贏的關(guān)系

從開放評價維度分析OA期刊的質(zhì)量，開放程度越高，越能獲得DOAJ Seal認證，期刊刊載的論文被閱讀、下載、傳播、引用的概率就越大。隨著論文被引用數(shù)量的增加，OA期刊學術(shù)質(zhì)量同步提升，加上OA的優(yōu)勢，被關(guān)注度更高，更易于在網(wǎng)絡(luò)中被傳播和被引用。因此，OA期刊質(zhì)量評價的兩個維度——學術(shù)與開放相互促進、共獲雙贏。

3.3 開放評審模式增加學術(shù)評價維度和開放評價維度的關(guān)聯(lián)性

采用開放評審模式的OA期刊質(zhì)量的學術(shù)評價維度與開放評價維度接近中度顯著性關(guān)聯(lián)，而采用雙盲評審模式的OA期刊則不具備這種關(guān)聯(lián)特性，說明開放評審增加了同行評議過程的透明度，進而增加了OA期刊的開放性。因此，開放評審不僅提高了OA期刊的學術(shù)質(zhì)量，更擴展了其開放評價維度，使得兩種評價維度更加緊密地聯(lián)系在一起。

3.4 開放維度對OA期刊質(zhì)量更有評價效力

無論是在雙盲評審模式還是在開放評審模式，開放和學術(shù)這兩個評價維度都能很好地評價OA期刊。開放維度提高了OA期刊的影響力，為期刊擴大影響范圍，吸引作者投稿鋪墊了堅實的基礎(chǔ)，而學術(shù)維度約束著期刊時刻把控質(zhì)量，但開放評價維度比學術(shù)評價維度對OA期刊質(zhì)量評價更具優(yōu)勢。因此，開放評價維度質(zhì)量標準的認定和統(tǒng)一，對OA期刊學術(shù)質(zhì)量評價起到很重要的作用。

4 結(jié)語

本研究對采用雙盲評審模式和開放評審模式的OA期刊質(zhì)量進行了實證研究，驗證了“學術(shù)”和“開放”維度對OA期刊質(zhì)量評價的重要性。本研究的創(chuàng)新點為：(1)將OA期刊的質(zhì)量評價分為兩個維度，即以引文分析為基礎(chǔ)的傳統(tǒng)“學術(shù)質(zhì)量評價維度”和以開放程度為標準的“開放質(zhì)量評價維度”；(2)將采用雙盲評審和開放評審模式的OA期刊作為研究樣本，驗證兩個質(zhì)量評價維度的關(guān)聯(lián)及有效性；(3)用網(wǎng)絡(luò)爬取的OA期刊質(zhì)量數(shù)據(jù)進行實證分析。本研究不足之處在于：(1)只研究了采用雙盲評審和開放評審模式的OA期刊，沒有涉及單盲評審、委員會評審等評議模式；(2)OA期刊的學術(shù)質(zhì)量評價僅以是否被JCR、EI收錄為標準，沒有考慮其他學術(shù)質(zhì)量評價體系。今后，希冀用更多不同評審模式和質(zhì)量評價體系來對OA期刊的質(zhì)量評價維度進行驗證。