基于特征數(shù)據(jù)的開放式同行評議關(guān)鍵因素的實證分析

■賀 穎 徐小然

天津師范大學(xué)管理學(xué)院，天津市西青區(qū)賓水道393號 300387

在開放科學(xué)的背景下，研究者們正積極探索開放式同行評議的實踐發(fā)展道路。Ross-Hellauer[1]、劉春麗等[2]和Ford[3]分別從定義、思想以及實踐等角度分析了開放式同行評議的基本特征要素，比如公開評議專家信息、評議意見、作者回復(fù)甚至編輯的決定等。同時，在這些基本要素的基礎(chǔ)上，對開放式同行評議模式的探索成果層出不窮，例如彭琳等[4]認(rèn)為以BioMed Central(BMC)系列醫(yī)學(xué)雜志為代表的公開評議結(jié)果模式(公開評議人身份或評議意見等)是最普遍的開放同行評議模式，占比約為70%。F1000Research、PLoSONE、The Winnower等推行出版后開放式同行評議模式[5]；還有發(fā)表前(出版前)開放式同行評議[6]、完全開放式同行評議、傳統(tǒng)與開放相結(jié)合同行評議[2]等多種模式，開放程度與內(nèi)容有所不同。一般來說，評議人的身份公開、評議結(jié)果和評議過程的開放是劃分同行評議模式的主要依據(jù)[7]?？v然實踐模式不同，到2018年，多學(xué)科數(shù)字出版機(jī)構(gòu)(Multidisciplinary Digital Publishing Institute，MDPI)所有期刊均提供“開放式同行評議”選項。杜杏葉等[8]調(diào)查發(fā)現(xiàn)半數(shù)中國學(xué)者接受對學(xué)術(shù)論文的公開評審，而且實施開放式同行評議的論文存在引文優(yōu)勢[9-10]，其他研究也普遍顯示出對開放式同行評議的積極態(tài)度[11]。Walsh等[12]研究發(fā)現(xiàn)，有評議專家簽名的評論比未署名的評論更有禮貌，質(zhì)量更高，也更容易推薦論文發(fā)表。Perakakis等[13]認(rèn)為在倡導(dǎo)的開放環(huán)境下，大型科學(xué)團(tuán)體在評估稿件質(zhì)量，特別是在發(fā)現(xiàn)欺詐或剽竊來源方面的效率遠(yuǎn)遠(yuǎn)高于兩三個匿名的評議專家。

針對開放式同行評議的界定，Wolfram等[14]發(fā)現(xiàn)約617種開放式同行評議(Open Peer Review, OPR)期刊(截至2019年)發(fā)表了至少一篇公開評議人身份或公開評議報告的文章。多種開放式同行評議的實踐使用兩個重要因素來定義透明度：公開評議人身份和公開評議報告。雖然Nature于2006年進(jìn)行的開放式同行評議實驗以失敗告終，但2018年，Nature也開始呼吁公開發(fā)布同行評議報告[15]。Ross-Hellauer等[16]研究發(fā)現(xiàn)，雖然多位學(xué)者不支持向作者開放評議者身份，但他們非常支持開放式同行評議的大多數(shù)特征，尤其是開放互動、開放式報告和開放最終版本的評論。李子星等[17]建議我國學(xué)術(shù)期刊從公開評議報告開始，將“選擇實名”納入到同行評議過程，逐步推進(jìn)學(xué)術(shù)共同體接受開放同行評議。在所有的定義中，開放式同行評議注重的核心要素是披露評議者身份(開放身份)和公開評議報告(開放報告)[1]。例如，Wiley出版集團(tuán)就將開放式同行評議定義為“在評議過程中或評議后，所有參與者都知道作者和評議人的身份”，而將透明性同行評議定義為“評議報告與發(fā)表的文章一起發(fā)布，且允許評議專家選擇是否公開他們的身份”[18]。李曉[19]在對3種審稿方式(單盲、雙盲、公開同行評議)進(jìn)行比較時，認(rèn)為區(qū)分三者的關(guān)鍵在于是否向作者和評議專家提供對方的信息。

開放式同行評議的實踐正處于探索階段，其研究還沒有形成統(tǒng)一、完善的理論體系，針對開放式同行評議影響因素的多數(shù)研究還局限在訪談和調(diào)查問卷等抽樣方法中，缺少大數(shù)據(jù)方法的驗證。因此，本文在開放科學(xué)的環(huán)境下，對建立在開放獲取數(shù)據(jù)基礎(chǔ)上的開放同行評議實踐影響因素進(jìn)行研究，即采集開放獲取期刊(以下簡稱“OA期刊”)的數(shù)據(jù)，從實證的角度探討開放式同行評議實踐的關(guān)鍵性影響因素，為編輯部和科技管理部門提供參考。

1 材料與方法

1.1 數(shù)據(jù)來源

Directory of Open Access Journals(DOAJ)是OA期刊文獻(xiàn)檢索系統(tǒng)，但不包括預(yù)印本資源。DOAJ由瑞典隆德大學(xué)圖書館創(chuàng)建和維護(hù)，其收錄的OA期刊數(shù)量達(dá)到17567種，是優(yōu)質(zhì)的OA期刊目錄網(wǎng)站。該系統(tǒng)收錄期刊的文章都經(jīng)過同行評議，且其收錄的OA期刊分類井然有序，開放式同行評議期刊覆蓋面廣、刊文范圍清晰、代表性強(qiáng)、更新及時，有利于開展研究工作，因此，DOAJ是本研究的最佳數(shù)據(jù)來源。DOAJ數(shù)據(jù)庫中有176種期刊(數(shù)據(jù)統(tǒng)計時間截止到2021年8月3日)實行開放式同行評議，其中有166種期刊的數(shù)據(jù)有效且可利用，占比為94.32%。

1.2 研究方法

1.2.1 多重對應(yīng)分析

對應(yīng)分析也稱關(guān)聯(lián)分析或R-Q型因子分析，是近年新發(fā)展起來的一種多元相依變量統(tǒng)計分析技術(shù)，通過分析由定性變量構(gòu)成的交互匯總表來揭示變量間的聯(lián)系[20]。此方法可以揭示同行評議指標(biāo)中同一變量的各個類別之間的差異，以及不同變量各個類別之間的對應(yīng)關(guān)系，即通過多重對應(yīng)分析可以直接驗證開放式同行評議的各種指標(biāo)、不同類別之間的趨向程度，為下一步回歸分析檢驗顯著性提供選擇。

1.2.2 最優(yōu)尺度回歸分析

普通線性回歸對數(shù)據(jù)的要求十分嚴(yán)格，當(dāng)遇到分類變量時，線性回歸無法準(zhǔn)確地反映分類變量不同取值的距離。比如開放評議類型、作者身份是否公開、評議專家身份是否公開、評議報告是否公開等都是平級的，沒有大小、順序、趨勢之分，若將它們直接納入線性回歸模型，可能會失去自身的意義。最優(yōu)尺度回歸則可以解決類似問題，它擅長將分類變量按不同取值進(jìn)行量化處理，從而將分類變量轉(zhuǎn)換為數(shù)值模型進(jìn)行統(tǒng)計分析[21]。在多重對應(yīng)分析后確定與開放式同行評議關(guān)聯(lián)度高的變量，隨后利用最優(yōu)尺度回歸分析其中具有顯著作用的最優(yōu)變量。

2 研究過程

開放式同行評議在實踐中有完全開放和不完全開放兩種類型，因此，設(shè)置因變量——開放評議類型。根據(jù)上文所述開放式同行評議的定義，其在實踐過程中應(yīng)該有7個相關(guān)因素：公開評議人身份、公開評議報告、開放參與、出版前公開評議、出版后評議、作者與評議人公開交互和開放評議平臺。將影響因素拆分、歸納、合并為5個可測量指標(biāo)作為自變量：(1)作者身份是否公開；(2)評議專家身份是否公開；(3)評議報告是否公開；(4)交互討論(由開放參與、作者與評議人公開交互、開放評議平臺3個因素歸納而成)；(5)評議出版順序(由出版前公開評議、出版后評議2個因素歸納而成)。每個指標(biāo)的賦值情況詳見表1。逐一在DOAJ數(shù)據(jù)庫和各期刊官網(wǎng)上爬取176種開放式同行評議OA期刊對應(yīng)指標(biāo)的信息，并對每一指標(biāo)的不同分類進(jìn)行賦值，得到原始數(shù)據(jù)，部分期刊的數(shù)據(jù)見表2(176種期刊的數(shù)據(jù)見電子版附表)。

表1 開放評議指標(biāo)分類賦值表

表2 部分開放式同行評議的OA期刊評議特征數(shù)據(jù)

3 結(jié)果與分析

3.1 多重對應(yīng)分析結(jié)果

圖1為區(qū)分程度圖，用散點坐標(biāo)的形式顯示各變量在兩個維度上的區(qū)分程度。可以看到，開放評議類型、評議專家身份、評議報告、作者身份這4個變量的第一維度區(qū)分程度要大于第二維度，其中，開放評議類型與評議專家身份的區(qū)分度最接近。交互討論、評議出版順序在第二維度的區(qū)分程度更大。

圖1 區(qū)分程度圖

圖2為多重對應(yīng)分析圖，其讀圖原則是：落在從圖形原點(0，0)出發(fā)的相同方位上、大致相同區(qū)域內(nèi)的同一變量的不同類別具有類似的性質(zhì)；落在從圖形原點出發(fā)的相同方位上、大致相同區(qū)域內(nèi)的不同變量的類別間可能有關(guān)聯(lián)。使用分象限的方式來考察散點群間的聯(lián)系。根據(jù)以上原則，可以得到以下線索：(1)“實名注冊后討論”與“出版后評議”有聯(lián)系；(2)“不完全開放評議”與“作者身份自愿匿名”“評議專家身份自愿匿名”“評議報告不公開”有聯(lián)系，這印證了不完全開放評議的特點，且“不完全開放評議”與“評議專家身份自愿匿名”距離非常近，說明兩者密切相關(guān)；(3)“出版前評議”與“無交互討論”有聯(lián)系，且與原點距離很近，說明這是當(dāng)前開放式同行評議較為常用的實踐方式；(4)“完全開放評議”與“作者身份公開”“評議專家身份公開”“評議報告公開”有聯(lián)系，這印證了完全開放評議的特點，同時可以看出“完全開放評議”與“評議專家身份公開”位置非常接近，說明兩者的關(guān)系極為密切。

圖2 多重對應(yīng)分析圖

從以上分析可以得出，開放式同行評議實踐中作者身份、評議專家身份以及評議報告是否公開為3個主要影響因素，但最終影響開放式同行評議實踐方式的關(guān)鍵因素是評議專家身份是否公開。在通常采用的開放式同行評議實踐模式中，大部分是出版前評議且沒有交互討論。

3.2 最優(yōu)尺度回歸分析結(jié)果

所構(gòu)建的多元線性最優(yōu)尺度回歸結(jié)果如表3所示，其中Bootstrap自助抽樣法是一種重要的統(tǒng)計推斷方法，利用有放回的重抽樣技術(shù)，估計任何樣本統(tǒng)計量的分布，常用于計算統(tǒng)計量的標(biāo)準(zhǔn)誤差。值得注意的是，只有“評議專家身份”(P<0.001)和“評議出版順序”(P=0.027)通過了顯著性檢驗(P<0.05)，說明只有這兩個自變量對因變量“開放評議類型”有顯著性影響，但“評議專家身份”的β系數(shù)值0.917遠(yuǎn)遠(yuǎn)高于“評議出版順序”的β系數(shù)值0.031。因此，因變量開放評議類型(A)的回歸方程為A=βiai=0.014×a1+0.917×a2+0.086×a3+0.031×a4+0.004×a5。

表3 最優(yōu)尺度回歸方程系數(shù)與顯著性檢驗表

表4所示為自變量的相關(guān)性與容忍度，其中有一個非常特殊的指標(biāo)“重要度”，它表征自變量對因變量影響的重要程度。從表4可以看出：“評議專家身份”對“開放評議類型”非常重要，重要度值高達(dá)0.966；其次是“評議報告”和“評議出版順序”，但這兩個變量的重要度值遠(yuǎn)遠(yuǎn)低于“評議專家身份”。

表4 自變量的相關(guān)性和容忍度

4 結(jié)論

開放式同行評議的定義和內(nèi)涵包括多個方面，比如要求身份信息的公開、評議報告的公開出版、交互討論、評議出版順序。本研究的分析結(jié)果表明：開放評議類型與評議專家身份這兩個變量的不同類別緊密相連；評議專家身份的回歸系數(shù)通過了顯著性檢驗，且回歸系數(shù)最大，對因變量(開放評議類型)的重要度值也最大。這說明評議專家身份的公開與否已成為開放式同行評議實踐模式的核心影響要素。在概念內(nèi)涵上，開放式同行評議需要同時開放評議者身份信息和開放評議報告，有強(qiáng)制開放的意味；而透明性同行評議更強(qiáng)調(diào)評議報告的公開，對開放身份信息則賦予可選擇性。因此，透明性同行評議作為開放式同行評議的一種子類型，更加人性化，學(xué)者對它的接受程度更高、實踐意愿更強(qiáng)。在實踐過程中，透明性同行評議充分尊重評議專家的匿名評審權(quán)，給予評議專家自愿選擇是否開放身份的機(jī)會，因此得到評議專家的支持，透明性同行評議成為當(dāng)前開放評議的主要實踐模式。事實上，如果因評議專家擔(dān)心身份公開而排斥開放式同行評議，期刊可以采用區(qū)塊鏈(Block Chain)的非對稱加密技術(shù)保護(hù)評議專家的個人隱私，允許匿名評審，解決評議專家的心理障礙問題。以傳統(tǒng)雙盲審的匿名形式進(jìn)行開放評議的互動過程，既能保證同行評議的公平、公正、公開，便于管理部門監(jiān)督和監(jiān)管，又能促使更多的評議專家投入到開放式同行評議之中。

開放式同行評議實踐過程中能夠直接觀測且便于測量的指標(biāo)不多，故本研究未能展示其影響因素的變化及發(fā)展過程。今后需要拓展更多的可觀測指標(biāo)以觀察開放式同行評議實踐模式的發(fā)展變化特征。