基于德爾菲法的開放獲取期刊評價指標篩選

，

開放獲取期刊(Open Access Journal,OAJ)是指可以在公共網(wǎng)絡(luò)上免費獲取，并允許用戶進行檢索、閱讀、下載、復(fù)制、打印，以及其他任何法律允許，而沒有經(jīng)費、法律或技術(shù)方面的障礙，經(jīng)過同行專家評閱的高質(zhì)量全文電子期刊[1]。OAJ具有開放性、時效性，降低了資源建設(shè)的成本，增強了信息服務(wù)的時效性，拓寬了資源采集的途徑[2]，已經(jīng)成為重要的學術(shù)資源之一。截至2016年1月7日，DOAJ(Directory of Open Access Journals)收錄的OA期刊已經(jīng)增長為11 135種[3]。為了更好地選擇、采集、提供優(yōu)質(zhì)的OAJ資源從而為用戶服務(wù)，本文旨在應(yīng)用德爾菲專家咨詢法(Delphi)篩選出相對科學、合理、適用于OAJ評價的評價指標，并對指標篩選過程中的相關(guān)問題進行探討。

1 材料與方法

1.1 評價指標的初步篩選

通過中國知網(wǎng)、萬方數(shù)據(jù)知識服務(wù)平臺、圖書館信息科學文摘數(shù)據(jù)庫(Library and Information Science Abstract，LISA)、PubMed等中外文數(shù)據(jù)庫獲取有關(guān)期刊評價和國內(nèi)外OAJ方面的文獻資源，參考有關(guān)OAJ評價和信息資源建設(shè)方面的專著[4-7]，并訪問DOAJ、BioMed Central、Free Medical Journal、Hinari、Medknow、SciELO等著名出版商網(wǎng)站，以及國際開放學術(shù)出版商協(xié)會(OASPA)、出版道德委員會(COPE)、世界醫(yī)學編輯協(xié)會(WAME)和國際科學技術(shù)醫(yī)學出版商協(xié)會(STM)提出的期刊最佳實踐標準等網(wǎng)絡(luò)資源，參照現(xiàn)行標準或規(guī)范來篩選OAJ的評價指標、評價方法和評價角度，初步篩選、建立OAJ評價指標框架。

1.2 評價指標的進一步遴選

1.2.1 專家遴選

為了構(gòu)建科學有效、可操作性強的OAJ評價指標體系，減少主觀因素(如研究領(lǐng)域、學術(shù)水平、學科差異等方面對評價結(jié)果的影響)，在構(gòu)建評價OAJ評價指標體系時，邀請16名具有副高級專業(yè)技術(shù)職稱及以上的圖書館學、情報學和臨床醫(yī)學(用戶代表)專家，具有中級專業(yè)技術(shù)職稱的業(yè)務(wù)骨干參與評價指標的遴選。其中，專家應(yīng)從事相關(guān)工作2年以上并且對本研究感興趣，愿意配合專家咨詢；用戶代表選取醫(yī)學領(lǐng)域的專家，是因為醫(yī)學領(lǐng)域的開放獲取期刊的數(shù)量和增長速度在各領(lǐng)域中居首位。

1.2.2 編制專家咨詢表

第一輪問卷向?qū)＜姨峁┏醪綌M定的評價指標，包括一級指標3個，二級指標7個，三級指標12個，主要是各位專家根據(jù)指標的重要程度分別對各項指標進行打分。若重要程度用K表示，則將評價指標的重要程度設(shè)定為非常重要K1、比較重要K2、一般重要K3、不太重要K4、不重要K5五個等級，并給每一等級設(shè)定一個分值：K1=9，K2=7，K3=5，K4=3，K5=1。專家咨詢問卷首先介紹了OAJ評價的必要性和各備選指標的釋義，主要是各位專家對OAJ評價備選指標的重要性判斷。此外，問卷還設(shè)立了半開放式問題，以便專家對于指標的設(shè)置提出意見。

第二輪的調(diào)查咨詢表主要分為兩部分。第一部分是專家對經(jīng)過第一輪結(jié)果分析修正后的評價指標提出是否需要增加、修改和刪除等建議，進一步判斷和完善評價指標體系；第二部分是專家基本信息調(diào)查表(專家的年齡、研究領(lǐng)域、工作年限、專業(yè)技術(shù)職稱等基本信息)和專家權(quán)威程度自評表(主要了解專家對指標的熟悉程度和判斷依據(jù))。

1.2.3 咨詢結(jié)果分析與綜合評價指標的篩選

指標的篩選需針對專家提出的修改意見進行，指標的修改、增加或刪除至少需要3位專家提出相同的意見或建議。入選指標的得分均值應(yīng)在7分以上，有較高的重要比率得分，變異系數(shù)較小，盡量控制在0.5以下。

1.2.4 專家咨詢可靠性分析方法

本文采用專家積極系數(shù)、專家協(xié)調(diào)系數(shù)和權(quán)威系數(shù)3項指標檢驗第三輪專家咨詢的可靠性。

一是評價等級、判斷依據(jù)、熟悉程度的量化。對問卷結(jié)果進行數(shù)據(jù)分析所采用的量化標準見表1至表3。

表1 評價指標評分標準表

表2 專家熟悉程度量化表

表3 專家判斷依據(jù)及影響程度量化表

二是有關(guān)統(tǒng)計指標的計算。

(1)專家的權(quán)威系數(shù)Cr

專家的權(quán)威性對評價結(jié)果的可靠性至關(guān)重要。因此，在衡量評價結(jié)果時要考慮專家對某一指標要素的權(quán)威系數(shù)Cr。Cr一般由兩個重要因素決定，一是專家的判斷依據(jù)Ca，二是專家對問題的熟悉程度Cs。Cr越大，說明專家的權(quán)威程度越高。計算公式為：

(2)專家的協(xié)調(diào)系數(shù)W

協(xié)調(diào)系數(shù)是用來描述專家對方案協(xié)調(diào)程度好壞的指標，在0到1之間。W越大說明專家的協(xié)調(diào)程度越好，計算公式為：

式中，L：i專家評價中有相同評價值的組數(shù)；tl：L組中的相同等級數(shù)。

協(xié)調(diào)系數(shù)顯著性檢驗

自由度df=n-1，如果P<0.05，說明專家評估或預(yù)測協(xié)調(diào)性好，結(jié)果可取，否則不可取。

(3)專家的積極系數(shù)

專家的積極系數(shù)即專家咨詢表的回收率，其大小說明專家對該項目研究的關(guān)心程度。

1.3 統(tǒng)計分析

采用Epidata 3.1雙軌錄入數(shù)據(jù)并糾錯，利用EXCEL 2007進行數(shù)據(jù)統(tǒng)計分析。

2 結(jié)果與分析

2.1 專家組構(gòu)成情況

本研究邀請的16名專家中，圖書館學專家6人，情報學專家7人，臨床醫(yī)學專家(用戶代表)3人。專家平均年齡(43.44±7.66)歲，平均工作年限(18.56±8.56)年，其中具有副高級及以上專業(yè)技術(shù)職稱的專家15人，占93.75%。專家構(gòu)成情況見表4。

表4 專家構(gòu)成情況

2.2 專家權(quán)威系數(shù)Cr

專家權(quán)威程度自評結(jié)果顯示，各一級指標的熟悉程度Cs在0.75-0.8之間，平均值為0.775；判斷依據(jù)Ca在0.8875-0.9375之間，平均值為0.9167。各一級指標的權(quán)威程度系數(shù)Cr在0.8188-0.8688之間，平均值為0.8458(表5)。

表5 專家權(quán)威程度自評結(jié)果

2.3 專家協(xié)調(diào)系數(shù)W

根據(jù)專家的評分結(jié)果，最后得出專家協(xié)調(diào)系數(shù)W為0.398，Χ2為54.9，P值小于0.05，具有統(tǒng)計學意義。檢驗結(jié)果表明，經(jīng)過兩輪專家咨詢后，專家意見的協(xié)調(diào)性較好，結(jié)果可取，無需進行第三輪咨詢。

2.4 專家積極系數(shù)

專家積極系數(shù)表示專家對被研究的關(guān)心程度，一般以問卷的有效回收率來表示。其中第一輪共發(fā)放問卷16份，回收問卷16份，有效問卷16份，有效回收率為100%；第二輪發(fā)放問卷16份，回收問卷14份，有效問卷14份，有效回收率為87.5%。因此，兩輪專家積極系數(shù)為100%和87.5%。

2.5 指標的篩選結(jié)果

指標篩選是根據(jù)指標的集中程度和變異程度確定的，入選指標得分均值應(yīng)在7分以上，有較高的重要比率得分，變異系數(shù)較小，盡量控制在0.5以下。第一輪指標得分情況具體見表6。

表6 第一輪開放獲取期刊評價指標得分情況

經(jīng)過第一輪的德爾菲調(diào)查，修改、完善后的指標體系包括3個一級指標、7個二級指標和16個三級指標。根據(jù)表6中各指標得分情況可知，專家的意見較為一致。因此第二輪調(diào)查主要是專家對修正后的評價指標提出是否需要增加、修改和刪除，進一步判斷和完善評價指標體系，并未進行打分。第二輪的調(diào)查結(jié)果顯示，各位專家對于“開放獲取期刊評價指標”基本達成一致，除兩位專家在三級指標方面提出意見外，其他僅是個別指標語言表述方面和結(jié)構(gòu)調(diào)整方面的些許意見或建議。本文最終得到的開放獲取期刊評價體系包含一級指標3個、二級指標7個、三級指標22個(表7)。

表7 開放獲取期刊評價指標

3 討論

3.1 指標體系的內(nèi)容應(yīng)充分體現(xiàn)評價對象的特點

構(gòu)建評價指標體系時，一方面要有科學的理論作指導(dǎo)，確保指標體系的基本概念和邏輯結(jié)構(gòu)嚴謹合理；另一方面，評價指標體系應(yīng)具備全面性和針對性，充分體現(xiàn)評價對象的特點。本文的研究對象OAJ具有免費獲取、數(shù)字化、網(wǎng)絡(luò)化、質(zhì)量良莠不齊、影響力逐步增加等特點，因而選擇開放程度、質(zhì)量和影響力3個維度建立評價框架，評價指標基本涵蓋了各維度中的關(guān)鍵問題，具有一定的針對性。

3.2 遴選指標的方法應(yīng)注重合理性和可靠性

德爾菲法經(jīng)歷了多年的發(fā)展，在各研究領(lǐng)域得到了廣泛的應(yīng)用。它依據(jù)不同領(lǐng)域內(nèi)專家的經(jīng)驗、知識，對初步擬定的指標進行分析、判斷，并且所有過程均是采用匿名或背靠背的方式，使每一位專家獨立判斷，不受其他人員的干擾影響。此外，預(yù)測過程必須經(jīng)過幾輪的反饋，使專家的意見趨于一致，這樣得到的結(jié)果更具有代表性和可靠性。第一輪咨詢的目的主要是確定指標體系的框架和評價指標，第二輪咨詢的主要目的是進一步修正完善評價指標。

3.2.1 專家的代表性和權(quán)威性

一般來說，專家的選取關(guān)乎德爾菲法成功與否。本文選取的專家具有副高級及以上專業(yè)技術(shù)職稱的專家15人(占93.75%)，并且在專業(yè)領(lǐng)域的平均工作年限為18.56±8.56年，說明專家意見具有可靠性和代表性。

專家的權(quán)威程度與預(yù)測精度呈一定的函數(shù)關(guān)系，預(yù)測精度隨著專家權(quán)威程度的提高而提高，一般認為權(quán)威系數(shù)Cr≥0.7即可以接受。結(jié)果顯示，三個一級指標的權(quán)威系數(shù)Cr在8188-0.8688之間，平均值為0.8458， 可以認為本文中的專家權(quán)威程度較高。

3.2.2 專家的積極性和一致性

專家的積極性一般以問卷有效回收率表示，兩輪的專家積極性系數(shù)分別為100%和87.5%。艾爾巴比指出，50%的回收率是可以用來分析和報告的最小比例，60%的回收率比較好，70%非常好[8]。因此，本文具有較好的積極系數(shù)，反映了專家對本文的關(guān)心和支持程度較高。

通過計算專家意見的協(xié)調(diào)系數(shù)可以判斷專家對每項指標的評價是否存在較大分歧，同時也是咨詢結(jié)果可信度的衡量指標。協(xié)調(diào)系數(shù)表示全部專家對全部指標的協(xié)調(diào)程度，其值介于0-1之間，該系數(shù)越大越好。本研究的協(xié)調(diào)系數(shù)W為0.398，P值小于0.05，具有統(tǒng)計學意義。結(jié)果表明，經(jīng)過兩輪的專家咨詢后，專家意見的協(xié)調(diào)性較好，可信度很高，結(jié)果可取。

4 結(jié)語

利用德爾菲法篩選開放獲取期刊的評價指標是一種有益的嘗試和探索，可以更好地遴選和評價開放獲取資源，為資源建設(shè)提供參考。雖然本次調(diào)查專家的積極性、權(quán)威程度和協(xié)調(diào)程度均達到要求，但是篩選出的指標仍可能受到專家局限性的影響，因此指標體系需要在今后的實際應(yīng)用中進一步進行檢驗和完善。