論文學術影響力指標優(yōu)化的實證分析

孟 璀，吳培群

（北京電子科技學院，北京 100070）

0 引言

對于論文的學術影響力（以下簡稱“影響力”），實際的學術評價工作中往往采用“被引頻次”作為測度指標。用被引頻次作為指標評價論文的影響力是否科學有效？除被引頻次之外，從各種論文數(shù)據(jù)庫和網(wǎng)絡平臺上也可以直接獲取論文的“被下載頻次”信息，被下載頻次在一定程度上也能反映論文的學術影響情況。那么，怎樣基于被引用和被下載兩方面的頻次信息構(gòu)建論文影響力的更科學有效的指標？

另一方面，學術界關于論文影響力的研究，多集中于對學者個人或某一具體成果進行考察和分析[1,2]，針對某類特定研究方法的論文的影響力的實證分析還較為少見。事實上，論文的科學性依賴于研究方法的科學性，而論文的影響力又在一定程度上可以反映出研究方法的科學性、有效性以及在一門學科中應用發(fā)展的程度。所以，對一個學科領域中的基于某特定研究方法的論文的影響力進行實證分析，可以為該研究方法的應用和推廣及相應學科發(fā)展策略提供有力的參考依據(jù)。作者基于自己多年運用內(nèi)容分析法研究教育問題的經(jīng)驗[3,4]，利用CNKI（中國知網(wǎng)）的相關論文數(shù)據(jù)，探討兩種指標下論文的影響力受其他因素影響的規(guī)律。

1 研究方法

本文所用的研究方法被稱為“內(nèi)容分析法”。美國學者伯納德·貝雷爾森，在1952年出版的《傳播學研究的內(nèi)容分析》一書中，最早給出了內(nèi)容分析法的定義：一種對具有明確特征的傳播內(nèi)容進行客觀的、系統(tǒng)的和定量的描述研究技術[5]。本文用的正是貝雷爾森的這一定義，并在這一定義下與同樣具有非接觸性特點的文本分析法、文獻研究法等方法區(qū)分開來。應用這種方法進行研究時，需要先根據(jù)研究需要確定要分析的材料（分析單元），選取樣本，編制類目體系和相應的編碼方法，以此為依據(jù)對樣本中的非結(jié)構(gòu)或半結(jié)構(gòu)材料逐一分析，將其轉(zhuǎn)化為結(jié)構(gòu)化的、可統(tǒng)計分析的數(shù)據(jù)，再對數(shù)據(jù)進行統(tǒng)計分析，對分析結(jié)果進行討論，揭示研究對象的內(nèi)在規(guī)律性。

1.1 樣本選取及材料的結(jié)構(gòu)化

在CNKI平臺上依次用“教育”和“內(nèi)容分析法”（或“內(nèi)容分析”）等關鍵詞對發(fā)表在國內(nèi)所有中文學術期刊、報紙、輯刊上的論文（含學位論文）進行搜索，將搜到的論文又按照上述內(nèi)容分析法的定義及特點對論文數(shù)據(jù)進行了清理，最后得到了由873篇論文構(gòu)成的教育內(nèi)容分析論文（用內(nèi)容分析法研究教育問題的論文）樣本。同時，作者構(gòu)建了如下頁表1所示的類目體系和編碼方法，又據(jù)此將樣本中的每篇論文的信息做結(jié)構(gòu)化分析并錄入到SPSS統(tǒng)計分析軟件的數(shù)據(jù)表中，使其成為可直接統(tǒng)計分析的數(shù)據(jù)[6]。

1.2 統(tǒng)計分析

1.2.1 變量設定及測度指標

（1）變量設定

要探討論文影響力的指標優(yōu)化問題，必須分析新舊指標的優(yōu)劣情況。顯然，如果論文影響力的某一指標值受論文發(fā)表時間、論文研究問題所屬領域、作者單位類型這些因素的影響更小，則可以認為這一指標更具有普適性，對論文影響力的評價及橫向比較，會更科學有效。所以，本文將論文發(fā)表時間、論文研究問題所屬的領域（以下簡稱“所屬領域”）、作者單位類型三個因素設定為解釋變量，被解釋變量顯然是論文影響力，被解釋變量的值就是論文影響力的指標值。

表1 類目體系

（2）論文影響力的測度指標

首先被引頻次和被下載頻次可以表示論文影響力，但是這兩個“頻次指標”的值都是隨論文發(fā)表時間而變化的“累積量”，用這兩個頻次指標直接衡量論文的影響力及進行相關橫向比較時，在科學性上存在問題。所以，為了控制“時間累積”的影響，本文提出并采用“年均被引頻次”和“年均被下載頻次”作為論文影響力的測度指標，并將這兩個指標統(tǒng)稱為“率指標”，計算公式如下：

一般說來，年均被下載頻次高，代表人們對該論文的關注程度高，意味著該論文有可能對下載者將來的學術研究產(chǎn)生影響，所以可以說年均被下載頻次表示的是一種潛在的影響力；而年均被引頻次高，則意味著該論文對引用者的學術研究已經(jīng)產(chǎn)生了實際影響，所以它表示的是實際既成的影響力。

1.2.2 統(tǒng)計分析方法及所用工具

由于本文設定的解釋變量中的“所屬領域”和“作者單位類型”都屬于定類變量，所以本文不采用一般回歸分析方法探討論文影響力的影響因素，而擬對通過各類論文間的影響力進行差異性檢驗來探討影響因素問題：若檢驗結(jié)果表明差異顯著，則可以斷定相應因素是對論文影響力有顯著影響的因素，否則，就斷定不是影響因素；對于論文發(fā)表時間這個因素，則通過對論文影響力指標值的年度變化折線的直觀考察進行探討。

本文所有分析結(jié)果包括圖形，都是采用統(tǒng)計分析軟件IBM SPSS22.0并結(jié)合自編程進行分析得到的。

2 結(jié)果分析

從1986年7月我國發(fā)表第一篇教育內(nèi)容分析論文，到2015年4月（本文的數(shù)據(jù)收集時間），歷時29年9個月，總共發(fā)表教育內(nèi)容分析論文873篇，月均發(fā)表2.53篇，年均發(fā)表30.36篇。教育內(nèi)容分析論文影響力的頻次指標值和率指標值的基本統(tǒng)計描述結(jié)果見表2。無論采用哪一類指標，教育內(nèi)容分析論文的影響力都顯著高于一般教育論文。

表2 教育內(nèi)容分析論文的影響力的兩類指標值的統(tǒng)計描述

2.1 論文發(fā)表時間對論文影響力率指標值的影響低于其對頻次指標值的影響

計算出各年度發(fā)表教育內(nèi)容分析論文（以下簡稱論文）的被引頻次和年均被引頻次的篇均數(shù)值，由此繪出二者的年度變化折線（見圖1），用同樣的方法繪出各年度發(fā)表的教育內(nèi)容分析論文的被下載頻次和年均被下載頻次的篇均數(shù)值的年度變化折線（見圖2）。

圖1 各年度發(fā)表的論文的被引頻次及其年均值的變化

圖2 各年度發(fā)表的論文的被下載頻次及其年均值的變化

可以看出，相對于頻次指標值隨論文發(fā)表時間大幅波動，率指標值則波動很小，表明論文影響力的率指標值受論文發(fā)表時間的影響較小。從圖1和圖2還可以看出，用率指標衡量論文的影響力，新近發(fā)表的論文的影響力不像采用頻次指標時那么低，這較符合強調(diào)學術人員的新研究成果的學術評價原則。

2.2 所屬領域?qū)φ撐挠绊懥Φ念l次指標值影響顯著，對率指標值影響不顯著

按論文研究問題的所屬領域分別統(tǒng)計論文數(shù)量，結(jié)果如表3的第三列所示?？梢钥闯觯\用內(nèi)容分析法最多的三個領域依次是教育技術和遠程教育、高等教育、中等初等教育，這三類論文占教育內(nèi)容分析論文總數(shù)的80%以上。進一步統(tǒng)計各領域論文的影響力的率指標值和頻次指標值并列入表3。

表3 不同教育領域的論文的影響力的統(tǒng)計描述

由表3可以看出，用各指標對這三類論文的影響力進行比較，結(jié)果都是教育技術和遠程教育論文最高，其次是高等教育論文，中等初等教育論文最低。不過，方差分析的結(jié)果表明，影響力的率指標值在這三類論文間差異都不顯著，但頻次指標值差異都顯著。所以，研究問題的所屬領域?qū)φ撐挠绊懥Φ穆手笜酥涤绊懖伙@著，對頻次指標值影響顯著。

2.3 作者所屬單位的類型對論文影響力的兩類指標值均無顯著影響

873篇教育內(nèi)容分析論文中，有1篇未標注作者單位，其他872篇論文的第一作者的單位可以歸結(jié)為師范普通高校、非師范普通本科高校（不含高職高專）、其他高校（含電大、黨校、高職高專、國外高校等）及高校外機構(gòu)四類，對相應的四類論文的數(shù)量分布及論文影響力的兩類指標值的統(tǒng)計描述結(jié)果見表4?？梢钥闯?，采用內(nèi)容分析法研究教育問題的作者主要來自師范普通高校和非師范普通高校，來自這兩類高校的教育內(nèi)容分析論文占該類論文總數(shù)的90%以上。另外，對各指標下四類論文的影響力值分別進行方差分析，結(jié)果表明，兩類指標下四類論文的影響力均無顯著差異，這表明，作者所屬單位類型對論文影響力的兩類指標值的影響都不顯著。

表4 不同類型單位作者的論文影響力基本統(tǒng)計

3 討論及建議

上述分析結(jié)果表明，在論文發(fā)表時間、研究問題的所屬領域、作者單位類型這三個因素中，論文發(fā)表時間、研究問題的所屬領域?qū)︻l次指標測度的論文影響力都有顯著影響，但對率指標測度的論文影響力的影響都不顯著，作者單位類型對兩類指標測度的論文影響力均無顯著影響。

基于此種分析結(jié)果，本文認為，年均被引頻次和年均被下載頻次這類率指標更適合作為論文學術影響力的測度指標。目前，學術論文成果評價實踐中大多采用被引頻次作為學術影響力測度指標，但被引頻次數(shù)值受論文發(fā)表時間影響太大，若其他情況一樣，則越是“老論文”，被引頻次越大，越是“新論文”，被引頻次越小，以此評價學術影響力便會與強調(diào)新成果的學術評價原則不相吻合；更重要的，上述分析結(jié)果表明，論文的研究問題所屬領域會顯著影響被引頻次，這將帶來跨領域、跨學科學術評價和比較中的非科學性和非公平性。而上述分析結(jié)果表明，用年均被引頻次和年均被下載頻次共同作為論文影響力的測度指標，就能較好地解決這樣的問題。還有，年均被引頻次測度“既成的”、已經(jīng)實現(xiàn)的影響力，年均被下載頻次測度“潛在的”影響力，同時應用這兩個率指標進行論文學術影響力的評價會更全面、更客觀、更有效。