代表作視角下的期刊評價指標(biāo)研究

周春雷 楊前 汪巧紅 丁倩文 楊昭

關(guān)鍵詞：C10指數(shù)；代表作；評價理念；期刊評價；代表性論文；引文；精品率；診斷

1 引言

期刊影響因子一經(jīng)問世就產(chǎn)生了深遠的影響，但也飽受非議。其籠統(tǒng)的計算方式存在“吃大鍋飯”式利益均沾色彩，也容易以精確、客觀的“第一印象”誤導(dǎo)不明就里者，影響因子“?？鄙踔量梢砸I(lǐng)時髦研究。期刊影響因子雖與期刊論文的質(zhì)量有一定的關(guān)系，但并不能表征所有個體論文的質(zhì)量?！蛾P(guān)于科研評價的舊金山宣言》[1]明確指出影響因子并不是衡量論文質(zhì)量的指標(biāo)，應(yīng)大幅減少將影響因子作為期刊宣傳手段的行為。隨著“破四唯”“破五唯”指導(dǎo)意見的提出，內(nèi)在質(zhì)量重新成為衡量論文價值的重要標(biāo)準(zhǔn)，國內(nèi)學(xué)術(shù)界也開始高度重視“代表作”評價問題。[2]學(xué)術(shù)代表作評價制度最早由個別高校嘗試性使用，之后被廣泛應(yīng)用到職稱晉升[3-4]、人才評價[5]、項目評審[6]等各類學(xué)術(shù)評價活動中。國外雖沒有與國內(nèi)應(yīng)用場景相對應(yīng)的專業(yè)術(shù)語，但也有類似要求，如：英國RAE和RAF體系要求高校教師提交“高質(zhì)量出版物”[7]；荷蘭大學(xué)協(xié)會在科研評價過程中除需科研人員提供出版物列表外，還需提供5份代表性出版成果及其質(zhì)量和聲譽等數(shù)據(jù)。[8]這些實踐活動為“代表作”這一術(shù)語塑造了職稱評審專用的狹窄內(nèi)涵，容易讓人產(chǎn)生“代表作”需由評價者、評價對象雙方共同認定方才有效的刻板印象。事實上，即使是歷史上的知名學(xué)者，不同時代的后人對其代表作也可能有不同的見解。筆者認為，“代表作”是一個內(nèi)涵豐富、富有學(xué)術(shù)號召力的術(shù)語，不宜用狹隘、靜態(tài)的認知框定其演變潛力。

本文對目前尚無定論的“代表作評價理念”采取開放、寬泛的理解，認為學(xué)術(shù)共同體的公開評議信息和學(xué)術(shù)授信結(jié)果[9]可以在動態(tài)建構(gòu)“代表作”認知、認定代表作方面發(fā)揮積極作用。基于對期刊學(xué)術(shù)傳播功能的認知，本文將那些得到學(xué)術(shù)界廣泛關(guān)注、能夠代表期刊學(xué)術(shù)水平的論文視為期刊的代表作，嘗試?yán)么笠?guī)模引文數(shù)據(jù)研究期刊的學(xué)術(shù)引領(lǐng)力、號召力具體體現(xiàn)在哪些方面。

2 期刊評價指標(biāo)設(shè)計

筆者認為，優(yōu)秀期刊與優(yōu)秀論文之間存在相互成就關(guān)系。雖然期刊作為成果傳播平臺在識別、完善、推廣論文的過程中發(fā)揮著非常重要的作用，但依然需要厘清一個根本性問題：學(xué)術(shù)繁榮的原動力在于創(chuàng)新性知識的不斷產(chǎn)出，優(yōu)秀期刊只是優(yōu)秀論文的臨時性集體符號，其本身并不生產(chǎn)優(yōu)秀論文，反而是優(yōu)秀論文的動態(tài)匯聚塑造了個體期刊千差萬別的學(xué)術(shù)地位。學(xué)者們通常因關(guān)注自己感興趣的論文而進一步留意其發(fā)表載體，期刊級別只能在受眾初次接觸論文時傳遞某種意義上的聲望或質(zhì)量信號，發(fā)揮一定的品質(zhì)保證作用，吸引讀者閱讀、思考。在學(xué)術(shù)成果影響力數(shù)據(jù)匱乏、采集成本較高的情況下，“影響因子”可以作為指示信號大體表征論文平均質(zhì)量，為各種量化管理提供便利，也為高影響因子期刊招徠了大量讀者。但這種曾經(jīng)盛行的評價理念將學(xué)術(shù)成果質(zhì)量評價話語權(quán)賦予成果發(fā)表平臺并不妥當(dāng)，容易出現(xiàn)影響因子濫用現(xiàn)象，引發(fā)重期刊輕論文的思想，甚至出現(xiàn)“核心期刊崇拜”或“影響因子崇拜”等問題。

近年來，關(guān)于影響因子的反思、批評甚至連累了其他基于引文數(shù)據(jù)的量化指標(biāo)，不少人認為“評選代表作”比使用引文指標(biāo)更科學(xué)，更能體現(xiàn)同行評議思想。事實上，基于高質(zhì)量引文數(shù)據(jù)的量化評價與同行評議并不矛盾。引文數(shù)據(jù)原本就是學(xué)者們在正式學(xué)術(shù)交流系統(tǒng)中留下的印記，是同行學(xué)者長期相互評議、引用的結(jié)果，利用高質(zhì)量引文數(shù)據(jù)進行分析歷來是低成本獲取同行評議意見的有效手段。用引文數(shù)據(jù)篩選能夠代表期刊水平且引發(fā)關(guān)注的論文完全行得通，也是大范圍獲取同行評議意見的現(xiàn)實選擇。例如，筆者團隊[10]在研究圖情領(lǐng)域人大復(fù)印報刊資料轉(zhuǎn)載論文的影響力時發(fā)現(xiàn)，學(xué)科專家們甄選出的論文與根據(jù)引文數(shù)據(jù)篩選出的高影響力論文集合大體相符。

在學(xué)術(shù)交流過程中，學(xué)者們會對有價值的成果做出引用、評論、推薦等行為，這些或顯性、或隱性的學(xué)術(shù)授信標(biāo)記會對后續(xù)研究者產(chǎn)生一定的影響，那些能夠得到學(xué)界同行關(guān)注與認可的成果將率先成為高被引論文。隨著時間的積累，關(guān)于特定期刊的學(xué)術(shù)授信信息會在學(xué)術(shù)交流系統(tǒng)中演化為清晰的學(xué)術(shù)聲望信號，而那些成功吸引眾多優(yōu)秀論文入駐的期刊將成為知名學(xué)術(shù)傳播平臺并在特定議題上擁有話語權(quán)，從而吸引更多關(guān)注。雖然高被引未必意味著學(xué)術(shù)價值非常突出，但我們根據(jù)常識也很難相信學(xué)術(shù)價值很大的成果會長期無人關(guān)注、引用，而且這種現(xiàn)象還會普遍存在。

基于上述思考，本文嘗試通過為引文數(shù)據(jù)設(shè)置一定的門檻來發(fā)現(xiàn)那些給期刊帶來關(guān)注和聲望的代表性論文，進而考察特定期刊的學(xué)術(shù)引領(lǐng)力和學(xué)術(shù)號召力。

2 . 1 C 1 0指數(shù)。筆者基于代表作評價理念構(gòu)建了一種能夠表征評價對象長期學(xué)術(shù)聲望的評價指標(biāo)：C1 0指數(shù)（Classic Articles in 10 Years，十年經(jīng)典論文數(shù)），其含義為評價對象在10年內(nèi)發(fā)表的被引次數(shù)不低于10次的論文數(shù)量，這些論文可稱為C10論文，即評價對象的代表性論文。C10指數(shù)含義簡單、計算簡便，適合對發(fā)表較多成果的評價對象進行測度和比較，如期刊、知名學(xué)者、科研機構(gòu)、國家或地區(qū)等。

在默認情況下，C10指數(shù)測度的是評價對象近十年來推出代表性論文的數(shù)量。若指明時段，C10指數(shù)也可用于測度評價對象在不同時段的學(xué)術(shù)影響。

C10指數(shù)的背后是一篇篇可供任何人核驗的高被引論文，與反映期刊平均水平的影響因子指標(biāo)形成了鮮明對照。對于期刊來說，C10指數(shù)可直觀地反映期刊吸引優(yōu)秀論文的能力。為保障評價的科學(xué)性，計算所需的引文數(shù)據(jù)應(yīng)來自學(xué)術(shù)公信力較高的數(shù)據(jù)庫，如CSSCI等。對于國內(nèi)社科成果來說，要求某篇論文獲得不少于10次來自CSSCI數(shù)據(jù)庫的引用其實是一個相當(dāng)高的門檻，這意味著它吸引了至少10篇CSSCI論文的關(guān)注，稱其獲得一定規(guī)模的同行評議應(yīng)不為過。

2.2 期刊精品率指標(biāo)。C10指數(shù)測度的是評價對象10年內(nèi)推出代表性論文的數(shù)量，能有效篩選出學(xué)術(shù)聲望較高的期刊。為進一步探究期刊識別高水平論文的能力與效果，本文在C10指數(shù)的基礎(chǔ)上設(shè)計了期刊精品率這一衍生指標(biāo)，用于期刊自診或?qū)Σ煌诳M行橫向比較。其計算方法見公式1。

2.3 基于C10指數(shù)及衍生指標(biāo)的期刊評價流程。①獲取目標(biāo)期刊的發(fā)文與被引數(shù)據(jù)。選定目標(biāo)期刊，確定測度的時間區(qū)間，獲取目標(biāo)期刊在相應(yīng)區(qū)間的發(fā)文與被引數(shù)據(jù)。②對引文數(shù)據(jù)進行增強處理。對引文數(shù)據(jù)進行引用關(guān)聯(lián)與字段擴充，建立增強型期刊引文數(shù)據(jù)庫。③計算目標(biāo)期刊C10指數(shù)與精品率。對增強后的期刊引文數(shù)據(jù)進行統(tǒng)計并篩選出評價視域內(nèi)被引次數(shù)≧10次的論文，這類論文數(shù)即為期刊C10指數(shù)，再通過公式1計算期刊精品率，用于篩選優(yōu)質(zhì)期刊及其代表性論文。④揭示期刊學(xué)術(shù)聲望。C10指數(shù)即期刊代表性論文的數(shù)量，精品率是期刊擁有代表性論文的占比情況，通過探測長時段內(nèi)期刊代表性論文數(shù)量及占比情況，揭示期刊學(xué)術(shù)聲望。⑤驗證本文所提指數(shù)的有效性。將通過C10指數(shù)及其衍生指標(biāo)篩選出的結(jié)果分別與國家社科基金資助期刊、高等學(xué)?？茖W(xué)研究優(yōu)秀成果獎（人文社會科學(xué)）獲獎?wù)撐乃鶎倨诳M行對比，以驗證本文所提指數(shù)的有效性。詳情見圖1。

3 實證研究

本文以CSSCI來源期刊（2021—2022）為研究對象，利用C10指數(shù)來篩選期刊近十年（2012—2021）發(fā)表的高影響力論文，結(jié)合期刊獲得國家社科基金資助情況、相關(guān)論文獲得高等學(xué)?？茖W(xué)研究優(yōu)秀成果獎（人文社會科學(xué)）情況，檢驗該指數(shù)在識別優(yōu)質(zhì)期刊及期刊代表作方面的有效性。

3 . 1 數(shù)據(jù)來源。①獲取期刊發(fā)文和被引數(shù)據(jù)。筆者在CSSCI來源期刊目錄的基礎(chǔ)上剔除無法從CNKI獲取發(fā)文數(shù)據(jù)的期刊、報紙，得到582種期刊，然后從CNKI、CSSCI分別采集其發(fā)文和被引數(shù)據(jù)。由于工作量較大，采集十年載文量數(shù)據(jù)時直接采信CNKI提供的年度分組結(jié)果并進行簡單匯總，其中難免混有少量稿約、通知類記錄，可能與期刊的有效論文數(shù)略有出入。據(jù)本文統(tǒng)計，2012年—2021年被引次數(shù)≧1次的CSSCI論文約44萬篇，其中被引次數(shù)≧10次者有36 342篇。②獲取國家社科基金資助期刊數(shù)據(jù)。筆者從全國哲學(xué)社會科學(xué)工作辦公室網(wǎng)站“資助期刊”版塊、《國家社會科學(xué)基金年度報告2021》等途徑采集數(shù)據(jù)，并利用CNKI期刊導(dǎo)航數(shù)據(jù)庫調(diào)查標(biāo)記有“社科基金資助期刊”字樣的期刊，然后進行匯總整理。截至2023年5月，共有214種期刊獲得過國家社科基金資助，其中206種為CSSCI期刊。本文對這206種期刊不做區(qū)分，均視為國家社科基金資助期刊。③獲取高校人文社科獎相關(guān)數(shù)據(jù)。由于只有第七、八屆獲獎?wù)撐牡陌l(fā)表時間滿足近十年這一條件，故僅采集這兩屆的相關(guān)數(shù)據(jù)。鑒于CSSCI適合研究中文成果影響力的實際情況，本文只研究中文獲獎?wù)撐摹?/p>

3.2 Top100期刊分析。本文統(tǒng)計了不同期刊的C10論文數(shù)量，Top100期刊榜單見表1?？梢钥闯?，Top100期刊的C10指數(shù)均值為254.89，最高值達1 000以上，最低為104，即至少擁有104篇被引次數(shù)≧10次的論文。由于CSSCI期刊上發(fā)表的論文通常都經(jīng)過了嚴(yán)格篩選，質(zhì)量較有保證，而C10指數(shù)篩選出的論文多次獲得這些高水平論文的引用，可在某種程度上理解為大規(guī)模同行長期自然篩選、“評議”的結(jié)果，將篩選出的C10論文視為期刊的代表作有一定的合理性。

與期刊h指數(shù)相比，C10指數(shù)具有測度范圍廣、區(qū)分度大的優(yōu)勢，能更準(zhǔn)確地對影響力相近的期刊進行區(qū)分。在Top100期刊中，僅有3種期刊的C10值相同，我們可以利用衍生指數(shù)將其區(qū)分開來。例如，在2012—2021年這一時段內(nèi)，樣本期刊的期刊h指數(shù)為1～108，有6種期刊近十年期刊h指數(shù)均為27，而這些期刊的C10數(shù)值無重復(fù)且差距明顯，分布在161～378之間。以同屬管理學(xué)科的《管理評論》《管理科學(xué)學(xué)報》《管理科學(xué)》來說，三者的期刊h指數(shù)相同，但《管理評論》的C10值比后兩者分別高189、217。

另外，筆者發(fā)現(xiàn)Top100期刊中既有月刊，也有雙月刊和季刊，刊期因素不會對C10指數(shù)產(chǎn)生太大影響。例如，《南開管理評論》《中國法學(xué)》《社會學(xué)研究》《法學(xué)研究》《經(jīng)濟學(xué)（季刊）》等雙月刊或季刊的C10指數(shù)并不遜于月刊?？梢?，若采用C10指數(shù)評價期刊，期刊只需心無旁騖地聚焦主業(yè)——及時篩選并發(fā)表優(yōu)秀論文即可，根本無需像迎合影響因子那般刻意減少發(fā)文量。

3.3 指標(biāo)有效性分析

3.3.1 指標(biāo)篩選結(jié)果與國家社會科學(xué)基金資助期刊對比。為建設(shè)一批具有較強學(xué)術(shù)引領(lǐng)力和社會影響力的權(quán)威期刊，國家社科基金2012年設(shè)立了學(xué)術(shù)期刊資助項目，[11 ]在促進我國哲學(xué)社會科學(xué)繁榮發(fā)展中發(fā)揮著非常重要的導(dǎo)向作用。得到國家社科基金的資助，說明相關(guān)期刊的學(xué)術(shù)質(zhì)量比較高。

本節(jié)將利用C10指數(shù)、期刊精品率指標(biāo)篩選出的期刊與受資助期刊進行比較，以檢驗本文所提指標(biāo)的有效性。經(jīng)統(tǒng)計，國家社科基金資助過的214種期刊中共包含206種CSSCI期刊。本文利用C10與精品率指標(biāo)統(tǒng)計了各層次期刊的受資助情況（見表2）。

由表2可知，兩個指標(biāo)篩選出的期刊受資助情況均較為樂觀，各層次占比均在40%～50%。由于國家社科基金禁止受資助期刊收取版面費，限制了部分優(yōu)秀期刊獲得該榮譽的可能性，若非如此，本文指標(biāo)的篩選效果可能更顯著。

3.3.2 指標(biāo)篩選結(jié)果與高校人文社科獎對比。教育部高等學(xué)?？茖W(xué)研究優(yōu)秀成果獎（人文社會科學(xué)）是我國哲學(xué)社會科學(xué)領(lǐng)域的最高獎項，其獲獎成果完全符合我們對“代表作”的認知：它們由作者們主動提交且經(jīng)過了嚴(yán)格的同行評議審查并獲得認可，而期刊所刊論文獲獎體現(xiàn)了期刊識別優(yōu)秀論文的“眼力”，將這些獲獎?wù)撐姆Q為相關(guān)期刊的“代表作”合情合理。本節(jié)將C10指數(shù)的篩選結(jié)果與高校人文社科獎獲獎成果進行比較，相關(guān)數(shù)據(jù)如表3、表4所示。經(jīng)核驗，CSSCI論文對獲獎?wù)撐牡母采w率約為95%（見表3），可見將論文發(fā)表在高聲望期刊上對獲獎非常有利。通過C10指數(shù)篩選出的論文對獲獎?wù)撐牡母采w率為60%～65%，而聯(lián)合使用滿足Top100期刊或C10論文這樣的條件，得到的論文集合對獲獎?wù)撐牡母采w率可達77%～79%。

由表3可以推測，“發(fā)表于高聲望期刊或被引次數(shù)≧10次”這樣的條件可以很好地解釋獲獎?wù)撐牡哪撤N特征。為進一步驗證這一判斷，筆者先后嘗試了“Top100期刊+C10論文數(shù)”“Top200期刊+C10論文數(shù)”這樣的組合來觀察不同集合對獲獎?wù)撐牡母采w率（見表4），發(fā)現(xiàn)覆蓋率最高可達85.83%。這樣的覆蓋率雖略遜于CSSCI期刊，但考慮到本文所用的C10論文僅3.6萬篇，而統(tǒng)計時段內(nèi)被引的C刊論文多達44萬篇，且不說那些沒有被引用的論文，本文所提方法在節(jié)約評審成本方面的優(yōu)勢非常明顯。

由上述分析可知，C10指數(shù)能夠快速篩選廣受關(guān)注的論文和高聲望期刊，可以對不同期刊進行橫向比較，考察不同期刊識別優(yōu)秀論文的“眼力”。實證研究表明，即使是備受推崇、嚴(yán)格實施同行評議的社科大獎也非常重視發(fā)表在高聲望期刊上的論文以及能在學(xué)術(shù)界引發(fā)廣泛關(guān)注的論文。因此，利用C10指標(biāo)識別高聲望期刊、遴選代表作切實可行。

4 結(jié)語

本文基于代表作評價理念提出能夠綜合反映期刊長期學(xué)術(shù)聲望的C10指數(shù)，該指數(shù)倡議關(guān)注期刊識別優(yōu)秀論文的能力。在此基礎(chǔ)上，提出期刊精品率，并通過實證研究驗證了所提指數(shù)的可靠性與有效性，為研究期刊評價問題提供了新思路。該指數(shù)在本質(zhì)上仍然是一種重視高被引論文的量化指標(biāo)，難免帶有量化評價固有的局限性，所篩選出的論文中混有綜述論文，今后篩選期刊代表作時可設(shè)法降低其影響。盡管如此，本文的研究結(jié)果表明：C10指數(shù)可以在一定程度上達到同行評議的效果，且實現(xiàn)成本較低，利用其可以實現(xiàn)基于大規(guī)模高質(zhì)量引文數(shù)據(jù)的深度挖掘，借助眾多專家學(xué)者的學(xué)術(shù)授信信息識別優(yōu)秀論文和高聲望期刊，為期刊、科研管理機構(gòu)等提供高價值信息。對篩選出期刊的代表性論文，可以利用增強型引文數(shù)據(jù)從發(fā)文及施引論文的作者、機構(gòu)、主題、地域分布等角度進行診斷性評價，評估期刊的熱點追蹤、主題輸出及學(xué)術(shù)引領(lǐng)能力以綜合評價期刊影響力。[12]結(jié)合診斷性評價結(jié)果，可以評估期刊的議程設(shè)置能力，幫助期刊優(yōu)化欄目設(shè)置，也可以通過監(jiān)測主流學(xué)術(shù)群體的關(guān)注度變化預(yù)測期刊影響力及學(xué)術(shù)地位的升降趨勢，[13]幫助期刊把握自身發(fā)展水平，及時調(diào)整發(fā)展策略。

合理的期刊評價不能僅關(guān)心如何對期刊分級、分層，激發(fā)其競爭潛力，更應(yīng)通過分析數(shù)字背后的深層次原因，幫助期刊找準(zhǔn)問題，練好內(nèi)功，拒絕壓縮發(fā)文量以調(diào)控影響因子等無趣“內(nèi)卷”操作，更好地傳播學(xué)術(shù)成果、繁榮學(xué)術(shù)。期刊擁有高被引論文數(shù)量的多寡僅昭示著其研究議程設(shè)置能力和學(xué)術(shù)號召力的強弱，這可能與多種因素有關(guān)，我們要辯證看待，不能將其與期刊的學(xué)術(shù)質(zhì)量混為一談。希望本文可以為相關(guān)研究提供些許啟發(fā)。