張光耀 邵文君謝維熙姜春林王賢文
(1.大連理工大學(xué)科學(xué)學(xué)與科技管理研究所暨WISE實驗室,大連,116024;2. 荷蘭馬斯特里赫特科技創(chuàng)新經(jīng)濟研究院(UNU-MERIT),馬斯特里赫特,6211AX;3.南京大學(xué)社會學(xué)院,南京,210046)
同行評議沒有確保完美,也不能確保完美:科學(xué)期刊記錄的是已被完成的工作,不是記錄被發(fā)現(xiàn)的真理。如果荒謬地堅持高標(biāo)準(zhǔn),科學(xué)受到的損害比得到的收獲更多,這是以創(chuàng)新潛力為代價換取可靠性[1]。
——British Medical Journal前編輯 Stephen Lock
同行評議有著悠久的歷史,其主要是指某一或若干領(lǐng)域的專家采用具有普遍性的、客觀的評價標(biāo)準(zhǔn),共同對涉及相關(guān)領(lǐng)域的一項事物進(jìn)行評價的活動[2-3],其目的在于考察研究的可靠性,評估研究的創(chuàng)新性和重要性。具體而言,同行評議一方面能夠評估稿件與期刊的匹配度[4],在文章質(zhì)量掌控[5]、學(xué)術(shù)交流[6]中扮演著關(guān)鍵角色;另一方面則扮演著實現(xiàn)期刊審核程序正當(dāng)性,結(jié)果的客觀性的“黃金標(biāo)準(zhǔn)”的角色[7]。因此,同行評議不僅關(guān)系到作者、期刊、乃至于整個科學(xué)領(lǐng)域的發(fā)展,甚至?xí)谝欢ǔ潭壬嫌绊懮鐣恼w性發(fā)展[8]。
基于同行評議在科學(xué)評估和發(fā)展進(jìn)程中的重要作用,其一直是學(xué)界關(guān)注的焦點。與此同時,在期刊論文評審規(guī)范性不足、各類亂象頻發(fā)的社會現(xiàn)實語境之中,同行評議作為國家科研評價改革的重要內(nèi)容,對其的關(guān)注和研究有著重要的現(xiàn)實意義[9]。就政策層面而言,在近年來頒布實施的中共中央辦公廳、國務(wù)院辦公廳《關(guān)于深化項目評審、人才評價、機構(gòu)評估改革的意見》,科技部《關(guān)于破除科技評價中 “唯論文”不良導(dǎo)向的若干措施(試行)》,教育部和科技部《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用樹立正確評價導(dǎo)向的若干意見》中,同行評議的作用被反復(fù)強調(diào)[10]。在這一大背景下,探討同行評議的有效性,對于同行評議制度的完善發(fā)展和公正有效的評議體系的運行有著重要的理論和現(xiàn)實意義。
有效性對于同行評議至關(guān)重要,然而回到學(xué)術(shù)視域中,長期以來,已有研究對于同行評議的有效性存在明顯的爭議[11]。盡管有效性已經(jīng)被部分經(jīng)驗研究所關(guān)注[12–14],但是這一話題下的研究仍然集中在數(shù)據(jù)驅(qū)動,缺乏理論層面的探討。因此,在這一背景之下,作為同領(lǐng)域的研究者不得不去在現(xiàn)有研究中開展進(jìn)一步的反思,探討研究是否能夠走出已有研究的爭論與桎梏,并試圖從一個更為系統(tǒng)性的視角出發(fā),來重新檢視和思考同行評議的有效性。
基于此,本研究試圖從默頓的普遍主義出發(fā),探討同行評議有效性的來源,在梳理同行評議有效性相關(guān)研究的基礎(chǔ)上,通過引入有效市場假說,嘗試搭建有效同行評議假說,并進(jìn)一步提出有效同行評議的三種形式。一方面,本研究整合既有文獻(xiàn),搭建同行評議與文獻(xiàn)計量內(nèi)在關(guān)系的橋梁,并為未來研究提供參考。另一方面,有效同行評議框架的構(gòu)建有助于識別同行評議中的偏見,提升同行評議的公平和可靠性,旨在促進(jìn)評議體系的完善發(fā)展。
此外,同行評議涉及人才項目、期刊論文等多個方面,已有的大量關(guān)于同行評議的爭論主要集中在同行評議的有效性、評審專家的審稿成本與感受、同行評議的成本和延誤[4],而本研究將集中關(guān)注期刊論文同行評議有效性這一議題。
總體而言,本研究的核心觀點是,同行評議的有效性是同行評議制度作用發(fā)揮的基礎(chǔ),而對于同行評議有效性的評價,需要從多元的視角出發(fā)而非局限于單一維度。與此同時,研究不能夠?qū)⑼性u議的有效與無效放置在光譜的兩端,以一種二分且對立的視角出發(fā),從而掩蓋了同行評議的作用機制發(fā)揮的復(fù)雜性。特別是同行評議中廣泛存在的各種特殊主義因素,包括審稿人的非理性、人情關(guān)系、審稿人的非共識等,都需要被納入同行評議有效性何以實現(xiàn)的審視因素中。
已有研究指出,針對同行評議有效性的質(zhì)疑很大程度上源自審稿人的主觀性,更確切地說是偏好[15]。同行評議本身容易伴隨偏見[16],Shatz認(rèn)為偏見主要包括個人偏見、從屬關(guān)系偏見和思想偏見[15],Lee將偏見來源歸為對論文質(zhì)量的誤判、作者的社會特征、審稿人的社會特征以及論文的內(nèi)容四類[17]??傮w而言,可以從外部的影響因素與關(guān)乎于文章自身的內(nèi)在影響因素兩個視角來審視同行評議的有效性為何難以實現(xiàn)。
從外在影響因素來看,首先,已有不少實證研究發(fā)現(xiàn),科學(xué)家聲譽對審稿存在潛在影響,一方面,即使在工作質(zhì)量相同的情況下,頂級期刊的同行評審過程也有利于著名學(xué)者[18],另一方面,當(dāng)著名學(xué)者的文章遇到負(fù)面的審稿評價時,被編輯拒稿的概率與非著名學(xué)者相比更低[19];其次,在性別和機構(gòu)方面,審稿人可能會傾向于給男性作者的研究更高的評價[20],例如Smart和Waldfogel進(jìn)一步討論了編輯部在論文發(fā)表中可能存在的“性別主義”現(xiàn)象,即編輯會優(yōu)先發(fā)表男性作者的論文,盡管這些論文質(zhì)量可能比不上女性作者的論文,在計量指標(biāo)層面具體表現(xiàn)為男性作者論文的引文量顯著低于女性作者的論文[21]。同時,已有研究也捕捉到拒絕來自非一流機構(gòu)的論文的傾向[22],即名校效應(yīng)。此外,基于F1000 Research的公開同行評議數(shù)據(jù)的研究顯示,審稿人也存在地域偏好[23]。審稿人還會明顯偏好網(wǎng)絡(luò)(co-authorship network)中與自己更接近的作者[24]。
針對已有研究所揭示的影響同行評議有效性的外部因素,有學(xué)者認(rèn)為雙盲審稿在理論層面擁有默頓規(guī)范的支持[25],在實證層面也不斷地被檢驗[6,26],因此,雙盲評審被認(rèn)為可以在一定程度上減少對作者個人和機構(gòu)的偏好[22]。但是,由于雙盲評審一方面實施起來較為困難[27],另一方面實際效果并不理想,因此這一先行的實驗性解決方案也備受爭議[28-29]。
從內(nèi)在影響因素來看,思維層面的偏見通常是同行評議中最難以避免也影響最為顯著的因素之一,已有研究發(fā)現(xiàn),審稿人會對與自身觀點相反的稿件產(chǎn)生強烈的偏見[30],這一偏見被稱為“確認(rèn)偏誤”[31],持有偏見的審稿人缺乏認(rèn)真了解文章研究邏輯的動機[32],這導(dǎo)致部分創(chuàng)新型研究被扼殺,進(jìn)一步導(dǎo)致同行評議面臨著大量的批評[33-34],同行評議的有效性受損。
更為重要的是,關(guān)于同行評議是否能夠?qū)φ撐牡膬?nèi)容進(jìn)行客觀評價這一議題也存在爭議[11,35]。當(dāng)前,期刊的拒稿原因常常集中于文章缺乏創(chuàng)新性、重要性不足、貢獻(xiàn)有限、方法缺陷、文獻(xiàn)綜述不充分以及寫作水平[36-37]等方面。但同行評議仍難以實現(xiàn)高效的質(zhì)量控制[38],主要在研究中表現(xiàn)為并未成功篩選出存在明顯缺憾、低質(zhì)量的文章,也不能保證已發(fā)表論文的結(jié)果可以被重復(fù)[39-40],即使是已經(jīng)發(fā)表的論文重新投稿,也仍有可能被拒稿[41]。與此同時,同行評議的篩選制度也難以實現(xiàn)論文重要性與期刊水平之間的最優(yōu)匹配,雖然審稿人能在一定程度上識別研究價值,但也容易拒絕具有高學(xué)術(shù)貢獻(xiàn)的文章[13]。具體而言,已有研究證明,發(fā)表在非一流期刊上的論文可能獲得更高的引文量[42],被一流期刊拒稿的論文有可能在其他期刊獲得更高引文量,如阿克洛夫和格蘭諾維特極具影響力的研究都曾被學(xué)科內(nèi)頂級期刊拒稿[43-44]。
對同行評議的爭議也和科學(xué)整體發(fā)展水平有關(guān),被期刊拒絕的諾貝爾獎級的發(fā)現(xiàn)凸顯了學(xué)界的保守主義[45],也從更為隱晦的視角反映了同行評議制度本身的有效性的存疑。雖然,這種情況可能源自概率錯判[46],但卻由于其影響深遠(yuǎn)給學(xué)界留下了深刻且持久的負(fù)面印象。
對同行評議制度持樂觀態(tài)度的研究者認(rèn)為,與其他的替代性手段相比[6,47-48],同行評議是最優(yōu)的科學(xué)評估體系[49]。已有研究基于大量的數(shù)據(jù)調(diào)查顯示,一方面,同行評議可以在一定程度上確保文章的質(zhì)量和可讀性[50],另一方面還能夠檢驗研究結(jié)果的準(zhǔn)確性、方法的適用性、結(jié)論的創(chuàng)新性以及與期刊的契合度[51]。因此,同行評議被認(rèn)為至少是“最不壞”的制度[52-53],即在當(dāng)前的科學(xué)評價體系中的最優(yōu)選。反之,如果期刊缺乏同行評議體系發(fā)揮對文章質(zhì)量的把控的作用,該期刊將會對整體性的學(xué)術(shù)發(fā)展產(chǎn)生負(fù)面的影響[54]。
已經(jīng)有不少實證研究證實了同行評議的有效性。在早期的研究中,默頓基于對《物理學(xué)評論》的量化考察,發(fā)現(xiàn)同行評議基本上是遵循普遍主義規(guī)范的,其表現(xiàn)為審稿人所遵守的評審標(biāo)準(zhǔn)是相同的,并未受到作者的外在特征影響[55-56]。與此同時,在更為宏觀的數(shù)據(jù)分析中,Agha基于美國國立衛(wèi)生研究院1980-2008年的13萬個研究項目的評審分?jǐn)?shù),并進(jìn)一步追蹤了每個研究項目在受資助五年后的論文發(fā)表、被引與專利數(shù)據(jù),發(fā)現(xiàn)被資助的項目評分每降低一個標(biāo)準(zhǔn)差,其被引減少15%,論文減少7%,高影響力論文減少19%,相關(guān)專利減少14%[14],研究項目的初始評估水平與后期的研究成果及其影響呈現(xiàn)高度的一致性,從而論證評估體系的科學(xué)與有效性。針對更為細(xì)化的研究議題的結(jié)論顯示,研究領(lǐng)域、審稿人的性別對審稿意見的話語特征沒有明顯影響,即同行評議具有內(nèi)在的穩(wěn)健性[57]。
從單一的期刊維度來審視,已有研究調(diào)查了被JASSS(Journal of Artificial Societies and Social Simulation)拒稿的456篇文章的最終發(fā)表情況,發(fā)現(xiàn)只有10%的被拒稿件最終在被Web of Science索引的其他期刊發(fā)表,由此可見,學(xué)界的評審標(biāo)準(zhǔn)具有普遍性和客觀性,同行評議能夠形成較為有效的篩選機制,從而實現(xiàn)稿件質(zhì)量總體性提升[58]。與此同時,研究者也發(fā)現(xiàn),在被NDT(Nephrology Dialysis Transplantation)直接拒稿的論文和經(jīng)過評審后被拒稿的論文中,分別有59% 和61% 被其他期刊接受,但是,分別僅有4篇和7篇論文發(fā)表在影響因子高于NDT的期刊上[59]。在針對引文量的比較研究上,在Anaesthesia上發(fā)表的文章的引文量顯著高于被該期刊拒稿后在其他期刊發(fā)表的文章[60]?;贘ournal of General Internal Medicine的評審和被引數(shù)據(jù)的分析顯示,引文量高的文章經(jīng)過同行評議后更大程度上被保留下來,引文量較低的文章會被篩選掉,而且隨著審稿人數(shù)量增加,評審準(zhǔn)確度呈上升趨勢[61]。
默頓以經(jīng)驗研究為基礎(chǔ),將科學(xué)的核心規(guī)范總結(jié)為:“普遍主義”“公有性”“無私利性”與“有組織的懷疑”[55]。其中,普遍主義與同行評議所具有的內(nèi)在意涵非常貼近。普遍主義強調(diào)科學(xué)面前人人平等,科研成果應(yīng)根據(jù)其內(nèi)在價值來衡量,應(yīng)避免參與主體的個人感情和有關(guān)社會因素的干擾。雖然科學(xué)家們認(rèn)可普遍主義規(guī)范的價值,但是遵守和踐行規(guī)范與在思想和態(tài)度層面認(rèn)可這一規(guī)范之間存在著鴻溝[62]。不僅于此,在時代流變之中,對于科學(xué)評價體系的透明度的需要日益提升。在這一背景之下,長期以來如“黑箱”一般存在的同行評議體系如今不斷面臨著研究者的探究,研究所產(chǎn)生的對同行評議有效性的質(zhì)疑也在不斷沖擊著普遍主義。
然而,默頓科學(xué)規(guī)范的理論立意依舊具有濃烈的結(jié)構(gòu)功能主義色彩,其認(rèn)為科學(xué)的運行邏輯恰如一個社會系統(tǒng),在科學(xué)領(lǐng)域之中,存在著對于已有結(jié)構(gòu)和體系的部分性偏離,然而,這種偏離被視為是一種偶然和特殊現(xiàn)象,科學(xué)的社會結(jié)構(gòu)和功能基本上保持穩(wěn)定[63]。正是在這個意義上,雖然實踐中不乏對于科學(xué)實踐與規(guī)范的背離現(xiàn)象,但卻難以推翻科學(xué)規(guī)范在全景視角下的適用性[63]。與此同時,面對科學(xué)的不斷進(jìn)步與時代的變遷,默頓本人也承認(rèn):“不會堅持科學(xué)規(guī)范是一成不變的”[64]。從更為建構(gòu)主義的視角審視,科學(xué)規(guī)范的內(nèi)在意涵取決于在社會變遷的背景之下,科學(xué)場域之中的行為者在互動與博弈之中對于規(guī)范的踐行與闡釋,因此,規(guī)范具有偶發(fā)性、情境性和權(quán)宜性[65]。
因此,本研究將在堅持普遍主義規(guī)范的核心意涵,即在對科學(xué)真理和客觀性的探尋與堅持的基礎(chǔ)之上,著眼于通過梳理當(dāng)前同行評議研究的最新進(jìn)展和趨勢,試圖以更為多元和復(fù)雜的視野,來重構(gòu)同行評議的有效性假說。
同行評議的有效性是相對的,還是絕對的?長期以來,學(xué)界針對同行評議的結(jié)果與論文的文獻(xiàn)計量指標(biāo)(如引文量)間的關(guān)系開展了大量的爭論。同行評議與文獻(xiàn)計量指標(biāo)之間是否存在著緊密的聯(lián)系?換言之,同行評議的結(jié)果能夠有效反映到論文的文獻(xiàn)計量指標(biāo)上嗎?
學(xué)界以往的大量研究得出了頗為一致的結(jié)論,即認(rèn)為同行評議是掌控科研質(zhì)量的主要機制,對于推動科學(xué)的進(jìn)步和知識的演化至關(guān)重要[12]。而在同行評議之外,文獻(xiàn)計量也在科學(xué)界獲得廣泛使用。其中,學(xué)界主要關(guān)注論文引文量作為衡量論文學(xué)術(shù)質(zhì)量和影響力的最重要的指標(biāo)之一。在這一大背景下,科研機構(gòu)、學(xué)術(shù)出版商、期刊編輯、圖書情報人員在科研招聘、晉升、評優(yōu)、研發(fā)資助和論文發(fā)表評審的選擇決策時,除了基于專家知識開展的基礎(chǔ)性判斷之外,正越來越多地運用引文量來開展計量評價,并與專家同行評議的評審結(jié)果相互結(jié)合、相互補充[66]。
有關(guān)同行評議與引文量之間的關(guān)系,在學(xué)界已多有討論,在這一領(lǐng)域中有兩種明顯不同的研究取向。這兩種研究取向中,前者認(rèn)為論文的同行評議結(jié)果與引文量之間存在緊密的正相關(guān)關(guān)系[67],后者則認(rèn)為同行評議結(jié)果與引文量之間不一定存在緊密的關(guān)聯(lián)度[68-69]。實際上,既有研究已經(jīng)充分討論了,對于同行評議效果的評價結(jié)果可能因期刊而異[13,70],高質(zhì)量的期刊有著更高質(zhì)量的審稿人隊伍,因此更接近于默頓的普遍主義理想。不同職稱、不同學(xué)科的審稿人態(tài)度存在差異,經(jīng)過多學(xué)科專家評審并推薦發(fā)表的文章比單一學(xué)科的專家評審的文章引用率更高[70]。從同行評議滿意度的調(diào)查結(jié)果來看,不同學(xué)科、區(qū)域的研究者的觀點也存在差異[6]。因此,面對同行評議機制的復(fù)雜性,即使從數(shù)據(jù)中發(fā)現(xiàn)了同行評議失效的現(xiàn)象,也極有可能只是對于同行評議機制某一階段和緯度存在的偏差的呈現(xiàn),難以由此來界定同行評議是否無效。
學(xué)界在過去的幾十年展開了大量的關(guān)于同行評議有效性以及其與論文引文量之間的內(nèi)在聯(lián)系的研究與爭論,鑒于同行評議機制對于知識生產(chǎn)和科學(xué)進(jìn)步與發(fā)展有著不可或缺的意涵,與此同時,引文量作為最核心的計量指標(biāo),不僅可以輔助同行評議體系的開展,還可以在更為重要的視域下與同行評議結(jié)果之間搭建緊密的聯(lián)系。正是基于此,本研究認(rèn)為進(jìn)一步挖掘同行評議與文獻(xiàn)計量之間的關(guān)系對于學(xué)界而言具有重要的價值。正是在這個意義上,本研究希望能夠在已有研究和爭論的基礎(chǔ)上,通過建構(gòu)“有效市場假說”來搭建同行評議與文獻(xiàn)計量指標(biāo)之間的內(nèi)在聯(lián)系,以期通過這一假說提出有新意和價值的解讀。
諾貝爾經(jīng)濟學(xué)獎得主Eugene F. Fama基于對有效市場假設(shè)相關(guān)研究的系統(tǒng)性總結(jié),進(jìn)一步構(gòu)建了“有效市場假說”(Efficient Market Hypothesis,EMH)的理論框架[71]。有效市場假說的核心觀點是:“若資本市場在股票價格形成中充分而準(zhǔn)確地反映了全部相關(guān)信息,則稱之為有效”[72]。Roberts曾將影響股票價格的信息分為三類[73-74]:
若投資者正處于第N期的交易末期,則從第1期到第N期所發(fā)生的與股票相關(guān)的信息稱為歷史信息,往往以股票的歷史價格和成交量作為它的充分統(tǒng)計量;從第N期的價格PN形成之后到第(N+1)期的價格PN+1形成之前出現(xiàn)的信息稱為現(xiàn)在信息,這部分信息又被分為公開信息和私人信息,信息共享程度較高或信息成本較低的宏觀經(jīng)濟狀況、盈利公告等屬于公開信息,信息共享程度較低或信息成本較高的莊家交易策略、公司商業(yè)秘密等屬于私人信息。
EMH理論認(rèn)為,股價對信息的反映程度可以作為測度市場有效性的基準(zhǔn),理性的有效市場條件下,市場中不會出現(xiàn)股價與信息的偏離,任何企圖基于信息挖掘擊敗市場的可能性都等于零[75]。根據(jù)股價反映信息能力的差異,有效市場可劃分為三種形式,弱有效市場(weak form market)、半強有效市場(semi-strong market)與強有效市場(strong-form market)。在弱有效市場,股票價格能充分反映歷史交易價格和交易量中所含的信息;在半強有效市場,當(dāng)前價格不僅充分反映了所有歷史價格信息,也充分反映了所有公開信息;在強有效市場,價格能充分反映所有渠道的信息,價格充分反映其內(nèi)在價值,因此投資者無法利用上述信息獲得超額利潤??傊?,學(xué)者們所給出的有效市場界定均圍繞著股價與信息的一致性展開,即股價對信息的反映程度決定了市場是否有效[75]。在這一基礎(chǔ)上,基于歷史信息、公開信息和私人信息的可獲利性的檢驗提供了檢驗市場有效的依據(jù)。EMH為認(rèn)知市場與股價行為提供了一個重要的視角和分析范式,學(xué)界基于此開展了大量的理論分析和實證檢驗,得出了頗為一致的結(jié)論。
在科學(xué)計量學(xué)的研究視域中,已有的大量研究將核心議題聚焦在文獻(xiàn)計量指標(biāo)和同行評議結(jié)果間的相關(guān)性[76-78],而且文獻(xiàn)計量已然成為同行評議的輔助工具[79]。如Laband曾將引文量比作科學(xué)共同體內(nèi)的通用貨幣,并將對論文的引用比作消費者在挑選商品和服務(wù)的過程中做出的“投票表決”,那么,引文量越高等同于商品價格越高,即論文越有價值[80]。換言之,從類比的視角來審視,我們可以將科學(xué)共同體中的文獻(xiàn)計量指標(biāo)(如引文量)與金融市場中的價格指數(shù)進(jìn)行類比,科學(xué)共同體中論文的文獻(xiàn)計量指標(biāo)向其內(nèi)在價值復(fù)歸。正是在這個意義上,如果同行評議的結(jié)果能在一定時段內(nèi)、無偏見地在文獻(xiàn)計量上得到反映,則可以將同行評議視為是有效的。
基于此,本研究通過引入有效市場假說,將文獻(xiàn)計量與同行評議結(jié)合,試圖提出“有效同行評議假說”(Efficient Peer Review Hypothesis,EPRH),即當(dāng)文獻(xiàn)計量能夠充分地反映與同行評議有關(guān)的全部可得信息時,同行評議被認(rèn)為是有效的。換言之,如果同行評議是有效的,那么在充分控制同行評議中可能存在的特殊主義因素(比如審稿人的非理性、人情關(guān)系、性別與種族等)的影響之后,同行評議的結(jié)果與文獻(xiàn)計量數(shù)值之間應(yīng)該不存在差異,如果兩者之間存在差異,比如當(dāng)引入同行評議中的特殊主義因素,如“性別主義”“裙帶關(guān)系”等導(dǎo)致了論文被引頻次的下降,本研究則認(rèn)為同行評議的有效性有所減損。
信息集是有效同行評議假說的核心概念。與Fama的市場信息集相對應(yīng),本研究提出同行評議信息集(如圖1),信息集X為包含了所有能收集到的與同行評議有關(guān)的信息集合。根據(jù)研究者可獲得的信息,即可獲信息集的種類,將有效同行評議分成了三個層次。
圖1 同行評議信息集的劃分Fig.1 Partitioning of Peer Review Information Set
信息集A:公開的題錄信息,主要是與文獻(xiàn)的外部特征相關(guān)的信息,包含題名、摘要、關(guān)鍵詞、期刊、作者、機構(gòu)等信息。
信息集B:開放同行評議信息,涵蓋審稿時間、審稿意見文本、審稿人信息等。
信息集C:私人的信息,涵蓋審稿人偏好等。
信息集X:同行評議所涵蓋的全部信息。
X ?A:弱有效假說,即基于公開的論文題錄信息無法發(fā)現(xiàn)同行評議和文獻(xiàn)計量結(jié)果間的差異①這種差異在市場中被稱為超額收益(實際收益與預(yù)期收益的差額),如果以被引為例,在同行評議中可類比為“超額”被引(實際被引與預(yù)期被引的差值)。。絕大部分期刊仍然遵循傳統(tǒng)意義上的同行評議,并未公開同行評議信息。因此基于已經(jīng)公開的描述文獻(xiàn)外部特征的題錄信息集,是分析同行評議有效性的第一階段(最淺層)的緯度。
X ?A+B:半強有效假說,即基于開放同行評議信息和公開的題錄信息無法發(fā)現(xiàn)同行評議和文獻(xiàn)計量結(jié)果間的差異。隨著開放同行評議的發(fā)展,越來越多的期刊如British Medical Journal、Nature Communications、PeerJ公布了同行評議信息,這些信息包括審稿意見文本、審稿時間、審稿人的姓名、身份與機構(gòu)信息等。這些信息的提供為引入多元的研究視角、深入地探討同行評議的有效性創(chuàng)造了空間。
X=A+B+C:強有效假說,即基于所有信息無法發(fā)現(xiàn)同行評議和文獻(xiàn)計量結(jié)果間的差異。當(dāng)前,同行評議的信息公開主要集中在與審稿人和審稿文本相關(guān)的客觀信息。反觀未公開的信息,主要包含同行評議過程中審稿人的個人信息,如審稿人的感受、心理和態(tài)度,也會對同行評議產(chǎn)生影響。而強有效的同行評議作為一種理想狀態(tài),應(yīng)當(dāng)能夠確保在將同行評議過程中的所有信息加以審視之后,仍然無法發(fā)現(xiàn)同行評議與文獻(xiàn)計量間的差異。有效同行評議的三種形式,具體可見表1:
表1 有效同行評議的三種形式Table 1 Three Forms of Efficient Peer Review
可將上述分類用數(shù)學(xué)模型表示為[81]:
X=π1A+π2B+π3C
其中,π1, π2, π3分別表示真實情境對不同信息集合的涵蓋程度,π1, π2, π3∈[0,1]。
當(dāng)π1= 1時,表示弱有效同行評議;
當(dāng)π1=π2= 1時,表示半強有效同行評議;
當(dāng)π1=π2=π3= 1時,表示強有效同行評議。
借助Samuelson將數(shù)學(xué)期望與市場價格相聯(lián)系的思想[82-83],可以將同行評議信息集與論文被引聯(lián)系起來。用Ct表示某一論文在時刻t的被引頻次,時刻t的信息集記為It,于是Ct可以認(rèn)為是基于信息It的條件期望,即用V*表示基期被引,那么應(yīng)該有:
計算時不考慮結(jié)構(gòu)自重產(chǎn)生的影響,荷載效應(yīng)全部來自于體外預(yù)應(yīng)力鋼束。將預(yù)應(yīng)力荷載等效為沿箱梁縱橋向作用的均布力作用于錨墊板上,所施加的荷載參數(shù)如表 1所示。
Ct=E{V* |It}
使用條件期望為了明確它是與t有關(guān)的,將其記為E(V*),同樣有
Ct+1=Et+1(V*)
因此,
Et(Ct+1-Ct) =E(tEt+(1V*)-E(tV*))= 0
由于It+1的信息不少于It,即It?It+1,因此利用條件期望的性質(zhì),E(tEt+(1V*))=E(tV*),上式則等于0。從上式可知,有效同行評議中不存在“超額收益”(如論文的“超額”被引),其數(shù)學(xué)表述應(yīng)為,基于反映在被引頻次上的信息集It,若同行評議有效,則論文實際被引與期望被引之差的期望為0。因此,與有效市場的檢驗類似[84],同行評議的檢驗也以證偽為主要手段。同時,唐國平等人曾指出,在有效市場中,從弱有效到半強有效,最終到強有效實際上是學(xué)者在理論構(gòu)建上逐漸對有效市場所反映出的信息量逐漸理想化的過程[85],因此“有效同行評議”本質(zhì)上也是同行評議的信息效率[86]。
弱有效市場認(rèn)為,歷史信息(包括股票的成交價、成交量等)對價格影響無效?;谶@一邏輯,如果弱有效同行評議成立,則基于反映在文獻(xiàn)計量指標(biāo)上的文獻(xiàn)題錄信息集(圖1中的信息集X ?A),論文的實際文獻(xiàn)計量指標(biāo)與期望文獻(xiàn)計量指標(biāo)之差的期望為0。舉例來說,如果同行評議是有效的,那無法從作者性別或者機構(gòu)等信息中發(fā)現(xiàn)論文被引量的差異;然而有學(xué)者發(fā)現(xiàn),女性作者的論文被引量比男性的論文高25%[87],而機構(gòu)“關(guān)系稿”的被引量會比其他論文低15.2%[88-89],這在一定程度上說明了女性和“關(guān)系”機構(gòu)可能被施加了不同的審稿標(biāo)準(zhǔn)。因此,在同行評議過程中的特殊主義和偏愛的存在很可能會降低期刊質(zhì)量,期刊的發(fā)展應(yīng)當(dāng)以其學(xué)術(shù)水平為核心指標(biāo)。正是在這一意義上,期刊針對同行評議中的特殊主義因素開展的評議制度的改革可以最終實現(xiàn)期刊水平的整體性提升[90]。此外,期刊在論文排名順序中呈現(xiàn)出的“名校主義”[91]和“性別主義”[21]也在引文量中有所體現(xiàn)。
半強有效市場認(rèn)為公開信息(包括公司盈利能力、管理狀態(tài)以及其他公開披露的財務(wù)信息等)都已經(jīng)呈現(xiàn)在價格中,公開信息不會帶來超額收益。對應(yīng)到同行評議來說,除了發(fā)表論文的題錄信息及其績效表現(xiàn)之外,半強有效同行評議涉及的信息還包括審稿意見文本、審稿人身份、審稿時間等同行評議過程中的所有公開信息,即半強有效同行評議涵蓋了所有的評議公開信息(圖1中的信息集X ?A+B)。基于這一邏輯,在半強有效同行評議情境中,審稿人行為等同行評議信息也反映在了文獻(xiàn)計量指標(biāo)中。也正因如此,有研究發(fā)現(xiàn)同行評議公開信息可以從論文的文獻(xiàn)計量指標(biāo)中反映出來,以同行評議中的非共識為例,張光耀等人發(fā)現(xiàn)非共識并不意味著同行評議無效,非共識研究可能有著更低的引文量[92]。此外,以反映審稿人行為的同行評議速度為例,Zhang等人認(rèn)為審稿人在評審中會被有趣的研究吸引,因此,如果同行評議有效,審稿人會更快地完成對有趣的研究的審稿工作,這體現(xiàn)在審稿速度更快的研究的altmetrics得分更高[93]。對于Nature,Science等期刊的研究發(fā)現(xiàn),編輯處理時間較短的文章有著更高的引文量[94]。由此可見,半強同行評議需要面對更加復(fù)雜和多元的信息,需要被放置在更加復(fù)雜的語境之中進(jìn)行考量和評估。
強有效市場認(rèn)為市場里的定價是完美的,價格反映企業(yè)的所有信息(包括已公開和內(nèi)部未公開的信息),其政策含義是無法利用任何壟斷性私人信息來獲得長期穩(wěn)定的超額收益?;谶@一邏輯,強有效同行評議假設(shè)中的信息(圖1中的信息集X=A+B+C)既包括所有的公開信息,也包括所有的私人信息,如常見的“性別主義”偏見、確認(rèn)偏誤、審稿人主觀興趣等。例如邀請審稿人同意審稿的比例越大,文章發(fā)表后的引文量越高[95];由此可以論證審稿人對文章的興趣能在一定程度上預(yù)測其未來的引用潛力[96]。在這一背景下,如果強有效同行評議成立,同行評議結(jié)果應(yīng)當(dāng)充分反映了論文的水平,即使檢視了私人信息也無法發(fā)現(xiàn)同行評議和文獻(xiàn)計量結(jié)果之間的差異,換言之,即使審稿人有主觀偏見,也不會影響同行評議的有效性。在這一情境下,作者、審稿人、期刊都達(dá)到了最為理想的狀態(tài)。具體而言,作者對投稿論文的水平有較為客觀的自我認(rèn)知;審稿人能夠摒棄論文質(zhì)量以外的特殊主義因素,給出客觀的審稿意見;在這一語境中,期刊和審稿人的利益與訴求能夠?qū)崿F(xiàn)完全一致。然而,研究無法回避現(xiàn)實層面的可行性的問題,私人信息的定義和獲得都是模糊的,作者通常傾向于將論文投稿至比論文實際水平更高的期刊[13]。正如各國的證券市場尚未出現(xiàn)強有效的理想環(huán)境[97],而且內(nèi)幕交易信息只有被披露后才能得知,而且大概率被披露的信息只是冰山一角,因此,長期以來都存在強有效市場檢驗難題[98]。因此,對于科學(xué)計量學(xué)而言,實證研究的開展不僅有賴于數(shù)據(jù)的開放[99],還亟需學(xué)界開展更多針對同行評議的弱有效和半強有效的相關(guān)研究,以提供更多的內(nèi)在信息,從而推動更加豐富的、多維度的研究的進(jìn)一步開展。
具體而言,一方面,正如Fama的貢獻(xiàn)不僅僅止于提出有效市場假說,而是將這一假說發(fā)展成為適用于相關(guān)議題進(jìn)行間接檢驗的研究框架和模式,這個研究框架和理論意涵所啟發(fā)的大量研究,包括針對有效市場的檢驗、爭論與博弈所獲得的知識體量與價值遠(yuǎn)超假說本身所具有的學(xué)術(shù)意涵[84,101]。也正是在這個意義上,本研究認(rèn)為有效同行評議假說可以作為一種介入和闡釋相關(guān)議題的視角,進(jìn)一步對科學(xué)學(xué)和科學(xué)社會學(xué)的相關(guān)議題進(jìn)行更深入的探索,并通過進(jìn)一步地探究同行評議體系的內(nèi)在運行邏輯和結(jié)構(gòu)及其功能發(fā)揮機制,促進(jìn)同行評議體系的進(jìn)一步完善[8]。另一方面,對于期刊建設(shè)和期刊評價而言,不同期刊與默頓規(guī)范的一致性可能存在差異,那么同行評議和文獻(xiàn)計量之間的偏離,或許可以反饋于期刊評價,有助于期刊自我檢視,完善同行評議體系[102]。正如一些研究者捕捉到,如果作者發(fā)現(xiàn)期刊存在的“歧視”或“偏愛”現(xiàn)象,可能會選擇改投其他期刊或者國外期刊,從而導(dǎo)致存在的“歧視”或“偏愛”現(xiàn)象的期刊文章質(zhì)量下降[89],從而影響期刊的引文量,這會在一定程度上給期刊帶來改變的動力和契機。
與此同時,本研究引入默頓的普遍主義規(guī)范的理論立意在于,同行評議的邏輯意涵就在于學(xué)術(shù)研究需要同行進(jìn)行客觀公正地評價方才有可能成為有價值的科學(xué)知識。在這一背景之下,本著對于科學(xué)與真理的追尋,本研究堅持認(rèn)為好的同行評議制度一定是具有普遍適用性的科學(xué)制度,這一科學(xué)的制度最終將服務(wù)于有效的科學(xué)成果的評估和科學(xué)的進(jìn)一步發(fā)展。
最后,同行評議的重要性不斷得到學(xué)界的關(guān)注,隨著開放同行評議的不斷深入,更多的同行評議數(shù)據(jù)也得以應(yīng)用于同行評議研究。在同行評議有效性的框架下,同行評議有效性研究仍需要結(jié)合多源期刊和會議文獻(xiàn)數(shù)據(jù)(如Nature Communications、BMJ、ICLR、《心理學(xué)報》等)和權(quán)威引文數(shù)據(jù)庫(如Web of Science、Scopus、Altmetric),盡可能獲得更大規(guī)模、跨學(xué)科的數(shù)據(jù)集,應(yīng)用多種實證方法(如文本挖掘、計量經(jīng)濟學(xué)、質(zhì)性研究),從而揭示同行評議更深層的規(guī)律。
默頓學(xué)派認(rèn)為,引文量所衡量的科研水平與科學(xué)家所得獎勵間的相關(guān)性為普遍主義規(guī)范提供了有效證據(jù)[63]。具體而言,當(dāng)引文量與同行評議信息相結(jié)合時,可以為同行評議體系提供探討未來績效的有價值的指標(biāo)[103]。也有學(xué)者更保守地認(rèn)為,至少在來自同一學(xué)科的審稿人眼中,引文量更高的論文應(yīng)當(dāng)是有價值的或與科學(xué)研究更加緊密相關(guān)[104]。
然而,并非所有研究者都認(rèn)同上述觀點。引用是否能夠充分反映研究的質(zhì)量仍然是個爭論不休的議題[105–108]。一些研究者也捕捉到,即便是被認(rèn)為具有顛覆性的創(chuàng)新價值的諾貝爾獎得主的文章[109],也并非總能獲得高被引[110]。而且,已有研究還證明了同行評議結(jié)論中的創(chuàng)新水平可能與引文量之間存在負(fù)相關(guān)關(guān)系[111]。我們也不能忽略,在不同類型、不同學(xué)科的研究中,同行評議和文獻(xiàn)計量指標(biāo)之間的差異的呈現(xiàn)和關(guān)系也是具有異質(zhì)性的,例如此前Du在分析F1000專家推薦與論文被引之間的關(guān)系的過程中,總結(jié)出具有變革性意義的研究同行推薦多、被引低,循證研究被引高、同行推薦少的規(guī)律[112]。
在理論層面,有效市場相當(dāng)于一個沒有摩擦力的理想世界,實際上,F(xiàn)ama 給出了有效市場成立的條件[71,113],即不存在交易成本,對所有市場參與者來說,所有可資利用的信息都可以免費、無條件的獲得,所有市場參與者對于現(xiàn)有信息的價值以及每一種證券未來價格的概率分布均達(dá)成了共識。Grossman和Stiglitz給出了論證[114-115],如果存在信息收集成本或交易成本,市場則無法達(dá)到有效。但是,從有效市場假說出發(fā),F(xiàn)ama的思想為后人進(jìn)行市場有效性的實證研究提供了思路與框架。正是在這樣的背景與意涵之下,本研究認(rèn)為提出同行評議有效性的假說不應(yīng)當(dāng)是這一研究議題的終結(jié),而是將研究的重心重新聚焦到同行評議這一重要的議題,以期后續(xù)更多的研究和學(xué)術(shù)論辯的開展。同行評議有效性假說,不是強行消除文獻(xiàn)計量和同行評議差異,也不是強行在文獻(xiàn)計量與同行評議之間搭建聯(lián)系,而是試圖為同行評議提供一個可參照的基準(zhǔn),為同行評議體系的實施和改善提供參考。此外,在論文特征的反映和衡量方面,引文量僅僅是其中的一個維度,本文并不否認(rèn)altmetrics[93]等文獻(xiàn)計量指標(biāo)也有探討的價值。
本研究還存在兩個概念意涵層面的局限。首先,本研究發(fā)現(xiàn),研究者需要清晰地意識到,當(dāng)論文的引文量無法準(zhǔn)確反映文章的質(zhì)量,亦或者尚未搭建具有普遍主義規(guī)范的文章評價體系時,需要深入思考引文數(shù)量的意義,需要關(guān)注到一方面在不同的學(xué)科和研究議題之中,文章引文量之間的差距甚大;另一方面引文量常常受到時效、研究領(lǐng)域、作者的身份等方面的影響。其次,本研究將期刊同行評議作為一個整體性的、具有普遍共識和屬性的概念來審視,但在期刊同行評議體系的內(nèi)部,存在不同期刊、區(qū)域、審稿人之間所運用的同行評議邏輯和方式相去甚遠(yuǎn)的境況,因此,本研究忽略了研究中同行評議概念內(nèi)在的復(fù)雜性,并認(rèn)為亟需在后續(xù)的研究中進(jìn)一步展開。
作者貢獻(xiàn)說明
張光耀:提出研究思路,論文撰寫和修改;
邵文君:論文撰寫和修改;
謝維熙:文獻(xiàn)收集,修改論文;
姜春林:論文修改;
王賢文:提出研究思路,論文修改與審定。