同行評審的人工智能應用：現(xiàn)狀與挑戰(zhàn)

劉銀娣

[摘 要] 同行評審（Peer Review）是國際上科技期刊稿件評審的基本制度。科技出版商已經(jīng)使用一些早期人工智能（Artificial Intelligence，AI）技術來增強和自動化同行評審中涉及的任務，包括同行評審行政管理環(huán)節(jié)的編輯管理系統(tǒng)、專家同行評審過程的論文和評審專家分析和匹配以及數(shù)據(jù)核查和驗證環(huán)節(jié)的人工智能應用。人工智能既可能解決同行評審系統(tǒng)中出現(xiàn)的問題，也面臨科技出版價值判斷的倫理困境、數(shù)據(jù)開放和可靠性以及科技出版產(chǎn)業(yè)集中度進一步提高的挑戰(zhàn)。

[關鍵詞] 同行評審 人工智能應用 智能評審 科技出版

[中圖分類號] G237[文獻標識碼] A[文章編號] 1009-5853 （2020） 05-0068-06

[Abstract] The Peer Review is the basic system for reviewing manuscripts in academic journals internationally. Science， Technology and Medicine（STM）publishers have used some of the early Artificial Intelligence（AI）technologies to enhance and automate the tasks involved in peer review， including editorial management systems for peer review administration， peer review process papers and review expert analysis and matching， and data verification and validation Artificial Intelligence application in syndrome links. Artificial Intelligence may not only solve the problems in peer review system， but also face the ethical dilemma of value judgment， data openness and reliability， and the challenge of further improving the concentration of STM publishing industry.

[Key words] Peer Review Artificial Intelligence application Intelligent review STM publishing

同行評審（Peer Review）是國際上科技期刊稿件評審的基本制度。辛巴信息（Simba Information）統(tǒng)計數(shù)據(jù)顯示，每年有超過250萬篇的科學文章發(fā)表在28000余種英文科技期刊上，年增長率接近5%，這還只是成功發(fā)表的論文，事實上科技期刊審查的論文是發(fā)表論文數(shù)量的兩倍以上，每一篇發(fā)表的文章，曾經(jīng)無數(shù)次被徹底拒絕，或被退回到作者的修改細化之中[1]。數(shù)量相對較少和固定的學者要審核數(shù)量如此龐大的學術論文，這必然會造成同行評審效率的低下和不必要的延遲發(fā)表。一方面，同行評審增加了學術期刊出版成本，降低了科技出版生產(chǎn)效率[2]。另一方面，同行評審過程中，個人偏見往往無法避免。審稿人可能對來自競爭實驗室或反對者的稿件更加挑剔，對來自其朋友、潛在的未來合作者或研究資助部門的稿件則有所偏袒。因此，近年來，科技出版商已經(jīng)使用一些早期的人工智能（Artificial Intelligence，AI）技術來增強和自動化同行評審中涉及的任務，以提高科技出版運營速度和效率，消除人類偏見。當然，任何一項新技術的應用，總會有其擁簇者和反對者，人工智能也不例外。雖然這些技術對于科技出版商和研究人員來說顯示出巨大的潛力，然而，在同行評審這一傳統(tǒng)上以“人”為主導的領域，人工智能可以取代人類執(zhí)行的哪些功能？我們是否能夠相信人工智能對新的研究成果的評估？完全自動化的同行評審是否可行？盡管多項科技出版產(chǎn)業(yè)和研究報告都對人工智能的同行評審應用未來言之鑿鑿，我們卻仍然需要對其應用現(xiàn)狀進行全面的分析，并在深刻了解同行評審功能和流程的基礎上，審慎應對。

1 同行評審的含義、功能與面臨的問題

1.1 同行評審的含義

同行評審是國際上科技期刊稿件評審的基本制度。從1665年法國皇家科學院出版的《學者雜志》（Le Journal des Savants）和英國皇家科學院出版的《哲學學報》（Philosophical Transactions）算起，學術期刊的同行評審已有300多年歷史。時至今日，同行評審業(yè)已成為國際上學術期刊稿件評審與質(zhì)量控制的一種基本制度規(guī)范[3]。廣義的同行評審一般可定義為某領域的學者或專家在特定時間段對所涉及領域的知識產(chǎn)品進行客觀評價的過程。狹義的同行評審側重于指學術期刊論文的外審評議活動[4]。本文采用狹義定義。在一篇論文發(fā)表之前，期刊編輯需要根據(jù)論文的研究領域，為其甄選出有能力審核該論文的專家、學者。這個評審過程因期刊而異，但通常由兩位到三位評審者組成，并將評審意見報告給編輯，編輯根據(jù)同行評審專家的意見做出是否發(fā)表該論文的最終決定。據(jù)統(tǒng)計，所有科技期刊的稿件平均接受率約為50%，質(zhì)量越高的期刊稿件接受率越低，其中科學引文索引（Science Citation Index，簡稱SCI）一區(qū)收錄的期刊稿件接受率僅為10%—30% [5]。

1.2 同行評審的功能

同行評審制度的理念是通過“第三方”評審來確保公平性，旨在為學術共同體提供一種制度化的、針對研究工作及成果的、自我約束的管理手段[6]。對于科學交流，特別是對科技期刊而言至關重要。同行評審是期刊甄選優(yōu)秀科技成果、維護和提高學術質(zhì)量的重要途徑之一。這一制度有助于篩選出最有價值的研究，并提高已發(fā)表論文的質(zhì)量。

盡管同行評審存在一些缺陷，但是多項調(diào)查顯示，學者仍然堅定地支持這項制度，例如在出版研究聯(lián)盟2008年的一項調(diào)查中，93%的學者不同意“同行評審是不必要的” [7]，姆尼根（Mulligan）等學者比較1993年和2005年的調(diào)查結果發(fā)現(xiàn)研究人員對同行評審的核心態(tài)度幾乎沒有變化：它仍然受到高度重視，很大一部分仍然承諾愿意進行和接受同行評審[8]。賽博研究（CIBER Research）2012年調(diào)查了學者們支持同行評審的原因，主要包括以下方面。

（1）提供信任的核心支柱。研究人員（特別是年輕學者）愿意使用非同行評審的材料，但不太可能引用他們：經(jīng)過同行評審的內(nèi)容被看作是一項更為正式和權威的學術活動成果，因此，學者們更愿意信任經(jīng)過同行評審的內(nèi)容并引用它們。

（2）科學研究信息過濾。研究人員將同行評審視為科學研究信息的基礎過濾器。對于專業(yè)研究人員來說，這種過濾將可信的同行評審科學成果與非同行評審材料區(qū)分開來，并以感知質(zhì)量對期刊進行分級，將更好的文章發(fā)送給更好的期刊，對作為讀者和作者的研究人員都有利。

（3）提高并保證發(fā)表論文的質(zhì)量。相信同行評審會提高發(fā)表論文的質(zhì)量也是研究人員支持同行評審的重要原因之一。在尼古拉斯（Nicholas）的調(diào)查中，大多數(shù)研究人員（約90%）表示，同行評審專家意見改進了自己最近發(fā)表的論文質(zhì)量，盡管這個信念在不同的研究領域略有不同[9]。

1.3 同行評審面臨的問題

同行評審當然不是沒有批評者，事實上關于同行評審的缺陷和改進建議一直是學術出版研究的熱點。主要的批評來自它是無效的、不可靠的;不善于發(fā)現(xiàn)錯誤，尤其是單盲形式的同行評審;缺乏對審稿人不當行為的監(jiān)督和管理;速度緩慢，效率低下，不必要地延遲發(fā)表等[10]。改進措施建議包括既可以提高評審的公平性，又可以提高評審質(zhì)量的開放同行評審;旨在提高效率并加速發(fā)布的級聯(lián)評審;以及“發(fā)布然后過濾”模式的出版后評審。目前，為了解決這些問題，科技出版商開始求助人工智能技術，開啟新的同行評審模式實驗。

2 人工智能在同行評審環(huán)節(jié)的應用

2.1 同行評審行政管理環(huán)節(jié)的人工智能應用

盡管同行評審通常是由志愿研究者無償進行的，但是出版商需要員工來管理評審過程。劍橋經(jīng)濟政策協(xié)會2008年“研究信息網(wǎng)絡”（Research Information Network，RIN）報告最早研究了期刊出版過程所涉及的費用，包括圖書館獲取采購資金的成本、同行評審、學者搜索以及閱讀文章的成本，其后，2011年，進一步更新了這個數(shù)據(jù)，核算出期刊同行評審的人員和管理的平均成本為666英鎊，不同級別和學科領域的期刊同行評審的行政管理成本也大不相同，但是總體而言，一般的科學出版機構，其發(fā)表一篇論文的同行評審成本約為400英鎊到1000英鎊，而拒絕一篇論文的更是需要比接受一篇論文付出更高的間接成本[11]。對期刊出版成本的理解不僅對出版商來說很重要，對于更廣泛的學術團體來說也是重要的。因為期刊出版的高成本必然會帶來期刊銷售的高價格，從而引發(fā)“期刊危機”（Journal Crisis）。因此，不論是學術出版商，還是學術團體，越來越傾向于依靠自動化的編輯管理系統(tǒng)，加速稿件從提交到審查到出版的行政管理速度，以節(jié)省科學文獻出版的時間和金錢。

全球最大的學術出版商之一愛思唯爾（Elsevier）就創(chuàng)建了這樣的一個基于人工智能的編輯管理系統(tǒng)“艾維斯”（EVISE）來取代過時的愛思唯爾編輯系統(tǒng)，以更好地支持編輯過程，加快處理稿件的速度。“艾維斯”將手稿與剽竊檢查軟件聯(lián)系起來，由編輯依據(jù)剽竊核查數(shù)據(jù)直接拒絕那些存在剽竊問題的稿件，避免這些稿件進入同行評審過程。其后，“艾維斯”根據(jù)內(nèi)容建議該文章最適合的評審者，并與其他項目溝通，核查評審人員的狀況、科學表現(xiàn)和利益沖突。選擇同行評審人員之后，“艾維斯”自動準備有關各方之間的通信，向審閱者提供提示，如果沒有回復則刪除，并邀請備用審閱者。最后，“艾維斯”向作者發(fā)送決定信，并發(fā)送感謝信給審稿人。這個過程大大減少了人類編輯的干預和管理，提高了同行評審行政管理過程的效率。

2.2 專家同行評審過程的人工智能應用

選擇審稿人是同行評審最耗時的工作之一。例如愛思唯爾旗下共有2500多種學術期刊，其必須為提交期刊的每一份稿件選擇最適合的審稿人。其中，2015年，共有70萬名同行評審專家對提交到愛思唯爾期刊的180萬份稿件進行了審查，最終僅發(fā)表40萬份稿件[12]。能夠審查稿件的人數(shù)通常局限于該領域的專家。各個專業(yè)領域獲得博士學位的人的比例本就不高，而且隨著學科領域的進一步細化，還要不斷地將專家分別歸類到各個學科和分支學科，因此，最終有資格審查某一份稿件的專家數(shù)量是有限的。

從理論上說，只要有全面的專家信息數(shù)據(jù)庫可用，人工智能是有能力在對數(shù)據(jù)庫信息進行全面審查的情況下為每一份稿件尋找到最合適的評審者的。因此，智能化同行評審的第一步是建立全面的評審專家數(shù)據(jù)庫。愛思唯爾、施普林格-自然出版集團（Springer-Nature）早就開始了同行評審專家數(shù)據(jù)庫的建設，愛思唯爾的“艾維斯”還與當今世界最大的文摘和引文數(shù)據(jù)庫斯高帕斯（Scopus）合作，以幫助“艾維斯”更加全面地審查評審者的概況，科學表現(xiàn)和利益沖突，為每一篇稿件自動化分配更為合適的審稿人。布里斯托爾大學（The University of Bristol）智能系統(tǒng)實驗室的西蒙·布萊斯（Simon Price）博士和皮特·弗萊奇（Peter Flach）教授開發(fā)了用來分析和匹配論文潛在審稿人的系統(tǒng)“提交篩選”（SubSift）。該系統(tǒng)將多個論文提交篩選網(wǎng)絡服務組合成一個由向導式用戶界面驅動的工作流程，用于分析和匹配論文的潛在同行評審人，并建立作者和潛在的同行評審人雙向選擇的用戶界面。通過一系列自動化工具，組建同行評審小組，由同行評審專家對作者和論文的主題進行審查，基于論文是否對科學發(fā)現(xiàn)做出重大貢獻，論文的主張是否可核實等標準對論文進行評分，并將評論者評分匯總，以自動發(fā)出退稿、修改或錄用決定[13]。論文和評審專家分析和匹配是可以用基于特征的表示方法來解決的關鍵任務，這是機器學習中最常見的一種應用，也是人工智能同行評審應用研究中增長最快的領域之一。

2.3 數(shù)據(jù)核查和驗證環(huán)節(jié)的人工智能應用

同行評審的另一個不足是，許多類型的研究不能被審稿人驗證。對于某些理論學科而言，例如數(shù)學等，內(nèi)容相對獨立，審稿人可以通過閱讀論文來檢查論文的準確性，而不需要審查已發(fā)表的文獻以外的證據(jù)，但是這在實驗科學領域則是不可能的。例如臨床試驗和計算機系統(tǒng)等，存在大量的統(tǒng)計數(shù)據(jù)和實驗數(shù)據(jù)造假，由于評審者無法重復實驗，其只能審查研究是否看起來做得很好。近年來，因為數(shù)據(jù)造假而被撤回的論文從2000年初期的每年約30人上升到2011年的400多人，即使考慮在此期間發(fā)表的論文數(shù)量增長了44%，被撤回論文的增長比率也是非常驚人的[14]。因此除了行政管理和評審專家匹配外，人工智能還被用于統(tǒng)計數(shù)據(jù)核查和實驗數(shù)據(jù)驗證。

施普林格-自然出版集團就在研發(fā)一套名為“統(tǒng)計核查”（Stat Reviewer）的系統(tǒng)，檢查論文的完整度和數(shù)據(jù)的準確性。該系統(tǒng)可以識別和分析研究的組成部分，生成分析報告，標識以不正確的方式處理統(tǒng)計數(shù)據(jù)的情況以及未遵循指導方法的情況。該系統(tǒng)目前還處于測試階段，出版商生物醫(yī)學中心（BioMed Central）對該項目感興趣，并且自2014年以來一直參與其發(fā)展。從2016年秋季開始，生物醫(yī)學中心一直領導一項旨在調(diào)查自動化對研究進行統(tǒng)計和方法學審查的可能性的實驗。該實驗包括4個期刊：《試驗》（Trials）， 《重癥監(jiān)護》（Critical Care）， 《BMC醫(yī)學》（BMC Medicine），以及《關節(jié)炎研究與治療》（Arthritis Research & Therapy）。在這4種期刊中，同時采用“統(tǒng)計核查”系統(tǒng)和常規(guī)工作方法，以衡量“統(tǒng)計核查”與正常同行評審相比檢測到的方法和統(tǒng)計錯誤的多少，目前尚未發(fā)布對照研究結果[15]。

3 同行評審環(huán)節(jié)人工智能應用的挑戰(zhàn)

盡管近年來，多項關于科技出版的報告都將同行評審列為未來科技出版領域最重要的趨勢之一，多項科技出版產(chǎn)業(yè)和研究會議也將人工智能在同行評審領域的應用作為重要議題。然而，事實上，人工智能既可能解決同行評審系統(tǒng)中出現(xiàn)的問題，也可能給這個過程帶來新的挑戰(zhàn)。

首先，智能化的同行評審過程，使得“好科學”的價值判斷存在風險，可能給科學出版帶來倫理困境。盡管人工智能在同行評審過程中的應用將加快科學交流，消除人類偏見。但是，如前所述，同行評審的重要功能在于提供信任、過濾科學研究信息以及保證發(fā)表論文的質(zhì)量?？茖W家會信任由智能機器人評審的學術期刊和文獻嗎？智能同行評審在加速科學出版速度的同時會不會造成科學研究文獻的進一步泛濫，進而失去科學出版的過濾功能？科學研究文獻質(zhì)量的判斷標準是什么？僅僅是統(tǒng)計數(shù)據(jù)和方法的正確嗎？這只是科學研究文獻發(fā)表的基本要求。創(chuàng)新程度、重要性以及對該研究領域的潛在影響是更為重要的質(zhì)量判斷標準。而要對此做出判斷，智能評審不僅要讀懂一篇論文，它還需要有超越文章本身的思考能力。也就是說，智能評審不僅要了解這篇文章研究了什么，更需要明白這個研究在這個領域究竟有什么突破，而突破常常是不可預見的，不具有一般規(guī)律的。因此，我們很難對智能評審有效識別顛覆性的突破研究持樂觀態(tài)度。

其次，數(shù)據(jù)的開放性和可靠性是智能評審面臨的另一個挑戰(zhàn)。人工智能算法的有效性基于其對海量科學研究文獻的學習。人工智能獲取和學習到的科學研究數(shù)據(jù)越多，算法就越準確，自動化決策能力就越強。然而，大量的科學文獻，尤其是各個領域最有聲望的研究成果都是被各大科技出版商鎖定在其收費壁壘之內(nèi)的，人工智能無法得到充分學習，其有效性也必然大打折扣。除此之外，所有需要的數(shù)據(jù)都來自于先前發(fā)表的研究。如果以前的研究數(shù)據(jù)錯誤怎么辦？判斷錯誤的責任誰來負責？

最后，智能評審可能進一步提高科技出版產(chǎn)業(yè)的集中度，不利于中小科技出版商的生存和發(fā)展。商業(yè)出版集團在科技出版中所占的份額越來越大，前五名的科技出版商施普林格-自然出版集團、愛思唯爾、泰勒&弗朗西斯（Taylor&Francis）、威利（Wiley）和塞奇（Sage），2013年出版的英文論文占全球全年出版的英文論文的50%以上[16]。近年來，這個比例還在逐漸增長。一方面，如前所述，智能評審系統(tǒng)效能的提高離不開海量的科學研究文獻和數(shù)據(jù);另一方面，智能評審的發(fā)展還離不開龐大的資金和技術支持。無論哪個方面，大型商業(yè)出版機構明顯比中小型科技出版商有著更大的優(yōu)勢。因此，智能評審的發(fā)展可能造成科技出版產(chǎn)業(yè)集中度的進一步提高，不利于中小科技出版商的生存和發(fā)展，也不利于學術交流。

4 結 語

人工智能將極大地減少人類編輯大部分工作，例如選擇審稿人和判斷是否出版稿件等投入的時間，人工智能可以成為同行評審的有力助手。然而，在人工智能大規(guī)模應用于同行評審之前，出版商、人類編輯和研究者需要將人工智能的應用置于科技出版的規(guī)則之內(nèi)，明確人工智能必須取代人類哪些工作，可能做哪些工作，不可以做哪些工作。 在科技出版領域內(nèi)，智能評審需要遵守的規(guī)則與人類編輯并沒有什么不同。簡而言之，人工智能是一個由集體人類智慧建立的獨特而豐富的高效智能系統(tǒng)，人工智能最終無法接近人類的能力，科學出版仍然需要人類編輯和審稿人，只是他們會在更高的層次上工作。人工智能可以作為同行評審的支持，而人類則需要教導其評審規(guī)則。

注 釋

[1] Simba Information. Global Scientific & Technical Publishing 2017-2021[OL].[2018-03-25]. https：//www.businesswire.com/news/home/20171120005455/en/Global-Scientific-Technical-Publishing-Industry-Report-2017-2021

[2] Lucia Vesnic-Alujevic. Peer Review and Scientific Publishing in Times of Web 2.0[J]. Pub Res Q ，2014，30（3）：39-49

[3] 方卿.中國學術期刊同行評審的實踐與研究[J].圖書情報知識，2007，120（7）：89-92

[4] 劉軍，曾令烽，曹燁，等. 科技期刊論文同行評議中倫理學風險控制與優(yōu)化要點[J]. 中國科技期刊研究，2017，28（ 5）： 407-412

[5] Mark Ware，Michael Mabe.The STM Report：An overview of scientific and scholarly journal publishing（2015）[OL]. [2018-03-25]. https ： //www.stm-assoc.org / 2015_02_20_STM_Report_2015.pdf

[6] 徐書令，房威. 學術論文同行評審： 過去·現(xiàn)狀·未來[J].編輯學報，2016，28（6）：535-538

[7] Publishing Research Consortium Ware， M. （2008）. Peer review： Benefits， perceptions and alternatives[OL]. [2018-03-28]. http：//citeseerx.ist.psu.edu/viewdoc/download？doi=10.1.1.214.9676&rep=rep1&type=pdf

[8] Mulligan， A.， & Mabe， M. （2011）. The effect of the internet on researcher motivations，behaviour and attitudes[J]. Journal of Documentation，2011，67（4）：290-311

[9] CIBER Research. PEER usage study： Randomised controlled trial results（2012b）[OL]. [2018-04-10]http：//www.peerproject.eu/reports

[10] Ware， M.? Peer review： Recent experience and future directions[J]. New Review of Information Networking，2011，16（1），23–53

[11] RIN. Access to scholarly content： Gaps and barriers（2011a）[OL]. [2018-04-10]. http：//www.rin.ac.uk/system/files/attachments/gaps_final_report_low_res.pdf

[12] RELX Group . RELX Group Annual Reports and Financial Statements 2017[OL]. [2018-05-20]. https：//www.relx.com/～/media/Files/R/RELX-Group/documents/reports/annual-reports/relx2017-annual-report. pdf

[13] University of Bristol.Scientists look to AI for help in peer review[OL].[2018-02-27]. https：//techxplore.com/news/2017-03-scientists-ai-peer.html

[14] Van Noorden， R.. Science publishing： The trouble with retractions[J]. Nature，2011，478（10）：26-28

[15] Svenska.Artificial Intelligence supports peer review[OL].[2018-05-01].https：//www.tidningencurie.se/en/nyheter/2017/02/09/artificial-intelligence-supports-peer-review/.

[16] Mark Ware，Michael Mabe.The STM Report：An overview of scientific and scholarly journal publishing（2015）[OL]. [2018-03-25]. https：//www.stm-assoc.org/2015_02_20_STM_Report_2015.pdf.

（收稿日期：2018-10-17;返修日期：2020-08-10）