大數(shù)據(jù)與人工智能時代的學(xué)術(shù)著作評價體系建設(shè)

◎ 徐升國

文化強國和科技強國建設(shè)，要求我國必須加快提升學(xué)術(shù)研究能力和水平，推動我國學(xué)術(shù)研究和科技創(chuàng)新面向世界前沿、面向經(jīng)濟社會發(fā)展主戰(zhàn)場，加強原始創(chuàng)新，加強長期積累和持續(xù)攻關(guān)，實現(xiàn)我國學(xué)術(shù)和科技發(fā)展的重大突破。而建立一個良性發(fā)展的學(xué)術(shù)生態(tài)體系，除了加強學(xué)術(shù)研究隊伍建設(shè)和推動研究成果創(chuàng)新外，建立一個與之配套的健全科學(xué)的學(xué)術(shù)評價體系，也是其中非常關(guān)鍵的環(huán)節(jié)。評價體系是一個導(dǎo)向系統(tǒng)，不僅是對學(xué)術(shù)研究最終成果的評價，同時也是對學(xué)術(shù)研究路徑、研究目標(biāo)的引領(lǐng)。與我國學(xué)術(shù)期刊評價體系的快速發(fā)展相比，科學(xué)系統(tǒng)和公認的學(xué)術(shù)著作評價體系一直是我國學(xué)術(shù)評價體系建設(shè)中的薄弱環(huán)節(jié)，學(xué)術(shù)著作的重要性被忽視這一問題亟待解決。

一、學(xué)術(shù)期刊評價體系對學(xué)術(shù)著作評價體系建設(shè)的啟示

1.學(xué)術(shù)期刊評價體系建設(shè)的經(jīng)驗和教訓(xùn)

20世紀90年代以來，通過引進國外科技期刊評價體系評價方法，我國建立起幾大學(xué)術(shù)期刊評價體系，包括南京大學(xué)中國社會科學(xué)研究評價中心發(fā)布的“中文社會科學(xué)引文索引”（CSSCI），北京大學(xué)圖書館發(fā)布的《中文核心期刊要目總覽》（總覽），武漢大學(xué)發(fā)布的《中國社科學(xué)術(shù)期刊評價研究報告——RCCSE權(quán)威、核心期刊排行榜及指南》（RCCSE），中國社會科學(xué)院文獻計量與科學(xué)評價研究中心發(fā)布的“中國人文社會科學(xué)核心期刊”（AMI），中國科學(xué)院文獻情報中心發(fā)布的“中國科學(xué)引文數(shù)據(jù)庫來源期刊”（CSCD），中國科學(xué)技術(shù)信息研究所發(fā)布的“中國科技論文統(tǒng)計源期刊”（又稱“中國科技核心期刊”）。此外，還有中國人民大學(xué)書報資料中心發(fā)布的“復(fù)印報刊資料轉(zhuǎn)載指數(shù)排名”和“復(fù)印報刊資料重要轉(zhuǎn)載來源作者”，中國知網(wǎng)發(fā)布的“中國學(xué)術(shù)期刊國際國內(nèi)影響力統(tǒng)計分析數(shù)據(jù)庫”和“全國高校國內(nèi)期刊高被引論文數(shù)量排行榜”，中國人文社會科學(xué)學(xué)報學(xué)會發(fā)布的“中國人文社科學(xué)報核心期刊”等。①同時，我國學(xué)術(shù)和科技界還引進了美國“科學(xué)引文索引”（SCI）和“社會科學(xué)引文索引”（SSCI）等科技期刊與社科期刊評價體系。這些學(xué)術(shù)期刊評價體系不僅用于期刊質(zhì)量評價，還被廣泛應(yīng)用于科技計劃項目、人才項目、基地建設(shè)、學(xué)科評估、“雙一流”建設(shè)、成果獎勵等活動，在國內(nèi)教育質(zhì)量評價、科研成果評價、科研資金發(fā)放，以及學(xué)術(shù)科技評獎、院士增選、人才評聘、職稱評審、研究生畢業(yè)等環(huán)節(jié)都產(chǎn)生了重大影響，成為我國學(xué)術(shù)科技發(fā)展和人才培養(yǎng)使用的導(dǎo)向性指南，反映出學(xué)術(shù)成果評價體系的巨大應(yīng)用價值和社會效益。

這些學(xué)術(shù)期刊評價體系的發(fā)展，對促進我國學(xué)術(shù)評價方法的科學(xué)化，引領(lǐng)我國學(xué)術(shù)和科技發(fā)展，起到了十分積極的作用，同時也為促進我國學(xué)術(shù)評價體系建設(shè)和研究積累了大量經(jīng)驗。對國外經(jīng)過理論證明和實踐檢驗的以文獻計量學(xué)定量研究學(xué)術(shù)期刊評價的方法的引入，使我國學(xué)術(shù)期刊評價走上了量化評價的道路。

學(xué)術(shù)期刊評價體系經(jīng)過二十多年的發(fā)展，也暴露出一系列問題與不足，并因為在實際應(yīng)用過程中產(chǎn)生了較大的負面影響，而引起了學(xué)術(shù)界巨大的爭議。其主要結(jié)果之一，是近兩年來國家科技部和教育部接連出臺“反四唯”（唯論文、唯職稱、唯學(xué)歷、唯獎項）、“反五唯”（唯分數(shù)、唯升學(xué)、唯文憑、唯論文、唯帽子）政策文件，反對學(xué)術(shù)評價工作中的唯“SCI”和“核心期刊”導(dǎo)向，提出重建我國學(xué)術(shù)成果評價體系。這體現(xiàn)了期刊學(xué)術(shù)評價體系中存在的幾個根本性問題。

一是盲目照搬，削足適履，簡單粗暴地直接以美國學(xué)術(shù)期刊評價體系（SCI）為準(zhǔn)繩來衡量我國的學(xué)術(shù)成果和學(xué)者水平；二是簡單地以美國SCI文獻計量學(xué)量化標(biāo)準(zhǔn)為主要準(zhǔn)繩來建立我國學(xué)術(shù)期刊評價體系，評價體系科學(xué)性、專業(yè)性、適用性缺乏公認度，未能充分考察我國期刊實際情況和多元特征；三是學(xué)術(shù)期刊評價機構(gòu)自我授權(quán)，評價體系不公開不透明，評價過程缺乏公正性和外部監(jiān)督，甚至有些學(xué)術(shù)評價機構(gòu)將評價工作作為自身套取名利的機會，有的學(xué)術(shù)評價機構(gòu)本身就是商業(yè)組織而直接將評價工作與自身商業(yè)利益捆綁；四是對學(xué)術(shù)期刊評價成果泛化和極端化應(yīng)用，出現(xiàn)“以刊評文”“以文評人”“唯論文”“唯成果”等一系列問題；五是期刊界和學(xué)術(shù)界病態(tài)化追求評價結(jié)果，期刊為了評上“核心期刊”、為了提高期刊影響因子，學(xué)者為了在“核心期刊”上發(fā)表論文，不擇手段采取種種破壞學(xué)術(shù)生態(tài)的極端化做法。

2.學(xué)術(shù)期刊評價體系給學(xué)術(shù)著作評價體系建設(shè)的啟示

學(xué)術(shù)期刊評價體系建設(shè)積累的豐富經(jīng)驗和教訓(xùn)，給學(xué)術(shù)著作評價體系建設(shè)帶來了許多啟示。

第一，學(xué)術(shù)著作評價體系建設(shè)具有巨大的社會應(yīng)用價值，其作為評價工具具有巨大的社會影響力。特別是在文化強國、科技強國建設(shè)中，學(xué)術(shù)評價體系具有獨特而重要的導(dǎo)向作用。往高里說，它是一種文化軟實力。作為我國學(xué)術(shù)科研績效評價和學(xué)術(shù)科研工作的指導(dǎo)性標(biāo)準(zhǔn)，其作用遠遠超出學(xué)術(shù)期刊質(zhì)量評價或?qū)W術(shù)期刊館藏指南這么一種功能。所以不能掩耳盜鈴似地將學(xué)術(shù)著作評價簡單理解為僅僅只是一種學(xué)術(shù)成果評價方法和評價工具，或指導(dǎo)館藏的實用工具。這啟示我們，學(xué)術(shù)著作評價不能簡單地作為一種學(xué)術(shù)評價研究方法或科研成果轉(zhuǎn)化應(yīng)用工具，不是任何人、任何機構(gòu)只要掌握了評價方法就可以自我賦權(quán)、自行開展的一項活動，更不可將其當(dāng)作一種話語權(quán)、一種獲得評價者自身利益的工具，而應(yīng)當(dāng)將其作為一項社會公器，由能代表廣大學(xué)界公共利益、獲得相關(guān)主管部門授權(quán)的第三方非營利性獨立專業(yè)公共機構(gòu)來運營，評價方法、評價過程均應(yīng)當(dāng)公開、公正、透明、科學(xué)，并接受社會和管理部門的監(jiān)督。也正因此，我們不能簡單地直接采用國外的SCI等評價體系來評價我國的科研工作，喪失學(xué)術(shù)評價的主導(dǎo)權(quán)和主動權(quán)。

第二，學(xué)術(shù)著作評價體系建設(shè)應(yīng)當(dāng)以科學(xué)性原則為最高原則?？茖W(xué)性是學(xué)術(shù)著作評價體系的靈魂和生命力。一個不科學(xué)的評價體系，其評價結(jié)果必然不準(zhǔn)確，其效果也必然帶來嚴重的誤導(dǎo)作用?？茖W(xué)性的一個重要標(biāo)準(zhǔn)是客觀性、可重復(fù)性、可驗證性。所謂客觀性，就是評價指標(biāo)不能過于強調(diào)主觀性，不能以個人偏好、個人判斷作為主要評價手段。傳統(tǒng)的行政性評價、專家精英定性評價，甚至傳統(tǒng)的同行評議，均因為過于強調(diào)評價者個體的主觀性而缺乏足夠公信力和說服力。應(yīng)該說，西方和我國普遍采用的文獻計量學(xué)評價方法，作為一種學(xué)術(shù)成果評價方法，無論是其研究方法的標(biāo)準(zhǔn)化、客觀化，還是其研究結(jié)果在實踐中得到的驗證，都證明了其具有較強的科學(xué)性。我們可以進一步完善或改進文獻計量學(xué)研究方法或用更科學(xué)的方法替代它，但不可因為其還存在不足或不完美就全盤否定它。科學(xué)性的另一個特征是可重復(fù)性、可驗證性，即無論是誰、無論什么時候，均可以對評價過程、評價結(jié)果重復(fù)出同樣的結(jié)果?？茖W(xué)性還要求評價標(biāo)準(zhǔn)具有可證偽性，任何人都可以通過推理來證明其方法是否科學(xué)、準(zhǔn)確、客觀，一旦證偽即說明這種方法是不科學(xué)的，或不夠科學(xué)，并可以提出更新更科學(xué)的方法?？勺C偽性可以使學(xué)術(shù)評價體系不斷前進，這也正是科學(xué)發(fā)展的歷程?？茖W(xué)性還要求學(xué)術(shù)著作評價工作應(yīng)當(dāng)遵循科學(xué)標(biāo)準(zhǔn)，由學(xué)術(shù)共同體來實施，而不能過于依賴行政機構(gòu)或權(quán)力機構(gòu)，當(dāng)然更不能交由商業(yè)機構(gòu)來實施，這些機構(gòu)的運行規(guī)則本身往往不是以科學(xué)性為最高標(biāo)準(zhǔn)的。

第三，學(xué)術(shù)著作評價成果的作用具有有限性。學(xué)術(shù)著作評價成果雖然應(yīng)用廣泛、導(dǎo)向作用巨大，但是在實際應(yīng)用過程中，仍然不能過度使用，特別是不能片面化、極端化、單一化使用，也即不能“唯著作”“唯成果”“唯論文”。這個問題不在學(xué)術(shù)著作評價工作本身，而是社會各界對其應(yīng)用應(yīng)當(dāng)有度有節(jié)有限，這其實不是評價工作本身的過錯，也不是評價工作本身能解決的問題?，F(xiàn)在社會上存在的“四唯”“五唯”現(xiàn)象，如果簡單地把賬算到學(xué)術(shù)期刊評價體系本身，是打錯了板子。而有人借此否定學(xué)術(shù)期刊評價體系，則不是別有用心，就是無理取鬧。有些人為了獲得更高學(xué)術(shù)成果評價而采取種種不正當(dāng)手法，則更不能歸罪于學(xué)術(shù)成果評價工作本身。任何一種評價工作，都不可避免地存在不正當(dāng)現(xiàn)象，承擔(dān)責(zé)任的應(yīng)當(dāng)是實施這些不正當(dāng)行為的人，受懲罰的也應(yīng)當(dāng)是不正當(dāng)行為者，而不是評價工作者。對此，未來開展學(xué)術(shù)著作評價工作時需要有清醒的認識，不可杯弓蛇影。

二、學(xué)術(shù)期刊評價體系與學(xué)術(shù)著作評價體系的差異辨析

這些年國內(nèi)外發(fā)展出這么多套學(xué)術(shù)期刊評價體系，卻至今未能發(fā)展出一套公認的學(xué)術(shù)著作評價體系，究其原因，主要是因為兩種評價體系在評價模型上存在巨大的差異。

1.學(xué)術(shù)期刊評價體系實行以文評刊與以刊評文的循環(huán)運行機制

從學(xué)術(shù)期刊評價與學(xué)術(shù)圖書評價兩者的整體評價運作體系出發(fā)，我們可以來辨析兩者的異同。學(xué)術(shù)期刊和學(xué)術(shù)圖書評價體系，都是希望通過大規(guī)模的評價，盡可能地對全部學(xué)術(shù)成果進行全面評價，進而形成對單篇論文或者著作質(zhì)量的比較性評價，而非基于某一個特定的項目評選、評獎或評估進行的小型專題評價。大規(guī)模、連續(xù)性、全覆蓋的全行業(yè)學(xué)術(shù)成果質(zhì)量評價是兩者共同的目標(biāo)。

從這個目的出發(fā)，兩者都要求能夠大規(guī)模持續(xù)開展，既要保證評價方法的科學(xué)性，還要保證評價工作實施的經(jīng)濟性和可操作性。沒有科學(xué)性，評價沒有意義，沒有經(jīng)濟性和可行性，則評價也不具有操作性。一個理論上非常完美但實踐上缺乏可操作性的方案只能是空中樓閣。

基于這一定位，在評價模式上，學(xué)術(shù)期刊評價體系采用了以文評刊與以刊評文相結(jié)合的方式。第一步以文評刊，搜集所有反映學(xué)術(shù)期刊發(fā)表論文質(zhì)量的相關(guān)因素，采用文獻計量學(xué)方法進行全面量化統(tǒng)計分析，測算出某一期刊的整體質(zhì)量水平，以及在同類期刊中的排位。第二步以刊評文，該模型認定一個期刊所發(fā)表文章的整體水平大體具有一致性。因為西方很多優(yōu)秀學(xué)術(shù)期刊，都對擬發(fā)論文采取“專家匿名評審”方法，確保論文質(zhì)量相對平穩(wěn)。如果文章在該刊上發(fā)表，就可以推斷出該論文質(zhì)量等級與該刊定位基本相當(dāng)。這樣，通過該刊總體質(zhì)量評價，就可以推斷出該刊其他文章的質(zhì)量優(yōu)劣。這樣在應(yīng)用評價成果時，就不用把每一篇文章當(dāng)作孤立的個體來確認其評價結(jié)果，而是以期刊整體質(zhì)量評價結(jié)果來確認個體論文的評價結(jié)果。評價成果使用單位只需要知道作者的論文發(fā)表在核心期刊上，即可認定其質(zhì)量達到相應(yīng)水平。

這個評價模型的最大優(yōu)勢是，通過以文評刊實現(xiàn)對期刊的整體評價，通過以刊評文實現(xiàn)對單篇文章的評價。期刊評價可以通過從以文評刊到以刊評文，實現(xiàn)從個體到整體和從整體到個體的評價循環(huán)。在評價成果的應(yīng)用上，使用者不需要深入考查每一篇論文的水準(zhǔn)，而只需知道論文發(fā)表在什么期刊上即可簡單判斷，這樣一來就極大地降低了評價成果實際應(yīng)用的門檻。此外，還能以過去的評價結(jié)果指導(dǎo)作者投稿，從而實現(xiàn)以過去間接地來反映和評價未來，實現(xiàn)評價工作的指導(dǎo)價值。這樣一來，評價工作在科學(xué)性、經(jīng)濟性和可行性上取得了大體的平衡，大大降低了評價工作的復(fù)雜度和評價成果應(yīng)用的難度，使評價結(jié)果得以在社會上廣泛應(yīng)用。學(xué)術(shù)期刊評價之所以成為一個廣泛應(yīng)用的評價方式，并能深刻地影響到整個學(xué)術(shù)生態(tài)，其背后的邏輯也正在于此。

然而，學(xué)術(shù)期刊文獻計量學(xué)評價模型的潛在問題也隨之而生。我們能夠以文獻計量學(xué)方法證明以文評刊的科學(xué)性，但是并不必然能證明以刊評文的科學(xué)性，因為：第一，學(xué)術(shù)期刊整體質(zhì)量的好壞，并不天然地證明刊物里每一篇文章質(zhì)量的優(yōu)劣。常見的現(xiàn)象是，刊物是核心期刊，但是里邊發(fā)表的文章的質(zhì)量也存在較大的差異；同樣，即使刊物不是權(quán)威、核心，也并不必然說明里面的文章就一定都質(zhì)量不高。刊物質(zhì)量與文章質(zhì)量只是大概平衡的。第二，我國學(xué)術(shù)期刊的論文選擇方法與西方不同，我國并沒有全面實行“專家匿名評審”制度，而是主要實行編輯選稿制度。這種選稿制度使期刊大多數(shù)文章質(zhì)量與刊物質(zhì)量能夠匹配，但是毫無疑問，例外也比比皆是、極為普遍。尤其是在中國這種人情社會，許多學(xué)術(shù)期刊都有關(guān)系稿、人情稿、收費稿，這也是人們心照不宣的客觀事實。這就更加為以刊評文埋下了隱患，也是國內(nèi)對核心期刊評價工作質(zhì)疑的一個重要原因。這一質(zhì)疑，可以說是對學(xué)術(shù)期刊評價工作模式的質(zhì)疑，也是對評價成果應(yīng)用中以刊評文邏輯的質(zhì)疑。這使我們在建立學(xué)術(shù)著作評價體系的時候需要尋求更為科學(xué)有效的方法。

2.學(xué)術(shù)著作評價體系的著作單獨評價機制

學(xué)術(shù)期刊評價與學(xué)術(shù)著作評價的不同，在于學(xué)術(shù)著作評價天然無法實現(xiàn)以文評刊與以刊評文的循環(huán)。學(xué)術(shù)期刊評價體系采用的文獻計量學(xué)方法有三大支撐，第一是期刊全文數(shù)據(jù)庫，第二是文獻計量學(xué)方法，第三是期刊連續(xù)出版（可以持續(xù)穩(wěn)定地跟蹤評價）。這三大支柱在學(xué)術(shù)著作中除文獻計量學(xué)方法可以通用外，其余兩者均完全不同。不像學(xué)術(shù)期刊有知網(wǎng)、萬方、維普和超星等連續(xù)動態(tài)更新的大型全文數(shù)據(jù)庫，我國至今沒有一個即時動態(tài)更新的吸收全部或主要學(xué)術(shù)著作的全文數(shù)據(jù)庫，應(yīng)用文獻計量學(xué)工具覆蓋全部學(xué)術(shù)專著也就無從談起了。學(xué)術(shù)著作也不是連續(xù)出版物，無法穩(wěn)定持續(xù)地進行系統(tǒng)化的循環(huán)評價。

每一部獨立的學(xué)術(shù)著作，都是一個孤立的個體，需要進行單獨評價。不能因為一本著作的質(zhì)量推斷出其他著作的質(zhì)量，也不能通過評價過去的著作推斷未來的著作的質(zhì)量。一部高水平的專著，并不能保證作者的下一部著作仍然是高水平的。每一部作品都是一個孤立的原子，相互之間缺乏通約性。我們很難做到以書評出版社，然后再倒過來以社評書。同一個出版社不同著作的質(zhì)量差異遠遠超過了同一本期刊不同文章的差異。

這使得學(xué)術(shù)期刊的評價模型與學(xué)術(shù)著作的評價模型差異巨大，前者可以一年評一次甚至三年五年評一次，其結(jié)果可以長期使用。后者則需要對每一部著作進行單獨評價，而且評價結(jié)果也只一次有效。評價機構(gòu)需要長期持續(xù)地對不同著作分別進行評價，而這又受制于學(xué)術(shù)著作無固定出版周期，無及時完整的學(xué)術(shù)著作數(shù)據(jù)庫支撐來開展文獻計量學(xué)評價工作。如果為了評價而單獨建立一個全面、及時、完整的學(xué)術(shù)著作數(shù)據(jù)庫，則在成本和操作性方面無疑都有很多困難。這樣一來，學(xué)術(shù)著作評價工作的經(jīng)濟性、可行性就完全無法與學(xué)術(shù)期刊評價工作相比。

而從評價結(jié)果應(yīng)用看，學(xué)術(shù)著作評價結(jié)果也無法像核心期刊名單一樣，以一個簡單通約的方式供學(xué)校等學(xué)術(shù)著作評價成果使用者來應(yīng)用評價結(jié)果。這也給學(xué)術(shù)著作評價成果的應(yīng)用推廣帶來較高的障礙，評價結(jié)果應(yīng)用的機會較低，評價成果應(yīng)用難度也大。這樣一來，學(xué)術(shù)著作評價工作的價值和社會影響力就會大打折扣。因而，學(xué)術(shù)著作評價的經(jīng)濟性、可行性、影響力和成果應(yīng)用價值都遠不如學(xué)術(shù)期刊評價。

在評價過程上，粗看學(xué)術(shù)論文與學(xué)術(shù)著作的評價原理差不多，科學(xué)性也相似，但實際上，兩者在評價工作和評價體系的經(jīng)濟性、可行性，以及評價成果的應(yīng)用機會上都完全不同。這使學(xué)術(shù)期刊評價體系與學(xué)術(shù)著作評價體系的差異，看似是評價一本期刊與一本著作的差異，實際上顯示出兩者在評價模型和評價成果應(yīng)用等評價整體體系上有天壤之別。這一“細微”卻關(guān)鍵的差異，可能正可以解釋為什么國內(nèi)外有那么多學(xué)術(shù)期刊評價體系，而公認的學(xué)術(shù)著作評價體系卻至今暫付闕如。未來構(gòu)建學(xué)術(shù)著作評價體系，需要對兩者的這一本質(zhì)差異有深刻認識。

三、學(xué)術(shù)著作評價模型的邏輯演進

從歷史發(fā)展進程看，國內(nèi)和國際上學(xué)術(shù)期刊評價的邏輯演進可以大概分為三種方法，這也是學(xué)術(shù)著作評價模型設(shè)計的參考。第一種方法是基于專家評價和同行評議的定性評價；第二種方法是基于文獻計量學(xué)的定量評價，這是目前我國學(xué)術(shù)期刊評價的主要方式；第三種方法是基于大數(shù)據(jù)的算法評價，目前國外已經(jīng)開始朝這個方向發(fā)展。而在可見的未來，將出現(xiàn)第四種方法，即朝基于人工智能的智能化算法評價方向演進，使評價體系和方法更加具有科技含量，并能有效解決學(xué)術(shù)期刊評價工作中存在的“以刊評文”難題，也將有望解決學(xué)術(shù)著作評價中存在的著作單獨評價經(jīng)濟性、可行性和應(yīng)用性難題。

1.基于專家評價與同行評議的定性評價

無論是我國長期以來開展的各類政府獎勵性評審（如中國出版政府獎中的圖書獎、期刊獎），還是科技成果獎（如中華優(yōu)秀出版物獎、“五個一工程”獎、出版基金），基本上都為行政管理部門主導(dǎo)，并組織專家進行定性評價。而出版社和雜志社的審稿制度，也采用編輯定性評價或同行評議制度。在國外，至今許多社科學(xué)術(shù)成果評價、學(xué)者評價，也仍然主要采用同行評議方式進行。②

由學(xué)術(shù)共同體開展同行評議，是長久以來被實踐證明相對有效的一種學(xué)術(shù)著作評價方法。同行評議能夠依托專家對學(xué)術(shù)發(fā)展方向的專業(yè)把握、對評審對象的專業(yè)審視能力，加上制度上的獨立評審、多人評審、匿名評審，基于質(zhì)量、原創(chuàng)性、創(chuàng)新性、社會價值等核心要素對著作展開直接評審。這比文獻計量學(xué)借助影響因子間接評價更為直接有效。

但是，這一方式也存在一些缺點。一是主觀性。嚴重依賴專家個體的主觀判斷，而不同專家的判斷常常不同，顯示這一評價方法缺乏統(tǒng)一的客觀標(biāo)準(zhǔn)，存在一定的判斷誤差。二是經(jīng)濟性差。因為依賴專家個體，需要專家投入較大精力對一個成果進行全面審閱才能形成判斷，對專家的時間、精力耗費較大，評價工作成本高，如果每年對源源不斷生產(chǎn)的成千上萬甚至上十萬種學(xué)術(shù)著作進行大規(guī)模專家評價，則所耗費的專家資源就完全不可承受，這在經(jīng)濟性和可行性上都缺乏操作空間。因此，同行評議法不適于構(gòu)建大規(guī)模、全覆蓋、連續(xù)性的學(xué)術(shù)著作評價體系，而更適用于小范圍特定成果評價，如科研成果評獎、專家評聘等。無論中西，概莫能外。

2.基于文獻計量學(xué)的定量評價

學(xué)術(shù)期刊評價的第二種方法是在西方率先發(fā)展起來的文獻計量學(xué)定量評價，其使評價體系走向定量化、客觀化、標(biāo)準(zhǔn)化道路。文獻計量學(xué)是采用數(shù)學(xué)、統(tǒng)計學(xué)等計量研究方法，以期刊載文量、文獻被引量、影響因子等文獻計量特征為研究對象，對科學(xué)技術(shù)的現(xiàn)狀、發(fā)展規(guī)律進行預(yù)測和評價的一門學(xué)科。由英國著名文獻學(xué)家布拉德福提出的“布拉德福定律”、美國文獻學(xué)家尤金·加菲爾德提出的“加菲爾德引文集中定律”、美國科學(xué)學(xué)家普賴斯提出的“普賴斯指數(shù)”這三大定律是文獻計量學(xué)的重要原理，也是學(xué)術(shù)期刊定量評價的理論基礎(chǔ)。③可以說，文獻計量學(xué)的出現(xiàn)及其在學(xué)術(shù)期刊評價中的應(yīng)用，推動了學(xué)術(shù)期刊的發(fā)展。文獻計量學(xué)應(yīng)用于學(xué)術(shù)期刊評價最重要和最顯著的標(biāo)志事件，是1961年由美國科學(xué)情報研究所期刊文獻檢索工具“科學(xué)引文索引”（Science Citation Index，簡稱SCI）的創(chuàng)立。文獻計量學(xué)方法采用的“以文評刊”邏輯，在理論上和實證上都有可靠的證據(jù)證明其科學(xué)性。西方學(xué)術(shù)期刊的“專家匿名評審”及學(xué)術(shù)期刊后續(xù)循環(huán)評價原則，使“以刊評文”邏輯下的論文質(zhì)量有相對可靠的保證。文獻計量學(xué)學(xué)術(shù)期刊評價體系發(fā)展到今天，已經(jīng)受了數(shù)十年的實踐檢驗，證明是一條相對有效的道路。同時這一評價方法也在不斷完善升級，進一步提高科學(xué)性。

在邏輯上，采用文獻計量學(xué)方法進行學(xué)術(shù)著作評價與學(xué)術(shù)期刊評價基本相似，測算相關(guān)學(xué)術(shù)論文和學(xué)術(shù)著作中對擬評價學(xué)術(shù)著作的文獻被引量、影響因子等，同樣可以測量出該學(xué)術(shù)著作的整體質(zhì)量。而兩者最大的差異，正如上文所述，主要不是單篇論文與單本著作評價方法的差異，而是評價工作整體實施的經(jīng)濟性和可操作性上的差異，以及評價成果應(yīng)用機會的差異，而這也使得計量文獻學(xué)評價方法在學(xué)術(shù)著作評價上一直未能長期有效開展。

在國外，隨著學(xué)術(shù)數(shù)據(jù)庫的發(fā)展，包括湯森路透和愛思維爾在內(nèi)的科技出版巨頭也開始構(gòu)建學(xué)術(shù)著作評價體系。2011年，湯森路透基于Web of Science推出了圖書引文索引（Book Citation Index，簡稱BKCI）。2013年，愛思維爾的Scopus文摘引文庫也增加了對專著、參考書及大學(xué)教材的收錄。這些圖書引文索引庫的推出，為學(xué)術(shù)著作評價奠定了數(shù)據(jù)基礎(chǔ)。目前國內(nèi)的知網(wǎng)和超星等數(shù)據(jù)庫也開始大規(guī)模收錄學(xué)術(shù)著作，只是收錄的完整性和信息更新速度與開展學(xué)術(shù)著作評價的需要還有一定差距。

3.定量評價與定性評價相結(jié)合的學(xué)術(shù)著作評價

學(xué)術(shù)著作評價將定量評價與定性評價相結(jié)合的方法，總體邏輯是海量著作初步篩選采用文獻計量學(xué)定量評價為主，后期優(yōu)秀著作精選評價采用學(xué)術(shù)共同體專家評價與同行評議定性評價結(jié)合的方式開展。這一思路既可以發(fā)揮文獻計量學(xué)定量評價便于開展大規(guī)模評價的優(yōu)勢，又可以發(fā)揮專家定性評價專業(yè)性更強的優(yōu)勢，同時又可以避免定性評價無法針對海量學(xué)術(shù)著作進行大規(guī)模評價的不足，以及文獻計量學(xué)定量評價單純依賴數(shù)據(jù)模型的弊端。這也是許多專家呼吁的方法路徑。南京大學(xué)葉繼元教授于2010年提出的“全評價”體系，總體上也屬于這一思路?！叭u價”體系包括評價主體、評價客體、評價目的、評價方法、評價標(biāo)準(zhǔn)及指標(biāo)、評價制度等六大要素和形式評價、內(nèi)容評價、效用評價等三個維度，其中形式評價對應(yīng)文獻計量評價，內(nèi)容評價基于同行專家學(xué)者評價，效用評價則依賴于實踐和歷史評價或檢驗。④

南京大學(xué)中國社會科學(xué)研究評價中心的學(xué)術(shù)著作評價體系采用的正是這一基本思路。2015年7月，南京大學(xué)中國社會科學(xué)研究評價中心與中國圖書評論學(xué)會合作研發(fā)的“中文學(xué)術(shù)圖書引文索引”(Chinese Book Citation Index，簡稱CBKCI）正式對外發(fā)布，該數(shù)據(jù)庫計劃收錄1992年以來中國大陸出版的優(yōu)秀中文人文社會科學(xué)原創(chuàng)學(xué)術(shù)專著的全部章節(jié)信息和參考文獻，并與南京大學(xué)先期研發(fā)的CSSCI引文數(shù)據(jù)庫進行整合，共同構(gòu)建成為涵蓋學(xué)術(shù)期刊、學(xué)術(shù)集刊、學(xué)術(shù)專著等多重出版形態(tài)的符合學(xué)術(shù)規(guī)范和科學(xué)評價需求的大數(shù)據(jù)平臺。南京大學(xué)沈固朝教授介紹該項目時說，這一數(shù)據(jù)庫將建立客觀的來源期刊和圖書的遴選指標(biāo)，采用定性評價和定量評價相結(jié)合的遴選方式。他認為，該項目通過建立文獻之間的引證關(guān)系，可以較全面地反映學(xué)術(shù)研究的文獻引用行為，對學(xué)者個人的研究工作、對管理部門的規(guī)劃和決策等都具有積極的意義。但他特別指出，主要基于影響力的書刊評價不能與基于創(chuàng)新力的學(xué)術(shù)評價和成果的內(nèi)容價值判定直接畫等號，CSSCI-CBKCI的使用要注意避免因評價體制中的問題而被放大缺陷。⑤南京大學(xué)這一學(xué)術(shù)著作評價體系自2015年首次發(fā)布階段性成果后，未見每年進行公開的持續(xù)性信息更新。

這一方法確實可以有效結(jié)合兩種評價方法的優(yōu)勢，并避免兩者各自的劣勢，但這一方法的前提是兩種評價方法可以有效應(yīng)用于學(xué)術(shù)著作評價工作。如前所述，專家定性評價已經(jīng)在實踐中證明了其在小范圍內(nèi)進行評價的有效性。但是，文獻計量學(xué)定量評價雖然用于學(xué)術(shù)期刊評價已經(jīng)獲得成功，但用于學(xué)術(shù)著作評價則無論在理論上還是實踐上其可行性都仍有待證明。所以，這一評價邏輯是否成立，要先解決文獻計量學(xué)方法應(yīng)用于學(xué)術(shù)著作評價中存在的建立及時動態(tài)更新的學(xué)術(shù)著作引文數(shù)據(jù)庫和成果應(yīng)用難帶來的經(jīng)濟性與可操作性難題。

四、基于大數(shù)據(jù)與人工智能的學(xué)術(shù)著作評價體系思考

大數(shù)據(jù)時代，網(wǎng)絡(luò)信息技術(shù)和社交媒體的發(fā)展，使在線科研日益成為重要的科研方式，進而快速催生了補充計量學(xué)（Alt metrics）的發(fā)展。補充計量學(xué)是在以數(shù)字圖書館、開放存取、Web2．0、移動及社交網(wǎng)絡(luò)、自媒體、在線科研及MOOCs、大數(shù)據(jù)等為代表的新學(xué)術(shù)信息環(huán)境下的新的一系列計量指標(biāo)及方法。⑥相比文獻計量學(xué)，補充計量學(xué)提供了更多元更豐富的評價視角和指標(biāo)。谷歌學(xué)術(shù)（Google Scholar）、微軟學(xué)術(shù)（Microsoft Academic）、COUNTER和F1000等都在這些方面進行了積極探索，體現(xiàn)了國外在應(yīng)用大數(shù)據(jù)、網(wǎng)絡(luò)技術(shù)等開展學(xué)術(shù)評價的實踐和理論上都有很大發(fā)展。

2020年7月7日，谷歌學(xué)術(shù)發(fā)表了2020年谷歌學(xué)術(shù)指標(biāo)（Google Scholar Metrics，GSM）。此版本涵蓋2015—2019年發(fā)布的文章。谷歌學(xué)術(shù)于2004年年底推出，廣受好評，影響力也日益增大。與流傳較廣的Web of Science相比，谷歌學(xué)術(shù)的最大優(yōu)點是其涵蓋范圍遠大于Web of Science。據(jù)估計，截至2014年5月，谷歌學(xué)術(shù)共收集1．6億篇學(xué)術(shù)文獻，幾乎是Web of Science的三倍。其學(xué)術(shù)指標(biāo)在推出后，也開始沖擊影響因子的地位。Google學(xué)術(shù)計量的排序和分類指標(biāo)為過去5年被引論文“h5指數(shù)”。h指數(shù)由美國加州大學(xué)圣地亞哥分校的物理學(xué)家喬治·赫希（J．E．Hirsch）于2005年提出，是指至少有h篇論文被引用過h次。而谷歌h5指數(shù)，則是指過去5年出版物發(fā)表的h篇文章，每篇至少都被引用過h次的最大值。谷歌學(xué)術(shù)指數(shù)基于谷歌全網(wǎng)搜索優(yōu)勢，通過運用大數(shù)據(jù)技術(shù)，實現(xiàn)了基于海量內(nèi)容的學(xué)術(shù)成果引文指標(biāo)測量。⑦谷歌學(xué)術(shù)指數(shù)的推出，使學(xué)術(shù)期刊評價進入大數(shù)據(jù)時代。此外，谷歌也在探索推出學(xué)術(shù)著作影響力排名，但目前尚未對外發(fā)布。

補充計量指標(biāo)不僅可以包括學(xué)術(shù)論文在各類在線平臺的引用情況，還可以包括著作的閱讀量、下載量、點評量等信息，以及讀者的評價，具體可表現(xiàn)為讀書筆記、在線書評、博客微博微信評論、豆瓣書評打分等，這些均可以納入評價體系，作為參考性依據(jù)。此外，對學(xué)術(shù)著作的學(xué)術(shù)影響力、社會影響力，甚至成果價值轉(zhuǎn)化如決策采納、政策制定、專利文獻引用等，也可以納入評價體系。這樣就能夠更加全面地反映學(xué)術(shù)成果的社會影響和價值。基于這一思路，不少學(xué)者也嘗試探索建立新的學(xué)術(shù)成果評價體系。

大連理工大學(xué)科學(xué)學(xué)與科技管理研究所暨WISE實驗室姜春林所長和他的碩士魏慶肖在《融合補充計量指標(biāo)的人文社科專著影響力評價指標(biāo)體系研究》一文中，提出一個除傳統(tǒng)科學(xué)計量指標(biāo)外，還包括閱讀量、下載量、薦購次數(shù)、收藏量、評論量、豆瓣網(wǎng)絡(luò)書評、學(xué)術(shù)社區(qū)討論量、網(wǎng)絡(luò)書店讀者點評量、社交網(wǎng)絡(luò)提及量等在內(nèi)的補充計量指標(biāo)，構(gòu)建起一個新型學(xué)術(shù)著作評價指標(biāo)體系。⑧這一體系雖然還有待實測驗證，但確實也為我們在大數(shù)據(jù)時代探索新型學(xué)術(shù)著作評價指標(biāo)體系提供了一個參考。

隨著人工智能時代的到來，學(xué)術(shù)成果評價體系還可以進一步應(yīng)用人工智能算法來進行。有了大數(shù)據(jù)作為基礎(chǔ)，目前人工智能技術(shù)在深度學(xué)習(xí)、積卷神經(jīng)網(wǎng)絡(luò)、海量計算、無窮次迭代、自適應(yīng)學(xué)習(xí)、自我優(yōu)化等方面都獲得了飛速發(fā)展。這些人工智能技術(shù)不僅可以用于下圍棋、看X光片輔助醫(yī)學(xué)診斷，同樣可以用于學(xué)術(shù)成果評價。知識圖譜、語義分析、圖像識別、語音識別、跨語種自動翻譯、機器寫作、機器閱讀、物聯(lián)網(wǎng)機器數(shù)據(jù)交換這些人工智能應(yīng)用，都為學(xué)術(shù)成果評價利用人工智能提供了技術(shù)基礎(chǔ)。從谷歌大腦到百度大腦到阿里智慧城市、騰訊人工智能，這些人工智能領(lǐng)域的技術(shù)支撐系統(tǒng)為學(xué)術(shù)著作評價運用人工智能提供了技術(shù)平臺。這些人工智能新技術(shù)應(yīng)用到學(xué)術(shù)著作評價中，將使學(xué)術(shù)成果評價從定性評價、同行評議進化到文獻計量學(xué)定量評價，再進化到大數(shù)據(jù)全評價后，進一步進化到人工智能機器算法評價新階段。這是一種評價思維方式的變革和評價范式的轉(zhuǎn)換。

現(xiàn)在的千人千面的個性化推薦算法替代了傳統(tǒng)門戶網(wǎng)站編輯推薦，在內(nèi)容編輯方面無疑是一次革命性的發(fā)展。工業(yè)機器人、自動駕駛、無人飛機、機器新聞、機器寫作、機器科研、量子計算，都顯示了智能技術(shù)對傳統(tǒng)人工的超越。隨著弱人工智能進化到強人工智能再進化到超人工智能，技術(shù)革命正在使人類進入一個全新時代，即信息時代、數(shù)據(jù)時代、人工智能時代和人機融合時代。這一時代目前僅僅開始，遠未到終點。

雖然目前基于人工智能的學(xué)術(shù)成果評價體系尚未出現(xiàn)，但這是大數(shù)據(jù)應(yīng)用于學(xué)術(shù)成果評價之后的必然發(fā)展結(jié)果。應(yīng)用大數(shù)據(jù)和人工智能技術(shù)進行學(xué)術(shù)成果查重，現(xiàn)在已經(jīng)被廣泛接受了。而應(yīng)用人工智能技術(shù)進行學(xué)術(shù)成果的文字質(zhì)量甚至內(nèi)容質(zhì)量評估，目前也已經(jīng)有人在開發(fā)相關(guān)程序。2020年7月，由開放獲取出版商Frontiers開發(fā)的Artificial Intelligence Review Assistant（AIRA），首次被用于研究論文的審查和同行評審。通過機器學(xué)習(xí)模型，AIRA可以在閱讀完論文后的幾秒鐘內(nèi)，在語言質(zhì)量、數(shù)據(jù)完整性、查重檢測及識別潛在利益沖突等方面，提出專業(yè)的評估意見，協(xié)助編輯、審稿人來評估論文的質(zhì)量。⑨

吉林大學(xué)杜杏葉在其博士論文《學(xué)術(shù)論文關(guān)鍵指標(biāo)智能化評價研究》中，就運用人工智能技術(shù)對學(xué)術(shù)論文關(guān)鍵指標(biāo)進行評價做了深入研究。該文探討了如何構(gòu)建學(xué)術(shù)論文評價關(guān)鍵指標(biāo)體系，如何建立學(xué)術(shù)論文智能化評價框架，以及學(xué)術(shù)論文選題新穎性、內(nèi)容創(chuàng)新性、引文科學(xué)性的智能化評價方法。⑩雖然這一評價體系主要是針對單篇論文的，但對如何應(yīng)用人工智能技術(shù)進行學(xué)術(shù)成果的大規(guī)模評價也具有較強的參考價值。實際上，大數(shù)據(jù)技術(shù)、人工智能技術(shù)最大的優(yōu)勢就在于低成本地對數(shù)據(jù)進行全網(wǎng)搜索和深入分析，無論是之前的文獻計量學(xué)評價系統(tǒng)，還是谷歌學(xué)術(shù)指數(shù)大數(shù)據(jù)系統(tǒng)，都是基于信息技術(shù)的這一優(yōu)勢的。如果能夠開發(fā)專門的學(xué)術(shù)成果評價人工智能系統(tǒng)，充分利用目前已經(jīng)越來越成熟的語義分析技術(shù)、知識圖譜技術(shù)、深度學(xué)習(xí)技術(shù)及神經(jīng)網(wǎng)絡(luò)技術(shù)，以幾十年積累下來的學(xué)術(shù)成果評價結(jié)果為訓(xùn)練依據(jù)，以數(shù)以億計的學(xué)術(shù)成果為訓(xùn)練對象，對這套人工智能系統(tǒng)進行全面深入的反復(fù)訓(xùn)練與持續(xù)優(yōu)化，相信不久的將來，就有可能見到一個基于人工智能的學(xué)術(shù)論文與學(xué)術(shù)著作評價系統(tǒng)問世。而這一系統(tǒng)不僅能對海量學(xué)術(shù)成果進行全面評價，而且由于不依賴人工，所以成本非常低。在評價結(jié)果應(yīng)用上，也將有可能完全免費開放給所有人，就像谷歌學(xué)術(shù)指數(shù)目前做到的一樣，從而使成果應(yīng)用變得方便和快捷。這樣，困擾文獻計量學(xué)對海量學(xué)術(shù)著作評價的兩大難題也就有望解決了。

五、小結(jié)：學(xué)術(shù)著作評價與人的回歸

隨著基于人工智能的學(xué)術(shù)著作評價體系的發(fā)展，不少人會擔(dān)心機器算法會不會異化和取代人的智慧。如果我們看到機器背后是人類在操縱、設(shè)計、使用人工智能，而不是人工智能自身在對人類進行評價，我們就可以釋懷了。馬克思曾經(jīng)尖銳地指出，工業(yè)革命中機器吃人的本質(zhì)是人對人的統(tǒng)治，資本的背后是資本家。人工智能同樣如此。

進一步思考，人工智能不管如何先進，仍然只能是工具。當(dāng)從人手、人腦進化到機器手、機器腦后，我們?nèi)匀灰藲w到人。人是出發(fā)點也是目的。人駕馭機器而不是機器駕馭人，人不能異化為機器的附庸?；谌斯ぶ悄?、超越人工智能，我們才能更好地站在時代之巔，俯覽歷史和人類文明眾山之小。此時，我們一再宣稱的中國特色、中國氣派、人類命運共同體、時代使命擔(dān)當(dāng)，就是有本之木、有源之水了。

注釋：

① 中國新聞出版研究院課題組.我國哲學(xué)社會科學(xué)學(xué)術(shù)期刊評價體系對比研究[J].傳媒,2020(4):32-35.

② 吳凡潔.國外學(xué)術(shù)評價體系淺析及啟示[J].科技傳播,2018(10):189-190.

③ 刁敬東,農(nóng)曉琳.文獻計量學(xué)在學(xué)術(shù)期刊評價中的應(yīng)用研究[J].醫(yī)學(xué)信息（上旬刊）,2018(23):24-26.

④ 葉繼元.近年來國內(nèi)外學(xué)術(shù)評價的難點、對策與走向[J].甘肅社會科學(xué),2019(3):61-67.

⑤ “中文學(xué)術(shù)圖書引文索引”數(shù)據(jù)庫首次發(fā)布[N/OL].(2015-7-22)[2020-8-28]. http://book.people.com.cn/n/2015/0722/c69360-27345337.html.

⑥ 姜春林,魏慶肖.融合補充計量指標(biāo)的人文社科專著影響力評價指標(biāo)體系研究[J].情報雜志,2018(12):67-72.

⑦ 2018谷歌學(xué)術(shù)指數(shù)出爐，影響因子何去何從？[EB/OL].(2018-8-7)[2020-8-28]. http://m.medsci.cn/article/show_article.do?id=a5041461 063f.

⑧ 姜春林,魏慶肖.融合補充計量指標(biāo)的人文社科專著影響力評價指標(biāo)體系研究[J].情報雜志,2018(12):67-72.

⑨ 人工智能如何推動同行評審的發(fā)展[Z/OL].(2020-8-5)[2020-8-28].https://mp.weixin.qq.com/s?src=11×tamp=1598585515&ver=25 49&signature=Vw*lsWBYAz5WIvWJcawrtxO*Dfmw20yRbdfG8VK pO90O5riK-60NGZtSUbevjx0x0qRa-s4kp7AfS04jBLRc8iyeBVRUH nisIfkGgknqWOQcWcOhUVN2TkCdPTJqGQLu&new=1.

⑩ 杜杏葉.學(xué)術(shù)論文關(guān)鍵指標(biāo)智能化評價研究[D].長春:吉林大學(xué),2019.