人文社科學(xué)術(shù)著作評價指標(biāo)體系構(gòu)建及實(shí)證研究*

姜春林 郭琪琴 張光耀

(大連理工大學(xué)科學(xué)學(xué)與科技管理研究所暨WISE實(shí)驗(yàn)室 大連 116085)

0 引 言

學(xué)術(shù)著作作為學(xué)術(shù)成果的重要形式之一，具有信息量大、專業(yè)性強(qiáng)、學(xué)術(shù)影響力持久等特點(diǎn)，凝聚了著者多年的學(xué)術(shù)積淀。相比論文評價，關(guān)于學(xué)術(shù)著作評價，無論在評價理論，還是評價方法研究方面均較為薄弱，難以適應(yīng)和滿足包括代表作評價在內(nèi)的各類學(xué)術(shù)評價的現(xiàn)實(shí)需求。以往學(xué)術(shù)著作的評價均以同行評議為主，甚至將同行評價作為唯一的評價方法。但同行評議具有難以克服的專家主觀性、專家知識的局限性、評價時間的制約性等缺陷。隨著網(wǎng)絡(luò)和信息技術(shù)的發(fā)展，學(xué)術(shù)文獻(xiàn)撰寫、編審、出版、存儲、傳播整個流程的數(shù)字化成為發(fā)展趨勢。由于技術(shù)手段的進(jìn)步，圖書綜合評價的部分指標(biāo)(如下載量、閱讀量、引用率、評價數(shù)等)更易于獲取，使得在網(wǎng)絡(luò)條件下基于定量評價的基礎(chǔ)更為可靠。與此同時，各類定量評價模型的逐步成熟，也為學(xué)術(shù)著作的科學(xué)評價帶來了契機(jī)。電子圖書館、網(wǎng)上書店的發(fā)展及評價系統(tǒng)的建立也為學(xué)術(shù)著作評價研究提供了新的思路。因此，導(dǎo)入符合學(xué)術(shù)著作特點(diǎn)的基于多源多維數(shù)據(jù)的評價指標(biāo)，科學(xué)合理地將其與同行評議相結(jié)合已經(jīng)成為著作評價的方法論基礎(chǔ)和主要方向。

1 文獻(xiàn)回顧

現(xiàn)階段國內(nèi)外關(guān)于著作評價的研究主要集中在評價數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)庫、評價指標(biāo)、評價體系、評價模型等幾個方面。著作評價的基礎(chǔ)數(shù)據(jù)庫研究方面，國外學(xué)者從Google Book Search、Springer圖書引用角度進(jìn)行的評價研究較多，湯森路透集團(tuán)也推出了圖書引文索引(BKCI)；國內(nèi)的讀秀學(xué)術(shù)搜索網(wǎng)站從2011年開始發(fā)布“圖書被引用情況報告”，并按高被引圖書的類別、作者、出版社等進(jìn)行分類；蘇新寧教授團(tuán)隊基于CSSCI引文數(shù)據(jù)，開發(fā)并完成了《中國人文社會科學(xué)圖書學(xué)術(shù)影響力報告》；中國圖書評論學(xué)會和南京大學(xué)合作建設(shè)的“中文學(xué)術(shù)圖書引文索引”(CBKCI)項(xiàng)目也取得了階段性成果；中國科學(xué)文獻(xiàn)計量評價研究中心研制的《中國高被引圖書年報》(2016版)已發(fā)布；百度學(xué)術(shù)亦能實(shí)現(xiàn)對學(xué)術(shù)專著引用數(shù)據(jù)的獲取[1-4]。

國外在著作評價的指標(biāo)與模型研究方面，White Howard D等[5]提出了librication指標(biāo)，即某本書被納為館藏的圖書館的數(shù)量，又驗(yàn)證了該指標(biāo)在學(xué)術(shù)著作評價中的適用性[6]。Juan Gorraiz等[7]提出在線書評可以作為圖書評價的指標(biāo)之一，Zuccala A等[8]、Zhou Qingqing等[9]先后使用不同評論平臺的讀者書評進(jìn)行了圖書影響力評價研究。Kousha K、Thelwall M等[10-12]提出并證實(shí)了許多評價期刊論文的Altmetric指標(biāo)可用于評價圖書，如：Google book citations(谷歌圖書引文)、Libcitations(館藏)、Online reviews(在線書評)、Publisher prestige(出版者聲望)等。Torres-Salinas D等使用文獻(xiàn)計量學(xué)軟件證實(shí)了涵蓋圖書館館藏、瀏覽量、下載量及引用量等18個補(bǔ)充計量指標(biāo)與傳統(tǒng)計量指標(biāo)的互補(bǔ)性[13]。

國內(nèi)在著作評價的指標(biāo)與模型研究方面，葉繼元[14]提出“形式評價、內(nèi)容評價、效用評價”三維全評價法。李雁翎[15]提出作者、出版社、圖書館、銷售和網(wǎng)絡(luò)輿情五維圖書綜合評價體系。張玉[16]利用層次分析法構(gòu)建了包括引用、網(wǎng)絡(luò)書評、圖書利用，基金、獲獎等指標(biāo)的科技圖書學(xué)術(shù)影響力評價體系。姜春林[17]以資源形式指標(biāo)、影響形式指標(biāo)、引用價值指標(biāo)、圖書館館藏指標(biāo)、網(wǎng)絡(luò)利用指標(biāo)構(gòu)建了人文社科著作影響力評價指標(biāo)體系；利用SSCI和A&HCI數(shù)據(jù)對近30年全球人文社科書評的特征和趨勢進(jìn)行了分析[18]；王偉[19]以圖書館藏、圖書引用、圖書獲獎、著者學(xué)術(shù)成就等指標(biāo)構(gòu)建了人文社會科學(xué)外譯圖書評價指標(biāo)體系，并利用熵權(quán)法進(jìn)行了實(shí)證分析。

從已有文獻(xiàn)來看，國內(nèi)外對學(xué)術(shù)著作的定性評價多采用書評和專家評價法；書評作為同行評議的依據(jù)在國外得到了一定認(rèn)可。國內(nèi)以客觀數(shù)據(jù)為依據(jù)的定量評價得到較多關(guān)注，其中應(yīng)用最廣的是引文分析法。目前對于著作評價主要集中于書評分析、書目分析和引文分析，較多依賴單個指標(biāo)和單維度評價，基于多維度的著作綜合評價研究相對較少。

2 指標(biāo)體系構(gòu)建

2.1構(gòu)建原則隨著人文社會科學(xué)研究范圍日益擴(kuò)大，影響研究成果的因素愈加復(fù)雜，給學(xué)術(shù)專著評價工作帶來更大挑戰(zhàn)。科學(xué)、客觀、公正地對人文社會科學(xué)研究成果進(jìn)行評價是當(dāng)前的緊要之需。為保證學(xué)術(shù)專著評價的結(jié)果更具科學(xué)性、合理性與公正性，所構(gòu)建的評價指標(biāo)體系需遵循科學(xué)性原則，數(shù)據(jù)透明原則，可比、可操作、可量化原則等。

2.2指標(biāo)選取通過閱讀統(tǒng)計大量文獻(xiàn)，總結(jié)現(xiàn)有著作評價方法及指標(biāo)，發(fā)現(xiàn)現(xiàn)有的著作評價方法大致分為形式層面評價方法和內(nèi)容層面評價方法，形式層面評價方法主要為文獻(xiàn)計量學(xué)和補(bǔ)充計量學(xué)(Altmetrics)兩大類，文獻(xiàn)計量學(xué)的主要評價指標(biāo)大致包括獲獎情況、基金資助情況、引用情況、傳統(tǒng)使用情況(如館藏量、銷量、再版次數(shù)等)等。補(bǔ)充計量學(xué)的主要評價指標(biāo)大致包括社交媒體的提及次數(shù)、評論數(shù)、電子文庫的下載量、瀏覽量等；內(nèi)容層面評價方法主要為引用內(nèi)容分析法和著作內(nèi)容綜合評價法，引用內(nèi)容分析法的主要評價指標(biāo)大致包括引用位置、引用篇幅等，著作內(nèi)容綜合評價法的主要評價指標(biāo)大致包括書評、媒體宣傳、閱讀推廣、銷售平臺導(dǎo)讀等?？傮w來講，形式層面評價雖具有易于操作、可量化、效率高等優(yōu)勢，但同時也存在忽視著作內(nèi)容、核心價值、知識貢獻(xiàn)評價的缺陷；相反，內(nèi)容層面評價方法雖然從著作內(nèi)容出發(fā)，一定程度上能揭示著作的核心價值和知識貢獻(xiàn)，但存在主觀性強(qiáng)、可操作性不強(qiáng)、費(fèi)時費(fèi)力等缺陷，兩類評價方法各有優(yōu)缺點(diǎn)且呈互補(bǔ)關(guān)系。在對人文社科著作進(jìn)行評價時，既要注重利用領(lǐng)域?qū)＜业膶I(yè)知識對著作內(nèi)容質(zhì)量和學(xué)術(shù)價值進(jìn)行評判，也要力求用客觀數(shù)據(jù)來刻畫著作影響力?；趯ι鲜鲂问郊皟?nèi)容指標(biāo)的理論可靠性、可量化性、可獲得性、時效性等多方面考量，綜合選取了包含形式評價與內(nèi)容評價指標(biāo)在內(nèi)的著作外部資源、著作被引、基金與獎勵、書評、著作利用五個一級指標(biāo)。每個一級指標(biāo)下設(shè)不同的二級指標(biāo)，二級指標(biāo)下設(shè)三級指標(biāo)，最終構(gòu)建的人文社科學(xué)術(shù)著作評價指標(biāo)體系、指標(biāo)內(nèi)涵及數(shù)據(jù)來源如表1所示，其中學(xué)科屬性作為屬性指標(biāo)，不加入綜合評分計算。

表1 中文人文社科學(xué)術(shù)著作評價指標(biāo)體系及內(nèi)涵

2.3指標(biāo)賦權(quán)本文對人文社科學(xué)術(shù)著作進(jìn)行了學(xué)科分類。根據(jù)不同指標(biāo)的學(xué)科差異，結(jié)合專家調(diào)查法和層次分析法，確定不同學(xué)科分類評價指標(biāo)的主觀權(quán)重。利用熵權(quán)法確定各學(xué)科分類評價指標(biāo)的客觀權(quán)重，最后綜合主客觀權(quán)重值得到最終組合權(quán)重。

2.3.1 學(xué)科分類 任何一本著作都有其特定的研究內(nèi)容及所屬學(xué)科，不同學(xué)科類別的著作在研究內(nèi)容及特性上存在巨大差異，難以用統(tǒng)一標(biāo)準(zhǔn)進(jìn)行衡量與評估，但是同一類別內(nèi)的不同學(xué)科由于其具有相似的知識屬性和研究范式往往呈現(xiàn)相似的學(xué)科特征。以高校人文社科獎第三屆至第七屆獲著作獎的27個學(xué)科的2175本著作為獲獎著作指標(biāo)特征分析的實(shí)驗(yàn)樣本數(shù)據(jù)。本文綜合考慮國家標(biāo)準(zhǔn)學(xué)科分類、人才培養(yǎng)學(xué)科目錄、人文社科獎獲獎著作的中圖分類，將高校人文社科獎受理范圍設(shè)置的28個學(xué)科分為人文類，社科類、綜合類三大類進(jìn)行分類分析，具體分類如表2所示。

表2 高校人文社科獎受理學(xué)科分類表

2.3.2 主觀賦權(quán) 在評價指標(biāo)確定后，邀請對該研究領(lǐng)域有一定研究和認(rèn)識的專家和從業(yè)人員開展調(diào)查，對指標(biāo)因素的相對重要性進(jìn)行評估。按照著作學(xué)科類型不同，分類型開展評價，并用T.L.Saaty l-9標(biāo)度值表示出來，收集10位評價專家的打分表計算平均值并取整，然后使用層次分析法對打分結(jié)果進(jìn)行權(quán)重計算，最終得出的主觀權(quán)重如表3所示。

表3 不同學(xué)科類別著作評價指標(biāo)體系主觀權(quán)重表

2.3.3 客觀賦權(quán) 本文采用熵權(quán)法進(jìn)行客觀權(quán)重的計算，主要根據(jù)指標(biāo)數(shù)值的離散程度對各項(xiàng)指標(biāo)進(jìn)行賦權(quán)。首先使用離差標(biāo)準(zhǔn)化法對2 175個樣本的28個指標(biāo)的樣本數(shù)據(jù)進(jìn)行歸一化處理，然后計算信息熵、信息冗余度等，最終使用熵權(quán)法計算得出的客觀權(quán)重，如表4所示。

表4 不同學(xué)科類別著作評價指標(biāo)體系客觀權(quán)重

2.3.4 組合賦權(quán) 主觀賦權(quán)雖然可以集思廣益，但是存在受人為因素影響較大的缺陷，客觀賦權(quán)可以規(guī)避人為因素影響帶來的偏差，但是存在過于依賴樣本、無法體現(xiàn)評價主體對不同指標(biāo)重視程度的缺陷，故本文采用乘積法計算組合權(quán)重以彌補(bǔ)單一賦權(quán)帶來的不足，具體計算方式見公式(1)，最終構(gòu)建的不同學(xué)科分類的人文社科學(xué)術(shù)著作評價指標(biāo)體系如表5所示。

表5 人文社科學(xué)術(shù)著作評價指標(biāo)體系

續(xù)表5 人文社科學(xué)術(shù)著作評價指標(biāo)體系

(1)

其中，rj為主觀賦權(quán)權(quán)重，w'j為客觀賦權(quán)權(quán)重，m為指標(biāo)數(shù)。

3 實(shí)證驗(yàn)證

3.1數(shù)據(jù)來源與數(shù)據(jù)處理第八屆高等學(xué)?？茖W(xué)研究優(yōu)秀成果獎(人文社會科學(xué))于2019年1月開始申報，受理范圍為2014-2017年，受理學(xué)科為27個。根據(jù)其審核結(jié)果公示，共計有9 405項(xiàng)申報成果符合申報要求。本文以哲學(xué)(206項(xiàng))、社會學(xué)(88項(xiàng))、管理學(xué)(324項(xiàng))，去除英文著作16項(xiàng)，多卷本25項(xiàng)，剩余哲學(xué)(179項(xiàng))、社會學(xué)(83項(xiàng))、管理學(xué)(315項(xiàng))共577項(xiàng)申報成果為本文實(shí)證對象。以申報著作的名稱、著者、出版年份及出版社作為源數(shù)據(jù)，從中國國家數(shù)字圖書館及中央宣傳部出版物數(shù)據(jù)中心上獲取該著作的ISBN號，從CSSCI上獲取該著作的被引次數(shù)；使用ISBN號為源數(shù)據(jù)從讀秀數(shù)據(jù)庫上獲取該著作的館藏數(shù)量、總被引次數(shù)、被圖書引用次數(shù)，并獲取該著作的豆瓣評論、當(dāng)當(dāng)圖書評論以及暢想之星電子圖書館的閱讀、薦購、下載、收藏次數(shù)。并以前期對期刊書評、報紙書評的數(shù)據(jù)集為數(shù)據(jù)庫，獲取該著作的報紙書評和期刊書評數(shù)據(jù)。

3.2實(shí)證驗(yàn)證以哲學(xué)、社會學(xué)、管理學(xué)作為人文類學(xué)科、社會類學(xué)科和綜合類學(xué)科的代表，根據(jù)構(gòu)建好的指標(biāo)體系和標(biāo)準(zhǔn)化后的樣本數(shù)據(jù)計算綜合評分并排序，預(yù)測可能獲獎的著作。本研究將利用本指標(biāo)體系計算出的各學(xué)科申報成果綜合得分排名前20% 左右的申報成果記為擬定獲獎成果，前2% 記為一等獎，將排名前3%～12% 記為二等獎，將排名前13%～17% 記為三等獎，其后將根據(jù)本體系得出的獲獎名單與實(shí)際獲獎名單對照分析，以證實(shí)本體系的有效性與可行性。

3.2.1 人文類著作評價指標(biāo)體系驗(yàn)證結(jié)果 第八屆高校人文社科獎的申報項(xiàng)目中哲學(xué)類中文單行本著作成果共計179項(xiàng)，根據(jù)本指標(biāo)體系預(yù)測獲獎著作30本，其中一等獎4本，二等獎17本，三等獎9本，評獎辦根據(jù)其評審辦法評審獲獎30本，其中一等獎3本，二等獎18本，三等獎9本，預(yù)測獲獎著作與實(shí)際獲獎著作對照如表6所示。其中是否獲獎預(yù)測與實(shí)際一致的共計14本，獲獎等級預(yù)測與實(shí)際一致的共計9本，預(yù)測獲獎著作的綜合評價結(jié)果與著作實(shí)際獲獎結(jié)果具有較高的相關(guān)性，個別著作的預(yù)測評價結(jié)果與實(shí)際獲獎結(jié)果差異較大，這與人文社科學(xué)術(shù)成果獎評審過程中可能出現(xiàn)的主觀傾向與人為平衡現(xiàn)象有關(guān)。

表6 哲學(xué)預(yù)測獲獎著作VS實(shí)際獲獎著作

續(xù)表6 哲學(xué)預(yù)測獲獎著作VS實(shí)際獲獎著作

從綜合評價結(jié)果來看，根據(jù)本評價指標(biāo)體系獲得的人文類著作排名結(jié)果及預(yù)測獲獎結(jié)果與實(shí)際獲獎結(jié)果之間相關(guān)度較高，具有合理性。獲得一等獎的《仁學(xué)本體論》其綜合評分也穩(wěn)居第一位，其它兩本獲得一等獎的論著其綜合排名分別處于第37、54位，也處于較高排名，獲得二等獎的論著其綜合排名大部分處于70位之前，只有個別處于100位以上，這與論著的研究主題及著作類型均有一定的關(guān)系。獲得三等獎的論著其排序也均在80位之前，無異常數(shù)值。

3.2.2 社科類著作評價指標(biāo)體系驗(yàn)證結(jié)果 第八屆高校人文社科獎的申報項(xiàng)目中社會學(xué)類中文單行本著作成果共計83項(xiàng)，根據(jù)本指標(biāo)體系預(yù)測獲獎著作14本，其中一等獎2本，二等獎8本，三等獎4本；評獎辦根據(jù)其評審辦法評審獲獎14本，其中一等獎3本，二等獎9本，三等獎2本，預(yù)測獲獎著作與實(shí)際獲獎著作對照如表7所示。其中是否獲獎預(yù)測與實(shí)際一致的共計7本，獲獎等級預(yù)測與實(shí)際一致的共計5本，預(yù)測獲獎著作的綜合評價結(jié)果與著作實(shí)際獲獎結(jié)果具有較高的相關(guān)性。雖然個別著作的預(yù)測評價結(jié)果與實(shí)際獲獎結(jié)果差異較大，也恰恰說明學(xué)術(shù)著作評價的復(fù)雜性和一定程度的不確定性。

表7 社會學(xué)預(yù)測獲獎著作VS實(shí)際獲獎著作

續(xù)表7 社會學(xué)預(yù)測獲獎著作VS實(shí)際獲獎著作

從綜合評價結(jié)果來看，根據(jù)本評價指標(biāo)體系得出的社科類著作排名結(jié)果及預(yù)測獲獎結(jié)果與實(shí)際獲獎結(jié)果之間相關(guān)度較高，具有合理性。獲得一等獎的《當(dāng)代中國的階層結(jié)構(gòu)分析》其綜合評分也穩(wěn)居第一位，其它兩本獲得一等獎的論著其綜合排名分別處于第34、40位，也處于較高排名，獲得二等獎的論著其綜合排名大部分處于40位之前，只有個別處于50位以上，這與論著的研究主題及著作類型均有一定的關(guān)系。獲得三等獎的論著其排序分別為14、46位，也處于較高排名。

3.2.3 綜合類著作評價指標(biāo)體系驗(yàn)證結(jié)果 第八屆高校人文社科獎的申報項(xiàng)目中管理學(xué)類中文單行本著作成果共計315項(xiàng)，根據(jù)本指標(biāo)體系預(yù)測獲獎著作54本，其中一等獎6本，二等獎32本，三等獎16本；評獎辦根據(jù)其評審辦法評審獲獎56本，其中一等獎7本，二等獎38本，三等獎11本，預(yù)測獲獎著作與實(shí)際獲獎著作對照如表8所示(由于篇幅限制，本文只列出了綜合得分排名TOP30的著作)。其中是否獲獎預(yù)測與實(shí)際一致的共計12本，獲獎等級預(yù)測與實(shí)際一致的共計3本，預(yù)測獲獎著作的綜合評價結(jié)果與著作實(shí)際獲獎結(jié)果的相關(guān)性并不高，這其中存在多方面的原因。因?yàn)楣芾韺W(xué)等綜合類學(xué)術(shù)著作多偏向于應(yīng)用型學(xué)術(shù)著作，對于此類著作評審時，是否有決策被采納這一指標(biāo)應(yīng)該占有重要比重，但是在本指標(biāo)體系中這一指標(biāo)數(shù)據(jù)難以采集，故在構(gòu)建指標(biāo)體系中并未添加這一指標(biāo)。在實(shí)際評審過程中應(yīng)當(dāng)由申報人提交是否有意見被采納、采納部門及佐證材料等輔助評審，其次也可能存在學(xué)術(shù)成果獎項(xiàng)評審過程中主觀判斷與人為平衡現(xiàn)象。

表8 管理學(xué)預(yù)測獲獎著作(TOP30)VS實(shí)際獲獎著作

續(xù)表8 管理學(xué)預(yù)測獲獎著作(TOP30)VS實(shí)際獲獎著作

從綜合評價結(jié)果來看，根據(jù)本指標(biāo)體系得到的綜合類著作排名結(jié)果及預(yù)測獲獎結(jié)果與實(shí)際獲獎結(jié)果之間并無顯著相關(guān)性，此類著作獲獎評審更加著重于其應(yīng)用價值。獲得一等獎的《中國土地和礦產(chǎn)資源有效供給與高效配置機(jī)制研究》《土地整治規(guī)劃設(shè)計研究》《扶貧開發(fā)與區(qū)域發(fā)展——我國特困地區(qū)的貧困與扶貧策略研究》等其研究主題都與現(xiàn)下社會熱點(diǎn)問題息息相關(guān)，且對于國家相關(guān)部門解決具體問題具有一定的參考借鑒作用；獲得二等獎的《中國農(nóng)村養(yǎng)老保險體系框架與適度水平》《中國社會保障稅稅收設(shè)計研究》《基于博弈論和CGE模型的碳稅政策研究》《企業(yè)創(chuàng)新生態(tài)系統(tǒng)論》等學(xué)術(shù)著作，其研究問題多為社會或是企業(yè)管理長期關(guān)注問題，且為這些問題的解決提供了適當(dāng)?shù)膮⒖冀ㄗh。

4 結(jié)論與討論

總體來看，人文類與社科類學(xué)術(shù)著作綜合排序及預(yù)測獲獎結(jié)果與實(shí)際獲獎結(jié)果一致性較高。當(dāng)然也有些不一致的地方，其原因是多方面的。首先，由于著作的類型不同，部分著作由于被指定為教材或教輔讀物，其圖書利用率可能會受此影響；其次，由于著作的研究主題不同，被引或被利用的頻率與其研究主題是否為熱門主題有很大關(guān)系，但不可否認(rèn)非熱點(diǎn)研究話題的學(xué)術(shù)價值與社會價值；再次，由于不同著作的出版時間不同，部分指標(biāo)可能會受時間因素的影響。例如出版較早的著作在參評時比出版較晚的著作更具優(yōu)勢。不過體系中添加年均被引來平衡這一差異，且著作評審時間一般都過了著作被引高峰。如第八屆申報時間為2019年，參評成果范圍為2014-2017年出版的著作，而被引高峰一般發(fā)生在其出版的第二年；此外，由于指標(biāo)體系中的多數(shù)指標(biāo)數(shù)據(jù)是來自搜索引擎的搜索結(jié)果，偶然出現(xiàn)的錯檢、漏檢現(xiàn)象可能會對評價結(jié)果有一定的影響。由于學(xué)者的工作單位不是一成不變，本研究中雖然在智能采集后進(jìn)行了人工辨別，但是難免會有紕漏；最后，學(xué)術(shù)著作獲獎與否一定程度上受到人為因素的干擾，如不同科研機(jī)構(gòu)之間獲獎數(shù)額的平衡以及著者學(xué)術(shù)地位的影響等?？傮w來說，本研究所構(gòu)建的評價指標(biāo)體系對人文類和社科類學(xué)術(shù)著作評審具有一定的合理性與可操作性，可以作為著作類學(xué)術(shù)成果獎項(xiàng)評審時的參考依據(jù)，可經(jīng)過不斷的實(shí)踐檢驗(yàn)而逐步完善，以降低僅依賴專家評審的時間成本及經(jīng)濟(jì)成本，提高評獎過程的客觀性。

綜合類學(xué)術(shù)著作綜合排序及預(yù)測獲獎結(jié)果與實(shí)際獲獎結(jié)果相關(guān)性不高，其主要原因在于綜合類學(xué)術(shù)著作偏向于應(yīng)用型的學(xué)術(shù)著作更多，在此類著作評審時，可將決策建議被采納作為主要評審指標(biāo)，本文由于數(shù)據(jù)采集難度大并未添加這一指標(biāo)。在綜合類學(xué)術(shù)著作評審時可由申報者提供是否有決策建議被采納的相關(guān)佐證材料。本指標(biāo)體系的評審結(jié)果可為此類著作評審提供參考作用，幫助評判著作的學(xué)術(shù)影響力及部分社會影響力。

學(xué)術(shù)評價是一項(xiàng)高度復(fù)雜和極具挑戰(zhàn)性的工作，任何評價方法都不可能十全十美。學(xué)術(shù)著作評價的關(guān)鍵除了構(gòu)建科學(xué)合理的評價方法體系，還需要構(gòu)建與評價方法相適應(yīng)的評價治理體系。在著作類成果評價治理體系中直接或間接存在多種顯在和潛在的委托代理關(guān)系。如高校人事部門與評聘委員會、文獻(xiàn)數(shù)據(jù)提供者、學(xué)會協(xié)會、出版社就是委托代理關(guān)系。委托代理關(guān)系的存在與運(yùn)行或者需要建立一套正式制度，通過制度契約來保障雙方責(zé)任的履行，如著作評價的正式文件；或者通過潛在的非正式的心理契約來履約，如專家聲譽(yù)和第三方機(jī)構(gòu)獨(dú)立性。為降低評價“交易成本”，避免“合謀”，有必要建立信息公開和監(jiān)督機(jī)制；為了實(shí)現(xiàn)評價的公信力，有必要建立結(jié)果公示機(jī)制、反饋機(jī)制、爭議投訴機(jī)制。在評價治理體系的建構(gòu)中，要注意發(fā)揮專家同行評議和科學(xué)計量評價方法各自優(yōu)勢。

專門的書評書目數(shù)據(jù)庫對于著作評價體系完善有著積極的推動作用。我國需要盡快推動專業(yè)機(jī)構(gòu)或者數(shù)字企業(yè)建立包括報紙書評、期刊書評、社交媒體書評、著作序跋在內(nèi)的專業(yè)書評索引庫，以更好地支撐學(xué)術(shù)研究、服務(wù)學(xué)術(shù)評價和科研管理。國內(nèi)可借鑒美國 Book Review Digest 和 Technical Book Review Index 綜合類和專業(yè)類書評索引建設(shè)經(jīng)驗(yàn)，依托有影響力的數(shù)據(jù)公司及學(xué)術(shù)評價機(jī)構(gòu)建立我國的專業(yè)書評數(shù)據(jù)庫和索引庫。

當(dāng)前國內(nèi)外部分學(xué)者正致力于基于全文本分析的引文指標(biāo)的研究，試圖使用技術(shù)手段使學(xué)術(shù)評價中關(guān)于內(nèi)容的評價更加可視化，即通過施引文獻(xiàn)全文數(shù)據(jù)的獲取、引用信息識別、引用語境識別、引文指標(biāo)計算等方式，分析被引文獻(xiàn)在施引文獻(xiàn)中的引用次數(shù)、引用位置及引用語境等，從而分析被引文獻(xiàn)在施引文獻(xiàn)中的作用，但是這一方法多用于論文評價，由于著作體量大及技術(shù)手段限制，較少被用于著作評價。隨著技術(shù)手段的跟進(jìn)，此類指標(biāo)的加入將使學(xué)術(shù)著作評價指標(biāo)體系得以進(jìn)一步完善。