澳大利亞科研評價(jià)體系的演變、特點(diǎn)與啟示

趙 勇，張靈閣，韓明杰，李晨英

(1.中國農(nóng)業(yè)大學(xué)圖書館，北京 100193；2.中國科學(xué)技術(shù)信息研究所，北京 100038)

澳大利亞科研評價(jià)體系的演變、特點(diǎn)與啟示

趙 勇1，2，張靈閣1，韓明杰1，李晨英1

(1.中國農(nóng)業(yè)大學(xué)圖書館，北京 100193；2.中國科學(xué)技術(shù)信息研究所，北京 100038)

本文對澳大利亞科研評價(jià)體系的演變過程進(jìn)行了調(diào)研，從評價(jià)目標(biāo)、評價(jià)內(nèi)容、評價(jià)方法、評價(jià)專家遴選等方面分析澳大利亞現(xiàn)行的科研評價(jià)體系ERA的特點(diǎn)及帶來的啟示，旨在為中國高?？蒲性u價(jià)體系的改革與完善提供參考。

科研評價(jià)；澳大利亞；ERA；高等院校

20世紀(jì)90年代以來，為了加強(qiáng)科研管理、推進(jìn)科技創(chuàng)新，中國許多學(xué)術(shù)科研機(jī)構(gòu)都將研究成果的產(chǎn)出作為核心評價(jià)內(nèi)容，以簡單的統(tǒng)計(jì)方法為主要評價(jià)手段，通過量化規(guī)定研究成果的等級，計(jì)算研究成果的數(shù)量，并根據(jù)成果的不同等級賦予不同的分值，再依據(jù)分值給予獎勵和報(bào)酬[1]。這種被西方學(xué)者稱為 “麥當(dāng)勞化”的簡捷科研管理方法在一段時(shí)期內(nèi)推動了中國科研事業(yè)的發(fā)展，最為顯著的表現(xiàn)是:中國在國際學(xué)術(shù)期刊上發(fā)表的科技論文數(shù)量呈現(xiàn)快速增長的趨勢，到2010年，中國SCI論文數(shù)在世界的排名從1987年第28位，一躍至世界第2位[2]。然而，這種以科研產(chǎn)出數(shù)量為導(dǎo)向的評價(jià)機(jī)制長期運(yùn)行下去，容易造成研究人員創(chuàng)新積極性的下降、科技成果轉(zhuǎn)化渠道的不暢，甚至可能導(dǎo)致科研領(lǐng)域一些急功近利和不端行為的滋生[3]。

2013年底至今，教育部先后印發(fā)了 《關(guān)于深化高等學(xué)校科技評價(jià)改革的意見》、 《高等學(xué)?？萍挤诸愒u價(jià)指標(biāo)體系及評價(jià)要點(diǎn)》、 《關(guān)于開展高等學(xué)?？萍荚u價(jià)改革試點(diǎn)的通知》三份文件對高校科研評價(jià)改革進(jìn)行指導(dǎo)，重點(diǎn)是 “要堅(jiān)持分類評價(jià)、推行開放評價(jià)，通過評價(jià)導(dǎo)向和政策手段，將高校學(xué)者的興趣和目標(biāo)聚焦到經(jīng)濟(jì)社會發(fā)展的重大需求上去”。而在此之前，歐美等發(fā)達(dá)國家也已在大力推進(jìn)本國的科研評價(jià)活動，如澳大利亞政府在參考英國 “科研水平評估 (RAE)”和新西蘭 “高?？冃Э蒲谢?(PBRF)”經(jīng)驗(yàn)的基礎(chǔ)上，于2007年提出了 “澳大利亞科研卓越計(jì)劃 (Excellence in Research for Australia，ERA)”，2010年和2012年對ERA進(jìn)行了兩次評價(jià)，2015年將進(jìn)行新一輪的科研評價(jià)。本研究主要是對澳大利亞科研評價(jià)體系的演變過程進(jìn)行調(diào)研，采用內(nèi)容分析方法，重點(diǎn)提煉澳大利亞現(xiàn)行的科研評價(jià)體系ERA中的核心要素，如評價(jià)目標(biāo)、評價(jià)內(nèi)容、評價(jià)方法、評價(jià)專家的遴選等，深入剖析ERA科研評價(jià)體系的特點(diǎn)，進(jìn)而獲得經(jīng)驗(yàn)和啟示，為中國高?？蒲性u價(jià)體系的改革與完善提供參考。

1 澳大利亞科研評價(jià)體系的演變

澳大利亞科研評價(jià)體系是由政府主導(dǎo)，評價(jià)結(jié)果可以影響各個(gè)參評高校科研經(jīng)費(fèi)的分配金額，從時(shí)序上看主要經(jīng)歷了以下四個(gè)階段的演變。

(1)20世紀(jì)70-80年代:統(tǒng)一科研與教育經(jīng)費(fèi)分配體系，基于科研量進(jìn)行績效評價(jià)。

1974年，澳大利亞廢止了由各州分擔(dān)大學(xué)經(jīng)費(fèi)的制度，改由聯(lián)邦政府負(fù)擔(dān)起本國高等教育機(jī)構(gòu)所有經(jīng)費(fèi)的職責(zé)。1977年，澳大利亞成立了“聯(lián)邦高等教育委員會 (Commonwealth Tertiary Education Commission，CTEC)”，具體負(fù)責(zé)教育和科研經(jīng)費(fèi)資助的相關(guān)事宜。此后經(jīng)過十余年的發(fā)展，澳大利亞逐步形成了針對科研型大學(xué)和高等教育學(xué)院的二元經(jīng)費(fèi)資助機(jī)制。但這種機(jī)制中存在的問題也引起了科技主管部門的關(guān)注。1987年，“澳大利亞科學(xué)技術(shù)委員會 (Australian Science and Technology Council，ASTEC)”向當(dāng)時(shí)的鮑勃·霍克政府建議引入競爭機(jī)制來更好地分配科研經(jīng)費(fèi)資源，同時(shí)建議成立更加獨(dú)立的 “澳大利亞研究委員會 (Australian Research Council，ARC)”來負(fù)責(zé)管理[4]。

1987年，澳大利亞聯(lián)邦政府成立了就業(yè)、教育與培訓(xùn)部，并廢止了聯(lián)邦高等教育委員會。時(shí)任部長道金斯 (J.Dawkins)在教育綠皮書 《高等教育:政策討論書》及隨后在1988年公布的教育白皮書 《高等教育:政策聲明》中宣布廢止給予大學(xué)和高等教育學(xué)院不同經(jīng)費(fèi)待遇的二元制度，而由全國統(tǒng)一體系 (Unified National System，UNS)代替，并成立澳大利亞研究委員會 (ARC)負(fù)責(zé)科研經(jīng)費(fèi)的分配事宜。根據(jù)道金斯的改革方案，新的科研經(jīng)費(fèi)分配機(jī)制主要包括:一是通過ARC等部門評估，進(jìn)行科研項(xiàng)目撥款；二是設(shè)立澳大利亞研究生科研獎學(xué)金，支持高校的教育培訓(xùn)；三是基于科研量 (Research Quantum，RQ)進(jìn)行績效評價(jià)。

(2)20世紀(jì)90年代:確立科研評價(jià)的主導(dǎo)機(jī)構(gòu)，以綜合指數(shù)作為評價(jià)標(biāo)準(zhǔn)。

1993年，澳大利亞政府決定對科研量這一評價(jià)指標(biāo)進(jìn)行重新設(shè)計(jì)。1995年， “綜合指數(shù)(Composite Index)”被提出并應(yīng)用到澳大利亞高?？蒲性u價(jià)中，綜合指數(shù)包括測度科研投入和科研產(chǎn)出兩個(gè)方面?？蒲型度胫饕獪y度高校獲得的科研經(jīng)費(fèi)數(shù)量，權(quán)重占82.5%；而科研產(chǎn)出主要測度學(xué)術(shù)出版物數(shù)量，權(quán)重占12.5%，以及授予碩士和博士學(xué)位數(shù)量，權(quán)重占5%。同時(shí)，依據(jù)科研經(jīng)費(fèi)來源和學(xué)術(shù)出版物形式，進(jìn)行更細(xì)化的權(quán)值分配。1999年，澳大利亞政府發(fā)布了 《知識與創(chuàng)新:研究和研究培訓(xùn)的政策聲明》白皮書，明確要求ARC作為獨(dú)立機(jī)構(gòu)對澳大利亞的科研績效進(jìn)行國際比較，同時(shí)評估國家科研資助的成效[5]。為此，ARC負(fù)責(zé)實(shí)施了科研機(jī)構(gòu)資助計(jì)劃 (IGS)和研究培訓(xùn)計(jì)劃 (RTS)兩個(gè)以績效評價(jià)為基礎(chǔ)的政府資助項(xiàng)目。

在綜合指數(shù)評價(jià)的影響下，澳大利亞高校越來越重視Web of Science數(shù)據(jù)庫收錄論文的發(fā)表數(shù)量。1992—1996年，澳大利亞科研產(chǎn)出量每年至少提升8%，發(fā)表SCI論文每年增長2%。但是，澳大利亞的科研影響力卻在下降。在1988—1993年，澳大利亞發(fā)表論文的引用率在OECD國家中從第6位下滑至第11位，雖然科研人員發(fā)表的論文數(shù)量上升，但其平均引用影響 (Citation Impact)卻在下降[6]。

(3)21世紀(jì)初:學(xué)習(xí)英國的科研評價(jià)經(jīng)驗(yàn)，嘗試設(shè)計(jì)科研質(zhì)量評價(jià)框架。

針對綜合指數(shù)評價(jià)存在的問題，澳大利亞政府希望學(xué)習(xí)英國的高?？蒲性u估 (Research Assessment Exercise，RAE)，建立本國的科研評價(jià)體系。2004年，澳大利亞政府的 “外部智囊團(tuán) (External Reference Group，ERG)”發(fā)布了 《知識與創(chuàng)新評價(jià)改革咨詢報(bào)告》，指出政府的科研經(jīng)費(fèi)分配要基于同行專家對各所大學(xué)整體科研成就的評判，建議吸收英國RAE評估體系的經(jīng)驗(yàn)，設(shè)計(jì)新的科研質(zhì)量評價(jià)體系[7]。同年，時(shí)任澳大利亞總理霍華德 (J.Howard)宣布將構(gòu)建科研評價(jià)體系作為“澳大利亞能力支撐計(jì)劃 (Backing Australia's Ability，BAA)”的一部分[8]。為此，政府成立了專家咨詢小組，并聘請英國RAE負(fù)責(zé)人Gareth Roberts教授擔(dān)任組長，設(shè)計(jì)澳大利亞的科研質(zhì)量框架(Research Quality Framework，RQF)。

RQF的主要目的是改進(jìn)公共資金資助項(xiàng)目的質(zhì)量和影響力評價(jià)，具體包括:①保證公眾對政府科研投入產(chǎn)出的知情權(quán)，增加政府管理的透明度；②提高科研經(jīng)費(fèi)資助方和受資方對科研質(zhì)量的關(guān)注；③避免給科研機(jī)構(gòu)帶來過高的評估成本和行政負(fù)擔(dān)；④為將來的科研經(jīng)費(fèi)分配提供依據(jù)。根據(jù)專家咨詢小組發(fā)布的 《RQF工作報(bào)告》[9]，RQF將對科研的質(zhì)量及其影響力進(jìn)行科學(xué)評價(jià)，對于科研影響力的評價(jià)將同時(shí)關(guān)注學(xué)術(shù)影響力和學(xué)術(shù)外影響力。其中，學(xué)術(shù)外影響力主要是評價(jià)科研對社會的貢獻(xiàn)，包括科研帶來的經(jīng)濟(jì)效益、生態(tài)效益和社會效益。2005年，根據(jù)澳大利亞教育大臣Brendan Nelson的要求，全部的IGS項(xiàng)目以及一半的RTS項(xiàng)目將基于RQF評價(jià)結(jié)果進(jìn)行資金分配，RQF的首次評價(jià)原計(jì)劃于2008年啟動。

(4)2008年至今:新政府確立新的科研評價(jià)體系，科研卓越計(jì)劃正式實(shí)施。

2007年11月，澳大利亞工黨在政府大選中獲勝，新政府于2008年宣布以ERA來取代RQF。由于ERA在評價(jià)方法上對RQF進(jìn)行了改進(jìn)，因此得到廣泛認(rèn)可。RQF主要是以 “系 (Research Groups)”為單位進(jìn)行評價(jià)，每所高校選擇4個(gè)優(yōu)勢系為代表，進(jìn)而評價(jià)學(xué)校的科研質(zhì)量，而ERA則將對澳大利亞高校所有學(xué)科的科研活動進(jìn)行評價(jià)。

2008年3月，在澳大利亞全國高校會議上，科研與創(chuàng)新大臣Kim Carr對政府取消RQF的目的進(jìn)行了說明，主要原因包括:一方面是ERA在澳大利亞科研國際水平測度上具有重要作用，另一方面是ERA可以發(fā)現(xiàn)澳大利亞科研的潛在優(yōu)勢領(lǐng)域，可以為未來的經(jīng)費(fèi)分配提供參考[10]。同時(shí)，Carr強(qiáng)調(diào)構(gòu)建公平、公正、透明的ERA體系離不開科研人員的支持，并提出在ERA體系成熟之前，不會將評價(jià)結(jié)果與科研經(jīng)費(fèi)的分配相掛鉤。同年，政府宣布澳大利亞研究委員會 (ARC)將負(fù)責(zé)ERA的設(shè)計(jì)與管理。2009年，ERA首先對 “物理和化學(xué)”、“人文與藝術(shù)科學(xué)”兩個(gè)學(xué)科群進(jìn)行了試驗(yàn)性評價(jià)，2010年開始面向澳大利亞高校的所有學(xué)科實(shí)施評價(jià)。

2 澳大利亞現(xiàn)行科研評價(jià)體系的特點(diǎn)

從評價(jià)目的、評價(jià)內(nèi)容、評價(jià)方法、評價(jià)專家等科研評價(jià)體系的核心要素上來解構(gòu)和剖析，澳大利亞現(xiàn)行的ERA科研評價(jià)體系具有以下特點(diǎn)。

(1)以提升科研質(zhì)量為評價(jià)目標(biāo)，逐步擴(kuò)大評價(jià)結(jié)果決定科研撥款金額的比例。

ERA主要是對澳大利亞高等教育機(jī)構(gòu)的科研活動各個(gè)方面進(jìn)行質(zhì)量評價(jià)，具體目標(biāo)包括:①通過評價(jià)確保澳大利亞高等教育機(jī)構(gòu)的科研質(zhì)量滿足政府、企業(yè)和社會的要求；②盤點(diǎn)澳大利亞高等教育機(jī)構(gòu)在各學(xué)科領(lǐng)域中的研究優(yōu)勢，發(fā)現(xiàn)研究潛力；③保證科研績效產(chǎn)出最大化；④發(fā)現(xiàn)未來可能發(fā)展的新興研究領(lǐng)域；⑤使澳大利亞各學(xué)科領(lǐng)域的科學(xué)研究具有國內(nèi)外可比性。

目前，ERA的評價(jià)結(jié)果不會影響澳大利亞高校在競爭性科研經(jīng)費(fèi)項(xiàng)目上的經(jīng)費(fèi)分配，但在補(bǔ)助性科研經(jīng)費(fèi)項(xiàng)目上，如 “可持續(xù)卓越研究項(xiàng)目(Sustainable Research Excellence，SRE)”和 “研究培訓(xùn)計(jì)劃 (Research Training Scheme，RTS)”，ERA的評價(jià)結(jié)果則會影響部分經(jīng)費(fèi)的分配。以SRE項(xiàng)目為例，項(xiàng)目經(jīng)費(fèi)撥款分為三個(gè)階段，每個(gè)階段撥款經(jīng)費(fèi)的比例分別為20%、13%和67%。其中，第三個(gè)階段67%的項(xiàng)目撥款將根據(jù)ERA的評價(jià)結(jié)果來調(diào)整經(jīng)費(fèi)分配比例[11]。2012年，澳大利亞政府按照ERA評價(jià)結(jié)果分配的SRE項(xiàng)目資金數(shù)額達(dá)到6570萬澳元。為了保持本國高校的國際科研優(yōu)勢地位，澳大利亞政府決定在SRE、RTS等補(bǔ)助性科研經(jīng)費(fèi)項(xiàng)目中將會更多地基于ERA的評價(jià)結(jié)果來分配經(jīng)費(fèi)資源[12]。

(2)以科研綜合實(shí)力為評價(jià)內(nèi)容，采用國際可比性的量表劃分評價(jià)結(jié)果等級。

根據(jù)ACR公布的ERA評估手冊[13]，ERA的評價(jià)內(nèi)容主要分為四個(gè)方面，包含了科研的學(xué)術(shù)影響力和學(xué)術(shù)外影響力，體現(xiàn)了科研的綜合實(shí)力。

一是科研質(zhì)量，包括出版物及會議的級別、被引情況等指標(biāo)。其中，被引情況主要依據(jù)Scopus數(shù)據(jù)庫提供的期刊論文被引頻次，采用論文引用相對影響力 (Relative Citation Impact)和百分位閾值方法 (Centile Thresholds)進(jìn)行測度。

二是科研量及活動，包括科研產(chǎn)出和科研收入指標(biāo)。其中，科研產(chǎn)出指標(biāo)包括傳統(tǒng)形式科研產(chǎn)出 (如書籍、期刊文章、會議論文等)和非傳統(tǒng)形式科研產(chǎn)出 (如視覺藝術(shù)作品、設(shè)計(jì)/建筑作品、現(xiàn)場表演作品等)?？蒲惺杖胫笜?biāo)依據(jù)澳大利亞 “高等教育研究數(shù)據(jù)收集 (Higher Education Research Data Collection)”項(xiàng)目的相關(guān)定義，主要包括:澳大利亞競爭性科研項(xiàng)目經(jīng)費(fèi)、其他公共部門科研項(xiàng)目經(jīng)費(fèi)、企業(yè)科研項(xiàng)目經(jīng)費(fèi)、合作研究中心 (Cooperative Research Centre)項(xiàng)目經(jīng)費(fèi)。

三是科研應(yīng)用，包括商業(yè)化收入 (Commercialization Income)、專利、注冊外觀設(shè)計(jì)、植物新品種權(quán)等應(yīng)用測量指標(biāo)。其中，商業(yè)化收入指高校通過知識產(chǎn)權(quán)交易帶來的收益，但不包括科研合同、科研咨詢帶來的收入，這些屬于科研收入統(tǒng)計(jì)范疇。

四是聲譽(yù)，包括在權(quán)威出版單位擔(dān)任編輯的人數(shù)、參加知名學(xué)術(shù)團(tuán)體的人數(shù)、全國性科研獎勵獲得者人數(shù)和澳大利亞議會獎學(xué)金獲得者人數(shù)等聲譽(yù)測量指標(biāo)。

為了使ERA的評價(jià)結(jié)果具有國際可比性，其采用了五分制量表方法對上述四個(gè)方面的評價(jià)結(jié)果進(jìn)行等級劃分，見表1。

表1 ERA科研評價(jià)結(jié)果的等級劃分

(3)以學(xué)科為評價(jià)單元，依據(jù)各學(xué)科特點(diǎn)選取適用的評價(jià)方法

ERA以學(xué)科作為評價(jià)單元，學(xué)科分類采用“澳大利亞和新西蘭標(biāo)準(zhǔn)研究分類法 (Australian and New Zealand Standard Research Classification Field of Research，簡稱FoR)”。2008年，F(xiàn)oR公布了最新的學(xué)科分類標(biāo)準(zhǔn)，包括22個(gè)學(xué)科門類(由2位代碼組成)、157個(gè)學(xué)科子類 (由4位代碼組成)以及更具體的學(xué)科領(lǐng)域 (由6位代碼組成)。例如:氣象學(xué)的學(xué)科代碼是040107，其中04代表地球科學(xué)，0401代表大氣科學(xué)。ERA主要是對學(xué)科門類和學(xué)科子類兩個(gè)層面進(jìn)行評價(jià)。同時(shí)，ERA將所有學(xué)科整合為8個(gè)學(xué)科群 (見表2)，包括:“數(shù)學(xué)、信息與計(jì)算機(jī)科學(xué)”、“物理、化學(xué)和地球科學(xué)”、“工程與環(huán)境科學(xué)”、“生物與生物技術(shù)科學(xué)”、 “醫(yī)學(xué)與健康科學(xué)”、 “教育與人類社會”、“經(jīng)濟(jì)學(xué)與金融學(xué)”、“人文與藝術(shù)科學(xué)”。

表2 ERA科研評價(jià)體系的學(xué)科群

由于各個(gè)學(xué)科的特點(diǎn)不同，ERA在被評價(jià)的科研成果形式和具體的評價(jià)方法上采取了不同方式，如對于 “農(nóng)業(yè)與獸醫(yī)科學(xué)”在科研應(yīng)用評價(jià)中，除了專利外，還包括了作物育種方面的科研成果。對于 “建筑環(huán)境與設(shè)計(jì)”、“教育”、“經(jīng)濟(jì)學(xué)”等學(xué)科的科研質(zhì)量評價(jià)中，并沒有采用引用分析方法，而是通過同行專家評議方式進(jìn)行評估。

2012年，ERA將一些利用引用分析方法評價(jià)的學(xué)科改為同行專家評議的方式進(jìn)行評估，如 “信息與計(jì)算機(jī)科學(xué)”、“通信技術(shù)”、“計(jì)算機(jī)硬件”；允許 “經(jīng)濟(jì)學(xué)”和 “人類社會研究”將政策文件等“非傳統(tǒng)形式科研產(chǎn)出”作為科研成果；對于 “建筑”和 “工程設(shè)計(jì)”學(xué)科的聲譽(yù)評價(jià)中，將 “在權(quán)威出版單位擔(dān)任編輯的人數(shù)”作為一項(xiàng)評價(jià)指標(biāo)。

(4)以國際知名學(xué)者為評審專家，通過公開、透明的方式進(jìn)行科研評價(jià)。

ARC按照學(xué)科群的劃分組成8個(gè)學(xué)科評審專家委員會 (Research Evaluation Commission，REC)，每個(gè)評審委員會選舉一名專家作為首席。評審專家多數(shù)來自澳大利亞本國高校，但也有部分國外高校的學(xué)者參加學(xué)科評審委員會。2015年，ARC公布的8個(gè)學(xué)科評審委員會中，共有149名專家組成，其中來自國外高校的專家有7人，分別參加 “工程與環(huán)境科學(xué)”、“教育與人類社會”、“經(jīng)濟(jì)學(xué)與金融學(xué)”、“數(shù)學(xué)、信息與計(jì)算機(jī)科學(xué)”、 “生物與生物技術(shù)科學(xué)”、“醫(yī)療與健康科學(xué)”6個(gè)學(xué)科群的評審。

為了保證評價(jià)的公平、公開和透明，ARC構(gòu)建了評審專家?guī)?，涉?00余名的國內(nèi)外知名學(xué)者。同時(shí)，在評估年，評審專家名單及其簡歷都會在ARC的官方網(wǎng)站上向媒體和社會公布。ARC遴選評審專家的標(biāo)準(zhǔn)主要包括:①科研成就。評審專家應(yīng)是國內(nèi)外知名學(xué)者，承擔(dān)或評審過重點(diǎn)科研項(xiàng)目，熟悉本領(lǐng)域的科研活動和研究前沿；②知識深度。評審專家在相關(guān)領(lǐng)域內(nèi)具有深厚的專業(yè)知識，有過跨學(xué)科研究的經(jīng)歷；③學(xué)術(shù)地位。評審專家擔(dān)任過學(xué)術(shù)科研機(jī)構(gòu)或?qū)I(yè)協(xié)會組織的領(lǐng)導(dǎo)職務(wù)；④溝通能力與合作精神。評審專家應(yīng)具有一定的團(tuán)隊(duì)合作能力、高尚正直的個(gè)人品格、較強(qiáng)的工作效率。

(5)以信息科學(xué)方法和計(jì)算機(jī)科學(xué)技術(shù)為評價(jià)保障，重視科研評價(jià)全過程的組織與管理。

為了保證科研評價(jià)的順利實(shí)施，ARC建立了評價(jià)系統(tǒng)平臺SEER(System to Evaluate the Excellence of Research)，并在提交數(shù)據(jù)格式、系統(tǒng)交互機(jī)制、系統(tǒng)平臺安全等方面制定了詳細(xì)的規(guī)范制度。SEER系統(tǒng)的運(yùn)行邏輯見圖 1。在評估年，ARC會發(fā)布 “提交指南 (Submission Guidelines)”、“技術(shù)規(guī)范 (Technical Specifications)”、“業(yè)務(wù)章程(Business Rules and Verification)”、“學(xué)科評價(jià)內(nèi)容矩陣表 (Discipline Matrix)”等規(guī)范性文件指導(dǎo)受評高校提交科研評價(jià)材料。

圖1 SEER系統(tǒng)的運(yùn)行邏輯

按照ARC的要求，受評高校需要設(shè)置ERA聯(lián)絡(luò)員 (Liaison Officer)崗位，負(fù)責(zé)組織本校全部學(xué)科的科研人員參加ERA評價(jià)。ERA評價(jià)材料提交主要包括準(zhǔn)備和提交兩個(gè)階段。在評價(jià)材料準(zhǔn)備階段，受評高校應(yīng)依據(jù) “學(xué)科評價(jià)內(nèi)容矩陣表”準(zhǔn)備評價(jià)材料，同時(shí)必須對期刊論文形式的科研成果進(jìn)行電子標(biāo)識，包括確定論文的所屬學(xué)科，以及期刊的引文數(shù)據(jù)。在此過程中，受評高?？梢岳闷錂C(jī)構(gòu)庫 (Institutional Repositories)來收集本校教師的科研產(chǎn)出成果。在評價(jià)材料提交階段，主要通過SEER系統(tǒng)平臺完成，受評高校的ERA聯(lián)絡(luò)員負(fù)責(zé)上傳科研評價(jià)材料，所有材料必須符合ERA規(guī)范性文件的要求。SEER系統(tǒng)平臺會自動審核評價(jià)材料的數(shù)據(jù)格式，而ARC則重點(diǎn)關(guān)注科研產(chǎn)出成果是否存在重復(fù)提交等問題，如有問題，其ERA業(yè)務(wù)專員會通過SEER系統(tǒng)平臺向受評高校反饋。最終提交的科研評價(jià)材料需要受評高校的科研副主管或同等職位人員簽署并提交電子版和紙版的確認(rèn)書，聲明本校提交的科研評價(jià)材料真實(shí)全面，符合ERA的相關(guān)要求。

3 啟示

從澳大利亞科研評價(jià)體系的演變過程與發(fā)展經(jīng)驗(yàn)上來審視，中國新的科研評價(jià)體系建設(shè)可以獲得以下幾方面的啟示。

(1)確立科學(xué)的科研評價(jià)目標(biāo)，發(fā)揮科研評價(jià)的引導(dǎo)作用。

科學(xué)的科研評價(jià)要以促進(jìn)科研實(shí)力提升、調(diào)控科研發(fā)展方向和策略、優(yōu)化科研資源配置為目標(biāo)，同時(shí)還要考慮對研究人員培養(yǎng)、科技成果轉(zhuǎn)化以及科研文化培育的引導(dǎo)作用。科學(xué)的科研評價(jià)應(yīng)符合科研活動的客觀規(guī)律，通過制定合理的科研評價(jià)周期來減少急功近利的科研 “投機(jī)行為”，通過評價(jià)指標(biāo)的設(shè)計(jì)來引導(dǎo)科研朝著數(shù)量和質(zhì)量雙重增長的良好態(tài)勢健康發(fā)展。同時(shí)，科學(xué)的科研評價(jià)還應(yīng)符合科研人員的成長規(guī)律，要建立有助于青年科研人員發(fā)展的評價(jià)體系，營造求真、務(wù)實(shí)、誠信的科研文化氛圍?？傊茖W(xué)的科研評價(jià)不應(yīng)以 “評價(jià)”為目標(biāo)，只是將評價(jià)結(jié)果作為科研資源分配的標(biāo)準(zhǔn)；科學(xué)的科研評價(jià)應(yīng)以 “引導(dǎo)”為目標(biāo)，指引科技的發(fā)展方向，提升科技的創(chuàng)新力和競爭力。

(2)擴(kuò)展科研評價(jià)內(nèi)容，構(gòu)建多維度的科研成果影響力評價(jià)體系。

現(xiàn)有科研評價(jià)主要基于可量化的學(xué)術(shù)論文、專利等常識性科研產(chǎn)出，而科研成果的價(jià)值并不僅僅局限于學(xué)術(shù)層面。科研活動在推動科學(xué)和技術(shù)發(fā)展的同時(shí)，培養(yǎng)了未來的科技人才、帶動了勞動力就業(yè)、提升了科研環(huán)境建設(shè)。因此，科研評價(jià)內(nèi)容應(yīng)擴(kuò)展到科研環(huán)境、科研應(yīng)用等與科研活動密切相關(guān)的上下游科研過程中，從而實(shí)現(xiàn)科研生態(tài)的整體優(yōu)化。隨著科研評價(jià)內(nèi)容的擴(kuò)展，單一的學(xué)術(shù)影響力評價(jià)體系已不再適用，需要構(gòu)建全面考慮科研活動過程所有環(huán)節(jié)影響力的多維度評價(jià)體系。評價(jià)體系不僅包括評價(jià)科研成果的學(xué)術(shù)影響力，考察科研成果對科學(xué)知識進(jìn)步的貢獻(xiàn)；評價(jià)科研成果的學(xué)術(shù)外影響力，測度科研成果對經(jīng)濟(jì)發(fā)展的影響；還要評價(jià)科研活動的社會影響力，考核科研活動對科研環(huán)境建設(shè)的貢獻(xiàn)，以此引導(dǎo)科研人員重視人才培養(yǎng)、重視科研文化培育。

(3)實(shí)施規(guī)范的科研評價(jià)標(biāo)準(zhǔn)，建立與國際接軌的評價(jià)制度。

規(guī)范的科研評價(jià)標(biāo)準(zhǔn)要考慮不同學(xué)科的差異性，要從自然科學(xué)、技術(shù)科學(xué)、社會科學(xué)和藝術(shù)科學(xué)的學(xué)科特點(diǎn)出發(fā)，選擇學(xué)科代表性的科研成果形式，通過適用的科學(xué)方法進(jìn)行評價(jià)。同時(shí)，規(guī)范的科研評價(jià)標(biāo)準(zhǔn)要經(jīng)過 “試點(diǎn)—推廣—完善”整個(gè)過程，評價(jià)標(biāo)準(zhǔn)要根據(jù)科學(xué)技術(shù)發(fā)展的進(jìn)程不斷修改完善。此外，規(guī)范的科研評價(jià)標(biāo)準(zhǔn)要與國際接軌，使中國的科研評價(jià)具有國際可比性，有利于科研人員準(zhǔn)確定位自身的學(xué)術(shù)位置，也有利于科研管理部門準(zhǔn)確把握未來的科研發(fā)展方向。

(4)使用多元的科研評價(jià)方法，減輕科研人員在評價(jià)過程中的負(fù)擔(dān)。

多元的科研評價(jià)方法要吸收多學(xué)科的方法特色，綜合定性和定量的評價(jià)方法，針對自然工程科學(xué)和人文社會科學(xué)建立多樣性的、分學(xué)科的評價(jià)方法體系。同時(shí)，將數(shù)據(jù)挖掘、自然語言處理、可視化圖譜等大數(shù)據(jù)分析方法和技術(shù)應(yīng)用于科研評價(jià)，增強(qiáng)科研評價(jià)的深度和準(zhǔn)確性，減輕科研人員在評價(jià)過程中的負(fù)擔(dān)。

(5)組織權(quán)威的科研評價(jià)專家團(tuán)隊(duì)，鼓勵科研成果用戶方參與評價(jià)。

權(quán)威的科研評審專家不僅要有學(xué)科專業(yè)知識的深度和廣度，同時(shí)還要具有豐富的科研評價(jià)經(jīng)驗(yàn)。權(quán)威的科研評價(jià)專家團(tuán)隊(duì)中最好包括國際同行專家，其有助于保證國內(nèi)專家客觀地評價(jià)研究成果的國際卓越水平，也檢驗(yàn)國際標(biāo)準(zhǔn)的應(yīng)用是否恰當(dāng)。同時(shí)，還可以包括評價(jià)咨詢專家，其有助于保證科研評價(jià)過程的公平性和科學(xué)性。此外，科研成果用戶方的參與將有利于對科研學(xué)術(shù)外影響力的評價(jià)。

(6)建設(shè)自動化的科研評價(jià)系統(tǒng)平臺，加強(qiáng)科研數(shù)據(jù)的組織與管理。

自動化的科研評價(jià)系統(tǒng)要以信息科學(xué)的方法為基礎(chǔ)、計(jì)算機(jī)科學(xué)的技術(shù)為保障，為科研管理部門和參評科研單位提供互動的平臺，同時(shí)也要以 “節(jié)約成本、減輕負(fù)擔(dān)”為原則，提高系統(tǒng)平臺的運(yùn)行效率。另外，科研數(shù)據(jù)是科研評價(jià)的基礎(chǔ)，數(shù)據(jù)的質(zhì)量決定著評價(jià)結(jié)果的準(zhǔn)確性。所以，在科研評價(jià)的同時(shí)也應(yīng)加強(qiáng)科研數(shù)據(jù)的組織和管理工作，其有利于科研評價(jià)材料的收集、整理與再利用。

[1]余江.英國科研評價(jià)體系及其借鑒問題[N].中國社會科學(xué)報(bào)，2014-07-30.

[2]中國科學(xué)技術(shù)信息研究所.2011年度中國科技論文統(tǒng)計(jì)與分析[M].北京:科技文獻(xiàn)出版社，2011.

[3]郭生練.誰撥偏了科研評價(jià)的方向?[N].科技日報(bào)，2010-06-22.

[4]F Larkins.Australian Higher Education:Research Policies and Performance 1987-2010[M].Carlton，Victoria:Melbourne University Press，2011:17.

[5]Australian Research Council.Annual Report 2001-2002[R].Australia:ARC，2002.

[6]Butler L.Explaining Australia's Increased Share of ISI Publications-the Effects of a Funding Formula Based on Publication Counts [J].Research Policy，2003，(32):143-155.

[7]External Reference Group.Evaluation of Knowledge and Innovation Reforms Consultation Report[R].Department of Education，Science and Training:Canberra，ACT，2004.

[8]DEST.Backing Australia's Ability:Building our Future through Science and Innovation[R].Department of Education，Science and Training:Canberra，ACT，2004.

[9]G Roberts.Evaluation of Knowledge and Innovation Reforms Consultation Report[R].Department of Education，Science and Training:Canberra，ACT，2004.

[10]K Garr.A New ERA for Australian Research Quality Assessment[EB/OL].http:archive.innovation.gov.au/ministersarchive2011/Carr/MediaReleases/Pages/NEWERAFORRESEARCHQUALITY.htm.4 March 2008.

[11]Department of Innovation Industry，Science and Research.Sustainable Research Excellence(SRE)in Universities 2010 Guidance Paper[R].http://www.uow.edu.au/content/groups/public/＠web/＠raid/documents/doc/uow085691.pdf.

[12]Group of Eight.Research Performance of Australian Universities[R].https://go8.edu.au/sites/default/files/docs/go8policynote4_researchperformance.pdf.

[13]Australian Research Council.ERA 2012 Evaluation Handbook[R].http://www.arc.gov.au/era/era_2015/era_2015.htm.

(責(zé)任編輯 沈蓉)

Inspiration of the Development and Features of Research Evaluation System in Australia

Zhao Yong1，2，Zhang Lingge1，Han Mingjie1，Li Chenying1
(1.Library of China Agricultural University，Beijing 100193，China；2.Institute of Scientific and Technical Information of China，Beijing 100038，China)

This article investigates the development of research evaluation system in Australia.The features and inspiration of excellence in research for Australia are analyzed，which involve evaluation target，evaluation content，evaluation methods，and evaluation expert selection，in order to provide a reference to improve research evaluation system in Chinese universities.

Research evaluation；Australia；ERA；High education institution

G323

A

2015-05-15

趙勇 (1980-)，男，吉林人，中國農(nóng)業(yè)大學(xué)圖書館副研究館員，中國科學(xué)技術(shù)信息研究所博士后；研究方向:科研評價(jià)。