宗曉華 張強(qiáng) 占茜
摘要: 隨著知識(shí)生產(chǎn)模式的現(xiàn)代轉(zhuǎn)型,大學(xué)科研活動(dòng)面臨日益加重的社會(huì)問責(zé),科研評(píng)價(jià)關(guān)注的焦點(diǎn)逐漸從重視科研數(shù)量與質(zhì)量的內(nèi)部評(píng)價(jià)轉(zhuǎn)向注重科研社會(huì)貢獻(xiàn)度與影響力的外部評(píng)價(jià)。在大學(xué)卓越科研評(píng)估的基礎(chǔ)上,2018年澳大利亞政府引入了社會(huì)互動(dòng)與影響力評(píng)價(jià)。作為大學(xué)卓越科研評(píng)估的配套評(píng)價(jià)機(jī)制,社會(huì)互動(dòng)與影響力評(píng)價(jià)以其更加精細(xì)化、立體化的指標(biāo)體系設(shè)計(jì),引導(dǎo)大學(xué)在科研活動(dòng)全過程中積極與政府、產(chǎn)業(yè)及社會(huì)進(jìn)行互動(dòng)和協(xié)作,較好地兼顧了結(jié)果評(píng)價(jià)與過程評(píng)價(jià),突出了社會(huì)貢獻(xiàn)能力培育與機(jī)制建設(shè),充分挖掘了科研評(píng)價(jià)的激勵(lì)與導(dǎo)向作用。借鑒社會(huì)互動(dòng)與影響力評(píng)價(jià)的評(píng)估思路,我國在清理“五唯”的過程中應(yīng)明確建立質(zhì)量與貢獻(xiàn)并重的科研績效評(píng)價(jià)體系,對(duì)大學(xué)科研的社會(huì)互動(dòng)過程與實(shí)際貢獻(xiàn)給予更多關(guān)注。
關(guān)鍵詞:澳大利亞大學(xué);科研評(píng)價(jià);社會(huì)互動(dòng);影響力;知識(shí)生產(chǎn)模式
中圖分類號(hào):G649 ? 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1672-0717(2020)01-0058-08
一、引言
大學(xué)科研績效評(píng)價(jià)對(duì)科研活動(dòng)具有重要的激勵(lì)和導(dǎo)向功能。然而,如果評(píng)價(jià)導(dǎo)向不科學(xué)或者評(píng)價(jià)方式選取不當(dāng),績效評(píng)價(jià)不僅會(huì)損害科研活動(dòng)的健康發(fā)展,而且會(huì)阻斷科研活動(dòng)與社會(huì)經(jīng)濟(jì)的良性互動(dòng),降低科研活動(dòng)的經(jīng)濟(jì)和社會(huì)效益。目前我國高??蒲性u(píng)價(jià)工作中存在嚴(yán)重的“五唯”導(dǎo)向,造成大學(xué)學(xué)術(shù)風(fēng)氣浮躁,備受學(xué)界和社會(huì)各方詬病[1]。2018年教育部發(fā)布的《關(guān)于開展清理“唯論文、唯帽子、唯職稱、唯學(xué)歷、唯獎(jiǎng)項(xiàng)”專項(xiàng)行動(dòng)的通知》,提出要扭轉(zhuǎn)不科學(xué)的評(píng)價(jià)導(dǎo)向,注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)和影響[2]。三部委聯(lián)合出臺(tái)的《關(guān)于高等學(xué)校加快“雙一流”建設(shè)的指導(dǎo)意見》強(qiáng)調(diào),要“以人才培養(yǎng)、創(chuàng)新能力、服務(wù)貢獻(xiàn)和影響力為核心要素”,構(gòu)建中國特色“雙一流”建設(shè)的綜合評(píng)價(jià)體系[3]。同年,國務(wù)院印發(fā)《關(guān)于優(yōu)化科研管理提升科研績效若干措施的通知》,要求建立以創(chuàng)新質(zhì)量和貢獻(xiàn)為導(dǎo)向的績效評(píng)價(jià)體系,準(zhǔn)確評(píng)價(jià)科研成果的經(jīng)濟(jì)價(jià)值、社會(huì)價(jià)值及文化價(jià)值等[4]。
然而,與科研質(zhì)量相比,科研的貢獻(xiàn)和影響力評(píng)價(jià)更為復(fù)雜,后者涉及到大學(xué)外部更為多元的價(jià)值標(biāo)準(zhǔn)。目前國內(nèi)學(xué)者對(duì)科研的社會(huì)貢獻(xiàn)和影響力評(píng)價(jià)研究不多,相關(guān)文獻(xiàn)更多地集中于學(xué)術(shù)領(lǐng)域內(nèi)部的自容性評(píng)價(jià)及其相關(guān)問題研究[5]。從全球范圍來看,隨著知識(shí)生產(chǎn)模式的轉(zhuǎn)型,西方國家越來越注重大學(xué)科研的影響力評(píng)價(jià)。英國在2014年科研卓越框架(Research Excellence Framework,簡稱REF)評(píng)估中,直接在評(píng)價(jià)指標(biāo)體系內(nèi)增加科研影響力評(píng)價(jià)一級(jí)指標(biāo),引起了我國學(xué)者的廣泛關(guān)注[6]。2018年澳大利亞的卓越科研(Excellence in Research for Australia,簡稱ERA)評(píng)估明確提出引入社會(huì)互動(dòng)與影響力(Engagement and Impact,簡稱EI)評(píng)價(jià),無論是在評(píng)價(jià)內(nèi)容、評(píng)價(jià)標(biāo)準(zhǔn)還是在評(píng)價(jià)方式上,都作出了新的探索且成效顯著。在2019年荷蘭萊頓大學(xué)科學(xué)技術(shù)研究中心(CWTS)的大學(xué)科研影響力排名中,澳大利亞的42所大學(xué)中有5所大學(xué)進(jìn)入了全球前100名,充分展現(xiàn)了澳大利亞高校在科研影響力方面取得的成就[7]?;诖?,本研究通過系統(tǒng)搜集和整理相關(guān)的一手文獻(xiàn)與數(shù)據(jù),對(duì)EI評(píng)價(jià)進(jìn)行深度分析與解讀,探究該評(píng)價(jià)機(jī)制的獨(dú)特之處及其對(duì)我國大學(xué)科研評(píng)價(jià)改革的啟示。
二、EI評(píng)價(jià)的實(shí)施背景
(一)理論基礎(chǔ):知識(shí)生產(chǎn)模式的當(dāng)代轉(zhuǎn)型與拓展
邁克爾·吉本斯等人在《知識(shí)生產(chǎn)的新模式:當(dāng)代社會(huì)科學(xué)與研究的動(dòng)力學(xué)》一書中指出,知識(shí)生產(chǎn)模式逐漸由以“學(xué)術(shù)范式”為主導(dǎo)的模式1向以新興的“應(yīng)用范式”為核心的模式2轉(zhuǎn)型,更加注重知識(shí)生產(chǎn)的跨學(xué)科性、應(yīng)用情境性、社會(huì)彌散性及社會(huì)問責(zé)等特征[8]。在模式2下,知識(shí)生產(chǎn)不再是模式1中大學(xué)教學(xué)與科研內(nèi)部循環(huán)的一種自容性活動(dòng),科學(xué)研究并不是置身于社會(huì)之外來分配它們的科研成果,而是依托于政府、社會(huì)及市場(chǎng)來判定知識(shí)的貢獻(xiàn)度、有用性及其生產(chǎn)效率。埃茲赫維茲(Etzkowitz H.)等學(xué)者將模式2的觀點(diǎn)升華為“大學(xué)-產(chǎn)業(yè)-政府”的三螺旋理論,旨在倡導(dǎo)大學(xué)努力實(shí)現(xiàn)知識(shí)創(chuàng)新,推動(dòng)科技與產(chǎn)業(yè)創(chuàng)新[9]。然而,模式2導(dǎo)致了知識(shí)生產(chǎn)的經(jīng)濟(jì)化、功利化傾向,對(duì)科學(xué)研究自身和外部社會(huì)發(fā)展、生態(tài)環(huán)境等產(chǎn)生了一定的負(fù)面效應(yīng)。為此,卡拉雅尼斯(Carayannis E. G.)對(duì)知識(shí)生產(chǎn)模式作出革新,提出注重公民參與及社會(huì)力量、關(guān)注經(jīng)濟(jì)發(fā)展的生態(tài)平衡、倡導(dǎo)持續(xù)性競(jìng)爭(zhēng)與社會(huì)繁榮為特征的知識(shí)生產(chǎn)模式3,最終拓展為“學(xué)界-產(chǎn)業(yè)-政府-公民社會(huì)”的四重螺旋創(chuàng)新生態(tài)系統(tǒng)模型[10]。
從知識(shí)生產(chǎn)模式1到模式3的演變,揭示了知識(shí)生產(chǎn)活動(dòng)在基礎(chǔ)與應(yīng)用、理論與實(shí)踐、科技創(chuàng)新與社會(huì)公民等多維度空間中持續(xù)互動(dòng)與發(fā)展。正是基于對(duì)當(dāng)代知識(shí)生產(chǎn)新模式的認(rèn)識(shí),澳大利亞政府意識(shí)到必須對(duì)大學(xué)科研評(píng)價(jià)系統(tǒng)進(jìn)行調(diào)整與升級(jí),升級(jí)的方式是在原有評(píng)價(jià)體系的基礎(chǔ)上增加適應(yīng)知識(shí)生產(chǎn)模式3的評(píng)價(jià)內(nèi)容與評(píng)價(jià)機(jī)制,促進(jìn)大學(xué)科研活動(dòng)與社會(huì)互動(dòng),提高科研的影響力。
(二)現(xiàn)實(shí)需求:實(shí)現(xiàn)科研活動(dòng)的經(jīng)濟(jì)、社會(huì)、文化和環(huán)境等多重效益
作為科研管理的必要環(huán)節(jié)和支撐工具,科研評(píng)價(jià)必須隨著知識(shí)生產(chǎn)模式的轉(zhuǎn)變而與時(shí)俱進(jìn)。澳大利亞政府一直致力于探索更為科學(xué)、合理的科研評(píng)價(jià)體系。1995年實(shí)施的綜合指數(shù)(Composite Index,簡稱CI)評(píng)價(jià)因過于注重科研數(shù)量指標(biāo),導(dǎo)致大學(xué)科研成果引用率顯著下降[11],在實(shí)施10年后被科研質(zhì)量框架(Research Quality Framework,簡稱RQF)評(píng)估所替代。2008年,澳大利亞在RQF的基礎(chǔ)上,設(shè)計(jì)出了卓越科研(ERA)評(píng)估,更加注重學(xué)科差異與科研成果的質(zhì)量維度,形成了較為成熟的評(píng)價(jià)方法和運(yùn)行機(jī)制。ERA實(shí)施后效果顯著,大學(xué)的科研實(shí)力不斷提升,參評(píng)成果中超過世界水平的比例由2010年的34%上升到2015年的58%[12]。
然而,面對(duì)科研質(zhì)量提升的成績,澳大利亞政府在科研政策方面并未松懈。2015年11月該國教育部發(fā)布的《科研政策與資助審查報(bào)告》冷靜地指出,根據(jù)OECD國家的標(biāo)準(zhǔn),澳大利亞大學(xué)雖然整體科研績效較高,但是在將公共資助的科研轉(zhuǎn)化成商業(yè)利益方面卻表現(xiàn)很差。報(bào)告還提出要在科研評(píng)價(jià)與撥款中設(shè)計(jì)激勵(lì)機(jī)制,以加強(qiáng)大學(xué)科研與社會(huì)的互動(dòng)[13]。正是在此政策導(dǎo)向下,在2010、2012、2015年三次順利地實(shí)施ERA評(píng)估之后,澳大利亞政府又對(duì)ERA評(píng)估做出了新的調(diào)整,并于2015年12月宣布在大學(xué)科研評(píng)價(jià)中增加科研的社會(huì)互動(dòng)和影響力(EI)評(píng)價(jià),且將其作為國家創(chuàng)新和科學(xué)議程的一部分,以檢驗(yàn)大學(xué)如何將科研轉(zhuǎn)化為經(jīng)濟(jì)、環(huán)境、社會(huì)、文化與其他方面的效益[14](P3)。于是,澳大利亞在2018年開啟第四輪ERA評(píng)估時(shí),首次將EI評(píng)價(jià)作為并行的配套評(píng)估機(jī)制,對(duì)大學(xué)科研活動(dòng)及其貢獻(xiàn)進(jìn)行評(píng)價(jià)。
三、EI評(píng)價(jià)的內(nèi)涵與基本框架
(一)EI評(píng)價(jià)的內(nèi)涵與目的
澳大利亞的EI評(píng)價(jià),雖然參照了英國科研評(píng)價(jià)的經(jīng)驗(yàn),但更多地是基于本國實(shí)際量身定做的兼具世界視野和本土特色的評(píng)價(jià)體系。與英國科研卓越框架中科研影響力評(píng)價(jià)相比,EI評(píng)價(jià)既借鑒了作為結(jié)果的影響力評(píng)價(jià),又兼顧了作為過程和路徑的社會(huì)互動(dòng)評(píng)價(jià)。在EI評(píng)價(jià)的設(shè)計(jì)中,社會(huì)互動(dòng)(Engagement)被界定為科研人員與學(xué)術(shù)界以外的科研成果使用主體之間的互動(dòng),是實(shí)現(xiàn)知識(shí)、技術(shù)、方法與資源的轉(zhuǎn)移機(jī)制;影響力(Impact)被界定為科研成果對(duì)經(jīng)濟(jì)、文化、政治、公民素養(yǎng)等超出學(xué)術(shù)本身的社會(huì)貢獻(xiàn)。對(duì)大學(xué)科研進(jìn)行社會(huì)互動(dòng)與影響力評(píng)價(jià),其主要目的在于:一方面為澳大利亞政府和公民提供清晰的信息,了解大學(xué)目前實(shí)現(xiàn)科研社會(huì)互動(dòng)與影響力的方式,準(zhǔn)確把握對(duì)大學(xué)科研的投入所帶來的社會(huì)貢獻(xiàn);另一方面為了改善科研與社會(huì)互動(dòng)的基礎(chǔ)設(shè)施,優(yōu)化科研管理的制度流程,推動(dòng)科研成果的轉(zhuǎn)化與應(yīng)用,進(jìn)而實(shí)現(xiàn)科研成果的經(jīng)濟(jì)和社會(huì)效益[14](P5)。
(二)EI評(píng)價(jià)的評(píng)價(jià)主體及構(gòu)成
澳大利亞研究委員會(huì)(Australian Research Council, 簡稱ARC)是科研評(píng)價(jià)的第三方機(jī)構(gòu),主要負(fù)責(zé)ERA評(píng)估與EI評(píng)價(jià),其宗旨是通過評(píng)估科研的質(zhì)量、貢獻(xiàn)、影響力以及為科研事項(xiàng)提供建議,推動(dòng)科研發(fā)展與創(chuàng)新。2016年3月,前工業(yè)、創(chuàng)新和科學(xué)部長佩恩(Christopher Pyne)參議員和教育與培訓(xùn)部長伯明漢姆(Simon Birmingham)參議員,共同宣布了科研社會(huì)互動(dòng)與影響力評(píng)價(jià)指導(dǎo)委員會(huì)的成員名單。該委員會(huì)成員包括高等教育、企業(yè)等行業(yè)領(lǐng)袖,旨在幫助開發(fā)清晰、透明的科研社會(huì)互動(dòng)與影響力評(píng)價(jià)機(jī)制,以此評(píng)估澳大利亞大學(xué)的科研績效,并為未來科研撥款提供依據(jù)。同時(shí),澳大利亞研究委員會(huì)還成立兩個(gè)工作組協(xié)助指導(dǎo)委員會(huì)開展EI評(píng)價(jià)。其中,技術(shù)工作組將專業(yè)指導(dǎo)原則具體轉(zhuǎn)化為開發(fā)合理的評(píng)價(jià)機(jī)制的意見、不同學(xué)科和最終科研成果使用主體的評(píng)估要求,以及制定恰當(dāng)?shù)腅I評(píng)價(jià)指標(biāo);績效與激勵(lì)工作組根據(jù)評(píng)價(jià)方式的潛在激勵(lì)效果向ARC提供意見,如所采用的評(píng)價(jià)模型如何影響關(guān)于大學(xué)科研活動(dòng)重心的決策[15]。
(三)EI評(píng)價(jià)的基本程序
EI評(píng)價(jià)的基礎(chǔ)單元是學(xué)科,而且學(xué)科分類是以澳大利亞統(tǒng)計(jì)局和新西蘭統(tǒng)計(jì)局聯(lián)合發(fā)布的《澳大利亞及新西蘭研究分類標(biāo)準(zhǔn)2008》(Australian and New Zealand Standard Research Classification 2008)為基本依據(jù)。對(duì)于參加EI評(píng)價(jià)的大學(xué),學(xué)校中每一個(gè)系或?qū)W術(shù)組織都可以選擇一個(gè)對(duì)應(yīng)的評(píng)估單元(Unit of Assessment,簡稱UoA)準(zhǔn)備和提交評(píng)估材料。EI評(píng)價(jià)將所有評(píng)價(jià)中涉及的學(xué)科都標(biāo)為2位數(shù)學(xué)科代碼。各大學(xué)提交相關(guān)數(shù)據(jù)時(shí),根據(jù)2位數(shù)的學(xué)科代碼提交,最后這些數(shù)據(jù)會(huì)被匯總到相應(yīng)的評(píng)估單元。學(xué)科領(lǐng)域一致或相近的評(píng)估單元?dú)w并為一個(gè)評(píng)估小組,而小組評(píng)估專家由杰出的學(xué)術(shù)研究人員和經(jīng)驗(yàn)豐富的科研成果使用主體組成。對(duì)于跨學(xué)科或多學(xué)科提交的情況,不同專家組之間可以利用專業(yè)知識(shí)相互交叉評(píng)估。評(píng)估小組將分別使用一套量化指標(biāo)和一份定性陳述來評(píng)定大學(xué)科研的社會(huì)互動(dòng)情況,并依據(jù)所提交的能證明參評(píng)單位研究影響的案例評(píng)定影響力,而影響力評(píng)價(jià)涵蓋研究影響、研究路徑兩個(gè)評(píng)級(jí)[16]。
四、EI評(píng)價(jià)的評(píng)價(jià)機(jī)制與評(píng)價(jià)結(jié)果分析
雖然EI評(píng)價(jià)是ERA評(píng)估的配套評(píng)價(jià)機(jī)制,但是由于評(píng)價(jià)目標(biāo)和內(nèi)容存在差異,因此EI評(píng)價(jià)在設(shè)計(jì)之初就確定了適合自身的學(xué)科劃分方法,并基于ERA評(píng)估的相關(guān)數(shù)據(jù)設(shè)定參評(píng)閾值。此外,EI評(píng)價(jià)在指標(biāo)體系、數(shù)據(jù)采集、評(píng)價(jià)方法、評(píng)價(jià)標(biāo)準(zhǔn)等方面,都進(jìn)行了精細(xì)化和創(chuàng)新性的設(shè)計(jì),以最大限度地保證評(píng)價(jià)結(jié)果的客觀性和決策的參考價(jià)值。
(一)EI評(píng)價(jià)的學(xué)科劃分與參評(píng)閾值
EI評(píng)價(jià)根據(jù)學(xué)科性質(zhì)與特點(diǎn)對(duì)相近學(xué)科進(jìn)行歸并,最終形成五個(gè)評(píng)估小組,具體包括科學(xué)與技術(shù)組、健康與生命科學(xué)組、社會(huì)科學(xué)組、創(chuàng)意藝術(shù)與人文科學(xué)組、土著居民及托雷斯海峽島民研究組[17](P10)(見表1)。除土著居民及托雷斯海峽島民研究組①,其余四大評(píng)估小組下的所有評(píng)估單元都沿用同一套評(píng)估方法與評(píng)估標(biāo)準(zhǔn)[14](P5)?;诜诸愒u(píng)價(jià)理念,評(píng)估分組最大程度上保障了不同學(xué)科之間評(píng)價(jià)標(biāo)準(zhǔn)的適用性,體現(xiàn)科學(xué)評(píng)價(jià)的“分類評(píng)價(jià)”和“領(lǐng)域適用”原則。
然而,EI評(píng)價(jià)并不向所有大學(xué)開放,只有達(dá)到參評(píng)最低量閾值的大學(xué),才具有參評(píng)資格。在制定最低參評(píng)標(biāo)準(zhǔn)時(shí),澳大利亞研究委員會(huì)根據(jù)大學(xué)向ERA評(píng)估提交的科研產(chǎn)出量等相關(guān)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,最終劃定該最低量閾值為150分,即參評(píng)大學(xué)在參評(píng)時(shí)間內(nèi)所發(fā)表的論文或出版物數(shù)量累積總和達(dá)到150分,才具有參加EI評(píng)價(jià)的資格。參評(píng)門檻的設(shè)置降低了評(píng)估成本,體現(xiàn)了評(píng)估委員會(huì)對(duì)首次EI評(píng)價(jià)的審慎思考。然而,對(duì)于一些滿足最低量閾值的學(xué)科,如果其研究主要是基礎(chǔ)研究,難以提交科研影響力評(píng)價(jià)的相關(guān)證據(jù)材料,該大學(xué)可以提交一份暫不參與評(píng)價(jià)的申請(qǐng),申請(qǐng)內(nèi)容包括:此次無法參評(píng)的原因;為該學(xué)科制定的一項(xiàng)戰(zhàn)略說明;該學(xué)科預(yù)期未來參與EI評(píng)價(jià)的時(shí)間框架。申請(qǐng)是否通過最終由澳大利亞研究委員會(huì)裁定[17](P7-8)。
(二)EI評(píng)價(jià)的評(píng)價(jià)指標(biāo)與評(píng)價(jià)方法
EI評(píng)價(jià)要求大學(xué)所提交的每個(gè)UoA必須包括科研的社會(huì)互動(dòng)、科研影響及影響路徑三方面的材料。這些材料既包含陳述性的定性材料,又包括以指標(biāo)呈現(xiàn)的量化數(shù)據(jù)。它在評(píng)價(jià)方法上主要采用“模板法+計(jì)量法”,將定性與定量方法結(jié)合,促進(jìn)大學(xué)科研評(píng)估的科學(xué)化與合理化。
1. 科研社會(huì)互動(dòng)評(píng)價(jià)材料
參與社會(huì)互動(dòng)評(píng)價(jià)的評(píng)估單位應(yīng)在評(píng)估期間遞交關(guān)于社會(huì)互動(dòng)陳述、社會(huì)互動(dòng)定量指標(biāo)數(shù)據(jù)以及社會(huì)互動(dòng)指標(biāo)的解釋性說明三部分材料[19](P12)。社會(huì)互動(dòng)陳述“模板”內(nèi)容包括戰(zhàn)略利益相關(guān)者之間的合作、公眾的參與(公民科學(xué))、為外部利益相關(guān)者提供專業(yè)資源和服務(wù)、提供專業(yè)培訓(xùn)或培訓(xùn)生計(jì)劃。陳述材料要求大學(xué)撰寫其與政府、產(chǎn)業(yè)、公民等科研成果使用主體的社會(huì)互動(dòng)案例。各大學(xué)也可提供模板中沒有但與社會(huì)互動(dòng)情況有關(guān)的數(shù)據(jù)。例如:EI2018評(píng)價(jià)報(bào)告顯示,大學(xué)所提供的其他常見指標(biāo)包括獎(jiǎng)項(xiàng)、圖書銷售、專利、媒體文章及替代指標(biāo)(如網(wǎng)站訪問量、社交媒體帖子)等[18]。社會(huì)互動(dòng)定量指標(biāo)包括科研成果使用主體的經(jīng)費(fèi)支持、每年的高等教育科研收入總額、高等教育科研數(shù)據(jù)庫中第1類撥款的比例①、科研商業(yè)化收入及其他定量指標(biāo)[17](P22-24)。由于澳大利亞科研評(píng)價(jià)系統(tǒng)的高度信息化與開放性,EI評(píng)價(jià)與ERA評(píng)估兩者部分指標(biāo)數(shù)據(jù)可實(shí)現(xiàn)共享。社會(huì)互動(dòng)指標(biāo)的解釋性說明主要描述評(píng)估單元的社會(huì)互動(dòng)活動(dòng)與各項(xiàng)指標(biāo)數(shù)據(jù)之間的聯(lián)系。此外,大學(xué)也可以使用社會(huì)互動(dòng)指標(biāo)的解釋性說明來分析數(shù)據(jù)中的任何異常。
2. 科研影響力評(píng)價(jià)材料
科研影響力評(píng)價(jià)要求參評(píng)大學(xué)依據(jù)模板內(nèi)容提交評(píng)估期內(nèi)相應(yīng)的案例材料[19](P12)。影響力評(píng)價(jià)模板中最為核心的兩個(gè)部分是研究影響和影響路徑。如所提交材料不在模板范圍之內(nèi),但該材料與科研影響力評(píng)價(jià)有關(guān),可補(bǔ)充“計(jì)量式”材料或數(shù)據(jù)[19](P50-52)(見表2)。
對(duì)于研究影響評(píng)價(jià),大學(xué)首先應(yīng)描述研究對(duì)經(jīng)濟(jì)、文化等方面的社會(huì)貢獻(xiàn),并提供關(guān)于支持這種研究影響的具體證據(jù)。研究影響的證據(jù)不是預(yù)期的結(jié)果,而是在評(píng)估期內(nèi)有切實(shí)證據(jù)的案例,用來向公眾例證研究的影響(例如對(duì)某項(xiàng)研究的成本效益分析)。由EI2018評(píng)價(jià)報(bào)告可知:各大學(xué)提交了有關(guān)研究影響豐富而詳實(shí)的信息,主要涉及與合作伙伴共同提供尖端技術(shù)、參與社區(qū)支援及安全、改善日常生活、發(fā)展社區(qū)與應(yīng)對(duì)社會(huì)挑戰(zhàn)五個(gè)主題方面的研究,直接對(duì)經(jīng)濟(jì)、社會(huì)、文化等方面產(chǎn)生了影響[18]。
對(duì)于影響路徑的評(píng)價(jià),大學(xué)首先應(yīng)提交具體材料說明提升研究影響的方法或機(jī)制,包括該機(jī)構(gòu)、學(xué)院或部門所實(shí)施的相關(guān)戰(zhàn)略。這些戰(zhàn)略應(yīng)能反映研究影響部分所報(bào)告的內(nèi)容,并能解釋其在產(chǎn)生影響方面的作用。其次,大學(xué)應(yīng)報(bào)告將科研成果轉(zhuǎn)化為具體影響的方式。雖然影響方式具有多樣性,但在影響路徑評(píng)價(jià)較高的研究中都存在著一些共性的機(jī)制和做法,表現(xiàn)在支持持續(xù)的協(xié)作、提供基礎(chǔ)設(shè)施以及支持知識(shí)轉(zhuǎn)移機(jī)制等[17](P31)。
EI2018評(píng)價(jià)收到了大量的科研影響力評(píng)價(jià)案例,如悉尼大學(xué)提交的《季節(jié)性貧困、農(nóng)村勞動(dòng)力市場(chǎng)和移民》,研究了在季節(jié)性饑荒期間澳大利亞政府為孟加拉國農(nóng)村的窮人提供移居城市的激勵(lì)措施方案是否能減少饑餓。該研究發(fā)現(xiàn),采取一定的激勵(lì)措施,讓貧窮地區(qū)的家庭將其成員送往城市工作,這些貧困地區(qū)的家庭在食品和非食品方面的支出增加了30%~35%,相當(dāng)于每人每天多吃一頓飯。同時(shí),研究人員在確定該激勵(lì)措施的有效性后,進(jìn)而在孟加拉國擴(kuò)大了激勵(lì)措施的使用范圍,并在印度尼西亞推廣使用,直接使16 000戶家庭或90 000人的生活質(zhì)量得到改善。再如,墨爾本大學(xué)與多所大學(xué)共同開展了《減少登革熱病毒在熱帶地區(qū)的傳播》的研究,旨在改變滅蚊方式和探究消滅蚊媒疾病傳播的方式,如對(duì)登革熱采用新型生物防治法,使生活在登革熱高發(fā)的熱帶地區(qū)數(shù)百萬居民和企業(yè)等受益。這兩項(xiàng)案例均展示了令人信服的研究影響,因而在評(píng)價(jià)中都獲得了“高”評(píng)級(jí)。①
(三)EI評(píng)價(jià)的評(píng)價(jià)標(biāo)準(zhǔn)與等級(jí)劃分
EI評(píng)價(jià)對(duì)科研社會(huì)互動(dòng)的評(píng)價(jià),主要是考察科研人員和科研成果使用主體是否為實(shí)現(xiàn)知識(shí)、技術(shù)、方法與資源的互利傳遞而進(jìn)行互動(dòng),評(píng)價(jià)級(jí)別分為高、中、低三級(jí)。如果有證據(jù)表明參評(píng)單元很好地將社會(huì)互動(dòng)內(nèi)容融入到研究開發(fā)與進(jìn)展中,與學(xué)術(shù)界之外的科研成果使用主體之間高效互動(dòng),實(shí)現(xiàn)了知識(shí)、技術(shù)、方法和資源的互利傳遞,則給予“高”評(píng)級(jí)。如果缺少或者根本未有效互動(dòng),則給予“低”評(píng)級(jí),介于兩者之間的給予“中”評(píng)級(jí)。對(duì)科研影響力的評(píng)價(jià)包括兩個(gè)方面:一是研究是否產(chǎn)生社會(huì)貢獻(xiàn)及貢獻(xiàn)度大小,主要依據(jù)大學(xué)提供影響力研究及影響力案例信息來判斷;二是研究產(chǎn)生影響力的機(jī)制和路徑,主要依據(jù)大學(xué)提供的為實(shí)現(xiàn)研究影響所采取的策略、方法或路徑等信息。與社會(huì)互動(dòng)評(píng)級(jí)一致,研究影響與影響路徑的評(píng)級(jí)也分為高、中、低三級(jí)[17](P20)。評(píng)估專家會(huì)審閱參評(píng)大學(xué)所提交的包括案例研究在內(nèi)的陳述性材料,從整體角度對(duì)科研的社會(huì)互動(dòng)和影響力進(jìn)行評(píng)級(jí)。
(四)EI評(píng)價(jià)的評(píng)估結(jié)果與等級(jí)分布
此次EI評(píng)價(jià),共有來自40所大學(xué)的626個(gè)科研社會(huì)互動(dòng)評(píng)估單元、637個(gè)科研影響力評(píng)估單元提交了材料。其中,85%的科研社會(huì)互動(dòng)評(píng)估單元評(píng)級(jí)位于中等以上,說明澳大利亞大學(xué)與產(chǎn)業(yè)、政府和公民建立了廣泛而多樣的合作方式。研究影響、影響路徑評(píng)級(jí)位于中等以上的評(píng)估單元分別占88%、76%,反映了大學(xué)科研已在經(jīng)濟(jì)、社會(huì)、環(huán)境和文化方面產(chǎn)生重大影響力,且科研成果的轉(zhuǎn)化與應(yīng)用機(jī)制仍有完善空間。
在參評(píng)學(xué)科方面,高社會(huì)互動(dòng)性與高影響力的學(xué)科主要集中于建筑環(huán)境與設(shè)計(jì)、法律及法律研究、農(nóng)業(yè)與獸醫(yī)科學(xué)、技術(shù)學(xué)、工程學(xué)(見表3)。從三個(gè)維度的對(duì)比來看,對(duì)影響路徑方面評(píng)價(jià)相對(duì)不高,低評(píng)級(jí)比例占到了24%,高評(píng)級(jí)比例僅有25%,也說明大學(xué)科研成果向社會(huì)轉(zhuǎn)化的過程中,相關(guān)機(jī)制和制度建設(shè)并不成熟[18]。
五、EI評(píng)價(jià)的特征與啟示
作為資源依賴型組織,大學(xué)只有注重科研成果的社會(huì)貢獻(xiàn)和影響力,才能獲得可持續(xù)發(fā)展的動(dòng)能。以新的知識(shí)生產(chǎn)模式為導(dǎo)向,澳大利亞政府在ERA評(píng)估的基礎(chǔ)上設(shè)計(jì)并進(jìn)行EI評(píng)價(jià),在關(guān)注科研質(zhì)量的同時(shí),通過更加精細(xì)化、多維化和立體化的評(píng)價(jià)機(jī)制設(shè)計(jì),引導(dǎo)和激勵(lì)高校注重科研的社會(huì)互動(dòng)與貢獻(xiàn)。與英國的REF影響力評(píng)價(jià)相比,澳大利亞的EI評(píng)價(jià)具有過程與結(jié)果并重、機(jī)制與影響兼顧的鮮明特征,超越了診斷和激勵(lì)的傳統(tǒng)評(píng)價(jià)功能,更為注重高校與社會(huì)互動(dòng)的能力培育和機(jī)制建設(shè)。澳大利亞的EI評(píng)價(jià)為我國高??蒲性u(píng)價(jià)改革與“雙一流”建設(shè)績效評(píng)價(jià)提供了鏡鑒和啟示。
(一)正確認(rèn)識(shí)知識(shí)生產(chǎn)規(guī)律、科研價(jià)值與社會(huì)環(huán)境三者關(guān)系,構(gòu)建動(dòng)態(tài)靈活的評(píng)價(jià)機(jī)制
EI2018評(píng)價(jià)的順利實(shí)施,首先離不開前期的深入調(diào)研和試點(diǎn)評(píng)價(jià)工作。澳大利亞政府在決定引入科研社會(huì)互動(dòng)與影響力評(píng)價(jià)后,就開始了對(duì)其他國家的廣泛調(diào)研和考察,EI評(píng)價(jià)中“模板+案例”的評(píng)估方式便借鑒了英國的相關(guān)經(jīng)驗(yàn)。其次,EI評(píng)價(jià)預(yù)先選擇部分大學(xué)作為試點(diǎn)進(jìn)行模擬評(píng)估,及時(shí)修正部分預(yù)設(shè)評(píng)估方法的不妥之處。另外,出于對(duì)社會(huì)貢獻(xiàn)測(cè)度復(fù)雜性和激勵(lì)不確定性的審慎考慮,EI評(píng)價(jià)并沒有將評(píng)價(jià)結(jié)果直接與科研績效撥款掛鉤,而是暫且倡議將其作為參考性信息。EI評(píng)價(jià)機(jī)制的設(shè)計(jì)過程和應(yīng)用限度設(shè)定具有很強(qiáng)的參考價(jià)值,凸顯了科研評(píng)價(jià)體系中知識(shí)生產(chǎn)規(guī)律、科研價(jià)值與社會(huì)環(huán)境三者的內(nèi)在邏輯。我國科研評(píng)價(jià)中糾正“五唯”不良傾向,構(gòu)建新的評(píng)價(jià)體系,需要考慮這三者的復(fù)合關(guān)系,在科學(xué)頂層設(shè)計(jì)的基礎(chǔ)上,充分進(jìn)行調(diào)研和試點(diǎn)探索,再給予科研評(píng)價(jià)機(jī)制靈活調(diào)度的空間。
(二)把握知識(shí)生產(chǎn)模式轉(zhuǎn)型與評(píng)價(jià)體系創(chuàng)新的交互影響,強(qiáng)化科研的經(jīng)濟(jì)、社會(huì)及文化影響力
EI評(píng)價(jià)抓住了科研評(píng)價(jià)體系與新型知識(shí)生產(chǎn)模式交互影響的時(shí)代脈搏。澳大利亞之前的大學(xué)科研評(píng)價(jià)局限于科研內(nèi)部,旨在提升國內(nèi)大學(xué)的科研產(chǎn)出水平,并與財(cái)政經(jīng)費(fèi)撥款部分掛鉤,致使大學(xué)更為關(guān)注科研產(chǎn)出的數(shù)量,對(duì)科研的社會(huì)貢獻(xiàn)度重視不足。引入EI評(píng)價(jià)后,大學(xué)科研評(píng)價(jià)機(jī)制展現(xiàn)出更為多元和積極的影響,具體表現(xiàn)為:第一,大學(xué)的科研活動(dòng)以更積極的姿態(tài)有機(jī)融入社會(huì),現(xiàn)實(shí)影響力在經(jīng)濟(jì)、社會(huì)及文化領(lǐng)域迅速擴(kuò)散;第二,評(píng)價(jià)結(jié)果將影響政策制定和組織決策,為大學(xué)未來教學(xué)與科研經(jīng)費(fèi)配置提供參考依據(jù);第三,科研成果的轉(zhuǎn)化率持續(xù)提升,在促進(jìn)經(jīng)濟(jì)發(fā)展的同時(shí),激發(fā)了社會(huì)創(chuàng)新活力并推動(dòng)了文化繁榮。EI評(píng)價(jià)為破解我國科研評(píng)價(jià)機(jī)制中的“五唯”問題提供了鏡鑒?!捌啤迸c“立”是辯證統(tǒng)一的,“破五唯”的關(guān)鍵在于明確“立什么”的問題。我國要完善科研評(píng)價(jià)體系,應(yīng)充分認(rèn)識(shí)到:隨著知識(shí)生產(chǎn)模式的轉(zhuǎn)型,大學(xué)知識(shí)生產(chǎn)面臨結(jié)構(gòu)性調(diào)整的時(shí)代需求,即需要從以科研效率線性提升為主要表現(xiàn)的平面化科研能力,升級(jí)為強(qiáng)調(diào)對(duì)經(jīng)濟(jì)的貢獻(xiàn)、對(duì)社會(huì)的影響、對(duì)文化的傳承及對(duì)公民的培養(yǎng)等立體化的科研能力。順應(yīng)知識(shí)生產(chǎn)的發(fā)展趨勢(shì),以社會(huì)貢獻(xiàn)界定卓越科研,是建構(gòu)更為全面、科學(xué)的評(píng)價(jià)體系的應(yīng)有之義。
(三)充分挖掘科研評(píng)價(jià)的激勵(lì)導(dǎo)向作用,引導(dǎo)大學(xué)與政府、產(chǎn)業(yè)及公民之間良性互動(dòng)
EI評(píng)價(jià)成為ERA評(píng)估的配套項(xiàng)目,充分體現(xiàn)了澳大利亞科研評(píng)價(jià)對(duì)經(jīng)濟(jì)、政治及文化等社會(huì)貢獻(xiàn)的重視,打破了傳統(tǒng)學(xué)術(shù)發(fā)展與實(shí)際應(yīng)用之間的藩籬,體現(xiàn)了學(xué)術(shù)內(nèi)在價(jià)值與外在價(jià)值相結(jié)合的評(píng)價(jià)方針,有利于激勵(lì)科研活動(dòng)實(shí)現(xiàn)外部效益的最大化,帶動(dòng)科研價(jià)值鏈的整體提升。同時(shí),科研的社會(huì)互動(dòng)和影響力的評(píng)價(jià)工作,有助于提升科研工作者對(duì)實(shí)踐需求把握的準(zhǔn)確度,體現(xiàn)知識(shí)生產(chǎn)模式轉(zhuǎn)型下科學(xué)研究與社會(huì)之間的聯(lián)接,增強(qiáng)政府、產(chǎn)業(yè)和公民的參與度,實(shí)現(xiàn)大學(xué)與政府、產(chǎn)業(yè)及公民的良性互動(dòng)[20]。雖然我國早已注重科研成果的利用與轉(zhuǎn)化,如支持建設(shè)企業(yè)大學(xué)、鼓勵(lì)產(chǎn)學(xué)研合作,但是相關(guān)機(jī)制體制仍不成熟,大學(xué)與政府、產(chǎn)業(yè)及社會(huì)的合作成效仍存在改進(jìn)空間,科學(xué)研究與社會(huì)之間的隔閡在現(xiàn)有科研評(píng)價(jià)機(jī)制和相應(yīng)管理體制中難以消除。在第五輪學(xué)科評(píng)估以及“雙一流”建設(shè)績效評(píng)估中,應(yīng)更為明確地設(shè)置科研的社會(huì)互動(dòng)與貢獻(xiàn)度指標(biāo),從賦能和機(jī)制建設(shè)的高度,賦予相關(guān)指標(biāo)更高的權(quán)重,從而引導(dǎo)高校在知識(shí)生產(chǎn)推動(dòng)應(yīng)用、知識(shí)應(yīng)用反哺生產(chǎn)的良性循環(huán)中,充分展示大學(xué)、政府、產(chǎn)業(yè)及公民之間的互動(dòng)機(jī)制。
參考文獻(xiàn)
[1] 操太圣.“五唯”問題:高校教師評(píng)價(jià)的后果、根源及解困路向[J].大學(xué)教育科學(xué),2019(01):27-32.
[2] 教育部.關(guān)于開展清理“唯論文、唯帽子、唯職稱、唯學(xué)歷、唯獎(jiǎng)項(xiàng)”專項(xiàng)行動(dòng)的通知[EB/OL].(2018-11-08)[2019-07-18]. http://www.moe.gov.cn/srcsite/A16/s7062/201811/t20181113_354444.html.
[3] 教育部 財(cái)政部 國家發(fā)展改革委.關(guān)于高等學(xué)校加快“雙一流”建設(shè)的指導(dǎo)意見[EB/OL].(2018-08-27)[2019-07-22].http://www.gov.cn/xinwen/content_5316809.htm.
[4] 國務(wù)院.關(guān)于優(yōu)化科研管理提升科研績效若干措施的通知[EB/OL].(2018-07-24)[2019-07-22].http://www.gov.cn/zhengce/content/content_5308787.htm.
[5] 陳學(xué)飛,葉祝弟,王英杰,等.中國式學(xué)科評(píng)估:問題與出路[J].探索與爭(zhēng)鳴,2016(09):59-74.
[6] 宗曉華,郝笑影.英國大學(xué)科研績效評(píng)估與績效撥款機(jī)制——基于科研卓越框架(REF)的分析[J].江蘇高教, 2019(06):112-118.
[7] Leiden University.CWTS Leiden Ranking 2019 [EB/OL].(2019-05-15)[2019-07-24].https://www.leidenranking.com/ranking/list.
[8] [英]邁克爾·吉本斯,等.知識(shí)生產(chǎn)的新模式——當(dāng)代社會(huì)科學(xué)與研究的動(dòng)力學(xué)[M].陳洪捷,等譯.北京:北京大學(xué)出版社,2011:4-9.
[9] Etzkowitz H., Leydesdorff L.The Dynamics of Innovation:From National Systems and“Mode 2”to a Triple Helix of University-Industry-Government Relations[J].Research Policy,2000(02):109-123.
[10] Carayannis E G, Campbell D F J.Open Innovation Diplomacy and a 21st Century Fractal Research, Education and Innovation (FREIE) Ecosystem: Building on the Quadruple and Quintuple Helix Innovation Concepts and the “Mode 3” Knowledge Production System[J].Journal of the Knowledge Economy,2011(03): 327-372.
[11] Butler L.Explaining Australias Increased Share of ISI Publications — The Effects of a Funding Formula based on Publication Counts[J].Research Policy,2003(32): 143-155.
[12] Australian Research Council.State of Australian University Research(Volume 2 Institutional Insights)[R/OL].(2016-10-12)[2019-04-10].https://www.arc.gov.au/excellence-research-australia/archived-era-reports,.
[13] Watt, I.Report of the Review of Research Policy and Funding Arrangements [R/OL].(2015-11-30)[2019-03-20].https://apo.org.au/node/63694.
[14] Australian Research Council.EI 2018 Framework [EB/OL].(2019-03-15)[2019-04-10].https://www.arc.gov.au/engagement-and-impact-assessment/ei-key-documents.
[15] EI.Steering Committee and Working Groups
[EB/OL].(2019-03-20)[2019-04-10].https://www.arc.gov.au/engagement-and-impact-assessment/ei-steering-committee-and-working-groups.
[16] Australian Research Council.Engagement and Impact Assessment Pilot 2017 Report [EB/OL].(2018-06-29)[2019-02-27].https://www.arc.gov.au/engagement-and-impact-assessment/ei-pilot-overview.
[17] Australian Research Council.EI 2018 Assessment Handbook [EB/OL].(2019-03-15)[2019-04-10].https://www.arc.gov.au/engagement-and-impact-assessment/ei-key-documents.
[18] Australian Research Council.Engagement and Impact Assessment 2018-19 National Report
[EB/OL].(2019-04-01)[2019-05-20].https://dataportal.arc.gov.au/EI/National Report/2018.
[19] Australian Research Council.EI 2018 Submission Guidelines [EB/OL].(2019-03-20)[2019-04-10].https://www.arc.gov.au/engagement-and-impact-assessment/ei-key-documents.
[20] 余小波,陸啟越,周巍.社會(huì)評(píng)價(jià)介入大學(xué)治理:價(jià)值、路徑及條件[J].大學(xué)教育科學(xué),2015(04):23-27.
Abstract: University scientific research activities are facing increasing social accountability with the approach to modern transformation of knowledge production. The focus of scientific research assessment has gradually shifted from the internal evaluation of quantity and quality of research to the external evaluation of social contribution and influence. Based on the Excellence Research Assessment (ERA), the Australian government introduced “Engagement and Impact Assessment” (EI) in 2018. As an auxiliary mechanism of ERA and with its more refined and tridimensional indicator system, EI encourages universities activities actively interacting and cooperating with government, industry and society in the whole process of research, which balance the results and process evaluation, highlights the ability cultivation and mechanism development, and fully guide the incentive and guiding role of assessment. It is helpful to take EI for reference and attach equal importance to quality and contribution in the process of cleaning up the Five Orientations in China, and pay more attention to the engagement and actual contribution of university scientific research.
Key words: Australian universities; research assessment; engagement; impact; knowledge production mode
(責(zé)任編輯? 黃建新)