英國(guó)高等教育科研卓越評(píng)估體系

管海燕

摘 要：自20世紀(jì)80年代以來，英國(guó)通過周期性的科研評(píng)估活動(dòng)（RAE）調(diào)整對(duì)高等教育領(lǐng)域的經(jīng)費(fèi)投入。而最新一輪以“科研卓越”為導(dǎo)向的科研評(píng)估體系（REF）將對(duì)RAE評(píng)估制度中評(píng)估成本過高及評(píng)估效率低等問題，在公正、平等和透明三大原則的指導(dǎo)下，通過整合評(píng)估單元、優(yōu)化評(píng)估機(jī)制與方法等措施進(jìn)行改革。REF以科研質(zhì)量為中心的評(píng)估理念及在廣泛征求意見和試點(diǎn)實(shí)驗(yàn)基礎(chǔ)上的科學(xué)決策機(jī)制對(duì)我國(guó)完善以創(chuàng)新和質(zhì)量為導(dǎo)向的科研評(píng)價(jià)機(jī)制具有借鑒意義。

關(guān)鍵詞：英國(guó)；高等教育； 科研卓越評(píng)估體系； REF

20世紀(jì)80年代，在全球經(jīng)濟(jì)普遍衰退的形勢(shì)下，英國(guó)政府部門一方面實(shí)行財(cái)政緊縮政策，嚴(yán)格控制公共財(cái)政支出，另一方面將市場(chǎng)機(jī)制和管理主義的思想引入政府公共部門的改革中，以減少資源的浪費(fèi)，提高經(jīng)費(fèi)的使用效率。因此，運(yùn)用市場(chǎng)規(guī)則的績(jī)效評(píng)價(jià)方式開始成為英國(guó)政府公共部門包括高等教育在內(nèi)的重要管理模式之一。

1986年，在高等教育嚴(yán)重經(jīng)費(fèi)縮減而學(xué)生人數(shù)不斷攀升的情況下，英國(guó)教育部門首次進(jìn)行高等教育領(lǐng)域內(nèi)的科研質(zhì)量評(píng)估（Research Assessment Exercise，RAE），并將評(píng)估結(jié)果作為撥款機(jī)構(gòu)科研撥款的重要依據(jù)。英國(guó)政府部門希望通過實(shí)施周期性的科研評(píng)估，鼓勵(lì)高校積極提高科研質(zhì)量，改善科研管理機(jī)制，從而提高科研經(jīng)費(fèi)的使用效率，維護(hù)國(guó)家研究性大學(xué)的國(guó)際競(jìng)爭(zhēng)力。因此，在1989年、1992年、1996年、2001年和2008年先后開展了5輪RAE科研評(píng)估活動(dòng)。雖然每次評(píng)估活動(dòng)都對(duì)評(píng)估方法和標(biāo)準(zhǔn)進(jìn)行修改，但科研評(píng)估成本負(fù)擔(dān)過重及評(píng)估效率低等問題仍難以解決。而新一輪的以“科研卓越”為取向的2014科研評(píng)估活動(dòng)（Research Excellence Framework，REF）將對(duì)以往的評(píng)估方法和理念做出重大調(diào)整，以提高科研評(píng)估活動(dòng)的效率。

一、確立過程

REF科研卓越評(píng)估體系采用專家評(píng)議的方式，以有效評(píng)估英國(guó)高校所有學(xué)科的科研質(zhì)量為主要目的，將取代2008年的科研評(píng)估框架（RAE），成為衡量高?？蒲兴降闹匾椒╗1]。經(jīng)過多次咨詢討論會(huì)議和試點(diǎn)實(shí)驗(yàn)，英國(guó)高等教育科研卓越評(píng)估體系的主要指標(biāo)和評(píng)估機(jī)制基本確立，各高校于2013年1月至11月按照相應(yīng)標(biāo)準(zhǔn)提交評(píng)估材料，而評(píng)估結(jié)果及相關(guān)信息將在2014年12月及2015年春季陸續(xù)公布，此次評(píng)估結(jié)果將作為2015-2016學(xué)年英國(guó)高等教育撥款機(jī)構(gòu)進(jìn)行科研撥款的主要標(biāo)準(zhǔn)。[2]

2006年6月，針對(duì)RAE科研評(píng)估中的評(píng)估效率及評(píng)估體制等問題，英國(guó)教育與技能部就改革RAE科研評(píng)估召開咨詢討論會(huì)。2007年3月，英格蘭高等教育基金委員會(huì)（HEFCE）提出初步改革方案《未來科研評(píng)估與撥款的框架》（Future framework for research assessment and funding）[3]。 11月，英格蘭高等教育基金委員會(huì)在方案中提出所有學(xué)科將采用統(tǒng)一的定量評(píng)價(jià)方式代替以往將理科和其他學(xué)科分開評(píng)價(jià)的模式，并將進(jìn)行“文獻(xiàn)計(jì)量指標(biāo)”（bibliometric quality indicators）的試點(diǎn)實(shí)驗(yàn)[4]。22所高校共35個(gè)評(píng)估單元（Units of Assessment）參與試點(diǎn)實(shí)驗(yàn)，實(shí)驗(yàn)中將組織評(píng)審專家對(duì)各高校在2001年至2006年期間發(fā)表在科學(xué)網(wǎng)（Web of Science）和斯高帕斯數(shù)據(jù)庫（Scopus）上的各類文獻(xiàn)的引用量進(jìn)行標(biāo)準(zhǔn)化的定量分析，以確定REF評(píng)估體系中文獻(xiàn)計(jì)量指標(biāo)的具體操作模型[5]。根據(jù)各高?？蒲谐晒倲?shù)和不同類型科研成果的百分比，實(shí)驗(yàn)得出表1中的統(tǒng)計(jì)結(jié)果[6]。但是這一結(jié)果并不能完全反映試點(diǎn)高校的科研質(zhì)量[7]。因此，在2009年9月，英國(guó)高等教育基金委員會(huì)組織的第二輪咨詢會(huì)議的報(bào)告指出，文獻(xiàn)引用計(jì)量指標(biāo)尚不完善，無法作為單獨(dú)的指標(biāo)用在計(jì)算公式中，但在為專家評(píng)議提供信息服務(wù)方面仍有重要作用[8]。因此，REF2104科研評(píng)估將采用以專家評(píng)議為主，文獻(xiàn)計(jì)量分析為輔的評(píng)估模型。

英國(guó)高等教育基金委員會(huì)將科研產(chǎn)出（outputs）、科研影響（impacts）、科研環(huán)境（environment）作為REF科研評(píng)估中三個(gè)獨(dú)立的指標(biāo)。2010年，REF評(píng)估團(tuán)隊(duì)就科研影響這一指標(biāo)的計(jì)量方法和權(quán)重系數(shù)等問題進(jìn)行試點(diǎn)實(shí)驗(yàn)。在2011年發(fā)布的《關(guān)于科研卓越框架設(shè)計(jì)的初步?jīng)Q定》（Initial Decisions on the Design of the REF）和《關(guān)于評(píng)價(jià)科研影響的決定》（Decisions on Assessing Research Impact）中指出對(duì)科研影響的評(píng)估將采用專家評(píng)審高校提交的案例研究的方式進(jìn)行，而科研產(chǎn)出、科研影響和科研環(huán)境的權(quán)重系數(shù)分別為65%、20%、15%[9]。雖然目前評(píng)估結(jié)果尚未完全發(fā)布，但是REF科研評(píng)估活動(dòng)中的評(píng)估指標(biāo)及計(jì)算模型等問題都值得關(guān)注與思考。

二、主要內(nèi)容

REF2014科研評(píng)估活動(dòng)由英格蘭高等教育基金委員會(huì)（HEFCE）、蘇格蘭撥款委員會(huì)（SFC）、威爾士高等教育基金委員會(huì)（HEFCW）和北愛爾蘭教育與就業(yè)技能部（DEL）四個(gè)機(jī)構(gòu)組成的REF評(píng)估團(tuán)隊(duì)負(fù)責(zé)實(shí)施，REF指導(dǎo)小組負(fù)責(zé)監(jiān)督[10]。REF科研評(píng)估活動(dòng)遵循公正、平等和透明三大原則，并在RAE科研評(píng)估活動(dòng)的基礎(chǔ)上進(jìn)一步優(yōu)化和發(fā)展[11]。RAE科研評(píng)估活動(dòng)中出現(xiàn)的評(píng)估成本過高等問題，在REF2014科研評(píng)估活動(dòng)中將通過整合評(píng)估單元、優(yōu)化評(píng)估指標(biāo)等方式進(jìn)行改革。

（一）整合評(píng)估單元

REF2014科研評(píng)估將2008RAE科研評(píng)估活動(dòng)中的評(píng)估單元（UOA）和子學(xué)科小組（sub-panel）由67個(gè)減少為36個(gè)，學(xué)科大組（main panel）由15個(gè)減少為4個(gè)[12]。高校將按照36個(gè)子學(xué)科小組的分類選擇提交評(píng)估材料，由每個(gè)子學(xué)科小組的專家在A、B、C、D四個(gè)學(xué)科大組的指導(dǎo)下進(jìn)行評(píng)審[13]。其中：A組主要包括醫(yī)學(xué)、農(nóng)學(xué)和食品科學(xué)；B組主要為理學(xué)和工程學(xué)科；C組主要為社會(huì)科學(xué)學(xué)科；D組為人文、藝術(shù)、傳播和宗教相關(guān)學(xué)科[14]。在四個(gè)學(xué)科大組下又設(shè)置36個(gè)評(píng)估單元。表2所示為REF2014科研評(píng)估活動(dòng)中的學(xué)科分類[15]。與2008RAE科研評(píng)估相比，REF2014科研評(píng)估中各高校提交的科研成果總數(shù)有所減少，各個(gè)學(xué)科大組下的科研成果數(shù)量也有所下降（具體數(shù)據(jù)參見表3）。[16][17]

（二）優(yōu)化評(píng)估指標(biāo)及方法

在評(píng)估方法上，REF科研評(píng)估由子學(xué)科組采用專家評(píng)審的方式對(duì)高校提交的材料進(jìn)行評(píng)價(jià)，并向相應(yīng)的學(xué)科大組提供被評(píng)價(jià)高校的質(zhì)量等級(jí)的意見。與之前RAE科研評(píng)估活動(dòng)的不同之處在于，REF科研評(píng)估不再將“聲譽(yù)指標(biāo)”（Esteem Indicators）作為一項(xiàng)單獨(dú)的評(píng)估標(biāo)準(zhǔn)[18]。在2010年的試點(diǎn)實(shí)驗(yàn)中，英國(guó)高等教育基金委員會(huì)引入“科研影響”（impact）這一指標(biāo)，并和科研產(chǎn)出（outputs）、科研環(huán)境（environment）共同構(gòu)成REF科研評(píng)估的三大指標(biāo)[19]。與之前的“聲譽(yù)指標(biāo)”相比，“科研影響”占評(píng)估結(jié)果的比重有所上升，由10%上升至20%，而科研產(chǎn)出和科研環(huán)境分別由70%和20%下降至65%和15%。在對(duì)“科研影響”的評(píng)估中，主要是對(duì)各高校在2008年1月至2013年6月期間的科研成果在經(jīng)濟(jì)、社會(huì)、文化、公共政策或服務(wù)、衛(wèi)生、環(huán)境及生活質(zhì)量等方面產(chǎn)生的效果進(jìn)行評(píng)價(jià)[20]。各高校需提交其科研成果影響的案例研究（case study），而后由REF評(píng)估團(tuán)隊(duì)采用專家評(píng)審的方式從“范圍（reach）”和“意義（significance）”兩個(gè)維度對(duì)其進(jìn)行等級(jí)評(píng)定[21]。其中“范圍”是指科研活動(dòng)產(chǎn)生影響和作用的擴(kuò)展幅度；“意義”是指科研活動(dòng)影響或作用的強(qiáng)弱程度[22]。表4所示為各等級(jí)的具體標(biāo)準(zhǔn)及含義。[23]

“科研產(chǎn)出”是REF2014科研評(píng)估活動(dòng)中最重要的部分，直接影響高校的科研評(píng)估結(jié)果[24]?！翱蒲挟a(chǎn)出”的評(píng)價(jià)主要根據(jù)國(guó)際科研質(zhì)量標(biāo)準(zhǔn)從科研成果的原創(chuàng)性（originality）、重要性（significance）和嚴(yán)謹(jǐn)性（rigour）三個(gè)維度進(jìn)行。為減輕評(píng)估專家的負(fù)擔(dān)，REF2014科研評(píng)估中每位教師將至多提交三項(xiàng)2008-2013年期間的科研成果[25]。REF2014科研評(píng)估活動(dòng)中，對(duì)“科研環(huán)境”的評(píng)價(jià)主要從科研的“活力”（vitality）和科研的“可持續(xù)性”（sustainability）兩方面進(jìn)行。其中，“活力”主要考查的是參評(píng)高校提交的科研成果為科研活動(dòng)提供激勵(lì)性和促進(jìn)性的環(huán)境的程度，以及參評(píng)高校是否制定有效的戰(zhàn)略規(guī)劃，是否參與到國(guó)內(nèi)和國(guó)際科研共同體，能否通過其國(guó)際聲譽(yù)吸引優(yōu)秀的研究生和博士生，是否有充足的科研經(jīng)費(fèi)支持等；“可持續(xù)性”主要考查的是參評(píng)科研項(xiàng)目未來連貫的發(fā)展愿景，以及對(duì)科研人員和科研基礎(chǔ)設(shè)施的投入等。具體而言，評(píng)價(jià)的內(nèi)容包括：總體情況、科研戰(zhàn)略、科研人員（其中包括人事政策、教師發(fā)展、研究生培養(yǎng)等）、科研收入與基礎(chǔ)設(shè)施，以及對(duì)科研合作提供的支持和對(duì)更大范圍科研基地的貢獻(xiàn)等[26]。子學(xué)科小組成員根據(jù)專業(yè)評(píng)審對(duì)各高校的科研成果從科研產(chǎn)出、科研影響和科研環(huán)境三個(gè)維度進(jìn)行評(píng)價(jià)，得出每個(gè)指標(biāo)的評(píng)價(jià)結(jié)果（sub-profile），最后依據(jù)相應(yīng)的權(quán)重對(duì)各高校的科研成果做出最后的等級(jí)評(píng)定（overall excellence profile）[27]。表5所示為科研成果整體質(zhì)量各等級(jí)的具體內(nèi)容和標(biāo)準(zhǔn)。[28]

（三）確定評(píng)估人員及職責(zé)

REF2014科研評(píng)估是專家評(píng)審的過程。雖然專家在評(píng)審過程中會(huì)運(yùn)用各種量化指標(biāo)以做出專業(yè)判斷，但是同行專家評(píng)議仍然最為重要[29]。因此，在2010年，通過自愿申請(qǐng)和提名的方式，英國(guó)高等教育撥款機(jī)構(gòu)根據(jù)評(píng)估單元的劃分和選拔標(biāo)準(zhǔn)組成4個(gè)學(xué)科大組和36個(gè)子學(xué)科組，每個(gè)子學(xué)科組在學(xué)科大組的指導(dǎo)下對(duì)各高校的科研成果進(jìn)行評(píng)估[30]。具體來說，學(xué)科大組的主要職責(zé)是制定各學(xué)科的評(píng)估標(biāo)準(zhǔn)和具體方法，指導(dǎo)各子學(xué)科組進(jìn)行評(píng)估。子學(xué)科組的主要職責(zé)是根據(jù)學(xué)科大組的評(píng)估標(biāo)準(zhǔn)和具體方法實(shí)施評(píng)估，并根據(jù)實(shí)際情況向?qū)W科大組提出關(guān)于制定評(píng)估標(biāo)準(zhǔn)和具體方法的建議。[31]

從評(píng)估小組的人員組成來看，每個(gè)學(xué)科大組由組長(zhǎng)、各子學(xué)科組組長(zhǎng)，以及具有國(guó)際評(píng)估經(jīng)驗(yàn)的專家和科研成果使用方的代表組成；子學(xué)科組由組長(zhǎng)及10～30名成員（具體人數(shù)根據(jù)所在學(xué)科組的規(guī)模和范圍來決定）組成[32]。 此外，英國(guó)高等教育撥款機(jī)構(gòu)還任命了相當(dāng)數(shù)量的評(píng)估員（assessor）協(xié)助子學(xué)科組得出各指標(biāo)的評(píng)估結(jié)果。從評(píng)估人員的選聘標(biāo)準(zhǔn)來看，各子學(xué)科的專家評(píng)審人員必須具備相關(guān)學(xué)科的專業(yè)技能和知識(shí)?？紤]到各高校研究類型的多樣性，英國(guó)高等教育撥款機(jī)構(gòu)在選聘人員時(shí)會(huì)綜合考慮其年齡、性別、種族、家庭背景等因素以保證評(píng)審人員的多樣性[33]。同時(shí)，為保證評(píng)估結(jié)果的公平性和有效性，子學(xué)科小組和評(píng)估員的任命都將以個(gè)人經(jīng)驗(yàn)和專業(yè)知識(shí)為依據(jù)，而與其所代表的任何團(tuán)體無關(guān)。[34]

（四）明確評(píng)估程序與要求

與之前的RAE科研評(píng)估活動(dòng)相比，REF2014科研評(píng)估標(biāo)準(zhǔn)化程度提高，采用統(tǒng)一標(biāo)準(zhǔn)和方法對(duì)所有評(píng)估單元進(jìn)行評(píng)價(jià)[35]。各高校可任意選擇所要參與的評(píng)估單元，但每個(gè)參評(píng)高校必須按照要求提交相關(guān)材料和數(shù)據(jù)，主要包括科研人員信息、科研成果信息、科研影響及科研環(huán)境四個(gè)方面[36]。表6所示為參評(píng)學(xué)科所需提供信息的具體內(nèi)容。[37]

通常情況下，各高校每項(xiàng)科研成果只需按其所在評(píng)估單元提交一次材料，但若由于學(xué)科之間的交叉屬性，在高校做出具體說明的情況下，可對(duì)同一科研成果進(jìn)行多次評(píng)估[38]。對(duì)于兩個(gè)或兩個(gè)以上高校合作完成的科研成果，REF科研評(píng)估中將分別對(duì)各高校進(jìn)行評(píng)價(jià)。在合作項(xiàng)目中起主導(dǎo)作用的高校需以所有參與高校的名義提交科研影響和科研環(huán)境的相關(guān)材料，而其他參與高校只需提交關(guān)于科研人員信息和科研成果信息的材料[39]。REF2014科研評(píng)估對(duì)跨學(xué)科研究和合作研究的關(guān)注是評(píng)估結(jié)果的公正性的體現(xiàn)。截至2013年11月29日，共有155所高校參與REF2014科研評(píng)估并提交材料。[40]

三、啟示與思考

英國(guó)高等教育科研評(píng)估將評(píng)估結(jié)果與高等教育撥款機(jī)構(gòu)的科研撥款直接掛鉤。雖然目前REF2014科研評(píng)估活動(dòng)的結(jié)果及相關(guān)信息尚未完全公布，新的科研撥款方案尚未出臺(tái)，對(duì)高?？蒲匈|(zhì)量的影響也尚不明確，但其以科研質(zhì)量為核心，重視提高科研經(jīng)費(fèi)使用效率，提升高?？蒲袊?guó)際競(jìng)爭(zhēng)力等特點(diǎn)值得關(guān)注與借鑒。

（一）在廣泛征求各方意見及試點(diǎn)實(shí)驗(yàn)基礎(chǔ)上的科學(xué)決策機(jī)制

REF科研評(píng)估體系在此前的RAE評(píng)估體系基礎(chǔ)之上發(fā)展而來。自2006年第一輪咨詢討論會(huì)起到2013年各高?？蒲性u(píng)估材料的提交完成，長(zhǎng)達(dá)7年的時(shí)間。英國(guó)教育部門及高等教育撥款機(jī)構(gòu)組織多次咨詢討論會(huì)議，鼓勵(lì)高校、用人單位、評(píng)估專家積極參與，并在高校試點(diǎn)實(shí)驗(yàn)的基礎(chǔ)之上，提出科研評(píng)估活動(dòng)的主要指標(biāo)及其計(jì)算方法。在召開咨詢討論會(huì)廣泛征求意見的基礎(chǔ)之上，英國(guó)高等教育撥款機(jī)構(gòu)通過認(rèn)定的1950個(gè)各類學(xué)術(shù)協(xié)會(huì)組織和科研利益相關(guān)組織的提名機(jī)構(gòu)選拔和任用具有相關(guān)學(xué)科領(lǐng)域?qū)I(yè)知識(shí)和評(píng)估經(jīng)驗(yàn)的專家評(píng)審組和評(píng)估員[41]。從評(píng)估機(jī)構(gòu)的性質(zhì)來看，權(quán)威的半官方中介評(píng)估機(jī)構(gòu)（如HEFCE）有助于實(shí)現(xiàn)大學(xué)評(píng)估從政府集權(quán)模式向指導(dǎo)模式轉(zhuǎn)變。REF科研評(píng)估制度中“自下而上”的改革方式是其公正、平等、透明原則的體現(xiàn)。盡管目前REF科研評(píng)估制度的實(shí)際社會(huì)影響難以判斷，但其在改革過程中通過在廣泛征求各方意見的基礎(chǔ)之上確定改革方案的決策機(jī)制給我國(guó)高等教育的科研評(píng)估工作帶來啟示與思考。

（二）以科研質(zhì)量為核心的科研評(píng)估制度

與RAE科研評(píng)估制度相比，REF科研評(píng)估活動(dòng)更加重視科研成果的質(zhì)量。對(duì)科研成果的“科研影響”評(píng)估中，更加強(qiáng)調(diào)科研成果對(duì)社會(huì)經(jīng)濟(jì)、文化、公共服務(wù)等各方面的實(shí)際影響。英國(guó)通過以科研質(zhì)量為核心的績(jī)效撥款制度調(diào)整科研經(jīng)費(fèi)在各學(xué)科領(lǐng)域的分配，將有限的科研經(jīng)費(fèi)投入到科研質(zhì)量達(dá)到國(guó)際先進(jìn)水平的學(xué)科中，這正是英國(guó)以追求卓越為導(dǎo)向的國(guó)家教育政策的體現(xiàn)。在我國(guó)加快建設(shè)世界一流大學(xué)和一流學(xué)科的背景下，英國(guó)REF科研評(píng)估活動(dòng)中的競(jìng)爭(zhēng)性績(jī)效評(píng)估制度對(duì)我國(guó)完善以創(chuàng)新和質(zhì)量為導(dǎo)向的科研評(píng)價(jià)機(jī)制具有借鑒意義。

參考文獻(xiàn)：

[1][8]REF2014. The Research Excellence Frame-work： A Brief Guide to the Proposals[R]. Bristol： REF. 2009. 1.3.

[2]REF2014.Timetable[EB/OL].http：//www.ref.ac.uk/timetable/， 2014-02-12.

[3]REF2014.Background[EB/OL]. http：//www.ref.ac.uk/background/， 2012-04-20.

[4]HEFCE.Publications[EB/OL]. http：//webarchive.nationalarchives.gov.uk/20100202100434/http：//hefce.ac.uk/pubs/hefce/2007/07_34/， 2010-03-03.

[5][7] REF2014. Report on the Pilot Exercise to Develop Bibliometric Indicators for the Research Excellence Framework [R]. Bristol： REF. 2009. 2.12.

[6]HEFCE. Publications &Reports [EB/OL]. http：//www.hefce.ac.uk/media/hefce1/pubs/hefce/209/0939/09_39.pdf/， 2012-01-18.

[9][19][20][21][27]REF2014.Decisions on Assessing Research Impact [R]. Bristol： REF.2011. 2. 5. 7. 8.8.

[10][11][12][18][29][36][38][39]REF2014. Assessment Framework and Guidance on Submissions[R].Bristol：REF.2011.4.5.10.10.11.11.12.

[13]REF2014.Expert Panels[EB/OL].http：//www.ref.ac.uk/panels/， 2012-12-12.

[14]REF2014.Expert Panels[EB/OL].http：//www.ref.ac.uk/panels/unitsofassessment/， 2012-04-20.

[16]REF2014.Submissions[EB/OL].http：//www.ref.ac.uk/subguide/， 2014-02-13.

[15][17]REF2014. Unit of Assessment[EB/OL]. http：//www.ref.ac.uk/panels/unit sofassessment/， 2014-04-02.

[22][24][25][35]REF2014.The Research Excellence Framework： A Brief Guide to the Proposals [R]. Bristol： REF.2009. 3.3.3.2.

[23]REF2014.Submissions[EB/OL]. http：//www.ref.ac.uk/subguide/， 2014-02-13.

[26][30][31]REF2014.Panel Criteria and Working Methods [R]. Bristol： REF. 2012. 35-37.4.4

[28]REF2014. Assessment Criteria and Level Definitions[EB/OL].http：//www.ref.ac.uk/panels/assessmentcriteriaandleveldefinitions/， 2014-04-02.

[32][33][34][41]REF2014.Unitsof Assessment and Recruitment of Expert Panels [R]. Bristol： REF. 2010-04-07.

[35]REF2014.Submissions[EB/OL].http：//www.ref.ac.uk/background/， 2012-02-13.

[37]REF2014. Assessment Criteria and Level Definitions[EB/OL].http：//www.ref.ac.uk/panels/assessmentcriteriaandleveldefinitions/，2014-04-23.

[40]REF2014.Research Excellence Framework 2014： The Result[R]. Bristol： REF.2014.3.

實(shí)習(xí)編輯 呂伊雯 責(zé)任編輯 郭偉