新西蘭研究基金項(xiàng)目中的同行評(píng)價(jià)

楊旭婷，喬 剛

（1.河南大學(xué) 教育學(xué)部，河南 開封 475004；2.延安大學(xué) 教育科學(xué)學(xué)院，陜西 延安 716000）

一、引 言

同行評(píng)價(jià)是科學(xué)界對(duì)科研項(xiàng)目進(jìn)行評(píng)審和對(duì)科研成果進(jìn)行評(píng)估的一種基本方法。[1]與量化評(píng)價(jià)、專家評(píng)價(jià)、政府評(píng)價(jià)等評(píng)價(jià)方式相比，同行評(píng)價(jià)具有專業(yè)性更強(qiáng)、民主參與性更高的優(yōu)勢(shì)。正如布魯貝克所言，大學(xué)傳授與研究的是“高深學(xué)問”，教師作為同行，他們“最清楚高深學(xué)問”的內(nèi)容，也“比其他人更清楚地知道誰最有資格成為教授”[2]。但同行評(píng)價(jià)在實(shí)施過程中往往存在一些問題，如過于遵循學(xué)科固有傳統(tǒng)范式而帶來對(duì)創(chuàng)新研究的抵制[3]，容易受到“老友關(guān)系網(wǎng)”的阻礙[4],評(píng)價(jià)者個(gè)人情感、個(gè)人偏見的帶入影響最終評(píng)價(jià)結(jié)果的客觀性[5]，等等。也正是因?yàn)檫@些缺陷，同行評(píng)價(jià)這一契合學(xué)術(shù)發(fā)展邏輯和高等教育治理邏輯的評(píng)價(jià)方式[6]，卻在實(shí)際應(yīng)用中經(jīng)常受到質(zhì)疑。究其原因，評(píng)價(jià)人監(jiān)督與激勵(lì)機(jī)制的缺乏、不同類型研究評(píng)判標(biāo)準(zhǔn)的單一化、評(píng)價(jià)信息的不充分等是這些問題產(chǎn)生的主要因素。[7]因此，有效地開展同行評(píng)價(jià)活動(dòng)，關(guān)鍵在于設(shè)計(jì)科學(xué)合理的實(shí)施策略和保障機(jī)制，實(shí)現(xiàn)在發(fā)揮同行評(píng)價(jià)制度優(yōu)勢(shì)的同時(shí)最大限度地規(guī)避潛在問題的出現(xiàn)。

2002年，新西蘭政府開始實(shí)施的基于績(jī)效的研究基金項(xiàng)目（Performance-Based Research Fund，PBRF）是一項(xiàng)評(píng)價(jià)全國高等教育機(jī)構(gòu)的研究表現(xiàn)，并根據(jù)評(píng)價(jià)結(jié)果予以資金支持的活動(dòng)，意在鼓勵(lì)、獎(jiǎng)勵(lì)新西蘭高等教育機(jī)構(gòu)的高水平研究，提升新西蘭高等教育機(jī)構(gòu)的全球競(jìng)爭(zhēng)力和國際影響力。項(xiàng)目的評(píng)價(jià)內(nèi)容包括三個(gè)部分，分別是研究成果的質(zhì)量評(píng)價(jià)、研究生學(xué)位獲得者數(shù)量和外部研究收入。其中，研究成果的質(zhì)量評(píng)價(jià)（Quality Evaluation）是項(xiàng)目評(píng)價(jià)的核心，占到了總體評(píng)價(jià)權(quán)重的55%，與其他兩項(xiàng)可以直接獲得數(shù)據(jù)的量化指標(biāo)所不同，質(zhì)量評(píng)價(jià)是通過同行評(píng)價(jià)的方式進(jìn)行的，依托同行專家來評(píng)判參評(píng)人及其所在高校的研究成果。質(zhì)量評(píng)價(jià)是一項(xiàng)周期性活動(dòng)，其項(xiàng)目實(shí)施以來，新西蘭政府委托高等教育委員會(huì)分別于2003 年、2006 年、2012 年和2018 年組織開展了4輪同行評(píng)價(jià)活動(dòng)。

經(jīng)過多年的實(shí)踐，PBRF項(xiàng)目持續(xù)改進(jìn)同行評(píng)價(jià)方式方法，完善同行評(píng)價(jià)內(nèi)容。新西蘭高等教育委員會(huì)先后發(fā)布了《高等教育機(jī)構(gòu)參評(píng)指南》《質(zhì)量評(píng)價(jià)實(shí)施過程指南》《同行評(píng)價(jià)小組遴選與任命辦法》《不同領(lǐng)域同行評(píng)價(jià)實(shí)施指南》《同行評(píng)價(jià)線上系統(tǒng)使用手冊(cè)》等一系列規(guī)章制度，已經(jīng)形成了較成熟的全國性同行評(píng)價(jià)體系，構(gòu)建了較完備的同行評(píng)價(jià)機(jī)制。從實(shí)際成效看，PBRF項(xiàng)目的實(shí)施有效提升了高校的研究生產(chǎn)率[8]，帶來了新西蘭高等教育研究質(zhì)量的整體提高[9]，特別是原有基礎(chǔ)相對(duì)落后的大學(xué)、學(xué)科研究水平的實(shí)質(zhì)性提升[10]。有學(xué)者基于對(duì)英國、美國、日本、德國、荷蘭等16個(gè)國家或地區(qū)主要高等教育評(píng)價(jià)模式的比較分析提出，新西蘭PBRF項(xiàng)目是評(píng)估研究和分配研究資金的最高質(zhì)量模型，在評(píng)價(jià)內(nèi)容的全面性、評(píng)價(jià)過程的公正透明性、評(píng)價(jià)方式的科學(xué)性等方面具有顯著優(yōu)勢(shì)[11]。與此同時(shí)，項(xiàng)目也獲得了越來越多高等教育機(jī)構(gòu)的認(rèn)可。數(shù)據(jù)顯示，參加PBRF項(xiàng)目的高等教育機(jī)構(gòu)數(shù)量已從第一輪的22 所發(fā)展到最新一輪的36 所，參評(píng)教師從4 461 人增長(zhǎng)到最新一輪的7 408人[12]。PBRF 項(xiàng)目的評(píng)價(jià)結(jié)果正在被應(yīng)用到新西蘭高等教育機(jī)構(gòu)內(nèi)部質(zhì)量評(píng)價(jià)、教師評(píng)價(jià)中，成為高等教育機(jī)構(gòu)評(píng)價(jià)教師研究水平和研究能力的重要依據(jù)。目前，PBRF項(xiàng)目已經(jīng)成為新西蘭最具影響力的高等教育評(píng)價(jià)活動(dòng)之一，是新西蘭高等教育機(jī)構(gòu)獲取研究資金的最主要來源。

本文聚焦同行評(píng)價(jià)，結(jié)合新西蘭PBRF項(xiàng)目2018-2019年最新一輪質(zhì)量評(píng)價(jià)實(shí)踐，分析其在推動(dòng)同行評(píng)價(jià)活動(dòng)的有效執(zhí)行、規(guī)避同行評(píng)價(jià)潛在不足方面采取的實(shí)施策略與制度保障。

二、新西蘭PBRF項(xiàng)目中同行評(píng)價(jià)的實(shí)施策略

（一）基于同行推薦遴選評(píng)價(jià)專家

作為一種由從事特定領(lǐng)域或接近該領(lǐng)域的專家來評(píng)定一項(xiàng)工作的學(xué)術(shù)水平或重要性的機(jī)制[13]，同行評(píng)價(jià)制度的最顯著優(yōu)勢(shì)在于其契合學(xué)術(shù)自身發(fā)展邏輯，有助于維護(hù)科學(xué)發(fā)展的自主性，體現(xiàn)了“由內(nèi)行評(píng)價(jià)內(nèi)行”的基本原則。因此，要保障同行評(píng)價(jià)制度的有效實(shí)施，避免“非同行”“偽同行”的出現(xiàn)，誰來擔(dān)任“同行”是同行評(píng)價(jià)首先需要考慮的問題。理想的同行評(píng)價(jià)專家既要具備扎實(shí)的專業(yè)素養(yǎng)和較高的學(xué)術(shù)水平，也要具備評(píng)判前沿研究成果的能力，更要富有責(zé)任心和學(xué)術(shù)使命感。

在同行評(píng)價(jià)專家的產(chǎn)生方面，PBRF項(xiàng)目采用了個(gè)人推薦制。這里的“個(gè)人”不僅包括大學(xué)教師，也包括非高等教育機(jī)構(gòu)的研究人員以及其他技術(shù)研發(fā)應(yīng)用人員。推薦人可在線上系統(tǒng)填寫被推薦人相關(guān)信息，提供被推薦人獲得的高水平研究成果或獎(jiǎng)勵(lì)情況（5項(xiàng)以內(nèi)）、前期參與同行評(píng)價(jià)活動(dòng)經(jīng)驗(yàn)（5項(xiàng)以內(nèi)）等表征被推薦人水平的信息。同時(shí)，為保證個(gè)人推薦的有效性，項(xiàng)目要求被推薦人亦需在推薦信息表中簽字，以示其同意被推薦、認(rèn)同提交的推薦材料、了解并同意項(xiàng)目相關(guān)協(xié)議、能夠在規(guī)定時(shí)間參與培訓(xùn)及評(píng)價(jià)會(huì)議等活動(dòng)。遴選同行專家的權(quán)力交給了從事研究或與研究工作相關(guān)的人群，既有助于保障同行專家的權(quán)威性，也有助于保障同行專家對(duì)參評(píng)內(nèi)容的熟悉性和專業(yè)性，從源頭上避免了由政府指定專家或者小群體推薦專家?guī)淼牟涣紗栴}，體現(xiàn)了多元參與的治理理念。

盡管以同行推薦為基礎(chǔ)，但最終誰能獲得評(píng)價(jià)權(quán)并不是依據(jù)其被推薦的數(shù)量多少而定的。在被推薦的基礎(chǔ)上，PBRF 項(xiàng)目所有同行評(píng)價(jià)專家均由高等教育委員會(huì)遵循三條基本原則進(jìn)行遴選、任命：一是具有較強(qiáng)的專業(yè)能力，專業(yè)水平突出、研究?jī)?nèi)容涉獵豐富，了解本領(lǐng)域理論研究和應(yīng)用研究發(fā)展?fàn)顩r；二是具有一定的評(píng)價(jià)經(jīng)驗(yàn)，能夠結(jié)合學(xué)術(shù)領(lǐng)域公認(rèn)的對(duì)卓越的理解來進(jìn)行研究質(zhì)量的判斷；三是能夠理解和把握質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，遵守項(xiàng)目評(píng)價(jià)制度的要求，致力于客觀、公正、高效地開展評(píng)價(jià)活動(dòng)。[14]與此同時(shí)，PBRF 項(xiàng)目特別強(qiáng)調(diào)小組成員構(gòu)成的多元化，規(guī)定每個(gè)評(píng)價(jià)小組成員中至少有25%的國際專家和一定比例的青年學(xué)者、跨學(xué)科研究者。

最終的同行評(píng)價(jià)小組成員由高等教育委員會(huì)結(jié)合實(shí)際進(jìn)行若干輪的遴選產(chǎn)生。一般是先選擇各小組的組長(zhǎng)、副組長(zhǎng)，之后選擇各組成員，最后結(jié)合實(shí)際需要進(jìn)行增補(bǔ)調(diào)整?？偟膩砜矗罱K的同行評(píng)價(jià)小組成員構(gòu)成既要滿足項(xiàng)目對(duì)評(píng)價(jià)專家的基本要求，也要能夠兼顧該小組所代表學(xué)科的各個(gè)研究領(lǐng)域，還要考慮國際學(xué)者比例、首次參評(píng)專家的比例、女性參評(píng)者比例、青年研究者的比例、評(píng)價(jià)工作量等情況。2018年，PBRF項(xiàng)目各同行評(píng)價(jià)小組一般由10-20名成員構(gòu)成。

（二）基于廣泛評(píng)價(jià)內(nèi)容進(jìn)行代表作評(píng)價(jià)

一是設(shè)置廣泛的參評(píng)內(nèi)容。PBRF項(xiàng)目同行評(píng)價(jià)主要是考察各個(gè)高等教育機(jī)構(gòu)研究者的研究質(zhì)量，但項(xiàng)目對(duì)什么是“研究”的界定非常寬泛——具有原創(chuàng)性、能夠增進(jìn)知識(shí)創(chuàng)新或促進(jìn)社會(huì)文化發(fā)展的探索性成果均可納入研究的范疇之內(nèi)。PBRF項(xiàng)目《質(zhì)量評(píng)價(jià)指南》中明確提到，高質(zhì)量的研究不能僅局限于理論探索，而是發(fā)生在原始調(diào)查活動(dòng)的整個(gè)過程中。因而，項(xiàng)目質(zhì)量評(píng)價(jià)在參評(píng)內(nèi)容上設(shè)置了兩個(gè)方面：研究成果（Research Outputs）和研究貢獻(xiàn)（Research Contributions）。前者意在考察研究成果的科學(xué)性，研究結(jié)論在促進(jìn)人類的知識(shí)、增進(jìn)理解、推進(jìn)創(chuàng)新等方面的成效，后者則側(cè)重反映參評(píng)者在從事研究及研究相關(guān)活動(dòng)的過程中，在學(xué)術(shù)界內(nèi)外所作出的貢獻(xiàn)和獲得的認(rèn)可情況。每位參評(píng)者均需在其提交的參評(píng)論證材料（Evidence Portfolios）中羅列其研究成果與研究貢獻(xiàn)。

二是設(shè)置多樣的參評(píng)形式。為了充分展現(xiàn)參評(píng)人在研究成果和研究貢獻(xiàn)兩方面的表現(xiàn)，PBRF項(xiàng)目質(zhì)量評(píng)價(jià)認(rèn)可多樣化的形式表達(dá)。在研究成果方面，項(xiàng)目設(shè)置了學(xué)術(shù)論文、會(huì)議論文、主編或參編的書籍、學(xué)位論文、專利、藝術(shù)作品、表演、設(shè)計(jì)、軟件、電影等共15種不同形式；在研究貢獻(xiàn)方面，項(xiàng)目設(shè)置了對(duì)學(xué)科領(lǐng)域發(fā)展的貢獻(xiàn)（如組織或參與重要會(huì)議、任職重要國際組織、促進(jìn)國際合作）、社區(qū)參與服務(wù)情況、研究成果的認(rèn)同與影響、獲得的各類獎(jiǎng)項(xiàng)、指導(dǎo)或支持學(xué)科青年人才情況、參與各類評(píng)價(jià)評(píng)審活動(dòng)情況等12種不同形式。相較于量化數(shù)據(jù)評(píng)價(jià)，同行評(píng)價(jià)對(duì)參評(píng)材料統(tǒng)計(jì)口徑并沒有嚴(yán)格的一致性要求。PBRF項(xiàng)目設(shè)置的多樣化的參評(píng)形式，符合同行評(píng)價(jià)的特點(diǎn)，有利于發(fā)揮同行評(píng)價(jià)的制度優(yōu)勢(shì)。當(dāng)然，盡管質(zhì)量評(píng)價(jià)的內(nèi)容寬泛、形式多樣，但評(píng)價(jià)小組對(duì)各類參評(píng)材料均以質(zhì)量作為判斷的基本標(biāo)準(zhǔn)和核心要義，不受內(nèi)容或形式的影響。藝術(shù)表演的評(píng)分不一定比期刊論文低，應(yīng)用研究的評(píng)分也不一定會(huì)比基礎(chǔ)研究高，所有研究活動(dòng)都根據(jù)其本身的價(jià)值來考慮，這一點(diǎn)將在下文的制度保障部分具體闡釋。

三是實(shí)施代表作評(píng)價(jià)制度。為了更好地反映參評(píng)人從事研究工作、產(chǎn)出高質(zhì)量研究的評(píng)價(jià)初衷，PBRF項(xiàng)目同行評(píng)價(jià)并不以參評(píng)者研究成果或貢獻(xiàn)的數(shù)量為評(píng)價(jià)標(biāo)準(zhǔn)，而是采取代表作評(píng)價(jià)的方式，考察其最高水平的研究產(chǎn)出的質(zhì)量。因此，盡管項(xiàng)目設(shè)置了廣泛的評(píng)價(jià)內(nèi)容和多樣化的參評(píng)形式，但卻并不是漫無邊際的各種材料的堆積，參評(píng)人員要選擇他們?cè)谠u(píng)估期間取得的最佳研究成果和研究貢獻(xiàn)。在研究成果部分，項(xiàng)目要求參評(píng)者提交不超過4份的主要研究成果和不超過12份的補(bǔ)充研究成果；在研究貢獻(xiàn)部分，要求參評(píng)者提交不超過15份的研究貢獻(xiàn)。同時(shí)，項(xiàng)目要求參評(píng)者對(duì)其所提交的代表性成果、貢獻(xiàn)提供證據(jù)支持，即除了研究成果的標(biāo)題、作者、時(shí)間、來源（期刊或出版機(jī)構(gòu)等）、對(duì)應(yīng)的參評(píng)類型之外，還需要分別對(duì)代表作完成過程中的個(gè)人貢獻(xiàn)、成果價(jià)值與意義進(jìn)行1 000字左右的文字描述。[15]而且，PBRF項(xiàng)目質(zhì)量評(píng)價(jià)還將其他同行的認(rèn)可或評(píng)價(jià)情況等納入評(píng)價(jià)考慮范圍，要求每份代表性成果提交相關(guān)的質(zhì)量保證材料（Quality Assurance），以說明其獲得領(lǐng)域內(nèi)相關(guān)專家的審查與認(rèn)可情況。如期刊或出版社編輯、編委會(huì)的審查結(jié)果，會(huì)議論文的評(píng)價(jià)結(jié)果，相關(guān)使用機(jī)構(gòu)或用戶在合作、資助前開展的審查結(jié)果等。對(duì)沒有質(zhì)量保證的作品，評(píng)價(jià)小組會(huì)進(jìn)行更為嚴(yán)格的審查。顯然，這種代表作評(píng)價(jià)是建立在廣泛而充分的信息分析基礎(chǔ)上的，評(píng)價(jià)粒度非常細(xì)。

（三）基于不同研究領(lǐng)域開展分類評(píng)價(jià)

不同學(xué)科門類具有不同的學(xué)術(shù)產(chǎn)出機(jī)制和特點(diǎn)，即便在同一學(xué)科之內(nèi)，知識(shí)也越來越具有高度的不確定性。[16]PBRF 項(xiàng)目質(zhì)量評(píng)價(jià)尊重學(xué)科領(lǐng)域差異，尊重不同學(xué)科領(lǐng)域研究成果與社會(huì)影響的多樣化、個(gè)性化特點(diǎn)，設(shè)置了包括生物科學(xué)、商業(yè)與經(jīng)濟(jì)、教育、工程技術(shù)與建筑、人文與法律、創(chuàng)作與表演藝術(shù)、數(shù)學(xué)與信息科學(xué)技術(shù)、物理科學(xué)、醫(yī)藥與公共健康等共13 個(gè)代表不同學(xué)科領(lǐng)域的同行評(píng)價(jià)小組（Peer Review Panels）。與之前3 次質(zhì)量評(píng)價(jià)活動(dòng)相比，PBRF 項(xiàng)目2018 年的質(zhì)量評(píng)價(jià)新設(shè)了“太平洋研究”（Pacific Research）評(píng)價(jià)小組，專門考察太平洋主題研究的水平以及研究對(duì)太平洋地區(qū)人民發(fā)展與全球化的影響程度，旨在支持太平洋相關(guān)研究，提升太平洋研究能力，加速太平洋研究的發(fā)展。[17]這一新小組的設(shè)置反映了新西蘭PBRF項(xiàng)目對(duì)區(qū)域性、國際性研究活動(dòng)的重視。

每個(gè)同行評(píng)價(jià)小組在其《質(zhì)量評(píng)價(jià)小組指南》中均規(guī)定了該小組設(shè)置的研究主題，認(rèn)可的研究成果、研究貢獻(xiàn)的基本類型以及材料撰寫規(guī)范。參評(píng)者及其所在高校需要依據(jù)研究?jī)?nèi)容為每一份參評(píng)材料選擇特定的同行評(píng)價(jià)小組。之后，同行評(píng)價(jià)小組主席結(jié)合每份參評(píng)材料具體內(nèi)容，將參評(píng)材料分配給相應(yīng)的小組專家。PBRF項(xiàng)目的分類評(píng)價(jià)并不排斥跨學(xué)科研究和跨學(xué)科評(píng)價(jià)。當(dāng)評(píng)價(jià)專家發(fā)現(xiàn)某份評(píng)價(jià)材料的研究主題涉及另一評(píng)價(jià)小組范疇，應(yīng)進(jìn)行跨學(xué)科合作評(píng)價(jià)時(shí)，小組主席會(huì)向高等教育委員會(huì)提出跨小組評(píng)價(jià)申請(qǐng)并提供具體建議，說明需要進(jìn)行跨小組評(píng)價(jià)的依據(jù)。高等教育委員會(huì)將在征求相關(guān)學(xué)科小組主席意見的基礎(chǔ)上，作出是否調(diào)整評(píng)價(jià)小組或是否進(jìn)行聯(lián)合評(píng)價(jià)的決定。

（四）基于多人、多輪計(jì)分形成評(píng)價(jià)結(jié)果

PBRF項(xiàng)目采取個(gè)人單獨(dú)評(píng)價(jià)、二（多）人合作評(píng)價(jià)和小組評(píng)價(jià)相結(jié)合的方式形成評(píng)價(jià)結(jié)果。在同行評(píng)價(jià)的過程中，小組主席將每份參評(píng)材料指派給2名小組成員，每位評(píng)價(jià)成員首先對(duì)其所負(fù)責(zé)材料的研究成果和研究貢獻(xiàn)兩部分分別進(jìn)行評(píng)價(jià)并得出預(yù)備分?jǐn)?shù)（Preparatory Scores），如果材料涉及到跨小組評(píng)價(jià)，則相應(yīng)小組專家也需要參與進(jìn)來；接下來，小組內(nèi)兩名或多名成員經(jīng)過討論，共同對(duì)同一份參評(píng)材料進(jìn)行評(píng)分，商議得出這份材料的初始分?jǐn)?shù)（Preliminary Scores），如若無法達(dá)成一致意見，則該份材料直接進(jìn)入下一階段；之后，各個(gè)學(xué)科的同行評(píng)價(jià)小組召開小組會(huì)議，結(jié)合評(píng)價(jià)標(biāo)準(zhǔn)對(duì)參評(píng)材料進(jìn)一步討論，給出質(zhì)量分?jǐn)?shù)并由系統(tǒng)自動(dòng)生成質(zhì)量結(jié)果與質(zhì)量類別（Quality Results & Quality Category），整個(gè)評(píng)分流程如圖1所示。這種個(gè)人評(píng)分、合作評(píng)分和小組評(píng)分相結(jié)合的機(jī)制，有益于成員之間對(duì)評(píng)價(jià)內(nèi)容的一致性把握。在相互交流的過程中，專家的個(gè)人影響得以弱化，從而使得沒有任何一份材料的評(píng)價(jià)結(jié)果是由某一位專家單獨(dú)決定的。[18]

圖1 同行評(píng)價(jià)專家的評(píng)價(jià)過程

在具體的分?jǐn)?shù)呈現(xiàn)上，PBRF項(xiàng)目采取數(shù)字計(jì)分、權(quán)重計(jì)分、分類計(jì)分相結(jié)合的方式。在預(yù)備分?jǐn)?shù)和初始分?jǐn)?shù)階段，采取數(shù)字計(jì)分（Numerical Scoring System）和權(quán)重計(jì)分（Weighting System for Scores）方法，同行評(píng)價(jià)成員選擇0至7中的整數(shù)為研究成果和研究貢獻(xiàn)分別打分，其中，0表示質(zhì)量最低，7表示質(zhì)量最高。之后，依據(jù)研究成果占70%、研究貢獻(xiàn)占30%的權(quán)重設(shè)置，將數(shù)字計(jì)分結(jié)果賦權(quán)，形成兩項(xiàng)的加權(quán)分?jǐn)?shù)以及相應(yīng)的總分?jǐn)?shù)。在最終的評(píng)價(jià)結(jié)果呈現(xiàn)上，項(xiàng)目采取分類計(jì)分（Quality Categories），最終結(jié)果以A、B、C、R的不同質(zhì)量類型的形式呈現(xiàn)。其中，A 類表征質(zhì)量最高（加權(quán)總分為600-700 之間），意味著相關(guān)研究產(chǎn)出與貢獻(xiàn)達(dá)到了世界一流水平、在所在領(lǐng)域取得了非常高的學(xué)術(shù)認(rèn)可度、對(duì)本學(xué)科研究產(chǎn)生了重大影響；加權(quán)總分在400-580 之間的為B 類，表明研究產(chǎn)出與貢獻(xiàn)具有較高質(zhì)量，得到了學(xué)界較高的認(rèn)可，對(duì)學(xué)科發(fā)展作出了一定貢獻(xiàn)；加權(quán)分?jǐn)?shù)在200-390之間的為C類，表示取得了一定的學(xué)術(shù)認(rèn)可，在較小的范圍內(nèi)作出了貢獻(xiàn)；加權(quán)分?jǐn)?shù)低于200分的被歸為R類，意味著參評(píng)者的研究尚不能達(dá)到獲得項(xiàng)目資助的水平，表1和圖2展示了這一過程。

圖2 分類計(jì)分結(jié)果分布

表1 數(shù)字計(jì)分與權(quán)重計(jì)分示例

在PBRF項(xiàng)目實(shí)施的過程中，參評(píng)的高等教育機(jī)構(gòu)通過線上平臺(tái)提交材料，審查團(tuán)隊(duì)通過線上平臺(tái)進(jìn)行材料審查，同行評(píng)價(jià)專家直接在線上平臺(tái)對(duì)每份證明材料進(jìn)行評(píng)分，系統(tǒng)根據(jù)專家的打分自動(dòng)加權(quán)、分類，并形成最終的評(píng)價(jià)結(jié)果。在線開展信息的處理為PBRF項(xiàng)目同行評(píng)價(jià)帶來了諸多便捷，有效提升了評(píng)價(jià)工作效率，降低了評(píng)價(jià)成本。

三、新西蘭PBRF項(xiàng)目中同行評(píng)價(jià)的制度保障

作為學(xué)科專家對(duì)其領(lǐng)域的新知識(shí)實(shí)施質(zhì)量控制的一種“社會(huì)機(jī)制”[19]，同行評(píng)價(jià)要克服其缺陷，僅僅依靠學(xué)術(shù)共同體內(nèi)部的自律，無論是專業(yè)規(guī)范上還是職業(yè)倫理上，都難以絕對(duì)消除“老友評(píng)價(jià)”或者“互利評(píng)價(jià)”等現(xiàn)象。更可行且有效的途徑還是通過制度更替或制度改進(jìn)的方式，在最大程度上來抑制同行評(píng)價(jià)弱點(diǎn)的放大效應(yīng)。[20]新西蘭PBRF項(xiàng)目質(zhì)量評(píng)價(jià)設(shè)計(jì)了全過程、細(xì)節(jié)化的制度安排，為其同行評(píng)價(jià)的有效展開提供了可靠保障。

（一）評(píng)估材料審查制度

盡管PBRF 項(xiàng)目對(duì)參評(píng)研究?jī)?nèi)容、形式的界定較為寬泛，但其對(duì)于參評(píng)者的資格、參評(píng)資料的標(biāo)準(zhǔn)等均制定了一系列詳實(shí)的規(guī)定，用“嚴(yán)入口”來保證信息的可靠性。對(duì)于參評(píng)者的資格，項(xiàng)目要求其必須是從事學(xué)位教育或?qū)ｉT研究的教職工；在評(píng)估開展前一年，與所在高等教育機(jī)構(gòu)具有有效的雇傭或聘任關(guān)系；在工作時(shí)間內(nèi)從事每周不低于7.5小時(shí)的工作量（非國內(nèi)常住教師要求18.5小時(shí)）等。對(duì)于參評(píng)資料，項(xiàng)目要求成果需符合項(xiàng)目對(duì)原創(chuàng)性、創(chuàng)新性的規(guī)定（如文件匯編不包括在內(nèi)），成果的發(fā)表時(shí)間需在評(píng)估前6年的評(píng)估周期以內(nèi)。

為更好地開展審查工作，高等教育委員會(huì)專門設(shè)置了審查團(tuán)隊(duì)（Audit Team），對(duì)所有參評(píng)院校提交的材料進(jìn)行全面審查。材料審查采用抽樣的方式開展，抽樣的比例則取決于質(zhì)量評(píng)價(jià)活動(dòng)開始前，高等教育委員會(huì)向每所參評(píng)院校發(fā)放的對(duì)項(xiàng)目理解程度與校內(nèi)籌備情況的問卷調(diào)查結(jié)果。在若干輪抽樣調(diào)查基礎(chǔ)上，審查團(tuán)隊(duì)將著重對(duì)參評(píng)者資格、研究成果發(fā)布時(shí)間等進(jìn)行檢查，并通過與其他數(shù)據(jù)庫進(jìn)行核對(duì)，保障相關(guān)信息的真實(shí)性和客觀性以及填寫數(shù)據(jù)的完整性，為后續(xù)的評(píng)價(jià)工作的展開奠定基礎(chǔ)。

（二）利益相關(guān)者回避制度

為防止利益相關(guān)評(píng)價(jià)的出現(xiàn)，PBRF項(xiàng)目同行評(píng)價(jià)從參評(píng)者和評(píng)價(jià)者兩個(gè)方面建立了利益相關(guān)評(píng)價(jià)專家的回避與退出制度。一方面，大學(xué)可以代表其參評(píng)教師向高等教育委員會(huì)提交利益沖突說明（Conflict of Interest Notices），以說明存在實(shí)際利益關(guān)系或潛在利益關(guān)系的評(píng)價(jià)專家。在收到利益沖突說明后，同行評(píng)議小組組長(zhǎng)將決定利益相關(guān)評(píng)價(jià)人員是否參與相關(guān)材料的評(píng)價(jià)（如小組組長(zhǎng)為利益相關(guān)者則由小組仲裁員負(fù)責(zé)）。另一方面，小組主席在決定每份參評(píng)材料的評(píng)價(jià)專家時(shí)會(huì)綜合考慮參評(píng)材料的研究主題、是否存在利益相關(guān)以及小組成員的工作量，因而，很大一部分利益沖突會(huì)在材料分派階段得以避免。同時(shí)，評(píng)價(jià)專家若在評(píng)價(jià)過程中發(fā)現(xiàn)本人與參評(píng)人存在實(shí)際或潛在的利益關(guān)系，也可隨時(shí)向小組主席提出意見，由小組主席采取適當(dāng)?shù)恼{(diào)整行動(dòng)。在這樣的制度約束下，導(dǎo)師、親友、學(xué)術(shù)伙伴將被排除在評(píng)價(jià)者之外，有助于提升同行評(píng)價(jià)的客觀公正性。

（三）評(píng)價(jià)全過程審核制度

PBRF項(xiàng)目質(zhì)量評(píng)價(jià)是嚴(yán)格按照研究質(zhì)量標(biāo)準(zhǔn)而不是專家常識(shí)標(biāo)準(zhǔn)來進(jìn)行評(píng)判的，每個(gè)分值都有特定的標(biāo)準(zhǔn)要求，專家需要將參評(píng)者的研究成果和研究貢獻(xiàn)與每個(gè)分值的標(biāo)準(zhǔn)要求進(jìn)行比對(duì)，在此基礎(chǔ)上給出分?jǐn)?shù)，且不同的評(píng)價(jià)結(jié)果并沒有預(yù)先設(shè)計(jì)好的選取比例。為了切實(shí)落實(shí)各同行評(píng)價(jià)小組成員之間、不同小組之間以及幾輪評(píng)價(jià)之間對(duì)評(píng)價(jià)標(biāo)準(zhǔn)執(zhí)行的嚴(yán)格性、一致性，高等教育委員會(huì)專門成立了由1名首席審核員、2 名副審核員和13 名同行評(píng)價(jià)小組組長(zhǎng)組成的審核小組（Moderation Panel）。

審核工作主要包括兩個(gè)階段，一是對(duì)各個(gè)同行評(píng)價(jià)小組給出的預(yù)備分?jǐn)?shù)、初始分?jǐn)?shù)進(jìn)行審查，并于小組初始分?jǐn)?shù)給出后召開第一次審核小組會(huì)議，審查各個(gè)小組參評(píng)材料的分配狀況、評(píng)分?jǐn)?shù)據(jù)，了解評(píng)價(jià)過程中出現(xiàn)或可能出現(xiàn)的評(píng)分偏差、錯(cuò)誤等問題，以確保小組成員之間和各個(gè)小組之間評(píng)估標(biāo)準(zhǔn)應(yīng)用的一致性。二是對(duì)同行評(píng)價(jià)小組給出的最終質(zhì)量結(jié)果進(jìn)行審查，并召開第二次審核小組會(huì)議，確定小組評(píng)價(jià)結(jié)果和最終的質(zhì)量類別與分?jǐn)?shù)標(biāo)準(zhǔn)界定之間是否有偏差、小組間是否有偏差。這個(gè)過程說明，項(xiàng)目的審核工作是貫穿評(píng)估同行評(píng)價(jià)全過程的。通過對(duì)各個(gè)環(huán)節(jié)評(píng)價(jià)過程及其存在問題的分析，考察標(biāo)準(zhǔn)理解不到位、標(biāo)準(zhǔn)執(zhí)行不一等情況，在此基礎(chǔ)上研討問題解決辦法，并向高等教育委員會(huì)提交審核報(bào)告。如發(fā)現(xiàn)有評(píng)分不當(dāng)?shù)膯栴}，審核小組會(huì)要求同行評(píng)價(jià)小組再次對(duì)相關(guān)材料重新進(jìn)行評(píng)價(jià)，切實(shí)促進(jìn)評(píng)價(jià)改進(jìn)?？偟膩砜矗瑢徍擞兄诒Ｕ显u(píng)價(jià)分?jǐn)?shù)及最終評(píng)價(jià)結(jié)果的形成不是按照評(píng)價(jià)者的常識(shí)經(jīng)驗(yàn)判斷或者預(yù)設(shè)的各個(gè)類型的百分比而形成的，而是嚴(yán)格依據(jù)分值標(biāo)準(zhǔn)、結(jié)合研究質(zhì)量作出的客觀決定。

（四）保密與申訴制度

為提升評(píng)價(jià)過程的公正性，在評(píng)價(jià)活動(dòng)開始前，高等教育委員會(huì)要求所有參與同行評(píng)價(jià)的專家都需要簽署保密協(xié)議（Confidentiality Agreement），以確保參評(píng)者提交的參評(píng)材料不會(huì)產(chǎn)生除評(píng)價(jià)之外的其他用途，確保評(píng)價(jià)所做的所有討論和決定的機(jī)密性，避免評(píng)價(jià)材料的外傳、泄露；保證小組主席、小組成員以及高等教育委員會(huì)成員之間所有討論和交流的機(jī)密性，保證同行評(píng)價(jià)小組做出決定的機(jī)密性。同時(shí)，為了保障被評(píng)者的基本權(quán)益，高等教育委員會(huì)允許高校針對(duì)評(píng)價(jià)的程序性問題提出申訴，委員會(huì)將對(duì)申訴信息進(jìn)行調(diào)查，并向高校反饋處理結(jié)果以及針對(duì)這一結(jié)果可能會(huì)采取的完善措施。

四、結(jié) 語

PBRF項(xiàng)目采用同行評(píng)價(jià)的方式對(duì)全國高等教育機(jī)構(gòu)的研究質(zhì)量進(jìn)行考察，在評(píng)價(jià)主體的形成、評(píng)價(jià)內(nèi)容的界定、評(píng)價(jià)方式的選擇、評(píng)價(jià)過程的監(jiān)督等方面作出了積極的探索。PBRF項(xiàng)目在如何保障評(píng)價(jià)專家的專業(yè)性、評(píng)價(jià)標(biāo)準(zhǔn)執(zhí)行的一致性、評(píng)價(jià)過程的客觀性，如何處理不同學(xué)科的異質(zhì)性，如何更好地體現(xiàn)研究創(chuàng)新性與貢獻(xiàn)度，以及如何降低評(píng)價(jià)成本、提升評(píng)價(jià)效率等多個(gè)方面，為我們理解同行評(píng)價(jià)的實(shí)施提供了可靠經(jīng)驗(yàn)。

有學(xué)者比較了基于期刊文獻(xiàn)的計(jì)量評(píng)價(jià)結(jié)果和同一時(shí)期PBRF項(xiàng)目同行評(píng)價(jià)結(jié)果，發(fā)現(xiàn)二者具有一定差異，同行評(píng)價(jià)更善于甄別同一期刊上的優(yōu)質(zhì)文獻(xiàn)[21]，而不是簡(jiǎn)單的以刊評(píng)文，這也進(jìn)一步體現(xiàn)了PBRF項(xiàng)目同行評(píng)價(jià)的有效性。當(dāng)然，PBRF項(xiàng)目同行評(píng)價(jià)也并不是完美無缺的，有學(xué)者質(zhì)疑其6年的評(píng)價(jià)周期會(huì)降低學(xué)者對(duì)長(zhǎng)期性研究工作的積極性[22]，交叉學(xué)科的研究績(jī)效往往被低估[23]，獲得低評(píng)分的學(xué)術(shù)人員，尤其是年輕人，可能因此變得沮喪，遭受疲憊和壓力[24]。關(guān)于這些問題，高等教育委員會(huì)在歷次的同行評(píng)價(jià)總結(jié)報(bào)告中也會(huì)提及并在下一輪評(píng)價(jià)活動(dòng)中采取適當(dāng)調(diào)整措施。在2025年即將舉行的第五輪質(zhì)量評(píng)價(jià)活動(dòng)中，高等教育委員會(huì)提出，將進(jìn)一步豐富PBRF項(xiàng)目對(duì)“研究”的界定，以更好地獎(jiǎng)勵(lì)多樣化的研究，更好地支持合作和參與，提高太平洋研究、毛利研究的資金分配比重，以鼓勵(lì)區(qū)域化、本土化研究，提升研究質(zhì)量[25]。PBRF項(xiàng)目同行評(píng)價(jià)實(shí)施策略與制度保障的設(shè)計(jì)也是一個(gè)在尊重學(xué)術(shù)、尊重學(xué)者的基礎(chǔ)上持續(xù)完善、不斷改進(jìn)的過程。