人文社科成果評(píng)價(jià)的元評(píng)價(jià)體系建構(gòu)

馬永霞 仇笳熙

摘 要：科研成果評(píng)價(jià)是高校人文社科教師評(píng)價(jià)的重要內(nèi)容，是完善科研評(píng)價(jià)機(jī)制，實(shí)現(xiàn)科研育人的重要保障。成果評(píng)價(jià)的科學(xué)性、合理性、準(zhǔn)確性決定人文社科的發(fā)展方向，但由于現(xiàn)有績效評(píng)價(jià)模式固有的弱彈性弊端，不可避免地產(chǎn)生評(píng)價(jià)偏差與評(píng)價(jià)風(fēng)險(xiǎn)。實(shí)施元評(píng)價(jià)有利于糾正人文社科成果評(píng)價(jià)進(jìn)程中出現(xiàn)的“難評(píng)、錯(cuò)評(píng)、漏評(píng)”等問題，是績效評(píng)價(jià)的重要環(huán)節(jié)和必要補(bǔ)充。文章選取在高校人文社科教師中覆蓋面最廣的國家社科基金年度項(xiàng)目（以下簡稱“國社科”）的成果評(píng)價(jià)為案例。首先，界定了國社科成果評(píng)價(jià)的全生命周期概念，系統(tǒng)梳理了國社科全生命周期成果評(píng)價(jià)的實(shí)施現(xiàn)狀及潛在風(fēng)險(xiǎn);其次，設(shè)計(jì)了 “一個(gè)閉環(huán)、兩個(gè)周期、三個(gè)主體”的國社科成果評(píng)價(jià)全生命周期閉環(huán)式元評(píng)價(jià)框架;最后，在元評(píng)價(jià)理論及方法指導(dǎo)下，構(gòu)建了基于全生命周期的國社科成果元評(píng)價(jià)模型及量表，并通過了信效度檢驗(yàn)。文章擬通過對(duì)典型案例的研究分析，構(gòu)建一套全生命周期視域下人文社科成果評(píng)價(jià)的元評(píng)價(jià)體系，以期從個(gè)案研究推導(dǎo)至人文社科成果元評(píng)價(jià)的一般規(guī)律，實(shí)現(xiàn)對(duì)我國人文社科成果評(píng)價(jià)模式的提升。

關(guān)鍵詞：人文社科;成果評(píng)價(jià);元評(píng)價(jià);全生命周期

一、問題的提出

科學(xué)研究是高校教師的重要職責(zé)之一，科研成果評(píng)價(jià)是高校教師評(píng)價(jià)的重要內(nèi)容。科研成果的產(chǎn)出質(zhì)量不僅反映了高校教師的學(xué)術(shù)水平，同時(shí)也會(huì)影響到教師的教學(xué)質(zhì)量。2018年7月，中共中央辦公廳、國務(wù)院辦公廳印發(fā)《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見》，提出要發(fā)揮好評(píng)價(jià)的風(fēng)向標(biāo)和指揮棒作用。在對(duì)科技人才開展評(píng)價(jià)時(shí)，要將代表成果的質(zhì)量和影響作為評(píng)價(jià)的重要指標(biāo)。2020年12月，教育部印發(fā)了《關(guān)于破除高校哲學(xué)社會(huì)科學(xué)研究評(píng)價(jià)中“唯論文”不良導(dǎo)向的若干意見》，指出人文社科教師的科研成果是“知識(shí)傳承的載體”，要求高校人文社科教師要將教書育人的首要職責(zé)貫穿于科研活動(dòng)與成果產(chǎn)出的全過程中，要努力做到“強(qiáng)化科研育人”“改進(jìn)科研評(píng)價(jià)方式”。因此，建立有利于教師潛心研究和創(chuàng)新創(chuàng)造的人文社科科研成果評(píng)價(jià)制度，能夠引導(dǎo)教師潛心開展教學(xué)工作及學(xué)生培養(yǎng)工作，不斷提升成果產(chǎn)出質(zhì)量，形成科研反哺教學(xué)科研育人的旨趣。

人文社科成果評(píng)價(jià)的合理性、科學(xué)性、準(zhǔn)確性事關(guān)人文社科的價(jià)值取向及發(fā)展方向。然而，現(xiàn)階段我國高校人文社科成果評(píng)價(jià)中存在的現(xiàn)實(shí)問題日益凸顯，主要體現(xiàn)在三方面。一是由于人文社科成果的特殊屬性導(dǎo)致“評(píng)價(jià)困難”。人文社科成果大多具有隱形特質(zhì)，成果產(chǎn)出周期較長，更具復(fù)雜性和社會(huì)性。二是由于人文社科成果評(píng)價(jià)缺乏監(jiān)控機(jī)制產(chǎn)生“評(píng)價(jià)偏差”。人文社科成果評(píng)價(jià)屬于科研評(píng)價(jià)的子領(lǐng)域，存在科研評(píng)價(jià)領(lǐng)域固有的評(píng)價(jià)偏差，由于監(jiān)控機(jī)制的缺失，使得既有評(píng)價(jià)偏差難以被及時(shí)發(fā)現(xiàn)和糾正。三是由于人文社科成果評(píng)價(jià)方式不盡合理引起“評(píng)價(jià)缺陷”。當(dāng)前評(píng)價(jià)中存在的問題及改革訴求凸顯，各方利益主體對(duì)成果評(píng)價(jià)存在爭議，引發(fā)了各部委及各高校對(duì)既有評(píng)價(jià)體系自身局限性和科學(xué)性的思考及再審視，相繼頒布了“清四唯”、破除論文“SCI至上”等文件和措施?！捌啤钡母灸康氖且蚱啤拔ā钡酿蠹病Ｍㄟ^審視既有評(píng)價(jià)體制的現(xiàn)實(shí)境遇，建立評(píng)價(jià)反饋與過程監(jiān)控體系，是突破舊有評(píng)價(jià)桎梏，切實(shí)推進(jìn)成果評(píng)價(jià)改革的重要手段。

元評(píng)價(jià)作為對(duì)已有評(píng)價(jià)開展再評(píng)價(jià)的經(jīng)典方法，廣泛應(yīng)用于各類評(píng)價(jià)領(lǐng)域中，能在一定范圍內(nèi)糾正因決策失誤導(dǎo)致的評(píng)價(jià)偏差，控制評(píng)價(jià)負(fù)效應(yīng)，提高評(píng)價(jià)準(zhǔn)確性。元評(píng)價(jià)的理論及方法最初用于教育評(píng)價(jià)，隨著研究的深入及發(fā)展，應(yīng)用范圍擴(kuò)展至科研評(píng)價(jià)、管理評(píng)價(jià)等多個(gè)領(lǐng)域。但是，針對(duì)人文社科成果評(píng)價(jià)的元評(píng)價(jià)研究較少，現(xiàn)有研究多為質(zhì)性探討，缺乏元評(píng)價(jià)的體系構(gòu)建及整體流程設(shè)計(jì)。其主要原因在于：元評(píng)價(jià)在人文社科成果評(píng)價(jià)中的研究尚處于初級(jí)階段，未形成系統(tǒng)的評(píng)價(jià)體系;整體設(shè)計(jì)上缺乏元評(píng)價(jià)理論及方法的規(guī)范性;現(xiàn)有研究僅針對(duì)指標(biāo)體系而展開，缺乏全生命周期監(jiān)管的理念等等。然而，現(xiàn)實(shí)中對(duì)人文社科成果評(píng)價(jià)的“問責(zé)”事件時(shí)有發(fā)生?！皢栘?zé)”的目的并不是為了“追責(zé)”，而是要通過提升各方主體職能來實(shí)現(xiàn)評(píng)價(jià)的“改進(jìn)”。因此，亟需建立科學(xué)有效的元評(píng)價(jià)體系實(shí)現(xiàn)對(duì)人文社科成果評(píng)價(jià)的改革與提升。

有鑒于此，本文基于人文社科成果評(píng)價(jià)中存在的“難評(píng)、錯(cuò)評(píng)、漏評(píng)”等現(xiàn)實(shí)問題，以評(píng)價(jià)全生命周期為視角切入點(diǎn)，選取在高校人文社科領(lǐng)域覆蓋面最廣、影響力最大的國家社會(huì)科學(xué)基金年度項(xiàng)目的成果評(píng)價(jià)（以下簡稱國社科成果評(píng)價(jià)）為案例，通過構(gòu)建以成果評(píng)價(jià)監(jiān)控與糾偏為目標(biāo)的元評(píng)價(jià)體系，提升既有成果評(píng)價(jià)體系的科學(xué)性及準(zhǔn)確性。研究具體包含以下幾個(gè)問題：一是通過梳理國社科成果既有評(píng)價(jià)的發(fā)展與歷史沿革，歸納演繹國社科成果評(píng)價(jià)全生命周期環(huán)節(jié)及流程;二是詳細(xì)剖析國社科成果評(píng)價(jià)全生命周期六要素的現(xiàn)狀及特點(diǎn)，分析現(xiàn)存問題及潛在風(fēng)險(xiǎn)，為模型構(gòu)建提供基礎(chǔ)和依據(jù);三是通過界定國社科成果評(píng)價(jià)全生命周期的元評(píng)價(jià)對(duì)象，設(shè)計(jì)元評(píng)價(jià)框架，實(shí)現(xiàn)國社科成果評(píng)價(jià)全生命周期的元評(píng)價(jià)體系構(gòu)建，并對(duì)構(gòu)建的體系進(jìn)行信效度檢驗(yàn)。

二、全生命周期元評(píng)價(jià)意涵

全生命周期視域下科研評(píng)價(jià)的元評(píng)價(jià)是按照確定的標(biāo)準(zhǔn)和原則，采用合理的方法和程序，以建立模型或評(píng)價(jià)量表的形式，對(duì)原有的科研評(píng)價(jià)本身進(jìn)行的再評(píng)價(jià)活動(dòng)。元評(píng)價(jià)作為一種科學(xué)的系統(tǒng)評(píng)價(jià)方法，在多年來的研究與理論演進(jìn)過程中，形成了一套完整的方法論。

·高教管理·人文社科成果評(píng)價(jià)的元評(píng)價(jià)體系建構(gòu)

（一）元評(píng)價(jià)的內(nèi)涵與目的

元評(píng)價(jià)（Meta-evaluation）是指按照一定的理論框架和評(píng)價(jià)標(biāo)準(zhǔn)對(duì)原有評(píng)價(jià)體系本身進(jìn)行的再評(píng)價(jià)。這一理論概念是由美國學(xué)者斯克里文（Michael Scriven）在1969年時(shí)首次提出，最早應(yīng)用于對(duì)教育質(zhì)量評(píng)價(jià)項(xiàng)目開展再次評(píng)價(jià)[1]。20世紀(jì)80年代，元評(píng)價(jià)理論被引入我國。田騰飛等探析了專業(yè)化教育評(píng)估的內(nèi)涵及方法[2];朱少強(qiáng)提出對(duì)學(xué)術(shù)評(píng)價(jià)的元評(píng)價(jià)應(yīng)包含評(píng)價(jià)活動(dòng)的全部要素[3];張榮娟通過分析美國高等教育元評(píng)估制度，提出將元評(píng)估法制化的重要性[4]。

開展元評(píng)價(jià)的目的是為了糾正既有評(píng)價(jià)中存在的偏差。評(píng)價(jià)偏差不僅存在于評(píng)價(jià)本身的內(nèi)部要素中，同時(shí)也存在于評(píng)價(jià)活動(dòng)的外部要素中。沃森（Worthen）認(rèn)為對(duì)評(píng)價(jià)活動(dòng)的全過程開展元評(píng)價(jià)，有利于提高評(píng)價(jià)質(zhì)量并實(shí)現(xiàn)評(píng)價(jià)經(jīng)驗(yàn)的累積。[5]克萊嫩（Klejinen）等以元視角反觀績效評(píng)價(jià)存在的弊端[6]，對(duì)內(nèi)外部要素的劃分體現(xiàn)了全生命周期的理念。

（二）元評(píng)價(jià)的方法與程序

評(píng)價(jià)方法和評(píng)價(jià)程序的建立是科研元評(píng)價(jià)理論由模糊走向清晰的標(biāo)志。元評(píng)價(jià)包含三個(gè)步驟：確定元評(píng)價(jià)框架、設(shè)計(jì)元評(píng)價(jià)量表、遴選元評(píng)價(jià)方法。

1.確定元評(píng)價(jià)框架

元評(píng)價(jià)框架的構(gòu)建思路為通過反思既有評(píng)價(jià)的缺陷和劣勢，形成反饋與監(jiān)控機(jī)制，構(gòu)建更具適用性的新評(píng)價(jià)體系?？蚣馨ǎ捍_定目的對(duì)象、設(shè)計(jì)分析指標(biāo)、元分析評(píng)價(jià)、結(jié)果處理與反饋，并逐漸加入風(fēng)險(xiǎn)管理及全生命周期的視角?？『瓯保↗un H B）提出通過對(duì)產(chǎn)品全生命周期進(jìn)行閉環(huán)管理，優(yōu)化管理策略，提升管理效率。[7]克里斯特（Kiritsis D）以智能市場一體化為案例，提出閉環(huán)式全生命周期管理在信息網(wǎng)絡(luò)時(shí)代運(yùn)用于智能產(chǎn)業(yè)產(chǎn)品生產(chǎn)管理的必要性。[8]王曉剛提出基于全生命周期的科研評(píng)價(jià)風(fēng)險(xiǎn)管理模式，按照風(fēng)險(xiǎn)產(chǎn)生于發(fā)展的不同階段分為風(fēng)險(xiǎn)識(shí)別、風(fēng)險(xiǎn)評(píng)價(jià)、風(fēng)險(xiǎn)應(yīng)對(duì)、風(fēng)險(xiǎn)管理。[9]

2.設(shè)計(jì)元評(píng)價(jià)量表

1981年美國教育評(píng)估標(biāo)準(zhǔn)聯(lián)合委員會(huì)（以下簡稱JCSEE）集中組織了美國12家教育科研機(jī)構(gòu)共200多位專家進(jìn)行調(diào)查研究，制定并公布了《教育項(xiàng)目、計(jì)劃、材料評(píng)價(jià)的專業(yè)標(biāo)準(zhǔn)》，并經(jīng)過1994年版、2010年版兩次修訂，形成現(xiàn)行通用的元評(píng)估量表——項(xiàng)目評(píng)估標(biāo)準(zhǔn)（表1）[10]，包含“實(shí)用性、可行性、適當(dāng)性、準(zhǔn)確性”四個(gè)一級(jí)維度。多輪修訂的歷程與多個(gè)實(shí)際案例的檢驗(yàn)保證了該標(biāo)準(zhǔn)優(yōu)良的信效度。學(xué)界對(duì)元評(píng)價(jià)研究的思路基本都是參照該量表的一級(jí)指標(biāo)，根據(jù)特定案例制定相應(yīng)的二三級(jí)指標(biāo)來構(gòu)建元評(píng)價(jià)體系。嚴(yán)芳等選用經(jīng)典的JCSEE四維度模型提出一套適合我國國情的教育元評(píng)估指標(biāo)體系[11];蔣悅構(gòu)建了基于績效評(píng)估政府評(píng)價(jià)的四維度元評(píng)價(jià)模型[12];周碧華參照J(rèn)CSEE標(biāo)準(zhǔn)，構(gòu)建基層政府績效考核活動(dòng)元評(píng)價(jià)體系[13]。

3.遴選元評(píng)價(jià)方法

元評(píng)價(jià)方法是運(yùn)用系統(tǒng)科學(xué)的理論和方法，從整體到局部對(duì)各因素逐一檢驗(yàn)，包括問卷、統(tǒng)計(jì)、訪談等定性與定量方法的結(jié)合。馮暉借鑒軟件工程的方法和原理提出了黑白盒測試的元評(píng)價(jià)方法[14]。賀祖斌提出，內(nèi)容分析法是元評(píng)價(jià)的重要方法論。內(nèi)容分析法是根據(jù)評(píng)價(jià)目的和要求對(duì)評(píng)價(jià)材料的內(nèi)容及有效性進(jìn)行逐一對(duì)標(biāo)[15]。戚湧等通過計(jì)算肯德爾和諧系數(shù)（w值）檢驗(yàn)參評(píng)專家意見的一致性[16]。

綜上，基于全生命周期的科研績效成果評(píng)價(jià)的元評(píng)價(jià)體系構(gòu)建的實(shí)現(xiàn)途徑為：通過架構(gòu)合理的評(píng)價(jià)框架，設(shè)計(jì)恰當(dāng)?shù)脑u(píng)價(jià)量表，選取科學(xué)的評(píng)價(jià)方法，實(shí)現(xiàn)對(duì)既有評(píng)價(jià)體系的檢驗(yàn)糾偏與風(fēng)險(xiǎn)監(jiān)管。全生命周期理念要求完整的元評(píng)價(jià)體系應(yīng)包括對(duì)評(píng)價(jià)體系（即內(nèi)部視角）和評(píng)價(jià)活動(dòng)（即外部視角）的審查，二者共同構(gòu)成了全生命周期元評(píng)價(jià)體系的評(píng)價(jià)對(duì)象。

三、基于國社科成果評(píng)價(jià)全生命周期的評(píng)價(jià)現(xiàn)狀及潛在風(fēng)險(xiǎn)

按照羅伯特·K·殷（R.K.Yin）的觀點(diǎn)，元評(píng)價(jià)研究應(yīng)優(yōu)先選用案例研究法，通過選取具有代表性的既有評(píng)價(jià)作為研究對(duì)象，提高對(duì)“確定問題及其相關(guān)數(shù)據(jù)”的針對(duì)性和準(zhǔn)確性[17]。據(jù)此，本文選取人文社科成果評(píng)價(jià)領(lǐng)域極具代表性和示范性的國社科成果評(píng)價(jià)為案例，并選取其中覆蓋面最廣、影響力最大的年度項(xiàng)目作為樣本。案例選取依據(jù)為：首先，國社科基金是人文社科領(lǐng)域最重要的項(xiàng)目資助形式，其研究成果在一定程度上反映了高校人文社科教師的科研能力;其次，國社科基金為學(xué)生參與教師科研項(xiàng)目提供了實(shí)訓(xùn)平臺(tái)，有利于鍛煉高校學(xué)生的科研實(shí)踐能力，提升高等教育的人才培養(yǎng)質(zhì)量，實(shí)現(xiàn)“科研育人”目標(biāo);最后，國社科的眾多研究成果陸續(xù)被教師引入到課堂教學(xué)，使得科研成果轉(zhuǎn)化成為教學(xué)資源，實(shí)現(xiàn)了“科研反哺教學(xué)”的目的。本課題組于2017年10月至2020年1月間，走訪多所在京高校的人文社科科研管理部門及有關(guān)國家社科基金管理部門，對(duì)不同學(xué)科教師代表及科研管理人員開展調(diào)研，收集獲取2013-2019年間年度項(xiàng)目成果評(píng)價(jià)管理規(guī)范及制度7項(xiàng)，評(píng)價(jià)指標(biāo)體系量表3套，評(píng)價(jià)數(shù)據(jù)樣本1008份（2013-2019年），采用內(nèi)容分析法開展數(shù)據(jù)清洗及訪談?wù)?，提取了各類材料中的有效?nèi)容進(jìn)行分析。

（一）評(píng)價(jià)背景及歷史沿革

國社科成果評(píng)價(jià)在不同發(fā)展時(shí)期呈現(xiàn)出不同特點(diǎn)，按照其“里程碑”式的變革歷程分為三個(gè)階段。第一階段，確立同行評(píng)議制度（2004-2010年）。國社科基金項(xiàng)目最早設(shè)立于1991年，同行評(píng)議在早期僅是一種約定俗成的模式，并未形成制度化的規(guī)范。2004年2月20日，全國哲學(xué)社會(huì)科學(xué)規(guī)劃辦（以下簡稱規(guī)劃辦）發(fā)布《關(guān)于加強(qiáng)和改進(jìn)國家社會(huì)科學(xué)基金項(xiàng)目成果鑒定結(jié)項(xiàng)工作的意見》，首次明確了同行評(píng)議的主體地位，標(biāo)志著同行評(píng)議制度的正式確立。第二階段，加強(qiáng)成果質(zhì)量管理（2011-2018年）。2011年教育部出臺(tái)了《高等學(xué)校哲學(xué)社會(huì)科學(xué)繁榮計(jì)劃（2011-2020年）》，提出在這一階段內(nèi)要大力推進(jìn)人文社科建設(shè)，努力打造學(xué)術(shù)精品、促進(jìn)科研成果轉(zhuǎn)化、積極發(fā)展智庫建設(shè)，使得這一時(shí)期成為國社科基金項(xiàng)目獲得大力繁榮與發(fā)展的階段。國家投入力度逐漸增加，規(guī)模不斷擴(kuò)張，涌現(xiàn)出不少優(yōu)秀研究成果，同時(shí)也存在著部分質(zhì)量問題。為扭轉(zhuǎn)“重立項(xiàng)、輕結(jié)項(xiàng)”的現(xiàn)象，規(guī)劃辦出臺(tái)了一攬子政策，如建立清理制度、確立學(xué)術(shù)規(guī)范、審查階段成果等。第三階段，探索評(píng)價(jià)機(jī)制改革（2019年至今）。2019年4月，規(guī)劃辦出臺(tái)《關(guān)于進(jìn)一步完善國家社會(huì)科學(xué)基金項(xiàng)目管理的有關(guān)規(guī)定》，提出要注重代表作成果的評(píng)價(jià)，標(biāo)志著國社科成果評(píng)價(jià)改革進(jìn)入了新的探索階段。針對(duì)人文社科成果評(píng)價(jià)體系的改革與發(fā)展等議題成為了時(shí)代的新訴求，研究熱點(diǎn)集中在探索如何構(gòu)建全方位、全要素的人文社科成果評(píng)價(jià)新體系。該理念雖然未提到“全生命周期”一詞，但是本質(zhì)上體現(xiàn)了成果評(píng)價(jià)全生命周期理念的核心要義。

（二）評(píng)價(jià)程序及實(shí)施步驟

本文采用政策文本分析法與實(shí)地調(diào)研相結(jié)合，繪制了國社科成果評(píng)價(jià)全生命周期流程圖（如圖1）。規(guī)劃辦負(fù)責(zé)全面領(lǐng)導(dǎo)國社科項(xiàng)目成果評(píng)價(jià)工作，其職責(zé)范圍涵蓋委派責(zé)任主體、組織成果評(píng)價(jià)、監(jiān)管主體職責(zé)，形成了自上而下的組織架構(gòu)模式及自下而上的信息反饋機(jī)制。國社科成果評(píng)價(jià)“從始至終”的全生命周期流程為：第一步，項(xiàng)目負(fù)責(zé)人在結(jié)項(xiàng)期滿30日內(nèi)提交結(jié)項(xiàng)申請(qǐng)，按照規(guī)定需要提交的材料為基金項(xiàng)目研究的最終成果報(bào)告。第二步，項(xiàng)目負(fù)責(zé)人所在單位的科研管理部門初審材料真實(shí)性及有效性，確認(rèn)無誤后報(bào)送各地規(guī)劃辦或在京委托管理機(jī)構(gòu)（以下簡稱“管理機(jī)構(gòu)”）。本案例中的管理機(jī)構(gòu)為教育部社科司下屬“高校社科管理中心”。第三步，管理機(jī)構(gòu)遴選鑒定評(píng)審專家，并組織雙向匿名制的同行評(píng)議。第四步，管理機(jī)構(gòu)審核同行評(píng)議結(jié)果，匯總鑒定意見，報(bào)送全國規(guī)劃辦。第五步，全國規(guī)劃辦審核鑒定結(jié)果及鑒定意見，決定提呈的項(xiàng)目成果是否通過評(píng)審以及是否允許結(jié)項(xiàng)。第六步，通過結(jié)項(xiàng)鑒定評(píng)審的項(xiàng)目可按照相應(yīng)評(píng)分體系確定其成果鑒定等級(jí)并下發(fā)結(jié)項(xiàng)證書，未通過結(jié)項(xiàng)的項(xiàng)目則納入“暫緩結(jié)項(xiàng)”管理。根據(jù)成果質(zhì)量及同行評(píng)議意見，又將暫緩結(jié)項(xiàng)項(xiàng)目分為兩類：修改后復(fù)審及修改后重新鑒定。其中，修改后復(fù)審的成果，由負(fù)責(zé)人根據(jù)評(píng)議意見修改后再次提交全國規(guī)劃辦審查;修改后重新鑒定的成果則需退回至管理機(jī)構(gòu)，有待修改后重新組織專家評(píng)議。以上兩類成果通過復(fù)議后可按結(jié)項(xiàng)處理，如再次評(píng)審未通過則做終止或撤項(xiàng)處理。

（三）評(píng)價(jià)特點(diǎn)及潛在風(fēng)險(xiǎn)

根據(jù)全生命周期評(píng)價(jià)理論的內(nèi)涵要求，研究范圍應(yīng)包括某項(xiàng)活動(dòng)“從始至終”的全部要素。因此，將國社科成果評(píng)價(jià)的全生命周期定義為六大核心要素的合集，即在評(píng)價(jià)中所涉及的各個(gè)環(huán)節(jié)和內(nèi)容包括評(píng)價(jià)對(duì)象、評(píng)價(jià)方式、評(píng)價(jià)體系、評(píng)價(jià)目標(biāo)、評(píng)價(jià)活動(dòng)、評(píng)價(jià)監(jiān)管，涵蓋了成果評(píng)價(jià)的“全過程、全方位、全要素”。以下對(duì)國社科成果評(píng)價(jià)中六大核心要素的實(shí)施現(xiàn)狀進(jìn)行逐一解析，歸納各自特點(diǎn)并找出可能存在的風(fēng)險(xiǎn)源。

1.評(píng)價(jià)對(duì)象界定：以最終成果報(bào)告為主

最終成果報(bào)告是國社科成果評(píng)價(jià)的主要對(duì)象。按照產(chǎn)出階段不同，國社科項(xiàng)目成果可分為階段性成果及最終成果兩類。階段性成果是指在研究過程中取得的中期成果;最終成果是指研究的結(jié)項(xiàng)報(bào)告。目前國社科成果評(píng)價(jià)以最終成果報(bào)告為評(píng)價(jià)對(duì)象，缺乏對(duì)階段性成果的評(píng)價(jià)考核，僅對(duì)其做形式審查，雖然節(jié)約了評(píng)價(jià)成本，提高了評(píng)價(jià)效率，但也增加了由于片面評(píng)價(jià)引起的風(fēng)險(xiǎn)。階段性成果作為研究過程中的重要產(chǎn)出，是成果評(píng)價(jià)中不可缺少的過程性評(píng)價(jià)指標(biāo)，在一定程度上能輔助最終成果的考核評(píng)判。尤其是在應(yīng)用型學(xué)科中，由于成果時(shí)效性顯著，階段性成果評(píng)價(jià)可能發(fā)揮不容忽視的重要作用。根據(jù)國家提出的“破唯”及“多元評(píng)價(jià)”等理念，采用多維度、多對(duì)象、多方式的評(píng)價(jià)體系更有利于提高評(píng)價(jià)結(jié)果的準(zhǔn)確度，而如何實(shí)現(xiàn)這一理念在國社科成果評(píng)價(jià)中的實(shí)踐運(yùn)用，需要進(jìn)一步探索。

2.評(píng)價(jià)方式選?。阂酝袑＜以u(píng)議為主

雙向匿名的同行評(píng)議制度是國社科成果評(píng)價(jià)的主要方式。國社科項(xiàng)目成果評(píng)價(jià)是從專家?guī)熘绣噙x5位同行專家對(duì)項(xiàng)目進(jìn)行評(píng)審。專家?guī)焓菄缈乒芾砉ぷ鞯牧咙c(diǎn)，其優(yōu)勢體現(xiàn)在四方面：其一，準(zhǔn)確性。專家遴選充分考慮了大同行、小同行的學(xué)科匹配度。其二，公平性。為避免人情因素，規(guī)定外省市專家等不少于3人，且項(xiàng)目負(fù)責(zé)人所在單位及課題組成員務(wù)必規(guī)避。其三，科學(xué)性。在參評(píng)的最終成果報(bào)告里隱去負(fù)責(zé)人信息，嚴(yán)格實(shí)行雙向匿名評(píng)審制度。其四，合理性。為保護(hù)主體利益，項(xiàng)目負(fù)責(zé)人可提出少于3位的回避專家名單。同行評(píng)議是國社科成果評(píng)價(jià)的經(jīng)典模式，具有不可替代的作用。但是，由于學(xué)術(shù)共同體及學(xué)術(shù)圈層的存在，有可能導(dǎo)致同行評(píng)議的雙向匿名制度成為表面文章，影響評(píng)價(jià)的公平公正。調(diào)研時(shí)了解到，國社科成果評(píng)價(jià)建立了專家信譽(yù)檔案制度，但目前該制度處于試行期，有待進(jìn)一步完善。另外，國社科管理中心X老師提到“基于階段性成果的計(jì)量評(píng)價(jià)或可成為彌補(bǔ)這一風(fēng)險(xiǎn)（即同行評(píng)議主觀性）的有效手段”。因此，在未來成果評(píng)價(jià)的改革中，或可通過改進(jìn)既有評(píng)價(jià)方式，即采取以同行評(píng)議為主、計(jì)量評(píng)價(jià)為輔的綜合評(píng)價(jià)方式，提升評(píng)價(jià)公平性與準(zhǔn)確性。

3.評(píng)價(jià)體系設(shè)計(jì)：采用分級(jí)分類指標(biāo)體系

國社科成果評(píng)價(jià)采用分級(jí)分類的指標(biāo)體系。分級(jí)是指多級(jí)多層的指標(biāo)體系設(shè)置，每級(jí)指標(biāo)是對(duì)上一級(jí)指標(biāo)的詮釋;分類是指根據(jù)不同成果形式分為三類：專著類、論文集類、研究報(bào)告類。分級(jí)分類的指標(biāo)體系體現(xiàn)了國社科成果評(píng)價(jià)的規(guī)范性和學(xué)理性。同行評(píng)議的測評(píng)方式包括量表打分及主觀評(píng)議兩部分。第一部分為量表打分：管理機(jī)構(gòu)根據(jù)成果類型將不同量表發(fā)放給專家進(jìn)行打分（見表2）;第二部分為主觀評(píng)議：要求評(píng)議專家撰寫成果鑒定意見，并對(duì)所評(píng)成果給出質(zhì)量等級(jí)判定，包含優(yōu)秀、良好、合格、不合格四檔。這種定性定量相結(jié)合的評(píng)價(jià)體系設(shè)計(jì)在一定程度上體現(xiàn)了國社科成果評(píng)價(jià)的科學(xué)性，但對(duì)量表指標(biāo)及權(quán)重設(shè)定的合理性仍有待商榷。此外，由專家自行判斷確定成果等級(jí)的做法具有較強(qiáng)的主觀性，是否能保證評(píng)價(jià)信效度達(dá)標(biāo)仍有待檢驗(yàn)。

4.評(píng)價(jià)目標(biāo)達(dá)成：導(dǎo)向提升成果質(zhì)量

國社科成果評(píng)價(jià)的目標(biāo)定位旨在提升成果產(chǎn)出質(zhì)量的同時(shí)，提高基金項(xiàng)目成果的使用效益，發(fā)揮示范引導(dǎo)、傳承文明、理論創(chuàng)新、咨政育人、服務(wù)社會(huì)等重要作用，以此創(chuàng)造有利于人才成長的科研環(huán)境。[18]從表2可見，三類成果形式的評(píng)價(jià)量表均設(shè)置了成果價(jià)值、學(xué)術(shù)價(jià)值、社會(huì)價(jià)值等維度。國內(nèi)外通過科研評(píng)價(jià)促進(jìn)成果質(zhì)量提升的手段通常有兩種：一種是英美日推行與項(xiàng)目經(jīng)費(fèi)申請(qǐng)相掛鉤的績效評(píng)定模式;另一種是不與科研經(jīng)費(fèi)的分配相關(guān)聯(lián)，單獨(dú)核定的成果績效評(píng)價(jià)模式。國社科成果評(píng)價(jià)屬于第二種模式，缺乏一定的約束考核機(jī)制，造成國內(nèi)學(xué)界“重立項(xiàng)，輕結(jié)項(xiàng)”的問題。此外，由于國社科成果評(píng)價(jià)的最終目標(biāo)是服務(wù)社會(huì)，對(duì)成果后期推廣與跟蹤具有更高要求，既往產(chǎn)出的成果是否會(huì)在項(xiàng)目結(jié)題后即“束之高閣”，是否能納入到精品成果的范疇，是否通過項(xiàng)目研究實(shí)現(xiàn)了人才培養(yǎng)的耦合效應(yīng)，諸如此類問題及對(duì)標(biāo)達(dá)成情況均有待探討。

5. 評(píng)價(jià)活動(dòng)組織：多部門耦合聯(lián)動(dòng)機(jī)制

國社科成果評(píng)價(jià)主體自上而下包括：全國規(guī)劃辦、各級(jí)管理機(jī)構(gòu)、各單位科研管理部門、項(xiàng)目負(fù)責(zé)人（見圖1）。評(píng)價(jià)活動(dòng)的開展有賴于全部評(píng)價(jià)主體的協(xié)作配合，任何一個(gè)環(huán)節(jié)的失誤即可導(dǎo)致評(píng)價(jià)誤差的產(chǎn)生，進(jìn)而影響評(píng)價(jià)結(jié)果。本研究根據(jù)調(diào)研情況分析了可能存在的誤差點(diǎn)如下：第一，總體設(shè)計(jì)缺乏元評(píng)價(jià)監(jiān)管。規(guī)劃辦負(fù)責(zé)評(píng)價(jià)活動(dòng)的總體設(shè)計(jì)和流程管控，目前評(píng)價(jià)執(zhí)行情況較好，但仍需牢固樹立事先發(fā)現(xiàn)問題的主人翁意識(shí)，對(duì)評(píng)價(jià)中出現(xiàn)的問題進(jìn)行及時(shí)糾偏。第二，管理部門可能存在瀆職風(fēng)險(xiǎn)。管理部門負(fù)責(zé)評(píng)價(jià)的核心環(huán)節(jié)，目前在規(guī)章與制度建設(shè)方面對(duì)管理部門任職人員的監(jiān)管不足，存在一定的“人情因素”“主觀因素”的可能性。如專家遴選是否嚴(yán)格執(zhí)行雙向匿名原則，評(píng)審意見匯總是否客觀準(zhǔn)確等此類因素均會(huì)對(duì)評(píng)價(jià)結(jié)果造成影響。第三，主客體雙方對(duì)評(píng)價(jià)支持度各異。評(píng)價(jià)主體方是否能實(shí)現(xiàn)多部門的耦合聯(lián)動(dòng)，評(píng)價(jià)客體方是否能積極參與成果評(píng)價(jià)，雙方對(duì)評(píng)價(jià)的接納程度如何都會(huì)影響成果評(píng)價(jià)活動(dòng)的推進(jìn)。第四，延期結(jié)項(xiàng)現(xiàn)象嚴(yán)重。國社科項(xiàng)目存在較為普遍的延期結(jié)項(xiàng)情況，影響成果時(shí)效性及科研效率，缺乏后期原因追蹤與分析，極不利于整體成果績效的提升。

6.評(píng)價(jià)風(fēng)險(xiǎn)監(jiān)管：風(fēng)險(xiǎn)監(jiān)督與管控機(jī)制

國社科成果評(píng)價(jià)活動(dòng)包括評(píng)價(jià)設(shè)計(jì)、評(píng)價(jià)實(shí)施、評(píng)價(jià)反饋三個(gè)階段。首先，在評(píng)價(jià)設(shè)計(jì)階段，設(shè)立了國家哲學(xué)社會(huì)科學(xué)研究專家咨詢委員會(huì)，主要發(fā)揮為評(píng)價(jià)規(guī)劃提供咨詢建議的智庫作用。但由于目前的咨委會(huì)成員組成較為單一，缺乏元評(píng)價(jià)機(jī)制的監(jiān)管，難以回應(yīng)被評(píng)價(jià)者對(duì)于評(píng)價(jià)偏差引起的“問責(zé)”。其次，在評(píng)價(jià)實(shí)施階段，多方主體參與其中，流程環(huán)節(jié)繁復(fù)，存在評(píng)價(jià)風(fēng)險(xiǎn)?？傮w設(shè)計(jì)上元評(píng)價(jià)制度的缺失，導(dǎo)致目前主體職能部門的注意力仍然集中在評(píng)價(jià)本身，反思評(píng)價(jià)的意識(shí)薄弱，缺乏良好的風(fēng)險(xiǎn)預(yù)警機(jī)制及風(fēng)險(xiǎn)監(jiān)管策略。最后，在評(píng)價(jià)反饋階段，既有成果評(píng)價(jià)雖然建立了鑒定意見反饋、鑒定結(jié)果復(fù)議、鑒定登記公示等制度，但在調(diào)研時(shí)收到部分二級(jí)單位的項(xiàng)目負(fù)責(zé)人反映，評(píng)價(jià)后期的反饋渠道不夠暢通，缺乏相應(yīng)的約束政策及詳細(xì)的復(fù)議流程?？傮w來說，目前國社科成果評(píng)價(jià)活動(dòng)組織運(yùn)行較為有序，稍有不足體現(xiàn)在頂層設(shè)計(jì)上，沒有對(duì)評(píng)價(jià)結(jié)果的再次核驗(yàn)及對(duì)評(píng)價(jià)活動(dòng)的監(jiān)管機(jī)制，由此可能會(huì)存在一定程度的評(píng)價(jià)偏差及評(píng)價(jià)風(fēng)險(xiǎn)。

四、基于國社科成果評(píng)價(jià)全生命周期的元評(píng)價(jià)模型及分析框架

根據(jù)上文定義的國社科成果評(píng)價(jià)全生命周期概念，以及國社科成果評(píng)價(jià)全生命周期流程解析和風(fēng)險(xiǎn)預(yù)估，本研究采用元評(píng)價(jià)理論及方法，構(gòu)建了基于全生命周期的國社科成果元評(píng)價(jià)模型及分析框架。

（一）界定元評(píng)價(jià)對(duì)象

根據(jù)元評(píng)價(jià)理論，要求既有評(píng)價(jià)中所有環(huán)節(jié)均需被界定為元評(píng)價(jià)的研究對(duì)象，接受元評(píng)價(jià)的再審視，最終實(shí)現(xiàn)評(píng)價(jià)體系的調(diào)試及改進(jìn)。[19]因此，基于全生命周期的國社科成果元評(píng)價(jià)對(duì)象的界定務(wù)必要包含既有評(píng)價(jià)的全體要素及環(huán)節(jié)，即內(nèi)部要素和外部要素。內(nèi)部要素為評(píng)價(jià)對(duì)象、評(píng)價(jià)方式、評(píng)價(jià)體系;外部要素為評(píng)價(jià)目標(biāo)、評(píng)價(jià)活動(dòng)、評(píng)價(jià)監(jiān)管。

（二）設(shè)計(jì)元評(píng)價(jià)框架

本文在梳理國社科全生命周期各要素及環(huán)節(jié)的基礎(chǔ)上，構(gòu)建了以國社科為案例的人文社科成果評(píng)價(jià)全生命周期的元評(píng)價(jià)框架（如圖2）。該框架特點(diǎn)為“一個(gè)閉環(huán)、兩個(gè)周期、三個(gè)主體”?！耙粋€(gè)閉環(huán)”是指既有評(píng)價(jià)、元評(píng)價(jià)、風(fēng)險(xiǎn)監(jiān)管三者之間形成閉環(huán)反饋系統(tǒng)。其一，通過元評(píng)價(jià)發(fā)現(xiàn)既有評(píng)價(jià)存在的問題，對(duì)其開展糾偏控制;其二，元評(píng)價(jià)的結(jié)果指導(dǎo)風(fēng)險(xiǎn)監(jiān)管策略的構(gòu)建，實(shí)現(xiàn)在下一輪的評(píng)價(jià)中開展適時(shí)監(jiān)控，有效規(guī)避評(píng)價(jià)風(fēng)險(xiǎn);其三，在新一輪評(píng)價(jià)開展過程中暴露的問題亦可傳遞給元評(píng)價(jià)體系形成同期反饋?！皟蓚€(gè)周期”是指該框架包含了兩個(gè)全生命周期循環(huán)體系。其一為成果評(píng)價(jià)的全生命周期，即六大核心要素的合集;其二為風(fēng)險(xiǎn)管理的全生命周期，涵蓋了風(fēng)險(xiǎn)管理全過程的四個(gè)階段。“三個(gè)主體”指既有評(píng)價(jià)、元評(píng)價(jià)、風(fēng)險(xiǎn)監(jiān)管三者之間形成耦合聯(lián)動(dòng)機(jī)制。首先，既有評(píng)價(jià)全過程、全方面、全要素的架構(gòu)設(shè)置決定了實(shí)施元評(píng)價(jià)對(duì)象和方法的選取;其次，元評(píng)價(jià)的結(jié)論指導(dǎo)既有評(píng)價(jià)進(jìn)行糾偏和構(gòu)建風(fēng)險(xiǎn)監(jiān)管體系;最后，風(fēng)險(xiǎn)監(jiān)管可對(duì)下一輪的評(píng)價(jià)開展實(shí)時(shí)監(jiān)督，并將預(yù)警風(fēng)險(xiǎn)反饋給元評(píng)價(jià)體系。可見，三位一體可持續(xù)提升的閉環(huán)架構(gòu)能在一定程度上彌補(bǔ)國社科成果評(píng)價(jià)缺乏元評(píng)價(jià)及風(fēng)險(xiǎn)監(jiān)管的現(xiàn)狀，提升評(píng)價(jià)結(jié)果的合理性及評(píng)價(jià)過程的穩(wěn)定性，減少由于評(píng)價(jià)不確定性產(chǎn)生的偏差，為成果評(píng)價(jià)的改革提供依據(jù)。

（三）構(gòu)建元評(píng)價(jià)體系

構(gòu)建科學(xué)合理的元評(píng)價(jià)體系是保證元評(píng)價(jià)規(guī)范開展的首要前提及核心任務(wù)。元評(píng)價(jià)體系包含評(píng)價(jià)內(nèi)容和評(píng)價(jià)方法兩部分。已有研究基本均是選取JCSEE項(xiàng)目元評(píng)價(jià)量表為模板，多采用定量定性相結(jié)合的方式構(gòu)建元評(píng)價(jià)體系。JCSEE量表是經(jīng)過大量元評(píng)價(jià)的實(shí)踐案例檢驗(yàn)的成熟量表，具有較高的信效度及可操作性。

首先，在評(píng)價(jià)內(nèi)容設(shè)計(jì)上，借鑒了JCSEE量表的四個(gè)一級(jí)指標(biāo)作為擬建體系的一級(jí)評(píng)價(jià)維度。并以全生命周期六要素為對(duì)象，綜合調(diào)研訪談及文本內(nèi)容分析，結(jié)合文獻(xiàn)對(duì)國社科成果評(píng)價(jià)進(jìn)行案例適用性調(diào)整，以此設(shè)計(jì)提取了二級(jí)指標(biāo)。

其次，在評(píng)價(jià)方法設(shè)計(jì)上，根據(jù)元評(píng)價(jià)的兩種類型將該體系評(píng)價(jià)方法按照視角不同分為內(nèi)部元評(píng)價(jià)和外部元評(píng)價(jià)。內(nèi)部元評(píng)價(jià)，是從內(nèi)部審查的視角出發(fā)，綜合采用定性法及定量法對(duì)既有評(píng)價(jià)全生命周期六要素進(jìn)行分析;外部元評(píng)價(jià)，是從外部專家的視角出發(fā)，采用不同形式的訪談，對(duì)內(nèi)部元評(píng)價(jià)分析所得結(jié)果進(jìn)行論證和闡釋。

最后，整合各要素得出全生命周期視域下國社科成果評(píng)價(jià)的元評(píng)價(jià)體系。該體系由4個(gè)一級(jí)維度、12個(gè)二級(jí)維度組成，并界定了各維度的指標(biāo)內(nèi)涵、評(píng)價(jià)方法。每一指標(biāo)均對(duì)應(yīng)了全生命周期六大要素之一，是對(duì)六要素的測評(píng)與考察（見表3）。該體系是在全生命周期理論及元評(píng)價(jià)理論指導(dǎo)下設(shè)計(jì)形成的，在目的、方法、評(píng)價(jià)、監(jiān)管等方面形成閉環(huán)反饋及監(jiān)管嵌入，目標(biāo)是通過發(fā)現(xiàn)既有評(píng)價(jià)存在的問題，提升評(píng)價(jià)效率，降低評(píng)價(jià)風(fēng)險(xiǎn)。

1.實(shí)用性分析框架

實(shí)用性分析是指通過評(píng)價(jià)使管理者了解被評(píng)者情況，確保評(píng)價(jià)為實(shí)際需求服務(wù)。國社科成果評(píng)價(jià)的實(shí)用性研究分為三個(gè)維度：U1范圍選擇合理性、U2評(píng)價(jià)結(jié)果可靠性、U3評(píng)價(jià)結(jié)果有效性。U1指標(biāo)考察點(diǎn)為既有評(píng)價(jià)全生命周期六要素中的“評(píng)價(jià)對(duì)象”，主要考核評(píng)價(jià)對(duì)象選取界定的合理性，檢驗(yàn)?zāi)壳皟H以同行評(píng)議為對(duì)象的考評(píng)方式是否科學(xué)?？刹捎枚螠y量法，對(duì)特定成果樣本同時(shí)開展兩種不同的評(píng)價(jià)方案，即方案一僅針對(duì)最終成果的評(píng)價(jià)方案，方案二針對(duì)最終成果及階段性成果的評(píng)價(jià)方案。比較兩種方案評(píng)價(jià)結(jié)果的一致性與差異性，分析差異顯著的學(xué)科分布特點(diǎn)及原因。U2指標(biāo)考察點(diǎn)為六要素中的“評(píng)價(jià)體系”，考察既有評(píng)價(jià)結(jié)果的合理性，包括評(píng)價(jià)得分計(jì)算體系設(shè)計(jì)是否科學(xué)，評(píng)價(jià)得分分布是否合理?？赏ㄟ^測量評(píng)價(jià)各等級(jí)分布，驗(yàn)證得分計(jì)算體系的科學(xué)性。合理的得分計(jì)算體系應(yīng)該體現(xiàn)出各等級(jí)的區(qū)分度，如果出現(xiàn)大規(guī)模的非正態(tài)分布，說明既有體系設(shè)置不能很好地區(qū)分各樣本的研究成果質(zhì)量，有待調(diào)試完善。U3指標(biāo)考察點(diǎn)為六要素中的“評(píng)價(jià)方式”。由于同行評(píng)議時(shí)常因主觀意見、認(rèn)知程度、理解能力的差異影響評(píng)價(jià)結(jié)果，因此，該指標(biāo)是通過肯德爾和諧系數(shù)法檢驗(yàn)同行評(píng)議的一致性，探索影響機(jī)制及風(fēng)險(xiǎn)規(guī)避方式。

2.可行性分析框架

可行性分析是考察評(píng)價(jià)能否在自然狀態(tài)下開展，程序設(shè)置是否具有可操作性，能否獲取各方利益主體支持，從而實(shí)現(xiàn)評(píng)價(jià)的穩(wěn)健運(yùn)行。其分為三個(gè)維度：F1項(xiàng)目可行性、F2政治可行性、F3經(jīng)濟(jì)可行性。F1指標(biāo)考察點(diǎn)為六要素中的“評(píng)價(jià)活動(dòng)”?？疾煸u(píng)價(jià)活動(dòng)設(shè)置的可行性，包括評(píng)價(jià)程序設(shè)置是否合理，評(píng)價(jià)的各階段環(huán)節(jié)是否存在障礙。對(duì)該指標(biāo)的評(píng)測可通過對(duì)各方利益主體開展訪談，了解評(píng)價(jià)推行過程中存在的障礙及困難、評(píng)價(jià)風(fēng)險(xiǎn)預(yù)警機(jī)制是否健全。F2指標(biāo)考察點(diǎn)為六要素中的“評(píng)價(jià)活動(dòng)”。政治環(huán)境關(guān)系到評(píng)價(jià)的頂層設(shè)計(jì)，是保證評(píng)價(jià)穩(wěn)定持續(xù)開展的關(guān)鍵。通過實(shí)地調(diào)研及訪談分析政府參與度、被評(píng)價(jià)方支持度、主客體雙方互動(dòng)性等實(shí)際情況。F3指標(biāo)考察點(diǎn)為六要素中的“評(píng)價(jià)目標(biāo)”。經(jīng)濟(jì)指標(biāo)主要指資源制約，考核既有評(píng)價(jià)是否實(shí)現(xiàn)預(yù)定的效益及效率目標(biāo)?？赏ㄟ^訪談管理部門人員及二級(jí)單位人員，探尋是否存在經(jīng)費(fèi)制約，是否存在因內(nèi)部聯(lián)動(dòng)低效而造成 “中層擁堵”現(xiàn)象[20]。

3.適當(dāng)性分析框架

適當(dāng)性分析是為了保護(hù)被評(píng)價(jià)方的權(quán)益，反對(duì)評(píng)價(jià)方采用不合理的方式、不恰當(dāng)?shù)男袨閾p害被評(píng)方利益，確保評(píng)價(jià)合理、合法、合乎道德地實(shí)施。它分為三個(gè)維度：P1評(píng)價(jià)方法適切性、P2公開性與合法性、P3利益沖突協(xié)調(diào)度。P1指標(biāo)考察點(diǎn)為六要素中的“評(píng)價(jià)方式”，考核國社科目前采用單一的定性方式（即同行評(píng)議）是否合理。運(yùn)用數(shù)據(jù)包絡(luò)分析法（DEA）與計(jì)量法，分析不同評(píng)價(jià)方式引起的評(píng)價(jià)差異性。即對(duì)同一樣本分別采用定量評(píng)價(jià)及定性評(píng)價(jià)，比較兩種評(píng)價(jià)方法在同一樣本中的差異性，改進(jìn)單一評(píng)價(jià)方式引起的偏差。P2指標(biāo)考察點(diǎn)為六要素中的“評(píng)價(jià)監(jiān)督”?？赏ㄟ^訪談評(píng)價(jià)主客體雙方，尋找沖突點(diǎn)。公開性與合法性是評(píng)價(jià)獲得支持的必要條件，訪談重點(diǎn)應(yīng)包含專家名單公布是否全面、評(píng)價(jià)結(jié)果公開是否準(zhǔn)確、評(píng)審意見反饋是否及時(shí)等。P3指標(biāo)同樣對(duì)應(yīng)六要素中的“評(píng)價(jià)監(jiān)督”，考核在評(píng)價(jià)雙方利益發(fā)生沖突時(shí)，協(xié)調(diào)機(jī)制是否健全，評(píng)價(jià)風(fēng)險(xiǎn)的應(yīng)對(duì)處理是否得當(dāng)。該指標(biāo)同時(shí)也是對(duì)參與評(píng)價(jià)的各級(jí)管理部門人員專業(yè)素質(zhì)進(jìn)行的考核。國社科成果評(píng)價(jià)報(bào)告是由各級(jí)管理部門專職人員匯總5位評(píng)審專家意見而形成，因此專職人員的職業(yè)素養(yǎng)及學(xué)科知曉度情況是評(píng)價(jià)報(bào)告清晰度和準(zhǔn)確性的主要影響因素。由于我國不具備類似日本“評(píng)價(jià)士”制度，對(duì)專職管理人員的選拔和職業(yè)培訓(xùn)缺乏專業(yè)性，可能會(huì)出現(xiàn)評(píng)價(jià)報(bào)告受管理人員認(rèn)知局限而造成的制約性影響，進(jìn)而引發(fā)評(píng)價(jià)主客體雙方意見的沖突。

4.準(zhǔn)確性分析框架

準(zhǔn)確性分析考察評(píng)價(jià)結(jié)果對(duì)客觀實(shí)際反映的契合度，即評(píng)價(jià)結(jié)果反映被評(píng)價(jià)方客觀情況的程度越高，則評(píng)價(jià)的準(zhǔn)確性越高。其分為三個(gè)維度：A1評(píng)價(jià)信息真實(shí)性、A2評(píng)價(jià)目標(biāo)適配性、A3評(píng)價(jià)指標(biāo)科學(xué)性。A1指標(biāo)考察點(diǎn)為六要素中的“評(píng)價(jià)對(duì)象”，考察提交的參評(píng)材料是否真實(shí)有效?？赏ㄟ^典型案例檢驗(yàn)成果報(bào)告中是否存在學(xué)術(shù)抄襲，是否存在大量濫竽充數(shù)的自引（如博士論文），是否有抄襲剽竊的情況，是否存在“一果多用”現(xiàn)象等等。A2指標(biāo)考察點(diǎn)為六要素中的“評(píng)價(jià)目標(biāo)”，考察評(píng)價(jià)是否實(shí)現(xiàn)了既定目標(biāo)。國社科成果評(píng)價(jià)是質(zhì)量導(dǎo)向型評(píng)價(jià)。理論上，假如評(píng)價(jià)實(shí)施達(dá)到既定目標(biāo)，則會(huì)在特定閉合時(shí)間段內(nèi)表現(xiàn)出成果質(zhì)量的提升，實(shí)現(xiàn)“以評(píng)促建”?？赏ㄟ^“證據(jù)審查”的方法，尋找目標(biāo)實(shí)現(xiàn)程度的證據(jù)支持。A3指標(biāo)考察點(diǎn)為六要素中的“評(píng)價(jià)體系”，考察評(píng)價(jià)指標(biāo)設(shè)置是否科學(xué)合理。可通過因素分析法對(duì)既有評(píng)價(jià)指標(biāo)效度及關(guān)聯(lián)度進(jìn)行檢驗(yàn)，如果指標(biāo)間關(guān)聯(lián)度為高相關(guān)，說明指標(biāo)設(shè)置重復(fù)，評(píng)價(jià)效率低。只有在各指標(biāo)具有較弱關(guān)聯(lián)度的前提下，才能體現(xiàn)測評(píng)指標(biāo)的維度區(qū)分。

（四）信度與效度分析

本文構(gòu)建的元評(píng)價(jià)體系及量表在一級(jí)維度的設(shè)計(jì)上借鑒了JCSEE的四個(gè)一級(jí)指標(biāo)。JCSEE量表的評(píng)價(jià)效度已被大量研究所證實(shí)，是元評(píng)價(jià)領(lǐng)域的經(jīng)典量表。而對(duì)二三級(jí)指標(biāo)的設(shè)計(jì)，則是在JCSEE量表基礎(chǔ)上，針對(duì)案例特點(diǎn)進(jìn)行了調(diào)整，并且經(jīng)過了多輪實(shí)地調(diào)研與焦點(diǎn)團(tuán)體訪談，集中了領(lǐng)域?qū)＜覍?duì)國社科成果元評(píng)價(jià)的建議，因此，可以保證該元評(píng)價(jià)量表的效度。信度方面，本文采用肯德爾和諧系數(shù)法，選取6位領(lǐng)域?qū)＜覍?duì)已構(gòu)建的元評(píng)價(jià)量表進(jìn)行打分，運(yùn)用肯德爾和諧系數(shù)的計(jì)算公式進(jìn)行一致性分析。公式如下：

w=s112 m2（ n3-n），其中s=∑ n j=1 R2 j-1n（∑ n j=1 R j2。

其中，m為專家人數(shù)，n為元評(píng)價(jià)指標(biāo)個(gè)數(shù)，Rj為第j個(gè)評(píng)價(jià)指標(biāo)的得分?jǐn)?shù)，s為第j個(gè)評(píng)價(jià)指標(biāo)得分?jǐn)?shù)與所有指標(biāo)得分?jǐn)?shù)的平均數(shù)之差的平方和。根據(jù)公式得出，6位專家打分的Rj總和471，其平方和21591。s=3104.25，w=0.603。根據(jù)肯德爾和諧系數(shù)法的要求，w≥0.5即可認(rèn)為專家之間的評(píng)價(jià)意見顯著一致。由此可以得出，本文構(gòu)建的元評(píng)價(jià)量表具有較高的評(píng)價(jià)信度。

五、結(jié)語

開展全生命周期視域下元評(píng)價(jià)是人文社科成果評(píng)價(jià)的必要環(huán)節(jié)。首先，元評(píng)價(jià)是人文社科成果績效評(píng)價(jià)的核驗(yàn)與再審視。通過元評(píng)價(jià)可以實(shí)現(xiàn)人文社科成果績效評(píng)價(jià)角色的轉(zhuǎn)變，使其由評(píng)價(jià)行為的發(fā)出主體變?yōu)楸辉u(píng)價(jià)的對(duì)象客體，從而實(shí)現(xiàn)對(duì)原有體系的檢驗(yàn)及糾偏。其次，元評(píng)價(jià)體系的構(gòu)建是實(shí)施與開展元評(píng)價(jià)的基石。體系構(gòu)建是元評(píng)價(jià)的靈魂，是開展元評(píng)價(jià)的依據(jù)，是元評(píng)價(jià)理論發(fā)展與完善的必經(jīng)之路。

本文選取人文社科領(lǐng)域具有示范效應(yīng)的國社科成果評(píng)價(jià)活動(dòng)作為載體，通過構(gòu)建具有良好信效度的元評(píng)價(jià)體系，實(shí)現(xiàn)對(duì)既有評(píng)價(jià)在全生命周期視域下的再評(píng)價(jià)，歸正人文社科成果績效評(píng)價(jià)固有的弱彈性弊端，及時(shí)糾正評(píng)價(jià)誤差，并形成風(fēng)險(xiǎn)控制策略指導(dǎo)下一輪評(píng)價(jià)的實(shí)施，以此保證評(píng)價(jià)預(yù)期目標(biāo)的實(shí)現(xiàn)及評(píng)價(jià)的順利開展。

參考文獻(xiàn)：

[1]SCRIVEN M.An Introduction to Metaevaluation[J].Educational Product Report，1969（2）：36-38.

[2]田騰飛，劉任露.元評(píng)估：教育評(píng)估專業(yè)化發(fā)展之必需[J].外國教育研究，2014，41（6）：111-119.

[3]朱少強(qiáng)，唐林，柯青.學(xué)術(shù)評(píng)價(jià)的元評(píng)價(jià)機(jī)制[J].重慶大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2010，16（3）：81-85.

[4]張榮娟，徐魁鴻.美國高等教育元評(píng)估制度探析：以高等教育認(rèn)證委員會(huì)為例[J].高教探索，2018（2）：65-69.

[5]WORTHEN B R.Whither Evaluation？ That All Depends[J].American Journal of Evaluation，2001，22（3）：409.

[6]KLEJINEN S.Performance Metrics in Supply Chain Management [J].Journal of the Operational Research Society，2003，54（5）：507-514.

[7]JUN H B，SHIN J H ，KIRITSIS D，et al .System Architecture for Closed-loop PLM[J].International Journalof Computer Integrated Manufacturing，2007，20（7）：684-698.

[8]KIRITSIS D.Closed-loop PLM for Intelligent Products in the Era of the Internet of Things[J].Computer Aided Design，2011，43（5）：479-501.

[9]王曉剛. 基于全生命周期的高鐵技術(shù)知識(shí)產(chǎn)權(quán)風(fēng)險(xiǎn)管理研究[D].中國鐵道科學(xué)研究院，2019.

[10] Program Evaluation Standards[EB/OL].（2010-07-01）[2020-12-20].https：//www.cdc.gov/eval/standards/2010.

[11]嚴(yán)芳，汪建華.我國教育元評(píng)估指標(biāo)體系構(gòu)建[J].上海教育評(píng)估研究，2020，9（2）：75-80.

[12]蔣悅，卞曰瑭，錢鋼.基于元評(píng)價(jià)的政府績效評(píng)估模型研究[J].情報(bào)雜志，2008，27（12）：26-30.

[13]周碧華，方建云，楊婉貞.基層政府績效考核的元評(píng)估分析：以福建某縣級(jí)市為例[J].新視野，2015（4）：71-78.

[14]馮暉.基于測試的元評(píng)價(jià)技術(shù)[J].上海師范大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2007（5）：128 -132.

[15]賀祖斌.高等教育評(píng)價(jià)的元評(píng)價(jià)及其量化分析模型[J].教育科學(xué)，2001（3）：56-58.

[16]戚湧，李千目.科學(xué)研究績效評(píng)價(jià)的理論與方法[M].北京：科學(xué)出版社，1999：270.

[17]羅伯特·K·殷.案例研究：設(shè)計(jì)與方法[M].重慶：重慶大學(xué)出版社，2004：19.

[18]全國哲學(xué)社會(huì)科學(xué)工作辦公室.關(guān)于加強(qiáng)和改進(jìn)國家社會(huì)科學(xué)基金項(xiàng)目成果鑒定結(jié)項(xiàng)工作的意見[EB/OL].（2007-12-24）[2020-12-20].http：//www.sss.net.cn/111001/32686.aspx.

[19]孫賀群.基于有效性驗(yàn)證經(jīng)驗(yàn)的美國早期教育質(zhì)量評(píng)價(jià)的元評(píng)價(jià)研究[J].四川師范大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2018，45（3）：69-77.

[20]趙曉軍.“萬人評(píng)議政府”的元評(píng)估分析[D].蘭州大學(xué)，2018.

（責(zé)任編輯 陳志萍）