“雙一流”學(xué)科建設(shè)評估體系初探
——基于學(xué)術(shù)表現(xiàn)的綜合評估指數(shù)構(gòu)建

王文軍，洪巖璧，袁 翀，馬宇超

(1.南京大學(xué) 中國社會(huì)科學(xué)研究評價(jià)中心，江蘇南京210093；2.東南大學(xué) 人文學(xué)院，江蘇南京210096)

2015年國務(wù)院頒布《統(tǒng)籌推進(jìn)世界一流大學(xué)和一流學(xué)科建設(shè)總體方案》，明確提出要“建立激勵(lì)約束機(jī)制，鼓勵(lì)公平競爭，強(qiáng)化目標(biāo)管理，突出建設(shè)實(shí)效，構(gòu)建完善中國特色的世界一流大學(xué)和一流學(xué)科評價(jià)體系，充分激發(fā)高校內(nèi)生動(dòng)力和發(fā)展活力，引導(dǎo)高等學(xué)校不斷提升辦學(xué)水平。”這說明學(xué)科評估能夠引導(dǎo)高校的發(fā)展，對于建設(shè)一流大學(xué)和一流學(xué)科具有重要作用。隨后在2017年國務(wù)院又頒布了《統(tǒng)籌推進(jìn)世界一流大學(xué)和一流學(xué)科建設(shè)實(shí)施辦法(暫行)》，強(qiáng)調(diào)要“以中國特色學(xué)科評價(jià)為主要依據(jù)，參考國際相關(guān)評價(jià)因素，綜合高校辦學(xué)條件、學(xué)科水平、辦學(xué)質(zhì)量、主要貢獻(xiàn)、國際影響力等情況，以及高校主管部門意見，論證確定一流大學(xué)和一流學(xué)科建設(shè)高校的認(rèn)定標(biāo)準(zhǔn)。”[1]這進(jìn)一步明確了學(xué)科評價(jià)在一流學(xué)科建設(shè)中的重要作用。學(xué)科評估作為高等教育領(lǐng)域中教育評價(jià)的延伸范疇，其理論基礎(chǔ)和實(shí)現(xiàn)方法隨著學(xué)科評估發(fā)展而不斷拓展，其理論基礎(chǔ)源于教育評價(jià)但又不完全依賴于教育評價(jià)理論[2]。學(xué)科評估更加重視集評價(jià)方法的客觀性與價(jià)值判斷的主觀性于一體，以及用來反映學(xué)科質(zhì)量水平的可量化數(shù)據(jù)，其基本特征是強(qiáng)調(diào)效率和效益，注重結(jié)果和產(chǎn)出[3]。因此，本研究擬對當(dāng)前在高等教育研究領(lǐng)域具有較大影響的七大學(xué)科評估體系進(jìn)行梳理，觀察這些學(xué)科評估體系中有關(guān)學(xué)術(shù)表現(xiàn)的指標(biāo)選擇和構(gòu)建者的價(jià)值期望，以學(xué)術(shù)表現(xiàn)為切入點(diǎn)，引入項(xiàng)目反應(yīng)理論，運(yùn)用貝葉斯估計(jì)建構(gòu)基于學(xué)術(shù)表現(xiàn)的綜合評估指數(shù)，為我國人文社會(huì)科學(xué)類一流學(xué)科建設(shè)提供一個(gè)新的觀測視角。

一、現(xiàn)狀與問題

目前國內(nèi)具有較大影響的學(xué)科評估體系依據(jù)評價(jià)主體和評價(jià)目的的不同，主要分為兩大類：一類評估依托第三方機(jī)構(gòu)以整體評估為主要目的，這類評估體系主要有：教育部學(xué)位與研究生教育發(fā)展中心一級學(xué)科整體評估、英國科研評估、美國博士點(diǎn)評估。另一類依托商業(yè)公司，以形成學(xué)科排行榜為目的，這類評估體系主要有：上海軟科世界一流學(xué)科排名、泰晤士高等教育(THE)世界大學(xué)學(xué)科排名、夸夸雷利·西蒙茲(QS)世界大學(xué)學(xué)科排名、美國新聞和世界報(bào)導(dǎo)(U.S. News)全球大學(xué)學(xué)科排名*下文出現(xiàn)夸夸雷利·西蒙茲(QS)世界大學(xué)學(xué)科排名、泰晤士高等教育(THE)世界大學(xué)學(xué)科排名、美國新聞和世界報(bào)導(dǎo)(U.S. News)全球大學(xué)學(xué)科排名時(shí)，將使用括號(hào)中英文縮寫，不再使用中文全稱。。

(一)由第三方機(jī)構(gòu)主導(dǎo)的整體評估

(1)教育部學(xué)位中心一級學(xué)科整體評估

這是教育部學(xué)位與研究生教育發(fā)展中心以第三方形式開展的非行政性、服務(wù)性評估項(xiàng)目。這一評估從2002年開始，已經(jīng)進(jìn)行了四輪，最新一輪學(xué)科評估于2017年完成。該項(xiàng)評估覆蓋學(xué)科范圍廣，指標(biāo)體系全面，評價(jià)周期長，具有較高的權(quán)威性。其主要指標(biāo)有：師資隊(duì)伍與資源、人才培養(yǎng)、科學(xué)研究水平、社會(huì)服務(wù)與社會(huì)聲譽(yù)。數(shù)據(jù)來源主要有三：學(xué)校填報(bào)、問卷調(diào)查、公開數(shù)據(jù)。與學(xué)術(shù)表現(xiàn)有關(guān)的指標(biāo)——“科學(xué)研究水平”，主要考察“學(xué)術(shù)論文質(zhì)量”“專著專利”“出版教材”“科研獲獎(jiǎng)”和“科研項(xiàng)目”。其中，“學(xué)術(shù)論文質(zhì)量”包含“A類期刊發(fā)表論文”和“代表性論文”同行評議兩個(gè)方面；同時(shí)要求代表性論文須包含一定比例的國內(nèi)期刊(特別是哲學(xué)社會(huì)科學(xué)學(xué)科)，以鼓勵(lì)優(yōu)秀成果優(yōu)先在國內(nèi)期刊發(fā)表[4]。由此可見，其主要通過學(xué)術(shù)成果的產(chǎn)出體現(xiàn)學(xué)科科研水平。

(2)英國科研評估

英國科研評估是由英格蘭高等教育資助委員會(huì)(HEFCE)、蘇格蘭資助委員會(huì)(SFC)、威爾士高等教育資助委員會(huì)(HEFCW)和北愛爾蘭就業(yè)和學(xué)習(xí)部(DEL)聯(lián)合進(jìn)行的[5]。這項(xiàng)評估迄今為止已經(jīng)開展了7次。2014年英國高?？蒲性u估工作(Research Assessment Exercise, 簡稱RAE)被科研卓越框架(Research Excellence Framework, 簡稱REF)所取代。這一體系一直以來依靠同行評估的方法，由專家針對學(xué)科情況給出等級判斷。然而，REF在2014年也引入了量化數(shù)據(jù)，但僅供同行專家作為評估參考，暫未作為評估的主要工具[6]。

(3)美國博士點(diǎn)評估

美國博士點(diǎn)評估是由美國研究理事會(huì)(NRC)組織的博士點(diǎn)評估，側(cè)重評估人才培養(yǎng)，分別于1982年、1995年和2006年開展了3次。這項(xiàng)評估因其評價(jià)的權(quán)威性、評估過程的專業(yè)化和評估方法的客觀性，被美國學(xué)界公認(rèn)為最具權(quán)威的科學(xué)排名，是研究生學(xué)科點(diǎn)質(zhì)量評估中“最全面、最可靠”的評估[7]。

(二)由商業(yè)機(jī)構(gòu)主導(dǎo)的學(xué)科排名評估

(1)上海軟科世界一流學(xué)科排名

上海軟科教育信息咨詢有限公司成立于2009年，其前身為上海交通大學(xué)世界大學(xué)學(xué)術(shù)排名，是國內(nèi)較早推出“世界大學(xué)學(xué)術(shù)排名”的機(jī)構(gòu)。軟科旗下“最好大學(xué)網(wǎng)”每年都會(huì)發(fā)布“世界大學(xué)學(xué)術(shù)排名”“中國最好大學(xué)排名”“世界一流學(xué)科排名”等榜單。這一評估體系依賴客觀數(shù)據(jù)，具有指標(biāo)體系公開、透明的特色。主要指標(biāo)有：論文總數(shù)、論文標(biāo)準(zhǔn)化影響力、教師獲權(quán)威獎(jiǎng)項(xiàng)數(shù)、國際合作論文比例、頂尖期刊論文數(shù)，其數(shù)據(jù)源為Web of Science和InCites數(shù)據(jù)庫[8]。

(2)泰晤士高等教育(THE)世界大學(xué)學(xué)科排名

THE世界大學(xué)學(xué)科排名是由《泰晤士高等教育》報(bào)每年發(fā)布的各學(xué)科領(lǐng)域世界高校排行榜。這一評估具有指標(biāo)設(shè)置較為全面、重視學(xué)術(shù)科研能力的特色。主要指標(biāo)有：教學(xué)、研究、論文引用率(學(xué)術(shù)影響)、產(chǎn)業(yè)收入、國際化程度。數(shù)據(jù)源為公開數(shù)據(jù)、學(xué)校填報(bào)、問卷調(diào)查以及愛思唯爾的Scopus數(shù)據(jù)庫[9]。

(3)QS世界大學(xué)學(xué)科排名

QS世界大學(xué)學(xué)科排名是由英國QS國際高等教育研究機(jī)構(gòu)于2012年開始，每年發(fā)布的一個(gè)各學(xué)科領(lǐng)域世界前200名院校的排行榜。這一評估具有重視社會(huì)聲譽(yù)、覆蓋學(xué)科范圍廣的特色。主要指標(biāo)有：學(xué)術(shù)聲譽(yù)、雇主評價(jià)、平均每篇論文被引數(shù)、H指數(shù)。數(shù)據(jù)源為問卷調(diào)查和愛思唯爾的Scopus數(shù)據(jù)庫[10]。

(4)U.S. News全球大學(xué)學(xué)科排名

U.S．News世界大學(xué)排名是美國《美國新聞與世界報(bào)道》(U.S. News & World Report)于2014年開始每年發(fā)布的世界大學(xué)排行榜。該排行榜重視學(xué)術(shù)科研能力，主要依賴于客觀數(shù)據(jù)。其主要指標(biāo)有：全球研究聲譽(yù)、區(qū)域研究聲譽(yù)、國際合作、國際合作論文占比、專著、學(xué)術(shù)論文、會(huì)議論文、標(biāo)準(zhǔn)化引用影響力、總被引頻次、被引次數(shù)前10%論文數(shù)量、被引次數(shù)前10%論文占比、在各自領(lǐng)域中被引次數(shù)前1%的高被引論文數(shù)量、在所有學(xué)術(shù)論文中被引頻次前1%的高被引論文占比。數(shù)據(jù)來自問卷調(diào)查以及InCites數(shù)據(jù)庫[11]。

將以上7個(gè)評估體系中有關(guān)學(xué)術(shù)表現(xiàn)的指標(biāo)進(jìn)行整理，得到表1。

表1 國內(nèi)外主要學(xué)科評估體系中有關(guān)“學(xué)術(shù)表現(xiàn)”的主要指標(biāo)

① http://www.rae.ac.uk

通過對上述學(xué)科評估體系的梳理，不難發(fā)現(xiàn)：(1)在評價(jià)目的上，由第三方機(jī)構(gòu)形成的整體評估更多地為國家服務(wù)。英國科研卓越框架與政府對大學(xué)的撥款直接相關(guān)，美國博士點(diǎn)評估與中國教育部的一級學(xué)科整體評估雖然與政府撥款無關(guān)，但也為政府了解高校發(fā)展?fàn)顩r服務(wù)。而由商業(yè)機(jī)構(gòu)形成的學(xué)科排名評估則更多地為社會(huì)服務(wù)，主要目的是為學(xué)生和家長選擇專業(yè)和高等學(xué)校提供參考。(2)在評價(jià)周期上，由第三方機(jī)構(gòu)形成的整體評估周期較長，而由商業(yè)機(jī)構(gòu)形成的學(xué)科排名則一年一榜。據(jù)悉，英國學(xué)科評估將于2021年發(fā)布最新的評估結(jié)果，其從啟動(dòng)到結(jié)果發(fā)布大約需要3-4年，大約有2年時(shí)間用于方案和指標(biāo)的研究。目前已經(jīng)可以通過其官方網(wǎng)站了解到各項(xiàng)方案制定、指標(biāo)測算的草案。我國教育部第四輪學(xué)科評估已于2017年正式公布，下一輪學(xué)科評估預(yù)計(jì)將于2020年啟動(dòng)。(3)在量化數(shù)據(jù)源的選擇上，上述學(xué)科評估指標(biāo)體系的數(shù)據(jù)主要來自第三方數(shù)據(jù)源，如SCI、SSCI、ESI、Scopus等數(shù)據(jù)庫。筆者認(rèn)為，面向中國的學(xué)科評估應(yīng)該更多依托本土原創(chuàng)數(shù)據(jù)源。尤其是人文社會(huì)科學(xué)研究本土化的特性，僅考慮國外數(shù)據(jù)庫的收錄情況，會(huì)使得該指標(biāo)的區(qū)分度較低。對于人文社會(huì)科學(xué)而言，僅考慮論文的發(fā)表情況，對于以學(xué)術(shù)圖書、研究報(bào)告等為發(fā)表載體的學(xué)術(shù)成果會(huì)有所疏漏，不利于學(xué)術(shù)表現(xiàn)的完整性評估。(4)在具體評估指標(biāo)的選擇上，目前的趨勢是由規(guī)?；笜?biāo)轉(zhuǎn)向人均指標(biāo)、比例指標(biāo)，由共線性指標(biāo)向獨(dú)立性指標(biāo)轉(zhuǎn)變，由非連續(xù)性數(shù)據(jù)向連續(xù)性數(shù)據(jù)轉(zhuǎn)變[12]。本研究在具體評估指標(biāo)的遴選上參考研究趨勢進(jìn)行了篩選，較多選用人均指標(biāo)和比例指標(biāo)，比如在高端論文、一般論文等指標(biāo)中均加入了人均與總量兩個(gè)下級指標(biāo)；盡量避免共線性問題，避免指標(biāo)的重復(fù)計(jì)算，比如在人力資源指標(biāo)下設(shè)置的三個(gè)二級指標(biāo)分別反映學(xué)科的規(guī)模、活躍程度以及學(xué)術(shù)聲譽(yù)三個(gè)不同方面，具有一定的區(qū)分度。

為了進(jìn)一步提升學(xué)科評估的科學(xué)性，本研究引入了項(xiàng)目反應(yīng)理論視角，并運(yùn)用貝葉斯方法進(jìn)行具體的估計(jì)。相比于以往的簡單因子分析和加權(quán)均值，該方法的優(yōu)勢在于考慮了指標(biāo)建構(gòu)中的各種不確定性。在提出學(xué)術(shù)表現(xiàn)綜合評價(jià)指標(biāo)體系后，本文通過哲學(xué)學(xué)科的部分指標(biāo)數(shù)據(jù)完成一個(gè)簡化實(shí)證分析。

二、理論與模型

(一)項(xiàng)目反應(yīng)理論

社會(huì)科學(xué)領(lǐng)域的變量可以分成兩類，一是顯變量(manifest variable)，可以直接觀測到；二是潛變量(latent variable)，即觀察者無法直接觀察到的變量，有些學(xué)者把它定義為無法僅僅通過顯變量的函數(shù)進(jìn)行表達(dá)的變量[13]，如人的態(tài)度、心理特質(zhì)等都屬于潛變量。

針對潛變量的測量主要有兩個(gè)理論視角：經(jīng)典測量理論和項(xiàng)目反應(yīng)理論。經(jīng)典測量理論(classical test theory，CTT)源于智力測驗(yàn)編制和分析，其基本思想是把觀察得分看作真分?jǐn)?shù)(潛在特質(zhì))和誤差分?jǐn)?shù)的線性組合，可歸結(jié)為如下模型：X=T+e。其中X是觀察得分，T是真分?jǐn)?shù)，e是誤差分。如在智力測試中，對于一個(gè)特定題器的回答不僅反映了一般性智力，也反映了該題器的內(nèi)容，分別被稱為公共因子和特殊因子[13]。經(jīng)典測量理論的不足在于：依據(jù)其項(xiàng)目分析法所得的項(xiàng)目統(tǒng)計(jì)量受樣本的抽樣變動(dòng)影響大；被試者的測驗(yàn)分?jǐn)?shù)依賴于項(xiàng)目的難度，使得進(jìn)行不同測驗(yàn)的被試者相互間難以比較；假設(shè)所有被試者的測量標(biāo)準(zhǔn)誤差都相同[14]。鑒于此，項(xiàng)目反應(yīng)理論逐漸興起。

項(xiàng)目反應(yīng)理論(Item Response Theory, 以下簡稱“IRT”)又稱題目反應(yīng)理論、潛在特質(zhì)理論，目標(biāo)是確定潛在心理特征是否可以通過測試題被反應(yīng)出來，以及測試題和被測試者之間的互動(dòng)關(guān)系。以測試為例，就是依據(jù)被試在各個(gè)項(xiàng)目上的實(shí)際作答反應(yīng)結(jié)果，經(jīng)數(shù)學(xué)模型的運(yùn)算，統(tǒng)一估計(jì)出被試的能力水平或潛在心理特質(zhì)水平，以及項(xiàng)目的計(jì)量學(xué)參數(shù)。描述被試能力水平、項(xiàng)目參數(shù)與項(xiàng)目作答結(jié)果之間關(guān)系的數(shù)學(xué)模型稱為項(xiàng)目特征函數(shù)(item characteristic function, ICF)。常見模型有單參數(shù)(1-PL，也被成為Rasch模型)、雙參數(shù)(2-PL)與三參數(shù)(3-PL)模型，三參數(shù)模型的表達(dá)式如下：

(1)

模型中，D為常數(shù)，通常取值為1或者1.7；θ為受測者的能力值。另外有三個(gè)參數(shù)a、b、c。參數(shù)a為題目區(qū)分度或因子負(fù)荷，表明題目在擁有不同能力被試者間的區(qū)別有多好，即高θ值和低θ值在某題目上都答對的概率。參數(shù)b為題目難度，是被試者能力確定情況下答對某題目的可能性。參數(shù)c一般稱為“猜測參數(shù)”，其直觀意義為：當(dāng)一個(gè)被試者的能力值非常低(比如接近負(fù)無窮)，但仍然能做對這道題目的概率。模型整體則表示，能力值為θ的被試者，在難度為b的題目上的答對概率。可見，項(xiàng)目反應(yīng)理論同時(shí)評估考察被試者和試題。

項(xiàng)目反應(yīng)理論模型有以下幾個(gè)假設(shè)前提：一維性，即被測項(xiàng)目僅取決于一種能力，其他能力的影響較小，可以忽略；局部獨(dú)立，被試者在回答該項(xiàng)目時(shí)不受其他項(xiàng)目影響；潛在特質(zhì)維度與模型契合。在這樣的強(qiáng)假設(shè)前提下，相較于經(jīng)典測量理論，項(xiàng)目反應(yīng)理論具有以下三個(gè)突出優(yōu)點(diǎn)：參數(shù)的估計(jì)不因樣本不同而不同；被試者能力的估計(jì)不因測驗(yàn)改變而改變；可以針對不同被試對象估計(jì)每個(gè)項(xiàng)目及測驗(yàn)的測量誤差[15]。鑒于統(tǒng)計(jì)上的優(yōu)越性，項(xiàng)目反應(yīng)理論也逐漸從心理測量的研究走向其他學(xué)科領(lǐng)域。

(二)項(xiàng)目反應(yīng)模型的應(yīng)用

IRT是以潛在特質(zhì)論為基礎(chǔ)的測量理論，特質(zhì)是指被試者具有某種穩(wěn)定的、支配其對相應(yīng)的測驗(yàn)項(xiàng)目做出反應(yīng)，并對反應(yīng)表現(xiàn)出一致的內(nèi)在特征，由于特質(zhì)不能被直接觀察到，因此稱為潛在特質(zhì)。其在心理學(xué)測量和教育測試中應(yīng)用最為廣泛,如在教育測試領(lǐng)域中，研究者利用雙參數(shù)或三參數(shù)模型分析了不同地區(qū)學(xué)生數(shù)學(xué)成績、語文選擇題的建構(gòu)[16-17]。在試題或試卷評判方面，與經(jīng)典測試?yán)碚撓啾龋?xiàng)目反應(yīng)理論模型可以反映試題信息量，代替?zhèn)鹘y(tǒng)信度作為評定內(nèi)部一致性的指針；并且能根據(jù)各項(xiàng)目在臨界分?jǐn)?shù)附近的信息量，達(dá)到以最少題目達(dá)到所需的測量精確度[18]。

經(jīng)濟(jì)學(xué)、社會(huì)學(xué)等學(xué)科也開始應(yīng)用項(xiàng)目反應(yīng)理論來探討測量問題，如民意調(diào)查問卷設(shè)計(jì)[19]。Hoyland等利用項(xiàng)目反應(yīng)原理對幾個(gè)國際指數(shù)排名進(jìn)行了分析，他們以各國在特定指數(shù)的二級指標(biāo)上排名的差異作為測量不確定性(uncertainty)的代理變量，指出如果考慮不確定性，那么以往的這類排名就存在誤導(dǎo)性[20]。在企業(yè)社會(huì)責(zé)任測量中，應(yīng)用項(xiàng)目反應(yīng)理論得到的指數(shù)比以往的直接加總指數(shù)和因子得分指數(shù)能更好的反映實(shí)際情況[21-22]。胡安寧則將該理論應(yīng)用于對差序格局的測量，主要以單參數(shù)或雙參數(shù)模型確定個(gè)體對于不同對象的信任容易程度，即差序格局中的“差”(模型中的項(xiàng)目難度參數(shù)b)；并且利用2010中國綜合社會(huì)調(diào)查中一組信任問題，展示了項(xiàng)目反應(yīng)理論下差序格局測量方案的解釋力[23]。

由此可見，項(xiàng)目反應(yīng)理論適用于社會(huì)科學(xué)各領(lǐng)域的測量與評估?？蒲袡C(jī)構(gòu)排名本質(zhì)也是采用不同維度指標(biāo)來測量機(jī)構(gòu)的科研學(xué)術(shù)能力?？蒲心芰κ菨撛陔y以直接觀測到的變量，但可以通過發(fā)表文章數(shù)、權(quán)威論文數(shù)、被引用數(shù)量等指標(biāo)體現(xiàn)出來。接下來將首先介紹本研究嘗試建構(gòu)的一個(gè)科研機(jī)構(gòu)學(xué)術(shù)表現(xiàn)綜合評價(jià)指標(biāo)體系，然后運(yùn)用貝葉斯方法來實(shí)現(xiàn)具體的估計(jì)。

三、指標(biāo)與構(gòu)建

學(xué)術(shù)表現(xiàn)(Academic performance) 是一所大學(xué)或者科研機(jī)構(gòu)在人力資源、學(xué)術(shù)生產(chǎn)、學(xué)術(shù)影響等方面綜合能力的反映。本研究正是基于這一視角深度挖掘?qū)W術(shù)出版數(shù)據(jù)，為建立以創(chuàng)新、質(zhì)量、貢獻(xiàn)為導(dǎo)向的科學(xué)研究評價(jià)體系提供多維度的客觀數(shù)據(jù)。堅(jiān)持以創(chuàng)新、質(zhì)量、貢獻(xiàn)為導(dǎo)向，圍繞多維度展示學(xué)術(shù)表現(xiàn)的原則，遴選測量指標(biāo)、設(shè)計(jì)指標(biāo)體系。在指標(biāo)選擇上，注重量化指標(biāo)與評價(jià)目的相匹配；在客觀數(shù)據(jù)的選擇上，注重客觀指標(biāo)的本土化特征，強(qiáng)調(diào)客觀數(shù)據(jù)的公信力和可靠性；在學(xué)術(shù)出版數(shù)據(jù)的采集中，將包括論文、著作、工具書、研究報(bào)告等多種類型的學(xué)術(shù)成果都納入統(tǒng)計(jì)視野。

表2所示的 “中文學(xué)科綜合評估指數(shù)(CSCEI)”擬從學(xué)科研究和發(fā)展的三個(gè)角度評估學(xué)科研究現(xiàn)狀，影響力情況及未來發(fā)展，力爭較為全面地反映某一個(gè)機(jī)構(gòu)的綜合學(xué)術(shù)水平。初步設(shè)計(jì)的中文學(xué)科綜合評估指數(shù)體系(CSCEI)由三個(gè)一級指標(biāo)(人力資源、研究能力、影響水平)及一個(gè)系數(shù)指標(biāo)構(gòu)成。

表2 中文學(xué)科綜合評估指數(shù)(CSCEI)

人力資源一級指標(biāo)由三個(gè)二級指標(biāo)構(gòu)成：隊(duì)伍規(guī)模、活躍程度、學(xué)術(shù)聲譽(yù)。隊(duì)伍規(guī)模指標(biāo)反映了各機(jī)構(gòu)分學(xué)科的學(xué)術(shù)人口總數(shù)；活躍程度指標(biāo)關(guān)注各類學(xué)術(shù)成果的學(xué)術(shù)人口數(shù)量；學(xué)術(shù)聲譽(yù)則著重考察各機(jī)構(gòu)在各類學(xué)術(shù)組織、重要學(xué)術(shù)期刊、重要學(xué)術(shù)獎(jiǎng)項(xiàng)等方面的占有狀況。

研究能力一級指標(biāo)由六個(gè)二級指標(biāo)構(gòu)成：高端論文、學(xué)術(shù)論文、學(xué)術(shù)著作、研究報(bào)告、工具書、數(shù)據(jù)庫、主辦連續(xù)出版物等。高端論文指標(biāo)是指本學(xué)科重要期刊上發(fā)表論文總數(shù)以及人均數(shù)量；論文指標(biāo)由CSSCI數(shù)據(jù)庫中收錄的論文總數(shù)和人均數(shù)量構(gòu)成；學(xué)術(shù)著作指標(biāo)是統(tǒng)計(jì)時(shí)段學(xué)術(shù)著作出版數(shù)量；研究報(bào)告指標(biāo)是統(tǒng)計(jì)時(shí)段公開出版的研究報(bào)告數(shù)量；工具書(包括資料集)是指這一類型的公開出版物；主辦連續(xù)出版物的情況是指各機(jī)構(gòu)主辦期刊的情況。

影響水平一級指標(biāo)由七個(gè)二級指標(biāo)構(gòu)成：當(dāng)年被引篇次、當(dāng)年被引率、篇均被引、分層引用、高被引作者數(shù)、HCP(高影響)論文數(shù)、被引著作數(shù)。其中當(dāng)年被引篇次指標(biāo)由論文在當(dāng)年被引篇次決定；當(dāng)年被引率指標(biāo)由論文在當(dāng)年被引率決定；篇均被引指標(biāo)由被引論文篇均被引數(shù)決定；分層引用指標(biāo)由期刊的分層引用情況決定；高被引作者數(shù)指標(biāo)由相關(guān)學(xué)科領(lǐng)域被引數(shù)前100位的學(xué)者人數(shù)決定；HCP論文數(shù)指標(biāo)由各學(xué)科被收錄的高被引論文數(shù)決定；被引著作數(shù)指標(biāo)由出版的著作被引用數(shù)決定。

統(tǒng)計(jì)指標(biāo)時(shí)間窗的選擇可以根據(jù)評價(jià)實(shí)際需要進(jìn)行調(diào)整。例如，在需要進(jìn)行短時(shí)段評估時(shí)，可以選擇當(dāng)年或近三年的數(shù)據(jù)，在需要進(jìn)行長時(shí)段評估時(shí)，可以選擇近十年、甚至二十年的較長時(shí)段數(shù)據(jù)。

四、測量與模型

項(xiàng)目反應(yīng)理論中相關(guān)參數(shù)的估計(jì)有多種方法，貝葉斯估計(jì)是其中一種。貝葉斯分析允許不同來源的不確定性，所以其估計(jì)結(jié)果也更為保守，也即不確定性更強(qiáng)[24]。本文將參照Hoyland等人提出的方法來建構(gòu)學(xué)術(shù)綜合評價(jià)指數(shù)排名[25]。假定某學(xué)校某學(xué)科i的學(xué)術(shù)水平為fi，而觀測到的結(jié)果或指標(biāo)為xij，其中j表示不同的觀測指標(biāo)。筆者認(rèn)為這些觀測指標(biāo)xij能夠反映潛在的、無法觀測到的某學(xué)科的科研學(xué)術(shù)水平fi。兩者之間的關(guān)系如下：

xij=αj+βjfi+εij,var(εij)=σεj2

(2)

其中βj測量了指標(biāo)j對不同學(xué)校學(xué)術(shù)水平fi的區(qū)分度或貢獻(xiàn)度。以往的排名指數(shù)建構(gòu)有一個(gè)內(nèi)涵的假定，即所有觀察指標(biāo)對于不同學(xué)?？蒲兴降膮^(qū)別度是一樣，這可能是有問題的。以項(xiàng)目反應(yīng)理論思想為基礎(chǔ)，筆者利用手頭可獲得的數(shù)據(jù)，通過貝葉斯方法來估計(jì)出不同觀測指標(biāo)的區(qū)分度βj，也即上文項(xiàng)目反應(yīng)理論中的題目區(qū)分度參數(shù)a。

不同于以往的方程和統(tǒng)計(jì)模型，因?yàn)榉匠?2)右邊的參數(shù)和變量都是未知的，我們只知道左邊的xij。因?yàn)椤白宰兞俊眆i并未被觀測到, 所以無法以通常的OLS回歸來進(jìn)行估計(jì)。為了使模型可識(shí)別，需要對不同學(xué)?？蒲兴?f)的分布結(jié)構(gòu)有所假定。由于我們關(guān)心的是不同學(xué)校之間科研水平的相對位置，并不存在一個(gè)像身高這樣的客觀尺度，因此可以假定該分布服從均值為0，標(biāo)準(zhǔn)差為1的正態(tài)分布。如不考慮同一組別內(nèi)部的二級指標(biāo)之間可能存在的相關(guān)，那么方程(2)的誤差項(xiàng)εij就是隨機(jī)誤差項(xiàng)。

我們需要估計(jì)p(θ|x)，其中θ=α+β+σ+f，換言之，根據(jù)已有數(shù)據(jù)估計(jì)未知的參數(shù)和潛變量f。根據(jù)貝葉斯定理，p(θ|x)=[p(x|θ)p(θ)]/p(x)，即后驗(yàn)概率分布等于先驗(yàn)概率分布p(θ)乘以該假設(shè)下得到這一數(shù)據(jù)的概率(似然度)p(x|θ)，再除以任一假設(shè)下得到這一數(shù)據(jù)的概率(標(biāo)準(zhǔn)化常量)p(x)[26]。對先驗(yàn)概率分布采用擴(kuò)散先驗(yàn)設(shè)置，對參數(shù)的取值不做任何限定，所以參數(shù)的識(shí)別僅取決于似然度,而似然度來自我們的方程(2)的設(shè)置。fi的起始值設(shè)定為因子分析計(jì)算得到的Bartlett分?jǐn)?shù)，βj的起始值為xj對Bartlett分?jǐn)?shù)的OLS回歸，其他的起始值都由軟件隨機(jī)設(shè)定。本文使用R軟件中R2jags進(jìn)行貝葉斯估計(jì)。

五、例證與分析

基于中文學(xué)科綜合評估指數(shù)體系(CSCEI)，運(yùn)用貝葉斯估計(jì)的方法，對哲學(xué)學(xué)科的數(shù)據(jù)進(jìn)行了簡化的實(shí)證分析。采用了如下8個(gè)指標(biāo)來測量哲學(xué)學(xué)科學(xué)術(shù)綜合能力：(1)2015—2017年CSSCI期刊論文發(fā)表合計(jì)；(2)2015-2017年在C100期刊論文發(fā)表數(shù)量占C刊論文總量的比例；(3)教師總?cè)丝跀?shù)；(4)活動(dòng)人口比例；(5)2007-2016年C刊哲學(xué)論文被引比率；(6)2007-2016年被C100期刊引用比率；(7)機(jī)構(gòu)占有哲學(xué)HCP高被引作者數(shù)量；(8)機(jī)構(gòu)在本學(xué)科頂級期刊發(fā)表論文數(shù)量(2015-2017)。貝葉斯分析結(jié)果如表3和表4所示。

表3 哲學(xué)學(xué)科學(xué)術(shù)綜合能力的貝葉斯估計(jì)結(jié)果及與學(xué)科評估等級比較

貝葉斯分析出了各個(gè)學(xué)校哲學(xué)學(xué)科的潛在學(xué)術(shù)綜合能力得分點(diǎn)估計(jì)值，同時(shí)也給出了95%的最高密度區(qū)間(簡稱HDI，表示區(qū)間內(nèi)的估計(jì)值概率和為95%，區(qū)間內(nèi)的估計(jì)值可信度更高)。表3第二列是貝葉斯的點(diǎn)估計(jì)值，第四列是按照該點(diǎn)估計(jì)值得到的排名。[注]下述討論皆根據(jù)上文中所列的8個(gè)指標(biāo)進(jìn)行的分析，本文旨在提供一種看待學(xué)科評估排名的視角，而非提供一種完全不同的排名體系，因而不過多討論所納入的8個(gè)指標(biāo)是否合適或足夠。第三列是貝葉斯估計(jì)值的HDI(95%)，這是貝葉斯估計(jì)的優(yōu)勢所在，即考慮了不同指標(biāo)之間存在的不一致性(測量誤差)，從而估計(jì)最終指數(shù)的不確定性。由于貝葉斯估計(jì)容納不同來源的不確定性，因此其估計(jì)也更為保守，這從不同等級的學(xué)校存在較大的重合HDI中可見一斑。[注]如果兩個(gè)得分的HDI存在重合部分，說明有較大的可能性這兩個(gè)得分的估計(jì)值會(huì)落在重合部分，也即兩個(gè)得分相同。這對于排名具有重要意義，因?yàn)橛兄诹私獠煌瑢W(xué)校指數(shù)得分之間的差異是否顯著。譬如，U1和U2雖然點(diǎn)估計(jì)值得分相差0.855，但兩者的95%HDI存在較大部分重合，因此很難說兩校的差異是否明顯或顯著。但U1和U2得分的HDI下限分別為2.087和1.260，都高于U5得分HDI的上限1.210，那么應(yīng)該可以認(rèn)為U1和U2的哲學(xué)綜合學(xué)術(shù)能力顯著高于U5。同理，貝葉斯排名第42位的U40的HDI[-1.481, -0.542]，與排名第20位的U17的HDI[-0.716, 0.184]也存在重合。因此，簡單以因子得分或點(diǎn)估計(jì)值進(jìn)行排名是存在一定問題的，并未考慮最終指數(shù)的不確定性，也即不同排名單位之間可能并不存在顯著的差異。因?yàn)閷W(xué)術(shù)綜合能力無法直接觀測到，屬于潛在變量，只能通過可觀測的指標(biāo)來對其進(jìn)行測量。而這些觀測變量可能存在遺漏，或包含其他信息，難以完美再現(xiàn)潛在的學(xué)術(shù)綜合能力。因此，根據(jù)HDI和估計(jì)值進(jìn)行分組是一個(gè)可行的辦法，我們在最后一列呈現(xiàn)了第四輪學(xué)科評估的等級作為參照。由于本次測試只使用了體系中的部分與學(xué)術(shù)發(fā)表相關(guān)的指標(biāo)，因此與學(xué)科評估結(jié)果存在一些差異，即分組會(huì)更為粗略。如U20[-0.543, 0.376]屬于B+，與四所A-高校中的三所(U8、U9和U11)都存在重合區(qū)間，僅U7顯著高于U20。U20與C+高校中的U24、U28、U37、U27的HDI也存在一定重合。

表4報(bào)告了系數(shù)β的估計(jì)值，包括點(diǎn)估計(jì)和區(qū)間估計(jì)。β的標(biāo)準(zhǔn)化系數(shù)β*，表明潛在指數(shù)f對觀測指標(biāo)的貢獻(xiàn)度，那么其倒數(shù)1/β*可以大致等同于觀測指標(biāo)對指數(shù)f的貢獻(xiàn)度，類似于項(xiàng)目反應(yīng)理論中的區(qū)分度。通過觀測指標(biāo)x的標(biāo)準(zhǔn)差、f估計(jì)值的標(biāo)準(zhǔn)差(0.872)和β估計(jì)值可以計(jì)算1/β*。如表4第四列所示，8個(gè)指標(biāo)中，指標(biāo)2、5和6對學(xué)科學(xué)術(shù)綜合能力的影響更大。這也與一般性的認(rèn)知相一致，衡量學(xué)科綜合實(shí)力的并非絕對發(fā)文總量多少，而是其中優(yōu)質(zhì)論文的數(shù)量和比例。

表4 哲學(xué)學(xué)科學(xué)術(shù)綜合能力的貝葉斯估計(jì)結(jié)果：指標(biāo)區(qū)分度

六、結(jié)語

結(jié)合目前國內(nèi)外人文社會(huì)科學(xué)學(xué)科評估指標(biāo)體系發(fā)展現(xiàn)狀以及存在的問題，“中文學(xué)科綜合評估指數(shù)體系(CSCEI)”在如下三個(gè)方面做出探索。

一是尊重學(xué)術(shù)研究和學(xué)科發(fā)展的規(guī)律，以創(chuàng)新和質(zhì)量為基本導(dǎo)向。2018年習(xí)近平總書記在全國教育大會(huì)上強(qiáng)調(diào)，要扭轉(zhuǎn)不科學(xué)的教育評價(jià)導(dǎo)向，堅(jiān)決克服“唯分?jǐn)?shù)、唯升學(xué)、唯文憑、唯論文、唯帽子的頑瘴痼疾”，從根本上解決教育評價(jià)指揮棒問題。對于學(xué)科評價(jià)來說，這就要求回歸初心，回歸學(xué)術(shù)規(guī)律，重視其“量”的表現(xiàn)，更加關(guān)注其“質(zhì)”的內(nèi)涵，同時(shí)在評估實(shí)踐中，逐步提煉出聚焦于學(xué)術(shù)創(chuàng)新、研究質(zhì)量和社會(huì)貢獻(xiàn)的評價(jià)指標(biāo)。

二是夯實(shí)科學(xué)評價(jià)的理論基礎(chǔ)，構(gòu)建豐富多元的指標(biāo)體系。本研究創(chuàng)新性地采用了項(xiàng)目反應(yīng)理論及其實(shí)踐方法——貝葉斯估計(jì)來進(jìn)行綜合學(xué)術(shù)能力的測量，有助于改進(jìn)現(xiàn)有評估指標(biāo)體系，克服僅僅利用因子分析法或加權(quán)均值而未考慮測量不確定性的缺陷，同時(shí)強(qiáng)調(diào)指標(biāo)的多元和體系的綜合性，有效地避免了共線性問題。

三是堅(jiān)持走中國化的道路，積極探索本土化的學(xué)科評估方案。本研究使用的主要數(shù)據(jù)來源于CSSCI以及CBKCI等系列數(shù)據(jù)庫，都是基于中文學(xué)術(shù)出版數(shù)據(jù)的原創(chuàng)精選數(shù)據(jù)庫，其數(shù)據(jù)經(jīng)過嚴(yán)格遴選和規(guī)范序化。依托于CSSCI系列數(shù)據(jù)庫進(jìn)行學(xué)科分析能夠較為全面地反映本土學(xué)術(shù)的研究習(xí)慣和研究水準(zhǔn)，這有助于中文學(xué)術(shù)成果的對外傳播和全球共享，有助于學(xué)術(shù)話語體系的建設(shè)，堅(jiān)持學(xué)術(shù)自信，在世界范圍內(nèi)提升中國學(xué)術(shù)研究的地位和影響力。

此外，本研究是圍繞學(xué)科評估體系進(jìn)一步提升科學(xué)性、規(guī)范化開展的一次探索性嘗試，未來尚需在模型的擬合、不同學(xué)科指標(biāo)的遴選等方面進(jìn)一步深入研究。